Техническое SEO руководство по сканированию, индексированию и ранжированию

1. ползком
2. Хорошая архитектура сайта
3. Сканирование бюджета
4. Контроль сканирования
5. Логи сервера
6. индексирование
7. Кэширование
8. Сегментация карты сайта
9. Индекс статуса
10. ранжирование

Некоторые ключевые области, о которых вам нужно подумать, чтобы сделать ваш сайт доступным, - это сканирование , индексация и ранжирование. Техническое SEO!

Технический SEO часто слишком легко отбрасывается в пользу таких вещей, как создание контента, социальные сети и создание ссылок. Однако я всегда считал, что есть много возможностей для увеличения трафика, глядя внутрь, а не наружу. Для меня одна из самых важных задач - сделать ваш сайт максимально доступным для поисковых систем.

Это на самом деле довольно просто - если поисковые системы не могут эффективно сканировать ваш сайт, вы вряд ли получите рейтинг. Даже ссылки и социальные сети не решат серьезных проблем с доступностью, поэтому удар по влиянию заключается в том, что создание ссылок будет неэффективным. Это последнее, что вы хотите, потому что создание ссылок может быть трудным в любом случае, вы не хотите калечить себя, прежде чем вы даже начали

Итак, в этом посте я расскажу о некоторых ключевых областях, о которых нужно подумать, чтобы сделать ваш сайт доступным. Доступный веб-сайт означает, что все целевые страницы будут проиндексированы и смогут ранжироваться по целевым ключевым словам.

Чтобы сохранить логическую структуру, я разделил пост на три основные области:

1. ползком
2. индексирование
3. ранжирование

ползком

Первое, на что нам нужно обратить внимание, это убедиться, что все наши целевые страницы могут быть просканированы поисковыми системами. Я говорю «целевые страницы», потому что будут случаи, когда вы захотите активно остановить просмотр определенных страниц, о которых я расскажу в ближайшее время.

Перед этим давайте посмотрим, как мы делаем наш веб-сайт сканируемым и как искать потенциальные проблемы.

Хорошая архитектура сайта

Хорошая архитектура сайта полезна не только для поисковых систем, но и для пользователей. Проще говоря, вы хотите убедиться, что ваши самые важные страницы легко найти, в идеале в несколько кликов от главной страницы. Это хорошо работает по нескольким причинам:

• Обычно ваша домашняя страница имеет наибольшую ссылку и поэтому может распространять большое количество PageRank на остальной части сайта.
• Пользователи смогут быстро находить ваши ключевые страницы, что повышает вероятность того, что они найдут то, что хотят, и конвертируют в клиентов.

С точки зрения того, как это на самом деле выглядит, простая структура будет выглядеть так:

Если у вас есть веб-сайт электронной коммерции, подробные страницы в этом примере будут страницами вашего продукта. Это довольно логичная структура, которая рекомендуется для небольших и средних сайтов. Единственное другое важное соображение здесь - убедиться, что вы сопоставили исследование ключевых слов с этой структурой, о которой вы можете прочитать в этот пост Стефани Чанг а также этот пост Ричард Бакстер ,

Но что, если у вас есть сайт с миллионами страниц? Даже при хорошей структуре категорий ваши ключевые продукты могут оказаться довольно далеко от главной страницы. В этом случае вы можете рассмотреть возможность реализации граненая навигация который может помочь с этим. Многогранная навигация адаптируется к тому, что ищет пользователь, и устраняет много шума, позволяя им легко фильтровать, чтобы найти то, что он хочет. Лучшее, что можно сделать здесь, это показать вам пример того, что я имею в виду, к счастью, ребята из Madgex написал эту хорошую статью и создал этот пример, который очень хорошо визуализирует вещи:

Как видите, пользователю очень легко очень быстро отфильтровать большой набор результатов, щелкнув нужные им атрибуты. Это отличный метод для веб-сайтов электронной коммерции, в частности, потому что обычно существуют всевозможные атрибуты продукта, такие как размер, цвет, марка и т. Д., По которым пользователь может захотеть отфильтровать. Пример этого в действии с другим типом веб-сайта камыш , Когда вы входите в категорию, такую ​​как счетоводство фильтры с левой стороны настроены для этой категории, поэтому вы можете фильтровать их с помощью Помощника по работе с клиентами или Кредитного контроллера. Вы не получили бы эти варианты, если бы вы посетили категорию маркетинга. Именно так крупные веб-сайты могут упростить пользователям и поисковым системам быстрый доступ к глубоким страницам.

С точки зрения ползания, здесь следует отметить еще одну вещь. Иногда вы можете не захотеть, чтобы поисковые системы могли глубоко сканировать и находить страницы, которые имеют слишком много атрибутов. Например, скажем, мы продавали верхнюю одежду и фокусировались на куртках. Куртка может иметь следующие атрибуты:

• Цвет
• Размер
• Пол
• марка
• Цена
• Водонепроницаемый

Теперь мы знаем, что ключевое слово, такое как «мужские водонепроницаемые куртки», имеет приличное количество ключевых слов из инструмента подсказки ключевых слов Adwords. Поэтому мы хотим иметь страницу, которую поисковые системы могут сканировать, индексировать и ранжировать по этому ключевому слову. Поэтому мы позаботимся о том, чтобы это стало возможным благодаря нашей многогранной навигации, сделав ссылки чистыми и легкими для поиска.

С другой стороны, ключевое слово типа «большая водонепроницаемая куртка черных мужчин стоимостью менее 100 фунтов стерлингов» не имеет большого объема поиска. Поэтому мы можем помешать поисковым системам сканировать и индексировать эту страницу. Но очевидно, что мы все еще хотим сделать его доступным для пользователей, когда они используют нашу навигацию.

Зачем беспокоиться об этом? Понятие бюджета сканирования или разрешений на сканирование вступает в действие здесь и будет обсуждаться в следующем разделе. Ниже я также расскажу, как мы можем предотвратить сканирование и индексацию таких страниц, как эта.

Сканирование бюджета

Google назначает бюджет сканирования каждому домену, который они сканируют, по словам Мэтта Каттса , этот бюджет примерно определяется количеством PageRank у вас есть. Хотя Google хочет найти как можно больше контента, у них есть только определенный уровень ресурсов для сканирования постоянно расширяющейся сети. Поэтому им нужно расставить приоритеты и быть немного избирательными, чтобы они хотя бы позаботились о том, чтобы собрать как можно больше «хороших вещей». Мэтт отмечает, что на самом деле нет ограничения по количеству страниц, которые они будут индексировать с одного домена. Я интерпретирую его комментарии как высказывания о том, что Google будет сканировать и индексировать как можно большую часть вашего веб-сайта, но если ваш PageRank не такой высокий, им может потребоваться некоторое время, чтобы просмотреть все и найти более глубокие страницы на вашем веб-сайте.

Контроль сканирования

Мы знаем, что вы можете создавать более качественные ссылки на своем сайте, которые могут помочь с вашим PageRank, это то, что нам нужно делать в любом случае. Но вы можете оптимизировать свой бюджет сканирования, выполнив несколько шагов, чтобы мягко подтолкнуть Google в правильном направлении при сканировании:

• Добавить тег rel = ”nofollow” на ссылки на страницы, которые вы не хотите сканировать
• Сделайте ссылки трудными для Google, сделав их на основе Javascript или AJAX - будьте осторожны, поскольку вы по-прежнему хотите, чтобы они были кликабельными для пользователя, и Google постоянно совершенствует эти технологии.
• Блокировать определенные наборы страниц в вашем robots.txt файл, чтобы остановить их сканирование Google

Цель всего этого не в том, чтобы контролировать PageRank, а в том, чтобы попытаться контролировать, на каких страницах используется ваш бюджет сканирования. Это пустая трата, если Google использует весь свой бюджет сканирования на страницах, которые вас действительно не волнуют. Вы бы предпочли, чтобы они тратили время на поиск тех, кого вы хотите ранжировать, и которые могут обновляться чаще. Тем не менее, побочным продуктом должно быть то, что PageRank действительно попадает на ваши важные страницы и на те, которые вы хотите ранжировать хорошо. Однако это должно быть достигнуто в любом случае благодаря хорошей архитектуре веб-сайта.

Помимо rel = ”nofollow” и robots.txt, вы можете использовать Мета-теги контролировать, как Google сканирует ваш сайт. Они размещены в разделе <head> вашей страницы и могут выполнять ряд действий, в том числе:

• Скажите Google не индексировать страницу
• Скажите Google сейчас, чтобы сканировать любые ссылки на странице
• Скажите Google не индексировать изображения на странице
• Скажите Google не использовать фрагмент со страницы в своих результатах поиска
• Сочетания вышеперечисленного

Помните, что эти теги находятся на уровне страницы и влияют только на саму страницу. Еще одна важная вещь, которую следует помнить, заключается в том, что поисковые машины должны иметь возможность доступа к самой странице, чтобы увидеть этот тег. Поэтому, если вы заблокируете страницу в файле robots.txt, поисковые системы, вероятно, никогда не просканируют страницу и не найдут тег META, который находится на ней.

Краткое резюме и уточнение здесь:

• Тег rel = ”nofollow” при использовании в отдельной ссылке влияет только на то, как Google обрабатывает эту ссылку, но не влияет на других на вашем сайте.
• Мета-тег rel = ”nofollow” является уровнем страницы и будет влиять на все ссылки на странице, на которой он размещен.
• Файл robots.txt может влиять на отдельные страницы, разделы сайта или весь сайт.

Что насчет rel = канонический тег ? Это позволяет владельцам веб-сайтов указывать каноническую версию страницы и выделять дублированный или почти дублированный контент, давая поисковым системам сигнал о том, какие страницы они могут и не хотят сканировать, индексировать и ранжировать. На этом этапе вы должны заметить, что этот тег не является директивой, что означает, что поисковые системы могут выбирать, как обращаться с тегом, и имеют право игнорировать его, если захотят.

Этот тег может помочь вам убедиться в том, что дублирующийся контент не повредит вашему веб-сайту, а также в том, что в результатах поиска пользователям будет показан правильный URL-адрес. С точки зрения сканирования, для тега также имеет смысл отталкивать поисковые системы от частого сканирования дублированных страниц. Но, подобно тегу роботов META, поисковые системы должны иметь доступ к странице, прежде чем смогут найти тег.

Логи сервера

Если вы хотите узнать больше о том, как поисковые системы сканируют ваш веб-сайт, и найти проблемы, вы можете углубиться в файлы журнала вашего сервера, чтобы получить более подробную информацию. Журнальные файлы вашего сервера будут записывать, когда страницы сканируются поисковыми системами (и другими сканерами), а также записывать посещения других людей. Затем вы можете отфильтровать эти файлы журнала, чтобы точно определить, как робот Googlebot сканирует ваш сайт, например. Это может дать вам глубокое понимание того, какие из них сканируются наиболее важно, а какие вообще не сканируются.

Это, вероятно, один из лучших показателей того, что мешает странице проиндексироваться и хорошо ранжироваться. Вы можете выполнять все виды анализа на месте, но, в конечном счете, если из журналов сервера ясно видно, что страница не сканируется, у вас есть ответ. Затем вы можете начать выяснять, где может быть проблема и работать над решением.

Я люблю использовать Splunk для анализа файла журнала требуется некоторое время, чтобы привыкнуть к нему, но, безусловно, это одна из лучших программ, которые я использовал. Дэйв Соттимано написал отличный урок, в котором рассказывалось о Splunk SEOmoz , Если вы предпочитаете что-то еще, попробуйте пост Крейга Брэдфорда на дистиллированный об использовании командной строки для анализа файла журнала.

Это изображение из поста Дэйва дает нам прекрасный пример того, как Google тратит бюджет сканирования на страницы, которые нас не волнуют:

индексирование

Как только вы будете удовлетворены тем, что поисковые системы правильно сканируют ваш сайт, наступает время отслеживать, как на самом деле индексируются ваши страницы, и активно отслеживать проблемы.

Кэширование

Самый простой способ проверить, правильно ли Google индексирует страницу, - это проверить кэшированную версию и сравнить ее с реальной версией. Есть три способа сделать это быстро.

1. Запустите поиск Google:

2. Нажмите из результатов поиска Google:

3. Используйте букмарклет

Я использую простой букмарклет в Chrome, чтобы проверить кеш страницы, на которой я нахожусь. Создайте новую закладку в своем браузере и добавьте ее в качестве местоположения:

“Javascript: location.href = 'http: //www.google.com/search? Q = cache:' + location.href” (без кавычек)

Красиво и просто!

Цели проверки кеша страниц:

• Убедитесь, что страница регулярно кэшируется
• Проверка того, что кеш содержит весь ваш контент

Если все в порядке, то вы знаете, что определенная страница сканируется и индексируется нормально.

Сегментация карты сайта

Это было написано о мало раз раньше, поэтому я не буду повторять все здесь, есть также этот большой пример SEOmoz относительно использования XML-файлов Sitemap. Вкратце, здесь идея заключается в том, что, создав несколько файлов Sitemap для разных частей вашего сайта, вы можете отслеживать индексацию, используя Инструменты Google для веб-мастеров :

Это взято из моей учетной записи и показывает три карты сайта, которые я отправил в Google. Хотя эти цифры довольно малы, вы можете увидеть, как это может помочь вам легко обнаружить проблемы.

Индекс статуса

Еще одна приятная особенность Инструментов Google для веб-мастеров - индексный статус , Это дает некоторое представление о том, как Google сканирует и индексирует ваш сайт, а также дает представление о том, сколько страниц Google выбирает, чтобы не индексировать. Вот пример из моего собственного аккаунта:

Пик в зеленой строке показывает, когда Google увеличил количество URL-адресов, которые классифицируются как «не выбранные». Это означает, что Google обнаружил, что страницы очень похожи на другие страницы или перенаправлены. Я потратил немного времени на просмотр этого и считаю, что причиной был неисправный плагин, который вызывал ссылки на множество повторяющихся URL-адресов, - но я был ленив, так как это мой собственный сайт, и я еще не исправил его!

Если вы постоянно добавляете новые страницы на свой веб-сайт, постоянное и постепенное увеличение проиндексированных страниц, вероятно, означает, что они сканируются и индексируются правильно. С другой стороны, если вы видите большое падение (которое не ожидалось), то это может указывать на проблемы и то, что поисковые системы не могут правильно получить доступ к вашему сайту.

ранжирование

Теперь заключительная часть нашей работы, возможно, та часть, которая нас всех действительно волнует больше всего! Наши страницы ранжируются так, как они могли бы быть? Мы всегда работаем над тем, чтобы наши страницы имели более высокий рейтинг, чем они уже есть, поэтому вместо этого я хотел сосредоточиться на очень специфической тактике.

Во-первых, вам необходимо выяснить, на скольких страницах вы пытаетесь привлечь трафик. Вероятно, это будет ваша домашняя страница, категории, продукты и контентные страницы. Есть несколько способов сделать это, в зависимости от настроек вашего сайта:

• Посмотрите на количество URL-адресов в вашей карте сайта (полагается, что карты сайта обновляются и точны)
• Поговорите с вашими разработчиками, которые должны дать вам общее представление
• Вы также можете сканировать свой сайт, но это зависит от того, все ли страницы доступны в первую очередь

Когда у вас есть этот номер, вам нужно проверить, сколько из этих страниц получают органический трафик. Вы можете сделать это с помощью Google Analytics.

Грубый и готовый способ сделать это - перейти к этому отчету:

Убедитесь, что вы фильтруете только по обычному поиску, выберите большой диапазон дат (например, не менее шести месяцев), а затем прокрутите вниз, чтобы увидеть, сколько страниц получили входы:

Если это число значительно ниже количества страниц, которые у вас есть на самом деле, то вы, вероятно, теряете много потенциального трафика.

Если вам нужна более точная идея, а на самом деле она показывает, какие страницы не посещаются, вы можете экспортировать список URL-адресов из аналитики в CSV, а затем сравнить их со списком всех ваших страниц. Просто ВПР скажет вам, какие страницы и не получают трафик.

После того, как у вас есть список страниц, на которые не идет трафик, вы можете более подробно изучить причину. Несколько способов сделать это, используя то, что мы рассмотрели выше:

• Создайте выделенную карту сайта, содержащую только эти URL-адреса, и измерьте, как Google их индексирует
• Отфильтруйте журналы сервера, чтобы включить эти URL, и посмотрите, просматриваются ли они.
• Возьмите образцы и проверьте кэш, чтобы увидеть, кешируются ли они

Вот и все, что касается этого поста, если у вас есть какие-либо вопросы, не стесняйтесь указывать их в комментариях, и я сделаю все возможное, чтобы ответить.

Похожие

Комментарии