Сервис для
сео - оптимизаторов

Найди ошибки на сайте
Ошибки мешают продвижению сайта
Исправь ошибки на сайте
Сайт без ошибок продвигать легче
Получи новых клиентов
Новые клиенты принесут больше прибыль

Управление файлами Robots.txt и Sitemap

  1. Фон
  2. Предпосылки
  3. 2. Анализ веб-сайта
  4. Управление файлом Robots.txt
  5. Добавление запрещающих и разрешающих правил
  6. Управление файлами Sitemap
  7. Добавление URL в карту сайта
  8. Резюме

от Руслан Якушев

IIS Search Engine Optimization Toolkit включает в себя функцию исключения роботов, которую вы можете использовать для управления содержимым файла Robots.txt для вашего веб-сайта, а также включает в себя функции Sitemaps и Sitemap Indexes , которые можно использовать для управления картами сайта вашего сайта. В этом пошаговом руководстве объясняется, как и зачем использовать эти функции.

Фон

Сканеры поисковых систем будут тратить ограниченное время и ресурсы на ваш веб-сайт. Поэтому важно сделать следующее:

  1. Запретить сканерам индексировать контент, который не важен или не должен отображаться на страницах результатов поиска.
  2. Направьте сканеры на контент, который вы считаете наиболее важным для индексации.

Есть два протокола, которые обычно используются для решения этих задач: Протокол исключения роботов и Протокол Sitemaps ,

Протокол исключения роботов используется, чтобы сообщить сканерам поисковых систем, какие URL-адреса НЕ следует запрашивать при сканировании веб-сайта. Инструкции по исключению помещаются в текстовый файл с именем Robots.txt, который находится в корне веб-сайта. Большинство сканеров поисковых систем обычно ищут этот файл и следуют инструкциям в нем.

Протокол Sitemaps используется для информирования сканеров поисковых систем об URL-адресах, доступных для сканирования на вашем веб-сайте. Кроме того, файлы Sitemap используются для предоставления некоторых дополнительных метаданных об URL-адресах сайта, таких как время последнего изменения, частота изменения, относительный приоритет и т. Д. Поисковые системы могут использовать эти метаданные при индексации вашего веб-сайта.

Предпосылки

Для выполнения этого пошагового руководства вам потребуется веб-сайт IIS 7 или более поздней версии или веб-приложение, которым вы управляете. Если у вас его нет, вы можете установить его с Галерея веб-приложений Microsoft , В этом пошаговом руководстве мы будем использовать популярное приложение для ведения блогов. DasBlog ,

2. Анализ веб-сайта

Если у вас есть веб-сайт или веб-приложение, вы можете проанализировать его, чтобы понять, как типичная поисковая система будет сканировать его содержимое. Для этого выполните шаги, изложенные в статьях Использование анализа сайта для сканирования веб-сайта " а также " Использование отчетов об анализе сайта ". Когда вы будете проводить анализ, вы, вероятно, заметите, что у вас есть определенные URL-адреса, доступные поисковым системам для сканирования, но нет никакой реальной выгоды в том, что они сканируются или индексируются. Например, страницы входа или страницы ресурсов не должны запрашиваться даже поисковыми системами. Такие URL-адреса должны быть скрыты от поисковых систем путем добавления их в файл Robots.txt.

Управление файлом Robots.txt

Вы можете использовать функцию исключения роботов IIS SEO Toolkit, чтобы создать файл Robots.txt, который сообщает поисковым системам, какие части веб-сайта не следует сканировать или индексировать. Следующие шаги описывают, как использовать этот инструмент.

  1. Откройте консоль управления IIS, введя INETMGR в меню «Пуск».
  2. Перейдите на свой веб-сайт с помощью дерева в левой части экрана (например, веб-сайт по умолчанию).
  3. Нажмите на значок поисковой оптимизации в разделе «Управление»:
    от   Руслан Якушев   IIS Search Engine Optimization Toolkit включает в себя функцию исключения роботов, которую вы можете использовать для управления содержимым файла Robots
  4. На главной странице SEO нажмите на ссылку « Добавить новое запрещающее правило » в разделе « Исключение роботов ».

Добавление запрещающих и разрешающих правил

Диалог «Добавить запретить правила» откроется автоматически:

Протокол исключения роботов использует директивы «Разрешить» и «Запретить» для информирования поисковых систем о путях URL, которые можно сканировать, и о тех, которые нельзя. Эти директивы могут быть указаны для всех поисковых систем или для конкретных пользовательских агентов, определенных HTTP-заголовком user-agent. В диалоговом окне «Добавить запрещающие правила» вы можете указать, к какому поисковому механизму поисковой системы будет применяться директива, введя пользовательский агент сканера в поле «Робот (пользовательский агент)».

Представление «Путь к URL-адресу» используется для выбора запрещенных URL-адресов. При выборе путей URL можно выбрать один из нескольких вариантов с помощью раскрывающегося списка «Структура URL»:

  • Физическое местоположение - вы можете выбрать пути из макета физической файловой системы вашего веб-сайта.
  • В Анализ сайта (имя анализа) - вы можете выбрать пути из виртуальной структуры URL, которая была обнаружена при анализе сайта с помощью инструмента IIS Site Analysis.
  • <Запустить новый анализ сайта ...> - вы можете запустить новый анализ сайта, чтобы получить структуру виртуального URL-адреса для вашего веб-сайта, а затем выбрать пути URL-адреса оттуда.

После выполнения шагов, описанных в разделе предварительных условий, вам будет доступен анализ сайта. Выберите анализ в раскрывающемся списке, а затем проверьте URL-адреса, которые необходимо скрыть от поисковых систем, используя флажки в представлении дерева «URL-пути»:

После выбора всех каталогов и файлов, которые необходимо запретить, нажмите ОК. Вы увидите новые запрещенные записи в главном представлении функций:

Кроме того, файл Robots.txt для сайта будет обновлен (или создан, если он не существует). Его содержание будет выглядеть примерно так:

Пользовательский агент: * Disallow: /EditConfig.aspx Disallow: /EditService.asmx/ Disallow: / images / Disallow: /Login.aspx Disallow: / scripts / Disallow: /SyndicationService.asmx/

Чтобы увидеть, как работает Robots.txt, вернитесь к функции анализа сайта и повторно запустите анализ для сайта. На странице "Сводка отчетов" в категории " Ссылки" выберите ссылки, заблокированные файлом Robots.txt . В этом отчете будут отображены все ссылки, которые не были просканированы, поскольку они были запрещены только что созданным файлом Robots.txt.

Управление файлами Sitemap

Вы можете использовать функцию Sitemaps и Sitemap Indexes в IIS SEO Toolkit, чтобы создавать карты сайта на своем веб-сайте для информирования поисковых систем о страницах, которые необходимо сканировать и индексировать. Для этого выполните следующие действия:

  1. Откройте диспетчер IIS, введя INETMGR в меню « Пуск» .
  2. Перейдите на свой веб-сайт, используя древовидное представление слева.
  3. Нажмите на значок поисковой оптимизации в разделе «Управление»:
  4. На главной странице SEO нажмите ссылку « Создать новую карту сайта » в разделе « Sitemaps» и «Sitemap Indexes ».
  5. Диалог Add Sitemap откроется автоматически.
  6. Введите имя для файла Sitemap и нажмите « ОК» . Откроется диалоговое окно « Добавить URL ».

Добавление URL в карту сайта

Диалог добавления URL выглядит следующим образом:

Файл Sitemap в основном представляет собой простой XML-файл, в котором перечислены URL-адреса вместе с некоторыми метаданными, такими как частота изменений, дата последнего изменения и относительный приоритет. Диалоговое окно « Добавить URL-адреса » используется для добавления новых записей URL-адресов в XML-файл Sitemap. Каждый URL в карте сайта должен иметь полный формат URI (т. Е. Он должен содержать префикс протокола и имя домена). Итак, первое, что вы должны указать, это домен, который будет использоваться для URL-адресов, которые вы собираетесь добавить в карту сайта.

Представление «Путь к URL-адресу» используется для выбора URL-адресов, которые следует добавить в карту сайта для индексации. Вы можете выбрать один из нескольких вариантов, используя раскрывающийся список «Структура URL»:

  • Физическое местоположение - вы можете выбрать URL-адреса из макета физической файловой системы вашего веб-сайта.
  • В Анализ сайта (имя анализа) - вы можете выбрать URL из виртуальной структуры URL, которая была обнаружена при анализе сайта с помощью инструмента Анализ сайта.
  • <Запустить новый анализ сайта ...> - вы можете запустить новый анализ сайта, чтобы получить структуру виртуального URL-адреса для вашего веб-сайта, а затем выбрать пути URL-адреса, которые вы хотите добавить для индексации.

После того, как вы выполнили шаги в разделе предварительных условий, у вас будет доступный анализ сайта. Выберите его в раскрывающемся списке, а затем проверьте URL-адреса, которые необходимо добавить в карту сайта.

При необходимости измените параметры « Частота изменения», «Дата последнего изменения» и « Приоритет» , а затем нажмите кнопку « ОК», чтобы добавить URL-адреса в карту сайта. Файл sitemap.xml будет обновлен (или создан, если он не существует), и его содержимое будет выглядеть следующим образом:

<urlset> <url> <loc> http: //myblog/2009/03/11/CongratulationsYouveInstalledDasBlogWithWebDeploy.aspx </ loc> <lastmod> 2009-06-03T16: 05: 02 </ lastmod> <changefreq> еженедельно </ changefreq> <priority> 0.5 </ priority> </ url> <url> <loc> http: //myblog/2009/06/02/ASPNETAndURLRewriting.aspx </ loc> <lastmod> 2009-06-03T16: 05: 01 </ lastmod> <changefreq> еженедельно </ changefreq> <priority> 0.5 </ priority> </ url> </ urlset>

Теперь, когда вы создали карту сайта, вам нужно сообщить поисковым системам, где она находится, чтобы они могли начать ее использовать. Самый простой способ сделать это - добавить URL-адрес местоположения карты сайта в файл Robots.txt.

В функции Sitemaps и Sitemap Indexes выберите только что созданную карту сайта, а затем нажмите « Добавить в Robots.txt» на панели « Действия» :

Ваш файл Robots.txt будет выглядеть примерно так:

Пользовательский агент: * Disallow: /EditService.asmx/ Disallow: / images / Disallow: / scripts / Disallow: /SyndicationService.asmx/ Disallow: /EditConfig.aspx Disallow: /Login.aspx Карта сайта: http: // myblog / sitemap .xml

Помимо добавления местоположения карты сайта в файл Robots.txt, рекомендуется отправлять URL-адрес местоположения карты сайта в основные поисковые системы. Это позволит вам получить полезный статус и статистику о вашем веб-сайте из инструментов веб-мастеров поисковой системы.

Резюме

В этом пошаговом руководстве вы узнали, как использовать функции исключения роботов, а также файлы Sitemap и индексы файлов Sitemap IIS Search Engine Optimization Toolkit для управления файлами Robots.txt и картой сайта на вашем веб-сайте. IIS Search Engine Optimization Toolkit предоставляет интегрированный набор инструментов, которые работают вместе, чтобы помочь вам создать и проверить правильность файлов Robots.txt и карты сайта, прежде чем поисковые системы начнут их использовать.

Похожие

Повторяющийся контент Wordpress - Решение проблемы SEO с Robots.txt
Дублированный контент во время оптимизации SEO является основной проблемой, с которой сталкиваются пользователи WordPress. Это может быть основной причиной потери вами ранга в Google, и все это из-за встроенных категорий и тегов страниц, встроенных в WordPress. Этот простой файл robots.txt поможет устранить эти ошибки. Но вы можете решить эту проблему, используя robots.txt.Что
SEO анализ: как мне себя вести?
Я давно не писал в своем блоге, и мне очень жаль. Сегодня вечером у меня есть немного свободного времени, и я решил написать статью, в которой также хотелось бы начать конструктивные дискуссии, касающиеся SEO анализа . В настоящее время я прохожу стажировку в веб-агентстве в своем регионе и в основном работаю над тем, чтобы оценить ситуацию с индексацией в поисковых системах различных сайтов, уже находящихся в сети в течение некоторого времени.
Google Analytics для BoldGrid
... и вы хотите иметь возможность отслеживать свой трафик и принимать решения о вашем сайте на основе этих данных. Эта статья поможет вам настроить Google Analytics и добавить на нее свой сайт BoldGrid. Добавление вашего сайта в Google Analytics
Что такое XML Sitemap? Как создать карту сайта в WordPress?
... добавление карты сайта не влияет на рейтинги поиска. Однако, если на вашем сайте есть какая-то страница, которая не проиндексирована, то карта сайта предоставит вам возможность сообщить поисковым системам об этой странице, чтобы ее можно было правильно проиндексировать. Файлы Sitemap очень полезны для новых сайтов и блогов. Поскольку большинство новых блогов обычно не получают много обратных ссылок на свои отдельные сообщения, поисковым системам становится все
SEO аудит
Насколько важен SEO анализ сайта? Он-лайн аудит веб-сайта имеет решающее значение для успешного построения стратегии онлайн-маркетинга. Короче говоря, SEO-аудит даст вам полное представление о производительности вашего сайта. Он покажет вам, где и как оптимизировать ваш сайт, чтобы привлечь больше трафика. Он покажет вам и где вы находитесь на правильном пути. SEO анализ применим к любому виду деловой активности. Это не только
9 простых, но обязательных советов по SEO для Magento!
Ни один маркетолог не может упускать из виду важность SEO ( Поисковая оптимизация ) в своей маркетинговой стратегии. Следующие советы по Magento SEO специально для вас - продавцов электронной коммерции. Потому что SEO является решающим фактором успеха интернет-магазина. Чем лучше вы будете заниматься SEO для своего веб-сайта, тем больше клиентов смогут получить доступ к вашему продукту / услуге, что увеличит
Как создать SEO дружественные URL
Если вы нашли время, чтобы сделать поисковая оптимизация или SEO, на вашем сайте, вы, вероятно, уже приняли во внимание ключевые слова, контент и изображения. Вероятно, вы добавили правильные слова и фразы в свои заголовки, заголовки и метаописания, чтобы привлечь трафик и повысить свой рейтинг в поисковых системах. Но оптимизировали ли вы отдельные URL-адреса своих страниц? Если нет, вы можете повредить SEO вашего
Путь с robots.txt!
... ициально объявлено что это может повредить рейтинг сайта, блокируя CSS и скрипты в Google с помощью robots.txt. Но что это значит? Google может видеть! Уже в январь и в мае Я информировал вас о том, что а) визуальный дизайн веб-сайта очень важен и б) веб-сайты Google теперь также могут «видеть».
Как исправить ошибку Yoasts WordPress SEO Sitemap 404
В этой статье мы покажем вам, как исправить ошибку 404 Yoast's WordPress SEO sitemap . Всем тем, у кого есть веб-сайт WordPress, вполне вероятно, что они уже установили самый популярный плагин для SEO на странице, известный как Yoast SEO. У него более 3 миллионов
Структура URL и постоянные ссылки
... sitemap/> карта сайта (не ваша карта сайта XML) или страница категории. 302 перенаправления Перенаправление 302 или временное перенаправление реализуется, если вы хотите перенаправить веб-страницу в течение короткого периода времени. Как правило, вы должны применять 302 только тогда, когда знаете, что собираетесь удалить его в какой-то момент. Пример экземпляра перенаправления 302 может быть, когда у вас есть страница, которую вы хотите протестировать,
Аудит и оценка сайта
Аудит сайта, анализ конкурентов, SEO рекомендации и аудит редизайна сайта Отображается ли ваш сайт на первых страницах поисковых систем, когда потенциальные клиенты ищут ваш продукт или услугу? Если нет, то улучшение вашего сайта - это первый шаг к привлечению большего количества потенциальных клиентов. Если вы пытаетесь определить возможности и слабые стороны, которые ваш веб-сайт предлагает вам и вашим клиентам, или если вы хотите узнать,

Комментарии

Вам нужна помощь в создании SEO-дружественного URL для вашего сайта?
Вам нужна помощь в создании SEO-дружественного URL для вашего сайта? Ваш веб-сайт должен привлекать положительное внимание алгоритмами поисковых систем, чтобы привлечь больше трафика и потенциальных клиентов. Это начинается с URL, которые нравятся поисковым системам. Если вам нужна помощь в создании SEO-ориентированных URL-адресов или с любым другим аспектом SEO вашего сайта, не стесняйтесь связаться с нами ! Наша
Должен ли я добавить свои страницы AMP в мою карту сайта XML?
Должен ли я добавить свои страницы AMP в мою карту сайта XML? Почему я вижу больше трафика, но меньше обязательств после включения AMP? 1. AMP выглядит интересно, я должен включить это? Это зависит Важно отметить, что AMP, безусловно, не единственный способ предложить хороший мобильный пользовательский
Как включить SEF URL и перезапись URL?
Как включить SEF URL и перезапись URL? URL-адреса SEF и перезапись URL- адресов - это две функции, с помощью которых вы можете сделать URL-адреса вашего сайта более удобными.
Нужно ли иметь карту сайта на моем сайте?
Нужно ли иметь карту сайта на моем сайте? Как я могу создать карту сайта в WordPress? Если вы новичок в WordPress и у вас были те же вопросы, то вы попали по адресу. В этой статье мы объясним, что такое карта сайта, зачем вам карта сайта, как создать карту сайта в WordPress и как рассказать поисковым системам о ваших картах сайта. Что такое XML-карта WordPress? Карта сайта - это список страниц на сайте, который доступен для всех пользователей. XML-карта сайта - это способ для
Что такое robots txt?
Что такое robots txt? Robots txt - это текстовый файл, который используется для контроля роботов поисковых систем во время сканирования вашего блога или веб-сайта. Вы можете проверить robots.txt, набрав http://www.yoursite.com/robots.txt. если нет, создайте его и загрузите в корневой каталог вашего сайта. Благодаря Майку в
Sitemap=1 [L] RewriteRule ^ ([^ /] +?) - карта сайта ([0-9] +)?
sitemap=1 [L] RewriteRule ^ ([^ /] +?) - карта сайта ([0-9] +)? .xml $ /index.php?sitemap=$1&amp;sitemap_n=$2 [L] # END WordPress SEO - Исправление переписывания карты сайта XML Это должно решить проблему, но некоторые люди также сообщили, что у них это не сработало, так как Инструменту Google для веб-мастеров не удалось найти файл карты сайта XML. Метод 4 - Окончательное решение Это не рекомендуемый шаг, так как он включает в себя редактирование основных файлов
Хотите увеличить трафик, присутствие в Интернете и доход вашего сайта?
Хотите увеличить трафик, присутствие в Интернете и доход вашего сайта? Использование внештатных SEO услуг может помочь вам достичь этих целей. Включите в уравнение опытного специалиста по поисковой оптимизации (SEO), и вы вскоре увидите значительное улучшение рейтинга вашего сайта в поисковых системах и эффективности получения трафика. Недавние исследования и исследования показали, что 93% онлайн-пользователей не выходят за рамки первой и второй страниц результатов
Ищете тему WordPress для вашего сайта фотографии?
Ищете тему WordPress для вашего сайта фотографии? Выбор правильной темы может быть пугающим с тысячами тем WordPress. В этой статье мы расскажем о 57 лучших бесплатных темах для WordPress. Прежде чем мы углубимся в бесплатные темы фотографии, давайте кратко рассмотрим, как выбрать лучшую тему для вашего веб-сайта фотографии. Как выбрать тему фотографии для WordPress Фотографы художники. В прошлом фотографы выставляли свои работы в художественных галереях
Просмотр сайта: желательно ли быть на этом сайте?
Просмотр сайта: желательно ли быть на этом сайте? Насколько реально получить ссылку на этот сайт? Делая для каждого веб-сайта, вы автоматически ведете список соответствующих веб-сайтов. Начните получать доступ к этим сайтам и пытайтесь получить ссылку на них. Конечно, лучшим способом построения ссылок остается естественное получение большего количества ссылок. Напишите соответствующий контент для вашей целевой группы, заполните его с помощью графических
Проще говоря, тег описания - это место, где вы можете сказать, что особенного в каждой странице, и все страницы вашего сайта имеют разный контент, не так ли?
Проще говоря, тег описания - это место, где вы можете сказать, что особенного в каждой странице, и все страницы вашего сайта имеют разный контент, не так ли? Убедитесь, что на странице есть соответствие между описанием и содержанием. Для небольших сайтов это должно быть сделано вручную, но для больших сайтов, управляемых базой данных, программная генерация описаний будет альтернативой. Здесь могут появиться некоторые спам-описания. Убедитесь, что вы все проверили. Описание слишком
Сколько времени занимает внедрение SEO, чтобы повлиять на посещаемость сайта?
Сколько времени занимает внедрение SEO, чтобы повлиять на посещаемость сайта? Как видно из приведенной выше темы, когда мы говорим об оптимизации сайта, мы говорим, что ключевые слова будут вставлены в соответствующий контент на сайте с хорошей навигацией. Проблема заключается в том, что многие компании не имеют соответствующего контента. У него нет сайта с хорошей навигацией, не говоря уже о стратегии, ориентированной на TARGET, что он ищет, из-за этого.

Как создать карту сайта в WordPress?
Но оптимизировали ли вы отдельные URL-адреса своих страниц?
Но что это значит?
Вам нужна помощь в создании SEO-дружественного URL для вашего сайта?
Должен ли я добавить свои страницы AMP в мою карту сайта XML?
Почему я вижу больше трафика, но меньше обязательств после включения AMP?
1. AMP выглядит интересно, я должен включить это?
Как включить SEF URL и перезапись URL?
Нужно ли иметь карту сайта на моем сайте?
Нужно ли иметь карту сайта на моем сайте?