Сервис для
сео - оптимизаторов

Найди ошибки на сайте
Ошибки мешают продвижению сайта
Исправь ошибки на сайте
Сайт без ошибок продвигать легче
Получи новых клиентов
Новые клиенты принесут больше прибыль

Google использует XML Sitemaps для управления результатами поиска

  1. XML карта сайта и механизм пинга
  2. Отправка в консоль поиска Google
  3. Открытые перенаправления
  4. Пропустить файлы Sitemap через открытые перенаправления 😱
  5. Эксперимент: использование директивы hreflang для «кражи» акций и ранга бесплатно
  6. обсуждение
  7. Раскрытие Хронология

Укороченная версия:

При стоимости домена в 12 долларов я смог получить рейтинг в результатах поиска Google с Amazon, Walmart и т. Д. За высокодоходные денежные условия в США. Цена за клик AdWords для некоторых из этих условий в настоящее время составляет около 1 доллара США за клик, и компании тратят 10 тысяч долларов в месяц на показ объявлений в этих результатах поиска, и я появлялся бесплатно.

Google исправил эту проблему и назначил вознаграждение в размере 5000 долларов.

Google предоставляет открытый URL-адрес, где вы можете «пинговать» карту сайта XML, которую они будут извлекать и анализировать - этот файл может содержать директивы индексации. Я обнаружил, что для многих сайтов можно пропинговать карту сайта, которую вы (злоумышленник) размещаете, таким образом, что Google будет доверять злой карте сайта как принадлежащей сайту жертвы.

Я считаю, что они впервые присуждают награду за проблему безопасности в реальной поисковой системе, которая напрямую влияет на рейтинг сайтов.

В рамках моих регулярных исследований я недавно обнаружил проблему для Google, которая позволяет злоумышленнику отправлять в Google карту сайта XML для сайта, для которого они не аутентифицированы. Поскольку эти файлы могут содержать директивы индексации, такие как hreflang, это позволяет злоумышленнику использовать эти директивы, чтобы помочь своим собственным сайтам занять место в результатах поиска Google.

Я потратил 12 долларов на настройку своего эксперимента и занял первое место на первой странице по количеству поисковых запросов с высокой степенью монетизации, а недавно зарегистрированный домен не имел входящих ссылок.

XML карта сайта и механизм пинга

Google позволяет представление XML-карты сайта ; они могут помочь им найти URL для сканирования, но также могут быть использованы директивы hreflang, которые они используют, чтобы понять, какие другие международные версии той же страницы могут существовать (например, «эй, Google, это страница США, но у меня есть страница на немецком языке на этот URL… »). Точно неизвестно, как Google использует эти директивы (как и все, что связано с поисковыми алгоритмами Google), но кажется, что hreflang позволяет одному URL-адресу «заимствовать» справедливость и доверие к одному URL-адресу и использовать его для ранжирования другого URL-адреса ( т. е. большинство людей ссылаются на американскую версию .com, поэтому немецкая версия может «позаимствовать» акции, чтобы занять более высокие позиции в Google.de).

Вы можете отправить файлы Sitemap в формате XML для своего домена либо через Google Search Console, либо внутри своего файла robots.txt, либо через специальный URL-адрес ping. Google-х собственные документы кажутся немного противоречивыми; вверху страницы они ссылаются на отправку файлов Sitemap с помощью механизма ping, но внизу страницы у них есть это предупреждение:

Google-х   собственные документы   кажутся немного противоречивыми;  вверху страницы они ссылаются на отправку файлов Sitemap с помощью механизма ping, но внизу страницы у них есть это предупреждение:

Тем не менее, по моему опыту, вы можете абсолютно отправлять новые XML-карты сайта с помощью механизма ping, при этом робот Googlebot обычно извлекает файл в течение 10-15 секунд после пинга. Важно отметить, что Google также несколько раз упоминал на странице, что если вы отправите карту сайта с помощью механизма ping, она не будет отображаться в вашей консоли поиска :

Важно отметить, что Google также несколько раз упоминал на странице, что если вы отправите карту сайта с помощью механизма ping, она не будет отображаться в вашей консоли поиска :

В качестве связанного теста я проверил, могу ли я добавить другие известные директивы поиска (noindex, rel-canonical) через XML-карты сайта (а также попробовать кучу эксплойтов XML), но, похоже, Google их не использовал.

Отправка в консоль поиска Google

Если вы попытаетесь отправить XML-карту сайта в GSC, которая включает URL-адреса для другого домена, для которого вы не авторизованы, то GSC отклонит их:

Мы вернемся к этому через минуту.

(Извини, Джоно!)

Открытые перенаправления

Многие сайты используют параметр URL для управления перенаправлением:

В этом примере я был бы перенаправлен (после входа в систему) в page.html. Некоторые сайты с плохой гигиеной допускают так называемые «открытые перенаправления», где эти параметры позволяют перенаправлять на другой домен:

Часто им не нужно никакого взаимодействия (например, логин), поэтому они просто перенаправляют пользователя сразу:

Открытые перенаправления очень распространены и часто считаются не слишком опасными; По этим причинам Google не включает их в свою программу вознаграждения за ошибки. Однако, где это возможно, компании пытаются защитить от них, но часто вы можете обойти их защиту:

Tesco - британский ритейлер, доход которого составляет более 50 млрд фунтов стерлингов, из которых более 1 млрд фунтов стерлингов - через их веб-сайт. Я сообщил об этом примере в Tesco (наряду с рядом других компаний, которые я обнаружил в ходе этого исследования), и с тех пор они исправили его.

Пропустить файлы Sitemap через открытые перенаправления 😱

В этот момент вы, возможно, догадались, куда я иду с этим. Оказывается, что когда вы пропингуете карту сайта XML, если отправленный вами URL является перенаправлением, Google будет следовать этому перенаправлению, даже если это междоменный домен . Важно отметить, что эта карта сайта XML все еще ассоциируется с доменом, который выполнил перенаправление, и обрабатывает карту сайта, которую он находит после перенаправления, как авторизованную для этого домена. Например:

В этом случае карта сайта evil.xml размещается на сайте blue.com, но Google связывает ее как принадлежащую и уполномоченную для green.com. Используя это, вы можете отправлять XML-карты сайтов для сайтов, которые вы не должны контролировать, и отправлять директивы поиска Google.

Эксперимент: использование директивы hreflang для «кражи» акций и ранга бесплатно

На данный момент у меня были различные движущиеся части, но я не подтвердил, что Google действительно будет доверять междоменной перенаправленной карте сайта XML, поэтому я провел эксперимент, чтобы проверить его. Я провел множество небольших тестов, чтобы понять различные части этого (а также различные тупики), но не ожидал, что этот эксперимент будет работать так же хорошо, как и он.

Я создал поддельный домен для британской розничной компании, которая не работает в США, и запустил сервер AWS, имитирующий сайт (главным образом путем сбора легального контента и переоснащения его - то есть изменения валюты / адреса и т. Д.). Я анонимизировал компанию (и отрасль), чтобы защитить их, поэтому давайте просто назовем их жертвами.com.

Теперь я создал поддельную карту сайта, которая была размещена на evil.com, но содержала только URL-адреса для жертвы. Эти URL-адреса содержали записи hreflang для каждого URL-адреса, указывающие на эквивалентный URL-адрес на evil.com, что указывает на то, что это была версия сайта жертвы.com в США. Теперь я отправил эту карту сайта с помощью открытого URL-адреса перенаправления на virus.com через механизм проверки связи Google.

В течение 48 часов сайт начал получать небольшие объемы трафика для длинных хвостов (скриншот SEMRush):

В течение 48 часов сайт начал получать небольшие объемы трафика для длинных хвостов (скриншот SEMRush):

Прошло еще пару дней, и я начал появляться на 1-й странице в конкурентных условиях, против Amazon и Walmart:

Прошло еще пару дней, и я начал появляться на 1-й странице в конкурентных условиях, против Amazon и Walmart:

Кроме того, консоль поиска Google для evil.com указала, что жертва.com ссылалась на evil.com, хотя это явно не так:

com, хотя это явно не так:

В этот момент я обнаружил, что могу также отправлять карты сайта XML для жертвы в GSC для сайта evil.com:

com:

Похоже, что Google связал сайты, а поисковая консоль evil.com теперь имеет некоторые возможности влиять на настройки жертвы. Теперь я также могу отслеживать индексацию для моих отправленных файлов Sitemap (вы можете видеть, что я проиндексировал тысячи страниц).

Searchmetrics показывал возрастающую стоимость трафика:

Консоль поиска Google показала более миллиона поисковых запросов и более 10 000 кликов из поиска Google; и на данный момент я ничего не сделал, кроме как отправить карту сайта XML!

Вы должны заметить, что я не разрешал людям проверять на злобном сайте, но если бы я хотел, то в этот момент я мог бы либо мошенничать с людьми за большие деньги, либо настраивать рекламу, либо иным образом начать монетизировать этот трафик. На мой взгляд, это представляет серьезный риск для посетителей Google, а также для компаний, полагающихся на поиск трафика в Google. Движение по-прежнему росло, но я прекратил свой эксперимент и прервал свои последующие эксперименты, опасаясь нанести ущерб.

обсуждение

Этот метод совершенно не обнаружим для жертвы.com - карты сайта XML не отображаются на их конце, и если вы делаете то, что я сделал, и используете их равные ссылки для другой страны, то вы могли бы полностью скрыться за радаром. Конкуренты в стране, в которых они работают, останутся весьма озадаченными эффективностью вашего сайта (см. Выше, где я нахожусь в результатах поиска как Amazon, Walmart & Target, которые все тратят значительные ресурсы, чтобы быть там).

С точки зрения Black Hat SEO, это было явное использование, и, кроме того, это первый пример, который я знаю о явном эксплойте в алгоритме, а не о манипулировании факторами ранжирования. Серьезность потенциального финансового воздействия проблемы кажется нетривиальной - представьте потенциальную прибыль от таргетинга на Tesco или аналогичную (у меня было больше тестов, чтобы исследовать это больше, но я не мог без потенциального причинения ущерба).

Google присудил за это награду в размере 5000 долларов, и команде Google было приятно иметь дело, как всегда. Спасибо им.

Если у вас есть какие-либо вопросы, комментарии или информация, вы можете связаться со мной по адресу [электронная почта защищена] в твиттере по адресу @TomAnthonySEO или связавшись со мной через дистиллированный ,

Раскрытие Хронология

  • 23 сентября 2017 года - я подал первоначальный отчет об ошибке.
  • 25 сентября 2017 - Google ответил - они исправили ошибку и изучили ее.
  • 2 октября 2017 года - я отправил еще несколько деталей.
  • 9 октября - 6 ноября - некоторые изменения статуса.
  • 6 ноября 2017 г. - Google сказал: «В этом отчете было довольно сложно определить, что можно сделать, чтобы предотвратить подобное поведение, и степень его влияния на наши результаты поиска. Я обратился к команде, чтобы получить окончательное решение по вашему вопросу. отчет. Я знаю, что они просеивали данные, чтобы определить, насколько распространено поведение, которое вы описали, и следует ли это немедленно предпринять ».
  • 6 ноября 2017 г. - я ответил, что они не следуют междоменным перенаправлениям для проверенных файлов Sitemap - для этого нет особых причин, и это может быть только функция GSC.
  • 3 января 2018 года - я попросил обновить статус.
  • 15 января 2018 года - Googled ответил: «Извиняюсь за задержку, я не хотел закрывать этот отчет ранее, потому что мы не смогли получить окончательное решение, если бы было возможно решить эту проблему с помощью цепочки перенаправления, не нарушая многие законные случаи применения. Я обратился к команде, которая просматривает этот отчет, чтобы получить окончательный ответ, и сообщу вам свои ответы на этой неделе ».
  • 15 февраля 2018 - Google обновил, чтобы сообщить мне, что в отчете была обнаружена ошибка, и Правление VRP обсудило вознаграждение.
  • 6 марта 2018 года - Google сообщил мне, что они получили награду в размере 1337 долларов.
  • 6 марта 2018 года - я поделился черновиком этого поста с Google и попросил раскрыть зеленый свет.
  • 12 марта 2018 года - Google дал мне знать, что они не завершили исправление, и попросил меня подождать.
  • 25 марта 2018 года - Google подтвердил, что исправление было опубликовано, и дал мне зеленый свет на публикацию.
  • 17 апреля 2018 года - Google снова связался со мной, чтобы сообщить, что они увеличили сумму вознаграждения до 5000 долларов. 🙂

Похожие

Алгоритм поиска Google
... и дизайнеры и веб-разработчики имеют много чего сказать и придать важность еще в последнее время, как SEO. Затем переведите его в тот, который понятен о том, что такое SEO и что он собирается применять. Надеюсь, ваши знания помогут. Статья должна быть переведена лицом, написавшим статью, поэтому, пожалуйста, не путайте ее. Согласно моему опросу, 1 из 10 респондентов сказал, что SEO не имеет никакого значения, а 24 процента сказали, что не знали об этом. Если вы один из этих 24
SEO: понимание XML-файлов Sitemap
XML-карты сайта служат очень нишевой цели в поисковой оптимизации: облегчают индексацию. Публикация XML-карты сайта похожа на развертывание красной дорожки для поисковых систем и предоставление им дорожной карты предпочтительных маршрутов через сайт. Владелец сайта может сказать сканерам: «Я был бы очень признателен, если бы вы сосредоточились именно на этих URL-адресах». Примут ли движки те рекомендации о том, какие URL-адреса сканировать, зависит от сигналов, которые посылает
Обновление алгоритма Google 10-07-2017
... поиска в разделе мобильных устройств и посмотрите, увеличится или уменьшится рейтинг вашего мобильного телефона. Если они не проверяют ваш скорость сайта требования. На медленном сайте наблюдается резкое падение трафика. Попытка добавить страницы или статьи AMP на ваш сайт, поскольку SEO видят примерно 17% всех запросов на первой странице, являются страницами AMP. Если вы не знаете, с чего начать, и вам нужна
Google Lighthouse: инструмент SEO-аудита от Google
Автор: Франсуа Бессон 16 мая 2018 года Google ежедневно разрабатывает новые инструменты и сервисы для веб-пользователей и администраторов веб-сайтов. 5 февраля 2018 года это новый инструмент для проведения SEO-аудита вашего сайта, который был запущен под названием
Как исправить ошибку карты сайта Yoast SEO XML
Вы получаете эту ошибку при просмотре карты сайта XML, которую вы создали с помощью превосходного плагина Yoast для SEO на WordPress? У меня был клиент с той же проблемой, но, копаясь, я нашел несколько решений, которые вы можете попробовать, как
Оптимизация сайта | Также Google Лучшие позиции по SEO компании?
... иция в результатах поиска Google, но у вас нет времени или желания сделать это самостоятельно? Понятно, потому что оптимизация вашего сайта требует времени и терпения. В этом случае ищите SEO-компанию и оптимизируйте ваш сайт специалистом по поисковым системам. Агентство поисковой оптимизации специализируется, как следует из названия, на оптимизации вашего сайта в результатах поисковых систем. Обычно в гугле. Компания, занимающаяся поисковой оптимизацией, проверит ваш сайт и выяснит,
Что такое XML Sitemap? Как создать карту сайта в WordPress?
Еще в начале 2000-х правительственные сайты имели ссылки на свои главные страницы под названием «Карта сайта». Эта страница обычно содержит список всех страниц на этом сайте. Даже сегодня некоторые веб-сайты имеют такие HTML-карты сайта. Тем не менее, карты сайта так сильно эволюционировали из списка HTML, созданного вручную. Сегодня карты сайта публикуются в формате XML вместо HTML, и их целевая аудитория - поисковые системы, а не люди. Недавно один из наших пользователей отправил нам
Как использовать плагин Yoast SEO WordPress
... поиска» и «Премиум». Давайте внимательнее посмотрим на каждую из этих вкладок и узнаем, как использовать плагин Yoast SEO прямо сейчас. Титулы и Метас Titles & Metas позволяет вам изменять и добавлять заголовки и метаописания для постов, страниц и страниц архива. Таким образом, вы можете убедиться, что ваша страница действительно выделяется в результатах поиска. Здесь вы также можете легко установить шаблоны для заголовков и метаописаний для всех
Google Analytics для BoldGrid
Настройка Google Analytics для вашего веб-сайта BoldGrid важна, если вы хотите иметь возможность отслеживать свой трафик и принимать решения о вашем сайте на основе этих данных. Эта статья поможет вам настроить Google Analytics и добавить на нее свой сайт BoldGrid. Добавление вашего сайта в Google Analytics
Перенаправление
Перенаправления позволяют перенаправлять пользователей и поисковые системы на соответствующий контент на вашем сайте. Перенаправления могут управляться для отдельных сайтов непосредственно в Панели управления. Sprout SEO поддерживает 3 типа перенаправлений: Тип Описание 301 Перенаправить
Карта боев в зоне ООС, 20 июня 2018
... и позиции военных в зоне проведения операции объединенных сил (ООС) по состоянию на среду, 20 июня. Карта опубликована Советом национальной безопасности и обороны Украины, пишет " репортер ". ООС изображения кликабельны По

Комментарии

XML (\. GZ)?
XML (\. GZ)? [А-z0-9 _ \ -] + -. Карта сайта ([0-9] +) \ XML (. \ GZ)? Сохраните изменения и посмотрите, сможет ли она исправить ошибку 404 Yoast's WordPress sitemap 404. Способ 3 - Решение проблемы с файлом .htaccess. Если ничего из вышеперечисленного не работает для вас, вы должны пойти на самое надежное решение. Во-первых, вам необходимо установить программное обеспечение FTP, например FileZilla. Вам необходимо открыть программное обеспечение
И это скорость загрузки сайта в рамках рекомендаций Google?
Если люди перестанут заходить в Google, кто будет нажимать на объявления AdWords, которые окружают результаты обычного поиска? Вот почему они должны предотвращать рассылку спама, удалять ненужные результаты поиска и давать людям то, что они хотят, в любое время и в любом месте. Это сложный заказ - но Google подходит к тарелке. И, по крайней мере, пока они выигрывают! Как Google сделает поиск более релевантным? Приняв трехстороннюю стратегию.
3. Как владельцу сайта лучше всего определить, был ли он наказан Google?
3. Как владельцу сайта лучше всего определить, был ли он наказан Google? Если вы считаете, что у вас могут быть действия, выполняемые вручную, вы можете перейти к консоли поиска Google (старая версия, а не бета-версия), а затем нажать «Поиск трафика» → «Действия вручную». Вы увидите штраф там. Если вы считаете, что обновление алгоритма повлияло на вас, это сложно диагностировать. Я рекомендую сегментировать ваш трафик, чтобы показать только трафик Google. Чтобы сделать
Почему заголовок моей домашней страницы отличается в результатах поиска Google?
Почему заголовок моей домашней страницы отличается в результатах поиска Google? Короче говоря, Google часто создает свой собственный фрагмент кода для страницы, если считает, что может создать более чистый заголовок, основываясь на том, что он знает о странице
Недавно один из наших пользователей отправил нам электронное письмо с вопросом: что такое карта сайта WordPress?
Недавно один из наших пользователей отправил нам электронное письмо с вопросом: что такое карта сайта WordPress? Нужно ли иметь карту сайта на моем сайте? Как я могу создать карту сайта в WordPress? Если вы новичок в WordPress и у вас были те же вопросы, то вы попали по адресу. В этой статье мы объясним, что такое карта сайта, зачем вам карта сайта, как создать карту сайта в WordPress и как рассказать поисковым системам о ваших картах сайта. Что такое XML-карта WordPress? Карта
Итак, вы создали бренд, достаточно большой для его поиска в Google?
Итак, вы создали бренд, достаточно большой для его поиска в Google? Насколько хорошо вы оцениваете все эти брендовые запросы? Несколько дней назад Джой Хокинс опубликовал очень проницательный нить различая два важных бренда
Задумывались ли вы, как некоторые компании получают такие приятные и удобные места на страницах результатов поиска Google, где, кажется, они в некотором смысле «представлены»?
Задумывались ли вы, как некоторые компании получают такие приятные и удобные места на страницах результатов поиска Google, где, кажется, они в некотором смысле «представлены»? Ваш бизнес тоже может иметь это. Когда потенциальные клиенты ищут ваш бизнес, это действительно помогает немедленно отображать самую актуальную информацию - как пример шеф-повара выше. Подумайте
Основы получения вашего сайта в Google в Дубае?
Основы получения вашего сайта в Google в Дубае? 1. Ключевое исследование Как и на любом другом рынке, исследование ключевых слов является основой ваших усилий по SEO. Используя такие инструменты, как планировщик ключевых слов Google и другие платные инструменты, важно выяснить, как ваши потенциальные клиенты ищут ваши продукты и услуги в Дубае. Важно не предполагать, что вы будете использовать те же ключевые слова, на которые ориентированы другие города и страны
Если Google просто пытался предоставить качественные результаты поиска своим пользователям, как вы можете обвинить их в том, что они вычистили мусор?
Если Google просто пытался предоставить качественные результаты поиска своим пользователям, как вы можете обвинить их в том, что они вычистили мусор? Они хотели, чтобы их посетителей встречали только самые релевантные, самые популярные и наиболее полезные сайты для их запросов, поэтому, если это был не вы, им нужно было убедиться, что вы НЕ появлялись. Итак, ваш сайт получил удар от Panda? Есть несколько способов выяснить это. Сначала проверьте свою аналитику - посмотрите, в какие дни
Вы получаете эту ошибку при просмотре карты сайта XML, которую вы создали с помощью превосходного плагина Yoast для SEO на WordPress?
Вы получаете эту ошибку при просмотре карты сайта XML, которую вы создали с помощью превосходного плагина Yoast для SEO на WordPress? У меня был клиент с той же проблемой, но, копаясь, я нашел несколько решений, которые вы можете попробовать, как это
? Использует ли Google мета-описание при ранжировании страницы?
Вы получаете эту ошибку при просмотре карты сайта XML, которую вы создали с помощью превосходного плагина Yoast для SEO на WordPress? У меня был клиент с той же проблемой, но, копаясь, я нашел несколько решений, которые вы можете попробовать, как это

Иция в результатах поиска Google, но у вас нет времени или желания сделать это самостоятельно?
Как создать карту сайта в WordPress?
XML (\. GZ)?
Карта сайта ([0-9] +) \ XML (. \ GZ)?
Если люди перестанут заходить в Google, кто будет нажимать на объявления AdWords, которые окружают результаты обычного поиска?
Как Google сделает поиск более релевантным?
3. Как владельцу сайта лучше всего определить, был ли он наказан Google?
3. Как владельцу сайта лучше всего определить, был ли он наказан Google?
Почему заголовок моей домашней страницы отличается в результатах поиска Google?
Недавно один из наших пользователей отправил нам электронное письмо с вопросом: что такое карта сайта WordPress?