Google использует XML Sitemaps для управления результатами поиска

1. XML карта сайта и механизм пинга
2. Отправка в консоль поиска Google
3. Открытые перенаправления
4. Пропустить файлы Sitemap через открытые перенаправления 😱
5. Эксперимент: использование директивы hreflang для «кражи» акций и ранга бесплатно
6. обсуждение
7. Раскрытие Хронология

Укороченная версия:

При стоимости домена в 12 долларов я смог получить рейтинг в результатах поиска Google с Amazon, Walmart и т. Д. За высокодоходные денежные условия в США. Цена за клик AdWords для некоторых из этих условий в настоящее время составляет около 1 доллара США за клик, и компании тратят 10 тысяч долларов в месяц на показ объявлений в этих результатах поиска, и я появлялся бесплатно.

Google исправил эту проблему и назначил вознаграждение в размере 5000 долларов.

Google предоставляет открытый URL-адрес, где вы можете «пинговать» карту сайта XML, которую они будут извлекать и анализировать - этот файл может содержать директивы индексации. Я обнаружил, что для многих сайтов можно пропинговать карту сайта, которую вы (злоумышленник) размещаете, таким образом, что Google будет доверять злой карте сайта как принадлежащей сайту жертвы.

Я считаю, что они впервые присуждают награду за проблему безопасности в реальной поисковой системе, которая напрямую влияет на рейтинг сайтов.

В рамках моих регулярных исследований я недавно обнаружил проблему для Google, которая позволяет злоумышленнику отправлять в Google карту сайта XML для сайта, для которого они не аутентифицированы. Поскольку эти файлы могут содержать директивы индексации, такие как hreflang, это позволяет злоумышленнику использовать эти директивы, чтобы помочь своим собственным сайтам занять место в результатах поиска Google.

Я потратил 12 долларов на настройку своего эксперимента и занял первое место на первой странице по количеству поисковых запросов с высокой степенью монетизации, а недавно зарегистрированный домен не имел входящих ссылок.

XML карта сайта и механизм пинга

Google позволяет представление XML-карты сайта ; они могут помочь им найти URL для сканирования, но также могут быть использованы директивы hreflang, которые они используют, чтобы понять, какие другие международные версии той же страницы могут существовать (например, «эй, Google, это страница США, но у меня есть страница на немецком языке на этот URL… »). Точно неизвестно, как Google использует эти директивы (как и все, что связано с поисковыми алгоритмами Google), но кажется, что hreflang позволяет одному URL-адресу «заимствовать» справедливость и доверие к одному URL-адресу и использовать его для ранжирования другого URL-адреса ( т. е. большинство людей ссылаются на американскую версию .com, поэтому немецкая версия может «позаимствовать» акции, чтобы занять более высокие позиции в Google.de).

Вы можете отправить файлы Sitemap в формате XML для своего домена либо через Google Search Console, либо внутри своего файла robots.txt, либо через специальный URL-адрес ping. Google-х собственные документы кажутся немного противоречивыми; вверху страницы они ссылаются на отправку файлов Sitemap с помощью механизма ping, но внизу страницы у них есть это предупреждение:

Тем не менее, по моему опыту, вы можете абсолютно отправлять новые XML-карты сайта с помощью механизма ping, при этом робот Googlebot обычно извлекает файл в течение 10-15 секунд после пинга. Важно отметить, что Google также несколько раз упоминал на странице, что если вы отправите карту сайта с помощью механизма ping, она не будет отображаться в вашей консоли поиска :

В качестве связанного теста я проверил, могу ли я добавить другие известные директивы поиска (noindex, rel-canonical) через XML-карты сайта (а также попробовать кучу эксплойтов XML), но, похоже, Google их не использовал.

Отправка в консоль поиска Google

Если вы попытаетесь отправить XML-карту сайта в GSC, которая включает URL-адреса для другого домена, для которого вы не авторизованы, то GSC отклонит их:

Мы вернемся к этому через минуту.

(Извини, Джоно!)

Открытые перенаправления

Многие сайты используют параметр URL для управления перенаправлением:

В этом примере я был бы перенаправлен (после входа в систему) в page.html. Некоторые сайты с плохой гигиеной допускают так называемые «открытые перенаправления», где эти параметры позволяют перенаправлять на другой домен:

Часто им не нужно никакого взаимодействия (например, логин), поэтому они просто перенаправляют пользователя сразу:

Открытые перенаправления очень распространены и часто считаются не слишком опасными; По этим причинам Google не включает их в свою программу вознаграждения за ошибки. Однако, где это возможно, компании пытаются защитить от них, но часто вы можете обойти их защиту:

Tesco - британский ритейлер, доход которого составляет более 50 млрд фунтов стерлингов, из которых более 1 млрд фунтов стерлингов - через их веб-сайт. Я сообщил об этом примере в Tesco (наряду с рядом других компаний, которые я обнаружил в ходе этого исследования), и с тех пор они исправили его.

Пропустить файлы Sitemap через открытые перенаправления 😱

В этот момент вы, возможно, догадались, куда я иду с этим. Оказывается, что когда вы пропингуете карту сайта XML, если отправленный вами URL является перенаправлением, Google будет следовать этому перенаправлению, даже если это междоменный домен . Важно отметить, что эта карта сайта XML все еще ассоциируется с доменом, который выполнил перенаправление, и обрабатывает карту сайта, которую он находит после перенаправления, как авторизованную для этого домена. Например:

В этом случае карта сайта evil.xml размещается на сайте blue.com, но Google связывает ее как принадлежащую и уполномоченную для green.com. Используя это, вы можете отправлять XML-карты сайтов для сайтов, которые вы не должны контролировать, и отправлять директивы поиска Google.

Эксперимент: использование директивы hreflang для «кражи» акций и ранга бесплатно

На данный момент у меня были различные движущиеся части, но я не подтвердил, что Google действительно будет доверять междоменной перенаправленной карте сайта XML, поэтому я провел эксперимент, чтобы проверить его. Я провел множество небольших тестов, чтобы понять различные части этого (а также различные тупики), но не ожидал, что этот эксперимент будет работать так же хорошо, как и он.

Я создал поддельный домен для британской розничной компании, которая не работает в США, и запустил сервер AWS, имитирующий сайт (главным образом путем сбора легального контента и переоснащения его - то есть изменения валюты / адреса и т. Д.). Я анонимизировал компанию (и отрасль), чтобы защитить их, поэтому давайте просто назовем их жертвами.com.

Теперь я создал поддельную карту сайта, которая была размещена на evil.com, но содержала только URL-адреса для жертвы. Эти URL-адреса содержали записи hreflang для каждого URL-адреса, указывающие на эквивалентный URL-адрес на evil.com, что указывает на то, что это была версия сайта жертвы.com в США. Теперь я отправил эту карту сайта с помощью открытого URL-адреса перенаправления на virus.com через механизм проверки связи Google.

В течение 48 часов сайт начал получать небольшие объемы трафика для длинных хвостов (скриншот SEMRush):

Прошло еще пару дней, и я начал появляться на 1-й странице в конкурентных условиях, против Amazon и Walmart:

Кроме того, консоль поиска Google для evil.com указала, что жертва.com ссылалась на evil.com, хотя это явно не так:

В этот момент я обнаружил, что могу также отправлять карты сайта XML для жертвы в GSC для сайта evil.com:

Похоже, что Google связал сайты, а поисковая консоль evil.com теперь имеет некоторые возможности влиять на настройки жертвы. Теперь я также могу отслеживать индексацию для моих отправленных файлов Sitemap (вы можете видеть, что я проиндексировал тысячи страниц).

Searchmetrics показывал возрастающую стоимость трафика:

Консоль поиска Google показала более миллиона поисковых запросов и более 10 000 кликов из поиска Google; и на данный момент я ничего не сделал, кроме как отправить карту сайта XML!

Вы должны заметить, что я не разрешал людям проверять на злобном сайте, но если бы я хотел, то в этот момент я мог бы либо мошенничать с людьми за большие деньги, либо настраивать рекламу, либо иным образом начать монетизировать этот трафик. На мой взгляд, это представляет серьезный риск для посетителей Google, а также для компаний, полагающихся на поиск трафика в Google. Движение по-прежнему росло, но я прекратил свой эксперимент и прервал свои последующие эксперименты, опасаясь нанести ущерб.

обсуждение

Этот метод совершенно не обнаружим для жертвы.com - карты сайта XML не отображаются на их конце, и если вы делаете то, что я сделал, и используете их равные ссылки для другой страны, то вы могли бы полностью скрыться за радаром. Конкуренты в стране, в которых они работают, останутся весьма озадаченными эффективностью вашего сайта (см. Выше, где я нахожусь в результатах поиска как Amazon, Walmart & Target, которые все тратят значительные ресурсы, чтобы быть там).

С точки зрения Black Hat SEO, это было явное использование, и, кроме того, это первый пример, который я знаю о явном эксплойте в алгоритме, а не о манипулировании факторами ранжирования. Серьезность потенциального финансового воздействия проблемы кажется нетривиальной - представьте потенциальную прибыль от таргетинга на Tesco или аналогичную (у меня было больше тестов, чтобы исследовать это больше, но я не мог без потенциального причинения ущерба).

Google присудил за это награду в размере 5000 долларов, и команде Google было приятно иметь дело, как всегда. Спасибо им.

Если у вас есть какие-либо вопросы, комментарии или информация, вы можете связаться со мной по адресу [электронная почта защищена] в твиттере по адресу @TomAnthonySEO или связавшись со мной через дистиллированный ,

Раскрытие Хронология

• 23 сентября 2017 года - я подал первоначальный отчет об ошибке.
• 25 сентября 2017 - Google ответил - они исправили ошибку и изучили ее.
• 2 октября 2017 года - я отправил еще несколько деталей.
• 9 октября - 6 ноября - некоторые изменения статуса.
• 6 ноября 2017 г. - Google сказал: «В этом отчете было довольно сложно определить, что можно сделать, чтобы предотвратить подобное поведение, и степень его влияния на наши результаты поиска. Я обратился к команде, чтобы получить окончательное решение по вашему вопросу. отчет. Я знаю, что они просеивали данные, чтобы определить, насколько распространено поведение, которое вы описали, и следует ли это немедленно предпринять ».
• 6 ноября 2017 г. - я ответил, что они не следуют междоменным перенаправлениям для проверенных файлов Sitemap - для этого нет особых причин, и это может быть только функция GSC.
• 3 января 2018 года - я попросил обновить статус.
• 15 января 2018 года - Googled ответил: «Извиняюсь за задержку, я не хотел закрывать этот отчет ранее, потому что мы не смогли получить окончательное решение, если бы было возможно решить эту проблему с помощью цепочки перенаправления, не нарушая многие законные случаи применения. Я обратился к команде, которая просматривает этот отчет, чтобы получить окончательный ответ, и сообщу вам свои ответы на этой неделе ».
• 15 февраля 2018 - Google обновил, чтобы сообщить мне, что в отчете была обнаружена ошибка, и Правление VRP обсудило вознаграждение.
• 6 марта 2018 года - Google сообщил мне, что они получили награду в размере 1337 долларов.
• 6 марта 2018 года - я поделился черновиком этого поста с Google и попросил раскрыть зеленый свет.
• 12 марта 2018 года - Google дал мне знать, что они не завершили исправление, и попросил меня подождать.
• 25 марта 2018 года - Google подтвердил, что исправление было опубликовано, и дал мне зеленый свет на публикацию.
• 17 апреля 2018 года - Google снова связался со мной, чтобы сообщить, что они увеличили сумму вознаграждения до 5000 долларов. 🙂

Похожие

Комментарии