Клоакинг — зло?

До прочтения статьи Рэнда Фишкина на SEOmoz я думал, что клоакинг в любом виде — это исключительно черный метод продвижения, за который можно получить по шапке от всевидящего и всезнающего Google. Но я оказался неправ (что, в общем-то совсем не удивительно). Мне просто не хватило ума приложить основную характеристику клоакинга — выдача различного содержания поисковым ботам и рядовым пользователям — к белым сайтам, которыми я пользуюсь каждый день.

*Этот пост будет всецело посвящен различным видам клоакинга и тому, к каким из них Google отномитеся терпимо, и какие на дух не переносит. Здесь не будет никаких “тем”, просто интересная информация для расширения seo-кругозора.

Вот неслабый список неслабых сайтов, которые успешно используют клоакинг в своих целях:

• Google (ага, он самый). Поищите в Google гугловские же сервисы типа google translate, adwords, adsense и пр. и посмотрите, какие урлы выдает поисковик. А теперь перейдите по ссылке и посмотрите, во что превращается адрес страницы по мере ее загрузки. Мало того, содержание целевой страницы иногда отличается от того, что хранится с кеше, независимо от того, залогинены вы в Google или нет.
• NYTimes.com. Встроенные рекламные страницы, приглашение залогиниться/зарегистрироваться на сайте после 5 кликов, архивные данные — все это человек видит иначе, чем поисковые боты.
• Forbes.com. На этом сайте невозможно даже взглянуть на главную страницу, не насладившись прежде рекламным роликом на полэкрана. Кешированные страницы тоже часто отличаются от того, что видит на сайте человек.
• Wine.com. Даже если не брать во внимание редиректы, каждый пользователь прежде чем посмотреть цены (как, впрочем, и страницы), должен выбрать штат. Вряд ли это требуется от поисковых ботов.
• WebmasterWorld.com. Этот сайт одним из первых ввел (теперь общепринятую) практику нескольких бесплатных кликов по сайту, после которых идет предложение записаться в члены сайта. Но на боты Google это не распространяется.
• Yelp.com. Активное применение геотаргеттинга на базе куков.
• Amazon.com. Благодаря кукам и данным с прошлых посещений Амазон может варьивать, например, выдачу по рекомендуемым товарам.
• iPerceptions.com. По сути сайт не использует клоакинг, но попап на сайте виден только с тех компьютеров, где браузеры поддерживают куки (причем виден он не только на этом сайте, а и на доброй сотне других). не говоря уже о том, что сайт принадлежит одному из сотрудников Google.
• ComputerWorld.com. Если бы вы были ботом, вы бы никогда не увидели реклам на весь экран, попапов и даже некоторых яваскриптов, которые срабатывают только тогда, когда на сайт заходит реальный человек.
• Scribd.com. Машина видит на сайте исключительно html-текст. Человек видит то, что видит.
• Nike.com. Google показывает, что сайт состоит из более чем полутора миллионов страниц. Только почему-то все эти страницы начинаются с одного и того же flash-ролика.
• Wall Street Journal. Бот Google совершенно не видит ссылки pay to access, который стоит после первого абзаца на некоторых статьях на сайте.

Этот список можно продолжать и продолжать, но суть и без этого ясна: клоакинг не всегда зло, особенно если вы:

• крупный и всемирно известный бренд; или
• маскируете страницы так, что от этого получают пользу не только поисковые боты, но и живые посетители сайта.

Вот классификация типов клоакинга от  Рэнда Фишкина:

1. Кристально белый:

• Разрешенные приемы: распознавание куков, яваскрипты.
• Цель: оптимизация целевых страниц, предоставление контента зарегистрированным пользователям.

На том же SEOmoz есть платная подписка, содержимое которой могут видеть только ее участники. Технически поисковые боты и некоторые посетители видят разные вещи, но у них все основано на куках и выполнено в строгом соответствии с требованиями поисковых систем.

2. Почти белый:

• Разрешенные приемы: все, что выше, + User Agent.
• Цель: геотаргеттинг, определение типа браузера, минимизация расхода трафика на ботов.

Геотаргеттингом балуется Craigslist.org. Представители Google открыто заявили, что до тех пор, пока Craigslist показывает ботам те же страницы, что и посетителям, такое поведение сайта не нарушает правил. Только вот боты видят совсем не те страницы, что посетители, — по логике вещей они и не должны их видеть, ведь боту нужно скормить весь контент сайта, а не только объявления под Нью-Йорк или Сан-Франциско. Однако такое нарушение правил не приводит к серьезным последствиям, потому что, по большому счету, и пользователи, и поисковые системы получают то, что им нужно.

3. Слегка серый:

• Разрешенные приемы: все, что выше, + User Agent / просмотр информации об IP-адресе.
• Цель: редирект ссылочного веса на аналогичные страницы, показ скрытого контента.

На сайтах, где размещаются большие статьи, как правило, стоят ссылки вроде “прочитать статью” или “распечатать статью” и т.д. в том же духе. Когда на вот эти варианты одной и той же статьи появляется несколько ссылок с разных источников (блоги, соц. сайты), поисковики начинают их индексировать и пеналить за дублированый контент. Чтобы этого избежаить на второстепенные ссылки ставится 301-й редирект, и тогда весь ссылочный вес направляется на саму статью. Но опять же, несмотря на нарушение правил, этот метод приносит пользу как посетителям (они переходят на оригинал статьи), так и поисковым системам (у Yahoo и MSN все еще есть проблемы с определением дублированного контента). Т.е. авторитетным сайтам за это точно ничего не грозит.

4. Темно-серый:

• Разрешенные приемы: все.
• Цель: показ менее оптимизированного контента, редирект ссылочного веса на левые страницы.

Некоторые партнерки вместо того, чтобы редиректить ссылочный вес с партнерских ссылок на страницы, куда они должны вести, редиректят его на страницы, которые нужно подпитать ссылками и продвинуть в выдаче. Такие телодвижения очень близки к черным методам, поэтому поисковики за такое наказывают.

5. Черный:

• Разрешенные приемы: все.
• Цель: показ контента, совершенно не соответствующего поисковому запросу.

Здесь Рэнд приводит пример, как он ввел в поиск запрос inurl:sitemap.xml и на 9-м месте в выдаче обнаружил ссылку www.acta-endo.ro/new/viagra/sitemap.xml.html, которая привела его… да вы сами знаете, куда приводят такие ссылки 🙂 За такое поисковики банят сайты сразу, как только их обнаружат.

Вывод: Все, что бело или слегка серо, принимается поисковыми системами на ура, несмотря на публичные заявления некоторых говорящих голов, поскольку не нарушает интересов сторон. За все остальное банят.

Записи по теме:

• Как корабль назовешь, так он и поплывет
• Полезные инструменты для изучения целевой аудитории сайта
• Железный метод увеличения поискового трафика
• 10 способов быстро увеличить посещаемость блога