Эти запросы к Яндексу известны уже давно. Они никогда не были однозначными, но кое-какая зависимость всё же просматривается:
((пластиковые окна) && /(13422 59457)(пластиковые окна))
— сайты выстраиваются в выдаче по “мощности” внешних ссылок, без учета текста сайтов
пластиковые окна ~~ ((пластиковые окна) && /(12453341 56786656)(пластиковые окна))
— сайты выстраиваются в выдаче без учета ссылочного
В Рунете есть куча сайтов, которая собирает и переводит на русский язык шаблоны и темы для вордпресс, которые потом бесплатно разрешают скачать. В качестве награды за свой труд эти сайты получают сквозную ссылку или две в подвале сайта. Но часто блогер, скачавший с этого сайта wordpress-тему начинает подгонять её под себя и ссылка на переводчика и автора исчезает.
Причины этого могут быть разные:
Поэтому некоторые собиратели и переводчики тем, стали встраивать ссылку так, что бы при её удалении тема переставала работать. И без знаний её уже не убрать.
Но некоторые пошли ещё дальше они вставляют код ссылок, ведущие на их сателлиты, которые скрыты с помощью особого оформления, через css. Благодаря таким ссылкам сателлит получает ТИЦ больше ста и начинает приносить неплохую прибыль в той же sape.ru и других биржах.
Проверить сайт на наличие исходящих ссылок можно разными способами:
Так вот, таких тем достаточно много и они в топе поисковых систем по запросам темы для wordpress. Так что на всякий случай проверьте свой блог.
Что-то в последнее время стало много друзей спрашивать замену torrents.ru, так как он не работает. Может кому-то ещё будет полезно, отвечу и здесь torrents.ru переехал на rutracker.org. В связи с тем, что домен заблокирован по представлению следственного комитета при прокуратуре РФ.
Расскажу о такой теме, что в панели webmaster.yandex.ru можно присвоить больше одного региона сайту. Мне это удавалось при указании одной и той же страницы контактов, где было прописано 2 адреса компании. Дело было так, сначала мне присвоили автоматически первый регион, мне он не понравился и я указал другой регион. Через некоторое время регион поменялся, но он мне разонравился и я захотел прежний, снова заказал смену региона в вебмастере Яндекса и мне присвоили сразу два региона, между которыми я метался.
Ещё одна статья про robots.txt, ранее рассказал про то, как закрыть индексацию сайта в robots.txt от робота Yahoo.
Раньше особо не заморачивался по поводу robots.txt для wordpress, так как стоит плагин для wordpress All in One SEO, который настроен автоматически прописывать мета-теги, запрещающие индексацию ненужных мне страниц.
В роботсе было что-то вроде этого:
User-Agent: Yandex
Disallow: /out/
Disallow: *feed
Disallow: *?
Host: www.1gog.comUser-Agent: *
Disallow: /out/
Но заметил, что Яндекс не всегда и не сразу нормально реагирует на мета-тег, генерируемый плагином All in One SEO
<meta name=’robots’ content=’noindex,nofollow’ />
Страница с таким тегом не должна индексироваться, но Яндекс может не послушаться и проиндексировать эту страницу. Нежелательность индексации обусловлена тем, что некоторые страницы содержат полный или частичный дубль информации, которая находится на другой странице. Вот две разные страницы с одной и той же информацией 1 и 2. Для первой страницы прописан мета-тег, который запрещает эту страницу индексировать, но не смотря на это обе страницы в выдаче Яндекса. Яндекс не любит сайты на которых много дублированного контента, за это можно получить, например, фильтр АГС-30.
Значит запрещаем индексацию нежелательных страниц в файле robots.txt.
Я делал так:
1. Мой сайт добавлен в webmaster.yandex.ru, там я открываю пункт “Страницы в поиске”
На скрине обозначены страницы под номерами 1,2,3, которые дублируют информацию с других страниц сайта. Смотрим страницу номер 1
http://www.1GOG.com/2010/
По этому урлу показываются записи за 2010 год, они выводятся по 7 штук на одной странице, урл следующей страницы с 7 записями будет
http://www.1gog.com/2010/page/2/
и так далее…
Для того чтобы запретить индексировать все эти и будущие подобные страницы, добавляем строчку в robots.txt
Disallow: /2010/
Поступаем, так же со 2 и 3 примером на скрине, добавляем в robots.txt:
Disallow: /2009/
Disallow: /author/
В общем у меня получился такой robots.txt:
User-Agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /2009/
Disallow: /2010/
Disallow: /author/
Disallow: */comment-page-1$
Disallow: /out/
Disallow: /page/
Disallow: /tag/
Disallow: *feed
Disallow: *?
Host: www.1gog.comUser-Agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /2009/
Disallow: /2010/
Disallow: /author/
Disallow: /out/
Disallow: /page/
Disallow: /tag/
Что бы проверить не запретили ли мы, что-нибудь нужное, то после обновления файла роботс, заходим в пункт “Анализ robots.txt” и проверяем стали ли ненужные нам страницы запрещены и не стали ли нужные страницы (4,5,6) запрещены:
Так как Yahoo на данный момент является самым действенным инструментом по определению внешних ссылок на сайт. То в некоторых случаях бывает уместно запретить Yahoo индексировать ваш сайт. При этом вы лишаетесь небольшого трафика с этой поисковой системы.
Вот примерный код robots.txt? который запрещает Yahoo индексировать ваш сайт:
User-agent: Slurp
Disallow:/User-agent: *
Disallow:
Это, например, полезно, если у вас есть собственная сетка сайтов (сателлитов), что бы конкурентам было сложнее её определить и настучать на вас в Яндекс.
