Так как Yahoo на данный момент является самым действенным инструментом по определению внешних ссылок на сайт. То в некоторых случаях бывает уместно запретить Yahoo индексировать ваш сайт. При этом вы лишаетесь небольшого трафика с этой поисковой системы.
Вот примерный код robots.txt? который запрещает Yahoo индексировать ваш сайт:
User-agent: Slurp
Disallow:/User-agent: *
Disallow:
Это, например, полезно, если у вас есть собственная сетка сайтов (сателлитов), что бы конкурентам было сложнее её определить и настучать на вас в Яндекс.
