Как закрыть статьи от индексации

SuperDivX
Знатоки, подскажите, как закрыть от индексации уже выложенные на сайте статьи (копипаст)
Gorec
User-agent: *
Disallow: /файлfile.html
Disallow: /папка/
вместо "папка" ставьте название каталога который вы хотите исключить от индексации. У вас какое там название если не секрет?
""
SuperDivX
каталоги stati и novosti

Т.е. должно быть так?
User-agent: *
Disallow: /файлfile.html
Disallow: /novosti/
Disallow: /stati/

А эта строчка нужна: Disallow: /файлfile.html ?

Это и от яндекса и от гугла работает?
Gorec
SuperDivX:
А эта строчка нужна: Disallow: /файлfile.html ?
не причем, я для примера писал.
User-agent:-это обращение к поисковику, если после него * это обращение ко всем поисковикам если же Googlebot то к гуглу, Yandex-к яндексу
""
Gorec
Disallow:-блокирует доступ к страницам
Disallow: /stati/ значит не будут индексироваться все что находится в этой категории
""
Gorec
У меня вот так
User-Agent: Googlebot
Allow: /
Sitemap: http://pro-dagestan.ru/google_sitemap.xml

User-agent: Yandex
Allow: /
Sitemap: http://pro-dagestan.ru/yandex_sitemap.xml

User-Agent: *
Allow: /
Disallow: /search/tag/
Disallow: /go/
Disallow: /ie6.html
""
SuperDivX
Т.е. лучше так?

User-Agent: *
Allow: /
Disallow: /stati/
Disallow: /novosti/
Gorec
http://help.yandex.ru/webmaster/?id=996567Перейдите по ссылке, там обо всем этом сказано smile
""
Gorec
Вы решили свою проблему?
""
Перейти на форум:
Быстрый ответ
У вас нет прав, чтобы писать на форуме.

Голосуем

Самый нужный компонент