Как закрыть статьи от индексации

User-agent: *
Disallow: /файлfile.html
Disallow: /папка/
вместо "папка" ставьте название каталога который вы хотите исключить от индексации. У вас какое там название если не секрет?
Disallow: /файлfile.html
Disallow: /папка/
вместо "папка" ставьте название каталога который вы хотите исключить от индексации. У вас какое там название если не секрет?


каталоги stati и novosti
Т.е. должно быть так?
User-agent: *
Disallow: /файлfile.html
Disallow: /novosti/
Disallow: /stati/
А эта строчка нужна: Disallow: /файлfile.html ?
Это и от яндекса и от гугла работает?
Т.е. должно быть так?
User-agent: *
Disallow: /файлfile.html
Disallow: /novosti/
Disallow: /stati/
А эта строчка нужна: Disallow: /файлfile.html ?
Это и от яндекса и от гугла работает?

SuperDivX:
не причем, я для примера писал.А эта строчка нужна: Disallow: /файлfile.html ?
User-agent:-это обращение к поисковику, если после него * это обращение ко всем поисковикам если же Googlebot то к гуглу, Yandex-к яндексу


Disallow:-блокирует доступ к страницам
Disallow: /stati/ значит не будут индексироваться все что находится в этой категории
Disallow: /stati/ значит не будут индексироваться все что находится в этой категории


У меня вот так
User-Agent: Googlebot
Allow: /
Sitemap: http://pro-dagestan.ru/google_sitemap.xml
User-agent: Yandex
Allow: /
Sitemap: http://pro-dagestan.ru/yandex_sitemap.xml
User-Agent: *
Allow: /
Disallow: /search/tag/
Disallow: /go/
Disallow: /ie6.html
User-Agent: Googlebot
Allow: /
Sitemap: http://pro-dagestan.ru/google_sitemap.xml
User-agent: Yandex
Allow: /
Sitemap: http://pro-dagestan.ru/yandex_sitemap.xml
User-Agent: *
Allow: /
Disallow: /search/tag/
Disallow: /go/
Disallow: /ie6.html

Быстрый ответ
У вас нет прав, чтобы писать на форуме.