robots.txt и simpla вопрос к SEOшникам

[san4es]

Вопрос к специалистам SEO. Стандартный robots.txt Симплы выглядит так:

User-agent: *Disallow: /sections/404Disallow: /simpla/Disallow: /order/Disallow: /user/Disallow: /js/Disallow: /captcha/Disallow: /Smarty/Disallow: /design/Disallow: /api/Disallow: /compiled/Disallow: /cart/Disallow: /resize/Disallow: /password.php

Если переделать его в такой вид:

 

User-Agent: Yandex
Disallow: /sections/404
Disallow: /simpla/
Disallow: /order/
Disallow: /user/
Disallow: /js/
Disallow: /captcha/
Disallow: /Smarty/
Disallow: /design/
Disallow: /api/
Disallow: /compiled/
Disallow: /cart/
Disallow: /resize/
Disallow: /password.php
Host: www.my-site.ru

User-Agent: Googlebot
Disallow: /sections/404
Disallow: /simpla/
Disallow: /order/
Disallow: /user/
Disallow: /js/
Disallow: /captcha/
Disallow: /Smarty/
Disallow: /design/
Disallow: /api/
Disallow: /compiled/
Disallow: /cart/
Disallow: /resize/
Disallow: /password.php

User-agent: *
Disallow: /sections/404
Disallow: /simpla/
Disallow: /order/
Disallow: /user/
Disallow: /js/
Disallow: /captcha/
Disallow: /Smarty/
Disallow: /design/
Disallow: /api/
Disallow: /compiled/
Disallow: /cart/
Disallow: /resize/
Disallow: /password.php

 

Это будет плюсом? Или нет особой разницы?

[Rash]

Необходимо указывать host и sitemap в конце robots.txt!

 

Host: gavno-site.ru
Sitemap: http://gavno-site.ru/sitemap.xml

 

User-Agent: - Тут указываешь определенный доступ к определенным поисковым системам.

[Brigadir]

Символ * в данном случае означает "для всех". Нет смысла вносить описанные Вами изменения, Вы же просто копируете уже существующие инструкции.

[san4es]

Необходимо указывать host и sitemap в конце robots.txt!

 

Host: gavno-site.ru

Sitemap: http://gavno-site.ru/sitemap.xml

Странно, вот пример - http://detstvo-shop.ru/robots.txt, у них host и sitemap не в конце robots.txt.

[san4es]

Символ * в данном случае означает "для всех". Нет смысла вносить описанные Вами изменения, Вы же просто копируете уже существующие инструкции.

 

Тогда для чего многие делают " * ".

Например:

http://detstvo-shop.ru/robots.txt

http://zapokerom.ru/robots.txt

 

 

 

[Rash]

Странно, вот пример - http://detstvo-shop.ru/robots.txt, у них host и sitemap не в конце robots.txt.

 

Важно: для каждого файла robots.txt обрабатывается только одна директива Host. Обнаружив несколько директив, робот использует первую.

Пример:

Host: myhost.ru # используется

 

User-agent: *

Disallow: /cgi-bin

 

User-agent: Yandex

Disallow: /cgi-bin

Host: www.myhost.ru # не используется

 

P.S Из выдержки яши, ссылка

[Brigadir]

Тогда для чего многие делают " * ".

Например:

http://detstvo-shop.ru/robots.txt

http://zapokerom.ru/robots.txt

 

 

 

Вот ещё почитайте на досуге http://robotstxt.org.ru/

[Ogybil]

Тогда для чего многие делают " * ".

Например:

http://detstvo-shop.ru/robots.txt

http://zapokerom.ru/robots.txt

 

 

 

Это делается по той причине, что один не дочитал, второй недопонял, третий сделал как понял из того что сказал второй.

Есть правила общие они отмечены "*", а есть правила для конкретных ботов: User-agent: Yandex

Если вы пропишите одни и теже правила для каждого бота, то думаю ничего не изменится, ведь каждый бот будет рассматривать то что для него, но никаких приимуществ это не даст и Яндекс не полюбит ваш сайт больше, потому-что о нем вспомнили в robots.txt (именно на это и рассчет).

Поэтому, правильнее общие правила выносить в User-agent: *, правила для конкретных ботов, которые противоречат правилам для всех в User-Agent: Конкретныйбот

[san4es]

Это делается по той причине, что один не дочитал, второй недопонял, третий сделал как понял из того что сказал второй.

Есть правила общие они отмечены "*", а есть правила для конкретных ботов: User-agent: Yandex

Если вы пропишите одни и теже правила для каждого бота, то думаю ничего не изменится, ведь каждый бот будет рассматривать то что для него, но никаких приимуществ это не даст и Яндекс не полюбит ваш сайт больше, потому-что о нем вспомнили в robots.txt (именно на это и рассчет).

Поэтому, правильнее общие правила выносить в User-agent: *, правила для конкретных ботов, которые противоречат правилам для всех в User-Agent: Конкретныйбот

Теперь понял, спасибо.