Как составить robots.txt для CMS Simpla

[kitmo]

 

Как составить robots.txt для CMS Simpla и какие разделы нужно закрыть от индексации в cms simple чтобы не проиндексировать ничего лишнего кроме страниц с контентом?

 

[Kosjak76]

В Симпле ЕСТЬ роботс, в котором все прописано :-)  прежде чем задавать такие вопросы, неплохо было бы познакомиться с системой

[kitmo]

Я попросил просто помочь! Как его настроить или чет в этом роде....

 

Я ввожу   (домен/robots.txt)

 

мне выдает: User-agent: *

Disallow: /sections/404

Disallow: /simpla/
Disallow: /order/
Disallow: /user/
Disallow: /js/
Disallow: /captcha/
Disallow: /Smarty/
Disallow: /design/
Disallow: /api/
Disallow: /compiled/
Disallow: /cart/
Disallow: /resize/
Disallow: /password.php

 

А должно выдавать к примеру:

 

User-agent: *

Disallow: /linkexchange/
Disallow: /order_status/
Disallow: /feedback/
Disallow: /auth/
Disallow: /register/
Disallow: /pricelist/
Disallow: /cart/
Disallow: /index.php
Disallow: /search/
Disallow: /*sort=
Disallow: /shop/
Disallow: /checkout/
Disallow: /installer/
Disallow: /published/wbsadmin/
Disallow: /login/
Disallow: /logout/
Disallow: /myaccount/
Disallow: /published/SC/html/scripts/
Disallow: /remind_password/
Disallow: /*/reviews/
Disallow: /order_history/
Disallow: /print_form/
Disallow: /*save_voting_results=yes
Disallow: /category/*/offset

 

Повторю, я не знаю как это проделать, а точнее где!? А познакомится с системой - это я и делаю! 

[Kosjak76]

Так чем вас не устраивает существующий??? Что вы там собрались настраивать?

[kitmo]

Ну значит мне не то объяснили))) Наверно)))  Сказали, что вот этой ошибки не должно быть (Disallow: /sections/404)

 

Ладно спасибо Kosjak76 за ответ) если говорите, что все норм тогда не буду заморачиватся)) 

[Kosjak76]

Disallow: /sections/404

Да, это можно убрать, но хуже от этой строчки никому не будет)))

Можете изменить на

Disallow: /404

[kitmo]

Понял, еще раз спасибо за ответ))

[Aijai]

Понял, еще раз спасибо за ответ))

Роботс редактируется под конкретный сайт, в частности закрывает от сканирования определенные / ненужные ПС страницы, если не разбираетесь в этом - лучше заплатите кому нить, четко объяснив что должно сканироваться, а что нет.

[kitmo]

Тоже вариант) 

[ArgonZ]

удалил

Изменено 18 ноября, 2013 пользователем ArgonZ

[m-31]

Здравствуйте !
Что нужно прописать в robots.txt для индексации цены товара ?

[Noxter]

Здравствуйте !

Что нужно прописать в robots.txt для индексации цены товара ?

http://schema.org/Product

[m-31]

 

Noxter, спасибо , буду разбираться

 

[Noxter]

Noxter, спасибо , буду разбираться

Также советую почитать вот эту тему http://forum.simplacms.ru/topic/2697-сниппеты-для-google-хлебные-крошки/

[N66]

Если вдруг кому-то будет полезно.

User-agent: *

 

 

 

Disallow: /simpla/

 

Disallow: /order/

 

Disallow: /user/

 

Disallow: /captcha/

 

Disallow: /Smarty/

 

Disallow: /api/

 

Disallow: /compiled/

 

Disallow: /cart/

 

Disallow: /resize/

 

Disallow: /password.php

 

Disallow: /products?keyword

 

Disallow: *?sort=price*

 

Disallow: *?sort=name*

 

Disallow: *?sort=position*

 

Disallow: *?page=*

 

 

 

User-agent: Yandex

 

 

 

Disallow: /simpla/

 

Disallow: /order/

 

Disallow: /user/

 

Disallow: /captcha/

 

Disallow: /Smarty/

 

Disallow: /api/

 

Disallow: /compiled/

 

Disallow: /cart/

 

Disallow: /resize/

 

Disallow: /password.php

 

Disallow: /products?keyword

 

Disallow: *?sort=price*

 

Disallow: *?sort=name*

 

Disallow: *?sort=position*

 

Disallow: *?page=*

 

 

 

 

User-agent: Googlebot

 

 

Disallow: /simpla/

 

Disallow: /order/

 

Disallow: /user/

 

Disallow: /captcha/

 

Disallow: /Smarty/

 

Disallow: /api/

 

Disallow: /compiled/

 

Disallow: /cart/

 

Disallow: /resize/

 

Disallow: /password.php

 

Disallow: /products?keyword

 

Disallow: *?sort=price*

 

Disallow: *?sort=name*

 

Disallow: *?sort=position*

 

Disallow: *?page=*

 

 

 

 

Host: домен

 

Sitemap: http:// домен/sitemap.xml

[Noxter]

Подготовил статью https://simpla-addons.org/blog/modules/kak-sostavit-robotstxt-dlya-simpla-cms

[phukortsin]

Подготовил статью https://simpla-addons.org/blog/modules/kak-sostavit-robotstxt-dlya-simpla-cms

 

1. Чтобы увидеть статью, надо авторизоваться (или зарегистрироваться) - довольно неудобно.

2. Сама статья состоит из одной фразы "Мы сопоставили правильный robots.txt для системы управления интернет-магазином на базе Simpla CMS".

3. Фраза статьи в чистом виде просто бессмысленна. Вероятно, автор хотел сказать 'СОСТАВИЛИ правильный robots.txt'.

4. В той же фразе встречается 'robots.txt для системы управления интернет-магазином'. Это что - изобретение автора? Потому как robots.txt имеет свои задачи, указанные, например, на странице https://yandex.ru/support/webmaster/controlling-robot/ . Легко видеть, что к управлению сайтом эти задачи отношения не имеют.

5. К статье приложен файл - образец robots.txt. Легко видеть, что автор(ы) "сопоставили" его почти целиком копированием предыдущего поста #15 этой темы. Разве что в две последние строки свой домен вписали. Плагиатец просто шикарный!

6. Автора(ов) можно поздравить - портал растет и развивается!

Изменено 30 октября, 2018 пользователем phukortsin

[Noxter]

 

1. Чтобы увидеть статью, надо авторизоваться (или зарегистрироваться) - довольно неудобно.

2. Сама статья состоит из одной фразы "Мы сопоставили правильный robots.txt для системы управления интернет-магазином на базе Simpla CMS".

3. Фраза статьи в чистом виде просто бессмысленна. Вероятно, автор хотел сказать 'СОСТАВИЛИ правильный robots.txt'.

4. В той же фразе встречается 'robots.txt для системы управления интернет-магазином'. Это что - изобретение автора? Потому как robots.txt имеет свои задачи, указанные, например, на странице https://yandex.ru/support/webmaster/controlling-robot/ . Легко видеть, что к управлению сайтом эти задачи отношения не имеют.

5. К статье приложен файл - образец robots.txt. Легко видеть, что автор(ы) "сопоставили" его почти целиком копированием предыдущего поста #15 этой темы. Разве что в две последние строки свой домен вписали. Плагиатец просто шикарный!

6. Автора(ов) можно поздравить - портал растет и развивается!

Всё для тебя старался

[pudohom]

Статье уже 3 года. В свободном доступе. 

https://simplamarket.com/blog/pravilnyj-robotstxt-dlya-simplacms

[fuckmoney]

simpla-addons.org - из тех людей, которые говорят что у них свой движок. А сами сидят на MODx.

[Noxter]

simpla-addons.org - из тех людей, которые говорят что у них свой движок. А сами сидят на MODx.

Чем докажешь?

Я никогда не пользовался modx.

Ты такое же трепло как и Корс.

[fuckmoney]

Чем докажешь?

Я никогда не пользовался modx.

Ты такое же трепло как и Корс.

Слушай Noxter, сколько же в тебе желчи! Я на личности не переходил и оскорблять никого не имею привычки. Если я не прав, то прости!

Изменено 31 октября, 2018 пользователем sergeevizh

[Noxter]

Слушай Noxter, сколько же в тебе желчи! Я на личности не переходил и оскорблять никого не имею привычки. Если я не прав, то прости!

Да ты просто думай головой прежде чем что-то высказывать.

Ляпнул, никаких доказательств не предоставил, вывод - балабол, прям по стопам Корса идёшь.

[fuckmoney]

Да ты просто думай головой прежде чем что-то высказывать.

Ляпнул, никаких доказательств не предоставил, вывод - балабол, прям по стопам Корса идёшь.

 

Что-то я и правда ляпнул на счет MODx. 

Решил найти доказательства и обнаружил работу WordPress

В частности плагинов:

Woocommerce

Contact Form 7

 

И темы 

tdPravda

[Noxter]

Что-то я и правда ляпнул на счет MODx. 

Решил найти доказательства и обнаружил работу WordPress

В частности плагинов:

Woocommerce

Contact Form 7

 

И темы 

tdPravda

И опять мимо на счёт WP, разве что за основу брался когда-то шаблон tdPravda и переделывался под Smarty.

Тебе не надоело?

P.S. Ждите обновление, будет на что посмотреть.