оптимизация robots.txt
#1
Отправлено 17 August 2011 - 12:07 AM
Возник такой вопрос. Кто-нибудь может подсказать оптимальный файл robots.txt для магазина?
П.С. Если тема не в той ветке, просьба модераторов переместить.
#2
Отправлено 17 August 2011 - 12:26 AM
User-Agent: * Disallow: /cart.html Disallow: /wide_search.html Disallow: /feedback.html Disallow: /compare.html
#3
Отправлено 31 August 2011 - 09:16 AM
#4
Отправлено 03 September 2011 - 05:23 PM
User-Agent: *
Host: www.имя_сайта.ru
Disallow: /index.php?
Disallow: /?
Disallow: /printable.php?
Disallow: /admin.html
Disallow: /cart.html
Disallow: /wide_search.html
Disallow: /feedback.html
Disallow: /compare.html
#5
Отправлено 01 November 2011 - 02:46 AM
User-agent: *
Allow: /index.php?do=rss
Allow: /index.php?fullnews?
Disallow: /index.php?
Disallow: /?
Disallow: /printable.php?
Disallow: /admin.html
Disallow: /cart.html
Disallow: /wide_search.html
Disallow: /feedback.html
Disallow: /compare.html
Disallow: /*_offset_*.html
Host: www.имя_сайта.ru
Sitemap: www.имя_сайта.ru/sitemap.xml
#6
Отправлено 04 November 2011 - 09:07 AM
#7
Отправлено 04 November 2011 - 09:42 AM
Если я правильно понял /*_offset_*.html это закрывает индексацию по страницам? или страницы он все же увидит? не лучше ли тогда закрыть show_all??? не понимаю не много
Это закрывает от индексации только категории - чтобы не плодить дубли. По идее, ПС не любят дубли, у меня при 5000 товаров в выдаче около 6000 страниц, если не закрывать дубли, будет все 15000, но качество выдачи будет хуже.
#8
Отправлено 17 November 2011 - 04:48 PM
#9
Отправлено 17 November 2011 - 05:12 PM
нет ну если закрыть *_offset_*.html на пример, он (паук) увидит товар который есть на второй или третьей странице? вот в чем вопрос.
Отдавайте гуглу и яндексу нормальный sitemap и все будет ок.
#10
Отправлено 17 November 2011 - 06:21 PM
#11
Отправлено 17 November 2011 - 07:12 PM
тут же не про карту говорим а про роботс. так как будет то?
ну так а кто ж знает какие у вас на сайте точки входа.
с прайслиста тоже отдаются прямые ссылки, с блоков популярных, новинок и т.д.
Т.е. offset полюбому делает дубль.
#12
Отправлено 20 November 2011 - 01:53 AM
Отдавайте гуглу и яндексу нормальный sitemap и все будет ок.
+1
Без нормальной карты даже и нечего думать о нормальной быстрой индексации. Лучше скормите Яндекс.Вебмастеру и Google нормальный .xml - быстро и надежно.
А товары по ссылкам из каталога робот возьмет из _show_all или прайса - просто сделайте (если не хотите светить пользователям киллометровую ленту прайса) неприметную ссылку из футера - робот ее сьест за милую душу.
#13
Отправлено 13 November 2012 - 09:23 AM
Host: www.xn---68-9cdbjqb3cfhv4b1a6l.xn--p1ai
Disallow: /index.php?
Disallow: /?
Disallow: /printable.php?
Disallow: /admin.html
Disallow: /cart.html
Disallow: /wide_search.html
Disallow: /feedback.html
Disallow: /compare.html
Disallow: /*_offset_*.html
Sitemap: http://xn---68-9cdbj...1ai/sitemap.xml
у меня такой. Какой вариант все же правильней, надо закрывать index.php и offset ?? В яндекс веб мастере у меня загружено почти 3 тысячи страниц реально их не больше полутора, а яндексом проиндексировано всего 300. Когда открываешь sitemap выдает ошибку валидации This XML file does not appear to have any style information associated with it. The document tree is shown below. это критично?
#14
Отправлено 13 November 2012 - 10:27 AM
Это означает, что XML-файл ни с чем не проассоциирован на вашем компьютере.This XML file does not appear to have any style information associated with it. The document tree is shown below. это критично?
#15
Отправлено 13 November 2012 - 10:45 AM
Ясно, спасибо. По поводу роботс, какой вариант лучше использовать?Это означает, что XML-файл ни с чем не проассоциирован на вашем компьютере.This XML file does not appear to have any style information associated with it. The document tree is shown below. это критично?
#16
Отправлено 21 May 2013 - 01:03 PM
User-agent:*
Disallow: /?
Disallow: /pages
Disallow: /*offset
Disallow: /index.php?
Disallow: /*show_all
Disallow: /*sort=
Disallow: /index.php?
Disallow: /cart.html
Disallow: /feedback.html
Disallow: /compare.html
Disallow: /wide_search.html
Disallow: /index.php?searchstring=*
Allow: /index.php?productID=*&discuss=yes
Host:мой сайт.ru
Sitemap: http://мой сайт.ru/sitemap.xml
что тут может быть лишним
при этом яша творит такие вещи
Раздел
Загружено страниц 2965?
Доля загруженых (%) 100,0
Страниц в индексе 4
#18
Отправлено 21 May 2013 - 02:09 PM
#20
Отправлено 21 May 2013 - 07:18 PM
eugene_wb, при этом чпу генерирует ссылки так http://мой сайт/категория /под категория/ и что теперь делать с этим сайтом как можно его поправить
Обратиться в тех. поддержку Яндекса, задав вопрос об индексации из личного кабинета Яндекс.Вебмастера, кстати, там же (если вы не знали) находится информация о том, почему и отчего и какие страницы вашего сайта не прошли в индекс, для того чтобы информация эта появилась, нужно подгрузить в Яндекс.Вебмастер карту сайта и подождать. Кстати, robots.txt там же анализируется и по нему даются комментарии Яндекса.
Если вы вообще хотите индексировать корректно ваш сайт и управлять этим индексированием, то вперед регистрироваться в Google Webmaster, Яндекс.Вебмастер и Яндекс.Метрика (ИМХО для рунета все же он приоритетен).