может если у вас будет время поможете с проверкой сайта на индексацию у яши я бы в долгу не останусь совет говорят лишним не бывает но одна голова хорошо а 2 еще лучшеeugene_wb, при этом чпу генерирует ссылки так http://мой сайт/категория /под категория/ и что теперь делать с этим сайтом как можно его поправить
Обратиться в тех. поддержку Яндекса, задав вопрос об индексации из личного кабинета Яндекс.Вебмастера, кстати, там же (если вы не знали) находится информация о том, почему и отчего и какие страницы вашего сайта не прошли в индекс, для того чтобы информация эта появилась, нужно подгрузить в Яндекс.Вебмастер карту сайта и подождать. Кстати, robots.txt там же анализируется и по нему даются комментарии Яндекса.
Если вы вообще хотите индексировать корректно ваш сайт и управлять этим индексированием, то вперед регистрироваться в Google Webmaster, Яндекс.Вебмастер и Яндекс.Метрика (ИМХО для рунета все же он приоритетен).
4
оптимизация robots.txt
Автор Papikov, Aug 17 2011 12:07 AM
Сообщений в теме: 22
#21
Отправлено 22 May 2013 - 03:52 PM
#22
Отправлено 18 August 2014 - 05:29 PM
Подниму тему, через столько времени какой robots на ваш взгляд наиболее правильный? Можете выложить сюда?
#23
Отправлено 01 April 2015 - 04:58 PM
После испытаний у меня более актуальный получился такой файл ) может кому пригодится )
User-agent: *
Disallow: /?
Disallow: /*?
Disallow: /*&
Disallow: /*.php
Host: твой сайт ру
Sitemap:http://твой сайт ру /sitemap.xml
User-agent: *
Disallow: /?
Disallow: /*?
Disallow: /*&
Disallow: /*.php
Host: твой сайт ру
Sitemap:http://твой сайт ру /sitemap.xml