Сообщений в теме: 22

[Papikov]

Доброй ночи!

Возник такой вопрос. Кто-нибудь может подсказать оптимальный файл robots.txt для магазина?

П.С. Если тема не в той ветке, просьба модераторов переместить.

[vsupport]

У меня такой:

User-Agent: *
Disallow: /cart.html
Disallow: /wide_search.html
Disallow: /feedback.html
Disallow: /compare.html

[Sergei]

Да. У меня такой же

[serggg]

Вот наиболее полный и правильный.

User-Agent: *

    Host: www.имя_сайта.ru

    Disallow: /index.php?

    Disallow: /?

    Disallow: /printable.php?

    Disallow: /admin.html

    Disallow: /cart.html

    Disallow: /wide_search.html

    Disallow: /feedback.html

    Disallow: /compare.html

[DrComp]

Мой вариант.

User-agent: *
Allow: /index.php?do=rss
Allow: /index.php?fullnews?
Disallow: /index.php?
Disallow: /?
Disallow: /printable.php?
Disallow: /admin.html
Disallow: /cart.html
Disallow: /wide_search.html
Disallow: /feedback.html
Disallow: /compare.html
Disallow: /*_offset_*.html
Host: www.имя_сайта.ru
Sitemap: www.имя_сайта.ru/sitemap.xml

[kande]

Если я правильно понял /*_offset_*.html это закрывает индексацию по страницам? или страницы он все же увидит? не лучше ли тогда закрыть show_all??? не понимаю не много

[DrComp]

Если я правильно понял /*_offset_*.html это закрывает индексацию по страницам? или страницы он все же увидит? не лучше ли тогда закрыть show_all??? не понимаю не много

Это закрывает от индексации только категории - чтобы не плодить дубли. По идее, ПС не любят дубли, у меня при 5000 товаров в выдаче около 6000 страниц, если не закрывать дубли, будет все 15000, но качество выдачи будет хуже.

[kande]

нет ну если закрыть *_offset_*.html на пример, он (паук) увидит товар который есть на второй или третьей странице? вот в чем вопрос.

[Dbus]

нет ну если закрыть *_offset_*.html на пример, он (паук) увидит товар который есть на второй или третьей странице? вот в чем вопрос.

Отдавайте гуглу и яндексу нормальный sitemap и все будет ок.

[kande]

тут же не про карту говорим а про роботс. так как будет то?

[Dbus]

тут же не про карту говорим а про роботс. так как будет то?

ну так а кто ж знает какие у вас на сайте точки входа.
с прайслиста тоже отдаются прямые ссылки, с блоков популярных, новинок и т.д.
Т.е. offset полюбому делает дубль.

[micehide]

Отдавайте гуглу и яндексу нормальный sitemap и все будет ок.

+1

Без нормальной карты даже и нечего думать о нормальной быстрой индексации. Лучше скормите Яндекс.Вебмастеру и Google нормальный .xml - быстро и надежно.
А товары по ссылкам из каталога робот возьмет из _show_all или прайса - просто сделайте (если не хотите светить пользователям киллометровую ленту прайса) неприметную ссылку из футера - робот ее сьест за милую душу.

[chasert]

User-Agent: *
Host: www.xn---68-9cdbjqb3cfhv4b1a6l.xn--p1ai
Disallow: /index.php?
Disallow: /?
Disallow: /printable.php?
Disallow: /admin.html
Disallow: /cart.html
Disallow: /wide_search.html
Disallow: /feedback.html
Disallow: /compare.html
Disallow: /*_offset_*.html
Sitemap: http://xn---68-9cdbj...1ai/sitemap.xml

у меня такой. Какой вариант все же правильней, надо закрывать index.php и offset ?? В яндекс веб мастере у меня загружено почти 3 тысячи страниц реально их не больше полутора, а яндексом проиндексировано всего 300. Когда открываешь sitemap выдает ошибку валидации This XML file does not appear to have any style information associated with it. The document tree is shown below. это критично?

[badisoft]

This XML file does not appear to have any style information associated with it. The document tree is shown below. это критично?

Это означает, что XML-файл ни с чем не проассоциирован на вашем компьютере.

[chasert]

This XML file does not appear to have any style information associated with it. The document tree is shown below. это критично?

Это означает, что XML-файл ни с чем не проассоциирован на вашем компьютере.

Ясно, спасибо. По поводу роботс, какой вариант лучше использовать?

[Арти]

тоже мучаюсь с робот txt у меня тоже интернет магазин на shop cms ,стоит чпу и всякие другие примочки вот тоже задался вопросом не могу понять почему яша не индексирует сайт может ошибка в самом robot.txt вот что у меня там
User-agent:*
Disallow: /?
Disallow: /pages
Disallow: /*offset
Disallow: /index.php?
Disallow: /*show_all
Disallow: /*sort=
Disallow: /index.php?
Disallow: /cart.html
Disallow: /feedback.html
Disallow: /compare.html
Disallow: /wide_search.html
Disallow: /index.php?searchstring=*
Allow: /index.php?productID=*&discuss=yes
Host:мой сайт.ru
Sitemap: http://мой сайт.ru/sitemap.xml
что тут может быть лишним
при этом яша творит такие вещи

Раздел

Загружено страниц 2965?


Доля загруженых (%) 100,0

Страниц в индексе 4

[eugene_wb]

при таком количестве в индексе 90% на сайт наложены санкции

[Арти]

eugene_wb, при этом чпу генерирует ссылки так http://мой сайт/категория /под категория/ и что теперь делать с этим сайтом как можно его поправить

[eugene_wb]

обратится к сео оптимизаторам

[micehide]

eugene_wb, при этом чпу генерирует ссылки так http://мой сайт/категория /под категория/ и что теперь делать с этим сайтом как можно его поправить

Обратиться в тех. поддержку Яндекса, задав вопрос об индексации из личного кабинета Яндекс.Вебмастера, кстати, там же (если вы не знали) находится информация о том, почему и отчего и какие страницы вашего сайта не прошли в индекс, для того чтобы информация эта появилась, нужно подгрузить в Яндекс.Вебмастер карту сайта и подождать. Кстати, robots.txt там же анализируется и по нему даются комментарии Яндекса.

Если вы вообще хотите индексировать корректно ваш сайт и управлять этим индексированием, то вперед регистрироваться в Google Webmaster, Яндекс.Вебмастер и Яндекс.Метрика (ИМХО для рунета все же он приоритетен).