Перейти к содержимому


Парсер товаров для ShopCMS


  • Вы не можете ответить в тему
Сообщений в теме: 149

#61 xumuk533

    Продвинутый пользователь

  • Download User
  • PipPipPip
  • 44 сообщений
Репутация: 0
Начинающий

Отправлено 15 December 2011 - 11:58 PM

Вобшем поставил все как есть,использую shopcms 3.1.2 vip,делаю парсер на яндекс,в итоге все проходит успешно но не тут то было :)
Прикрепленный файл  gRmUlh6e.bmp   2.58МБ   4 Количество загрузок:
Из 11 товаров добавился всего 1 и тот некорректно.В чем может быть проблема?
  • 0

#62 dgimmibos

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 126 сообщений
Репутация: 12
Начинающий

Отправлено 16 December 2011 - 06:07 AM

Скорее всего у тебя совпадает блоки описание с полным описанием, по тому как все складывается в один товар. Необходимо изменить настройку тегов в этих и я не вижу чтобы у тебя картинка парсилась?
  • 0

#63 xumuk533

    Продвинутый пользователь

  • Download User
  • PipPipPip
  • 44 сообщений
Репутация: 0
Начинающий

Отправлено 16 December 2011 - 01:05 PM

Скорее всего у тебя совпадает блоки описание с полным описанием, по тому как все складывается в один товар. Необходимо изменить настройку тегов в этих и я не вижу чтобы у тебя картинка парсилась?


<table><td><tr><th><thead><tbody><tfoot><p><br><b><u><strong><i><ul><ol><li>

вот эти теги стоят у меня,Ничего не менял.
Помогите разобраться что я не так делаю.
  • 0

#64 badisoft

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 5075 сообщений
Репутация: 786
Мастер

Отправлено 16 December 2011 - 06:51 PM

Да забудьте вы этот парсер! Он было хорош, пока сюда не выложили Парсер 6.2 (ныне не работающий) и Парсер 7.7 (ссылка находится в теме по Парсер 6.2, там же инструкции по установки и использованию). Понятно, если бы надо было спарсить сайт, не входящий в список парсинга Парсера 7.7, тогда да, можно ставить этот парсер и самому делать шаблон для него, но для парсинга Яндекса-то нахрена, если 7.7 делает ровно то же самое, только намного лучше по результату и удобнее по процессу?

Напрочь не понимаю мотива для установки этого парсера под парсинг Яндекса. Да, можно поставить. Да, даже работает. Нет, с идущим в комплекте шаблоном не работает. И с чуть позже выложенным уже не работает, т.к. 1-го ноября изменился формат страницы у Яндекса. Но исправить просто. С шаблоном под торг.мэйл.ру - работает. Точнее, работало на момент использования мной. Я исправлял шаблон под Яндекс и писал свои под другие сайты, поэтому просто поверьте - забудьте этот парсер и пользуйтесь зюзикеновским. Или Web Content Extractor-ом, если хочется самом писать шаблоны. А этот - ни то, ни се....
  • 0
http://cpu.badisoft.ru (тестовый сайт), http://badisoft.ru (модули)

#65 dgimmibos

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 126 сообщений
Репутация: 12
Начинающий

Отправлено 16 December 2011 - 08:43 PM

На мой ИМХО взгляд смысл парсить яндекс и викимарет, мейл смысла особо нет. Там описания нормального для товара нет только характеристики. Мне очень понравился такой парсер. Причем его элементарно настроить почти на любой сайт который понравился причем весь товар и описание уже в сайте и почти в нужной категории.
Зачем не пойму сосредоточиваетесь на яндекс маркете если полно других сайтов удобных для настройки данного инструмента.
Зюзеновский хорош тоже соглашусь, но есть нюансы.
  • 0

#66 badisoft

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 5075 сообщений
Репутация: 786
Мастер

Отправлено 16 December 2011 - 09:35 PM

На мой ИМХО взгляд смысл парсить яндекс и викимарет, мейл смысла особо нет. Там описания нормального для товара нет только характеристики. Мне очень понравился такой парсер. Причем его элементарно настроить почти на любой сайт который понравился причем весь товар и описание уже в сайте и почти в нужной категории.

Этот парсер имеет пакостную особенность виснуть, если несколько товаров на сайте имеют ссылку на одну фотографию и идут подряд. Т.е. не у каждого товара свой файл с фоткой (что не рационально при одинаковой фотке), а несколько однотипных товаров ссылаются на один и тот же файл. Я забросил эту проблему, т.к. Парсеры Х.Х полностью меня удовлетворили. Но она очень неприятна, когда пишешь свой шаблон под конкретный сайт. Скорее всего, проблема легко решаема, просто автор ее не предполагал и, соответственно, не решал.
  • 0
http://cpu.badisoft.ru (тестовый сайт), http://badisoft.ru (модули)

#67 msidog

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 166 сообщений
Репутация: 42
Ассистент
  • ГородКривой Рог

Отправлено 26 December 2011 - 05:14 PM

писал автору модуля отказывается по его цене писать шаблон говорит покупать модуль нужно и потом еще за шаблон.
шас ищу фрилансеров для шаблона
  • 0
Мой хостинг <<<invitehost.ru>>>
vsupport.club --Лучшее решение всех проблем ;)

#68 msidog

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 166 сообщений
Репутация: 42
Ассистент
  • ГородКривой Рог

Отправлено 28 December 2011 - 05:06 PM

вот человек фрилансер может кому и поможет с шаблоном alex.f50
но мн ене смогли бо сайт донора весь на яваскрипте...
  • 0
Мой хостинг <<<invitehost.ru>>>
vsupport.club --Лучшее решение всех проблем ;)

#69 dgimmibos

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 126 сообщений
Репутация: 12
Начинающий

Отправлено 28 December 2011 - 05:36 PM

Могу сделать любой шаблон под любой практически сайт, где в html благоприятная природа для парсинга. Пишите в личку, присылайте сайт который хотите спарсить.
  • 0

#70 serg

    Новичок

  • Пользователи
  • Pip
  • 7 сообщений
Репутация: 0
Начинающий

Отправлено 10 January 2012 - 08:02 PM

Кто-то пробовал запустить работу данного парсера через крон? На каком хостинге у кого выходило? Какая скорость работы? Все что получалось у меня это один товар в минуту.
  • 0

#71 badisoft

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 5075 сообщений
Репутация: 786
Мастер

Отправлено 10 January 2012 - 08:09 PM

Кто-то пробовал запустить работу данного парсера через крон? На каком хостинге у кого выходило? Какая скорость работы? Все что получалось у меня это один товар в минуту.

Я пробовал. На torg.mail.ru и (после исправлений шаблона) на market.yandex.ru. Нормально парсило.
  • 0
http://cpu.badisoft.ru (тестовый сайт), http://badisoft.ru (модули)

#72 msidog

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 166 сообщений
Репутация: 42
Ассистент
  • ГородКривой Рог

Отправлено 10 January 2012 - 09:32 PM

я буду через крон себе парсить...
там в конфиге крона помоему нужно выбирать сколько товаров ставить и сколько запросов отсылать...
у меня он тоже не быстро товар заносит но работает всеже...
после добавления в магазин 10 000 товара админка в пункте сохранить или удалить товар долго думает а так летает... стоит все на своем сервере.
хостинг под неготрудно подобрать бо нужно большое время ожидания запроса на выполнения скрипта
  • 0
Мой хостинг <<<invitehost.ru>>>
vsupport.club --Лучшее решение всех проблем ;)

#73 msidog

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 166 сообщений
Репутация: 42
Ассистент
  • ГородКривой Рог

Отправлено 11 January 2012 - 01:04 AM

блин уже все пашет (нанимал программиста) он писал под модуль для парсера что бы выкачивать с сайта на джаваскрипте..только не получается теперь определить фотку на товаре хот яона есть =(
кто может помочь что бы парсер видел фотки напишите пожалуйста в скайп msidog
  • 0
Мой хостинг <<<invitehost.ru>>>
vsupport.club --Лучшее решение всех проблем ;)

#74 vector

    Пользователь

  • Пользователи
  • PipPip
  • 19 сообщений
Репутация: 0
Начинающий

Отправлено 22 January 2012 - 05:44 PM

при нажатии в админке на ссылку Парсер выходит ошибка Fatal error: require_once() [function.require]: Failed opening required 'modx_parser/Requester.class.php' (include_path='.:/usr/lib/php:/usr/local/lib/php') in /home/dogru108/public_html/core/includes/admin/sub/modules_prod_parser.php on line 13 может кто-то знает?
  • 0
Магазин мужского нижнего белья Candy Wrapper Store

#75 Dimentis

    Новичок

  • Пользователи
  • Pip
  • 6 сообщений
Репутация: 0
Начинающий

Отправлено 23 January 2012 - 12:59 PM

vector, а при заливке файлов на сервер, никаких ошибок не возникало?
  • 0

#76 vector

    Пользователь

  • Пользователи
  • PipPip
  • 19 сообщений
Репутация: 0
Начинающий

Отправлено 23 January 2012 - 02:10 PM

да, вроде все норм было! я уже как только не пробовал (и через total с ошибками Порт, и через хостера, там вроде все норм было). забил на парсер, решил импортировать товар, с товаром тож беда, он добавляется но при нажатии 404.
Буду еще экспериментировать.
Думал, мож есть быстрое решение....
  • 0
Магазин мужского нижнего белья Candy Wrapper Store

#77 badisoft

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 5075 сообщений
Репутация: 786
Мастер

Отправлено 23 January 2012 - 07:00 PM

при нажатии в админке на ссылку Парсер выходит ошибка Fatal error: require_once() [function.require]: Failed opening required 'modx_parser/Requester.class.php' (include_path='.:/usr/lib/php:/usr/local/lib/php') in /home/dogru108/public_html/core/includes/admin/sub/modules_prod_parser.php on line 13 может кто-то знает?

Все остальные файлы парсера попадают в уже существующие каталоги и только каталог /modx_parser создается заново. Наверняка либо этому создаваемому каталогу неверно задан владелец/группа, либо этот каталог вообще не создался, его нет. Сравните владельца/группу остальных каталогов с каталогом /modx_parser, если он есть. Полный путь к нему есть в сообщении об ошибке.
  • 0
http://cpu.badisoft.ru (тестовый сайт), http://badisoft.ru (модули)

#78 vector

    Пользователь

  • Пользователи
  • PipPip
  • 19 сообщений
Репутация: 0
Начинающий

Отправлено 23 January 2012 - 07:06 PM

сделал, странно я так и не понял, что было! три раза делал одно и тоже и получал разные ошибки! спилберг!
Остался вопрос с шаблонами кто-нить научит, готов заплатить!

---------- Сообщение объединено ----------

Все остальные файлы парсера попадают в уже существующие каталоги и только каталог /modx_parser создается заново. Наверняка либо этому создаваемому каталогу неверно задан владелец/группа, либо этот каталог вообще не создался, его нет. Сравните владельца/группу остальных каталогов с каталогом /modx_parser, если он есть. Полный путь к нему есть в сообщении об ошибке.


пасиб! за ответы!! но так и не понял что было(((
  • 0
Магазин мужского нижнего белья Candy Wrapper Store

#79 badisoft

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 5075 сообщений
Репутация: 786
Мастер

Отправлено 23 January 2012 - 07:09 PM

А шаблон можешь дать или продать?

А шаблон к какому сайту нужен? Там же под каждый сайт свой шаблон, причем сайт должен удовлетворять довольно жесткому набору требований, чтобы под него можно было сделать шаблон для этого парсера.
  • 0
http://cpu.badisoft.ru (тестовый сайт), http://badisoft.ru (модули)

#80 badisoft

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 5075 сообщений
Репутация: 786
Мастер

Отправлено 23 January 2012 - 10:04 PM

Интересует в основном яндекс.маркет

Поставил, посмотрел - для ЯМаркета у меня шаблон, который был уже выложен в теме.
Он от 5-го августа. В принципе, вполне работает и парсит даже, но ооочень средненько.
Правда, парсит все фотки, для встроенной в шаблон ссылки это по пять штук на товар.
Не уверен, что в официально купленном что-то новое лежит.
Продаются-то не шаблоны, а инструмент.
  • 0
http://cpu.badisoft.ru (тестовый сайт), http://badisoft.ru (модули)