Перейти к содержимому


Парсер товаров для ShopCMS


  • Вы не можете ответить в тему
Сообщений в теме: 149

#121 cors

    Продвинутый пользователь

  • Download User
  • PipPipPip
  • 79 сообщений
Репутация: -2
Начинающий

Отправлено 01 November 2012 - 07:51 PM

у когото есть шаблон для сайтов на shopcms ?
  • 0

#122 badisoft

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 5075 сообщений
Репутация: 786
Мастер

Отправлено 01 November 2012 - 08:16 PM

у когото есть шаблон для сайтов на shopcms ?

Это принципиально невозможно. В общем случае нельзя написать "шаблон парсера для ShopCMS", можно только "шаблон парсера для шаблона XXXXXX для ShopCMS". Это не Яндекс и не ТоргМэйл с единым (хотя и довольно часто меняющимся) шаблоном даже в разных странах. Под ShopCMS написаны десятки шаблонов и почти для каждого их них шаблон парсера будет своим, уникальным.

PS. Изучайте, ленивцы, PHP и HTML. Ни один из моих парсеров - а я такой же как все и иногда мне надо отпарсить сайтик - не занимает больше тридцати строчек, давая на выходе штатный для ShopCMS CSV-файл и пучок картинок в каталогах small/medium/big. Вручную тырится только CSS, но он общий для всего парсинга. Хотя начинал я год назад тоже с этого модуля, затем с зюзикеновского парсера.
  • 0
http://cpu.badisoft.ru (тестовый сайт), http://badisoft.ru (модули)

#123 cors

    Продвинутый пользователь

  • Download User
  • PipPipPip
  • 79 сообщений
Репутация: -2
Начинающий

Отправлено 01 November 2012 - 10:48 PM

можете поделится тогда своим парсером, нужно спарсить с shopcms default шаблона
  • 0

#124 badisoft

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 5075 сообщений
Репутация: 786
Мастер

Отправлено 01 November 2012 - 11:02 PM

Я никогда не парсил ShopCMS. Для него у меня нет парсера :).
  • 0
http://cpu.badisoft.ru (тестовый сайт), http://badisoft.ru (модули)

#125 slinnik1

    Новичок

  • Пользователи
  • Pip
  • 6 сообщений
Репутация: 0
Начинающий

Отправлено 05 December 2012 - 10:24 PM

Я ВСЕ СДЕЛАЛ. И ВОТ В АДМИН ПАНЕЛЬ НЕ МОГУ ВВОЙТИ ВИДАЕТ: Ошибка сервера
На веб-сайте произошла ошибка при получении Вход в администрирование. Веб-сайт может быть закрыт на обслуживание или настроен неправильно.

---------- Сообщение объединено ----------

КОГДА В АДМИН ПАНЕЛИ Я ВИБИРАЮ ПАРСЕР ТО МЕНЯ ВИКИДИВАЕТ В НОВОСТИ.

Тоже самое выкидывает в новости.Подскажите,

Я ВСЕ СДЕЛАЛ. И ВОТ В АДМИН ПАНЕЛЬ НЕ МОГУ ВВОЙТИ ВИДАЕТ: Ошибка сервера
На веб-сайте произошла ошибка при получении Вход в администрирование. Веб-сайт может быть закрыт на обслуживание или настроен неправильно.

---------- Сообщение объединено ----------

КОГДА В АДМИН ПАНЕЛИ Я ВИБИРАЮ ПАРСЕР ТО МЕНЯ ВИКИДИВАЕТ В НОВОСТИ.

Тоже самое в Админке выкидывает в новости.Подскажите что делать???
  • 0

#126 Valentin

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 146 сообщений
Репутация: 6
Начинающий
  • ГородШахты Ростовская область

Отправлено 27 December 2012 - 07:34 PM

Здравствуйте. Подскажите, почему когда в админке заходишь в раздел парсера, то там
нет ни каких настроек?
Вроде бы внедрил его по инструкции, перед этим прочитал всю тему на форуме.
Очень нужно настроить этот инструмент.
И где можно посмотреть схему составления шаблона для парсера?
цель, настроить парсинг под несколько шаблонов webasist.
Извеняюсь если не коректно сформулировал свои вопросы.
Модуль брал из downlowd

Может я не ту версию модуля установил на shopcms 3.1.2?
По мимо парсинга общей информации (описаний, цен, веса, и других атребутов) надо чтоб парсились и фотки от 1 до 4 штук.
А то я в них запутался сортируя на слепую.
  • 0
Социально-информационный проект Nvda.ru о бесплатной программе экранного доступа Nvda для незрячих и слабовидящих.
С уважением ко всем Valentin-Kupriyanov.ru

#127 badisoft

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 5075 сообщений
Репутация: 786
Мастер

Отправлено 27 December 2012 - 07:59 PM

И где можно посмотреть схему составления шаблона для парсера?

Нигде. Как я понимаю, документации к нему не существует. Думаю, автором предполагалось зарабатывать какую-никакую денежку как раз написанием шаблонов под конкретные сайты, но, увы, уровень спроса и (в основном) оплаты оказался настолько невелик, что автор забил на этот модуль.

Я писал пару шаблонов под этот модуль для себя в самом начале, когда только разбирался с PHP и вполне понимаю ситуацию. Клиенту кажется, что заказной шаблон для парсинга какого-либо сайта стоит не дороже 10-20$. Именно такие цены и предлагались "заказчиками", если посмотреть в начало треда. А в реальности надо довольно хорошо разобраться с целевым сайтом, довольно хорошо понимать устройство парсера (т.е. понять весь его код), а под некоторые сайты еще и переписать его частично. Т.е. за 10-20$ исполнителю оно совершенно не интересно.

Мораль: когда освоишь PHP и HTML достаточно, чтобы написать шаблон для этого парсера - приходит очевидная мысль: "А нахрена оный парсер сдался?" И пишешь на PHP свой парсер конкретно под каждый сайт, без универсальности. Что резко сокращает код. Но в общем они похожи, рыба-то одна. Что и Вам советую. Написанные мной для себя же парсеры имеют размер в пару килобайт/сотню строк кода и дают результат куда лучший (ведь результат я же сам и определяю!), чем универсальные парсеры. Чтобы не быть голосоловным - парсер какой-то конкретно мне нужной подкатегории Юлмарта (ulmart.ru, картриджи NV-Print, насколько я помню) занимает 3410 байт и 80 строк. С кратким/полным описанием товара и тремя фотками - большой, средней, малой. Остальные примерно так же.
  • 1
http://cpu.badisoft.ru (тестовый сайт), http://badisoft.ru (модули)

#128 Valentin

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 146 сообщений
Репутация: 6
Начинающий
  • ГородШахты Ростовская область

Отправлено 27 December 2012 - 08:23 PM

Освоить php я не смогу,в том объёме который необходим для написания хотяб мелких модулей.
Поэтому и спрашиваю у профессионалов.
Но просмотрев многие темы и почитав посты, сделал вывод что данный парсер настроить самостоятельно на другой шаблон не возможно.
Особенно без знаний php.
Жаль, значит прийдётся выколупывать фотки по одной и после постаратся их подписать не перепутав содержания.

Эх, куда не плюнь везде графика, графика!
  • 0
Социально-информационный проект Nvda.ru о бесплатной программе экранного доступа Nvda для незрячих и слабовидящих.
С уважением ко всем Valentin-Kupriyanov.ru

#129 badisoft

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 5075 сообщений
Репутация: 786
Мастер

Отправлено 27 December 2012 - 08:31 PM

Освоить php я не смогу,в том объёме который необходим для написания хотяб мелких модулей.

Это ерунда. Если Вы будучи незрячим освоили jaws, читаете инструкции, инсталлируете модули, то освоение PHP это куда меньшая проблема. PHP - интерпретирующий язык, он довольно легок для освоения. И HTML - довольно простой язык. Читай тэги, понимай сущность. Мне думается (встать на Ваше место сложно, я зрячий), что Вы совершенно зря боитесь попробовать написать что-то свое на PHP.

Я не знаю, есть ли у Вас консольный доступ к своим сайтам, но для незрячего с jaws это было бы оптимально, как мне кажется.

PS. Вот сайтики, которые мне - зрячему - помогли в самом начале (всего год назад!) неимоверно.
http://php.su
http://htmlbook.ru
  • 0
http://cpu.badisoft.ru (тестовый сайт), http://badisoft.ru (модули)

#130 Valentin

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 146 сообщений
Репутация: 6
Начинающий
  • ГородШахты Ростовская область

Отправлено 27 December 2012 - 09:04 PM

Освоить php я не смогу,в том объёме который необходим для написания хотяб мелких модулей.

Это ерунда. Если Вы будучи незрячим освоили jaws, читаете инструкции, инсталлируете модули, то освоение PHP это куда меньшая проблема. PHP - интерпретирующий язык, он довольно легок для освоения. И HTML - довольно простой язык. Читай тэги, понимай сущность. Мне думается (встать на Ваше место сложно, я зрячий), что Вы совершенно зря боитесь попробовать написать что-то свое на PHP.

Я не знаю, есть ли у Вас консольный доступ к своим сайтам, но для незрячего с jaws это было бы оптимально, как мне кажется.

PS. Вот сайтики, которые мне - зрячему - помогли в самом начале (всего год назад!) неимоверно.
http://php.su
http://htmlbook.ru


А что значит

Консольный доступ

?админ панель у хостера или по ftp?есть и то и другое на двух разных платных хостингах. Уже два года тестирую различные cms в поисках полностью Джозабельных для незрячих.***php пробывал изучать, есть куча видео курсов, читал форумы, книги но без базового знания english, трудно понять что к чему.На сайты обязательно загляну, по крайне мере первый мне не знаком., а на втором я точно был.
  • 0
Социально-информационный проект Nvda.ru о бесплатной программе экранного доступа Nvda для незрячих и слабовидящих.
С уважением ко всем Valentin-Kupriyanov.ru

#131 badisoft

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 5075 сообщений
Репутация: 786
Мастер

Отправлено 28 December 2012 - 11:46 AM

В применении к управлению сайтами консольный доступ (консоль) часто называют шелл. Наверное, даже чаще, чем консоль.
  • 0
http://cpu.badisoft.ru (тестовый сайт), http://badisoft.ru (модули)

#132 svitlo

    Пользователь

  • Заблокированные
  • PipPip
  • 10 сообщений
Репутация: 2
Начинающий

Отправлено 09 February 2013 - 12:56 PM

Люди такой вот вопрос - парсер настроил - чего то там парсит.. но цены все пишет в баксах! как оптом все цены поменять в самом магазине? или как сделать что бы цены писал в грн... точнее не то что бы в баксах... цену тянет гривну но пишет как баксы - в итоге товар получаться в 8 раз дороже! как решить данный вопрос?

#133 R.Sergey

    Администратор

  • Администраторы
  • 2810 сообщений
Репутация: 332
Мастер

Отправлено 09 February 2013 - 01:05 PM

Настроить основную валюту и изменить курс. А лишние валюты лучше вообще удалить.

Изучайте админку (!!!)
  • 0

#134 badisoft

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 5075 сообщений
Репутация: 786
Мастер

Отправлено 09 February 2013 - 01:25 PM

но цены все пишет в баксах! как оптом все цены поменять в самом магазине?

А их не надо менять :).
У товара нет валюты, только "безразмерная" цена в виде числа. Скажем, 111.
Ну а цена этого товара в конкретной валюте получается путем умножения на коэффициент, заданный в Администрирование->Настройка валют.
Для доллара там стоит единица, для гривны что-то типа сорока, поэтому в результате цена получается 111 долларов и 4440 гривен. Поставьте для гривны единицу, а доллар и евро - 0.025 и 0.015, как-то так. Получите цену в гривнах 111, а в долларах 2.78.

PS. Давно хочу переделать ShopCMS под наши валюты (рубль, гривна), которые ДЕШЕВЛЕ доллара и евро, чтобы не умножать на коэффициент, а делить, так удобнее задавать курс рубля к доллару, когда своя валюта является основной (т.е. единична и в ней задается цена товара). Но все руки не доходят.
  • 0
http://cpu.badisoft.ru (тестовый сайт), http://badisoft.ru (модули)

#135 SnowNutt

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 85 сообщений
Репутация: 5
Начинающий
  • ГородМосква

Отправлено 08 May 2013 - 09:12 AM

Установил по инструкции, но столкнулся с некими проблемами.
Как устанавить парсер, чтобы он работал если файл admin.php переименован ? Но это неглавное вернул все к исходным состояниям. Загрузил шаблон яндекс маркета который приложен, начал парсить. Вроде как спарсилось 60 товаров, но на сайт добавился только один и когда смотришь, нажимаешь на редактирование парсеных товаров, все ссылки приводят на один и тот же товар. в общем что нужно настроить чтобы парсер заработал?
  • 0

#136 magalex75

    Новичок

  • Download User
  • Pip
  • 4 сообщений
Репутация: 0
Начинающий

Отправлено 10 June 2014 - 02:13 PM

Добрый день. Прошу помощи с установкой и парсингом с яндекс маркита. Установил все по инструкции, но в админки ссылки на парсинг нет. Буду благодарен за 300WMR если кто поможет с установкой и парсингом с яндекс маркета. Оплата по результату работы. Спасибо, жду предложения.
  • 0

#137 badisoft

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 5075 сообщений
Репутация: 786
Мастер

Отправлено 10 June 2014 - 02:40 PM

Добрый день. Прошу помощи с установкой и парсингом с яндекс маркита. Установил все по инструкции, но в админки ссылки на парсинг нет.

Сотрите содержимое каталога core/cache/. Это кэш, в нем лежит СТАРОЕ содержимое.

Буду благодарен за 300WMR если кто поможет с установкой и парсингом с яндекс маркета.

Улыбнуло.
  • 0
http://cpu.badisoft.ru (тестовый сайт), http://badisoft.ru (модули)

#138 Den

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 117 сообщений
Репутация: 0
Начинающий

Отправлено 10 September 2014 - 04:58 PM

Ребят, помогите понять в чем проблема.
Есть такая страница - http://www.denon.ru/...oductid=avr1612
Надо спарсить все начиная с
<div class='specification'>
до
</div><!--<div class='specification'>-->
Однако парсер упорно обрезает весь контент после
<td class='evenR'>0.1 Watt<br />
В чем может быть проблема? Вижу, что как раз после этого куска кода идет текст "< 1.5 Watt (CEC activated, no signal)", где используется неэкранированный символ "<". Может это быть проблемой?
  • 0

#139 badisoft

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 5075 сообщений
Репутация: 786
Мастер

Отправлено 10 September 2014 - 06:04 PM

Может это быть проблемой?

Да кто ж его знает?
1. Что за парсер - не известно. Явно не тот, о котором эта тема.
2. какой алгоритм использует парсер, чтобы отфильтровать уникальный контент от общей обвязки - не известно.
В общем случае, конечно, символ "<" в тексте описания без замены на &lt; это ошибка и врядли писавший парсер автор предполагал такой подвох :).

PS. если же речь именно об парсере этой темы, то, подозреваю, дело в строке

'brief_description'=>self::strip_tags(trim($pBriefDescription), $templates['allowed_tags']),

в файле parser.class.php

функция strip_tags убирает все (!) HTML-тэги из строки за исключением заданных вторым параметром списка тэгов-исключений. И как она работает в ситуации, когда левая угловая скобка не относится к тэгу - хрен его знает. Попробуйте заменить эту строку на

'brief_description'=>trim($pBriefDescription),

и сразу будет видно, прав я или нет.
  • 0
http://cpu.badisoft.ru (тестовый сайт), http://badisoft.ru (модули)

#140 Den

    Продвинутый пользователь

  • Assistent vsupport.club
  • PipPipPip
  • 117 сообщений
Репутация: 0
Начинающий

Отправлено 11 September 2014 - 10:20 AM

badisoft, парсер из этой темы разумеется)
Спасибо большое, Вы правы, после замены строки в файле parser.class.php спарсивается корректно. Только я заменил строку, отвечающую за подробное описание:
'description'=>self::strip_tags(trim($pDescription), $templates['allowed_tags']),
на
'description'=>trim($pDescription),

Но как бы сохранить возможность очистки от лишних тегов и обойти ошибку в коде целевой страницы?
  • 0