Описание:
Для движка ShopCMS версии 3.0.0 и выше
Модуль Парсер товаров для ShopCMS автоматически загружает в каталог товары с других интернет-магазинов или каталогов. Модуль парсит каталоги Яндекс.Маркет и МаркетГид. Используя этот мощный инструмент, вы сэкономите огромное количество времени, уходящее на заполнение магазина товарами.
Основные возможности парсера товаров ShopCMS:
* парсинг названий, описания, веса и стоимости товаров. Если позволяет дизайн сайта-источника, можно разделять краткое и полное описание. Фильтрация HTML-кода с помощью настраиваемого списка тегов. Обрезание описаний до или после вхождения заданных строк.
* загрузка изображений товара. К каждому товару парсер загружает все его найденные изображения, для каждого автоматически генерируя уменьшенные версии (ограничения на размер фотографий настраиваются).
* парсинг Meta тегов description и keywords.
* режим обновления цены - изменение только стоимости товаров. Также задается коэффициент изменения цены, который можно использовать для ценовой надбавки или перевода курсов валют.
* режим дополнения описаний - добавляет к товарам Вашего каталога отсутствующую информацию, такую как фотографии, описания или вес.
* парсинг через прокси-сервер
* режим парсинга по крону (не нужно держать открытым окно парсера)
* многопоточная загрузка - позволяет значительно ускорить парсинг, особенно при загрузке товаров с несколькими изображениями.
* настраиваемые cookies - позволяют, например, задавать географический регион при парсинге Яндекс.Маркета или авторизоваться на некоторых сайтах
Парсер интегрирован в панель администрирования ShopCMS, работает с использованием AJAX-интерфейса. Во время парсинга нужно держать открытой страницу админки, где в интерактивном режиме отображаются результаты работы:
Вы можете самостоятельно "нацеливать" парсер на нужный сайт: достаточно загрузить через админпанель соответственный файл настроек и добавить ссылки, с которых парсер начнет обход сайта. При наличиии базовых знаний разметки HTML вы можете сами настроить шаблоны на любой сайт-цель:
Основные системные требования к серверу для работы парсера товаров:
* PHP 5
* Библиотека PHP iconv
* Библиотека PHP GD
* Поддержка функций curl
* Лимит на время выполнения скриптов - не менее 15 секунд
Установка:
1. В админ-панели: Настройки=>Общие настройки.
- Поставить галочку "Принудительная очистка кэша"
Сохранить настройки
2. Загрузить файлы (добавить):
core/includes/admin/sub/modx_parser (папка и ее содержимое)
core/includes/admin/sub/modules_prod_parser.php
core/tpl/admin/prod_parser.tpl.html
data/admin/modx_parser.js
data/admin/jquery.min.js
data/admin/modx_menu.js
data/admin/modx_menu.css
data/admin/modx_menu_ie-fix.css
data/admin/modx_parser_module.js
parser_cron.php
3. Отредактировать файл core/includes/admin/modules.php
Найти строку:
array("id"=>"yandex", "name"=>"Яндекс.Маркет" )Добавить перед ней строку:
array("id"=>"prod_parser", "name"=>"Парсер товаров"),
4. Отредактировать файл core/tpl/admin/menu.tpl.html
Найти строку:
<table class="adn topj"><tr><td><img src="data/admin/drs.gif" alt=""></td><td width="100%"><a href="{$smarty.const.ADMIN_FILE}?dpt=custord&sub=affiliate">{$smarty.const.STRING_AFFILIATE_PROGRAM}</a></td></tr></table>Добавить после нее строку:
<table class="adn topj"><tr><td><img src="data/admin/drs.gif" alt=""></td><td width="100%"><a href="{$smarty.const.ADMIN_FILE}?dpt=modules&sub=prod_parser">Парсер</a></td></tr></table>
5. Задать все права на запись (777 для папок, 666 для файлов):
core/includes/admin/sub/modx_parser/parser.dat
core/includes/admin/sub/modx_parser/logfile.dat
core/cache
data/big
data/medium
data/small
6. Проверить, открывается ли модуль парсера
7. В админ-панели: Настройки=>Общие настройки.
- Снять галочку "Принудительная очистка кэша"
Сохранить настройки
8. ТОЛЬКО если нужна возможность работы через крон:
- открыть файл parser_cron.php, задать в параметре "MODX_SITE_ROOT" адрес своего
сайта, на котором установлен парсер
- настроить, если нужно, другие параметры в parser_cron.php
- поставить на крон задание:
*/2 * * * * /usr/bin/php parser_cron.php > core/temp/cron.log
Уточните путь к php на своем хостинге - он может отличаться от "/usr/bin/php".
Вместо parser_cron.php и core/temp/cron.log должны быть АБСОЛЮТНЫЕ пути к этим файлам.
Инструкция по использованию модуля:
В админпанели ShopCMS модуль находится в разделе Модули=>Парсер товаров
Подготовка к работе
Одновременно можно парсить только один сайт. Перед парсингом нового сайта нужно загрузить настройки шаблонов из файла настроек: внизу модуля парсера есть раздел "Экспорт/Импорт шаблонов" с полем для загрузки файла. В архиве с модулем в папке templates можно найти шаблоны для Яндекс.Маркет и МаркетГид. Далее нужно добавить точки входа - ссылки на разделы целевого сайта, товары из которых нужно парсить. Парсер после запуска зайдет на каждый URL точки входа, и перейдет дальше по всем найденным ссылкам на товары и следующие страницы в постраничной разбивке. К каждой точке входа привязывается одна из категорий Вашего каталога,куда будут добавляться отпарсенные из этой точки входа товары. Можно назначать несколько точек входа на одну и ту же категорию каталога.
Парсинг
1) нажать кнопку "Открыть окно парсера"
2) в окне парсера снять галочку "Тестовый режим" (иначе товары не будут
добавляться в ваш каталог)
3) нажать кнопку "Начать"
4) не закрывать это окно, пока не закончите парсинг. Если по каким-то причинам окно преждевременно будет закрыто, можно потом продолжить парсинг с последней точки, нажав кнопку "Продолжить" Товары создаются парсером неопубликованными, для их отображения на сайте нужно включить товары через админпанель.
Изображения
Автоматически генерируются уменьшенные копии изображений товаров (в ShopCMS они называются "Изображение A-C"). Для каждого измерения (ширина/высота) устанавливается максимальное значение в точках (пикселях).
Можно также жестко приводить фотографии к заданному размеру, но при этом лишняя часть фотографий будет обрезаться - для этого в настройке "Уменьшение фотографий" нужно задать режим "Уменьшать и жестко обрезать".
Парсинг по cron
После настройки всех параметров парсинга, не открывать окно парсера, а поставить галочку "Работа через cron" вверху модуля.
Возле галочки будет отображаться прогресс парсинга. До первого результата возможно придется подождать
1-2 минуты, если парсинг через крон правильно настроен соответственно инструкции.
При парсинге через cron админку держать открытой необязательно.
Если снять галочку "Работа через cron" и снова поставить ее, парсер начнет заново с точек входа. Во время парсинга настройки парсера менять не рекомендуется.
Скачать парсер товаров для ShopCMS