Перейти к содержимому


Парсер товаров интернет-магазинов


  • Закрытая тема Тема закрыта
Сообщений в теме: 42

#1 vsupport

    Продвинутый пользователь

  • Администраторы
  • 758 сообщений
Репутация: 31
Ассистент

Отправлено 17 June 2011 - 09:29 AM

Изображение
Описание:

Парсит Яндексмаркет, Товары Майл РУ, Озон и маркетгид.
готовит для выгрузки фото и подробные описания товаров )))
» Экспорт в tkx для TextKit
» Экспорт в csv для OSCommerce
» Экспорт в csv для VirtueMart
» Экспорт в csv для VamShop
» Экспорт в csv для ShopCMS
» Экспорт в csv для PHPShop
» Экспорт в csv для ShopScript
» Экспорт в csv для ShopScript Free
» Экспорт в csv для WebAsyst
» Экспорт в csv для WebAsyst с характеристиками
» Экспорт в csv с разбиением на характеристики
» Экспорт в csv c разбиением + картинки
» Экспорт с разбиением на хар-ки
» Экспорт в ТХТ

Установка на хостинг:

[FONT="]На сервере должны работать функции:[/FONT]

[FONT=Symbol]· [/FONT][FONT="]curl[/FONT]
[FONT=Symbol]· [/FONT][FONT="]mb_convert_encoding (mb_string [/FONT][FONT="]библиотека[/FONT][FONT="])[/FONT]
[FONT=Symbol]· [/FONT][FONT="]отключить safe_mode[/FONT]

[FONT=Symbol]
[/FONT][FONT="]1. [/FONT][FONT="]Создать базу данных.[/FONT]
[FONT="]2. [/FONT][FONT="]Выполнить SQL-запрос к базе данных файла [/FONT][FONT="]sql[/FONT][FONT="].txt[/FONT]
[FONT="]3[/FONT][FONT="]. Установить на следующие папки, права 777:[/FONT]
[FONT="]/images/[/FONT]
[FONT="]/export/[/FONT]
[FONT="]4. Запустить скрипт и следовать подсказкам.[/FONT]

Установка скрипта на локальную машину:

[FONT="]1. Скачать и установить Denwer [/FONT][FONT="]http://www.denwer.ru[/FONT]
[FONT="]2. Скачать расширения по адресу [/FONT][FONT="]http://www.denwer.ru/packages/php5.html[/FONT][FONT="]: php_curl.dll и php_mbstring.dll копируем их по адресу: Z:\usr\local\php5\ext[/FONT]
[FONT="]Z - это буква, которую вы выбрали при установке Денвера, она может отличаться.[/FONT]
[FONT="]3. Открываем файл php.ini по адресу Z:\usr\local\php5\ [/FONT]
[FONT="]4. Находим ;extension=php_curl.dll и убираем.[/FONT]
[FONT="]5. Получится строка следующего вида extension=php_curl.dll[/FONT]
[FONT="]6. Находим ;extension=php_mbstring.dll и также убираем.[/FONT]
[FONT="]7. Получится строка следующего вида extension=php_mbstring.dll[/FONT]
[FONT="]Т.е раскомментировали строки.[/FONT]
[FONT="]8. Идём по адресу: [/FONT][FONT="]http://localhost/tools/phpmyadmin[/FONT][FONT="] и создаём базу данных.[/FONT]
[FONT="]9. Заходим в пункт "Привилегии", нажимаем: "Добавить нового пользователя"[/FONT]
[FONT="]10. В “Глобальные привилегии” выбираем "отметить всё" и нажимаем ок.[/FONT]
[FONT="]11. Выполнить SQL-запрос к базе данных файла [/FONT][FONT="]sql[/FONT][FONT="].txt[/FONT]
[FONT="]12. Идём по адресу Z:\home\localhost\www и создаем папку и копируем в неё все файлы из архива скрипта.[/FONT]
[FONT="]13. [/FONT][FONT="]Открываем файл config.php[/FONT]
[FONT="]14. И вводим данные для подключения к базе. [/FONT]
[FONT="]15. Выполняем рестарт Денвера.[/FONT]
[FONT="]16. Запустить скрипт и следуем подсказкам.[/FONT]

Скачать: [HIDE="1"][ATTACH]58.vB[/ATTACH][/HIDE]
  • 0

#2 ruter

    Продвинутый пользователь

  • VIP
  • 334 сообщений
Репутация: 151
Мастер

Отправлено 17 June 2011 - 08:10 PM

Заманчивый модуль. Скачал, но ативирусник ругается постоянно при закачке и разархивировании:((

А как вообще с произвольного сайта (т.е не входящего в список) парсить? Готовить самому профиль парсинга?

Меня вообще это интересует больше, как уменьшить объем тупой работы при обновлении магазина. Раз в месяц приходится обновлять товары, т.е. добивать новинки вручную. Есль ключевой сайт с которого можно было бы запарсить товары, но потом только править тексты, чтобы не были одинаковыми описания. Это было бы легче, чем по-новой добавлять, а их 50-70 товаров новых каждый месяц. Всегда жалко потраченного времени. Вот и приходится думать как упростить труд, не тратить напрасно время на эту рутинную работу.
  • 0

#3 vsupport

    Продвинутый пользователь

  • Администраторы
  • 758 сообщений
Репутация: 31
Ассистент

Отправлено 18 June 2011 - 08:38 AM

ruter, Модуль работает на 100%, какой антивирус?
  • 0

#4 ruter

    Продвинутый пользователь

  • VIP
  • 334 сообщений
Репутация: 151
Мастер

Отправлено 18 June 2011 - 06:47 PM

Просто когда начинаю разархивировать, то вылетают предупреждения антивирусника NOD32 Antivirus 4 о наличии в архиве потенциально опасных файлов.

И еще вопрос, я не делал, можно ли парсить с локальника. Например, мне надо спарсить тексты с определенного сайта (настройки понятно, если разобраться можно сделать с любого сайта), могу ли скрипт поставить на Denwere или к примеру XAMPP и парсить когда мне надо? Надо ли в таком случае через прокси или разовые (периодические) принудительные парсинги можно и так в открытую? Спрашиваю как чайник, потому как не занимался и не изучал этот вопрос.
  • 0

#5 vsupport

    Продвинутый пользователь

  • Администраторы
  • 758 сообщений
Репутация: 31
Ассистент

Отправлено 19 June 2011 - 11:57 AM

ruter, выше подробно написано как установить на локальный сервер. Читай внимательно первый пост.
  • 0

#6 vakkula

    Продвинутый пользователь

  • Download User
  • PipPipPip
  • 101 сообщений
Репутация: 6
Начинающий

Отправлено 21 June 2011 - 11:11 AM

Шикарный парсер!!! Работает 100% только пока не разобрался как парсить большие картинки
  • 0

#7 vsupport

    Продвинутый пользователь

  • Администраторы
  • 758 сообщений
Репутация: 31
Ассистент

Отправлено 21 June 2011 - 11:21 AM

Шикарный парсер!!! Работает 100% только пока не разобрался как парсить большие картинки

Большие картинки тоже должен парсить.
  • 0

#8 vakkula

    Продвинутый пользователь

  • Download User
  • PipPipPip
  • 101 сообщений
Репутация: 6
Начинающий

Отправлено 21 June 2011 - 11:46 AM

с ozon.ru не парсит вообще по разному пробовал. а с яндекса только маленькие картинки получаются
  • 0

#9 vsupport

    Продвинутый пользователь

  • Администраторы
  • 758 сообщений
Репутация: 31
Ассистент

Отправлено 21 June 2011 - 11:54 AM

с ozon.ru не парсит вообще по разному пробовал. а с яндекса только маленькие картинки получаются

Нужно немного в коде покопаться, будет время - займусь.
  • 0

#10 vakkula

    Продвинутый пользователь

  • Download User
  • PipPipPip
  • 101 сообщений
Репутация: 6
Начинающий

Отправлено 22 June 2011 - 08:59 AM

Там все файлы закодированы...
  • 0

#11 vsupport

    Продвинутый пользователь

  • Администраторы
  • 758 сообщений
Репутация: 31
Ассистент

Отправлено 22 June 2011 - 09:02 AM

Там все файлы закодированы...

у меня валяется раскодированная
  • 0

#12 vakkula

    Продвинутый пользователь

  • Download User
  • PipPipPip
  • 101 сообщений
Репутация: 6
Начинающий

Отправлено 22 June 2011 - 10:09 AM

ну если валяется, выложи если не трудно... может сами подправим...
  • 0

#13 vakkula

    Продвинутый пользователь

  • Download User
  • PipPipPip
  • 101 сообщений
Репутация: 6
Начинающий

Отправлено 22 June 2011 - 01:07 PM

И даже если парсить через прокси на яндекс марките, он тебя банит.
  • 0

#14 vsupport

    Продвинутый пользователь

  • Администраторы
  • 758 сообщений
Репутация: 31
Ассистент

Отправлено 22 June 2011 - 01:58 PM

И даже если парсить через прокси на яндекс марките, он тебя банит.

ну если вы используете бесплатные прокси, то это однозначно.
  • 0

#15 ruter

    Продвинутый пользователь

  • VIP
  • 334 сообщений
Репутация: 151
Мастер

Отправлено 23 June 2011 - 10:49 PM

Жаль, что все закодировано и нельзя посмотреть как готовить файл, для парсинга с произвольного сайта. Без этого лично для меня модуль не представляет интереса, так перечень сайтов не подходит. Жаль.
  • 0

#16 Евгений

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 36 сообщений
Репутация: 0
Начинающий

Отправлено 24 June 2011 - 04:38 AM

у меня валяется раскодированная

Выложите раскодированные файлы если не сложно.
  • 0

#17 vsupport

    Продвинутый пользователь

  • Администраторы
  • 758 сообщений
Репутация: 31
Ассистент

Отправлено 24 June 2011 - 09:43 AM

Жаль, что все закодировано и нельзя посмотреть как готовить файл, для парсинга с произвольного сайта. Без этого лично для меня модуль не представляет интереса, так перечень сайтов не подходит. Жаль.

К сожалению я не автор постера и поэтому выкладываю что есть

Выложите раскодированные файлы если не сложно.

Если найду, то выложу
  • 0

#18 Евгений

    Продвинутый пользователь

  • Пользователи
  • PipPipPip
  • 36 сообщений
Репутация: 0
Начинающий

Отправлено 24 June 2011 - 12:10 PM

Ждем. Спасибо заранее.
  • 0

#19 kande

    Продвинутый пользователь

  • Download User
  • PipPipPip
  • 74 сообщений
Репутация: 0
Начинающий

Отправлено 26 June 2011 - 08:51 AM

Очень жаль что может парсить только 4 сайта и нет настроек на сторонние ИМ. Ну очень жаль (;)ждем 300 секунд)
  • 0

#20 fantomic

    Новичок

  • Пользователи
  • Pip
  • 2 сообщений
Репутация: 0
Начинающий

Отправлено 26 June 2011 - 12:43 PM

У меня что-то картинки не вставляет в описание, но скачивает в папку.
И от какого числа версия скрипта?
  • 0