Импорт большого CSV файла
#1
Отправлено 04 November 2014 - 12:12 AM
#2
Отправлено 04 November 2014 - 12:40 AM
В случае CSV-файла на 100Мб в ShopCMS метод один - заказывать доработку (переделку штатного имспорта), которой будет по барабану объем файла и количество строк в нем. Проблема есть, с готовыми решениями лично я не встречался, хотя проблема вполне решаема. Просто штатный способ импорта в ShopCMS, мягко говоря, оставляет желать лучшего. Не думал автор о том, что процесс импорта запросто может не укладываться в разрешенное для выполнения скрипта время, а хостеры могут и не разрешать отменять это временное ограничение.Суть вопроса какие есть методы для импорта больших файлов CSV.
#3
Отправлено 04 November 2014 - 02:06 AM
#4
Отправлено 04 November 2014 - 12:39 PM
2. Заливать не упакованный файл, это уменьшит расход памяти
3. Дать не меньше гигабайта памяти этой VPS
#5
Отправлено 04 November 2014 - 07:57 PM
#6
Отправлено 05 November 2014 - 08:30 PM
этот новый импорт так же плохо обновляет базу или баги с большими файлами устранены ?
#7
Отправлено 05 November 2014 - 08:54 PM
"этот новый импорт" предназначен абсолютно для других целей (обновление данных из прайсов поставщиков), где не бывает файлов по 100Мб. Так что в нем эти "баги" не устранены хотя бы потому, что нет надобности их устранять.этот новый импорт так же плохо обновляет базу или баги с большими файлами устранены ?
Я уже писал что для файлов большого размера надо ПОЛНОСТЬЮ переписывать процедуру импорта. Насколько я знаю, никто этого еще не делал в силу отсутствия реальной надобности (коммерческого спроса).
Нормально (для файлов больших размеров) было бы обрабатывать их построчно, аякс-запросами. Например, по тысяче строк за раз. При этом и памяти тратится соответственно одной строке CSV-файла, и время на обработку врядли вылезет за пределы даже самого параноидального хостинга. Можно хоть гигабайты обрабатывать, лишь бы индексы за размерность не вылезли.
Ну а штатно, когда в памяти строится двумерный массив (одно измерение - строки CSV-файла, второе - элементы по строке) по всему CSV-файлу вне зависимости от объема, а только затем этот массив обрабатывается и сохраняется в разные SQL-таблицы врядли стоит ожидать, что CSV-файл в десятки мегабайт без проблем импортируется. Даже на VPS со своими настройками.
#8
Отправлено 06 November 2014 - 08:19 PM
#9
Отправлено 06 November 2014 - 08:30 PM
Не проще ли КОММЕРЧЕСКИ решить эту проблему? Т.е. заказать написание модуля импорта, которому плевать на объем CSV-файла.буду менять всю политику роботы сайта, попробую работать с поставщиком по API
Мне думается, что если объем товаров в 100Мб CSV-файла не хвастовство, а сайт не является бессмысленным и не приносящим денег, то стоимость модуля будет смешной на фоне остальных постоянных затрат на такой сайт.
#10
Отправлено 11 November 2014 - 10:37 PM
#11
Отправлено 11 November 2014 - 11:19 PM
С какой "такой"? Я пока прочитал только про проблему импорта. Это штатная проблема этой старинной CMS и никак не связана с какими-либо другими проблемами.просто кроме этой проблемы есть ечо много проблем связаных с такой роботой сайта
Ну, почему бы и нет. Ведь API - это такая волшебная аббревиатура, используя которую возможно все .а робота через API все эти проблемы должна решить
Файл данных размером всего 100Мб не сильно удивителен. Тут и гигабайты были. Как будто Вы первый или десятый с этой проблемой.а 100 мб это не хвастовство, это всего 60 тыс. товара с полным описанием характеристик