6 replies to this topic

[mr.varhola]

Добрый день!

Столкнулся с задачей залить на сайт 1милион товаров с помошью импорта соответственно

Но сразу столкнулся с несколькими проблемами:

1) файл csv в котором больше 20к строк просто даже не подгружаеться, invalid load file

2) с 20к строк файлик норммально подхватываеться и дает возможность перейти к следующему шагу(настройки импорта, какой столбец файла куда заливать) но вот только проходит импорт 20к позиций аж 300мин.

 

Собственно и вопрос, как можно сделать так, чтобы за один раз можно было залить больше 20к строк и как уменьшить время загрузки.

 

из важных для данного действа параметров хостинга для сайта сейчас используеться:

1) memory_limit  -  512Мб.

2) max_execution_time  -  36000сек.

Скажите если для анализа нужны ещё какието параметры хостинга.

[Cheren-dow]

user_mrvarhola, по конкретным параметрам не могу подсказать, но может есть смысл поделить на части и загружать на сайт?

Какой размер файла CSV? 

[mr.varhola]

Да я и так на части делю, не одним же файлом милион импортировать    хотя кульно было бы)))

файлик на 20к строк весит 6.50Мб - он ещё прокатывает, а больше уже всё

просто если делить милион позиций на файлики по 20к. позиций - это получится 50 файлов...

импорт каждого всреднем 300минут, а значит на импорт 50 таких нужно 15000минут(250часов) это ооочень много на мой взгляд...

Вот впринципи из-за этого и тему поднял, вдруг есть какойто рецепт ускорить этот процесс))

[Cheren-dow]

Вот впринципи из-за этого и тему поднял, вдруг есть какойто рецепт ускорить этот процесс))

Я еще раз повторюсь по железу с такими объемами не могу подсказать. Из своей истории: 100 тыс. позиций из K2 в JBZoo около 3 дней. Разбивал на файлы потому что считаю не реальным такие объемы сразу загружать. Ставил в загрузку файл сворачивал окно, ставил примерно на какое то время будильник, а все остальное время занимался другими делами. Подождем Дениса возможно он что по советует.

[Apoca1ypto]

Может быть стоит попробовать сделать бэкап сайта, затем развернуть на локалке, добавить данные через импорт, а затем уже перенести базу обратно на «боевой» сервер.

[SmetDenis]

Импорт можно ускорить

1 Отключить автоматическое индексирование JBZoo

media\zoo\applications\jbuniversal\framework\events\jbevent.item.php


2. Отключить все плагины поиска (стандартный, smart итд)


3. Отключить индексирование контента Zoo
administrator\components\com_zoo\tables\item.php Метод save()
удалить этот код


Как сильно ускориться импорт - не знаю. Ориентировочно раза в 2-3.
Т.к индексация - это дополнительные запросы на запись, а они самые медленные.

Скорее всего у вас возникнут проблемы с размерами таблиц в MySQL и поиск по ним будет медленный как минимум потому что вся таблица хранится на диске сервера. Можно конечно настройками базы данных вытащить всю таблицу в память, но для этого нужно знать администрирование Linux и иметь серьезный железный сервер.

На сколько я понимаю, сейчас речь идет о простенькой vds
Я вам советую для этих целей использовать как минимум ex-4 fastvps c тонкой настройкой всего окружения.

Узкие места хостинга можно выявить через утилиту тестирования производительности.
Важна скорость процессора и insert у базы данных.

В приложении нет специальных ограничений на размер файлов. Ограничения на размер и кол-во строк появляются из-за различных условий на хостинге.

Приложите скриншот результатов теста производительности и системный отчет JBZoo

 

Будем честными друг с другом, JBZoo не потянет миллион. Поиск будет тормозить при любых мощностях.
Для таких объемов используют фреймворки и индивидуальные разработки.

[mr.varhola]

Спасибо за развернутый ответ!