Перейти к содержимому


Фотография
- - - - -

Как увеличить скорость экспорта


Лучший Ответ SmetDenis , 16 January 2014 - 07:10

При разных тестах от 15000 до 25000

Это зависит от вашей файловой системы. В данном случае это не критично.

Общее время выгрузке получается 4099:00

Вы говорите про импорт? В заголовке написано, что проблема в экспорте.

Ускорить экспорт можно только если отключиьт не нужную информацию в выгрузке.
Например отключить данные ядра, мета. Выгрузить только определенную категорию.

Про импорт.
Если вам нужно только изменить цену, то оставьте в файле импорта только данные для элемента цены, остальные столбцы удалите. Таким обозом файл будем меньше и скорость его разбора увеличится.
При импорте тоже выбирайте только те поля, которые нуждаются в обновлении + ключ

Бывают случаи когда быстрее будет импортировать данные через 2 файла по 10к материалов, чем с помощью одного с 20к записями.

У вас установлен APC?
Что вы используете в качестве ключа при импорте?
Можете показать скриншот настроек импорта? Перейти к сообщению


  • Закрытая тема Тема закрыта
Сообщений в теме: 10

#1 SIN

SIN

Отправлено 15 January 2014 - 09:17

На сайте нужно разом поменять все цены. В файле csv  я заменил цены на нужные.

В каталоге  больше 20 тысяч наименований.

Общее время выгрузке получается 4099:00

Что очень долго.

Сайт располагается на своем сервере. Это 7core с 16 Гб оперативной памяти.

Может быть вы посоветуете какие то настройки для сервера или каким образом можно уменьшить общее время выгрузки данных.

 

 


  • 0

#2 SmetDenis

SmetDenis

Отправлено 15 January 2014 - 09:34

Можете показать результаты тестов JBZoo ?
  • 0
JBZoo v4.0 и новый чудный мир Open Source GPL
Отключайте проверку лицензий как можно скорее!



— Есть два типа людей: Кто еще не делает бекапы и кто уже делает бекапы.


#3 SIN

SIN

Отправлено 15 January 2014 - 23:31

Такой параметр как

Минимальный набор файловых операций
Создание, удаление

 

может существенно отличаться. При разных тестах от 15000 до 25000


Увеличил max_input_vars=10000. Время выгрузки осталось прежнем.

Прикрепленные изображения

  • test.png

  • 0

#4 SmetDenis

SmetDenis

Отправлено 16 January 2014 - 07:10   Лучший Ответ

При разных тестах от 15000 до 25000

Это зависит от вашей файловой системы. В данном случае это не критично.

Общее время выгрузке получается 4099:00

Вы говорите про импорт? В заголовке написано, что проблема в экспорте.

Ускорить экспорт можно только если отключиьт не нужную информацию в выгрузке.
Например отключить данные ядра, мета. Выгрузить только определенную категорию.

Про импорт.
Если вам нужно только изменить цену, то оставьте в файле импорта только данные для элемента цены, остальные столбцы удалите. Таким обозом файл будем меньше и скорость его разбора увеличится.
При импорте тоже выбирайте только те поля, которые нуждаются в обновлении + ключ

Бывают случаи когда быстрее будет импортировать данные через 2 файла по 10к материалов, чем с помощью одного с 20к записями.

У вас установлен APC?
Что вы используете в качестве ключа при импорте?
Можете показать скриншот настроек импорта?
  • 0
JBZoo v4.0 и новый чудный мир Open Source GPL
Отключайте проверку лицензий как можно скорее!



— Есть два типа людей: Кто еще не делает бекапы и кто уже делает бекапы.


#5 SIN

SIN

Отправлено 16 January 2014 - 10:51

Прошу прощения. речь действительно идет об импорте.

 

У вас установлен APC?

 

 

APC был заменен на xcache, так как увеличения производительности не получилось.

 

 

 

Что вы используете в качестве ключа при импорте?

 

ID товара 

Прикрепленные изображения

  • test2.png

  • 0

#6 SmetDenis

SmetDenis

Отправлено 16 January 2014 - 11:02

Тогда остается только настроить импорт только по тем полям, которые нужно изменить.
И уменьшить импортируемый файл путем удаления не нужных столбцов.
  • 0
JBZoo v4.0 и новый чудный мир Open Source GPL
Отключайте проверку лицензий как можно скорее!



— Есть два типа людей: Кто еще не делает бекапы и кто уже делает бекапы.


#7 SIN

SIN

Отправлено 17 January 2014 - 06:31

Оставил два поля: ID и базовая цена.

Время осталось тоже.

 

Оставил 10 000 наименований. Время сократилось в два раза

 

 

2000 минут. Может быть есть вариант уменьшить время?


  • 0

#8 SmetDenis

SmetDenis

Отправлено 17 January 2014 - 08:04

Покажите, какие в результате получились настройки импорта и пример файла.
  • 0
JBZoo v4.0 и новый чудный мир Open Source GPL
Отключайте проверку лицензий как можно скорее!



— Есть два типа людей: Кто еще не делает бекапы и кто уже делает бекапы.


#9 SIN

SIN

Отправлено 17 January 2014 - 08:51

Прикрепил к сообщению

Прикрепленные изображения

  • test3.png

Прикрепленные файлы


  • 0

#10 SmetDenis

SmetDenis

Отправлено 18 January 2014 - 20:04

Прошу прощения за задержку с ответом.

Я попробовал у себя повторить ситуацию с импортом. У меня ваши 10к импортировались минут за 20-25.
Но материалы были наполнены по минимуму (название и цена).
В итоге у меня не получается повторить проблему производительности.

Можете мне дать временный доступ ftp и к панели управления?
Попробую выявить узкое место и по возможности разогнать импорт.
  • 0
JBZoo v4.0 и новый чудный мир Open Source GPL
Отключайте проверку лицензий как можно скорее!



— Есть два типа людей: Кто еще не делает бекапы и кто уже делает бекапы.





Click to return to top of page in style!