Jump to content


Photo
- - - - -

Как увеличить скорость экспорта


Best Answer SmetDenis , 16 January 2014 - 07:10

При разных тестах от 15000 до 25000

Это зависит от вашей файловой системы. В данном случае это не критично.

Общее время выгрузке получается 4099:00

Вы говорите про импорт? В заголовке написано, что проблема в экспорте.

Ускорить экспорт можно только если отключиьт не нужную информацию в выгрузке.
Например отключить данные ядра, мета. Выгрузить только определенную категорию.

Про импорт.
Если вам нужно только изменить цену, то оставьте в файле импорта только данные для элемента цены, остальные столбцы удалите. Таким обозом файл будем меньше и скорость его разбора увеличится.
При импорте тоже выбирайте только те поля, которые нуждаются в обновлении + ключ

Бывают случаи когда быстрее будет импортировать данные через 2 файла по 10к материалов, чем с помощью одного с 20к записями.

У вас установлен APC?
Что вы используете в качестве ключа при импорте?
Можете показать скриншот настроек импорта? Go to the full post


  • This topic is locked This topic is locked
10 replies to this topic

#1 SIN

SIN
  • JBZoo User (rus)
  • User rate: ~
  • posts: 8
  • topics: 3

Posted 15 January 2014 - 09:17

На сайте нужно разом поменять все цены. В файле csv  я заменил цены на нужные.

В каталоге  больше 20 тысяч наименований.

Общее время выгрузке получается 4099:00

Что очень долго.

Сайт располагается на своем сервере. Это 7core с 16 Гб оперативной памяти.

Может быть вы посоветуете какие то настройки для сервера или каким образом можно уменьшить общее время выгрузки данных.

 

 


  • 0

#2 SmetDenis

SmetDenis
  • Administrators
  • User rate: 139.4
  • posts: 16232
  • topics: 200

Posted 15 January 2014 - 09:34

Можете показать результаты тестов JBZoo ?
  • 0
JBZoo v4.0 и новый чудный мир Open Source GPL
Отключайте проверку лицензий как можно скорее!



— Есть два типа людей: Кто еще не делает бекапы и кто уже делает бекапы.


#3 SIN

SIN
  • Topic Starter
  • JBZoo User (rus)
  • User rate: ~
  • posts: 8
  • topics: 3

Posted 15 January 2014 - 23:31

Такой параметр как

Минимальный набор файловых операций
Создание, удаление

 

может существенно отличаться. При разных тестах от 15000 до 25000


Увеличил max_input_vars=10000. Время выгрузки осталось прежнем.

Attached Thumbnails

  • test.png

  • 0

#4 SmetDenis

SmetDenis
  • Administrators
  • User rate: 139.4
  • posts: 16232
  • topics: 200

Posted 16 January 2014 - 07:10   Best Answer

При разных тестах от 15000 до 25000

Это зависит от вашей файловой системы. В данном случае это не критично.

Общее время выгрузке получается 4099:00

Вы говорите про импорт? В заголовке написано, что проблема в экспорте.

Ускорить экспорт можно только если отключиьт не нужную информацию в выгрузке.
Например отключить данные ядра, мета. Выгрузить только определенную категорию.

Про импорт.
Если вам нужно только изменить цену, то оставьте в файле импорта только данные для элемента цены, остальные столбцы удалите. Таким обозом файл будем меньше и скорость его разбора увеличится.
При импорте тоже выбирайте только те поля, которые нуждаются в обновлении + ключ

Бывают случаи когда быстрее будет импортировать данные через 2 файла по 10к материалов, чем с помощью одного с 20к записями.

У вас установлен APC?
Что вы используете в качестве ключа при импорте?
Можете показать скриншот настроек импорта?
  • 0
JBZoo v4.0 и новый чудный мир Open Source GPL
Отключайте проверку лицензий как можно скорее!



— Есть два типа людей: Кто еще не делает бекапы и кто уже делает бекапы.


#5 SIN

SIN
  • Topic Starter
  • JBZoo User (rus)
  • User rate: ~
  • posts: 8
  • topics: 3

Posted 16 January 2014 - 10:51

Прошу прощения. речь действительно идет об импорте.

 

У вас установлен APC?

 

 

APC был заменен на xcache, так как увеличения производительности не получилось.

 

 

 

Что вы используете в качестве ключа при импорте?

 

ID товара 

Attached Thumbnails

  • test2.png

  • 0

#6 SmetDenis

SmetDenis
  • Administrators
  • User rate: 139.4
  • posts: 16232
  • topics: 200

Posted 16 January 2014 - 11:02

Тогда остается только настроить импорт только по тем полям, которые нужно изменить.
И уменьшить импортируемый файл путем удаления не нужных столбцов.
  • 0
JBZoo v4.0 и новый чудный мир Open Source GPL
Отключайте проверку лицензий как можно скорее!



— Есть два типа людей: Кто еще не делает бекапы и кто уже делает бекапы.


#7 SIN

SIN
  • Topic Starter
  • JBZoo User (rus)
  • User rate: ~
  • posts: 8
  • topics: 3

Posted 17 January 2014 - 06:31

Оставил два поля: ID и базовая цена.

Время осталось тоже.

 

Оставил 10 000 наименований. Время сократилось в два раза

 

 

2000 минут. Может быть есть вариант уменьшить время?


  • 0

#8 SmetDenis

SmetDenis
  • Administrators
  • User rate: 139.4
  • posts: 16232
  • topics: 200

Posted 17 January 2014 - 08:04

Покажите, какие в результате получились настройки импорта и пример файла.
  • 0
JBZoo v4.0 и новый чудный мир Open Source GPL
Отключайте проверку лицензий как можно скорее!



— Есть два типа людей: Кто еще не делает бекапы и кто уже делает бекапы.


#9 SIN

SIN
  • Topic Starter
  • JBZoo User (rus)
  • User rate: ~
  • posts: 8
  • topics: 3

Posted 17 January 2014 - 08:51

Прикрепил к сообщению

Attached Thumbnails

  • test3.png

Attached Files


  • 0

#10 SmetDenis

SmetDenis
  • Administrators
  • User rate: 139.4
  • posts: 16232
  • topics: 200

Posted 18 January 2014 - 20:04

Прошу прощения за задержку с ответом.

Я попробовал у себя повторить ситуацию с импортом. У меня ваши 10к импортировались минут за 20-25.
Но материалы были наполнены по минимуму (название и цена).
В итоге у меня не получается повторить проблему производительности.

Можете мне дать временный доступ ftp и к панели управления?
Попробую выявить узкое место и по возможности разогнать импорт.
  • 0
JBZoo v4.0 и новый чудный мир Open Source GPL
Отключайте проверку лицензий как можно скорее!



— Есть два типа людей: Кто еще не делает бекапы и кто уже делает бекапы.





Click to return to top of page in style!