Перейти к содержимому


Фотография
- - - - -

Импорт 300 000 материалов и оптимизация работы JBZoo для работы с большими объемами данных

рецепт оптимизация импорт

Сообщений в теме: 43

#11 SmetDenis

SmetDenis

Отправлено 10 July 2014 - 04:52

Сколько полей в одном материале? Сколько весит ваш CSV файл?

 

Про сервера. Лично я предпочитаю fastVPS

В соседней теме пишут отличные результаты о xserver.ua

http://forum.jbzoo.c...lnosti/?p=46152


  • 0
JBZoo v4.0 и новый чудный мир Open Source GPL
Отключайте проверку лицензий как можно скорее!



— Есть два типа людей: Кто еще не делает бекапы и кто уже делает бекапы.


#12 RDG

RDG

Отправлено 01 October 2014 - 10:13

А если мы планируем выложить на сайте 200 000 книг? Скорее всего без картинок и с 4-5 доп полями с 20 категориями? Это будет работать всё без оптимизации? Или умрёт нифиг?


  • 0

#13 SmetDenis

SmetDenis

Отправлено 01 October 2014 - 10:33

А если мы планируем выложить на сайте 200 000 книг? Скорее всего без картинок и с 4-5 доп полями с 20 категориями? Это будет работать всё без оптимизации? Или умрёт нифиг?


Самым узким местом будет - это вывод категорий (или списка результата фильтра).
В целом - должно работать.

В вашем случае я не рекомендую использовать сортировки рандомом в любых местах и элемент PrevNextItem
Думаю для книг можно использовать больше 20 категорий, например для подкатегорий.
  • 0
JBZoo v4.0 и новый чудный мир Open Source GPL
Отключайте проверку лицензий как можно скорее!



— Есть два типа людей: Кто еще не делает бекапы и кто уже делает бекапы.


#14 RDG

RDG

Отправлено 01 October 2014 - 11:03

Мы планируем организовать так. Есть главная. На главной всякая ерунда, по пункту меню идём в Библиотеку. Там у нас выводится каша из 100 тысяч книг с разбиением на страницы. Конечно там никто не будет копаться. Сверху будут фильтры ГОД АВТОР ЖАНР ну и может ещё два каких то. И уже по кнопке будет сортировка. По факту категория у нас будет одна. Общая. Фильтрация по полям будет. Уязвима ли такая планировка? Может быть посоветуете как изначально сделать лучше? Или и так норм будет?


  • 0

#15 SmetDenis

SmetDenis

Отправлено 01 October 2014 - 11:57

В принципе пока ничего криминального не вижу. Разве что, не вижу смысла выводить на главной эту кашу. Если для быстрой индексации ПС, то есть более гуманные методы - sitemap.xml
  • 0
JBZoo v4.0 и новый чудный мир Open Source GPL
Отключайте проверку лицензий как можно скорее!



— Есть два типа людей: Кто еще не делает бекапы и кто уже делает бекапы.


#16 RDG

RDG

Отправлено 01 October 2014 - 12:07

Не, не на главной, а в пункте меню Библиотека. Ну я вас понял) Спасибо


  • 0

#17 tchudov

tchudov

Отправлено 07 October 2014 - 20:08

Самым узким местом будет

Получить права на публикацию от авторов 200 000 книг.


  • 0

#18 CB9TOIIIA

CB9TOIIIA

Отправлено 08 October 2014 - 06:11

 

я не рекомендую использовать PrevNextItem

 

Хм... а я недавно настроил его на новостнике :) чем плох?


  • 0

#19 RDG

RDG

Отправлено 08 October 2014 - 06:12

Получить права на публикацию от авторов 200 000 книг.

Это сайт издательства, книги их


  • 0

#20 SmetDenis

SmetDenis

Отправлено 08 October 2014 - 08:43

Хм... а я недавно настроил его на новостнике :) чем плох?


Он начинает сильно просаживать загрузку страницы т.к его производительность напрямую зависит от количества материалов в категории по которой идет поиск. Так уж написан SQL запрос. В силу специфичности он вложенный, учитывает сортировку и джойнит несколько больших таблиц. Поиск почти всегда получается без использования индексов MySQL (не путать с индексами JBZoo).

Масштаб проблемы ~ +2 секунды для категории с 3000 материалов (был реально такой случай у меня).
  • 0
JBZoo v4.0 и новый чудный мир Open Source GPL
Отключайте проверку лицензий как можно скорее!



— Есть два типа людей: Кто еще не делает бекапы и кто уже делает бекапы.






Темы с аналогичным тегами рецепт, оптимизация, импорт

Click to return to top of page in style!