Вот послушал новости вчера, и решил сделать проект.... Файлообменник.
Для оригинальности и не похожести на оригинал на phpbb - была выбрана любимая zoo.
Но встал вопрос - а вытянет ли оно 1,5 млн страниц.....
Что думают наши гуру?
1,500,000 страниц в zoo
Автор
IPname
, Dec 29 2013 21:55
-
Тема закрыта
Сообщений в теме: 9
#1
Отправлено 29 December 2013 - 21:55
Иной толкает пылесос, который нужен мне едвали, Изжога, перхоть и понос, О Боже, как Вы задолбали. Я не хотел бы Вас ругать, к больным мозгам претензий нету, Но раздается"Вашу мать"тебе в ответ по интернету
#2
Отправлено 29 December 2013 - 22:23
Никогда не тестировал такое большое кол-во по одной простой причине - лень ждать импорт.
У меня на локальном компьютере импорт идет со скоростью за 40мин ~100k, 1,5 миллиона придется ждать сутки (учитывая индексы MySQL)
Очевидно будут проблемы со скоростью работы базы данных.
Будем чесны, на таких объемах нужно очень точечно оптимизировать каждый запрос в базу данных.
Мое мнение - игра не стоит свеч 
Используйте фреймворки.
JBZoo v4.0 и новый чудный мир Open Source GPL
Отключайте проверку лицензий как можно скорее!
Отключайте проверку лицензий как можно скорее!
— Есть два типа людей: Кто еще не делает бекапы и кто уже делает бекапы.
#3
Отправлено 30 December 2013 - 11:50
Спасибо за мнение)
Мот что нить посоветуете для этой цели? Не сильно мудреное и что бы импорт был
Иной толкает пылесос, который нужен мне едвали, Изжога, перхоть и понос, О Боже, как Вы задолбали. Я не хотел бы Вас ругать, к больным мозгам претензий нету, Но раздается"Вашу мать"тебе в ответ по интернету
#4
Отправлено 11 January 2014 - 09:40
Никогда не тестировал такое большое кол-во по одной простой причине - лень ждать импорт.
У меня на локальном компьютере импорт идет со скоростью за 40мин ~100k, 1,5 миллиона придется ждать сутки (учитывая индексы MySQL)
Неплохо было бы инструкцию сделать по настройкам опенофиса и денвера для быстрой работы.
А то от опена отказался - хер пойми как там что настроить - то оч медленно работает) но денвер тоже не сильно радует...
5000 строчек в блог со вчерашнего утра заливаю)
Статистика импорта:
- Прошло времени: 1299:36
- Осталось до конца (примерно): 228:26
Иной толкает пылесос, который нужен мне едвали, Изжога, перхоть и понос, О Боже, как Вы задолбали. Я не хотел бы Вас ругать, к больным мозгам претензий нету, Но раздается"Вашу мать"тебе в ответ по интернету
#5
Отправлено 11 January 2014 - 09:47
Open Server прекрасно работает из коробки. Уже года два на нем, практически не чувствую проблем.
Если у вас файл csv большой (более 10 мб), то скорее всего будут проблемы в районе файловой системы.
NTFS очень медленно работает с маленькими файлами, открытие и закрытие.
Под Windows можно ставить что угодно, но по скорости это никак не сравнится с точной такой же машиной на linux.
Тем не менее, когда я делал демо сайт, то 10к материалов для таблицы залил минут за 30. Win7 + OpenServer
Может есть смысл сделать импорт на хостинге?
Еще вариант разбить CSV на несколько небольших файлов. Это может ускорить шаг импорта.
По сравнению с денвером, OS мне кажется сказкой)) Я на радостях даже им денег давал в прошлом году)))
JBZoo v4.0 и новый чудный мир Open Source GPL
Отключайте проверку лицензий как можно скорее!
Отключайте проверку лицензий как можно скорее!
— Есть два типа людей: Кто еще не делает бекапы и кто уже делает бекапы.
#6
Отправлено 11 January 2014 - 09:53
Я на радостях даже им денег давал в прошлом году)))
Я видел .
Хз, Из коробки он у меня очень тугой(((( - а где и что менять не нашел - весь нет перерыл - но внятного ответа нету
Мот и с компом проблема - веник слегка древний, хотя проблем с копированием файлов туда-сюда нету...
Напрямую в базу если гнать - то все норм...
Иной толкает пылесос, который нужен мне едвали, Изжога, перхоть и понос, О Боже, как Вы задолбали. Я не хотел бы Вас ругать, к больным мозгам претензий нету, Но раздается"Вашу мать"тебе в ответ по интернету
#7
Отправлено 11 January 2014 - 09:56
весь нет перерыл - но внятного ответа нету
У них справка есть, форум. Можно создать вопрос в разделе "разное", я рискну здоровьем ответить. =)
но в любом случае сильно зависит от компьютера конечно. на ssd винчестере будет чуть шустрее. но NTFS все равно все губит))
JBZoo v4.0 и новый чудный мир Open Source GPL
Отключайте проверку лицензий как можно скорее!
Отключайте проверку лицензий как можно скорее!
— Есть два типа людей: Кто еще не делает бекапы и кто уже делает бекапы.
#8
Отправлено 11 January 2014 - 10:18
да там куча таких вопросов - админ посылает всех фиг пойми куда)
попробую сча комп второй купить) - созрел) там еще проверю
Иной толкает пылесос, который нужен мне едвали, Изжога, перхоть и понос, О Боже, как Вы задолбали. Я не хотел бы Вас ругать, к больным мозгам претензий нету, Но раздается"Вашу мать"тебе в ответ по интернету
#9
Отправлено 11 January 2014 - 10:34
Вообще тема про настройки хостинга (и локального и нормального) полезная. Можно даже подумать над отдельной веткой.
Но пока такие вопросы будт уместны только в разном.
JBZoo v4.0 и новый чудный мир Open Source GPL
Отключайте проверку лицензий как можно скорее!
Отключайте проверку лицензий как можно скорее!
— Есть два типа людей: Кто еще не делает бекапы и кто уже делает бекапы.
#10
Отправлено 11 January 2014 - 12:48
Вообще тема про настройки хостинга (и локального и нормального) полезная. Можно даже подумать над отдельной веткой.
Но пока такие вопросы будт уместны только в разном.
+1 - не полезная, а нужная)
Иной толкает пылесос, который нужен мне едвали, Изжога, перхоть и понос, О Боже, как Вы задолбали. Я не хотел бы Вас ругать, к больным мозгам претензий нету, Но раздается"Вашу мать"тебе в ответ по интернету
