[ Сообщений: 14 ] 
Начать новую тему Ответить на тему
Автор Сообщение
СообщениеДобавлено: 17 май 2006, 22:10 
Аватара пользователя

Сообщения: 12
Поблагодарили: 0 раз.
Уважаемые коллеги, кто агрегирует xml-прайсы на собственных интернет площадках, поделитесь опытом, как Вам удается обрабатывать большие прайс-листы > 6 Мб ?

У меня возникают проблемы из-за ограничений на скрипты по объему выделяемой им памяти. Расскажите, какими алгоритмами/способыми у Вас получается это делать.
Особенно интересно мнение тех, кто заливает к себе на сайт прайс-лист, объединяющий сразу все магазины.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 19 май 2006, 21:10 
Эксперт
Аватара пользователя

Сообщения: 276
Поблагодарили: 16 раз.
Andrew, видимо проблема в типе xml-парсера, который вы используете, скорее всего вы используете DOM-анализатор. DOM-анализаторы после анализа структуры документа строят в памяти полную объектную модель его содержимого, поэтому скрипту не хватает ресурсов. Вам нужен анализатор класса SAX, он проглотит большой xml по кусочкам :)

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 22 май 2006, 22:47 
Аватара пользователя

Сообщения: 12
Поблагодарили: 0 раз.
Использую SAX.

Есть в системе рекламодатель, у которого прайс около 12 мегабайт. Для парсинга этого файла мне не хватает выделяемых 64Мб памяти.

Если у Вас есть возможность, вышлите код своего парсера. Буду Вам очень благодарен.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 23 май 2006, 15:54 
Аватара пользователя

Сообщения: 45
Поблагодарили: 0 раз.
2Andrew выберай определённый вид товаров, не грузи весь файл. Ну а если хочется всё то, читай по кусочкам, т.е. скачал часть обработал, скачал часть обработал, и т.д., а для дальнейшей работы с данными есть MySQL считываешь XML и в БД.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 25 май 2006, 11:09 
Эксперт
Аватара пользователя

Сообщения: 276
Поблагодарили: 16 раз.
Странно, скрипту выделяется 64 мб памяти, пусть даже он полностью загрузил файл в память 12 мб, остается еще 52 мб, и их не хватает на обработку??

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 25 май 2006, 13:25 
Аватара пользователя

Сообщения: 12
Поблагодарили: 0 раз.
Евгений писал(а):
Странно, скрипту выделяется 64 мб памяти, пусть даже он полностью загрузил файл в память 12 мб, остается еще 52 мб, и их не хватает на обработку??


Если в Вашем скрипте действует такая математика, может пришлете мне его для ознакомления?

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 25 май 2006, 14:41 
Эксперт
Аватара пользователя

Сообщения: 276
Поблагодарили: 16 раз.
Цитата:
Если в Вашем скрипте действует такая математика, может пришлете мне его для ознакомления?

Нет, не такая математика :) К сожалению, прислать не могу, так как у меня нет этого "чудесного" универсального скрипта для миксмаркета, в каждом конкретном случае делается все по своему. Могу дать совет - сходите, например, сюда http://script.woweb.ru/, поищите скрипты для обработки rss-каналов, посмотрите как они сделаны. В свое время я адаптировал подобный код для обработки формата yml.
Желаю удачи.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 05 дек 2006, 01:39 
Аватара пользователя

Сообщения: 22
Поблагодарили: 0 раз.
Странно, почему тут нет хотя бы примерных образцов скрипта для xml-mysql и магазина. Предлагается искать по всем каталогам, скачивать, разбираться, ковыряться и снова искать? Это что, военная тайна?
-----------------
Хотелось бы прежде, чем связываться с данным проектом прикинуть, сколько в принципе можно заработать "Своим магазином" на сайте с 1000 ун.посетителей в сутки, если магазин будет не на главной странице.Сколько я партнерок перепробовал -везде либо ноль, либо копейки, себя не оправдывающие.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 07 дек 2006, 17:32 
Сотрудник Миксмаркета
Аватара пользователя

Сообщения: 3007
Поблагодарили: 42 раз.
Цитата:
Странно, почему тут нет хотя бы примерных образцов скрипта для xml-mysql и магазина. Предлагается искать по всем каталогам, скачивать, разбираться, ковыряться и снова искать? Это что, военная тайна?


С нашей стороны было бы неразумно давать какие-то универсальные скрипты. Мы не заинтересованы, чтобы партнеры плодили магазины-клоны.

Цитата:
Хотелось бы прежде, чем связываться с данным проектом прикинуть, сколько в принципе можно заработать "Своим магазином" на сайте с 1000 ун.посетителей в сутки, если магазин будет не на главной странице.Сколько я партнерок перепробовал -везде либо ноль, либо копейки, себя не оправдывающие.


Сложно сделать прогноз, очень много зависит от тематики сайта. Можете начать с программы "Контекстный товар", и оценить её результаты.

_________________
Партнерская сеть Миксмаркет

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 02 фев 2007, 19:09 
Аватара пользователя

Сообщения: 5
Поблагодарили: 0 раз.
Вот тут пример парсера, которым я обрабатываю большие XML, около 20 мб.

http://www.mixmarket.biz/forum/viewtopic.php?t=1567

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 03 фев 2007, 02:26 
Аватара пользователя

Сообщения: 106
Поблагодарили: 0 раз.
mager писал(а):
С нашей стороны было бы неразумно давать какие-то универсальные скрипты. Мы не заинтересованы, чтобы партнеры плодили магазины-клоны.


Магазины разумеется, а вот код быстрого парсера XML применительно к вашим форматам - почему бы не выложить? Пример на Perl вроде есть, а вот на PHP бы. А уж что дальше делать с результатами работы парсера, тут каждый решает сам.
Я не программист, так хоббирую помаленьку, хотя парсер и набросал, вроде работает, но показывать его кому нибудь бы не стал, уж больно неказистый :). А на нормальный бы парсер посмотрел.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 03 фев 2007, 17:55 
Аватара пользователя

Сообщения: 5
Поблагодарили: 0 раз.
Я уже давал ссылку на парсер, вот еще раз

http://mixmarket.biz/forum/viewtopic.php?t=1567

Парсер работает давольно быстро, НО там еще много можно проаптимизировать.
Вот его скорость работы:

Цитата:
22:11:32: Начало работы
22:11:35: Получил данный XML (792) кб.
22:11:35: Обработал XML данные
22:11:39: Сохранил товары
22:11:40: Сохранил брэнды
22:11:40: Сохранил адверты
22:11:40: Сохранил категории
22:11:40: Завершено

________________

22:17:51: Начало работы
22:19:22: Получил данный XML (22996) кб.
22:19:34: Обработал XML данные
22:23:29: Сохранил товары
22:23:29: Сохранил брэнды
22:23:29: Сохранил адверты
22:23:30: Сохранил категории
22:23:30: Завершено

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 03 фев 2007, 22:58 
Аватара пользователя

Сообщения: 106
Поблагодарили: 0 раз.
geosub писал(а):
Я уже давал ссылку на парсер, вот еще раз



Этот парсер, насколько я понимаю, кушает весь XML в массив, а уж потом нужные данные извлекаются из массива.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 04 фев 2007, 17:20 
Аватара пользователя

Сообщения: 5
Поблагодарили: 0 раз.
Да, все правильно. все в масив и потом в базу по кускам.
я сам неожидал что это будет работать достаточно быстро, но.. работает :) В ближайшее время переделаю, чтобы не грузить все в память а по частям работать. тогда будет еще лучше.

Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему
 [ Сообщений: 14 ] 

   Похожие темы   Ответы   Автор   Просмотры   Последнее сообщение 
В этой теме нет новых непрочитанных сообщений. Временные проблемы с "Сводным отчетом"

в форуме Микс-Юни

0

mgarkunov

5530

09 мар 2011, 14:00

mgarkunov Перейти к последнему сообщению

В этой теме нет новых непрочитанных сообщений. Проблемы с загрузкой блоков, когда mixmarket.biz не отвечает

в форуме Микс-Товары

14

Zdraff

16971

21 мар 2008, 00:57

Корнелий Перейти к последнему сообщению

В этой теме нет новых непрочитанных сообщений. Будущее контекста и проблемы проектов с большой аудиторией

[ На страницу: 1, 2 ]

в форуме Партнерский маркетинг

19

ConstaTim

14957

09 мар 2007, 19:34

ivanov Перейти к последнему сообщению

В этой теме нет новых непрочитанных сообщений. Проблемы с CSS (решено автором топика)

в форуме Микс-Товары

1

kuzen

4342

07 дек 2006, 22:50

kuzen Перейти к последнему сообщению

В этой теме нет новых непрочитанных сообщений. Сообщения рекламодателям: проблемы браузеров

в форуме Микс-Товары

8

max21

5345

09 апр 2007, 16:34

mager Перейти к последнему сообщению



Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения
cron


О проекте Новости Пресса о нас Сотрудничество Вакансии Контакты
2005–2011 Партнерская сеть Миксмаркет
Разработка сайта — iji-design / AdLabs
Powered by phpBB Group