[ Сообщений: 14 ] 
Начать новую тему Ответить на тему
Автор Сообщение
СообщениеДобавлено: 17 май 2006, 22:10 
Аватара пользователя

Сообщения: 12
Поблагодарили: 0 раз.
Уважаемые коллеги, кто агрегирует xml-прайсы на собственных интернет площадках, поделитесь опытом, как Вам удается обрабатывать большие прайс-листы > 6 Мб ?

У меня возникают проблемы из-за ограничений на скрипты по объему выделяемой им памяти. Расскажите, какими алгоритмами/способыми у Вас получается это делать.
Особенно интересно мнение тех, кто заливает к себе на сайт прайс-лист, объединяющий сразу все магазины.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 19 май 2006, 21:10 
Эксперт
Аватара пользователя

Сообщения: 276
Поблагодарили: 16 раз.
Andrew, видимо проблема в типе xml-парсера, который вы используете, скорее всего вы используете DOM-анализатор. DOM-анализаторы после анализа структуры документа строят в памяти полную объектную модель его содержимого, поэтому скрипту не хватает ресурсов. Вам нужен анализатор класса SAX, он проглотит большой xml по кусочкам :)

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 22 май 2006, 22:47 
Аватара пользователя

Сообщения: 12
Поблагодарили: 0 раз.
Использую SAX.

Есть в системе рекламодатель, у которого прайс около 12 мегабайт. Для парсинга этого файла мне не хватает выделяемых 64Мб памяти.

Если у Вас есть возможность, вышлите код своего парсера. Буду Вам очень благодарен.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 23 май 2006, 15:54 
Аватара пользователя

Сообщения: 45
Поблагодарили: 0 раз.
2Andrew выберай определённый вид товаров, не грузи весь файл. Ну а если хочется всё то, читай по кусочкам, т.е. скачал часть обработал, скачал часть обработал, и т.д., а для дальнейшей работы с данными есть MySQL считываешь XML и в БД.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 25 май 2006, 11:09 
Эксперт
Аватара пользователя

Сообщения: 276
Поблагодарили: 16 раз.
Странно, скрипту выделяется 64 мб памяти, пусть даже он полностью загрузил файл в память 12 мб, остается еще 52 мб, и их не хватает на обработку??

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 25 май 2006, 13:25 
Аватара пользователя

Сообщения: 12
Поблагодарили: 0 раз.
Евгений писал(а):
Странно, скрипту выделяется 64 мб памяти, пусть даже он полностью загрузил файл в память 12 мб, остается еще 52 мб, и их не хватает на обработку??


Если в Вашем скрипте действует такая математика, может пришлете мне его для ознакомления?

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 25 май 2006, 14:41 
Эксперт
Аватара пользователя

Сообщения: 276
Поблагодарили: 16 раз.
Цитата:
Если в Вашем скрипте действует такая математика, может пришлете мне его для ознакомления?

Нет, не такая математика :) К сожалению, прислать не могу, так как у меня нет этого "чудесного" универсального скрипта для миксмаркета, в каждом конкретном случае делается все по своему. Могу дать совет - сходите, например, сюда http://script.woweb.ru/, поищите скрипты для обработки rss-каналов, посмотрите как они сделаны. В свое время я адаптировал подобный код для обработки формата yml.
Желаю удачи.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 05 дек 2006, 01:39 
Аватара пользователя

Сообщения: 22
Поблагодарили: 0 раз.
Странно, почему тут нет хотя бы примерных образцов скрипта для xml-mysql и магазина. Предлагается искать по всем каталогам, скачивать, разбираться, ковыряться и снова искать? Это что, военная тайна?
-----------------
Хотелось бы прежде, чем связываться с данным проектом прикинуть, сколько в принципе можно заработать "Своим магазином" на сайте с 1000 ун.посетителей в сутки, если магазин будет не на главной странице.Сколько я партнерок перепробовал -везде либо ноль, либо копейки, себя не оправдывающие.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 07 дек 2006, 17:32 
Сотрудник Миксмаркета
Аватара пользователя

Сообщения: 3008
Поблагодарили: 42 раз.
Цитата:
Странно, почему тут нет хотя бы примерных образцов скрипта для xml-mysql и магазина. Предлагается искать по всем каталогам, скачивать, разбираться, ковыряться и снова искать? Это что, военная тайна?


С нашей стороны было бы неразумно давать какие-то универсальные скрипты. Мы не заинтересованы, чтобы партнеры плодили магазины-клоны.

Цитата:
Хотелось бы прежде, чем связываться с данным проектом прикинуть, сколько в принципе можно заработать "Своим магазином" на сайте с 1000 ун.посетителей в сутки, если магазин будет не на главной странице.Сколько я партнерок перепробовал -везде либо ноль, либо копейки, себя не оправдывающие.


Сложно сделать прогноз, очень много зависит от тематики сайта. Можете начать с программы "Контекстный товар", и оценить её результаты.

_________________
Партнерская сеть Миксмаркет

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 02 фев 2007, 19:09 
Аватара пользователя

Сообщения: 5
Поблагодарили: 0 раз.
Вот тут пример парсера, которым я обрабатываю большие XML, около 20 мб.

http://www.mixmarket.biz/forum/viewtopic.php?t=1567

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 03 фев 2007, 02:26 
Аватара пользователя

Сообщения: 106
Поблагодарили: 0 раз.
mager писал(а):
С нашей стороны было бы неразумно давать какие-то универсальные скрипты. Мы не заинтересованы, чтобы партнеры плодили магазины-клоны.


Магазины разумеется, а вот код быстрого парсера XML применительно к вашим форматам - почему бы не выложить? Пример на Perl вроде есть, а вот на PHP бы. А уж что дальше делать с результатами работы парсера, тут каждый решает сам.
Я не программист, так хоббирую помаленьку, хотя парсер и набросал, вроде работает, но показывать его кому нибудь бы не стал, уж больно неказистый :). А на нормальный бы парсер посмотрел.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 03 фев 2007, 17:55 
Аватара пользователя

Сообщения: 5
Поблагодарили: 0 раз.
Я уже давал ссылку на парсер, вот еще раз

http://mixmarket.biz/forum/viewtopic.php?t=1567

Парсер работает давольно быстро, НО там еще много можно проаптимизировать.
Вот его скорость работы:

Цитата:
22:11:32: Начало работы
22:11:35: Получил данный XML (792) кб.
22:11:35: Обработал XML данные
22:11:39: Сохранил товары
22:11:40: Сохранил брэнды
22:11:40: Сохранил адверты
22:11:40: Сохранил категории
22:11:40: Завершено

________________

22:17:51: Начало работы
22:19:22: Получил данный XML (22996) кб.
22:19:34: Обработал XML данные
22:23:29: Сохранил товары
22:23:29: Сохранил брэнды
22:23:29: Сохранил адверты
22:23:30: Сохранил категории
22:23:30: Завершено

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 03 фев 2007, 22:58 
Аватара пользователя

Сообщения: 106
Поблагодарили: 0 раз.
geosub писал(а):
Я уже давал ссылку на парсер, вот еще раз



Этот парсер, насколько я понимаю, кушает весь XML в массив, а уж потом нужные данные извлекаются из массива.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 04 фев 2007, 17:20 
Аватара пользователя

Сообщения: 5
Поблагодарили: 0 раз.
Да, все правильно. все в масив и потом в базу по кускам.
я сам неожидал что это будет работать достаточно быстро, но.. работает :) В ближайшее время переделаю, чтобы не грузить все в память а по частям работать. тогда будет еще лучше.

Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему
 [ Сообщений: 14 ] 

   Похожие темы   Ответы   Автор   Просмотры   Последнее сообщение 
В этой теме нет новых непрочитанных сообщений. Временные проблемы с "Сводным отчетом"

в форуме Микс-Юни

0

mgarkunov

6295

09 мар 2011, 14:00

mgarkunov Перейти к последнему сообщению

В этой теме нет новых непрочитанных сообщений. Проблемы с загрузкой блоков, когда mixmarket.biz не отвечает

в форуме Микс-Товары

14

Zdraff

17903

21 мар 2008, 00:57

Корнелий Перейти к последнему сообщению

В этой теме нет новых непрочитанных сообщений. Будущее контекста и проблемы проектов с большой аудиторией

[ На страницу: 1, 2 ]

в форуме Партнерский маркетинг

19

ConstaTim

16270

09 мар 2007, 19:34

ivanov Перейти к последнему сообщению

В этой теме нет новых непрочитанных сообщений. Проблемы с CSS (решено автором топика)

в форуме Микс-Товары

1

kuzen

5083

07 дек 2006, 22:50

kuzen Перейти к последнему сообщению

В этой теме нет новых непрочитанных сообщений. Сообщения рекламодателям: проблемы браузеров

в форуме Микс-Товары

8

max21

6095

09 апр 2007, 16:34

mager Перейти к последнему сообщению



Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения


О проекте Новости Пресса о нас Сотрудничество Вакансии Контакты
2005–2011 Партнерская сеть Миксмаркет
Разработка сайта — iji-design / AdLabs
Powered by phpBB Group