Об улучшении работы с XML прайсами

Новости нашей системы, а также ваши комментарии, замечания и пожелания...
onpart
Сообщения: 12
Зарегистрирован: 21 апр 2013, 13:34

Об улучшении работы с XML прайсами

Сообщение onpart » 14 май 2014, 17:07

Обращение к господам администраторам и разработчикам проекта.

Уважаемые господа разработчики и администраторы. Здесь вы наше все и мы шибко от вас зависим.
Наверняка уже не раз, вас атаковали вопросами об объемности XML файлов. В частности, для программы "Свой магазин".
Возможно, что для вас неочень заметна проблема, ведь вы их тащите кусками, по одному от каждого рекламодателя.
А нам-то приходится тащить жирным куском! И уже у себя резать кого и как нам надо. А это выливается в ресурсы, которые хостер, порой, и не дает.
К примеру, моя ситуация. На обычном хосте удалось кое-как вытащить xml на 15000 наименований. После обработки на предмет таргетинга и качества отдаваемого материала, осталось ок. 9000 наименований.
Так вот, моя цмс запросто работает на обычном хосте со списками ок 15000 наименований. Может и больше сможет, не знаю, не пробовал. Но такой xml не утащить.
Либо надо брать сервер. И здесь в кофликт вступают хомяк и жаба! С одной стороны, я хочу и могу работать с большим объмом. А с другой стороны, вы не можете отдать мне большой объем не сожрав мои ресурсы.
Брать сервер только ради того, чтобы выкачать жирный прайс, который будет в итоге сильно почикан... тут жаба хомяка по темячку тюк!

А, вот, если господа разработчики у себя разнесут xml листы по регионам, этож как сразу всем кому надо станет хорошо.
В приципе-то сложного нет в этом ничего. Добавить фильтр региона на список категорий для формирования прайса. И всего делов.
Прежде чем начать отбор товаров, выставляем регион и бац! У нас список категорий и товаров исключительно для нужного региона. Вот вам и таргетинг без заморочек и придумываний.

Работая с фильтрованными прайсами, можно построить весьма неслабый агрегатор. Вот посмотрите на sravni.com, этож какая тьма товаров-то!!! Оно понятно, что у них ситема другая, но как грамотно построено!

Давайте здесь тоже немного улучшим сервис, пожалуйста.

vladdublan
Сообщения: 2
Зарегистрирован: 09 май 2014, 18:13

Re: Об улучшении работы с XML прайсами

Сообщение vladdublan » 14 май 2014, 17:28

да было бы неплохо, парсить огромный файл ужасно долго. да и нагрузка на миксмаркет увеличивается.

Skam02
Сообщения: 3
Зарегистрирован: 19 фев 2009, 13:12

Re: Об улучшении работы с XML прайсами

Сообщение Skam02 » 15 май 2014, 00:10

Есть свободные мощности и быстрый парсер, могу забрать Ваш миксмаркетовый (и/или любой другой) прайс, переварить его и отдать в нужном виде.

onpart
Сообщения: 12
Зарегистрирован: 21 апр 2013, 13:34

Re: Об улучшении работы с XML прайсами

Сообщение onpart » 15 май 2014, 09:02

Skam02 писал(а):Есть свободные мощности и быстрый парсер, могу забрать Ваш миксмаркетовый (и/или любой другой) прайс, переварить его и отдать в нужном виде.
Ну вот, можно начинать строить площадку по обмену мощностями...
Спасибо за предложение. У нас не в парсере проблема, а в лимитах объема разрешенного хостером.

Odaria
Сотрудник Миксмаркета
Сотрудник Миксмаркета
Сообщения: 806
Зарегистрирован: 12 янв 2009, 22:36
Откуда: Spb

Re: Об улучшении работы с XML прайсами

Сообщение Odaria » 15 май 2014, 12:23

Добрый день, в программе "Свой магазин" возможность забирать прайс
1. по каждому отдельному рекламодателю в рамках одной товарной группы.
2. вы можете создать несколько товарных групп в программе "Свой магазин" и настроить каждую на нужную рубрику.
Дарья Орлова, odaria@mixmarket.biz
Партнерская сеть Миксмаркет

onpart
Сообщения: 12
Зарегистрирован: 21 апр 2013, 13:34

Re: Об улучшении работы с XML прайсами

Сообщение onpart » 16 май 2014, 10:17

Odaria писал(а):1. по каждому отдельному рекламодателю в рамках одной товарной группы.
Я наверное плохо искал, но так и не нашел, как выбирать рекламодателя при формировании xml списка для импорта.
Да, я могу войти в список рекламодателей и отключить ненужных. Но это лишь чистка случайного.
Odaria писал(а):2. вы можете создать несколько товарных групп в программе "Свой магазин" и настроить каждую на нужную рубрику.
Это тоже не совсем то, что надо.

Раз уж я затеялся по строительной теме, то примеры приведу соответствующие. Вот есть рубрика - Сантехника. Будет вполне нормально, посвятить сайт этой теме. И вполне логично, если на сайте окажется все водержимое рубрики.
Однако! Многие ли партнерские сайты способны на это? В рубрике 92784 товаров и из них, в категории - Комплектующие - 11180 товаров.
Тепрь зрим в корень.
Рекламодатели хотят этот товар показывать на партнерских площадках. Но кто из портнеров, хочет посвятить целый сайт комплектующим для сантехники?
А дальше -больше.
На сколько я могу себе представить, далеко не все партнеры работают со всеми регионами. Тут, видите ли, присутствует ПС-овый фактор. И если хочется на выходе получить качественную, геозависимую площадку, придется позабыть о показе товаров в республике Соха, товары для Питера.

А теперь, давайте дадим себе честный ответ, Сколько из 92784 товаров в разделе сантехники, таргетированы на, к примеру, г. Кемерово?
Ну, ладно, с Кемерово я маленько загнул. Но, если разложим на какие-то основные, самые вкусные кусочки, и то окажется, что далеко не все что там есть, нам надо. А чтобы отшелушить ненужное, надо забрать весь файл.

Кто нибудь взвешивал такой объем? Сколько Мб в xml файле из 92784 товаров? Сколько Мб пропустит хороший виртуальный хостинг?

И это только в строительной теме. А если глянуть в бытовуху... Там для для одних только блендеров придется делать отдельный сайт.

Если работать по 2-му варианту, то надо запускать парсер столько раз, сколько собрал листов. Затем их надо слить в массив, потом расчленить на нужное и не нужное. В общем, немного не рационально.
Куда как проще на вашей стороне внедрить скрипт, позволяющий выводить товары по разным атрибутам xml тегов.

Odaria
Сотрудник Миксмаркета
Сотрудник Миксмаркета
Сообщения: 806
Зарегистрирован: 12 янв 2009, 22:36
Откуда: Spb

Re: Об улучшении работы с XML прайсами

Сообщение Odaria » 16 май 2014, 10:32

Прайсы с делением по рекламодателю:
YML формат пункт б) Для каждого магазина отдельный файл (см скриншот http://yadi.sk/d/Up9RYfQ8QNvcg )

Относительно вопроса по делению прайсов по регионам геотаргетинга уточню в отделе разработки и дам вам ответ.
Дарья Орлова, odaria@mixmarket.biz
Партнерская сеть Миксмаркет

onpart
Сообщения: 12
Зарегистрирован: 21 апр 2013, 13:34

Re: Об улучшении работы с XML прайсами

Сообщение onpart » 16 май 2014, 14:22

Odaria писал(а):YML формат пункт б) Для каждого магазина отдельный файл (см скриншот http://yadi.sk/d/Up9RYfQ8QNvcg )
Спасибо за подсказку, но эту штуку я понимаю. Только дело в том, что обычно ведь не делают сайты или разделы сайта по поставщику.
Смысл в том, что если делать разные файлы по магазинам (читай по поставщикам или группам), это запуск нескольких парсеров по очереди. Но так или иначе их всеравно приходится обрабатывать на предмет выдирания нужного. И тут еще болше расходуется ресурсов. Разница лишь в том, что нагрузка на мощности машины хостера разносится по времени.
Если тащим один файл, то можно сразу, налету отсекать ненужное, а нужное будет падать в базу. А если несколькими файлами на одну площадку, то сначала отсекаем лишнее и складываем почищенные файлики, потом, где-то в сторонке, собираем их в один и кидаем в базу.
Иными словами, мароки еще больше.
Вот поэтому я так настойчив в своих предложениях.

А если файлы будут вами отдаваться сразу разнесенными по регионам, то все можно забирать одним файлом, независимо от категории.
И тогда из 2000 товаров утащенных файлом, останется не 10% таргетированных на Россию, а те, которые соответствуют нужному параметру.

vladdublan
Сообщения: 2
Зарегистрирован: 09 май 2014, 18:13

Re: Об улучшении работы с XML прайсами

Сообщение vladdublan » 19 май 2014, 03:33

слава Богу что раздел OFFERS в XML выдает OFFERы построчно - упрощает потоковое парсинье с занесением в БД, а иначе был бы караул. Надеюсь это так останется и в будущем!

Аватара пользователя
vitocool2
Эксперт
Эксперт
Сообщения: 235
Зарегистрирован: 02 янв 2007, 00:51
Откуда: Пятигорск
Контактная информация:

Re: Об улучшении работы с XML прайсами

Сообщение vitocool2 » 19 май 2014, 08:33

onpart, для работы "со своим магазином" требуются большие ресурсы, поэтому с виртуальным хостингом намучаетесь при любом раскладе. Как выход, используйте товарные группы "Где купить", либо если есть свободные 30Евро в мес. переходите на выделенный сервер и будет вам счастье.

vivid
Сообщения: 3
Зарегистрирован: 17 апр 2010, 23:06

Re: Об улучшении работы с XML прайсами

Сообщение vivid » 19 май 2014, 13:14

Звучит как, "я не хочу тратится на нормальный хостинг и толком ничего делать, миксмаркет, сделайте за меня почти все")) Архив можно получить в сжатом виде, из 600 тысяч товаров он весит всего 30 мб примерно. Распарсивается и пишется у меня в базу он за 20 минут и тратит памяти всего 16 мб. У всех товаров в xml прописан регион. Берете и отсеиваете то, что не нужно.

onpart
Сообщения: 12
Зарегистрирован: 21 апр 2013, 13:34

Re: Об улучшении работы с XML прайсами

Сообщение onpart » 19 май 2014, 15:00

vivid писал(а):Звучит как, "я не хочу тратится на нормальный хостинг и толком ничего делать, миксмаркет, сделайте за меня почти все
Ну, на самом деле не так. Я трачусь на хороший хостинг. Не жмочусь на 302 тариф у ник ру.
vitocool2 писал(а):для работы "со своим магазином" требуются большие ресурсы
Соглашусь не во всем.

Большие ресурсы нужны на обработку данных при неудачной оптимизации. Нам же, пока удается справляться. Однако, всегда надо смотреть вперед. Если сегодня я забираю по 10 000 на регион, то почему не забрать завтра 100 000?

Дело в том, что виртуальный хостинг с объемом в 100 000 товаров на сайте, справится запросто. Определяющим, станет посещаемость ресурса и обработка xml.
Ну, с посещаемостью ясно, не хватает ресурса - покупай больше. А, вот, xml, ну не понятно мне совсем, зачем тащить файл с 20 регионами, если работаю на 2,3 или 5?

Вот, кто в здравом уме станет покупать камаз, чтобы в соседний дом сгонять за батоном?

А главное, ведь это и на микс нагрузка. Сделать фильтр в выдаче xml листов, это пара строк кода. Прогеру на несколько минут работы, а высвободить ресурса можно очень даже не слабо.
Было бы даже любопытно, сколько в среднем партнеры используют от взятого?
А что, я бы принял учасите в опросе.

Аватара пользователя
vitocool2
Эксперт
Эксперт
Сообщения: 235
Зарегистрирован: 02 янв 2007, 00:51
Откуда: Пятигорск
Контактная информация:

Re: Об улучшении работы с XML прайсами

Сообщение vitocool2 » 19 май 2014, 16:54

onpart писал(а):Ну, на самом деле не так. Я трачусь на хороший хостинг. Не жмочусь на 302 тариф у ник ру.
Это замечательно, но я вот глянул, у меня только фотографий для карточек товаров на 30Gb.

onpart
Сообщения: 12
Зарегистрирован: 21 апр 2013, 13:34

Re: Об улучшении работы с XML прайсами

Сообщение onpart » 19 май 2014, 17:54

Не, я до таких объемов еще не дорос. Эт сколько товаров, чтобы столько места картинками 100х100 забить?

Аватара пользователя
vitocool2
Эксперт
Эксперт
Сообщения: 235
Зарегистрирован: 02 янв 2007, 00:51
Откуда: Пятигорск
Контактная информация:

Re: Об улучшении работы с XML прайсами

Сообщение vitocool2 » 19 май 2014, 20:33

onpart, ну почему 100 x 100? Для карточек товаров, по возможности, завожу большие фотки хорошего качества. На картинках 100 x 100 далеко не уедешь.

Ответить