[ Сообщений: 17 ] 
Начать новую тему Ответить на тему На страницу 1, 2  След.
Автор Сообщение
СообщениеДобавлено: 14 май 2014, 16:07 
Аватара пользователя

Сообщения: 12
Поблагодарили: 0 раз.
Обращение к господам администраторам и разработчикам проекта.

Уважаемые господа разработчики и администраторы. Здесь вы наше все и мы шибко от вас зависим.
Наверняка уже не раз, вас атаковали вопросами об объемности XML файлов. В частности, для программы "Свой магазин".
Возможно, что для вас неочень заметна проблема, ведь вы их тащите кусками, по одному от каждого рекламодателя.
А нам-то приходится тащить жирным куском! И уже у себя резать кого и как нам надо. А это выливается в ресурсы, которые хостер, порой, и не дает.
К примеру, моя ситуация. На обычном хосте удалось кое-как вытащить xml на 15000 наименований. После обработки на предмет таргетинга и качества отдаваемого материала, осталось ок. 9000 наименований.
Так вот, моя цмс запросто работает на обычном хосте со списками ок 15000 наименований. Может и больше сможет, не знаю, не пробовал. Но такой xml не утащить.
Либо надо брать сервер. И здесь в кофликт вступают хомяк и жаба! С одной стороны, я хочу и могу работать с большим объмом. А с другой стороны, вы не можете отдать мне большой объем не сожрав мои ресурсы.
Брать сервер только ради того, чтобы выкачать жирный прайс, который будет в итоге сильно почикан... тут жаба хомяка по темячку тюк!

А, вот, если господа разработчики у себя разнесут xml листы по регионам, этож как сразу всем кому надо станет хорошо.
В приципе-то сложного нет в этом ничего. Добавить фильтр региона на список категорий для формирования прайса. И всего делов.
Прежде чем начать отбор товаров, выставляем регион и бац! У нас список категорий и товаров исключительно для нужного региона. Вот вам и таргетинг без заморочек и придумываний.

Работая с фильтрованными прайсами, можно построить весьма неслабый агрегатор. Вот посмотрите на sravni.com, этож какая тьма товаров-то!!! Оно понятно, что у них ситема другая, но как грамотно построено!

Давайте здесь тоже немного улучшим сервис, пожалуйста.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 14 май 2014, 16:28 
Аватара пользователя

Сообщения: 2
Поблагодарили: 0 раз.
да было бы неплохо, парсить огромный файл ужасно долго. да и нагрузка на миксмаркет увеличивается.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 14 май 2014, 23:10 
Аватара пользователя

Сообщения: 3
Поблагодарили: 0 раз.
Есть свободные мощности и быстрый парсер, могу забрать Ваш миксмаркетовый (и/или любой другой) прайс, переварить его и отдать в нужном виде.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 15 май 2014, 08:02 
Аватара пользователя

Сообщения: 12
Поблагодарили: 0 раз.
Skam02 писал(а):
Есть свободные мощности и быстрый парсер, могу забрать Ваш миксмаркетовый (и/или любой другой) прайс, переварить его и отдать в нужном виде.

Ну вот, можно начинать строить площадку по обмену мощностями...
Спасибо за предложение. У нас не в парсере проблема, а в лимитах объема разрешенного хостером.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 15 май 2014, 11:23 
Сотрудник Миксмаркета
Аватара пользователя

Сообщения: 806
Поблагодарили: 62 раз.
Добрый день, в программе "Свой магазин" возможность забирать прайс
1. по каждому отдельному рекламодателю в рамках одной товарной группы.
2. вы можете создать несколько товарных групп в программе "Свой магазин" и настроить каждую на нужную рубрику.

_________________
Дарья Орлова, odaria@mixmarket.biz
Партнерская сеть Миксмаркет

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 16 май 2014, 09:17 
Аватара пользователя

Сообщения: 12
Поблагодарили: 0 раз.
Odaria писал(а):
1. по каждому отдельному рекламодателю в рамках одной товарной группы.

Я наверное плохо искал, но так и не нашел, как выбирать рекламодателя при формировании xml списка для импорта.
Да, я могу войти в список рекламодателей и отключить ненужных. Но это лишь чистка случайного.

Odaria писал(а):
2. вы можете создать несколько товарных групп в программе "Свой магазин" и настроить каждую на нужную рубрику.

Это тоже не совсем то, что надо.

Раз уж я затеялся по строительной теме, то примеры приведу соответствующие. Вот есть рубрика - Сантехника. Будет вполне нормально, посвятить сайт этой теме. И вполне логично, если на сайте окажется все водержимое рубрики.
Однако! Многие ли партнерские сайты способны на это? В рубрике 92784 товаров и из них, в категории - Комплектующие - 11180 товаров.
Тепрь зрим в корень.
Рекламодатели хотят этот товар показывать на партнерских площадках. Но кто из портнеров, хочет посвятить целый сайт комплектующим для сантехники?
А дальше -больше.
На сколько я могу себе представить, далеко не все партнеры работают со всеми регионами. Тут, видите ли, присутствует ПС-овый фактор. И если хочется на выходе получить качественную, геозависимую площадку, придется позабыть о показе товаров в республике Соха, товары для Питера.

А теперь, давайте дадим себе честный ответ, Сколько из 92784 товаров в разделе сантехники, таргетированы на, к примеру, г. Кемерово?
Ну, ладно, с Кемерово я маленько загнул. Но, если разложим на какие-то основные, самые вкусные кусочки, и то окажется, что далеко не все что там есть, нам надо. А чтобы отшелушить ненужное, надо забрать весь файл.

Кто нибудь взвешивал такой объем? Сколько Мб в xml файле из 92784 товаров? Сколько Мб пропустит хороший виртуальный хостинг?

И это только в строительной теме. А если глянуть в бытовуху... Там для для одних только блендеров придется делать отдельный сайт.

Если работать по 2-му варианту, то надо запускать парсер столько раз, сколько собрал листов. Затем их надо слить в массив, потом расчленить на нужное и не нужное. В общем, немного не рационально.
Куда как проще на вашей стороне внедрить скрипт, позволяющий выводить товары по разным атрибутам xml тегов.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 16 май 2014, 09:32 
Сотрудник Миксмаркета
Аватара пользователя

Сообщения: 806
Поблагодарили: 62 раз.
Прайсы с делением по рекламодателю:
YML формат пункт б) Для каждого магазина отдельный файл (см скриншот http://yadi.sk/d/Up9RYfQ8QNvcg )

Относительно вопроса по делению прайсов по регионам геотаргетинга уточню в отделе разработки и дам вам ответ.

_________________
Дарья Орлова, odaria@mixmarket.biz
Партнерская сеть Миксмаркет

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 16 май 2014, 13:22 
Аватара пользователя

Сообщения: 12
Поблагодарили: 0 раз.
Odaria писал(а):
YML формат пункт б) Для каждого магазина отдельный файл (см скриншот http://yadi.sk/d/Up9RYfQ8QNvcg )


Спасибо за подсказку, но эту штуку я понимаю. Только дело в том, что обычно ведь не делают сайты или разделы сайта по поставщику.
Смысл в том, что если делать разные файлы по магазинам (читай по поставщикам или группам), это запуск нескольких парсеров по очереди. Но так или иначе их всеравно приходится обрабатывать на предмет выдирания нужного. И тут еще болше расходуется ресурсов. Разница лишь в том, что нагрузка на мощности машины хостера разносится по времени.
Если тащим один файл, то можно сразу, налету отсекать ненужное, а нужное будет падать в базу. А если несколькими файлами на одну площадку, то сначала отсекаем лишнее и складываем почищенные файлики, потом, где-то в сторонке, собираем их в один и кидаем в базу.
Иными словами, мароки еще больше.
Вот поэтому я так настойчив в своих предложениях.

А если файлы будут вами отдаваться сразу разнесенными по регионам, то все можно забирать одним файлом, независимо от категории.
И тогда из 2000 товаров утащенных файлом, останется не 10% таргетированных на Россию, а те, которые соответствуют нужному параметру.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 19 май 2014, 02:33 
Аватара пользователя

Сообщения: 2
Поблагодарили: 0 раз.
слава Богу что раздел OFFERS в XML выдает OFFERы построчно - упрощает потоковое парсинье с занесением в БД, а иначе был бы караул. Надеюсь это так останется и в будущем!

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 19 май 2014, 07:33 
Эксперт
Аватара пользователя

Сообщения: 235
Поблагодарили: 17 раз.
onpart, для работы "со своим магазином" требуются большие ресурсы, поэтому с виртуальным хостингом намучаетесь при любом раскладе. Как выход, используйте товарные группы "Где купить", либо если есть свободные 30Евро в мес. переходите на выделенный сервер и будет вам счастье.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 19 май 2014, 12:14 
Аватара пользователя

Сообщения: 3
Поблагодарили: 0 раз.
Звучит как, "я не хочу тратится на нормальный хостинг и толком ничего делать, миксмаркет, сделайте за меня почти все")) Архив можно получить в сжатом виде, из 600 тысяч товаров он весит всего 30 мб примерно. Распарсивается и пишется у меня в базу он за 20 минут и тратит памяти всего 16 мб. У всех товаров в xml прописан регион. Берете и отсеиваете то, что не нужно.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 19 май 2014, 14:00 
Аватара пользователя

Сообщения: 12
Поблагодарили: 0 раз.
vivid писал(а):
Звучит как, "я не хочу тратится на нормальный хостинг и толком ничего делать, миксмаркет, сделайте за меня почти все

Ну, на самом деле не так. Я трачусь на хороший хостинг. Не жмочусь на 302 тариф у ник ру.

vitocool2 писал(а):
для работы "со своим магазином" требуются большие ресурсы

Соглашусь не во всем.

Большие ресурсы нужны на обработку данных при неудачной оптимизации. Нам же, пока удается справляться. Однако, всегда надо смотреть вперед. Если сегодня я забираю по 10 000 на регион, то почему не забрать завтра 100 000?

Дело в том, что виртуальный хостинг с объемом в 100 000 товаров на сайте, справится запросто. Определяющим, станет посещаемость ресурса и обработка xml.
Ну, с посещаемостью ясно, не хватает ресурса - покупай больше. А, вот, xml, ну не понятно мне совсем, зачем тащить файл с 20 регионами, если работаю на 2,3 или 5?

Вот, кто в здравом уме станет покупать камаз, чтобы в соседний дом сгонять за батоном?

А главное, ведь это и на микс нагрузка. Сделать фильтр в выдаче xml листов, это пара строк кода. Прогеру на несколько минут работы, а высвободить ресурса можно очень даже не слабо.
Было бы даже любопытно, сколько в среднем партнеры используют от взятого?
А что, я бы принял учасите в опросе.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 19 май 2014, 15:54 
Эксперт
Аватара пользователя

Сообщения: 235
Поблагодарили: 17 раз.
onpart писал(а):
Ну, на самом деле не так. Я трачусь на хороший хостинг. Не жмочусь на 302 тариф у ник ру.

Это замечательно, но я вот глянул, у меня только фотографий для карточек товаров на 30Gb.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 19 май 2014, 16:54 
Аватара пользователя

Сообщения: 12
Поблагодарили: 0 раз.
Не, я до таких объемов еще не дорос. Эт сколько товаров, чтобы столько места картинками 100х100 забить?

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 19 май 2014, 19:33 
Эксперт
Аватара пользователя

Сообщения: 235
Поблагодарили: 17 раз.
onpart, ну почему 100 x 100? Для карточек товаров, по возможности, завожу большие фотки хорошего качества. На картинках 100 x 100 далеко не уедешь.

Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему На страницу 1, 2  След.
 [ Сообщений: 17 ] 

   Похожие темы   Ответы   Автор   Просмотры   Последнее сообщение 
В этой теме нет новых непрочитанных сообщений. Тех. работы на серверах Миксмаркет в ночь с 6 на 7 июня

в форуме Миксмаркет в развитии

3

Odaria

2603

07 июн 2015, 09:22

Odaria Перейти к последнему сообщению

В этой теме нет новых непрочитанных сообщений. Подробности работы «антирекламного» алгоритма Google

в форуме Монетизация веб-сайта

0

mgarkunov

9261

26 янв 2012, 13:46

mgarkunov Перейти к последнему сообщению

В этой теме нет новых непрочитанных сообщений. Новые правила работы с важными данными

в форуме Миксмаркет в развитии

5

ivanov

7871

28 янв 2010, 14:02

ivanov Перейти к последнему сообщению

В этой теме нет новых непрочитанных сообщений. Как заключить договор для работы по безналу?

в форуме Микс-Товары

5

NoNamer

8929

20 ноя 2008, 16:11

mixb Перейти к последнему сообщению

В этой теме нет новых непрочитанных сообщений. Негативный опыт работы с autoteaser.ru

в форуме Партнерский маркетинг

7

pchelovodstvoru

8600

05 мар 2011, 14:25

mager Перейти к последнему сообщению



Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения
cron


О проекте Новости Пресса о нас Сотрудничество Вакансии Контакты
2005–2011 Партнерская сеть Миксмаркет
Разработка сайта — iji-design / AdLabs
Powered by phpBB Group