xml - ошибка 504.

Обсуждение сервиса товарной рекламы Микс-Товары
Ответить
Аватара пользователя
TGirl
Сообщения: 2
Зарегистрирован: 08 июн 2007, 06:36

xml - ошибка 504.

Сообщение TGirl » 08 июн 2007, 07:02

При попытке обновить прайсы xml выдает ошибку 504 Gateway Time-out.
Обновления проводились после 7 утра по московскому времени.
Раньше такая ошибка могла возникнуть 1-2 раза в месяц. С начал этого месяца она повторяется каждый день, что не есть хорошо, т.к. прайсы обновляются автоматически.

Может стоит изменить время обновления?

ЗЫ Пока печатала это сообщение, весь mixmarket выдает ошибку 504 Gateway Time-out. :-(

max21
Сообщения: 45
Зарегистрирован: 18 фев 2007, 21:28
Контактная информация:

Сообщение max21 » 08 июн 2007, 14:15

Да, такая ерунда иногда бывает, подтверждаю. :shock:

mager
Сотрудник Миксмаркета
Сотрудник Миксмаркета
Сообщения: 3008
Зарегистрирован: 07 июл 2005, 16:10
Контактная информация:

Сообщение mager » 08 июн 2007, 17:23

ЗЫ Пока печатала это сообщение, весь mixmarket выдает ошибку 504 Gateway Time-out.
В последнее время такое бывает очень редко. Естественно делаем всё возможное, чтобы исключить такие моменты.
Обновления проводились после 7 утра по московскому времени.
Раньше такая ошибка могла возникнуть 1-2 раза в месяц. С начал этого месяца она повторяется каждый день, что не есть хорошо, т.к. прайсы обновляются автоматически.

Может стоит изменить время обновления?
Ровно в 7-00 такая ошибка выдается? Будем разбираться, а пока передвиньте время закачки на полчаса-час позже.
Партнерская сеть Миксмаркет

Аватара пользователя
TGirl
Сообщения: 2
Зарегистрирован: 08 июн 2007, 06:36

Сообщение TGirl » 08 июн 2007, 22:06

Ровно в 7-00 такая ошибка выдается? Будем разбираться, а пока передвиньте время закачки на полчаса-час позже.
Один прайс обновлялся ровно в 7, второй 7-15. Иногда один мог такую ошибку выдать, иногда второй. Время я передвигала на полчаса, т.е. один прайс обновлялся 7-30, второй 7-45, ошибка таже ( оба не обновились).

Atomic
Сообщения: 104
Зарегистрирован: 23 ноя 2006, 20:22

Сообщение Atomic » 29 июн 2007, 11:34

Кошмар какойто в последнее время с доступностью Ваших хмл фидов- 504 Gateway Time-out, час назад даже на сайт не мог зайти...
2 день не могу обновится нормально! Задалбал своих хостеров,думал проблема в них, и оказывается зря. Иной раз даже списки реклов в yml недоступны...
Может стоит переехать на более мощное железо/широкий канал?

mager
Сотрудник Миксмаркета
Сотрудник Миксмаркета
Сообщения: 3008
Зарегистрирован: 07 июл 2005, 16:10
Контактная информация:

Сообщение mager » 29 июн 2007, 14:42

Временные проблемы, связанные с внедрением новой схемы заливки товаров. Будем от них избавляться.
Партнерская сеть Миксмаркет

Dimitry
Сообщения: 40
Зарегистрирован: 08 мар 2007, 15:39

Сообщение Dimitry » 29 июн 2007, 15:55

С полуночи до 4 утра сегодня сервер лежал с переменным успехом. Переходы, естественно, тоже не засчитывались. Вернее вообще не работали. Потом я уснул. :)

Железо уже не тянет?

Atomic
Сообщения: 104
Зарегистрирован: 23 ноя 2006, 20:22

Сообщение Atomic » 29 сен 2007, 19:48

Уже несколько дней подряд забираю хмл с 3 раза, в период с 6 ночи по 9 одни ошибки, не забираются даже списки магазинов. Информирую.

Аватара пользователя
ivanov
Эксперт
Эксперт
Сообщения: 2192
Зарегистрирован: 20 фев 2006, 19:02
Откуда: Санкт-Петербург
Контактная информация:

Сообщение ivanov » 29 сен 2007, 21:44

Спасибо за сигнал; впрочем, мы уже в курсе проблемы, и программисты уже работают над этим.

Судя по всему, «раздающий» сервер не справляется с нагрузкой, когда XML качает очень много партнеров одновременно.

Пока что рекомендую сдвинуть время заливки на какое-то другое.
Денис Иванов, экс-Миксмаркет
upyrj@ya.ru

denis popov
Сообщения: 4
Зарегистрирован: 04 окт 2007, 21:34
Контактная информация:

небольшой workaround для патнеров

Сообщение denis popov » 04 окт 2007, 21:44

Также заметив эту особенность сервера mixmarket.biz висеть по утру в 504 ошибке, я написал небольшой SH скриптик. Возможно кому-нибудь пригодится кто качает по cron'у wget'ом, не панацея - но все же...

Что он делает: Пытается скачать прайс до тех пор пока он не удовлетворяет требованию размера. Потому что у меня была проблема когда прайс не скачивался|скачивался не целиком, соответственно неправильно обновлялся сайт или вообще не обновлялся.

Минимальный размер надо приблизительно знать... так как он зависит от количества выбранных вами категорий в админке.

Вот собственно скрипт...

Код: Выделить всё

#!/bin/sh

LIMIT=10 # Количество попыток скачать прайс
SLEEP=300 # Время в секундах перед следующей попыткой скачать прайс.
MIN_SIZE=10000000 # Минимальный размер прайса в байтах, если меньше этого - то значит не целый.
#DIR=/path/to/dir # Путь к директории с прайсом, раскоментировать если SH скрипт лежит не там куда качаем прайс.
FILE=/var/tmp/price.xml.gz # Полный путь до прайса который будет скачан.

COUNTER=0 # Счетчик попыток, по-умолчанию 0, не меняем.


# cd "$DIR" # Раскоментировать если SH скрипт лежит не там куда качаем прайс.
SIZE=`ls -l $FILE | awk '{print $5}'`

until [ "$SIZE" -gt "$MIN_SIZE" ]
do
	COUNTER=$(($COUNTER+1))
  
  echo "$COUNTER attempt to download price..."
	/usr/local/bin/wget 'http://mixmarket.biz/mixml.plx?id=вашIDплощадки&zip=1' --output-document=$FILE
	
	SIZE=`ls -l $FILE | awk '{print $5}'`

  if [ "$COUNTER" -gt "$LIMIT" ]
 	then
 			# Количество попыток кончилось - сворачиваем удочки:(
   		break
   		exit 0
 	fi

if [ "$SIZE" -gt "$MIN_SIZE" ]
 	then
  	# Делаем что нужно скорее всего все OK :)
  	...
  else
  	# Ждем указанное количество минут.
  	sleep "$SLEEP"
fi

done
exit 0
Впрочем также не стоит забывать про настройки WGET которые позволяют также настраивать количество попыток, время между ними и таймаут.

Евгений
Эксперт
Эксперт
Сообщения: 276
Зарегистрирован: 20 июл 2005, 08:27
Контактная информация:

Сообщение Евгений » 17 окт 2007, 11:34

Такое ощущение, что система временами не справляется с нагрузкой, nginx выдает gateway timeout. Дело даже не в том, что не работает интерфейс или не загружаются прайсы. Посетители при переходе по ссылкам миксмаркета тоже видят 504. Ладно, клики не учитываются => деньги за них не начисляются, это тоже не так страшно в принципе.
Пользователь сначала кликает по ссылке, потом ждет минуту (если ждет), в результате видит непонятный для него 504 error, затем закрывает сайт и идет на другой, вот это не есть гут.

Аватара пользователя
ivanov
Эксперт
Эксперт
Сообщения: 2192
Зарегистрирован: 20 фев 2006, 19:02
Откуда: Санкт-Петербург
Контактная информация:

Сообщение ivanov » 17 окт 2007, 20:16

Евгений, мы уже собрались менять сервера.
Но это дело небыстрое.

Увы, в ближайшее время придется жить с этим. 8(
Денис Иванов, экс-Миксмаркет
upyrj@ya.ru

Евгений
Эксперт
Эксперт
Сообщения: 276
Зарегистрирован: 20 июл 2005, 08:27
Контактная информация:

Сообщение Евгений » 17 окт 2007, 21:16

Будем жить с этим. Хорошо, что сервер грузится в основном в часы, когда народ спит или собирается на работу )

Ответить