SERVER1 / Поиск

Что вы ищете?

Ищите услуги, страницы и статьи. Результаты появятся после 2 символов.

Все статьи
VPS и облако

Почему пакет из 500 ИИ-описаний товаров останавливается на полпути?

Разберите остановку на лимите API, сохранение одного черновика и продолжение с последнего результата. Определите, нужен ли отдельный VPS.

SERVER1.GE2 мин. чтения
Почему пакет из 500 ИИ-описаний товаров останавливается на полпути?

Редактор выбрал 500 товаров и получил 60 черновиков. До перезапуска найдите последний сохранённый результат. Возможно, браузер уже перестал ждать, а обработчик ещё работает.

Хронология учебного инцидента

09:00. Веб-запрос создаёт задание и возвращает его номер. ID товаров попадают в сохраняемую очередь. Страницу можно закрыть. Фоновый обработчик берёт один товар и передаёт поля каталога для составления описания.

09:12. Сохранено 60 черновиков. На следующем товаре API вернул 429. В этом примере исчерпан лимит частоты запросов. Запишите ID, номер попытки и код. Учитывайте рекомендованную поставщиком паузу, иначе постепенно увеличивайте интервал с небольшой случайной добавкой. Закончившийся бюджет или постоянную квоту обрабатывайте отдельно. Лимиты API.

09:14. При перезапуске первые 60 записей уже готовы. С товаром 61 ясности нет: поставщик мог сформировать ответ до обрыва связи. Если каждый пришедший ответ сохранять новым черновиком, редактору достанутся две копии.

Из четырёх карточек товар 061 возвращается в обработку. Неизменный ключ позволяет сохранить один черновик.
Из четырёх карточек товар 061 возвращается в обработку. Неизменный ключ позволяет сохранить один черновик.

09:15. Ключ работы составьте из товара, версии исходных данных, языка и типа задания, например SKU-061 / v3 / ka / description. В базе разрешите один черновик с таким ключом. Обработчик резервирует работу, сохраняет текст и статус в одной транзакции и затем подтверждает выполнение. При повторной доставке сначала ищет готовый результат. Изменившиеся данные возвращает на проверку. Задачи, повторы и подтверждения в Celery.

В единственном черновике товара 61 редактор сверяет материал, размеры и комплектность с каталогом. Решение о публикации остаётся за ним. Потерянный ответ всё ещё может обернуться двумя платными вызовами: сверьте учёт поставщика.

Сколько займёт работа

500 ÷ 5 = 100 минут, если за минуту готовы пять описаний. Двухминутная пауза и десять дополнительных попыток с той же скоростью увеличивают расчёт до 104 минут. Редакторская проверка считается отдельно.

Небольшая периодическая партия может поместиться на нынешнем хостинге. При задержке запуска в WordPress проверьте WP-Cron. Отдельный VPS оправдан для непрерывного обработчика, автоматического восстановления и наблюдения за очередью. Назначьте ответственного за отставание, ошибки, журналы и свободный диск. Ограничьте число попыток и сумму на партию. Проверьте на пяти товарах: остановите процесс после третьего сохранения. В итоге должно появиться пять разных черновиков.

SERVER1.GE

Не уверены, какая инфраструктура подходит для этой нагрузки?

Расскажите, что вы запускаете, какой трафик ожидаете и какая инфраструктура используется сейчас. Мы поможем сузить выбор.

Подходящие сервисы
Выбирайте по нагрузке, а не по привычке.

Сравнивайте рекомендуемые варианты с учетом контекста статьи и реальных требований к ресурсам.