Пакетний імпорт каталогу з CSV

Пакетний імпорт каталогу

Вхідні дані: CSV до 40 000 товарних рядків із SKU, назвою, ціною, залишком і категорією. Синхронний HTTP-запит блокувався під час перевірки файлу та міг завершитися таймаутом.

Конвеєр:

upload → реєстрація import_id → перевірка частинами → звіт помилок → атомарне застосування валідних даних

Celery обробляє файл порціями по 500 рядків; Redis використовується для черги задач. PostgreSQL зберігає стан імпорту, лічильники оброблених рядків і посилання на звіт. Повторний запуск із тим самим import_id не створює дубльовану задачу.

Перевірки рядка: обов’язковий SKU; ціна — числове невід’ємне значення; категорія має існувати; дублі SKU у файлі позначаються окремо. Приклад запису у звіті:

catalog.csv · рядок 1482 · порожній SKU catalog.csv · рядок 9304 · некоректне значення ціни

Набір із 40 тисяч рядків оброблявся приблизно за 4 хвилини замість 11–14 хвилин у попередньому варіанті. Зміни каталогу застосовуються після завершення валідації, тому помилка наприкінці файлу не залишає частково оновлених залишків. Час залежить від числа помилок і поточного навантаження на базу.