Нейросеть против брака и шума: проект по распознаванию штрихкодов

Еще один проект, заявленный для участия в конкурсе - «Разработка системы распознавания и коррекции двухмерных штрихкодов на изображениях с использованием нейросетевых моделей». Автором стартапа выступает студент Алтайского государственного университета Глеб Зырянов.

Разработка решает конкретную и острую проблему бизнеса: классические бесплатные декодеры штрихкодов «слепнут» на реальных снимках - при дефектах печати, деформации упаковки, тенях, бликах и смазывании. Коммерческие SDK (Scandit, Dynamsoft) эти проблемы решают, но стоят дорого и закрыты для доработки. Проект предлагает альтернативу: не заменять классический декодер нейросетью, а достраивать его «вторым эшелоном» искусственного интеллекта.

Гибридная архитектура: умный конвейер распознавания

В основе системы - гибридная клиент-серверная архитектура. Клиентская часть (Vue 3 + Quasar) захватывает кадр с камеры устройства или принимает загруженный файл и выполняет первичное декодирование прямо в браузере библиотекой @zxing/browser - без обращения к серверу. Это позволяет распознавать большинство обычных штрихкодов мгновенно и без нагрузки на серверные ресурсы.

Если клиентское декодирование не удаётся и пользователь включил «умный режим», кадр уходит на сервер (Python, FastAPI), где запускается каскадный конвейер:

    1.        Локализация - нейросетевая модель YOLO26-nano находит область штрихкода на изображении, изолируя его от фонового шума (текста чека, элементов упаковки) -2.

    2.        Коррекция - модель U-Net с энкодером ResNet50 восстанавливает повреждённую модульную структуру кода до состояния, пригодного для чтения.

    3.        Финальное декодирование - стандартный декодер считывает восстановленный код.

Каждый последующий, более дорогой этап запускается только при неудаче предыдущего. На тестовой выборке до этапа локализации дошло около 53% изображений, а до самого дорогого этапа (коррекции) - лишь 21%. Это делает систему экономичной и быстрой .

Результаты: точность выше целевых показателей

Модель локализации показала впечатляющие метрики: mAP@50 - 0,995 (при целевом значении ≥ 0,95), точность - 0,993, полнота - 0,994. Время инференса не превышает 200 мс -2.

Модель коррекции также превзошла целевые показатели: IoU - 0,988 (≥ 0,85), коэффициент Дайса - 0,991 (≥ 0,90), точность по пикселям - 0,991 (≥ 0,95). Итоговый Net Gain (прирост успешных распознаваний) - 92,18%.

Сравнение с аналогом показало: браузерный ZXing без нейросетевой обработки справляется лишь с 46,56% реальных снимков. Гибридная система повышает этот показатель до 81,75%.

Почему это важно для Алтайского края

Внедрение обязательной маркировки товаров в Российской Федерации и цифровизация складского и торгового учёта требуют надёжного автоматизированного считывания двухмерных штрих-кодов. Перечень товарных групп, подлежащих маркировке, последовательно расширяется, а вместе с ним растёт и число операций сканирования.

Разработанная система закрывает потребность, которую иначе покрывают только коммерческие SDK с ежегодными отчислениями. Для малого и среднего бизнеса - розницы, складов, логистических и производственных компаний - их приобретение экономически нецелесообразно. Проект предоставляет сопоставимую функциональность на полностью свободном ПО.

Веб-приложение уже работает в трёх режимах: одиночное сканирование с камеры или файла, пакетная обработка папки с изображениями и раздел статистики для разбора каждого случая. Система готова к интеграции с корпоративными CRM, WMS и ERP через REST API.

Взгляд автора

Глеб Зырянов, разработчик проекта, так описывает идею:

«Классические декодеры быстры и бесплатны, но «слепнут» на реальных снимках - при дефектах печати, деформации упаковки, тенях и бликах. Коммерческие SDK эти проблемы решают, но стоят дорого и закрыты. Наша идея - не заменять классический декодер нейросетью, а достраивать его нейросетевым «вторым эшелоном»: код сначала пытаются прочесть обычным способом, и только если это не удалось, включается искусственный интеллект, который находит код, вырезает его и восстанавливает повреждённую модульную структуру до состояния, пригодного для чтения тем же стандартным декодером».

 

Перспективы

В планах разработчика - экспорт моделей в ONNX для ускорения инференса и уменьшения размера Docker-образа, расширение набора поддерживаемых форматов штрихкодов (Aztec, PDF417, линейные коды), интеграция с национальной системой маркировки, а также квантование и дистилляция моделей для инференса непосредственно на мобильных устройствах.

Пожелаем Глебу успехов в конкурсе, а проекту дальнейшего развития!