Прототип приложения для оптимизации работы видеоаналитиков касс самообслуживания торговых сетей на базе нейросетевых моделей
Глухов Николай Юрьевич, студент ИМИТ АлтГУ,
Кашкаров Илья Игоревич, студент ИМИТ АлтГУ,
Козлов Денис Юрьевич, зав. кафедрой информатики АлтГУ
Евдокимов Евгений Андреевич, аналитик данных ООО «М-Тех»
*КСО – касса самообслуживания
*Пересорт– акт мошенничества со стороны клиента торговой сети, при котором на платформу КСО кладётся дорогой товар, а в интерфейсе кассового ПО выбирается дешёвый весовой товар
Проблема: мошенничество со стороны покупателей при использовании КСО*
Сеть магазинов Мария-РА использует КСО помимо обычных касс. Существуют случаи, когда покупатель кладёт на платформу КСО дорогой товар, а в кассовом программном обеспечении указывает весовой товар, который сильно дешевле, это приносит убытки торговой сети.
Идея: использовать нейронные сети, чтобы оптимизировать работу видеоаналитиков-операторов КСО по выявлению мошенничества со стороны покупателей.
Цель: разработка решения, основанного на нейронных сетях, для автоматической проверки соответствия заявленного покупателем товара в кассовом программном обеспечении и товара, который находится на платформе КСО в тот же момент времени.
Краткое описание ИТ-проекта:
Используя фотографии, сделанные в процессе сессии взаимодействия покупателя с кассой самообслуживания с помощью компьютерного зрения проверяется соответствие весового товара на платформе КСО и выбора, сделанного клиентом в кассовом программном обеспечении.
Формат данных: фотография до добавления товара, фотография после добавления товара, название добавленного товара
Наше решение заключается в том, что мы сначала сегментируем изменение между двумя изображениями для автоматизации выделения области добавленного товара на фотографии, а затем производим классификацию изменения, чтобы понять, соответствует ли добавленный товар названию, которое выбрал пользователь в интерфейсе КСО.
До разработки нашего решения операторам КСО приходилось просматривать все фотографии для выявления фактов мошенничества, внедрение нашего решения по предварительным подсчётам производительность их труда в 8 раз.
1. Оптимизация работы операторов КСО
2. Уменьшение издержек торговой сети
1. Сегментация изменений между двумя фотографиями (До и после добавления товара) для локализации области добавленного товара на фотографии после его добавления.
2. Проверка соответствия заявленного названия товара и объекта, который располагается на платформе КСО
Python, PyTorch, VS Code, Roboflow
Обучить классификаторы для большинства маржинальных весовых товаров и распространить наше решение на все кассы самообслуживания в сети магазинов Мария-Ра
Социальная полезность: оптимизация работы оператора КСО позволит быстрее выявлять факты мошенничества вплоть до реального времени, что снизит обман со стороны покупателей и снизит уровень мошенничества в секторе розничных продаж.
Для полученного решения будет разработан микросервис, с которым легко можно взаимодействовать по API. Благодаря технологиям контейнерной виртуализации разработанные модули смогут быть легко интегрированы в ИТ-инфраструктуру торговой сети. Тогда разработанное решение сможет обрабатывать данные любой кассы самообслуживания сети магазинов «Мария-Ра».
Исходя из сценария использования клиентом кассы самообслуживания было решено отслеживать соответствие добавляемых товаров на платформу КСО и товарных позиций в чеке. Поскольку товаров в процессе сессии взаимодействия покупателя с кассой может добавляться несколько, то оптимальным подходом для решения такой задачи была сочтена нейросетевая сегментация изменений и формирование бинарной маски добавленного товара. Такая маска позволяет изолировать область локализации целевого товара на изображении, а затем проверить бинарным классификатором соответствие товарной позиции в чеке товару на фотографии. Использование бинарных классификаторов для каждого продукта обосновано легкостью добавления и обучения классификатора для нового (ранее не присутствовавшего) товара в ассортиментном ряду торговой сети.
Для целей демонстрации результатов сегментации изменений и классификации товаров написан веб-сервис, предоставляющий интерфейс доступа к полученным нейросетевым инструментам. Однако в дальнейшем для полученного программного решения будет разработан микросервис, с которым легко можно взаимодействовать по API. Благодаря технологиям контейнерной виртуализации разработанные модули смогут быть легко интегрированы в ИТ-инфраструктуру торговой сети. Тогда разработанное решение сможет обрабатывать данные любой кассы самообслуживания сети магазинов «Мария-Ра».
