По материалам: https://www.asu.ru/news/56735/
Группа разработчиков из числа сотрудников и студентов института математики и информационных технологий (ИМИТ) в рамках сотрудничества с одной из торговых сетей Алтайского края представило приложение для оптимизации работы видеоаналитиков касс самообслуживания (КСО).
Как пояснили в ИМИТ, такие кассы сейчас широко внедряются в розничных продуктовых сетях. С их внедрением появилась проблема пересорта для весовых товаров. Иногда здесь может применяться мошенничество со стороны покупателя, при котором на платформу КСО кладется дорогой весовой товар, а в интерфейсе КСО выбирается более дешевый весовой товар. Оператор видеонаблюдения со стороны ритейлера позднее сможет обнаружить этот факт, но это довольно трудоемкий процесс.
Студенты 4 курса ИМИТ Николай Глухов и Илья Кашкаров под руководством научного руководителя, заведующего кафедрой информатики АлтГУ Дениса Козлова решили задачу автоматизации выявления такого мошенничества.
Для этого были разработаны два модуля: модуль компьютерного зрения и модуль API (application programming interface) с веб-интерфейсом. Модуль компьютерного зрения сначала отслеживает каждый вновь добавленный на платформу кассы товар, сравнивая между собой изображения до и после добавления покупателем товара на весовую платформу. Благодаря этому формируется бинарная маска этого товара, после чего товар классифицируется.
В итоге кассовая система получает ответ на вопрос: соответствует весовой товар, положенный на весы КСО, заявленному названию, указанному в интерфейсе КСО, или нет.
В случае несоответствия можно создать автоматическое уведомление об этом факте.
Детекция изменений на платформе КСО основана на трансформенной сиамской нейросетевой архитектуре, обученной для решения поставленной задачи. Также в настоящий момент приложение обучено классифицировать пять наиболее маржинальных весовых товаров розничной сети: картофель, капуста белокочанная, свекла, минтай, лук репчатый.