Нейроаналитика в ритейле и промышленности: практический опыт ITV Group

Введение и контекст

Яков Волкинд, директор филиала ITV Group в Санкт-Петербурге, почти четверть века на рынке безопасности, представил доклад, посвящённый общим для ритейла и промышленности аспектам внешней и внутренней безопасности. ITV Group — отечественный разработчик, 20 лет на рынке, все патенты в реестрах. Доклад содержит видеоотчёт о новых и нестандартных ситуациях.

Спикер отметил, что нейроаналитика решает общие для ритейла и промышленности задачи: в ритейле это хищения, в промышленности — хищения, нарушение периметра и контроль антитеррора. Сложности детекции перебросов через периметр включают быстро летящие объекты, изменчивый фон, разные формы и цвета, контрастность сцены и объекта. Спикер честно сказал, что не видел эффективно работающей системы переброса через периметр, но совместно с технологическими партнёрами решение было найдено.

Детекция перебросов через периметр

Были показаны реальные ролики с объектов. Первый ролик: зона периметра, контрастные коробки, но заказчик сказал, что предмет будет плохо различим. Коробка практически сливается с фоном, но задача решена. Второй ролик: предмет выброшен из-за угла без человека, упал вне поля зрения камеры, и всё равно трек увидели. Посторонние воздействия (люди, транспорт, дневное время) не влияют на систему.

Третий ролик: заказчик попросил перебросить маленький предмет. Была переброшена шариковая ручка в сумерках, и детекция произошла. Спикер подчеркнул, что это реальность, а не фантастика, и пригласил на стенд, где можно увидеть эти технологии.

Падения на эскалаторах

Падение на эскалаторах — коллективная и глобальная проблема всех торговых центров и промышленных площадок, где используются эскалаторы. Сложность в том, что наклонные эскалаторы, камера, которая смотрит вдоль эскалатора, не может детектировать из-за заслонения людьми и законов оптики: человек, удаляясь, становится лежачим.

Для одного из аэропортов была разработана система, которая может быть принята и в торговых центрах. Алгоритм детектирует изменение позы, а не лежачего человека. Люди, которые продолжают двигаться по эскалатору, тревоги не вызывают. На панели тревог отображаются кадры с тревожным событием.

Контроль персонала и подсчёт объектов

Контроль за соблюдением правил поведения персонала. В компании Самакат была задача: курьер в специализированной одежде, которой нет в библиотеке нейросети, не должен заходить в зоны хранения продуктов, в частности к холодильникам с красной икрой. Задача — детектировать в соответствующей униформе в запрещённых местах, не реагируя на персонал. В промышленности: у станка может находиться только один человек; если приходит второй — тревога, но если пришёл мастер в спецодежде — не тревога. Можно прописывать сценарии в зависимости от спецодежды. Также был показан детектор сидячего человека: человек сел перед холодильником, и после определённого промежутка времени появляется аларм.

Контроль за обслуживанием клиентов: один из аэропортов поставил задачу подсчёта количества упакованного багажа за единицу времени для сравнения с пробитыми чеками. Каждый багаж отдельно считается, строятся графики. Сложность в том, что предмет заслоняется, меняет форму, очертания и цвет, но система точно считает количество. На конвейерные ленты также детектируют и считают предметы с выдачей отчётов.

Детекция драк

Детектор драки разработан совместно с компанией Vision Labs. Система не реагирует на толпу и близко стоящих людей, а реагирует именно на поведение драки. Показана реальная детекция драк на территории торгового центра. Ограничения: танцпол, пляж, объятия, кратковременные движения. На танцполе повторяющиеся движения группы людей могут быть восприняты как драка.

Интеллектуальный поиск и биометрия

Большинство видеоархивов сравнимы с интернетом без поисковых систем. Интеллектуальный поиск по видеоархиву позволяет мгновенно находить события по критериям: вход в запретную зону, пересечение линии, отсутствие головного убора. Поиск похожих людей в архиве помог расследовать хищение на 30 тысяч рублей и найти подельника.

Биометрические атаки бывают физические (фото, маски) и виртуальные (дипфейки). Алгоритмы lifeness отбивают атаки с точностью более 99%, подтверждено международными тестами. Технология дипфейков показала себя в казахстанских банках, где люди изменяли фотографию реального клиента и пытались получить кредит. Банк сначала выбрал не ITV Group, начал пропускать такие атаки, потом пришёл к ним, и они работают более трёх лет.

Практика

Чек-лист по материалу

• Оценить необходимость детекции перебросов через периметр с учётом сложных условий.
• Внедрить детекцию падений на эскалаторах через изменение позы.
• Настроить контроль персонала по спецодежде для запретных зон.
• Использовать подсчёт объектов на конвейере и багажа для сверки с чеками.
• Развернуть детектор драк с учётом ограничений.
• Внедрить интеллектуальный поиск по видеоархиву и поиск похожих людей.
• Обеспечить защиту от биометрических атак и дипфейков.
• Обратиться на стенд ITV Group для демонстрации технологий.

Справка

Термины из видео

Нейроаналитика

Технология анализа видео на основе нейросетей для детекции событий.

Переброс через периметр

Передача предметов через ограждение, часто с целью хищения.

Детектор поз

Алгоритм, распознающий изменение позы человека, например при падении.

Lifeness

Алгоритмы защиты от биометрических атак, проверяющие живость лица.

Дипфейк

Виртуальная атака с подменой изображения лица в видеопотоке.

Интеллектуальный поиск

Поиск событий в видеоархиве по заданным критериям.