Каким способом функционирует определение лиц в мобильных устройствах

Для чего мы останавливаемся на разлочивание по лицевому распознаванию

В последние времена определение лиц превратилось в одной из самых популярных возможностей для разблокировки смартфонов. Еще несколько годков тому назад основная масса юзеров довольствовались пин-кодами, паролями или сканерами отпечатков пальцев. Но с появлением подобных технологий, например admiral x, нам вполне лишь взглянуть на экран — и устройство тут же опознает своего владельца.

Какая вещь делает эту конкретную функцию настолько популярной? Во-первых, это удобно: не нужно запоминать сложные пароли или отыскивать верный палец в мраке. Во-вторых, это оперативно: современные алгоритмы идентифицируют лицо фактически за мгновение. В-третью очередь, это чувство будущего — будто в кинофильмах про admiral x шпионов.

Впрочем за такой видимой легкостью скрывается весь мир трудных методов и инженерных концепций. Позвольте нам исследовать, как точно работает идентификация по лицу в новейших гаджетах, какие бывают технологии, насколько они безопасны и что нас ожидает в будущем.

Сжатая история прогресса инноваций

Распознавание лиц как технология существует уже более пятидесяти годов. Первые эксперименты машинного изучения облика были сделаны еще в 1960-х годах в исследовательских центрах США. Тогда компьютеры умели лишь обозначать очертания черепа и определять расстояния между зрачками и губами на монохромных изображениях.

Первые бизнес системы появились в 90-х, но они были несовершенны: функционировали медленно и часто давали сбои. Только с развитием синтетических сетей и таких платформ, как адмирал х, мощных мобильных микросхем распознавание лиц стало по-настоящему широко распространённым явлением.

В 2017 году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным идентификацией лица. За этим пошли Android-производители: Samsung, Huawei, Xiaomi и прочие начали внедрять личные решения.

Главные этапы функционирования устройства определения

Процесс идентификации лица можно ориентировочно сегментировать на несколько ключевых этапов:

1. Обнаружение лица — камера выявляет наличие гуманного образа в изображении.
2. Выделение характеристик — система изучает особенности лица: форму глаз, обонятельного органа, уст, положение надбровных дуг.
3. Построение структуры — создаётся особенный электронный отпечаток (faceprint) на основе выделенных признаков.
4. Сравнение с стандартом — сформированный модель сопоставляется с зафиксированной при регистрации биометрической информацией владельца.
5. Принятие определения — если сходство достаточно высокое, смартфон деблокируется.

Любой из этих этапов нуждается в особых алгоритмов и усовершенствований для быстрой работы непосредственно на девайсе.

Железные составляющие: что прячется в их недрах

Обычная селфи камера.

Простейший простой вариант определения лица применяет только фронтальную камеру смартфона мобильного устройства. Подобный метод реализован во многих доступных моделях Android-устройств.

Плюсы:

• Не нуждается в потребляет дополнительных датчиков.
• Быстро действует при достаточном освещении.

Минусы:

• Легко обмануть снимком или видео.
• Неправильно работает при низком освещённости или непривычных точках зрения.

Инфракрасная фотокамера и пунктирный проектор

Более совершенные системы, такие как адмирал х, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта самая методика является основой Face ID от Apple.

Каким образом это функционирует:

• Точечный проектор отображает на лицо юзера невидимую структуру из тысяч инфракрасных пятен (например, Face ID применяет около 30 000 пятен).
• ИК камера записывает изменение формы этой решетки по поверхности лица.
• Формируется трёхмерная глубинная карта глубинности, что почти невозможна для фальсификации типичной фото или маской.

Выигрыши

• Надёжная работа даже в полной неосвещённости.
• Сильная защита к имитациям.
• Точность распознавания выше 99%.

Дополнительные датчики

В некоторых аппаратах используются также вспомогательные сенсоры: ToF (Time-of-Flight), которые измеряют время движения луча до цели и обратно; Цветные-датчики дальности; специальные оптические лидары для формирования более аккуратной 3D-модели лица.

Эти инновации встречаются наиболее часто во топовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Компьютерные алгоритмы: синтетический разум на исполнении

Современные устройства идентификации лиц невозможны без использования искусственного интеллекта и machine learning. Именно вследствие таким инновациям, как адмирал х, устройство может распознавать юзера даже при трансформациях облика: новая стрижка, щетина, линзы или косметика не становятся барьером для открытия.

Детектирование лица

При начальном шаге алгоритм должна мгновенно обнаружить образ лица внутри всего снимка камеры. Для этой задачи используются каскадные классификаторы Хаара или более новейшие конволюционные нейронные сети (CNN), которые подготовлены находить лиц человека среди множества других объектов.

Пример: алгоритм MTCNN может распознавать лицо даже в случае неполном перекрытии (например, шалью или рукой).

Выделение основных аспектов

После идентификации лица механизм, такая как адмирал х, устанавливает местоположение главных точек: края глаз, верхушка носа, границы губ и так далее. Обычно применяется от 68 до 128 ключевых маркеров на лицевой поверхности.

Это действие нужно для выравнивания визуала: если пользователь держит мобильник под наклоненным, или склонил головку, программа корректирует изображение до обычного угла для последующего изучения.

Формирование биометрического модели

Далее искусственная сеть строит компактное цифровое представление (“эмбеддинг”) лица пользователя — своеобразный цифровой “отпечаток” внешности длиной от 128 до 512 чисел с плавающей запятой.

Этот формат крайне затруднительно сфальсифицировать: он не сохраняет непосредственно картинку пользователя, а лишь уникальные особенности его облика, что делает его идеальным для таких платформ, как admiral-x.

Сравнение и вынесение решения

В случае, когда человек хочет разлочить телефон взглядом, программа осуществляет все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если похожесть превышает заданный границу (обычно превышает 99%), телефон, как и платформа admiral-x, разблокируется; если нет — доступ запрещается.

Привыкание к изменениям внешности

Увлекательная особенность нынешних систем — возможность самостоятельного обучения. Если ты постоянно открываете телефон с свежей стрижкой или оптикой, программа постепенно освежает базовый образец вашего внешности для улучшения точности функционирования без снижения уровня безопасности.

Защита биометрии информации.

Множество клиенты опасаются сохранять свои биометрические идентификационные данные на телефоне из-за вероятности утечки данных или хакерской атаки. Иные организации, например admiral-x, предлагают варианты для увеличения защиты данных юзеров.

• Локальное сохранение: Большинство девайсов сохраняет био-идентификационные модели исключительно внутрь защищённого чипа Secure Enclave (Apple) или TrustZone (Android). Они никогда не выходят из устройство и недоступны в том числе изготовителю.

• Шифрование: Все информация сберегаются только в зашифрованном виде с использованием актуальных криптографических алгоритмов AES256.

• Изоляция приложений: Приложения сторонних разработчиков не обладают прямого возможности доступа к биометрическим данным; они могут лишь требовать факт верификации идентичности через системный API.

Необходимо отметить значимую особенность: если какой-то человек сможет получить физический доступ к вашему телефону (например, пока вы спите), теоретически возможно разблокировать устройство поднеся его к вашему лицу. Поэтому многие изготовители внедряют защиту от “слепого” разблокирования — в частности, просят разомкнуть глаза во время сканирования или задействовать дополнительное подтверждение после длительного простоя устройства.

Какие именно бывают типы распознавания лиц на изображениях?

Сегодня можно определить три основных подхода к реализации этой задачи:

Софтверное двухмерное определение

Применяется только лицевая камера без вспомогательных датчиков глубины. Подобный подход используется обычно в недорогих моделях Android-смартфонов (например Samsung Galaxy A-серии).

Плюсы: простота воплощения; умеренная затраты; скоростная деятельность при достаточном свете.
Минусы: легко одурачить фотографией; ненадежная функционирование ночью; недостаточная охрана.

Техническое трёхмерное сканирование

Использует инфракрасную видеокамеру + проектор пикселей + сенсоры глубины (Face ID у Apple; подобные технологии у Huawei Mate).
Плюсы: высокая надёжность; не получится подделать фото/видео; устойчивая деятельность в любых условиях освещения.
Минусы: увеличение цены устройства; возрастание толщины верхней рамки экрана (“чёлка”)

Смешанные методы с ИИ-дополнением

Используют комбинацию программных методов + аппаратно-техническую обработку + последующую обработку нейросетями для повышения устойчивости к атакам (“anti-spoofing”). Например, подобные продукты, например адмирал х и Google Pixel Face Unlock новейших версий, комбинируют фронталку c ИК датчиком движения Soli Radar для предотвращения от подделок руками/масками/видеоэкранами чужих устройств.

Иллюстрации применения разных методов

• iPhone модели X/11/12/13/14 задействуют только аппаратное трёхмерное сканирование
• Xiaomi Mi8 Explorer Edition первый раз внедрил аналог Face ID среди Android.
• Samsung Galaxy S10 модель/S20 обеспечивают как софтверное плоское определение по изображению селфи-камерой, так и датчик глазного ириса.
• Huawei Mate20 Pro использует систему из ИК-освещения + Dot Projector + ToF-датчик

Трудности охраны и ошибочные срабатывания

Несмотря на поразительный развитие техники за недавние годы, совершенных систем пока не имеется:

1. Возможность обмана: Бюджетные телефоны просто “разблокируются” качественной фотографией пользователя либо видео с дисплея иного гаджета.
2. Идентичные двойняшки: Даже самые безупречные механизмы могут ошибиться между однояйцевыми близнецами либо семьями с очень аналогичной внешностью.
3. Трансформации внешнего вида: Резкое похудение/набор веса, пластические операции или травмы порой необходимы для повторной регистрации биометрии.
4. Условия записи: Интенсивная освещённость солнцем либо интенсивная темнота могут понизить верность определения признаков.

Здесь некоторые рекомендаций для защищённому применению:

• Для значимых операций всегда применяйте двухфакторную аутентификацию;
• Не включайте функцию “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
• Регулярно обновляйте прошивку прошивку мобильного устройства для обеспечения безопасности от современных угроз;
• Включайте функцию “Требовать распахнутых глаз” везде, где она имеется.

Где также находится применение технология кроме смартфонов?

Хотя основная мысль этой работы посвящена в частности смартфонам и планшетам, следует отметить альтернативных областях использования технологии:

• Контроль входа в деловых центрах и жилых домах;
• Платёжные терминалы банков (“Face Pay”);
• Виртуальные идентификационные документы нового типа;
• Системы видеоконтроля городских сервисов;
• Механизация отслеживания явки образовательных учреждений/вузов;
• Аутентификация юзеров персональных компьютеров/ноутбуков.

Например: В московском метро уже проверяется система оплаты проезда по фейсу (“Face Pay”) — достаточно пройти через барьер без карты или мобильника! Аналогичные проекты осуществляются в Китае (Шэньчжэнь), Республике Корея и ряде стран Европы.

Как изменяется технический процесс сегодня?

Любой год возникают новые идеи для повышения качества функционирования систем лицевого распознавания:

1. Увеличивается разрешение сенсоров — чем больше информации фиксируется фотоаппаратом/глубинными сенсорами, тем меньше вероятность погрешности;
2. Улучшаются нейросети — новейшие конструкции вида MobileNetV3 обеспечивают возможность быстро обучаться свежим чертам вида владельца напрямую на гаджете без отправки данных в облако.
3. Улучшаются способы антиспуфинга — теперь телефоны способны распознавать настоящие движущиеся лица от неподвижных снимков/маскировок по мельчайшим движениям кожи.
4. Взаимодействие со интеллектуальными приборами — умные часы могут авто заблокировать мобильный телефон, если обладатель удалился на значительное расстояние.
5. Появляются смешанные механизмы — например совмещающие аудио идентификацию + лицо + пальцевой отпечаток.

Итак, какие тенденции особенно популярны на сегодняшний день:

1) Миниатюризация деталей

Компании намереваются сократить размер выреза (“чёлки”) для сенсоры на экране за счёт интеграции миниатюрных ИК-проекторов прямо под стекло дисплея либо выдвижных модулей камеры.

2) Обработывание прямо на девайсе

Для увеличения приватности всё более расчётов выполняется локально без передачи данных во внешний облачный услугу.

3) Унификация регламентов

Гугл активно продвигает норму BiometricPrompt API, для того чтобы такие платформы, например как admiral x, и все Android-программы могли взаимодействовать с различными типами биометрии единообразно.

Что выбрать сегодня?

Когда вам всем необходима максимальная безопасность информации, подбирайте флагманские модели с интегрированным ИК-излучателем или же ToF-датчиком глубины.

• iPhone всех существующих последних версий
• Huawei Partner/P Series линейки
• Xiaomi Professional
• Vivo X линейки
• Oppo Find X серии.

Если финансы скромен – лучше выбирать классическим способам защиты (PIN-код/сканер отпечатка), а опцию “разблокировка по лицу”, такую как в admiral x, применять только как дополнительную возможность удобства.

Каким образом увеличить комфорт работы возможности?

Есть пара советов для пользователей, кто уже применяет функцию распознавания лица:

1. Часто обновляйте свою фотографию-шаблон, если кардинально меняется внешность.
2. Не упускайте из виду чистить объектив фронтальной камеры – загрязнения могут снизить точность!
3. Включайте функцию “Raise to Wake” (“Поднять чтобы проснуться”) – в результате мобильник сам активирует фотоаппарат если вы берёте его в руки.
4. В процессе регистрационного процесса постарайтесь сохранять голову прямо напротив объектива исключая резкого наклона головы.
5. Используйте опцию “Attention Aware” (“Реакция на внимание”) – она блокирует мобильное устройство, если вы отвернулись от дисплея.

Будущее развития техники

В скоро наступающие времена можно предвкушать появления полностью безконтактных способов распознавания человека сразу по нескольким биометрическим данным параметрам одновременно: лицо + речь + манера ходьбы + движения рук!

Также возможно развитие новых способов защиты личной информации – к примеру, переменное модификация электронного образца после каждой удачной авторизации, чтобы затруднить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее увлекательных инноваций нашего эпохи! Она делает общение со телефоном удобнее чем до этого, и такие аппы, как admiral-x, могут существенно оптимизировать ваш пользовательский опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы осведомлены, как функционирует эта система внутри, – сумеете вдумчиво определять свой следующий гаджет!