FAR и FRR. Статистика ошибок распознавания лиц

FAR и FRR, или по другому, ошибка первого и второго рода, главная характеристика любой биометрической системы. Однако, что же значат все эти цифры? И как их пересчитать в статистику ошибок? Методика во фрагменте вебинара “Технологии распознавания лиц. Мифы, задачи и решения“, который состоялся . Полная версия вебинара Вероятности ошибок первого и второго рода. Любая биометрия, и вообще сравнение чего то с чем то, это математическая статистика. Вероятности характеризуют любую биометрическую систему. FAR - это когда мы разрешаем доступ злоумышленнику FRR - это когда мы запрещаем доступ своему Эти две вероятности взаимозависимы. Например, делая систему более защищенной от злоумышленника, мы в то же время увеличиваем вероятность отказа своему. В большинстве систем ими можно управлять. Каждый конкретный алгоритм распознавания лиц имеет свои вероятности, как правило посчитанные по своим собственным базам эталонных изображений. Имея вероятности ошибок первого и второго рода в виде долей процента какие можно сделать выводы? Хорошо это или плохо? Большая вероятность это маленькая? А как это конвертировать в статистику по ложным срабатываниям? Давайте попробуем разобраться Пусть у нас будет проходная завода, на котором работает 500 человек и все они утром дружно входят и вечером выходят. Допуск мы хотим осуществлять по распознаванию лица. Это 1000 распознаваний в день, а на самом деле больше, т.к. любой поворот лица в сторону и обратно - это новое распознавание. Ну пусть будет 1000. Мы не хотим что бы злоумышленник проник, поэтому рассчитываем на FAR в районе 0,01%. При этом производитель на своей идеальной выборке дал нам соответствующий FRR, к примеру, 7%. Это означает, что каждому 14-му будет выдан отказ в доступе, и за день это будет 71 отказ. Кажется, что ничего страшного, но это уже наверное решать заказчику. Если мы вместо идентификации внедрим режим верификации, когда человек подносит карту и производится сравнение не один к 500, а один к одному, то вполне можно снизить вероятность отказа своему, тот самый FRR, вплоть до одного процента, и это будет всего 10 отказов в день. FAR при этом тоже 1% и это означает, что злоумышленник, при этом будет пропускаться в одном случае из ста. Но то, что злоумышленник с картой доступа будет 100 раз пытаться пройти кажется странным. Стоит скрутить его уже при второй попытке :) Другой пример. Предположим у нас торговый центр, и в день его посещают 10 000 человек. Мы ловим злоумышленников. Всего их, предположим, 100 человек в базе. Нам каким то образом удалось заполучить идеальные фотографии этих негодяев. Тогда мы можем рассчитывать на вероятности ошибок системы ориентируясь показатели производителя с нормированных баз. Обратившись к производителю, мы получили от негоFAR будет 0,01%, и пропуск цели FRR 7%. Тогда каждый захват лица - это сравнение со 100 негодяями в базе и вероятность ошибки 100х0,01 составляет 1%. С учетом, что у нас 10000 человек входит каждый день, это 100 ложных срабатываний, а точнее 100 невиновных человек будут остановлены охраной каждый день и подвержены проверке. На сколько это приемлемо? Опять же пусть решает заказчик, но вы смогли ему дать информацию для размышления, о которой он может и не задумывался на этапе написания ТЗ, и имел в голове лишь идеальную картинку из какого ни будь кино про спецагентов. А что же у нас с пропуском реального злоумышленника? FRR 7%, значит каждый 14-ый злоумышленник пройдет незамеченным, и то, только в том случае, если он не пытался скрыть лицо. Опять же критично это или нет? Если мы ловим мелкого воришку, наверное не критично, а если террориста, то пожалуй, что и не допустимо. Можно снизить вероятность пропуска злоумышленника, но резко возрастает количество проверок обычных посетителей. Предположим, снизили мы FRR до 3%, и получили, что нам нужно каждого 10-го человека остановить и проверить. Надеюсь, вы теперь сами сможете посчитать вероятности для вашего заказчика и для его объекта. Теперь решение о внедрении технологии будет приниматься осознанно, с пониманием всех этих вероятностей и ожидаемой статистики. Причем ключевое слово здесь ОЖИДАЕМОЙ. Еще раз повторю. Методики оценки FAR и FRR осуществляются в большинстве случаев по некой идеально картинке. Полная версия вебинара Подписывайтесь на нас в соц.сетях: VK - Telegram - Web-страница -