RU2005100267A - Способ и система автоматической проверки присутствия живого лица человека в биометрических системах безопасности - Google Patents

Claims (24)

1. Способ автоматической проверки присутствия живого лица человека в биометрических системах, состоящий из следующих операций: осуществляют дистанционный сбор трехмерных данных изображения, характеризующих зону обнаружения, который основывается на использовании трехмерного сенсора, в виде стереоскопической системы, состоящей из двух и более оптических датчиков с заранее известным расположением; осуществляют дистанционный сбор звуковых сигналов о зоне наблюдения, при этом для получения сигнала используют стереомикрофон; осуществляют сбор данных об активном пользователе по результатам интерактивного режима работы пользователя с системой по сценарию, который включает визуальные, аудиальные, кинестетические действия пользователя и задается некоторым случайным образом; осуществляют сбор данных о пассивном пользователе по результатам скрытого обнаружения трехмерных объектов другими сенсорами; осуществляют захват зон интереса внутри зоны обнаружения на основе анализа глобальных характеристик изображений; осуществляют трехмерное детектирование элементов объекта в каждой из захваченных зон, применяя последовательное уточнение таких черт, как голова, лицо, локальные черты; осуществляют слежение за обнаруженными элементами черт объекта на последующем трехмерном изображении; осуществляют обобщение черт объекта на основе последовательности трехмерных изображений; осуществляют приведение изображения трехмерного объекта к первой нормализованной формы живого лица, имеющей только глобальные характеристики; проводят проверку статических элементов трехмерного объекта на предмет присутствия живого лица в зоне обнаружения, в процессе которой трехмерный объект, находящийся в первой нормализованной форме, последовательно уточняется тремя различными представлениями лица, а именно граф антропометрических черт объекта, текстура объекта, текстура поверхности объекта, которые соответствуют второй, третьей и четвертой нормализованным формам представления живого лица; проводят проверку динамических характеристик трехмерного объекта, таких как звук и параметры движения элементов объекта, приведенного к одной из четырех нормализованных форм представления живого лица, с целью определения того, является ли данный объект живым лицом, при этом движение трехмерного объекта последовательно уточняется применением процедур нормализации и построения подписей, а именно, речевой подписи, подписи головы, мимической подписи, фонемно-мимической и кинестетической подписи; проводят обнаружение живого лица на основе анализа статической и динамической подписей в каждой зоне интереса, анализа результатов от выбранных зон интереса, представляющих собой множество активных и скрытых зон интереса, подсчета количества лиц и принятия решения о ситуации в зоне наблюдения.

2. Способ по п.1, отличающийся тем, что этап захвата множества зон интереса, предполагаемого расположения головы и лица пользователя, а также установка приоритета зонам интереса осуществляют путем выполнения следующих операций: построение и анализ карты диспаратности, характеризующей удаленность объектов наблюдения от камеры, выполнение процедур цветовой сегментации и фильтрации по набору фильтров Габора для уточнения карты диспаратности; вычисление координат расположения и размеров зон интереса на основе методов проекций и методов сопоставления шаблонов; установка приоритетов зонам обзора в соответствии с оценками на текущем и предыдущих множествах кадров.

3. Способ по п.1, отличающийся тем, что построение первой нормализованной формы представления живого лица, осуществляют с помощью процедуры детекции в зоне интереса, состоящей из следующих операций: проведение спецификации пирамиды двумерных изображений на основе полученной вычисленной карты диспаратности; разделение трехмерной информации на два множества, а именно множества проекций - двумерных изображений и множества карт диспаратности; выделение в двумерном изображении информации о цвете и проведение цветовой сегментации; фильтрация двумерных изображений по набору фильтров Габора и использование кластеризации; разложение трехмерной информации на три множества карт черт, отвечающих за репрезентативность и информативность информации о лице; использование процедур детекции черт по картам черт и построение трех представлений модели лица; представление и детекция лица с помощью локальных черт, объединенных в такие кластеры черт, как "брови/глаза", "ноздри/ усы/рот/подбородок", "щеки/нос"; представление и детекция лица с помощью цветовой сегментации; представление и детекция лица с помощью анализа карты диспаратности в виде анализа выпуклости множества соответственных точек.

4. Способ по п.1, отличающийся тем, что построение трехмерного объекта, приведенного к первой нормализованной форме живого лица, осуществляют путем следующей процедуры слежения в зоне интереса, улучшающей скорость работы детекции: используют разделение множества на три представления лица; анализируют оптический поток множества точек; ненайденные точки уточняют процедурами детекции; в случае некачественного слежения запускают процедуру детекции.

5. Способ по п.1, отличающийся тем, что построение трехмерного объекта, приведенного к первой нормализованной форме живого лица, осуществляют с помощью следующей процедуры обобщения в зоне интереса, улучшающей точность работы детекции по множеству кадров трехмерных изображений: проводят разделение множества на три представления лица; анализируют оптический поток множества точек трехмерных изображений, построенный по серии из нескольких кадров; уточняют ненайденные точки и точки, найденные с низкой вероятностью с помощью процедур реконструкции и проверки нормализованного лица на целостность и информативность.

6. Способ по п.5, отличающийся тем, что для построения второй нормализованной формы проводят следующие шаги: строят множества двумерных изображений по проекциям трехмерного изображения; используют фильтрацию по градиентным фильтрам и фильтрам Габора в зависимости от выбранного направления проектирования трехмерного изображения; строят репрезентативные и информативные карты локальных черт; проводят кластеризацию черт на кадре и нормализуют яркость изображения локальных черт; идентифицируют объект лица на основе экспертных эвристических правил; уточняют антропометрические черты лица точными алгоритмами детекции; находят точки соответствия, уточняют карту диспаратности и верифицируют антропометрические черты лица путем сопоставления с уточненной картой диспаратности.

7. Способ по п.5, отличающийся тем, что для построения третьей нормализованной формы выполняют следующие шаги: строят множества двумерных изображений по проекциям трехмерного изображения; проводят представление изображений в модель HSB из RGB и выделяют первую компоненту тона; используют пороговую фильтрацию; строят репрезентативные и информативные карты локальных черт; проводят кластеризацию черт на кадре и нормализующей яркости изображения локальных черт; идентифицируют объект лица, на основе экспертных эвристических правил; уточняют антропометрические черты лица точными алгоритмами детекции; находят точки соответствия, уточняю карту диспаратности, а антропометрические черты лица верифицируют путем сопоставления с уточненной картой диспаратности.

8. Способ по п.5, отличающийся тем, что для построения четвертой нормализованной формы осуществляют следующие шаги: строят подмножества карты диспаратности, где точки соответствия найдены с низкой вероятностью, на этих подмножествах с помощью метода проекции строят двумерные изображения, уточняют точки соответствия, производят реконструкцию и сглаживание трехмерных поверхностей; выделяют основные поверхности лица и трехмерные элементы лица, после чего; находят их интегральные характеристики объектов и поверхностей; анализируют выпуклость трехмерных форм; в случае наличия внешних объектов, таки как очки, шляпа, усы, производят уточнение четвертой нормализованной формы на основе второй и третьей.

9. Способ по п.5, отличающийся тем, что для построения статической подписи живого лица выполняют процедуру редукции признаков первой, второй, третьей и четвертой нормализованных форм, и веса признаков подбирают в зависимости от биометрического приложения, а именно, идентификации лица, обнаружения живого лица и муляжа, распознавания криминальной ситуации, распознавания ситуации столпотворения пользователей, т.е. пробок.

10. Способ по п.1, отличающийся тем, что для динамической проверки трехмерного объекта на предмет живого лица используют, по крайней мере, один из блоков: блок подписи головы, блок голосовой подписи, блок мимической подписи, блок фонемно-мимической подписи, блок кинестетической подписи, блок редукции признаков в динамическую подпись.

11. Способ по п.10, отличающийся тем, что для получения динамической подписи головы используют нахождение траектории движения трехмерного объекта, приведенного к первой нормализованной форме, при этом траекторию движения строят как адекватный результат интерактивной работы пользователя с системой в соответствии со случайным сценарием и при построении траектории используют такие точки, как центр масс головы и неподвижные точки поверхности лица, определяющие взгляд и фокусировку лица.

12. Способ по п.10, отличающийся тем, что для получения речевой подписи используют сегментацию звукового сигнала и распознавание фонем за счет извлечения локально-частотных свойств сигнала.

13. Способ по п.10, отличающийся тем, что для мимической подписи используют вторую, третью, четвертую нормализованные формы, проводят процедуры точной детекции и слежения за локальными чертами, которыми являются брови, глаза, рот, подбородок, нормализуют параметры их движения, и строят детерминированный конечный автомат для описания мимического состояния лица.

14. Способ по п.10, отличающийся тем, что для получения фонемно-мимической подписи производят синхронизацию мимической и речевой подписи, и на основе двух конечных автоматов строят один автомат, позволяющий детектировать мимику с более высокой точностью.

15. Способ по п.10, отличающийся тем, что для защиты от управляемой голограммы и получения кинестетической подписи, являющейся мерой контакта с аппаратурой, используют клавиатуру, с помощью которой пользователь набирает пин-код.

16. Способ по п.10, отличающийся тем, что для получения кинестетической подписи используют сенсорный планшет, на котором пользователь ставит свою подпись.

17. Способ по п.10, отличающийся тем, что для получения кинестетической подписи используют физическое устройство, измеряющее вес пользователя.

18. Способ по п.10, отличающийся тем, что для получения кинестетической подписи используют физическое устройство, измеряющее рост пользователя.

19. Способ по п.10, отличающийся тем, что получение динамической подписи живого лица осуществляют процедурами редукции признаков первой, второй, третьей, четвертой нормализованных форм, и веса признаков подбирают в зависимости от биометрического приложения.

20. Способ по п.1, отличающийся тем, что принятие решение о ситуации в зоне наблюдения принимают по результатам идентификации живого активного лица в соответствии со статическими и динамическими подписями живого лица.

21. Способ по п.1, отличающийся тем, что принятие решения о ситуации в зоне наблюдения принимают по результатам идентификации пассивных лиц в соответствии с их статическими и динамическими подписями живого лица, где пассивные лица, не взаимодействующие с аппаратурой, идентифицируется скрытым наблюдением.

22. Способ по п.1, отличающийся тем, что принятие решения о ситуации в зоне наблюдения принимают с помощью анализа изменений в текущей ситуации и проводят слежение за количеством активных и пассивных лиц в зоне обнаружения.

23. Способ по п.1, отличающийся тем, что принятие решения о распознавания живого лица от муляжа-голограммы принимают с помощью анализа механических изменений в текущей ситуации и проводят проверку контакта активного пользователя с кинестетическим сенсором, выполненным преимущественно в виде клавиатуры, весов, планшета для подписи.

24. Система обнаружения трехмерных объектов и проверки их на предмет живого лица в биометрических системах, состоящая из следующих компонентов: блок активных сенсоров, включающий в себя сенсоры трехмерных изображений, стереомикрофон, кинестетический сенсор (клавиатура, планшет) и дисплей, которые размещаются на сцене для непосредственной интерактивной работы с пользователем; блок пассивных сенсоров, включающий в себя сенсоры трехмерных изображений, которые размещаются на сцене для скрытого наблюдения за пользователями; блок захвата и предобработки сигналов изображения, голоса или кинестетического сигнала; блок памяти для записи кадров трехмерных изображений; устройство обнаружения трехмерного объекта и первичной нормализации, состоящее из блоков захвата зоны интереса, детектирования, слежения, обобщения, которые могут быть реализованы на отдельных процессорах, и блока разделяемой памяти, в которую записывается и считывается информация о лицеподобном трехмерном объекте, приведенной к первой нормализованной форме живого лица; устройство распознавания и нормализации статических форм трехмерного объекта, состоящее из блоков нормализации трехмерного объекта блока антропометрического анализа, анализа текстуры, анализа поверхностей и блока разделяемой памяти, в которую записывается и считывается информация о лицеподобном трехмерном объекте, приведенной ко второй, третьей, четвертой нормализованной форме живого лица и блока редукции и генерации статической подписи; устройство распознавания и нормализации динамических форм трехмерного объекта, состоящее из блоков распознавания движения головы, распознавания мимики лица, распознавания фонем, синхронизации фонем и мимики лица, распознавания кинестетических сигналов, блоков разделяемой памяти, в которую записывается и считывается информация о подписи головы, о голосовой подписи, мимической подписи, фонемно-мимической подписи, кинестетической подписи, а также из блока редукции и генерации динамической подписи; устройство принятия решений, состоящее из системы управления базой данных (команд, эталонов подписей, метрик сравнения, оценок распознавания); база данных (команд, эталонов подписей, метрик сравнения, оценок распознавания живого лица); блок принятии решений о распознавании живого лица в каждой из зон интереса; блок подсчета активных и пассивных лиц; блок идентификации лица; блок распознавания типа ситуации.