KR20210131891A

KR20210131891A - 개인의 인증 또는 식별을 위한 방법

Info

Publication number: KR20210131891A
Application number: KR1020210050206A
Authority: KR
Inventors: 간다라 레나우드; 길레못 플로렌스; 세밧 다미엔; 데스피에젤 빈센트
Original assignee: 아이데미아 아이덴티티 앤드 시큐리티 프랑스
Priority date: 2020-04-24
Filing date: 2021-04-19
Publication date: 2021-11-03
Also published as: FR3109688A1; FR3109688B1; US11714889B2; US20210334581A1; EP3901794A1

Abstract

본 발명은 개인의 인증 또는 식별을 위한 방법에 있어서, 방법은, 단말기(1)의 데이터 처리 수단(11)에 의한,
(a) 가시 이미지, 적외선 이미지 및 깊이 이미지 - 이들 각각에서 상기 개인의 생체 특징이 나타남 - 의 획득 단계;
(b) 주위 조명 조건들에 따른 상기 가시 이미지들, 적외선 이미지 및 깊이 이미지 중 적어도 하나의 선택 단계;
(c) 선택된 각각의 이미지에서의 개인의 상기 생체 특징의 검출 단계;
(d) 검출된 생체 특징(들)의 융합 단계;
(e) 검출된 생체 특징(들)의 융합의 결과에 기초한 상기 개인의 인증 또는 식별 단계의 구현을 포함하는 것을 특징으로 하는, 방법에 관한 것이다.

Description

개인의 인증 또는 식별을 위한 방법{METHOD FOR AUTHENTICATION OR IDENTIFICATION OF AN INDIVIDUAL}

본 발명은, 특히 안면 또는 홍채 인식에 의한, 생체 인증 및 식별의 분야에 관한 것이다.

특히 광학적 인식에 기초한, 생체 접근 통제 단말기들이 알려져 있다: 인가된 사용자가 생체 특징(그의 또는 그녀의 안면, 홍채 등)을 단말기의 앞에 위치시키며, 후자가 인식되고 예를 들어 게이트가 열린다.

일반적으로, 이러한 타입의 단말기는 제품이 사용자 친화적일 수 있게 하는(사용자가 그 자신 또는 그녀 자신을 정확히 특정 지점에 위치시킬 필요가 없음) "넓은 시야"를 갖는 하나 이상의 2D 또는 3D 카메라 타입 센서, 및 가시 또는 적외(IR) 광을 방출하는 LED, 및/또는 레이저 다이오드와 같은 광원들을 구비한다. 실제로, 카메라들은 대상의 조도가 적절한 경우에만 올바르게 기능할 수 있다. 예를 들어 부분적인 어둠 속의 안면은 인식하기가 더 어려울 것이다.

또한, 개인이 마스크 또는 보형물과 같은 액세서리에 의해 접근 통제 단말기를 부정하게 속이려고 시도하는 "스푸핑(spoofing)" 기법들은 적절한 조명하에서 식별하기가 더 용이하다는 것이 관찰되었다.

시야 안에서 검출되는 관심 영역에 관하여 노출을 적응시키기 위해 카메라 및 광원들을 "조정"하는 것이 알려져 있지만(보다 정확하게, 임의의 이미지의 노출은 이러한 영역에서 관찰되는 광도(luminosity)에 기초하여 수정되는데, 다시 말해서 그 영역의 광도는 아마도, 해당되는 경우, 과다 노출 또는 과소 노출될 수 있는 이미지의 다른 영역들의 피해가 발생하는 정도까지 "정상화"된다), 다양한 시설, 광 환경, 사용 거리가 이러한 작업을 상당히 복잡하게 만든다는 점에 유의한다. 또한, 하루 중 상이한 시간들에서, 광 조건이 완전히 달라질 수 있다.

그 결과 생체 인증 및 식별 알고리즘들의 성능을 개선하는 새롭고, 간단하고, 신뢰성 있고, 효과적인 해법을 갖는 것이 바람직할 것이다.

제1 태양에 따르면, 본 발명은 개인의 인증 또는 식별을 위한 방법에 있어서, 방법은, 단말기의 데이터 처리 수단에 의한,

(a) 가시 이미지, 적외선 이미지 및 깊이 이미지 - 이들 각각에서 상기 개인의 생체 특징이 나타남 - 의 획득 단계;

(b) 주위 조명 조건들에 기초한 상기 가시 이미지들, 적외선 이미지 및 깊이 이미지 중 적어도 하나의 선택 단계;

(c) 선택된 각각의 이미지에서의 개인의 상기 생체 특징의 검출 단계;

(d) 검출된 생체 특징(들)의 융합 단계;

(e) 검출된 생체 특징(들)의 융합의 결과에 기초한 상기 개인의 인증 또는 식별 단계의 구현을 포함하는 것을 특징으로 하는, 방법에 관한 것이다.

다른 유리한 그리고 비제한적인 특징들에 따르면:

단계 (a)는 단말기의 제1 광학적 취득 수단에 의해 취득된 데이터로부터의 상기 가시 이미지의 취득, 단말기의 제2 광학적 취득 수단에 의해 취득된 데이터로부터의 상기 적외선 이미지의 취득, 및/또는 단말기의 제3 광학적 취득 수단에 의해 취득된 데이터로부터의 상기 깊이 이미지의 취득을 포함한다.

단계 (b)에서, 주위 조도 값이 제1의 미리 결정된 임계치보다 높은 경우 가시 이미지가 선택되고/되거나, 주위 조도 값이 제2의 미리 결정된 임계치보다 낮은 경우 적외선 이미지가 선택되고/되거나, 주위 조도 값이 제3의 미리 결정된 임계치보다 낮은 경우 깊이 이미지가 선택된다.

제3의 미리 결정된 주위 조명 임계치는 제2의 미리 결정된 주위 조명 임계치와 실질적으로 동일하다.

상기 제2의 미리 결정된 주위 조명 임계치 및/또는 상기 제3의 미리 결정된 주위 조명 임계치는 제1의 미리 결정된 조명 임계치보다 적어도 100배 더 크다.

단계 (d)는 깊이 이미지에 기초한 검출된 생체 특징(들)의 진정성(authenticity)의 검증을 추가로 포함한다.

가시 이미지, 적외선 이미지 및 깊이 이미지는 대략 동일한 시점(viewpoint)을 갖는다.

개인의 상기 생체 특징은 개인의 안면 및 홍채로부터 선택된다.

단계 (e)는 검출된 생체 특징과 데이터 저장 수단에 저장된 참조 생체 데이터의 비교를 포함한다.

단계 (e)는 상기 생체 식별 또는 인증의 결과에 기초한 접근 통제의 구현을 포함한다.

제2 태양에 따르면, 본 발명은 단말기로서,

● 가시 이미지, 적외선 이미지 및 깊이 이미지 - 이들 각각에서 상기 개인의 생체 특징이 나타남 - 의 획득;

● 주위 조명 조건들에 기초한 상기 가시 이미지들, 적외선 이미지 및 깊이 이미지 중 적어도 하나의 선택;

● 선택된 각각의 이미지에서의 개인의 상기 생체 특징의 검출;

● 검출된 생체 특징(들)의 융합;

● 검출된 생체 특징(들)의 융합의 결과에 기초한 상기 개인의 인증 또는 식별을 구현하도록 구성된 데이터 처리 수단을 포함하는, 단말기에 관한 것이다.

다른 유리한 그리고 비제한적인 특징들에 따르면, 단말기는 상기 가시 이미지의 취득을 위한 제1 광학적 취득 수단, 및/또는 상기 적외선 이미지의 취득을 위한 제2 광학적 취득 수단, 및/또는 상기 깊이 이미지의 취득을 위한 제3 광학적 취득 수단을 포함한다.

제3 및 제4 태양에 따르면, 본 발명은 개인의 인증 또는 식별의 제1 태양에 따른 방법의 실행을 위한 코드 명령어들을 포함하는 컴퓨터 프로그램 제품; 및 컴퓨터 프로그램 제품이 개인의 인증 또는 식별의 제1 태양에 따른 방법의 실행을 위한 코드 명령어들을 포함하는, 컴퓨터 장비에 의해 판독 가능한 저장 수단을 제안한다.

본 발명의 다른 특징들 및 이점들이 바람직한 실시예에 관한 다음의 설명을 읽을 때 분명해질 것이다. 이러한 설명은 첨부 도면을 참조하여 주어질 것이다.
[도 1] 도 1은 본 발명에 따른 개인의 인증 또는 식별을 위한 방법의 구현을 위한 단말기를 일반적으로 나타낸다.
[도 2] 도 2는 본 발명에 따른 개인의 인증 또는 식별을 위한 방법의 실시예의 단계들을 개략적으로 나타낸다.
[도 3a] 도 3a 내지 도 3d는 본 발명에 따른 방법에서 사용되는 가시 이미지, 적외선 이미지, 구조화(structured) 적외선 이미지 및 깊이 이미지의 제1 예를 나타낸다.
[도 3b] 도 3b는 본 발명에 따른 방법에서 사용되는 가시 이미지, 적외선 이미지, 구조화 적외선 이미지 및 깊이 이미지의 제2 예를 나타낸다.
[도 3c] 도 3c는 본 발명에 따른 방법에서 사용되는 가시 이미지, 적외선 이미지, 구조화 적외선 이미지 및 깊이 이미지의 제3 예를 나타낸다.
[도 3d] 도 3d는 본 발명에 따른 방법에서 사용되는 가시 이미지, 적외선 이미지, 구조화 적외선 이미지 및 깊이 이미지의 제4 예를 나타낸다.

아키텍처

[도 1]을 참조하면, 개인의 인증 또는 식별을 위한, 즉 단말기(1)의 앞에서 그 자신 또는 그녀 자신을 제시하는 개인의 신원을 결정하거나 검증하여, 해당되는 경우, 이러한 개인에게 접근을 인가하기 위한 방법의 구현을 위한 단말기(1)가 제안된다. 알 수 있듯이, 이것은 전형적으로 사용자가 그의 또는 그녀의 안면을 더 가까이 가져와야 하는 안면 생체 인증(face biometrics)(안면 또는 홍채 인식)이지만, 사용자가 그의 또는 그녀의 손을 가까이 가져오는 약간 거리를 둔 프린트 생체 인증(print biometrics)(지문 또는 손바닥)이기도 하다.

단말기(1)는 전형적으로 인증/식별이 그에 대해 수행되어야 하는 엔티티(entity), 예를 들어 정부 기관, 세관 공무원, 회사 등에 의해 보유 및 관리되는 장비이다. 그것은 그렇지 않으면, 예를 들어 모바일폰 또는 "스마트폰", 전자 태블릿, 개인용 컴퓨터 등과 같은, 개인 소유의 개인 장비일 수 있음이 이해될 것이다.

본 개시의 나머지 부분에서, 건물을 위한 접근 통제 단말기의 예가 사용될 것이지만(예를 들어 문이 열릴 수 있게 하는 것 - 일반적으로 이것은 이러한 문 옆의 벽 상에 장착된 단말기임), 본 방법은 예를 들어 비행기에 탑승하기를 원하는 개인을 인증하고, 개인 데이터 또는 애플리케이션에 액세스하고, 거래를 수행하고 등등을 하기 위해 많은 상황에서 여전히 적용 가능하다는 점에 유의해야 한다.

단말기(1)는 단말기(1)의 동작을 관리하고 그의 다양한 컴포넌트들을 제어하는 데이터 처리 수단(11), 전형적으로 프로세서를, 가장 일반적으로 그의 다양한 컴포넌트들을 보호하는 유닛(10) 내에 포함한다.

바람직하게는, 단말기(1)는 일반적으로 단말기(1)의 "앞"에 위치한 공간을 관찰하도록 그리고 데이터 스트림, 특히 개인의 안면 또는 홍채와 같은 생체 특징의 이미지들을 취득하도록 전형적으로 배열된 제1 광학적 취득 수단(13a), 제2 광학적 취득 수단(13b) 및/또는 제3 광학적 취득 수단(13c)을 포함한다. 예를 들어, 벽-장착식 접근 통제 단말기의 경우에, 광학적 취득 수단들(13a, 13b, 13c)은 그것에 접근하는 개인들의 안면을 볼 수 있도록 머리 높이에 위치된다. 다른 공간을 관찰할 수 있는(그리고 원하는 생체 인증 동작에 관여하지 않는) 다른 광학적 취득 수단들(13a, 13b, 13c)이 아마도 있을 수 있다는 점에 유의한다: 스마트폰 타입의 모바일 단말기들은 일반적으로 전방 카메라 및 후방 카메라 둘 모두를 가지고 있다. 본 개시의 나머지 부분은 광학적 취득 수단들(13a, 13b, 13c) "반대편"에 있는 공간, 즉 광학적 취득 수단들(13a, 13b, 13c)을 "향하고" 그에 따라 보일 수 있으며 생체 식별 또는 인증의 수행이 요구되는 공간에 초점을 맞출 것이다.

제1 광학적 취득 수단(13a), 제2 광학적 취득 수단(13b) 및 제3 광학적 취득 수단(13c)은 본질적으로 상이한데, 왜냐하면 알 수 있듯이, 본 방법은 가시 이미지들의 제1 스트림, 적외선 이미지들의 제2 스트림 및 깊이 이미지들의 제3 스트림 - 이들 각각에서 상기 개인의 생체 특징이 나타남 - 을 사용하기 때문이다.

보다 정확하게는, 제1 및 제2 광학적 취득 수단들(13a, 13b)은 "방사선" 이미지, 즉 각각의 픽셀이 관찰된 장면의 실제 모습을 반영하는, 즉 각각의 픽셀이 전자기 스펙트럼의 주어진 부분에서 수신된 전자기 방사선의 양에 대응하는 값을 갖는 표준 이미지의 취득을 가능하게 하는 센서들이다.

그러나 제1 및 제2 취득 수단들(13a, 13b)은 그들이 민감한 전자기 스펙트럼의 부분에서 구별되는데, 제1 광학적 취득 수단(13a)은 가시 이미지(일반적으로 컬러 이미지 - RGB 타입 - 그에 대해 픽셀의 값은 그의 컬러를 정의함 - 뿐만 아니라, 그레이-스케일 또는 심지어 흑백 이미지 - 그에 대해 픽셀의 값은 그의 밝기를 정의함), 즉 인간의 눈에 의해 보이는 바와 같은 이미지(문제의 전자기 스펙트럼은 가시 스펙트럼 - 380 내지 780 nm의 대역임)의 취득을 가능하게 하는 반면, 제2 광학적 취득 수단(13b)은 적외선 이미지(IR - 그에 대해 픽셀의 값은 그의 밝기를 정의하지만 이번에는 800 nm 초과의 대역에서) 또는 심지어 "근"적외선(NIR - 700 내지 2000 nm의 대역)의 취득을 가능하게 한다는 점에서 구별된다.

제3 광학적 취득 수단(13c)은 "깊이 이미지" 또는 "깊이 맵", 즉 픽셀 값이 센서의 광학 중심과 관찰된 지점 사이의 광축에 따른 거리인 이미지의 취득을 용이하게 하는 센서들이다. 깊이 이미지는 때때로 각각의 지점의 휘도가 거리 값에 기초하는(지점이 더 가까울수록, 더 밝음) 그레이-스케일 또는 컬러 이미지처럼 (시각적으로 이해 가능하도록) 표현되지만, 이것은 위에서 정의된 방사선 이미지들과 대조적으로 인공 이미지임이 이해되어야 한다.

깊이 이미지를 획득하는 것을 가능하게 하는 수많은 센서 기술들이 알려져 있으며("비행시간법(time-of-flight)", 입체시(stereovision), 소나(sonar), 구조화 광 등), 대부분의 경우에, 깊이 이미지는 실제로 제3 광학적 취득 수단(13c)에 의해 공급되고 처리되어야 하는 원시 데이터로부터 처리 수단(11)에 의해 재구성된다는 것이 이해된다(깊이 이미지는 센서가 직접 측정에 의해 쉽게 획득할 수 없는 인공 객체임이 반복된다). 이에 따라, 편의상, 표현 "제3 광학적 취득 수단(13c)에 의한 깊이 이미지의 취득"은 당업자가 이러한 취득이 일반적으로 데이터 처리 수단(11)을 수반한다는 것을 이해할지라도 계속해서 사용될 것이다.

이에 따라, 본 개시의 나머지 부분에서, 입체시와 "IR 3D"로 알려진 구조화 광 적외선 이미지의 조합으로부터 획득된 깊이 이미지의 예가 취해진다.

제1, 제2 및 제3 광학적 취득 수단들(13a, 13b, 13c)은 반드시 3개의 독립적인 센서는 아니며 다소간 함께 취해질 수 있다는 점에 유의한다.

예를 들어, 일반적으로 "3D 카메라"로 불리는 것은 종종 (입체 쌍을 형성하는) 2개의 병치된 2D 카메라의 세트이다. 이들 2개의 카메라 중 하나는 제1 또는 제2 광학적 취득 수단(13a, 13b)을 구성할 수 있고, 그 둘은 함께 제3 광학적 취득 수단(13c)을 구성할 수 있다.

더욱이, 상기 개인으로부터 취득될 생체 특징(그의 또는 그녀의 안면, 홍채 등)은 방사선 이미지들 및 깊이 이미지 둘 모두에서 적어도 부분적으로 나타나야 하고, 따라서 그들은 다소간 동일한 공간을 관찰할 수 있어야 한다. 바람직하게는, 제1, 제2 및 제3 광학적 취득 수단들(13a, 13b, 13c)은 실질적으로 동일한 시점을 갖는데, 즉 그들은 서로 가깝게, 많아야 수십 센티미터 떨어져, 유리하게는 몇 센티미터 떨어져 배열되며(입체 쌍을 형성하는 2개의 카메라의 예에서, 그들의 거리는 관례적으로 대략 7 cm임), 이때 광축들은 평행하거나 하나가 다른 것에 관하여 많아야 몇 도만큼 배향된다. 이것은 아래에서 제시될 예들에서 그러할 것이며, 그 예들에서 시점들과 배향들이 매칭한다는 것을 알게 될 것이다.

그러나, 재교정 알고리즘(recalibration algorithm)들이 알려져 있는 한(그들의 상대적 위치들 및 배향들을 알고), 더 넓게 이격된 센서들을 갖는 것이 여전히 가능하다.

물론, 제1, 제2 및 제3 광학적 취득 수단들(13a, 13b, 13c)은 실질적으로 동시에 데이터를 취득하기 위해 동기화된다. 3개의 이미지는 실질적으로 동일한 순간에(즉, 몇 밀리초 또는 수십 밀리초 이내) 개인을 나타내야 하지만, 이들 수단(13a, 13b, 13c)을 독립적으로 동작시키는 것이 여전히 완전히 가능하다(아래 참조).

더욱이, 단말기(1)는 유리하게는 상기 광학적 취득 수단들(13a, 13b, 13c) 반대편에 있는 상기 공간을 조명하도록 적응된 조명 수단(14)을 포함할 수 있다(즉, 그들은 광학적 취득 수단들(13a, 13b, 13c)에 의해 보이는 대상들을 조명할 수 있을 것이고, 그들은 일반적으로 동일한 방향에서 "보기" 위해 후자 부근에 위치된다). 이에 따라, 조명 수단(14)에 의해 방출되는 광은 대상에 의해 수광되어 단말기(1)를 향해 재방출되며, 이는 광학적 취득 수단들(13a, 13b, 13c)이 적절한 품질의 데이터를 취득하고 임의의 후속 생체 처리의 신뢰성을 증가시킬 수 있게 한다는 것이 이해된다.

마지막으로, 데이터 처리 수단(11)은 우선적으로 안면 또는 홍채의 이미지들의 참조 생체 데이터베이스를 저장하는 데이터 저장 수단(12)에 종종 접속되어, 가시 이미지에서 나타나는 개인의 생체 특징을 참조 생체 데이터와 비교하는 것을 가능하게 한다. 수단(12)은 단말기(1)가 그에 접속된 원격 서버의 것들일 수 있지만, 네트워크로의 생체 데이터의 임의의 전송을 회피하고 인터셉션(interception) 또는 사기의 위험을 제한하기 위해, 그들은 유리하게는 로컬 수단(12)인데, 즉 단말기(1)에 포함된다(다시 말해서 단말기(1)가 저장 수단(12)을 포함한다).

방법

[도 2]를 참조하면, 단말기(1)의 데이터 처리 수단(11)에 의해 구현되는 본 방법은 가시 이미지(실제로 편의상 제1 스트림으로 알려진 가시 이미지들의 스트림), 적외선 이미지(실제로 제2 스트림으로 알려진 적외선 이미지들의 스트림) 및 깊이 이미지(실제로 제3 스트림으로 알려진 깊이 이미지들의 스트림) - 이들 각각에서 상기 개인의 생체 특징이 나타남 - 를 획득하는 단계 (a)로 시작된다. "스트림"은, 일반적으로 15 ㎐와 같은 미리 결정된 주파수에서 취득되는, 시간 경과에 따른 상기 이미지들의 시퀀스를 의미하는 것으로 이해된다.

설명된 바와 같이, 단말기(1)가 제1 광학적 취득 수단(13a), 제2 광학적 취득 수단(13b) 및/또는 제3 광학적 취득 수단(13c)을 직접 포함한다면, 이러한 단계는 이들 수단(13a, 13b, 13c)에 의한 데이터의 취득, 및 제1 광학적 취득 수단(13a)에 의해 취득된 데이터로부터의 가시 이미지, 제2 광학적 취득 수단(13b)에 의해 취득된 데이터로부터의 적외선 이미지 및/또는 제3 광학적 취득 수단(13c)에 의한 깊이 이미지의 각자의 획득을 포함할 수 있다.

그러나, 방법은 이러한 실시예로 제한되지 않고, 상기 이미지들/맵들은 외부에서 획득되고 단순히 분석을 위해 데이터 처리 수단(11)으로 송신될 수 있다.

다음 단계 (b)에서, 방법은 주위 조명 조건에 기초하여 상기 가시 이미지들, 적외선 이미지 및 깊이 이미지 중 적어도 하나의 선택을 포함한다.

실제로, 알 수 있듯이, 본 발명을 뒷받침하는 영리한 아이디어는 3개의 스트림이 이들 조명 조건에 기초하여 상이한 레벨의 강건성을 갖는다는 점에 유의하고, 이것으로부터 이익을 얻는 것이다. 이에 따라, 상이한 이미지들은 조명 조건에 상관없이 최적의 검출을 보장하기 위해 중복 객체들로서의 역할을 할 수 있을 것이다.

"주위 조명 조건"은, 조명 수단(14)의 영향과는 관계없이, 환경의 조명 조건, 즉 단말기가 겪게 되는 조건을 의미하는 것으로 이해된다. 이들 주위 조명 조건은 럭스 단위의 조도 값의 형태로 표현되고, 태양(하루 중 시간, 날씨), 단말기(1)가 설치된 방의 개구들(셔터들/커튼들), 이러한 방 안의 조명 설비들 등에 의존한다.

이에 따라 [도 3a], [도 3b] 및 [도 3c]는, 3개의 매우 상이한 조명 조건하에서, 왼쪽에서 오른쪽으로, 가시 이미지, 이어서 적외선 이미지, 구조화 광 조명 적외선 이미지, 그리고 마지막으로 (그 중에서도 구조화 광 조명 적외선 이미지로부터 획득된) 깊이 이미지를 보여준다:

● [도 3a]는 "보통의" 조명 조건, 즉 평균 조도의 경우를 고려한다. 그것은 모든 이미지들이 양호한 품질을 갖는 것을 보여준다.

● [도 3b]는 "극단적인" 조명 조건, 즉 매우 낮은 조도(25 럭스 미만)의 제1 경우를 고려한다. 그것은 가시 이미지가 노이즈가 매우 많음을 보여준다(그것이 이득을 증가시킴에 따라, 그리고 노출 시간이 연장됨에 따라).

● [도 3c]는 "극단적인" 조명 조건, 즉 매우 높은 조도(25,000 럭스 초과)의 제2 경우를 고려한다. 이번에는 그것은 3D의 품질 및 그에 따라 깊이 이미지의 품질에 영향을 미치는 구조화 광의 손실 및 적외선 포화의 시작을 보여준다.

일반적으로, 취득 기술에 상관없이, 깊이 이미지는 높은 밝기에서 품질이 손실된다는 점에 유의한다.

이에 따라 제1, 제2 및/또는 제3의 미리 결정된 주위 조명 임계치를 정의하는 것이 가능하며, 따라서:

● 주위 조도 값이 제1의 미리 결정된 임계치보다 높은 경우(우선적으로 그러한 경우에만) 가시 이미지가 선택되고/되거나(가시 이미지는 평균 또는 높은 밝기에서 양호한 품질을 갖기 때문에),

● 주위 조도 값이 제2의 미리 결정된 임계치보다 낮은 경우(우선적으로 그러한 경우에만) 적외선 이미지가 선택되고/되거나(적외선 이미지는 평균 또는 낮은 밝기에서 양호한 품질을 갖기 때문에),

● 주위 조도 값이 제3의 미리 결정된 임계치보다 낮은 경우(우선적으로 그러한 경우에만) 깊이 이미지가 선택된다(깊이 이미지는 평균 또는 낮은 밝기에서 양호한 품질을 갖기 때문에).

유리하게는, 예를 들어 제1 및 제2 임계치들만을 사용하는 것이, 즉 매번 깊이 이미지를 선택하는 것이 가능할지라도, 3개의 조건이 적용된다.

적어도 3개의 조도 범위를 정의하기 위해, 우선적으로 제2 임계치 및/또는 제3 임계치는 제1 임계치보다 높게 또는 심지어 상당히 높게(적어도 100배 또는 심지어 1000배 초과) 선택된다:

● 적외선 및 깊이 이미지들만 선택되는, 제1 임계치보다 낮은, 하위 범위;

● 모든 이미지들이 선택되는, 제1 임계치보다 높고 제2 및 제3 임계치들 각각보다 낮은, 중간 범위;

● 가시 이미지만 선택되는, 제2 및 제3 임계치들 각각보다 높은, 상위 범위.

제2 및 제3 임계치들이 우선적으로 매칭하지만, 하나의 차이가 있을 수 있으며, 이는 가시 이미지와 적외선 이미지 및 깊이 이미지 중 하나만이 선택될, 중간 범위와 상위 범위 사이의 범위의 존재를 가능하게 할 것이라는 점에 유의한다.

값들의 면에서, 제1 임계치에 대해 예를 들어 250 럭스 미만, 또는 심지어 100 럭스 미만, 또는 심지어 50 럭스 미만, 또는 심지어 25 럭스를 선택하고, 제2 및/또는 제3 임계치에 대해 예를 들어 2500 럭스 초과, 또는 심지어 5000 럭스 초과, 또는 심지어 10,000 럭스 초과, 또는 심지어 25,000 럭스를 선택하는 것이 가능하지만, 어떤 값도 제한적이지 않으며 그것은 모두 단말기(1)의 환경에 의존할 것이다.

임계치와의 비교는 그 중에서도 단지 하나의 가능성일 뿐이기 때문에, 어떤 이미지 선택 함수도 제한적이지 않다는 점에 유의한다.

검출

예를 들어 문헌["3D Multi-Spectrum Sensor System with Face Recognition", by Joongrock Kim, Sunjin Yu, Ig-Jae Kim, and Sangyoun Lee]에 설명된 방법과 같은, 가시 이미지, 적외선 이미지 및 깊이 이미지가 사용되는 방법들이 이미 알려져 있다.

그러나, 그 아이디어는 항상, 특히 다중 스펙트럼 객체를 생성하고/하거나 3D 모델을 재구성하는 것에 의해, 이미지들을 "조합"하는 것이다.

3개의 스트림이 이들 조명 조건에 기초하여 상이한 레벨의 강건성을 갖는다는 사실을 이용하는 것이 가능하지 않을 뿐만 아니라, 반대로 조명 조건이 모든 이미지들에 대해 최적인 때에만, 즉 상당히 낮은 대역에서만 품질 처리가 가능하다는 점이 이해된다.

반대로, 본 방법은 단계 (c)에서 선택된 각각의 이미지에서 개인의 상기 생체 특징을 독립적으로 검출할 것을 제안한다.

다시 말해서, 최대 3회 검출을 수행하는 것이 가능하고, 사전 선택으로 인해 각각의 검출이 양호한 품질을 갖는 것이 보장된다.

당업자에게 알려진 임의의 검출 기법을 선택하는 것, 그리고 특히 검출/분류를 위해 컨볼루션 신경망(convolutional neural network, CNN)을 사용하는 것이 가능할 수 있다.

단계 (c)는 상기 생체 특징을 포함할 가능성이 있는 관심 영역의 각각의 이미지(및 우선적으로 깊이 이미지)에서의 사전 식별을 포함할 수 있다. 관심 영역은 의미상으로 더 관심을 끄는, 그리고 그에 대해 원하는 생체 특징이 발견될 것으로(그리고 이러한 관심 영역 밖에서는 발견되지 않을 것으로) 추정되는 하나(또는 그 초과, 관심 영역은 반드시 연속적인 단위는 아님)의 공간 구역을 의미하는 것으로 이해된다.

이에 따라, 방사선 이미지에서 직접 관심 영역을 식별하려고 시도하는 것이 잘 알려져 있지만, 깊이 이미지가 선택되면 깊이 이미지에서 그것을 행하는 것이 상당히 더 쉽다.

● 후자는 노출에 의해 약간만 영향을 받는다(깊이 이미지는 밝기에 의존하는 어떠한 정보도 포함하지 않는다);

● 별개의 객체들 그리고 특히 배경에 있는 것들에 관하여 전경에 있는 것들을 쉽게 분리하는 것을 가능하게 하기 때문에 매우 차별적이다.

이를 위해, 상기 관심 영역은 유리하게는 미리 결정된 범위 내의 깊이 값과 연관된 상기 깊이 이미지의 픽셀들 전부, 유리하게는 가장 가까운 픽셀들로서 식별된다. 이것은, 선택적으로 (예를 들어 동일한 거리에 있을 수 있거나 있지 않을 수 있는 몇몇 안면들에 대응하는 몇몇 별개의 관심 영역을 갖는 것을 회피하기 위해) 픽셀들을 객체들 또는 블롭(blob)들로 집계하는 것을 가능하게 하는 알고리즘과 조합된, 단말기(1)로부터 원하는 거리에 있는 객체들을 필터링하는 것을 가능하게 하는, 깊이 이미지의 단순 임계화(simple thresholding)이다.

바람직하게는, 범위 [0; 2 m] 또는 심지어 [0; 1 m]가 예를 들어 벽-장착식 단말기(1)의 경우에 사용될 것이지만, 경우에 따라, 이러한 범위를 변경하는 것이 가능할 수 있다(예를 들어 스마트폰 타입 개인용 단말기의 경우에, 이것은 50 cm로 제한될 수 있다).

대안적으로 또는 추가적으로, 상기 생체 특징, 예를 들어 가장 가까운 인간 모습을 포함할 가능성이 있는 상기 관심 영역을 식별하기 위해 이미지들에 대해 (예를 들어 컨볼루션 신경망(CNN)을 통해) 검출/분류 알고리즘을 구현하는 것이 가능하다.

모든 경우에, 검출 면적을 감소시키기 위해 선택된 다른 이미지들에 적용될 수 있는, 이미지들 중 하나의 또는 다른 이미지에서 하나 이상의 관심 구역을 정의하는 하나 이상의 마스크를 획득하는 것이 가능하다.

종래 방식으로, 단계 (c)는 또한 식별된 관심 영역에 관하여 선택된 각각의 이미지의 노출의 적응을 포함할 수 있다. 이것을 행하기 위해, 설명된 바와 같이, 전체 이미지의 노출은 고려되는 구역의 노출에 관하여 정상화된다: 이에 따라, 관심 영역 내의 픽셀들은, 해당되는 경우 이미지의 나머지의 피해가 발생하는 정도까지, 최적의 방식으로 노출되는 것에 의심의 여지가 없지만, 이것은 가시 이미지의 이러한 나머지에서의 정보가 거부되었기 때문에 중요하지 않다.

이에 따라:

● 이미지들 중 일부만이 분석될 필요가 있기 때문에 검출 알고리즘의 시간 및 복잡성이 감소된다;

● 선택되지 않은 부분에서의 허위 양성의 위험이 제거된다(검출 CNN이 사용되는 경우 공통);

● 검출 조건이 관심 영역에서 최적이고 그에 따라 거기에서의 검출 성능이 최적이다는 것에 의심의 여지가 없다.

융합

이어서, 단계 (d)에서, 검출된 생체 특징(들)의 융합이 수행되는데, 즉 이미지들 중 하나의 또는 다른 이미지에 대한 다양한 검출 결과들의 매칭이 수행되어, 검출 "박스", 예를 들어 안면을 둘러싸는 직사각형의 형태로 잠재적인 생체 특징을 개괄적으로 식별한다.

실제로, 검출이 독립적으로 수행된 몇몇 이미지들이 있는 한, 동일한 특징이 상이한 이미지들에서 검출되었거나, 반대로 상이한 특징들이 검출되었을 가능성이 있다.

심지어 이러한 단계에서 몇몇 "후보" 생체 특징들이 동일한 가시, 적외선 또는 깊이 이미지에서 검출될 가능성이 상당하다.

융합의 목적은 한편으로는 모든 후보 생체 특징들(즉, 적어도 하나의 이미지에서 검출된)을 수집함으로써 스트림들을 "집계"하면서, "최상의" 후보들(몇몇 이미지들에서 검출되고, 카메라들에 관한 올바른 위치, 올바른 거리 등과 같은 소정의 추가적인 특성들을 갖는 것들)을 식별하는 것이다.

선택된 이미지들의 수에 따라, 상기 융합은 먼저 유리하게는 2D 스트림들(즉, 가시 이미지 및 적외선 이미지) 사이에서 수행되고 3D 스트림(깊이 이미지)으로 코팅된다.

이를 위해, 제1, 제2 및 제3 광학적 취득 수단들(13a, 13b, 13c)은 거의 동시에 데이터를 취득하기 위해 우선적으로 동기화된다. 가시 이미지 및 깊이 이미지는 실질적으로 동일한 순간에(몇 밀리초 또는 수십 밀리초 이내) 개인을 나타내야 하지만, 이들 수단(13a, 13b, 13c)을 완전히 독립적인 방식으로 동작시키는 것이 여전히 완전히 가능하다(아래 참조).

특히 3개의 이미지가 실질적으로 동일한 시점 및 동일한 방향을 갖는 경우, 검출된 특징들의 좌표를 직접 비교함으로써 검출들의 융합이 수행될 수 있다.

대안적으로, 픽셀 좌표들은, 당업자에게 알려진 방식으로, 카메라들의 위치들 및 배향들을 고려하여 이미지의 하나의 검출로부터 다른 검출로 전치된다. 예를 들어, 이것은 카메라 시스템들의 특성들을 자동으로 학습함으로써 수행될 수 있다(초점 거리 및 왜곡과 같은 카메라 고유의 파라미터들, 및 위치 및 배향과 같은 외적 파라미터들). 이러한 학습은 한 번만 수행되고 그 후 이미지 처리 동안 계산들에 의해 "투영(projection)"(재교정)을 수행하는 것을 가능하게 한다.

단일 이미지가 선택되는 경우에, 융합은 거의 중요하지 않은 것으로 이해된다: 하나 이상의 최상의 후보가 여전히 선택될 수 있을지라도, 이 이미지에서 검출된 생체 특징(들)이 유지된다.

검출을 위한 "최상의 후보들"의 선택에 관하여, 수많은 기법들이 당업자에게 알려져 있으며, 예를 들어 다양한 기준에 따라 검출들을 분류하는 것, 또는 심지어 이들 검출이 무기한 계속되는지를 알아보기 위해 추적 알고리즘들을 사용하는 것 등등이 가능할 수 있다.

바람직하게는, 단계 (d)는 깊이 이미지에 기초하여 검출된 생체 특징의 진정성의 검증을 추가로 포함한다.

아이디어는, 깊이 이미지에 기초하여, 특히 융합 후에, 검출된 생체 특징들의 전부 또는 일부에 대해 스푸핑 방지(anti-spoofing)를 수행하는 것이다.

실제로, 스푸핑은 주로 가시 또는 적외선 이미지에서 검출 알고리즘들을 속일 수 있지만, 특히 [도 3d]의 예에서 보이는 바와 같이, 깊이 이미지에서 식별하기가 쉬운 플랫 마스크(flat mask)들 또는 세미-플랫 마스크(semi-flat mask)들과 관련이 있다.

식별 및 인증

마지막으로, 단계 (e)에서, 엄밀히 말해서 상기 개인의 인증 또는 식별이 검출된 생체 특징(들)의 융합의 결과에 기초하여, 예를 들어 각각의 이미지의 최상의 후보 생체 특징에 기초하여 수행된다.

보다 정확하게는, 설명된 바와 같이, 검출된 상기 생체 특징은 후보 생체 데이터인 것으로 간주되고, 그것은 데이터 저장 수단(12)의 데이터베이스 내의 하나 이상의 참조 생체 데이터와 비교된다.

그 후 행해질 필요가 있는 모든 것은 이러한 후보 생체 데이터가 그/하나의 참조 생체 데이터와 매칭하는지를 체크하는 것이다. 알려진 방식으로, 후보 생체 데이터와 참조 생체 데이터는 주어진 비교 함수에 따른 그들의 거리가 미리 결정된 임계치 미만이면 매칭한다.

후보 생체 특징이 선택된 몇몇 이미지에서 발견되는 경우에, 이러한 비교는 선택된 이미지들이 있는 만큼 여러 번 수행된다. 실제로, 스트림 타입들(가시, 적외선, 깊이)이 있는 만큼 많은 참조 생체 데이터베이스를 갖는 것이 가능하고, 식별/인증이 확인되기 위해, 이것은 선택된 각각의 이미지에 대해 행해져야 한다.

이에 따라, 비교의 구현은 전형적으로 데이터 사이의 거리 - 그의 정의는 고려되는 생체 데이터의 특성에 기초하여 달라진다 - 의 계산을 포함한다. 거리의 계산은 생체 데이터의 컴포넌트들 사이의 다항식의 계산, 그리고 유리하게는 스케일러 곱의 계산을 포함한다.

예를 들어, 생체 데이터가 홍채의 이미지들로부터 획득된 경우에, 2개의 데이터를 비교하기 위해 사용되는 종래의 거리는 해밍 거리(Hamming distance)이다. 생체 데이터가 개인 안면의 이미지들로부터 획득된 경우에, 유클리드 거리(Euclidean distance)를 사용하는 것이 일반적이다.

이러한 타입의 비교는 당업자에게 알려져 있으며 이하에서 더 상세히 설명되지 않을 것이다.

비교가 후보 데이터와 그/하나의 참조 데이터 사이의 유사성의 비율이 소정 임계치 - 그의 정의는 각각의 이미지에 대한 계산된 거리에 의존함 - 를 초과함을 나타내는 경우 개인은 인증/식별된다.

단말기

제2 태양에 따르면, 본 발명은 제1 태양에 따른 방법의 구현을 위한 단말기(1)에 관한 것이다.

단말기(1)는 프로세서 타입의 데이터 처리 수단(11), 유리하게는 (가시 이미지의 취득을 위한) 제1 광학적 취득 수단(13a) 및/또는 (적외선 이미지의 취득을 위한) 제2 광학적 취득 수단(13b) 및/또는 (깊이 이미지의 취득을 위한) 제3 광학적 취득 수단(13c), 및 해당되는 경우 참조 생체 데이터베이스를 저장하는 데이터 저장 수단(12)을 포함한다.

데이터 처리 수단(11)은 다음을 구현하도록 구성된다:

● 주위 조명 조건에 기초한 상기 가시 이미지들, 적외선 이미지 및 깊이 이미지 중 적어도 하나의 선택;

● 검출된 생체 특징 또는 특징들의 융합;

● 검출된 생체 특징 또는 특징들의 융합의 결과에 기초한 상기 개인의 인증 또는 식별.

제3 및 제4 태양들에 따르면, 본 발명은 개인의 인증 또는 식별을 위한 본 발명의 제1 태양에 따른 방법의 실행(특히 단말기(1)의 데이터 처리 수단(11) 상에서)을 위한 코드 명령어들을 포함하는 컴퓨터 프로그램 제품뿐만 아니라, 이러한 컴퓨터 프로그램 제품이 위치되는 컴퓨터 장비에 의해 판독 가능한 저장 수단(단말기(2)의 메모리(12))에 관한 것이다.

Claims

개인의 인증 또는 식별을 위한 방법에 있어서, 상기 방법은, 단말기(1)의 데이터 처리 수단(11)에 의한,
(a) 가시 이미지, 적외선 이미지 및 깊이 이미지 - 상기 이미지 각각에서 상기 개인의 생체 특징이 나타남 - 의 획득 단계;
(b) 주위 조명 조건들에 기초한 상기 가시 이미지들, 적외선 이미지 및 깊이 이미지 중 적어도 하나의 선택 단계;
(c) 선택된 각각의 이미지에서의 상기 개인의 상기 생체 특징의 검출 단계;
(d) 검출된 상기 생체 특징 또는 특징들의 융합 단계;
(e) 검출된 상기 생체 특징 또는 특징들의 상기 융합의 결과에 기초한 상기 개인의 인증 또는 식별 단계
의 구현을 포함하는 것을 특징으로 하는, 방법.
제1항에 있어서, 상기 단계 (a)는 상기 단말기(1)의 제1 광학적 취득 수단(13a)에 의해 취득된 데이터로부터의 상기 가시 이미지의 취득, 상기 단말기(1)의 제2 광학적 취득 수단(13b)에 의해 취득된 데이터로부터의 상기 적외선 이미지의 취득, 및/또는 상기 단말기(1)의 제3 광학적 취득 수단(13c)에 의해 취득된 데이터로부터의 상기 깊이 이미지의 취득을 포함하는, 방법.
제1항 또는 제2항에 있어서, 단계 (b)에서, 주위 조도 값이 제1의 미리 결정된 임계치보다 높은 경우 상기 가시 이미지가 선택되고/되거나, 상기 주위 조도 값이 제2의 미리 결정된 임계치보다 낮은 경우 상기 적외선 이미지가 선택되고/되거나, 상기 주위 조도 값이 제3의 미리 결정된 임계치보다 낮은 경우 상기 깊이 이미지가 선택되는, 방법.
제3항에 있어서, 단계 (b)에서, 주위 조도 값이 상기 제1의 미리 결정된 임계치보다 높은 경우에만 상기 가시 이미지가 선택되고, 상기 주위 조도 값이 상기 제2의 미리 결정된 임계치보다 낮은 경우에만 상기 적외선 이미지가 선택되고, 상기 주위 조도 값이 상기 제3의 미리 결정된 임계치보다 낮은 경우에만 상기 깊이 이미지가 선택되는, 방법.
제3항 또는 제4항에 있어서, 상기 제3의 미리 결정된 주위 조명 임계치는 상기 제1의 미리 결정된 주위 조명 임계치와 실질적으로 동일한, 방법.
제3항 내지 제5항 중 어느 한 항에 있어서, 상기 제2의 미리 결정된 주위 조명 임계치 및/또는 상기 제3의 미리 결정된 주위 조명 임계치는 상기 제2의 미리 결정된 임계치보다 적어도 100배 더 큰, 방법.
제1항 내지 제6항 중 어느 한 항에 있어서, 단계 (d)는 상기 깊이 이미지에 기초한 검출된 상기 생체 특징(들)의 진정성(authenticity)의 검증을 추가로 포함하는, 방법.
제1항 내지 제7항 중 어느 한 항에 있어서, 상기 가시 이미지, 상기 적외선 이미지 및 상기 깊이 이미지는 실질적으로 동일한 시점(viewpoint)을 갖는, 방법.
제1항 내지 제8항 중 어느 한 항에 있어서, 상기 개인의 상기 생체 특징은 상기 개인의 안면 및 홍채로부터 선택되는, 방법.
제1항 내지 제9항 중 어느 한 항에 있어서, 단계 (e)는 검출된 상기 생체 특징과 데이터 저장 수단(12)에 저장된 참조 생체 데이터의 비교를 포함하는, 방법.
제1항 내지 제10항 중 어느 한 항에 있어서, 단계 (e)는 상기 생체 식별 또는 인증의 결과에 기초한 접근 통제의 구현을 포함하는, 방법.
단말기(1)로서,
● 가시 이미지, 적외선 이미지 및 깊이 이미지 - 상기 이미지 각각에서 상기 개인의 생체 특징이 나타남 - 의 획득;
● 주위 조명 조건들에 기초한 상기 가시 이미지들, 적외선 이미지 및 깊이 이미지 중 적어도 하나의 선택;
● 선택된 각각의 이미지에서의 상기 개인의 상기 생체 특징의 검출;
● 검출된 상기 생체 특징 또는 특징들의 융합;
● 검출된 상기 생체 특징(들)의 상기 융합의 결과에 기초한 상기 개인의 인증 또는 식별
을 구현하도록 구성된 데이터 처리 수단(11)을 포함하는, 단말기(1).
제10항에 있어서, 상기 가시 이미지의 취득을 위한 제1 광학적 취득 수단(13a), 및/또는 상기 적외선 이미지의 취득을 위한 제2 광학적 취득 수단(13b), 및/또는 상기 깊이 이미지의 취득을 위한 제3 광학적 취득 수단(13c)을 포함하는, 단말기.
개인의 인증 또는 식별을 위한 제1항 내지 제11항 중 어느 한 항에 따른 방법의 실행을 위한 코드 명령어들을 포함하는 컴퓨터 프로그램 제품으로서, 상기 방법은 컴퓨터 상에서 실행되는, 컴퓨터 프로그램 제품.
컴퓨터 프로그램 제품이 개인의 인증 또는 식별을 위한 제1항 내지 제11항 중 어느 한 항에 따른 방법의 실행을 위한 코드 명령어들을 포함하는, 컴퓨터 장비에 의해 판독 가능한 저장 수단.