KR20230004259A - 얼굴 인증 시스템 - Google Patents

Abstract

장착물을 착용한 상태의 얼굴 화상을 사용하여 개인을 식별하는 경우에 있어서, 얼굴 파트의 개인차 또는 얼굴 방향의 변동에 대하여 로버스트한 얼굴 인증 시스템을 제공한다.
본 발명에 관한 얼굴 인증 시스템은, 장착물 화상을 개인의 얼굴 형상과 적합하도록 변형한 합성 화상을 사용하여, 상기 개인을 식별한다.

Description

얼굴 인증 시스템{FACE AUTHENTICATION SYSTEM}

본 발명은, 얼굴 화상을 사용하여 개인을 식별하는 얼굴 인증 시스템에 관한 것이다.

생체 정보를 사용하는 바이오메트릭스 인증 중 하나인 얼굴 인증 기술은, 미리 개인 유저의 얼굴 화상을 등록해 두고, 인증 시에 추출한 얼굴 화상과 미리 등록한 얼굴 화상을 대조함으로써, 당해 인물이 본인인지 여부를 판정하는 기술이다. 얼굴 인증 기술은, 떨어진 장소로부터 얼굴 화상을 촬영할 수 있으므로, 비접촉으로 인증을 실시할 수 있고, 또한 지문 인증 등과 달리 유저가 인증 동작을 필요로 하지 않는 이점이 있다. 얼굴 인증은, 오피스, 교육 기관, 이벤트회장 등에 있어서의 입퇴출 관리나, 감시 카메라 영상을 사용한 감시 경비 용도 등, 활용의 장소가 확대되고 있다.

특히, 근년, COVID19의 영향에 의해, 마스크나 고글을 착용한 채 본인 확인을 하는 요구가 높아져, 마스크 등의 장착물 착용 시에도 얼굴 인증 가능한 시스템이 요구되고 있다.

상기한 과제에 대하여, 예를 들어 특허문헌 1에서는, 대조 시에 사용하는 등록 얼굴 화상으로서, 맨얼굴 화상에 마스크나 모자 등의 장착물 화상을 합성한 화상을 사용함으로써, 등록 시의 유저 부담이 적고, 장착물을 착용한 상태에서의 얼굴 인증을 행하는 기술을 개시하고 있다.

일본 특허 공개 제2015-088095호 공보

특허문헌 1에 기재되어 있는 방법은, 장착물 화상을 그대로 맨얼굴 화상에 합성하므로, 얼굴 파트의 개인차(배치, 크기, 형상 등)나, 얼굴 방향의 변화(요, 롤, 피치 방향의 각도로의 회전)에 대응한 장착물 화상을 생성할 수 없어, 얼굴의 상태의 변화에 대한 로버스트성이 낮다. 또한, 사이니지를 사용한 복수인 동시 인증이나, 감시 카메라를 사용한 얼굴 인증의 용도에 있어서는, 인증 시의 얼굴 방향의 상태는 정면 얼굴에 한정되지 않고, 얼굴이 다양한 방향을 향하고 있는 것이 상정된다. 따라서, 얼굴 방향에 대한 로버스트성이 높은 얼굴 인증 시스템이 요망된다.

본 발명은, 상기와 같은 과제를 감안하여 이루어진 것이고, 장착물을 착용한 상태의 얼굴 화상을 사용하여 개인을 식별하는 경우에 있어서, 얼굴 파트의 개인차 또는 얼굴 방향의 변동에 대하여 로버스트한 얼굴 인증 시스템을 제공하는 것을 목적으로 한다.

본 발명에 관한 얼굴 인증 시스템은, 장착물 화상을 개인의 얼굴 형상과 적합하도록 변형한 합성 화상을 사용하여, 상기 개인을 식별한다.

본 발명에 관한 얼굴 인증 시스템에 의하면, 장착물을 착용한 상태의 얼굴 화상을 사용하여 개인을 식별하는 경우에 있어서, 얼굴 파트의 개인차 또는 얼굴 방향의 변동에 대한 로버스트성을 향상시켜, 고정밀도의 얼굴 인증 시스템을 제공할 수 있다.

도 1은 실시 형태 1에 관한 얼굴 인증 시스템(1)의 전체 구성을 나타낸 블록도이다.
도 2a는 맨얼굴 화상(401)의 예이다.
도 2b는 장착물 화상(402)의 예이다.
도 2c는 합성 화상(403)의 예이다.
도 3은 얼굴 화상 등록부(220) 및 얼굴 화상 대조부(320)의 내부 구성을 나타낸 블록도이다.
도 4는 얼굴 등록 시의 맨얼굴 화상(401)을 등록하는 처리를 설명하는 흐름도이다.
도 5는 맨얼굴 화상(401)으로부터 합성 화상(403)을 생성하는 프로세스를 나타낸 도면이다.
도 6은 맨얼굴 화상(401)으로부터 합성 화상(403)을 생성하여, 데이터 저장부(400)에 기록하는 처리를 설명하는 흐름도이다.
도 7은 얼굴 인증 시의 처리를 설명하는 흐름도이다.
도 8a는 정면으로부터 요 방향으로 얼굴을 기울인 경우의 유사도의 비교 결과를 나타낸 도면이다.
도 8b는 정면으로부터 롤 방향으로 얼굴을 기울인 경우의 유사도의 비교 결과를 나타낸 도면이다.
도 9는 실시 형태 2에 있어서의 얼굴 인증 시스템(1)의 상세 구성을 나타낸 도면이다.
도 10은 실시 형태 2에 있어서의 얼굴 등록 시의 처리를 설명하는 흐름도이다.
도 11은 실시 형태 2에 있어서의 얼굴 인증 시의 처리를 설명하는 흐름도이다.
도 12는 실시 형태 3에 관한 얼굴 인증 시스템(1)의 구성도이다.
도 13은 얼굴 인증 시스템(1)의 내부 처리 블록을 나타낸 도면이다.
도 14는 얼굴 등록 시에 있어서 합성 화상(403)을 생성·등록하는 처리를 설명하는 흐름도이다.
도 15는 실시 형태 3에 있어서의 얼굴 인증부(300)의 구성도이다.
도 16은 실시 형태 3에 있어서의 얼굴 인증 시의 동작을 나타내는 흐름도이다.
도 17은 실시 형태 4에 있어서의 얼굴 인증부(300)의 구성도이다.
도 18은 실시 형태 4에 있어서의 인증 시의 동작을 설명하는 흐름도이다.
도 19는 실시 형태 5에 있어서의 얼굴 등록부(200)의 구성도이다.
도 20은 실시 형태 5의 효과를 나타낸 도면이다.
도 21은 실시 형태 5에 있어서의 얼굴 인증부(300)의 구성도이다.

<실시 형태 1>

도 1은, 본 발명의 실시 형태 1에 관한 얼굴 인증 시스템(1)의 전체 구성을 나타낸 블록도이다. 얼굴 인증 시스템(1)은, 얼굴 화상을 사용하여 개인을 식별하는 시스템이다. 얼굴 인증 시스템(1)은, 촬상부(100), 얼굴 등록부(200), 얼굴 인증부(300) 및 데이터 저장부(400)를 구비한다.

얼굴 등록부(200)는, 얼굴 영역 검출부(210) 및 얼굴 화상 등록부(220)를 구비한다. 얼굴 인증부(300)는, 얼굴 영역 검출부(310) 및 얼굴 화상 대조부(320)를 구비한다. 데이터 저장부(400)는, 맨얼굴 화상(401), 장착물 화상(402), 합성 화상(403)을 저장한다. 얼굴 등록부(200)와 얼굴 인증부(300)는, 모두 후술하는 바와 같이 맨얼굴 화상(401)과 장착물 화상(402)을 합성함으로써 합성 화상(403)을 생성하는 경우가 있으므로, 합성 화상(403)을 생성하는 「합성부」로서의 역할을 가질 수 있다.

촬상부(100)는, xy 방향으로 휘도 정보가 저장된 2차원 화상, 혹은 xy 방향의 휘도 정보에 더하여 z방향의 거리(뎁스) 정보가 저장된 3차원 화상을 취득할 수 있는 것이면 된다.

합성 화상(403)은, 장착물 화상(402)을 맨얼굴 화상(401)에 적합하도록 가공하여, 맨얼굴 화상(401)에 합성한 것이다. 가공예에 대해서는 후술한다. 합성 화상(403)은, 마스크, 안경, 선글라스, 고글, 모자 등의 외적 장착물의 종류별로 복수 저장해도 된다. 동일 종류의 장착물에 대하여, 형상 패턴이 복수 있는 경우, 형상 패턴별로 합성 화상(403)을 생성해도 된다. 예를 들어, 장착물이 마스크라면, 평형 마스크 혹은 입체형 마스크 등이고, 안경이라면, 렌즈의 형상이 스퀘어형 혹은 라운드형 등의 패턴이다. 또한, 복수 종류의 외적 장착물을 동시에 합성해도 된다. 예를 들어, 마스크 및 고글을 합성하는 것 등이다. 본 발명에 있어서는, 맨얼굴 화상(401), 장착물 화상(402) 및 합성 화상(403)은 2차원 화상, 3차원 화상의 어느 것이어도 되고, 화상 형태가 아니라 특징 벡터량이어도 된다.

얼굴 인증 시스템(1)은, 데이터 저장부(400)를 2개 이상 구비하여, 데이터의 종류에 따라 데이터 저장부(400)를 구분지어 사용해도 된다. 예를 들어, 맨얼굴 화상(401), 장착물 화상(402) 및 합성 화상(403)을 각각 외부의 다른 데이터 저장부(400)에 등록하고, 데이터 기지국(2)으로부터 무선으로 수신하는 형태여도 된다.

얼굴 등록 시의 동작을 설명한다. 촬상부(100)가 촬영한 촬영 화상은, 얼굴 등록부(200) 내의 얼굴 영역 검출부(210)로 보내진다. 얼굴 영역 검출부(210)는 촬영 화상으로부터 맨얼굴 화상을 추출하여, 얼굴 화상 등록부(220)에 입력한다. 얼굴 화상 등록부(220)는, 입력된 맨얼굴 화상을 유저의 등록 얼굴 데이터로서 데이터 저장부(400)에 기록한다. 등록 얼굴 데이터는, 맨얼굴 화상(401) 및 합성 화상(403)을 가리키고, 한쪽만 혹은 동시에 기록해도 된다. 합성 화상(403)은, 장착물의 종류에 따라 복수 종류 동시에 기록해도 된다.

얼굴 인증 시의 동작을 설명한다. 촬상부(100)가 촬영한 촬영 화상은, 얼굴 인증부(300) 내의 얼굴 영역 검출부(310)로 보내진다. 얼굴 영역 검출부(310)는 촬영 화상으로부터 얼굴 화상을 추출하여, 얼굴 화상 대조부(320)에 입력한다. 얼굴 영역 검출부(310)가 추출하는 얼굴 화상은, 맨얼굴 또는 장착물 착용 시의 경우의 어느 쪽이어도 되고, 인증 시에 있어서의 유저의 얼굴의 상태에 의존한다. 얼굴 화상 대조부(320)는, 데이터 저장부(400)로부터, 맨얼굴 화상(401) 또는 합성 화상(403) 중 하나 혹은 복수를 취득한다. 얼굴 화상 대조부(320)는, 취득한 등록 얼굴 데이터와, 인증 시에 촬영 화상으로부터 추출한 얼굴 화상 각각의 사이의 얼굴 화상 대조 처리를 실시하여, 대조에 의한 인증 결과를 출력 디바이스 또는 다른 시스템에 출력한다. 구체적으로는, 얼굴 화상 대조부(320)는, 얼굴 영역 검출부(310)가 추출한 얼굴 화상과, 데이터 저장부로부터 취득하는 하나 혹은 복수의 등록 얼굴 데이터 각각의 사이의 유사도를 계산하여, 어느 유사도가 규정에 도달하고 있는 경우, 당해 유저가 등록 유저라고 인증한다.

도 2a는, 맨얼굴 화상(401)의 예이다. 맨얼굴 화상(401)은, 외면적인 장착물을 착용하고 있지 않은 상태의 얼굴 화상이고, 피사체가 메이크 등을 하고 있어도 맨얼굴 화상으로 한다.

도 2b는, 장착물 화상(402)의 예이다. 장착물 화상(402)은, 장착물 단품의 화상이다. 여기서 말하는 장착물은, 마스크, 선글라스, 고글, 안경, 모자 등과 같이, 맨얼굴(인증 대상자의 머리부)에 장착하는 외적인 인공물이며, 얼굴 인증을 하는 데 있어서 방해가 되는 물품인 것으로 한다.

도 2c는, 합성 화상(403)의 예이다. 합성 화상(403)은, 얼굴의 파트나 얼굴의 방향에 맞도록 장착물 화상(402)을 가공하여, 맨얼굴 화상(401)에 딱 맞도록 합성한 것이다. 예를 들어, 맨얼굴 화상(401)이 요축을 중심으로 하여 회전하고 있는 경우, 장착물 화상(402)을 마찬가지로 요축 중심으로 회전시켜 맨얼굴 화상(401)과 합성함으로써, 합성 화상(403)을 생성할 수 있다.

본 실시 형태는, 입력하는 생체 정보와 대조하는 생체 정보가 일대 일의 관계인 1:1 인증, 입력하는 생체 정보와 비교하는 생체 정보가 많이 존재하는 1대 N의 관계인 1:N 인증의 어느 쪽에도 적응할 수 있다. 1:1 인증에 있어서는, 예로서 카드와 생체 정보를 사용하여, 입력된 생체 정보를 카드에 등록되어 있는 생체 정보와 대조한다. 1:N 인증에 있어서는, 입력된 생체 정보를 데이터베이스에 등록되어 있는 모든 생체 정보와 순차 비교하여, 가장 가까운 유저를 일의적으로 특정한다.

도 3은, 얼굴 화상 등록부(220) 및 얼굴 화상 대조부(320)의 내부 구성을 나타낸 블록도이다. 얼굴 화상 등록부(220)는, 얼굴 랜드마크 검출부(221), 장착물 화상 가공부(222), 인증 데이터 생성부(223)를 구비한다. 얼굴 화상 대조부(320)는, 인증 데이터 생성부(321)를 구비한다. 이들 기능부의 동작에 대해서는 후술한다.

도 4는, 얼굴 등록 시의 맨얼굴 화상(401)을 등록하는 처리를 설명하는 흐름도이다. 촬상부(100)가 촬영한 촬영 화상은, 얼굴 영역 검출부(210)에 입력된다(S401). 얼굴 영역 검출부(210)는, 촬영 화상으로부터 등록 대상인 유저의 얼굴 영역을 추출하여 맨얼굴 화상을 생성한다(S402). 생성한 맨얼굴 화상은 인증 데이터 생성부(223)로 보내진다. 인증 데이터 생성부(223)는, 맨얼굴 화상에 기초하여 인증 데이터를 생성하여(S403), 데이터 저장부(400)에 기록한다(S404). 인증 데이터는, 합성 화상(403) 그 자체여도 되고, 그 특징량을 인증 데이터로서 사용해도 된다. 전자의 경우는 합성 화상(403)과 촬상 화상을 대조하고, 후자의 경우는 합성 화상(403)의 특징량과 촬상 화상의 특징량을 대조하게 된다.

S402에 있어서는, 촬영 화상에 있어서의 휘도 정보(혹은 거리 정보 또는 그것들의 조합이어도 됨)로부터 얼굴 영역에 상당하는 화상 영역을 특정하고, 당해 화상 영역을 촬영 화상으로부터 잘라내어, 얼굴 화상을 생성한다. S402에 있어서, 촬영 화상으로부터 잘라낸 얼굴 영역으로부터 얼굴 화상을 생성할 때, 얼굴 화상을 얼굴 인증에 있어서 더 적절한 상태로 처리하기 위한 처리 과정을 하나 이상 포함해도 된다. 예를 들어, 화상 사이즈 변환, 화상 회전, 아핀 변환, Free Form Deformation(FFD)법 등에 기초하는 비강체 변형법에 의한 얼굴 방향 각도 변형, 얼굴 화상에 포함되는 노이즈 및 흐려짐 제거, 콘트라스트 조정, 변형 보정, 배경 영역 제거 등을 사용할 수 있다.

S402에 있어서의 얼굴 영역 검출 처리 방법에 대해서는, 공지의 방법을 사용할 수 있다. 예를 들어, Haar-like 특징량을 사용한 Viola-Jopnes법, 혹은 Neural Network(이하, NN) 모델에 기초하는 검출기를 사용할 수 있다.

S403에 있어서 생성되는 인증 데이터는, 얼굴 인증부(300)가 채용하는 알고리즘에 적합한 형식으로 변환한 것이고, 특징 벡터량이어도 되고 화상 형태여도 된다. 이하에, 특징 벡터를 생성하는 경우의 예를 설명한다. 인증 데이터 생성부(223)는, 수취한 맨얼굴 화상을 소정의 특징 추출기에 입력함으로써, 당해 얼굴 화상의 특징을 나타내는 특징 벡터를 생성한다. 특징 추출기의 예로서, 학습 데이터에 의해 학습한 NN 모델에 기초하는 것, 혹은 Local Binary Patterns에 기초하는 알고리즘 등을 사용할 수 있다. 복수의 등록 얼굴 화상을 동시에 특징 추출기에 입력하여, 통합적인 특징 벡터량을 생성해도 된다. 예를 들어, 맨얼굴 화상(401) 및 복수 종류의 합성 화상(403)의 조합 등을 동시에 특징 추출기에 입력하여 특징 벡터를 생성한다. 복수의 등록 얼굴 화상의 각각에 대응한 특징 벡터에, 소정의 가중치를 곱하여 합산한 것을 특징 벡터량이라고 해도 된다.

S404에 있어서, 데이터 저장부(400)에 데이터를 기록할 때, 시큐리티 향상을 위한 암호화 처리 등을 실시해도 된다.

도 5는, 맨얼굴 화상(401)으로부터 합성 화상(403)을 생성하는 프로세스를 나타낸 도면이다. 얼굴 랜드마크 검출부(221)는, 맨얼굴 화상(401)으로부터 얼굴 랜드마크(401-1)를 검출한다. 얼굴 랜드마크는, 얼굴 화상 위에 있어서의 기준점이다. 장착물 화상 가공부(222)는, 얼굴 랜드마크(401-1)의 위치에 대하여 적합하도록 장착물 화상(402)을 변형함으로써, 가공 후 장착물 화상(402-1)을 생성한다. 인증 데이터 생성부(223)는, 맨얼굴 화상(401)과 가공 후 장착물 화상(402-1)을 합성함으로써, 합성 화상(403)을 생성한다. 합성 수순은 이하와 같다.

(합성 수순: 제1) 얼굴 랜드마크 검출부(221)는, 얼굴 랜드마크에 기초하여 얼굴의 회전 각도(요, 롤, 피치 중 어느 하나 이상의 조합)를 검출한다. 장착물 화상 가공부(222)는, 얼굴의 회전 각도와 합치하도록, 장착물 화상(402)을 회전시킨다.

(합성 수순: 제2) 장착물 화상 가공부(222)는, 장착물 화상(402)의 종방향 사이즈와, 얼굴 랜드마크 중 장착물을 장착하는 장착 위치의 종방향 사이즈가 일치하도록, 장착물 화상을 변형한다. 예를 들어, 마스크의 정상부(코를 덮는 부분의 가장 돌출된 개소)와 마스크의 저부 사이의 거리를, 장착물 화상(402)의 종방향 사이즈로 할 수 있다. 예를 들어, 코 랜드마크의 위로부터 3번째와 턱 랜드마크의 턱끝에 위치하는 점 사이의 거리를, 장착 위치의 종방향 사이즈로 할 수 있다. 양 사이즈가 일치하도록, 장착물 화상(402)을 위치 정렬한다. 필요에 따라 아핀 변환, 호모그래피 변환, 혹은 그것들의 조합을 사용해도 된다.

(합성 수순: 제3) 장착물 화상 가공부(222)는, 장착물 화상(402)의 횡방향 사이즈와, 얼굴 랜드마크 중 장착물을 장착하는 장착 위치의 횡방향 사이즈가 일치하도록, 장착물 화상을 변형한다. 예를 들어, 마스크의 좌우 단부 사이의 거리를, 장착물 화상(402)의 횡방향 사이즈로 할 수 있다. 예를 들어, 좌우 양단의 얼굴 랜드마크 사이의 거리를, 장착 위치의 횡방향 사이즈로 할 수 있다. 양 사이즈가 일치하도록, 장착물 화상(402)을 위치 정렬한다. 필요에 따라 아핀 변환, 호모그래피 변환, 혹은 그것들의 조합을 사용해도 된다.

(합성 수순: 제4) 장착물 화상 가공부(222)는, 상기 수순 제2와 제3을, 장착물 화상(402)을 복수 영역으로 분할하여 실시해도 된다. 예를 들어, 우측 절반과 좌측 절반으로 나누어 각각 실시해도 된다. 즉, 장착물 화상(402)의 좌측 절반과 우측 절반의 각각에 대하여, 장착물 화상(402)의 종방향 사이즈와 장착 위치의 종방향 사이즈를 일치시킴과 함께, 장착물 화상(402)의 횡방향 사이즈와 장착 위치의 횡방향 사이즈를 일치시키도록, 장착물 화상(402)을 변형해도 된다. 이 경우의 횡방향 사이즈는, 예를 들어 코 랜드마크의 위로부터 3번째와 턱 랜드마크의 턱끝에 위치하는 점을 연결한 직선과 얼굴 랜드마크의 우측단(혹은 좌측단)의 점에 있어서의, 점과 직선의 거리로 할 수 있다. 예를 들어, 가공 후 장착물 화상(402-1)과 같이, 회전 중심에 대하여 화상이 좌우 대칭이 아닌 경우에 있어서는, 이렇게 장착물 화상(402)의 좌측 절반과 우측 절반의 각각에 대하여 개별의 변형을 실시하는 것이 유용하다.

(합성 수순: 보충 1) 이상은 장착물이 마스크인 경우를 예시했지만, 그 이외의 장착물에 있어서도, 상기 수순을 사용할 수 있다. 즉, 얼굴의 회전 각도와 장착물의 회전 각도를 일치시킨 후, 장착물의 종횡 방향 사이즈와 장착 위치의 종횡 방향 사이즈를 일치시키도록, 장착물 화상(402)을 변형하면 된다. 장착 위치는 장착물의 종별로 적절히 정하면 된다. 요 회전 이외의 회전에 있어서도 마찬가지의 수순을 사용할 수 있다.

(합성 수순: 보충 2) 상기는 얼굴의 회전 각도에 합치하도록 장착물 화상(402)을 회전시킨 후, 장착물과 장착 위치의 종횡 방향 사이즈를 일치시키도록 합성하는 예이지만, 수순을 바꾸어, 미리 장착 위치에 따라 장착물의 종횡 방향 사이즈를 정한 후에 회전 처리를 행하고, 합성하는 수순으로 해도 된다.

상기한 합성 수순예 외에, 장착물 화상(402) 내부에 복수의 제어점을 갖게 하고, 그것들의 제어점과 얼굴 랜드마크에 기초하여 정한 장착 위치의 기준점이 합치하도록, 비선형으로 변형하는 합성 수순으로 해도 된다. 필요에 따라 상기 합성 수순예와 조합해도 된다.

도 6은, 맨얼굴 화상(401)으로부터 합성 화상(403)을 생성하여, 데이터 저장부(400)에 기록하는 처리를 설명하는 흐름도이다. 도 6에 있어서는 도 4와 동일한 기능을 갖는 스텝에는 동일한 부호를 붙여, 그 상세한 설명을 생략한다. 여기서는, 장착물 화상(402)이 마스크인 예를 설명한다. 도 6의 흐름도는, 도 4와 비교하여, S601, S602 및 S603이 추가되어 있다. 이들 스텝에 대하여 이하에 설명한다.

(도 6: 스텝 S601)

S402에 있어서 추출된 맨얼굴 화상(401)은 얼굴 랜드마크 검출부(221)에 입력된다. 얼굴 랜드마크 검출부(221)는, 얼굴 영역으로부터 얼굴 랜드마크(401-1)를 검출한다. 얼굴 랜드마크(401-1)는, 눈, 눈썹, 코, 입, 턱, 윤곽 등의 얼굴의 각 파트의 위치를 나타내는 특징점이다. 도 5의 얼굴 랜드마크(401-1)는 68점의 얼굴 파트의 특징점을 검출한 예를 나타내고 있지만, 얼굴 파트의 위치를 적어도 1점 검출하면, 얼굴 랜드마크(401-1)로서 사용할 수 있다. 얼굴 랜드마크 검출 방법에 대해서는, 공지의 방법을 사용할 수 있다. 예를 들어, Active Appearance Model에 기초하는 패턴 매칭을 사용한 방법, Regression Trees에 기초하는 특징점 추출 방법, 또는 NN 모델에 기초하는 검출기이다. S402에 있어서 생성된 맨얼굴 화상(401)과, S601에 있어서 검출한 얼굴 랜드마크(401-1)의 정보는, 장착물 화상 가공부(222)에 입력된다.

(도 6: 스텝 S602)

장착물 화상 가공부(222)는, 미리 데이터 저장부(400)에 저장되어 있는 장착물 화상(402)을 취득하고, 얼굴 랜드마크(401-1)에 기초하여, 장착물 화상(402)을 가공한 가공 후 장착물 화상(402-1)을 생성한다.

(도 6: 스텝 S603)

인증 데이터 생성부(223)는, 가공 후 장착물 화상(402-1)을 맨얼굴 화상(401)에 딱 맞도록 합성함으로써, 합성 화상(403)을 생성하여, 데이터 저장부(400)로 저장한다.

S602에 있어서 취득하는 장착물 화상(402)은, 상기 예에서는 1매를 사용하고 있지만, 장착물 화상의 종류에 따라 복수매 이상 취득해도 되고, 장착물 화상의 종류분, 또한 동일 종류의 장착물에 있어서의 형상 패턴분, 합성 화상(403)을 생성해도 된다. 또한, 예를 들어 마스크와 고글을 동시에 맨얼굴 화상(401)에 합성하는 경우와 같이, 복수 종류의 장착물을 동시에 장착한 합성 화상(403)을 생성해도 된다.

상기 방법에서는, 합성 화상(403)은 맨얼굴 화상(401)으로부터 자동 생성되므로, 유저는 맨얼굴 화상(401)만 등록하면 되고, 장착물을 착용한 화상의 촬영이 불필요해져, 등록 시의 유저 부담의 저감이 가능해진다. 또한 얼굴 인증 시, 얼굴 영역 검출부(310)로부터 추출한 얼굴 화상과, 데이터 저장부(400)에 저장된 맨얼굴 화상(401) 및 합성 화상(403)의 각각의 사이에서 매칭을 취함으로써, 얼굴 인증 시에 유저가 장착물을 장착하고 있어도 얼굴 인증이 가능해진다. 합성 화상(403)은, 유저가 등록한 맨얼굴 화상(401)에 있어서의 얼굴 파트의 배치, 각 얼굴 파트의 크기, 각 얼굴 파트의 형상, 얼굴의 윤곽의 형상 등에 맞도록, 장착물 화상(402)을 가공하여 합성하므로, 유저마다의 얼굴 파트의 개인차나, 요, 롤 및 피치 방향의 회전각 등의 얼굴의 방향에 관계없이, 유사도의 도출 정밀도가 높아져, 얼굴 상태의 변화에 로버스트로 고정밀도의 얼굴 인증이 가능해진다.

도 7은, 얼굴 인증 시의 처리를 설명하는 흐름도이다. 도 4와 비교하여, S701 내지 S704가 추가되어 있다. 이하에는 도 4에 대하여 추가된 스텝에 대하여 주로 설명한다.

(도 7: 스텝 S401 내지 S403)

얼굴 인증 시에 있어서도, 얼굴 등록 시와 마찬가지로, 얼굴 영역 검출부(310)가 생성한 얼굴 화상이, 얼굴 화상 대조부(320) 내의 인증 데이터 생성부(321)로 입력되고, 인증 데이터 생성부(321)는 인증 데이터를 생성한다.

(도 7: 스텝 S701 내지 S703)

얼굴 인증부(300)는, 얼굴 인증 시에 취득한 얼굴 화상과 대조하기 위한 맨얼굴 화상(401) 및 합성 화상(403)을, 데이터 저장부(400)로부터 취득한다(S701). 얼굴 인증부(300)는 이때, 얼굴 인증 시에 취득한 얼굴 화상의 인증 데이터와, 데이터 저장부(400)로부터 취득한 인증 데이터가 정렬되어 있는지를 확인한다(S702). 인증 데이터가 정렬되어 있지 않은 경우는 다시 S701로 복귀된다. 인증 데이터가 정렬되어 있는 경우, 인증 시에 취득한 얼굴 화상과, 데이터 저장부(400)로부터 취득한 복수의 등록 얼굴 데이터 각각의 사이의 유사도를 계산함으로써, 양자를 대조한다(S703).

(도 7: 스텝 S702: 보충)

인증 데이터가 정렬되어 있다는 것은, 얼굴 인증 시스템(1)이 인증 대상자로서 상정하고 있는 모든 사람에 대하여 인증 데이터를 생성 완료한 것을 의미한다.

(도 7: 스텝 S703: 보충 제1)

유사도의 계산의 예로서, 인증 데이터가 특징 벡터량인 경우, 공지의 Euclidean Norm 혹은 Cosine Similarity 등을 사용할 수 있다. 2차원 화상 또는 3차원 화상 등의 화소 집합의 유사도 계산에 있어서는, 공지의 블록 매칭에 기초하는 방법, 혹은 화상의 휘도 분포 벡터에 기초한 방법 등을 사용할 수 있다. 특징 벡터량에 기초하는 인증에 있어서는, 일반적으로, 화소 집합을 사용한 경우에 비해 계산량이 억제되므로, 대조 처리를 고속화하고 싶은 경우에는, 특징 벡터량을 사용한 유사도 산출이 유효하다.

(도 7: 스텝 S703: 보충 제2)

본 스텝에 있어서, 특징 벡터량, 2차원 화상, 또는 3차원 화상의 어느 것을 2개 이상 조합하여, 종합적으로 유사도를 산출해도 된다. 예를 들어, 특징 벡터량과 2차원 화상을 사용하는 경우, 각각에 대하여 소정의 유사도를 산출하여, 미리 결정된 가중치에 기초하여, 최종적으로 합산한 값을 유사도로 해도 된다.

(도 7: 스텝 S704)

얼굴 인증부(300)는, 산출한 유사도가, 소정의 역치 조건을 충족시키는지를 확인함으로써, 얼굴 인증을 실시한다. 얼굴 인증부(300)는, 인증 결과를 출력 디바이스 또는 다른 시스템 등에 출력한다. 인증 방법은, 예를 들어 이하를 사용할 수 있다. 1:1 인증의 경우, 산출한 유사도가 소정의 역치의 조건을 충족시키고 있으면, 당해 유저가 등록 유저 본인으로 된다. 역치의 조건을 충족시키지 않으면, 「본인 불일치」라고 판정한다. 1:N 인증의 경우, 산출한 유사도가 가장 크고, 또한 소정의 역치의 조건을 충족시킨 등록 유저를, 당해 유저라고 판정한다. 역치의 조건을 충족시키고 있지 않은 경우, 「미등록」이라고 판정한다.

도 8a 내지 도 8b는, 본 발명에 있어서의 얼굴 랜드마크에 기초하여 장착물 화상(402)을 가공하여 맨얼굴 화상(401)에 딱 맞도록 하여 생성한 합성 화상(403)을 사용하여 인증한 경우와, 장착물 화상(402)을 가공하지 않고 맨얼굴 화상(401)에 그대로 합성하여 인증한 경우를 비교한 결과를 나타낸다. 여기서는, 장착물 화상을 마스크로 하여, 동일 인물에 대하여 비교했다. 등록 시에는, 특정한 각도를 향한 맨얼굴 화상을 등록하고, 마스크를 소정의 방법에 기초하여 합성한다. 인증 시에는 진짜 마스크를 장착하여 소정의 각도를 향하고, 상기 마스크 합성 후의 얼굴 화상과의 유사도를 산출했다. 인증 데이터는 NN 모델에 기초하는 특징 추출기로부터 생성되는 특징 벡터를 사용하고, 유사도의 계산에는 Euclidean Norm을 사용했다. 종축은, 정면을 향해 인증한 경우의 유사도를 0이라고 했을 때, 얼굴 각도마다의 상대적인 유사도를 나타낸다. 유사도가 작을수록 정밀도가 양호한 검출을 할 수 있는 것을 나타내고 있다.

도 8a는 정면으로부터 요 방향으로 얼굴을 기울인 경우의 유사도의 비교 결과를 나타낸 도면이고, 도 8b는 정면으로부터 롤 방향으로 얼굴을 기울인 경우의 유사도의 비교 결과를 나타낸 도면이다. 점선이 장착물 화상 가공 없음, 실선이 본 발명의 장착물 화상 가공 있음의 결과를 나타내고 있다. 얼굴 랜드마크에 기초하여 생성한 합성 화상(403)을 인증 시에 사용한 경우의 쪽이, 장착물 가공 없음의 경우보다 유사도가 작다. 특히 롤 방향의 각도에 대한 그래프를 보면, 상대적인 유사도의 차가 0.05 정도이고, 본 발명은, 특히 롤 방향으로 효과가 있는 경향이 있다. 한편, 얼굴의 파트나 방향에 따라 장착물 화상(402)을 가공하지 않고 그대로 합성한 경우에는, 얼굴 방향의 각도가 커짐에 따라 유사도의 차도 커지는 경향이 있고, 일정한 역치를 설정한 경우, 인증 정밀도에 악영향을 미친다(예를 들어, 유사도의 역치를 0.15로 한 경우, 요 방향의 경우 및 롤 방향의 경우는 어느 쪽이든, 얼굴이 정면으로부터 어느 정도 이상 회전하면 유사도가 역치 이상으로 되어 "본인 불일치"로 된다). 따라서, 본 발명은, 얼굴의 각도가 바뀐 경우에도, 유사도의 도출에 미치는 영향을 작게 할 수 있어, 얼굴 방향 각도에 대한 로버스트성이 향상되는 것을 알 수 있다.

<실시 형태 2>

본 발명의 실시 형태 2는, 장착물의 패턴을 검지함으로써, 장착물을 장착하고 있는지 여부를 판정하여, 장착하고 있는 경우는 그 패턴에 대응하는 장착물 화상(402)을 합성하는 구성예를 설명한다.

여기서, 장착물의 형상 패턴이란, 장착물의 종별(마스크, 안경, 고글 등)에 더하여, 동일 종류의 장착물에 있어서도 형상이 다른 것(예를 들어, 마스크라면 평형 마스크, 입체형 마스크, 어린이용 마스크, 혹은 여성용 마스크 등)도 포함한다.

도 9는, 본 실시 형태 2에 있어서의 얼굴 인증 시스템(1)의 상세 구성을 나타낸 도면이다. 도 3에 나타내는 실시 형태 1과 비교하면, 얼굴 화상 등록부(220) 및 얼굴 화상 대조부(320)의 내부 구성이 다르다. 그밖에는 실시 형태 1과 마찬가지이다.

얼굴 화상 등록부(220)는, 얼굴 화상 기록부(224)를 내부 블록에 갖는다. 얼굴 화상 대조부(320)는, 인증 데이터 생성부(321), 장착물 형상 패턴 검출부(322), 장착물 화상 취득부(323), 얼굴 랜드마크 검출부(324) 및 장착물 화상 가공부(325)를 구비한다. 실시 형태 1과 처리가 공통되어 있는 블록의 설명은 생략하고, 얼굴 화상 등록부(220) 및 얼굴 화상 대조부(320)의 내부 처리만 설명한다.

도 10은, 본 실시 형태 2에 있어서의 얼굴 등록 시의 처리를 설명하는 흐름도이다. 실시 형태 1과 마찬가지의 스텝은 동일한 부호를 붙여 설명을 생략한다. S1001에 있어서, 얼굴 영역 검출부(210)에 의해 생성된 맨얼굴 화상은, 얼굴 화상 등록부(220) 내의 얼굴 화상 기록부(224)로 보내져, 데이터 저장부(400)에 등록된다. 이때, 등록하는 맨얼굴 화상의 형태는 2차원 화상이어도 되고 3차원 화상이어도 된다. 인증 시에 특징 벡터량이 필요하면, S402 후에 S403을 추가하여, 특징 추출기를 사용한 특징 벡터의 생성을 실시해도 되고, 상술한 화상 형태의 데이터와 동시에 기록해도 된다. 화상 형태로서 데이터 저장부(400)에 기록할 때, 데이터 용량 삭감을 위해, 등록하는 얼굴 화상에 가역 압축 처리를 실시하고 나서 기록해도 된다.

도 11은, 본 실시 형태 2에 있어서의 얼굴 인증 시의 처리를 설명하는 흐름도이다. 실시 형태 1에서 설명한 스텝과 마찬가지의 것에 대해서는 동일한 스텝 번호를 붙여 설명을 생략한다. 이하에는 본 실시 형태 2에 있어서의 차이점에 대하여 주로 설명한다.

S402에 있어서 얼굴 영역 검출부(310)가 생성한 얼굴 화상은, 장착물 형상 패턴 검출부(322)로 보내진다. S1101에 있어서, 장착물 형상 패턴 검출부(322)는, 얼굴 화상으로부터 장착물 형상을 검지한다. S1102에 있어서, 장착물 형상 패턴 검출부(322)는, 검지 결과에 기초하여 장착물의 유무를 확인한다. 패턴 검출의 예로서, 공지의 기하학 형상 패턴 매칭 혹은 NN 모델에 기초하는 검출기, 또는 그 조합을 사용할 수 있다. 장착물의 유무는, 예를 들어 기하학 형상 패턴 매칭의 경우, 매치하는 패턴이 없던 경우에 장착물이 없다고 판정할 수 있다. 장착물의 형상과 유무를 검출할 수 있으면, 검출 방법은 이에 한정되지 않는다.

S1101 후, 촬영 화상으로부터 추출한 얼굴 화상은, 인증 데이터 생성부(321)로 보내지고, 인증 데이터 생성부(321)는 인증 데이터를 생성한다(S403).

S1102에 있어서 장착물을 장착하고 있다고 판정된 경우, 장착물 화상 취득부(323)는 S1103에 있어서, 검지된 형상 패턴에 가장 매치되는 장착물 화상(402)을 선택하여, 데이터 저장부(400)로부터 취득함과 함께, 미리 등록된 맨얼굴 화상(401)을 취득한다. 취득한 화상은, 얼굴 랜드마크 검출부(324)로 보내져, 맨얼굴 화상(401)에 기초하여 얼굴 랜드마크(401-1)가 검지된다(S601). 검지된 얼굴 랜드마크(401-1)에 기초하여, 취득한 장착물 화상(402)을 가공하여(S602), 맨얼굴 화상(401)에 딱 맞도록 합성 화상(403)을 생성한다(S603). 장착물 화상 가공부(325)가 생성한 합성 화상(403)은, 인증 데이터 생성부(321)로 보내져, 인증 데이터가 생성된다(S403). 인증 시에 촬영 화상으로부터 추출한 얼굴 화상에 기초하는 인증 데이터와, 생성된 합성 화상(403)에 기초하는 인증 데이터를 대조함으로써, 본인 인증을 실시한다.

S1102에 있어서, 인증 시에 장착물을 장착하고 있지 않다고 판정된 경우, 장착물 화상 취득부(323)는, 장착물 화상(402)을 취득하지 않고, 등록된 맨얼굴 화상(401)만 취득하고(S1104), 인증 데이터 생성부(321)는 맨얼굴 화상(401)만의 인증 데이터를 생성한다(S403). S1102를 마련함으로써, S601부터 S603까지를 스킵할 수 있어, 대조의 고속화가 가능하다.

도면에는 도시하고 있지 않으나, 장착물 화상 취득부(323)에 있어서, 장착물의 형상 패턴에 가장 매치된 장착물 화상(402)을 취득하는 대신에, 검지한 장착물의 형상 패턴과 마찬가지의 형상 패턴을 갖는 장착물 화상을 생성하여, 장착물 화상(402)으로서 사용해도 된다. 예를 들어, 인증 시에 유저가 마스크를 착용하고 있던 경우, 검출한 마스크의 형상과 마찬가지의 형상을 갖는 마스크를 생성하여, 장착물 화상(402)으로 해도 된다. 이와 같이 함으로써, 데이터 저장부(400)에 장착물 화상(402)을 미리 다수 준비하는 것은 아니고, 임의 형상의 장착물에 대응할 수 있다. 이때 생성 혹은 추출한 장착물 화상(402)을 그대로 데이터 저장부(400)에 등록하여, 다른 합성 화상(403)을 생성하는 경우에 사용할 수 있도록 해도 된다.

<실시 형태 2: 정리>

본 실시 형태 2에 관한 얼굴 인증 시스템(1)은, 장착물 형상 패턴 검출부(322)가 피인증자의 장착물의 형상 패턴을 검출하고, 그 형상 패턴에 대응하는 장착물 화상만을 데이터 저장부(400)로부터 취득하여 합성 화상을 생성한다. 이에 의해, 얼굴 인증 시에 사용하는 합성 화상의 수를 억제하게 되므로, 인증 처리를 고속화할 수 있다. 특히, 1:1 인증과 같이, 인증 대상자의 범위가 미리 특정되어 있는 경우에 있어서 유용하다. 한편 1:N 인증과 같이, 불특정 다수자에 대하여 개인 식별을 실시하는 경우는, 모든 인증 대상자에 대하여 도 11의 우측 절반을 실시하게 되므로, 연산 부하가 과대해질 가능성이 있다. 따라서 본 실시 형태 2는, 특히 전자에 있어서 유용하다.

<실시 형태 3>

도 12는, 본 발명의 실시 형태 3에 관한 얼굴 인증 시스템(1)의 구성도이다. 본 실시 형태 3에 있어서는, 실시 형태 1 내지 2에서 설명한 구성에 더하여, 3차원 정보 촬상부(110)를 새롭게 구비한다. 3차원 정보 촬상부(110)는, 피사체의 휘도 정보에 더하여 거리(뎁스) 정보(즉, 3차원 정보 촬상부(110)로부터 촬상 개소까지의 거리)를 취득한다. 이것들을 사용함으로써, 더 실세계에 충실하게 장착물의 가공 및 합성을 실시하여, 유사도의 도출 정밀도의 향상, 그리고 얼굴의 상태가 변화되었을 때의 로버스트성을 향상시킬 수 있다.

3차원 정보 촬상부(110)는, ToF(Time of Flight) 카메라, 혹은 IR 카메라(적외선 카메라) 등의 거리 정보를 취득할 수 있는 것이면 된다. 또한, 촬상부(100)와 3차원 정보 촬상부(110)가 일체화되어, 휘도 정보와 거리 정보를 동시에 취득할 수 있는 것을 사용해도 된다. 혹은 스테레오 카메라 등의 휘도 정보를 취득하는 촬상부(100)를 2개 사용하여, 2개의 촬상부로부터 얻어지는 각 화소끼리의 시차로부터 거리 정보를 취득해도 된다.

도 13은, 얼굴 인증 시스템(1)의 내부 처리 블록을 나타낸 도면이다. 실시 형태 1과 비교하면, 얼굴 화상 등록부(220)의 내부 구성과 합성 화상(403)의 등록 플로에 있어서의 동작이 다르다. 다른 블록의 동작은 실시 형태 1과 공통이므로, 얼굴 화상 등록부(220)의 내부 처리 및 합성 화상(403)의 등록 플로에 있어서의 동작에 대하여 주로 설명한다.

얼굴 화상 등록부(220)의 내부 처리를 설명한다. 얼굴 화상 등록부(220)는, 3차원 얼굴 랜드마크 검출부(225), 장착물 화상 가공부(226), 인증 데이터 생성부(223)를 구비한다. 실시 형태 1과 비교하면, 처리하는 정보가, 휘도 정보에 더하여 거리 정보를 포함한 3차원으로 확장된다.

얼굴 영역 검출부(210)에 의해 생성되는 맨얼굴 화상은, 휘도 정보 및 거리 화상의 3차원의 정보를 가진 3차원 화상, 혹은 휘도 정보를 저장한 2차원 화상과 거리 정보를 저장한 2차원 화상의 조합이어도 되고, 휘도 정보 및 거리 정보의 3차원의 정보를 가지고 있으면, 어떤 화상 형태여도 된다.

도 14는, 얼굴 등록 시에 있어서 합성 화상(403)을 생성·등록하는 처리를 설명하는 흐름도이다. 도 14의 흐름도에 있어서, 실시 형태 1과 동일한 동작을 하는 스텝에는 동일한 부호를 붙여 설명은 생략한다.

맨얼굴 화상은, 3차원 얼굴 랜드마크 검출부(225)로 보내진다. 3차원 얼굴 랜드마크 검출부(225)는, 3차원 정보 촬상부(110)가 취득한 거리 정보에 기초하여, 3차원적으로 얼굴의 랜드마크를 검지한다(S1401). S1401에 있어서의 3차원 얼굴 랜드마크의 검출 방법은, 공지의 기하학적인 패턴 매칭에 기초하는 방법이나, NN 모델을 기반으로 한 검출기 등을 사용할 수 있고, 3차원적으로 얼굴의 랜드마크를 취득 할 수 있으면, 검출 방법은 이에 한정되지 않는다.

검지한 3차원의 얼굴의 랜드마크의 정보는, 얼굴 영역 검출부(210)가 생성한 맨얼굴 화상과 함께, 장착물 화상 가공부(226)로 보내진다. 장착물 화상 가공부(226)는, 데이터 저장부(400)로부터 장착물 화상(402)을 취득하고, 3차원 얼굴 랜드마크에 기초하여, 장착물을 3차원적으로 가공(S1402), 얼굴 화상에 딱 맞도록 3차원적으로 합성하고(S1403), 생성된 장착물 합성 얼굴 화상을 인증 데이터 생성부(223)로 보낸다.

S1402에 있어서, 데이터 저장부(400)로부터 취득하는 장착물 화상(402)은, 3차원적으로 장착물을 가공 및 3차원의 얼굴 화상에 합성할 수 있으면, 3차원 화상이어도 되고 2차원 화상이어도 되고 어떤 형태여도 된다. 데이터 저장부(400)에 기록하는 맨얼굴 화상(401) 및 합성 화상(403)의 형태는, 특징 추출기에 의해 생성되는 특징 벡터, 3차원 화상, 혹은 3차원 화상을 2차원 화상으로 변환한 것, 또는 그것들의 조합의 어느 것이어도 된다. 특징 벡터를 생성할 때, 특징 추출기에 입력하는 화상 형태는, 3차원 화상 혹은 2차원 화상이어도 되고, 또는 그것들을 조합한 것을 특징 추출기에 입력하여 통합적인 특징 벡터를 생성해도 된다.

도 15는, 본 실시 형태 3에 있어서의 얼굴 인증부(300)의 구성도이다. 실시 형태 2의 도 9와 비교하면, 얼굴 화상 대조부(320)의 내부 처리가 다르고, 그밖의 블록의 동작은, 실시 형태 2와 공통이다. 본 실시 형태 3에 있어서는, 도 9에 있어서의 얼굴 랜드마크 검출부(324)와 장착물 화상 가공부(325)가, 각각 3차원 얼굴 랜드마크 검출부(326)와 장착물 화상 가공부(327)로 치환되어 있다.

도 16은, 본 실시 형태 3에 있어서의 얼굴 인증 시의 동작을 나타내는 흐름도이다. 도 16의 흐름도에 있어서, 실시 형태 2와 마찬가지의 동작을 하는 스텝에는 동일한 부호를 붙이고 설명은 생략한다.

S1102에 있어서, 장착물을 장착하고 있다고 판정된 경우에, 장착물 화상 취득부(323)에 있어서 취득된 맨얼굴 화상(401) 및 장착물 화상(402)(S1103)은, 3차원 얼굴 랜드마크 검출부(326)로 보내져, 3차원적으로 얼굴의 랜드마크가 검출된다(S1401). 검출한 3차원 얼굴 랜드마크의 정보, 맨얼굴 화상(401) 및 장착물 화상(402)은, 장착물 화상 가공부(327)로 보내진다. 장착물 화상(402)은 3차원 얼굴 랜드마크 정보에 기초하여, 장착물 화상을 3차원적으로 가공하고(S1402), 맨얼굴 화상(401)에 딱 맞도록 3차원적으로 합성한다(S1403).

<실시 형태 3: 정리>

본 실시 형태 3에 관한 얼굴 인증 시스템(1)은, 실시 형태 1 내지 2에 있어서의 2차원적으로 얼굴 랜드마크를 검출하여 장착물을 합성하는 경우와 비교하여, 3차원 얼굴 랜드마크에 기초하여 3차원적으로 장착물 화상을 가공 및 합성하므로, 얼굴 방향이 변화되었을 때라도 장착물의 곡면부를 충실하게 재현할 수 있어, 더 고정밀도로 장착물 화상(402)을 맨얼굴 화상(401)에 대하여 합성할 수 있다. 이에 의해, 장착물 착용 시를 충실하게 재현한 것에 의한 유사도의 도출 정밀도 향상과 얼굴의 방향에 의한 유사도의 로버스트성의 향상이 가능해진다. 또한, 얼굴 대조 시에 있어서, 거리 정보도 대조용 데이터 내에 포함되게 되므로, 장착물을 장착한 경우뿐만 아니라, 맨얼굴 화상 단체에서의 인증 정밀도도 향상시킬 수 있다.

<실시 형태 4>

본 발명의 실시 형태 4에서는, 실시 형태 1에 있어서의 대조 효율을 향상시켜, 대조 처리를 고속화하기 위한 구성을 설명한다. 실시 형태 1에서는, 장착물의 베리에이션이 증가하면, 데이터 저장부(400)에 등록하는 합성 화상(403)의 수도 비례하여 증가하므로(특히, 1:N 인증에서는, 등록하는 사람의 분만큼 등록 얼굴 데이터가 증가), 데이터 저장부(400)에 저장되어 있는 모든 등록 얼굴 데이터에 대하여, 순차 대조를 하고자 하면, 대조에 걸리는 시간이 증가한다. 본 실시 형태 4에 있어서는 이것을 고속화할 것을 도모한다.

도 17은, 본 실시 형태 4에 있어서의 얼굴 인증부(300)의 구성도이다. 실시 형태 1과 상이한 점은, 얼굴 화상 대조부(320) 내에, 대조 카테고리 검출부(328), 대조 데이터 취득부(329)가 추가되어 있는 것이다. 대조 카테고리 검출부(328)를 추가하는 장점은, 예를 들어 장착물의 유무(맨얼굴인지, 또는 장착물을 장착하고 있는지), 장착물의 종류(마스크, 고글, 안경, 모자 등) 및 인물의 속성(연령, 성별 등), 얼굴의 방향(요, 롤, 피치 중 어느 하나 이상의 조합) 등을 미리 검지하여, 대조에 사용하는 등록 얼굴 데이터의 카테고리를 그 검지한 속성에 대응하는 것으로 좁힐 수 있다. 이에 의해, 모든 등록 화상을 순차 인증하는 경우에 비해, 대조 효율이 향상되어, 대조 시간의 고속화가 가능하다.

도 18은, 본 실시 형태 4에 있어서의 인증 시의 동작을 설명하는 흐름도이다. 도 18의 흐름도에 있어서, 실시 형태 1과 마찬가지의 동작을 하는 스텝에는 동일한 부호를 붙여 설명은 생략한다.

얼굴 영역 검출부(310)가 생성한 얼굴 화상은, 대조 카테고리 검출부(328)로 보내진다. 대조 카테고리 검출부(328)는, 얼굴 화상의 카테고리를 검출한다(S1801). 대조 카테고리의 예로서, 장착물의 유무, 장착물의 종류, 인물의 속성, 얼굴의 방향 중 어느 것 또는 그것들의 조합을 들 수 있다. 카테고리 검출 방법으로서는, 공지의 기하학 형상 패턴 매칭, NN 모델에 기초하는 검출기, 또는 그 조합을 사용할 수 있다. 2개 이상 NN 모델의 검출기를 조합한 구성으로 해도 된다. 예를 들어, 장착물의 종류를 판별하는 NN 모델 검출기와 성별의 분류를 판정하는 전용의 NN 모델 검출기의 조합 등의 예이다. 검출된 카테고리의 정보는, 대조 데이터 취득부(329)로 보내진다. 대조 데이터 취득부(329)는, 데이터 저장부(400)로부터 검출된 카테고리에 적합한 등록 화상(맨얼굴 화상(401) 혹은 합성 화상(403))을 취득하여(S1802), 인증 데이터 생성부(321)로 보낸다.

<실시 형태 4: 정리>

본 실시 형태 4에 관한 얼굴 인증 시스템(1)은, 장착물의 종별 또는 인증 대상자의 속성에 대응하는 맨얼굴 화상(401) 혹은 합성 화상(403)만을 데이터 저장부(400)로부터 취득하고, 이것을 사용하여 얼굴 인증을 실시한다. 이에 의해, 대조 시에 사용하는 등록 얼굴 데이터를 좁힐 수 있어, 대조 횟수를 적게 할 수 있으므로, 대조 효율 향상, 그리고 대조 고속화가 가능하다.

<실시 형태 5>

본 발명의 실시 형태 5에서는, 얼굴의 방향에 대하여 더 로버스트한 얼굴 인증을 실시하기 위해, 얼굴 방향 변경을 실시함으로써, 얼굴의 방향에 대한 로버스트성을 향상시킨 구성을 설명한다. 사이니지를 사용한 복수 유저의 동시 얼굴 인증이나, 감시 카메라 영상으로부터의 얼굴 인증 등의 용도에 있어서는, 인증 시의 얼굴의 방향은 정면 얼굴에 한정되지 않고, 얼굴 방향 각도의 베리에이션이 크다. 따라서 예를 들어, 얼굴이 경사를 향하고 있을 때 인증하지 않으면 안되는 케이스가 있다. 본 실시 형태 5에 있어서는, 이러한 경우의 인증 로버스트성을 더 향상시킬 것을 도모한다.

도 19는, 본 실시 형태 5에 있어서의 얼굴 등록부(200)의 구성도이다. 실시 형태 1과 상이한 점은, 얼굴 화상 등록부(220) 내에 얼굴 방향 변경부(227)가 추가되어 있는 것이다. 얼굴 방향 변경부(227)를 추가하는 장점은, 데이터 저장부(400)에 다양한 얼굴 방향을 갖는 맨얼굴 화상(401) 및 합성 화상(403)을 미리 다수 저장할 수 있어, 인증 시의 얼굴의 방향에 관계없이, 고정밀도의 인증을 실현할 수 있는 점이다. 실시 형태 1과 공통의 블록의 설명은 생략하고, 동작이 다른 얼굴 방향 변경부(227)를 이하에 설명한다.

얼굴 영역 검출부(210)가 생성한 맨얼굴 화상은, 먼저 얼굴 방향 변경부(227)로 보내진다. 얼굴 방향 변경부(227)는, 입력된 얼굴 화상의 얼굴 방향 각도를 변경한다. 얼굴 방향이 변경된 얼굴 화상은, 맨얼굴 화상(401)을 생성하는 경우는 그대로 인증 데이터 생성부(223)로 보내지고, 합성 화상(403)을 생성하는 경우는 얼굴 랜드마크 검출부(221)로 보내진다.

얼굴 방향 변경부(227)는, 공지의 아핀 변환 혹은 FFD법에 기초하는 비강체 변형법에 의한 얼굴 방향 변형을 사용할 수 있다. FFD 비강체 변형법은, 얼굴 화상 위에 제어점을 배치하여, 당해 제어점을 이동시킴으로써 얼굴 화상을 변형한다. 제어점으로서 얼굴 랜드마크를 사용하는 경우에는, 얼굴 방향 변경부(227) 전에 얼굴 랜드마크 검출부(221)를 배치하고, 먼저 얼굴 랜드마크 검지를 실시하고 나서 얼굴 방향을 변경하는 구성으로 해도 된다. 또한, 얼굴 방향 변경부(227)에 있어서, 복수의 방향의 얼굴 화상을 생성 후, 얼굴 방향이 다른 복수의 얼굴 화상으로부터, 그 중간의 방향의 얼굴 화상을 보완하여 생성해도 된다. 예를 들어, 정면과 횡방향의 얼굴 화상으로부터, 그 중간의 경사 방향의 얼굴 화상을 생성하는 것 등이다.

도 20은, 실시 형태 5의 효과를 나타낸 도면이다. 여기서는, 예로서 얼굴 방향 변경부(227)에 의해 2방향으로 얼굴 방향을 변경한 후, 장착물 화상(402)으로서 마스크 화상을 합성하는 예를 나타낸다. 얼굴 영역 검출부(210)가 생성한 맨얼굴 화상(20-1)에 기초하여, 얼굴 방향의 변경에 의해, 롤 방향의 각도로 기운 맨얼굴 화상(20-2) 및 요 방향의 각도로 기운 맨얼굴 화상(20-3)이 생성된다. 맨얼굴 화상(20-1, 20-2, 20-3)의 각각에 대하여, 얼굴 랜드마크 검지를 실시하여, 얼굴의 방향에 딱 맞도록 장착물 화상을 가공하여 합성함으로써, 장착물 합성 얼굴 화상(20-4, 20-5, 20-6)이 각각 생성된다. 20-1부터 20-6을 데이터 저장부(400)에 기록함으로써, 인증 시, 얼굴 방향 변경 전과 변경 후를 맞추어 3방향의 얼굴 방향 각도에 대응한 얼굴 인증이 가능해진다. 도 20의 예에서는 2방향으로 얼굴 방향을 변경했지만, 얼굴 방향을 변경하는 방향은 임의이고, 그 수도 한정되지 않는다.

본 실시 형태 5에 있어서, 실시 형태 4와 조합하여 인증 시의 대조를 고속화해도 된다. 얼굴 인증 시의 대조 카테고리 검지에 있어서, 얼굴 방향을 검지하고, 검지된 얼굴 방향과 동등한 얼굴 방향을 갖는 등록 얼굴 데이터를 데이터 저장부(400)로부터 취득함으로써, 대조 효율을 향상시킬 수 있다.

도 21은, 본 실시 형태 5에 있어서의 얼굴 인증부(300)의 구성도이다. 실시 형태 2와 상이한 점은, 얼굴 화상 대조부(320) 내에 얼굴 방향 변경부(331)가 추가되어, 장착물 형상 패턴 검출부(322)가, 장착물 형상 패턴 검출부(330)로 치환되어 있는 것이다. 실시 형태 2와 비교하여, 얼굴 방향 변경부(331)를 추가하는 장점은, 인증 시의 얼굴의 방향에 맞추어, 데이터 저장부(400)에 등록된 얼굴 화상의 얼굴 방향을 변경 가능한 것이다. 이에 의해, 인증 시의 유저의 얼굴 방향 각도와 동일한 얼굴 방향 각도를 갖는 합성 화상을 생성할 수 있으므로, 유사도의 도출 정밀도가 향상된다. 이하, 실시 형태 2와 공통의 블록의 설명은 생략하고, 동작이 다른 블록을 설명한다.

얼굴 영역 검출부(310)가 생성한 얼굴 화상으로부터, 장착물 형상 패턴 검출부(330)에 의해, 인증 시에 장착되어 있는 장착물의 패턴과 얼굴의 방향이 검지된다. 검지한 얼굴 방향의 정보에 기초하여, 취득한 맨얼굴 화상(401)을 얼굴 방향 변경부(331)가 변경한다. 인증 시의 얼굴 방향 각도에 맞추어 얼굴 방향이 변경된 맨얼굴 화상(401)은, 장착물을 가공, 합성하기 위해 얼굴 랜드마크 검출부(324)로 보내진다. 인증 시에 유저가 장착물을 장착하고 있지 않은 경우는, 얼굴 방향이 변경된 맨얼굴 화상(401)은 그대로 인증 데이터 생성부(321)로 보내진다.

장착물 형상 패턴 검출부(330)는, 도 11의 S1101에서 설명한 장착물 형상 패턴의 검지에 더하여, 얼굴 방향 검지도 실시한다. 얼굴 방향 검지는, 공지의 얼굴 랜드마크를 검지하여 소정의 포인트에 있어서 정면을 향했을 때의 얼굴 랜드마크와의 비교를 취하여 얼굴 방향 각도를 추정하는 방법, 혹은 NN 모델에 기초하는 검출기 등을 사용할 수 있다.

<실시 형태 5: 정리>

본 실시 형태 5에 관한 얼굴 인증 시스템(1)은, 얼굴 방향 변경부(331)에 의해, 실시 형태 1 및 실시 형태 2의 어떤 경우에 있어서도, 인증 시에 사용하는 맨얼굴 화상(401) 및 합성 화상(403)의 얼굴 방향 각도를 유연하게 변경한 후, 그 화상을 미리 데이터 저장부(400)에 저장해 둘 수 있다. 이에 의해, 인증 시, 유저의 얼굴 방향이 다양한 방향을 향하고 있었다고 해도, 고정밀도의 얼굴 인증이 가능해져, 얼굴 방향 각도에 대하여 더 로버스트한 얼굴 인증 시스템을 실현할 수 있다.

<본 발명의 변형예에 대하여>

본 발명은, 전술한 실시 형태에 한정되는 것은 아니고, 다양한 변형예가 포함된다. 예를 들어, 상기한 실시 형태는 본 발명을 이해하기 쉽게 설명하기 위해 상세하게 설명한 것이고, 반드시 설명한 모든 구성을 구비하는 것에 한정되는 것은 아니다. 또한, 어느 실시 형태의 구성의 일부를 다른 실시 형태의 구성으로 치환하는 것이 가능하고, 또한 어느 실시 형태의 구성에 다른 실시 형태의 구성을 추가하는 것도 가능하다. 또한, 각 실시 형태의 구성의 일부에 대하여, 다른 구성의 추가·삭제·치환을 하는 것이 가능하다.

이상의 실시 형태에 있어서, 얼굴 등록부(200) 및 얼굴 인증부(300)와 하나의 촬상부(100)를 접속하는 예를 기재하고 있지만, 얼굴 등록부(200) 및 얼굴 인증부(300)의 각각에 대하여 촬상부(100)를 구비하는 구성으로 해도 된다.

이상의 실시 형태에 있어서, 얼굴 인증 시스템(1)은 일체로 도시되어 있지만, 촬상부(100), 얼굴 등록부(200), 얼굴 인증부(300) 및 데이터 저장부(400)는, 각각 공간적으로 다른 장소에 있고, 각각이 데이터 기지국(2)으로부터 무선으로 데이터 통신하는 형태여도 된다.

이상의 실시 형태에 있어서, 인증 데이터 생성부는, 장착물의 종류(장착물의 유무를 포함함), 개인의 속성, 얼굴의 방향, 혹은 그것들의 조합별로 다른 특징량 추출기를 사용하여, 합성 화상의 특징량을 추출해도 된다. 예를 들어, 실시 형태 1에 있어서, 피인증자가 장착물을 장착하고 있지 않은 경우는 맨얼굴 화상용의 특징량 추출기를 사용하고, 피인증자가 마스크를 장착하고 있는 경우는 마스크용의 특징량 추출기를 사용한다. 혹은 실시 형태 4에 있어서, 피인증자의 속성이 「남성」이라면, 남성용의 특징량 추출기를 사용한다. 혹은 피인증자가 「마스크, 남성」이라면, 마스크를 쓰고 또한 남성용의 특징 추출기를 사용한다. 얼굴 화상을 등록할 때도 마찬가지로, 장착물의 종류나 개인의 속성별로 다른 특징량 추출기를 사용해도 된다.

이상의 실시 형태에 있어서, 얼굴 등록부(200)와 얼굴 인증부(300)(및 이것들의 내부 블록으로서 배치되어 있는 각 기능부)는, 이들 기능을 실장한 회로 디바이스 등의 하드웨어에 의해 구성할 수도 있고, 이들 기능을 실장한 소프트웨어를 연산 장치(예: Central Processing Unit: CPU)가 실행함으로써 구성할 수도 있다.

1: 얼굴 인증 시스템
2: 데이터 기지국
100: 촬상부
200: 얼굴 등록부
300: 얼굴 인증부
400: 데이터 저장부
210, 310: 얼굴 영역 검출부
220: 얼굴 화상 등록부
320: 얼굴 화상 대조부
401: 맨얼굴 화상
402: 장착물 화상
403: 합성 화상
221, 324: 얼굴 랜드마크 검출부
222, 325: 장착물 화상 가공부
223, 321: 인증 데이터 생성부
224: 얼굴 화상 기록부
322: 장착물 형상 패턴 검출부
323: 장착물 화상 취득부
110: 3차원 정보 촬상부
225, 326: 3차원 얼굴 랜드마크 검출부
226, 327: 장착물 화상 가공부
328: 대조 카테고리 검출부
329: 대조 데이터 취득부
227, 331: 얼굴 방향 변경부

Claims (15)

1. 얼굴 화상을 사용하여 개인을 식별하는 얼굴 인증 시스템이며,
   상기 개인이 장착하는 장착물의 화상인 장착물 화상을 상기 개인의 맨얼굴 화상에 대하여 합성한 합성 화상을 생성하는 합성부,
   상기 합성 화상을 사용하여 상기 개인을 식별하는 얼굴 인증부
   를 구비하고,
   상기 합성부는, 상기 장착물 화상을 상기 개인의 얼굴 형상과 적합하도록 변형함으로써, 상기 합성 화상을 생성하는
   것을 특징으로 하는 얼굴 인증 시스템.
2. 제1항에 있어서, 상기 합성부는, 상기 맨얼굴 화상 위의 랜드마크를 기준으로 하여, 상기 장착물 화상을 상기 개인의 얼굴 형상과 적합하도록 변형하는
   것을 특징으로 하는 얼굴 인증 시스템.
3. 제2항에 있어서, 상기 합성부는, 상기 랜드마크에 따라, 상기 개인이 정면을 향하고 있을 때를 기준으로 하여 상기 개인의 얼굴 화상이 회전하고 있는 각도를, 요각, 롤각, 또는 피치각 중 적어도 어느 것에 대하여 검출하고,
   상기 합성부는, 상기 검출한 각도에 따라 상기 장착물 화상을 회전시킴으로써, 상기 장착물 화상을 상기 개인의 얼굴 형상과 적합하도록 변형하는
   것을 특징으로 하는 얼굴 인증 시스템.
4. 제3항에 있어서, 상기 합성부는, 상기 장착물 화상의 종방향 사이즈와, 상기 랜드마크 중 상기 장착물을 장착하는 장착 위치의 종방향 사이즈가 일치하도록, 상기 장착물 화상을 변형하고,
   상기 합성부는, 상기 장착물 화상의 횡방향 사이즈와, 상기 랜드마크 중 상기 장착물을 장착하는 장착 위치의 횡방향 사이즈가 일치하도록, 상기 장착물 화상을 변형하고,
   상기 합성부는, 상기 장착물 화상의 분할된 복수의 영역마다, 상기 장착물 화상의 종방향 사이즈와 상기 장착 위치의 종방향 사이즈를 일치시킴과 함께, 상기 장착물 화상의 횡방향 사이즈와 상기 장착 위치의 횡방향 사이즈를 일치시키도록, 상기 장착물 화상을 변형하는
   것을 특징으로 하는 얼굴 인증 시스템.
5. 제1항에 있어서, 상기 얼굴 인증 시스템은, 상기 개인의 얼굴 화상으로부터 상기 장착물의 형상 패턴을 검출하는 장착물 형상 패턴 검출부를 더 구비하고,
   상기 얼굴 인증부는, 상기 얼굴 화상으로부터 상기 장착물의 형상 패턴을 검출한 경우는 상기 합성 화상을 사용하여 상기 개인을 식별하고,
   상기 얼굴 인증부는, 상기 얼굴 화상으로부터 상기 장착물의 형상 패턴을 검출하지 않은 경우는 상기 맨얼굴 화상을 사용하여 상기 개인을 식별하는
   것을 특징으로 하는 얼굴 인증 시스템.
6. 제5항에 있어서, 상기 얼굴 인증 시스템은, 복수 종류의 상기 장착물 화상을 저장하는 데이터 저장부를 더 구비하고,
   상기 얼굴 인증부는, 상기 복수 종류의 상기 장착물 화상 중, 상기 검출한 장착물의 형상 패턴에 대응하는 상기 장착물 화상만을 상기 데이터 저장부로부터 취득하고,
   상기 합성부는, 상기 복수 종류의 상기 장착물 화상 중, 상기 데이터 저장부로부터 취득한 상기 장착물 화상만을 사용하여, 상기 합성 화상을 생성하는
   것을 특징으로 하는 얼굴 인증 시스템.
7. 제2항에 있어서, 상기 합성부는, 상기 맨얼굴 화상으로서, 상기 개인의 얼굴 화상의 휘도 정보와 거리 정보를 포함하는 3차원 화상을 취득하고,
   상기 합성부는, 상기 랜드마크로서, 상기 맨얼굴 화상 위의 3차원 좌표계에 있어서의 특징점을 특정하고,
   상기 합성부는, 상기 3차원 좌표계에 있어서의 상기 랜드마크를 기준으로 하여 상기 장착물 화상을 상기 3차원 좌표계에 있어서 변형함으로써, 상기 장착물 화상을 상기 개인의 얼굴 형상과 적합시키는
   것을 특징으로 하는 얼굴 인증 시스템.
8. 제1항에 있어서, 상기 얼굴 인증 시스템은, 상기 합성 화상을 상기 장착물의 종류별로 저장한 데이터 저장부를 더 구비하고,
   상기 얼굴 인증 시스템은, 상기 장착물의 종류를 검출하는 카테고리 검출부를 더 구비하고,
   상기 합성부는, 상기 검출한 상기 장착물의 종류에 대응하는 상기 합성 화상만을 상기 데이터 저장부로부터 취득하고,
   상기 얼굴 인증부는, 상기 데이터 저장부로부터 취득한 상기 합성 화상을 사용하여 상기 개인을 식별하는
   것을 특징으로 하는 얼굴 인증 시스템.
9. 제1항에 있어서, 상기 얼굴 인증 시스템은, 상기 맨얼굴 화상과 상기 합성 화상을 각각 사람의 속성별로 저장한 데이터 저장부를 더 구비하고,
   상기 얼굴 인증 시스템은, 상기 개인의 속성을 검출하는 카테고리 검출부를 더 구비하고,
   상기 합성부는, 상기 검출한 상기 개인의 속성에 대응하는 상기 맨얼굴 화상 또는 상기 검출한 상기 개인의 속성에 대응하는 상기 합성 화상만을 상기 데이터 저장부로부터 취득하고,
   상기 얼굴 인증부는, 상기 데이터 저장부로부터 취득한 상기 맨얼굴 화상 또는 상기 합성 화상을 사용하여 상기 개인을 식별하는
   것을 특징으로 하는 얼굴 인증 시스템.
10. 제1항에 있어서, 상기 얼굴 인증 시스템은, 상기 맨얼굴 화상의 얼굴 방향을 변경하는 얼굴 방향 변경부를 더 구비하고, 상기 합성부는, 상기 얼굴 방향 변경부가 변경한 얼굴 방향과 동일한 방향 변경을 상기 장착물 화상에 대하여 실시하고,
    상기 합성부는, 상기 방향 변경을 실시한 상기 장착물 화상을 상기 맨얼굴 화상에 대하여 합성함으로써, 상기 합성 화상을 생성하는
    것을 특징으로 하는, 얼굴 인증 시스템.
11. 제1항에 있어서, 상기 얼굴 인증 시스템은, 상기 맨얼굴 화상을 저장하는 데이터 저장부를 더 구비하고,
    상기 데이터 저장부는 적어도, 상기 개인이 정면을 향한 상기 맨얼굴 화상과, 상기 개인이 얼굴의 방향을 비스듬히 기울인 상기 맨얼굴 화상을 저장하는
    것을 특징으로 하는 얼굴 인증 시스템.
12. 제1항에 있어서, 상기 장착물은, 상기 개인이 장착함으로써 상기 개인의 얼굴 중 적어도 일부를 덮는 물체인
    것을 특징으로 하는 얼굴 인증 시스템.
13. 제12항에 있어서, 상기 장착물은, 마스크, 안경, 고글, 모자 중 적어도 어느 것인
    것을 특징으로 하는 얼굴 인증 시스템.
14. 제1항에 있어서, 상기 얼굴 인증 시스템은, 상기 개인을 식별하기 위해 사용하는 인증 데이터로서 상기 합성 화상의 특징량을 추출하는 인증 데이터 생성부를 더 구비하고,
    상기 얼굴 인증부는, 상기 개인의 얼굴 화상의 특징량과, 상기 합성 화상으로부터 추출한 상기 특징량을 비교함으로써, 상기 개인을 식별하는
    것을 특징으로 하는 얼굴 인증 시스템.
15. 제14항에 있어서, 상기 인증 데이터 생성부는, 상기 장착물의 종류에 대응하는 특징량 추출기 또는 상기 개인의 속성에 대응하는 특징량 추출기 또는 얼굴의 방향에 대응하는 특징 추출기를 사용하여, 상기 합성 화상의 특징량을 추출하는
    것을 특징으로 하는 얼굴 인증 시스템.

Images