KR102673019B1

KR102673019B1 - 식별 장치 및 전자기기

Info

Publication number: KR102673019B1
Application number: KR1020197011137A
Authority: KR
Inventors: 히로아키 오노
Original assignee: 소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date: 2017-10-18
Filing date: 2018-08-21
Publication date: 2024-06-05
Also published as: US20210334517A1; US11341771B2; DE112018005610T5; JP7228509B2; WO2019077863A1; KR20200074050A; EP3570250A4; EP3570250A1; CN109684907A; JPWO2019077863A1

Abstract

[과제] 환경광의 변동의 영향을 받는 일 없이, 양호한 정밀도로 식별을 행할 수 있는 식별 장치 및 전자기기를 제공한다.
[해결 수단] 대상물에 대해 광을 조사하고, 상기 광을 검지하는 TOF 센서에 의한 센싱 데이터에 기초하여, 상기 대상물로부터의 직접 반사광에 관한 직접 반사광 정보를 산출하는 직접 반사광 정보 산출부와, 상기 직접 반사광 정보에 기초하여 상기 대상물을 검출하는 대상물 검출부와, 검출된 상기 대상물의 상기 직접 반사광 정보에 기초하여, 당해 대상물의 식별을 헹하는 대상물 식별부를 포함하는, 식별 장치를 제공한다.

Description

식별 장치 및 전자기기

본 개시는, 식별 장치 및 전자기기에 관한 것이다.

최근, 스마트 폰 등의 전자기기에, 그 시큐러티를 확보하기 위해, 식별 장치가 탑재되어 있는 것이 많아지고 있다. 상세하게는, 당해 식별 장치는, 상기 전자기기를 사용하려는 사람의 얼굴 화상을 촬상하여 조합(照合)을 행하고, 상기 전자기기의 유저로서 식별된 사람에 대해서만 상기 전자기기의 사용을 허가한다.

예를 들면, 하기 특허문헌 1에 있어서는, 유저의 얼굴 화상을 미리 등록해 두고, 등록된 얼굴 화상과 새롭게 촬상한 얼굴 화상과의 사이에 조합을 행하는 식별 장치가 개시되어 있다. 당해 특허문헌 1에 있어서는, 등록된 얼굴 화상이 촬상되었을 때의 조명 조건과 동일한 조명 조건 하에서 새로운 얼굴 화상을 촬상하도록, 조명을 제어함으로써, 식별의 정밀도를 향상시키고 있다.

일본특허공개 제2017-27492호 공보

식별의 정밀도를 향상시키려 할 경우에는, 상술한 것처럼, 등록된 얼굴 화상이 촬상되었을 때의 환경광의 상태와 동일 상태의 환경광 하에서 새로운 얼굴 화상을 촬상하도록 하는 것이, 바람직하다. 그러나, 환경광은 변동하기 쉽고, 상황에 따라서는, 등록된 얼굴 화상이 촬상되었을 때의 환경광과 동일 상태의 환경광을 재현하여 촬상하는 것은 곤란하다.

이에, 본 개시에서는, 환경광의 변동의 영향을 받는 일 없이, 양호한 정밀도로 식별을 행하는 것이 가능한, 신규이며, 또한, 개량된 식별 장치 및 전자기기를 제안한다.

본 개시에 의하면, 대상물에 대해 광을 조사하고, 상기 광을 검지하는 TOF 센서에 의한 센싱 데이터에 기초하여, 상기 대상물로부터의 직접 반사광에 관한 직접 반사광 정보를 산출하는 직접 반사광 정보 산출부와, 상기 직접 반사광 정보에 기초하여 상기 대상물을 검출하는 대상물 검출부와, 검출된 상기 대상물의 상기 직접 반사광 정보에 기초하여, 당해 대상물의 식별을 행하는 대상물 식별부를 구비하는, 식별 장치가 제공된다.

또한, 본 개시에 의하면, 대상물에 대해 광을 조사하고, 상기 광을 검지하는 TOF 센서에 의한 센싱 데이터에 기초하여, 상기 대상물의 거리 정보를 산출하는 거리 정보 산출부와, 상기 거리 정보에 기초하여 상기 대상물을 검출하는 대상물 검출부와, 검출된 상기 대상물의 상기 거리 정보에 기초하여, 당해 대상물의 식별을 행하는 대상물 식별부를 구비하는, 식별 장치가 제공된다.

나아가, 본 개시에 의하면, 대상물에 대해서 광을 조사하고, 상기 광을 검지하는 TOF 센서에 의한 센싱 데이터에 기초하여, 상기 대상물로부터의 직접 반사광에 관한 직접 반사광 정보를 산출하는 직접 반사광 정보 산출부와, 상기 직접 반사광 정보에 기초하여 상기 대상물을 검출하는 대상물 검출부와, 검출된 상기 대상물의 상기 직접 반사광 정보에 기초하여, 당해 대상물의 식별을 행하는 대상물 식별부를 갖는 식별 장치를 탑재하는, 전자기기가 제공된다.

이상 설명한 것처럼 본 개시에 의하면, 환경광의 변동의 영향을 받는 일 없이, 양호한 정밀도로 식별을 행하는 것이 가능한 식별 장치 및 전자기기를 제공할 수 있다.

또한, 상기 효과는 반드시 한정적인 것은 아니고, 상기 효과와 함께, 또는 상기 효과에 대신하여, 본 명세서에 나타낸 어느 효과, 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되어도 좋다.

[도 1] 비교예의 식별 장치에 의한 식별 방법을 설명하기 위한 설명도이다.
[도 2] 본 개시의 실시형태와 관련되는 식별 장치에서 이용되는 화상을 설명하기 위한 설명도이다.
[도 3] 본 개시의 실시형태와 관련되는 식별 방법과 비교예의 식별 방법과의 차이를 설명하기 위한 설명도이다.
[도 4] 본 개시의 제1 실시형태와 관련되는 식별 시스템(10)의 구성예를 나타내는 블록도이다.
[도 5] 동 실시형태와 관련되는 TOF 센서(100)의 구성예를 나타내는 블록도이다.
[도 6] 거리 정보의 산출 방법의 원리를 설명하기 위한 설명도이다.
[도 7] 동 실시형태와 관련되는 TOF 센서(100)를 이용한 거리 정보의 산출 방법을 설명하기 위한 설명도이다.
[도 8] 동 실시형태에 있어서의 환경광(간접 반사광)의 캔슬을 모식적으로 나타내는 설명도이다.
[도 9] 동 실시형태에 있어서의 정규화의 일례를 설명하기 위한 설명도이다.
[도 10] 동 실시형태와 관련되는 식별 방법의 등록 단계를 설명하는 흐름도이다.
[도 11] 동 실시형태와 관련되는 식별 방법의 식별 단계를 설명하는 흐름도이다.
[도 12] 본 개시의 제2 실시형태와 관련되는 식별 방법의 등록 단계를 설명하는 흐름도이다.
[도 13] 동 실시형태와 관련되는 식별 방법의 식별 단계를 설명하는 흐름도이다.
[도 14] 본 개시의 제3 실시형태와 관련되는 적층 이미지 센서(20)의 구성예를 나타내는 도면이다.
[도 15] 동 실시형태와 관련되는 적층 이미지 센서(20)의 상세 구성예를 나타내는 블럭도이다.
[도 16] 동 실시형태의 변형예와 관련되는 적층 이미지 센서(20a)의 구성예를 나타내는 도면이다.
[도 17] 동 실시형태의 변형예와 관련되는 적층 이미지 센서(20a)의 상세 구성예를 나타내는 블럭도이다.
[도 18] 본 개시의 제4 실시형태와 관련되는 전자기기(900)의 하드웨어 구성의 일례를 나타낸 블럭도이다.

이하 첨부 도면을 참조하면서, 본 개시의 바람직한 실시형태에 대해 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어, 실질적으로 동일한 기능 구성을 가지는 구성요소에 대해서는, 동일한 부호를 붙임으로써 중복 설명을 생략한다.

또한, 본 명세서 및 도면에 있어, 실질적으로 동일 또는 유사한 기능 구성을 가지는 복수의 구성요소를, 동일한 부호 뒤에 다른 숫자를 붙여 구별하는 경우가 있다. 다만, 실질적으로 동일 또는 유사한 기능 구성을 가지는 복수의 구성요소 각각을 특히 구별할 필요가 없는 경우, 동일 부호만을 붙인다. 또한, 다른 실시형태의 유사한 구성요소에 대해서는, 동일한 부호 뒤에 다른 알파벳을 붙여 구별하는 경우가 있다. 다만, 유사한 구성요소의 각각을 특히 구별할 필요가 없는 경우, 동일 부호만을 붙인다.

또한, 설명은 이하의 순서로 행하는 것으로 한다.

1. 본 발명자가 본 개시와 관련되는 실시형태를 창작하기에 이른 배경

2. 본 개시의 실시형태의 개요

3. 제1 실시형태

3. 1 제1 실시형태와 관련되는 식별 시스템(10)의 개요

3. 2 TOF 센서(100)의 상세 구성

3. 3 처리 유닛(200)의 상세 구성

3. 4 식별 방법

3. 4. 1 등록 단계

3. 4. 2 식별 단계

4. 제2 실시형태

4. 1 식별 방법

4. 1. 1 등록 단계

4. 2. 2 식별 단계

5. 제3 실시형태

6. 제4 실시형태

7. 정리

8. 보충

<<1. 본 발명자가 본 개시와 관련되는 실시형태를 창작하기에 이른 배경>>

다음으로, 본 개시와 관련되는 실시형태의 상세를 설명하기 전에, 본 발명자가 본 개시와 관련되는 실시형태를 창작하기에 이른 배경에 대해, 도 1을 참조하여 설명한다. 도 1은, 비교예의 식별 장치에 의한 식별 방법을 설명하기 위한 설명도이며, 여기서 비교예란, 본 발명자가, 본 개시와 관련되는 실시형태를 창작할 때까지 검토를 계속하고 있던 식별 장치나 식별 방법을 의미한다.

비교예와 관련되는 식별 장치에 있어서는, 특정 인물의 얼굴 화상을 미리 등록해 두고, 새롭게 촬상한 얼굴 화상과, 미리 등록된 얼굴 화상을 조합함으로써, 새롭게 얼굴 화상이 촬상된 인물에 대해 식별을 행하고 있었다. 그러나, 비교예와 관련되는 식별 장치에 있어서는, 실제로는 동일 인물임에도 불구하고, 상술한 바와 같은 조합의 결과, 타인이라 식별하여 버리는 경우가 있어, 식별 정밀도를 향상시킴에 한계가 있었다.

비교예와 관련되는 식별 장치에 있어서 상술한 바와 같은 잘못된 식별을 행하여 버리는 것에 대해, 도 1을 참조하여 구체적으로 설명한다. 여기서, 비교예와 관련되는 식별 장치에 있어서, 도 1의 좌측에 나타내는 것 같은 등록용 얼굴 화상(502)을 이용하여 조합을 행하는 경우를 생각한다. 이 때, 비교예와 관련되는 식별 장치는, 새롭게 인물의 얼굴 화상을 촬상하여, 조합용 얼굴 화상(504)을 취득하고, 새롭게 취득한 조합용 얼굴 화상(504)과, 상기 등록용 얼굴 화상(502)을 조합하게 된다.

예를 들면, 비교예와 관련되는 식별 장치가, 등록용 얼굴 화상(502)의 촬상 시와 다른 조명 조건에서, 등록용 얼굴 화상(502)의 인물과 동일 인물을 촬상했을 경우에는, 도 1의 우측에 나타내는 바와 같은 조합용 얼굴 화상(504b, 504c)이 얻어지는 경우가 있다. 구체적으로는, 등록용 얼굴 화상(502)의 촬상 시에는 인물의 얼굴의 정면에 광이 부딪히고 있어(순광(順光)), 도 1의 좌측에 나타내는 바와 같이, 등록용 얼굴 화상(502)은, 얼굴 전체에 걸쳐 선명한 화상으로 되고 있다. 한편, 조합용 얼굴 화상(504b)의 촬상 시에는 인물의 얼굴의 왼쪽 반에만 광이 부딪히고 있어, 도 1의 우측 상단에 나타내는 바와 같이, 조합용 얼굴 화상(504b)은, 화상에 있어서의 음영의 차가 크며, 상세하게는, 얼굴의 반이 선명하고, 또한, 나머지 반이 불선명한 화상으로 되고 있다. 나아가, 조합용 얼굴 화상(504c)의 촬상 시에는 인물의 얼굴 전체에 광이 충분히 부딪히지 않아서, 도 1의 우측 하단에 나타내는 바와 같이, 조합용 얼굴 화상(504c)은, 얼굴 전체에 걸쳐 불선명한 화상으로 되고 있다.

즉, 조합용 얼굴 화상(504b, 504c)은, 등록용 얼굴 화상(502)과는 달리, 그 전체 또는 일부가 불선명한 화상이다. 따라서, 등록용 얼굴 화상(502)과 조합용 얼굴 화상(504b, 504c)을 이용하여 조합을 행했을 경우, 이러한 화상(502, 504b, 504c)이 동일 인물의 얼굴 화상임에도 불구하고, 비교예와 관련되는 식별 장치는, 다른 인물의 얼굴 화상이다라고 판단하는 경우가 있다. 그리고, 그 결과, 비교예와 관련되는 식별 장치에서는, 동일 인물이라고 식별할 수 없다.

비교예와 관련되는 식별 장치가 잘못된 식별을 행하여 버리는 원인으로서는, 등록용 얼굴 화상(502)의 촬상 시의 조명 조건과, 조합용 얼굴 화상(504)의 촬상 시의 조명 조건이 다르므로, 동일 인물의 얼굴 화상임에도 불구하고, 다른 상태의 얼굴 화상을 촬상하여 버리는 것에 있다. 즉, 비교예와 관련되는 식별 장치에 있어서는, 그 식별의 정밀도는, 촬상 시의 조명 조건(환경광)의 변동에 좌우(영향)되기 쉽다라고 말할 수 있다.

이에, 먼저 설명한 상기 특허문헌 1에 개시된 식별 장치에 있어서는, 조합용 얼굴 화상(504)의 촬상 시의 조명 조건을, 등록용 얼굴 화상(502)의 촬상 시의 조명 조건과 동일하게 되도록 조명을 제어하고 있다. 이와 같이 함으로써, 조합용 얼굴 화상(504)의 촬상 시에는, 등록용 얼굴 화상(502)의 촬상 시의 조명 조건과 같은 조명 조건으로 할 수 있기 때문에, 동일 인물이라면 대략 동일(거의 동등)한 얼굴 화상이 촬상되게 된다. 따라서, 상기 특허문헌 1에 개시된 식별 장치에 있어서는, 동일 인물임이라는 식별 결과가 얻어지는 확률이 높아지므로, 식별 정밀도를 향상시킬 수 있다.

상세하게는, 상기 특허문헌 1에 있어서는, 등록용 얼굴 화상(502)의 촬상 시의 조명 조건을 추정하여, 조합용 얼굴 화상(504)의 촬상 시의 조명 조건을 동일하게 하려고 제어한다. 그렇지만, 실외 등에서는 태양광 등의 변동의 영향을 받기 때문에, 조명 조건을 안정적으로 소망하는 조건이 되도록 제어하는 것은 곤란하다. 또한, 등록용 얼굴 화상(502)의 촬상 시의 조명 조건을 추정하여, 조명의 제어를 행하기 때문에, 상기 특허문헌 1에 있어서는, 처리 시간의 장시간화나 소비 전력의 증가를 회피하기 곤란하며, 나아가, 식별 장치의 구성의 복잡화나 제조 코스트의 증가를 회피하기도 곤란하다.

이에, 본 발명자는, 전술한 바와 같은 상황을 감안하여, 환경광의 변동에 좌우되기 쉬운 2차원 화상(예를 들면, 상술한 등록용 얼굴 화상(502), 조합용 얼굴 화상(504)과 같은 컬러 화상이나 적외광 화상)이 아니라, 피사체(대상물)의 뎁스(depth) 정보를 나타내는 거리 정보(2.5차원 정보나 3차원 정보)를 이용하여 식별을 행하는 것에 착상하였다. 또한, 여기서 2.5차원 정보란, 후술하는 TOF 센서의 화소마다 취득된 거리 정보(뎁스 정보)를, 해당하는 화소의 위치 정보에 관련지어 생성된 정보이다. 또한, 여기서 3차원 정보란, 2.5차원 정보에 있어서의 화소의 위치 정보를 실 공간의 좌표로 변환하고, 변환하여 얻은 좌표에 해당하는 거리 정보를 관련지어 생성된, 실 공간에 있어서의 3차원 좌표 정보(상세하게는, 복수의 3차원 좌표 정보의 집합체)이다.

거리 정보를 취득하는 방법의 하나로서는, 스테레오 카메라에 의한 방법을 들 수 있다. 스테레오 카메라는, 2대의 카메라에 의해 화상을 취득하고, 이들 카메라의 시차를 이용하여 피사체까지의 거리 정보를 취득한다. 그렇지만, 스테레오 카메라에서는, 2대의 카메라를 사용하기 때문에, 장치의 구성이 커지는 것을 회피하는 것이 곤란하다. 또한, 본 발명자의 검토에 의하면, 스테레오 카메라는, 패턴이 없는, 균일한 표면에 대한 거리 정보를 얻기가 어려우며, 예를 들면, 얼굴 등의 패턴이 적은 피부 영역에 대해 거리 정보를 취득하는 것이 곤란하다. 게다가, 스테레오 카메라에 의한 거리 정보의 정밀도는, 환경광의 변동에 좌우되기 쉽다.

또한, 거리 정보를 취득하는 방법의 다른 하나로서는, 스트럭처드 라이트(structured light)법을 들 수 있다. 스트럭처드 라이트법은, 피사체의 표면에 소정의 패턴을 갖는 광을 투영하고, 피사체에 투영된 광의 패턴의 변형을 해석함으로써, 피사체까지의 거리를 추정하는 방법이다. 스트럭처드 라이트법은, 비교예와 비교하여 환경광의 변동에 좌우되기 어려운 방법이라고 말할 수 있지만, 환경광의 변동의 영향을 완전하게 캔슬하는 것은 어렵다. 게다가, 스트럭처드 라이트법에 있어서는, 소정의 패턴이 투영된 상태에서의 피사체의 화상을 촬상하게 되어, 이와 같은 화상을 인물 등의 식별에 이용했을 경우에는, 투영된 패턴에 영향을 받아 식별 정밀도를 향상시키는 것이 어렵다.

거리 정보를 취득하는 방법으로서는, 카메라를 피사체의 주변에서 이동시키면서 피사체를 연속하여 촬상하고, 당해 피사체의 복수의 촬상 프레임을 취득하고, 취득한 복수의 촬상 프레임에 기초하여 상기 피사체의 거리 정보를 산출한다고 하는 방법도 있다. 그렇지만, 당해 방법에 있어서도, 환경광의 변동의 영향을 캔슬하는 것이 어렵다. 게다가, 당해 방법에 있어서는, 복수의 촬상 프레임을 취득하기 때문에 시간이 걸리며, 나아가서는, 피사체가 이동하거나, 피사체의 외형이 변화하거나 할 경우에는, 거리 정보를 산출하지 못하기 때문에, 인물 등을 식별하는 식별 장치에 적용하는 것이 곤란하다.

또한, 비교예와 같이 2차원 화상을 촬상하는 카메라와, 상술한 바와 같은 거리 정보를 취득하는 카메라의 양방을 동시에 사용하여 식별을 행하는 것도 생각할 수 있지만, 역시 사용하는 카메라가 복수가 되므로, 식별 장치의 구성이 커지는 것을 피하는 것이 어렵다.

이에, 본 발명자는, 상술한 바와 같은 검토에 기초하여, 환경광의 변동의 영향을 받는 일 없이, 양호한 정밀도로 식별을 행하는 것이 가능한 본 개시의 실시형태와 관련되는 식별 장치를 창작하기에 이르렀다. 이하, 본 발명자가 창작한 본 개시의 실시형태의 상세내용에 대해 순차 설명한다.

<<2. 본 개시의 실시형태의 개요>>

우선, 본 개시의 실시형태의 개요를 도 2 및 도 3을 참조하여 설명한다. 도 2는, 본 개시의 실시형태와 관련되는 식별 장치에 이용되는 화상을 설명하기 위한 설명도이며, 도 3은, 본 개시의 실시형태와 관련되는 식별 방법과 비교예의 식별 방법과의 차이를 설명하기 위한 설명도이다.

본 발명자는, 상술한 바와 같은 검토에 기초하여, TOF(Time Of Flight) 센서를 이용하여 거리 정보 등을 취득하고, 취득한 거리 정보 등에 기초하여 식별을 행하는 것을 착상했다. TOF 센서는, 예를 들면, 피사체에 소정의 주기를 갖는 조사광을 조사하고, 당해 피사체로부터 반사된 상기 광(반사광)을 검지하고, 조사광과 반사광의 위상차나 시간차를 검출함으로써, 피사체의 뎁스(거리 정보)를 취득할 수 있다. 또한, 본 발명자가 창작한 본 개시의 실시형태에 있어서는, TOF 센서는, 조사광과 반사광의 위상차를 검출함으로써, 피사체의 뎁스를 취득할 수 있는 센서인 것으로 한다.

TOF 센서는 상술한 바와 같이 거리 정보를 취득할 수 있으므로, 예를 들면, 이하에 설명하는 본 실시형태와 관련되는 TOF 센서는, 도 2의 우측에 나타내는 것 같은 피사체(여기서는 인물의 얼굴)의 거리 정보에 기초하는 화상(600)(이하, 거리 화상(600)이라 부름)을 취득할 수 있다. 당해 거리 화상(600)은, 인물의 얼굴로부터 반사된 반사광에 기초하여 얻어진 거리 정보를, TOF 센서의 화소의 위치 정보에 관련지음으로써 얻어진 2.5차원 정보를 평면에 투영시킴으로써(거리 정보에 따른 색이나 밝기를 부여함으로써) 얻어진 화상이다. 거리 정보는, 환경광이 변동하여도 일정한 값으로서 취득되므로, 거리 정보는, 환경광의 변동에 좌우되지 않는 정보라고 말할 수 있다. 또한, 당해 거리 화상(600)은, 상술한 3차원 정보를 평면에 투영시켜 얻어진 화상이여도 된다.

또한, TOF 센서는, 광(예를 들면, 적외광)을 피사체에 조사하고, 당해 피사체에 있어서 반사된 광을 검지할 수 있으므로, 검지한 반사광에 기초하는 화상(예를 들면, 적외선 화상)도, 거리 화상(600)과 동시에 취득할 수 있다. 구체적으로는, 본 실시형태와 관련되는 TOF 센서는, 도 2의 좌측에 나타내는 바와 같은 피사체(여기서는 인물의 얼굴)의 직접 반사광 정보에 기초하는 화상(700)(이하, 직접 반사광 화상(700)이라 부름)도 취득할 수 있다. 당해 직접 반사광 화상(700)은, TOF 센서에 의해 피사체에 조사광을 조사하고, 당해 피사체로부터 직접 반사된 반사광을 검지함으로써 얻어진 직접 반사광 정보에 기초하는 화상이다. 보다 더 상세하게는 당해 직접 반사광 화상(700)은, 도 2의 좌측에 나타내는 바와 같이, TOF 센서로 검지된 광의 강도를 그라데이션으로 표현한 화상으로 되고 있다. 다만, 본 발명자가 창작한 본 개시의 실시형태에 있어서는, 직접 반사광 화상(700)은, 상술한 비교예의 등록용 얼굴 화상(502), 조합용 얼굴 화상(504)(도 1 참조)과 닮아 있지만, TOF 센서로 검지된 광의 정보(센싱 데이터)에 대해서 환경광의 영향을 캔슬하도록 처리한 다음 얻어진 화상인 점에서, 비교예와는 크게 다르다. 환경광의 영향이 캔슬되어 있는 것으로부터도 분명한 바와 같이, 직접 반사광 화상(700)은, 환경광의 변동에 좌우되지 않는 화상이라고 말할 수 있다. 즉, 본 발명자는, TOF 센서의 센싱 데이터에 대해서 환경광의 영향을 캔슬하도록 처리한 다음 얻어진 정보(직접 반사광 정보)에 기초하는 직접 반사광 화상(700)을 이용하여 식별을 행하는 것을 독자적으로 착상하였다. 또한, 본 발명자가 창작한 본 개시의 실시형태에 있어서의 환경광의 영향의 캔슬의 상세내용에 대해서는 후술한다.

또한, 상술한 거리 화상(600)과 직접 반사광 화상(700)은, 본 실시형태와 관련되는 TOF 센서에 의한 1샷(shot)에 의해 동시에 취득할 수 있다. 따라서, 본 실시형태에 있어서는, 2개의 화상을 취득하는 등을 위해, 복수의 화상 프레임을 촬상할 필요가 없어, 식별과 관련되는 시간의 증가를 회피할 수 있다. 또한, 본 실시형태와 관련되는 TOF 센서는, 피사체에 대해서 광을 조사하므로, 본 실시형태에 있어서는, 어두운 곳 등이더라도 피사체의 식별을 행할 수 있다. 또한, 도 2에 나타내는 거리 화상(600)과 직접 반사광 화상(700)은 어디까지나 일례이며, 본 실시형태와 관련되는 거리 화상(600) 및 직접 반사광 화상(700)은, 도 2의 예에 한정되는 것은 아니다.

이상과 같이, 본 발명자가 창작한 본 개시의 실시형태에 있어서는, 환경광의 변동에 좌우되기 어려운, 거리 정보(거리 화상(600)) 및 직접 반사광 정보(직접 반사광 화상(700)) 중 적어도 하나를 이용하여 식별을 행함으로써, 환경광의 변동의 영향을 받는 일 없이, 양호한 정밀도로 식별을 행할 수 있다.

구체적으로, 도 3을 참조하여, 본 개시의 실시형태와 관련되는 식별 방법을 비교예의 식별 방법과 비교하면서 설명한다. 상세하게는, 도 3의 좌측 상단에는, 비교예와 관련되는 식별 방법에 있어서의 등록용 얼굴 화상(502a)이 나타내어져 있고, 도 3의 좌측 하단에는, 비교예와 관련되는 식별 방법에 있어서의 조합용 얼굴 화상(504b, 504c, 504d)이 나타내어져 있다. 또한, 도 3의 우측 상단에는, 본 실시형태와 관련되는 식별 방법에 있어서의 등록용 거리 화상(602a)과, 등록용 직접 반사광 화상(702a)이 나타내어져 있다. 또한, 도 3의 우측 하단에는, 본 실시형태와 관련되는 식별 방법에 있어서의 조합용 거리 화상(604b, 604c, 604d)과, 조합용 직접 반사광 화상(704b, 704c, 704d)이 나타내어져 있다. 또한, 도 3에 나타내는 화상은 모두 동일 인물의 얼굴 화상이라고 가정한다. 또한, 도 3의 중앙에 나타내는 바와 같이, 등록용 얼굴 화상(502a), 등록용 거리 화상(602a) 및 등록용 직접 반사광 화상(702a)은, 조명 조건 A에서 촬상된 화상이라고 가정한다. 또한, 조합용 얼굴 화상(504), 조합용 거리 화상(604) 및 조합용 직접 반사광 화상(704)은, 조명 조건 A와는 다르면서, 또한 서로 다른 조명 조건(B, C, D)에서 촬상된 화상이라고 가정한다.

도 3의 좌측에 나타내는 바와 같이, 비교예에 있어서는, 조명 조건이 변화하면, 조합용 얼굴 화상(504b, 504c, 504d)은, 등록용 얼굴 화상(502a)과는 다른 화상으로 됨을 알 수 있다. 구체적으로는, 조합용 얼굴 화상(504b)에서는, 얼굴의 반이 선명하고, 또한, 나머지 반이 불선명한 화상으로 되고 있다. 조합용 얼굴 화상(504c)은, 얼굴 전체에 걸쳐 불선명한 화상으로 되고 있고, 즉, 얼굴 화상인 것의 인식조차 어려운 화상으로 되고 있다. 따라서, 비교예에 있어서는, 조명 조건 즉 환경광이 변동하면, 화상의 상태가 변화하므로, 동일 인물의 얼굴 화상이더라도 조합용 얼굴 화상(504)이 등록용 얼굴 화상(502a)과 크게 다른 화상이기 때문에, 동일 인물이라고 식별하는 것이 어려워진다. 이것은, 비교예에 있어서는, 피사체로부터 직접 반사된 광뿐만 아니라, 조명등에 의한 간접적인 광(간접 반사광), 즉 환경광도 동시에 검지하여 피사체의 화상을 촬상하고 있으므로, 화상이 환경광의 영향을 피할 수 없기 때문이다.

한편, 본 개시의 실시형태에 있어서는, 도 3의 우측에 나타내는 바와 같이, 조명 조건이 변화하더라도, 조합용 거리 화상(604b, 604c, 604d) 및 조합용 직접 반사광 화상(704b, 704c, 704d)은, 등록용 거리 화상(602a) 및 등록용 직접 반사광 화상(702a)과 대략 동일(거의 동등)한 화상으로 되고 있다. 즉, 본 실시형태에 있어서는, 조명 조건, 즉 환경광이 변동하더라도, 화상 상태가 변화하지 않는다. 따라서, 본 실시형태에 있어서는, 조명 조건 즉 환경광이 변동하더라도, 동일 인물이라면 화상의 상태가 변화하는 것이 적기 때문에, 동일 인물이라고 식별할 수 있다.

즉, 본 개시의 실시형태에 의하면, 환경광의 변동의 영향을 받는 일 없이, 양호한 정밀도로 식별을 행하는 것이 가능하게 된다. 이하, 이와 같은 본 개시의 실시형태의 상세내용을 순차 설명한다. 또한, 이하에 설명하는 본 개시의 실시형태에 있어서는, 거리 정보 및 직접 반사광 정보(구체적으로는, 거리 화상(600) 및 직접 반사광 화상(700))의 양자를 이용하여 식별을 행하는 것으로서 설명한다. 그렇지만, 본 실시형태에 있어서는, 거리 정보 및 직접 반사광 정보의 양자를 이용하는 것에 한정되는 것은 아니며, 적어도 어느 일방을 이용하여 식별을 행하는 것도 가능하다.

<<3. 제1 실시형태>>

<3. 1 제1 실시형태와 관련되는 식별 시스템(10)의 개요>

우선은, 본 개시의 제1 실시형태와 관련되는 식별 시스템(식별 장치)(10)의 개요에 대해, 도 4를 참조하여 설명한다. 도 4는, 본 실시형태와 관련되는 식별 시스템(10)의 구성예를 나타내는 블럭도이다. 도 4에 나타내는 바와 같이, 본 실시형태와 관련되는 식별 시스템(10)은, TOF 센서(100)와, 처리 유닛(200)과, 기억부(300)와, 표시부(400)를 주로 포함한다. 이하, 본 실시형태와 관련되는 식별 시스템(10)에 포함되는 각 장치의 개요에 관해 설명한다.

(TOF 센서(100))

TOF 센서(100)는, 피사체의 거리 정보 및 직접 반사광 정보(구체적으로는, 도 2에 나타내는 거리 화상(600) 및 직접 반사광 화상(700))를 취득하기 위한 센싱 데이터를 취득한다. 상세하게는, TOF 센서(100)는, 피사체(대상물)에 적외광 등의 조사광을 조사하고, 피사체로부터 반사된 직접 반사광 등을 검지함으로써 얻은 센싱 데이터를, 후술하는 처리 유닛(200)으로 출력한다. 당해 처리 유닛(200)은, 센싱 데이터에 기초하여, 조사광과 반사광의 위상차를 산출함으로써, 피사체의 거리 정보(뎁스)를 취득할 수 있다. 또한, 당해 처리 유닛(200)은, 센싱 데이터를 처리함으로써, 피사체의 직접 반사광 정보를 얻을 수도 있다. 또한, 상술한 바와 같이 위상차에 의해 거리 정보를 얻는 방법은, 인다이렉트 TOF 방식으로 불리고 있다. TOF 센서(100)의 상세내용에 대해서는 후술한다.

또한, 본 실시형태에 있어서는, 복수의 카메라가 아니라, 1개의 TOF 센서(100)를 이용하기 때문에, 식별 시스템(10)의 구성이 커지거나, 복잡하게 되거나 하는 것을 회피할 수 있고, 나아가서는, 식별 시스템(10)의 제조 코스트의 증가를 회피할 수 있다

(처리 유닛(200))

처리 유닛(200)은, CPU(Central Processing Unit), RAM(Random Access Memory), ROM(Read Only Memory) 등을 중심으로 구성되어 있으며, 후술하는 기억부(300)에 등록용 화상(구체적으로는, 등록용 거리 화상(602), 등록용 직접 반사광 화상(702) 등)을 저장하거나, 기억부(300)에 저장된 상기 등록용 화상을 이용하여, 인물의 식별 등을 행하거나 할 수 있다. 또한, 처리 유닛(200)의 상세내용은 후술한다.

(기억부(300))

기억부(300)는, ROM 및 RAM 등으로 실현되며, 앞서 설명한 바와 같이, 식별을 행할 때에 이용하는 상기 등록용 화상을 저장한다.

(표시부(400))

표시부(400)는, 유저에 대해, 식별 결과 등을 출력하는 기능부이며, 예를 들면, 액정 디스플레이(LCD) 장치, OLED(Organic Light Emitting Diode) 장치 등에 의해 실현된다. 예를 들면, 표시부(400)는, 새롭게 촬상된 인물의 얼굴 화상이, 상술한 기억부(300)에 저장된 상기 등록용 화상과 일치하고 있었을 경우에는, 상기 등록용 화상에 관련지어진 인물의 이름 등의 정보를 표시한다. 한편, 새롭게 촬상된 인물의 얼굴 화상이, 상기 등록용 화상과 일치하고 있지 않은 경우에는, 일치하고 있지 않다는 취지를 표시한다.

또한, 본 실시형태에 있어서는, TOF 센서(100), 처리 유닛(200), 기억부(300) 및 표시부(400)는, 이들의 일부 또는 전부가 일체로 되어 설치되어 있어도 좋다. 예를 들면, TOF 센서(100), 처리 유닛(200), 기억부(300) 및 표시부(400)가 일체로 되어 설치되어 있는 경우에는, 독립하여 식별과 관련되는 처리를 행하는 장치일 수 있다. 또한, 상술한 처리 유닛(200)은, 예를 들면 클라우드 컴퓨팅 등과 같은 네트워크에의 접속을 전제로 한, 복수의 장치로 이루어진 시스템에 의해 구축되어 있어도 된다.

<3. 2 TOF 센서(100)의 상세 구성>

이상, 본 실시형태와 관련되는 식별 시스템(10)의 개요를 설명하였다. 다음으로, 본 실시형태와 관련되는 TOF 센서(100)의 상세 구성에 대해, 도 5를 참조하여 설명한다. 도 5는, 본 실시형태와 관련되는 TOF 센서(100)의 구성예를 나타내는 블록도이다. 도 5에 나타내는 바와 같이, TOF 센서(100)는, 조사부(102)와 수광부(104)를 주로 포함한다. 이하에, TOF 센서(100)의 각 기능부의 상세내용에 대해 설명한다.

(조사부(102))

조사부(102)는, 레이저 광원(도시 생략)과 광학 소자(도시 생략)를 가지고 있다. 레이저 광원으로서는, 예를 들면, 레이저 다이오드가 이용되며, 조사되는 광의 파장은, 레이저 다이오드를 적절히 선택함으로써, 변경할 수 있다. 또한, 본 실시형태에 있어서는, 조사부(102)는, 예를 들면, 파장 785nm 부근의 적외광을 조사하는 것으로서 설명하지만, 본 실시형태에 있어서는, 이와 같은 적외광을 조사하는 것에 한정되는 것은 아니다.

(수광부(104))

수광부(104)는, 집광렌즈(도시 생략)와 수광 소자(도시 생략)를 가지고 있다. 집광렌즈는, 수광한 광을 수광 소자에 모으는 기능을 가진다. 또한, 수광 소자는, 예를 들면, 복수의 화소를 가지는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등으로 이루어지며, 화소마다, 수광한 광의 강도에 기초하여 수광 신호를 생성하고, 생성한 수광 신호를 처리 유닛(200)으로 출력한다.

또한, TOF 센서(100)의 조사부(102) 및 수광부(104)는, 처리 유닛(200)에 의해 제어되어도 되고, 혹은, TOF 센서(100)에 설치된 도시하지 않는 제어부에 의해 제어되어도 좋다.

여기서, TOF 센서(100)에 의한 거리 정보의 산출 방법의 원리에 대해, 도 6을 참조하여 설명한다. 도 6은, 거리 정보의 산출 방법의 원리를 설명하기 위한 설명도이며, 상세하게는, TOF 센서(100)에 있어서의, 조사광과 반사광의 강도의 시간 변동을 모식적으로 나타내고 있다.

도 6에 나타내는 바와 같이, TOF 센서(100)는, 광의 강도가 주기적으로 변동하도록 변조된 광을 조사부(102)로부터 피사체를 향해 조사한다. 조사된 광은, 피사체로부터 반사되어, 반사광으로서 TOF 센서(100)의 수광부(104)에 의해 검지된다. 도 6에 나타내는 바와 같이, 검지된 반사광 (도 6의 하단)은, 조사광(도 6의 상단)에 대해서 위상차를 가지고 있고, 당해 위상차는, TOF 센서(100)로부터 피사체까지의 거리가 멀면 커지고, TOF 센서(100)로부터 피사체까지의 거리가 가까우면 작아진다.

거기서, 예를 들면, TOF 센서(100)는, 반사광의 4위상(0도, 90도, 180도, 270도)에 있어서의 광의 강도를 센싱한다. 센싱 데이터(q₀, q₉₀, q₁₈₀, q₂₇₀)를, 하기 수학식 (1)에 입력함으로써, 위상차(phase)를 산출할 수 있다. 나아가, 이와 같이 산출한 위상차와 광의 파장(range)을 이용함으로써, 하기 수학식 (1)에 의하면, 피사체까지의 거리 정보(distance)를 얻을 수 있다.

또한, 상기 거리 정보는, 수광부(104)의 화소마다 취득할 수 있으므로, 해당하는 화소의 위치 정보와, 거리 정보를 관련지음으로써, 앞서 설명한 2.5차원 정보를 얻을 수 있다.

또한, 본 실시형태와 관련되는 수광부(104)는, 도 5에 나타내는 바와 같이, 서로 차동하는 제1 및 제2 수광부(104a, 104b)를 가지고 있다. 상세하게는, 본 실시형태와 관련되는 제1 및 제2 수광부(104a, 104b)는, 동시에 형성되기 때문에 서로 대략 동일한(거의 같은) 특성을 지니고 있다. 나아가, 제1 및 제2 수광부(104a, 104b)는, 동일한 길이를 가지는 기간에 있어 동작하되, 서로 180도의 위상차를 갖도록 동작하는 것으로 한다(도 7 참조). 또한, 이와 같은 2개의 수광부를 가지는 TOF 센서(100)는, 2탭 방식의 TOF센서로 불린다.

다음으로, 본 실시형태와 관련되는 2탭 방식의 TOF 센서(100)에 있어서의 거리 정보의 산출 방법에 대해, 도 7을 참조하여 설명한다. 도 7은, 본 실시형태와 관련되는 TOF 센서(100)를 이용한 거리 정보의 산출 방법을 설명하기 위한 설명도이다. 도 7에 있어서는, 조사광(도 7의 1단째) 및 반사광(도 7의 2단째)은, 이해하기 쉽게 하기 위해서 펄스 형상의 광으로서 나타내어져 있고, 조사광과 반사광의 위상차는 Φ인 것으로 한다. 또한, 도 7에 있어서는, 제1 수광부(104a)(도 7의 3단째) 및 제2 수광부(104b)(도 7의 4단째)의 동작이 도시되어 있고, 윗쪽에 볼록부를 가지는 기간에 있어서 수광부(104a, 104b)가 동작하는 것으로 한다. 따라서, 도 7에 나타내는 바와 같이, 제1 및 제2 수광부(104a, 104b)가 각각 동작하는 기간은 겹치지 않으므로, 제1 및 제2 수광부(104a, 104b)는 서로 차동하는 것을 알 수 있다.

도 7에 나타내는 바와 같이, 반사광이, 조사광에 대해 위상차 Φ를 가지고 있는 경우에는, 제1 수광부(104a)와 제2 수광부(104b)는, 도 7의 회색으로 나타내는 영역(800a, 800b)에 있어서 반사광을 검지할 수 있다. 상세하게는, 제1 및 제2 수광부(104a, 104b)에서 검지한 광의 강도를 각각 적분함으로써, 도 7의 영역(800a) 및 영역(800b)의 면적에 상당하는 수광 신호를 얻을 수 있다. 도 7로부터 분명한 것처럼, 제1 수광부(104a)에 있어서의 적분치와 제2 수광부(104b)에 있어서의 적분치의 차분은, 반사광의 위상차 Φ에 따라 변화한다. 따라서, 본 실시형태에 있어서는, 제1 및 제2 수광부(104a, 104b)의 적분치의 차분을 산출하고, 산출한 차분에 기초하여 위상차 Φ를 산출하며, 나아가서는 거리 정보를 산출할 수 있다. 또한, 본 실시형태에 있어서는, 적분치의 차분이 아니라, 적분치의 비를 이용하여 위상차 Φ를 산출하여, 거리 정보를 산출하는 것도 가능하다.

실제로는, 제1 및 제2 수광부(104a, 104b)는, 피사체로부터 직접 반사된 반 사광(직접 반사광) 외에, 조명 등에 의한 간접 반사광(환경광)도 동시에 검지하고 있다. 구체적으로는, 제1 및 제2 수광부(104a, 104b)는, 본 실시형태에 있어서의 환경광(간접 반사광)의 캔슬을 모식적으로 나타내는 설명도인 도 8의 상단에 나타내는 것 같은 광을 검지하고 있다.

따라서, 도 8의 상단에 나타내는 바와 같이, 상기 간접 반사광(환경광)을 소정의 기간에 있어서는 주기적으로 강도가 변동하고 있지 않는 광이라고 간주했을 경우에는, 직접 반사광과 달리, 제1 수광부(104a)도 제2 수광부(104b)도, 동일한 강도의 간접 반사광을 검지하고 있는 것이 된다. 따라서, 제1 수광부(104a)의 적분치와 제2 수광부(104b)의 적분치의 차분을 산출함으로써, 서로 공통되는 간접 반사광의 강도에 의한 적분 성분을 캔슬할 수 있어, 도 8의 하단에 나타내는 것 같은 직접 반사광만을 추출하는 것이 가능하게 된다. 즉, 본 실시형태에 있어서는, 제1 수광부(104a)의 적분치와 제2 수광부(104b)의 적분치의 차분을 산출함으로써, 간접 반사광(환경광)의 영향을 캔슬할 수 있다. 그리고, 본 실시형태에 의하면, 간접 반사광을 캔슬한 후의 직접 반사광 정보를 이용함으로써, 환경광의 변동에 좌우되기 어려운 직접 반사광 화상(700)(도 2 참조)을 얻을 수 있다. 또한, 본 실시형태에 있어서는, 상술한 것처럼 제1 수광부(104a)의 적분치와 제2 수광부(104b)의 적분치의 차분을 산출함으로써, 간접 반사광의 영향이 캔슬된 직접 반사광을 추출하는 것에 한정되는 것은 아니다. 예를 들면, 본 실시형태에 있어서는, 제1 수광부(104a)의 적분치와 제2 수광부(104b)의 적분치의 비를 이용하여, 간접 반사광의 영향이 캔슬된 직접 반사광을 추출하여도 된다.

또한, 상술한 거리 정보는, 환경광의 변동에 좌우되기 어려운 것이므로, 앞서 설명한 것처럼 적분치의 차분을 이용하여 산출되는 것에 한정되는 것이 아니다. 그렇지만, 적분치의 차분을 이용하여 산출함으로써, 제1 및 제2 수광부(104a, 104b)의 고유의 공통되는 노이즈 신호를 거리 정보로부터 제거하는 것이 가능하므로, 거리 정보는, 적분치의 차분을 이용하여 산출되는 것이 바람직하다.

또한, 본 실시형태에 있어서는, 2탭 방식의 TOF 센서(100)는, 2개의 수광부(104a, 104b)를 가지는 TOF 센서인 것에 한정되는 것은 아니다. 예를 들면, 본 실시형태와 관련되는 2탭 방식의 TOF 센서(100)는, 1개의 수광부(104)와 1개의 수광부(104)에서 수광한 광을 서로 다른 타이밍에 읽어내는 2개의 독출부(제1 독출부 및 제2 독출부)(도시 생략)를 가지는 센서여도 된다. 이와 같은 1개의 수광부와 2개의 독출부를 가지는 TOF 센서(100)이더라도, 상술한 바와 마찬가지로, 간접 반사광의 영향이 캔슬된 직접 반사광이나, 노이즈 신호를 제거한 거리 신호를 얻을 수 있다.

<3. 3 처리 유닛(200)의 상세 구성>

이상, 본 실시형태와 관련되는 TOF 센서(100)의 상세 구성에 대해 설명했다. 다음으로, 본 실시형태와 관련되는 처리 유닛(200)의 상세 구성에 대해, 도 4를 참조하여 설명한다. 도 4에 나타내는 바와 같이, 처리 유닛(200)은, 거리 정보 산출부(202), 직접 반사광 산출부(직접 반사광 정보 산출부)(204), 피사체 검출부(대상물 검출부)(206), 3차원 변환부(3차원 좌표 산출부)(208), 피사체 정규화부(정규화 처리부)(210), 및 피사체 식별부(대상물 식별부)(212)를 주로 가진다. 이하에, 처리 유닛(200)의 각 기능부의 상세내용에 대하여 설명한다.

(거리 정보 산출부(202))

거리 정보 산출부(202)는, 앞서 설명한 바와 같이, TOF 센서(100)로부터의 센싱 데이터에 기초하여, 조사광과 반사광의 위상차를 산출하고, 위상차에 기초하여, 피사체의 거리 정보(거리 화상(600))를 산출한다. 거리 정보 산출부(202)에서 산출된 거리 정보는, TOF 센서(100)의 수광부(104)의 화소의 위치 정보에 관련지어진 정보이므로, 상술한 2.5차원 정보라고 말할 수 있다. 또한, 거리 정보 산출부(202)는, 산출한 거리 정보를, 후술하는 피사체 검출부(206), 3차원 변환부(208), 피사체 정규화부(210) 등으로 출력할 수 있다.

(직접 반사광 산출부(204))

직접 반사광 산출부(204)는, TOF 센서(100)로부터의 센싱 데이터에 대해서, 상술한 방법에 의해 간접 반사광(환경광)을 캔슬하는 처리를 행함으로써, 피사체의 직접 반사광 정보(직접 반사광 화상(700))를 산출한다. 또한, 직접 반사광 산출부(204)는, 산출한 직접 반사광 정보를, 후술하는 피사체 검출부(206), 피사체 정규화부(210) 등에 출력할 수 있다.

(피사체 검출부(206))

피사체 검출부(206)는, 상술한 거리 정보 산출부(202)에 의해 얻어진 거리 정보에 기초하는 거리 화상(600)이나, 직접 반사광 산출부(204)에 의해 얻어진 직접 반사광 정보에 기초하는 직접 반사광 화상(700)에 있어서의, 피사체가 차지하는 영역(피사체 영역)을 검출한다. 피사체 검출부(206)는, 거리 화상(600)으로부터 피사체로서의 인물의 얼굴의 영역을 검출하는 경우에는, 예를 들면, 소정의 윤곽선(얼굴의 윤곽)에 기초하여, 얼굴의 영역을 검출할 수 있다. 또한, 피사체 검출부(206)는, 직접 반사광 화상(700)으로부터 인물의 얼굴의 영역을 검출하는 경우에는, 예를 들면, 소정의 특징점(목, 코, 입)의 위치 관계 등에 기초하여, 얼굴의 영역을 검출할 수 있다. 또한, 피사체가 TOF 센서(100)에 가까운 경우에는, 피사체 검출부(206)에 의해 검출되는 피사체 영역은 넓어지고, 피사체가 TOF 센서(100)로부터 먼 경우에는, 검출되는 피사체 영역은 좁아진다. 또한, 피사체 검출부(206)는, 검출한 피사체 영역의 결과를, 후술하는 3차원 변환부(208), 피사체 정규화부(210) 등으로 출력할 수 있다.

또한, 피사체 검출부(206)는, 거리 화상(600) 및 직접 반사광 화상(700)의 어느 일방에 있어서 피사체 영역을 검출하고, 검출한 피사체 영역을 타방의 화상의 피사체 영역에 그대로 적용하는 것도 가능하다. 상세하게는, 거리 화상(600) 및 직접 반사광 화상(700)은, TOF 센서(100)로부터의 동일 샷으로부터 얻어진 화상이기 때문에, 양자 사이에 얼라이먼트를 맞출 필요가 없기 때문에, 일방의 화상의 피사체 영역을 그대로 타방의 피사체 영역으로서 이용하는 것이 가능하기 때문이다.

나아가, 피사체 검출부(206)는, 거리 화상(600)에 있어서의 피사체 영역의 검출 결과, 및, 직접 반사광 화상(700)에 있어서의 피사체 영역의 검출 결과의 양자를 이용하여, 최종적인 피사체 영역을 결정해도 된다. 상세하게는, 직접 반사광 화상(700)에 있어서는, 예를 들면, 인물의 얼굴과 그 배경과의 콘트라스트가 작은 경우에는, 인물의 얼굴의 윤곽을 검출하는 것이 곤란하다. 한편, 거리 화상(600)에 있어서는, 상술한 바와 같이 콘트라스트가 작은 경우이더라도, 인물의 얼굴과 배경과의 위치가 다른 것으로부터, 얼굴의 윤곽을 검출하는 것이 용이하다. 그러나, 거리 화상(600)에 있어서는, 얼굴의 목, 코, 입 등의 요철이 적은 특징점을 검출하는 것이 곤란하다. 따라서, 피사체 검출부(206)는, 거리 화상(600) 및 직접 반사광 화상(700)의 양자를 이용하여 피사체 영역을 검출함으로써, 이들 양자에 있어서의 검출의 약점을 서로 보완하여, 피사체 영역의 검출 정밀도를 보다 높일 수 있다.

(3차원 변환부(208))

3차원 변환부(208)는, 거리 정보 산출부(202)에 의해 산출된 2.5차원 정보인 거리 정보를 실 공간의 3차원 공간의 좌표치로 변환한다. 상세하게는, 3차원 변환부(208)는, TOF 센서(100)의 수광부(104)의 화소의 위치 정보를 실 공간의 좌표치로 변환함으로써, 상기 거리 정보를 3차원 공간의 좌표(X, Y, Z)로 변환하고, 3차원 좌표 정보(3차원 정보)를 생성한다. 이와 같이 변환함으로써, 거리 정보를, 공간 상의 실 거리로서 취급할 수 있다. 또한, 3차원 변환부(208)는, 상기 3차원 좌표 정보를, 후술하는 피사체 정규화부(210) 등에 출력할 수 있다. 또한, 3차원 변환부(208)는, 처리 유닛(200)에 설치되지 않아도 좋다.

(피사체 정규화부(210))

피사체 정규화부(210)는, 거리 화상(600), 직접 반사광 화상(700), 및 3차원 정보(도시 생략)에 있어서의 피사체 영역의 정규화를 행한다. 피사체 정규화부(210)에 있어 행해지는 정규화의 예로서는, 방향의 정규화, 스케일의 정규화, 명도의 정규화 등을 들 수 있다. 그리고, 피사체 정규화부(210)는, 정규화 후의 피사체 영역을, 후술하는 피사체 식별부(212)나 기억부(300)에 출력한다. 또한, 앞서 설명한 것처럼, 3차원 정보는, 3차원 좌표 정보(X, Y, Z의 좌표 정보)의 집합체를 말한다.

피사체 정규화부(210)에 있어서의 정규화의 예를, 도 9를 참조하여 설명한다. 도 9는, 본 실시형태에 있어서의 정규화의 일례를 설명하기 위한 설명도이며, 상세하게는, 인물의 얼굴의 방향의 정규화의 일례를 나타내고 있다. 상세하게는, 도 9의 좌측에는 정규화 전의 직접 반사광 화상의 피사체 영역(710)이 나타내어져 있고, 도 9의 우측에는 정규화 후의 직접 반사광 화상의 피사체 영역(712)이 나타내어져 있다. 정규화 전의 직접 반사광 화상의 피사체 영역(710)에 있어서는, 인물의 얼굴이 정면이 아니라 경사 방향을 향하고 있다. 따라서, 피사체 정규화부(210)는, 예를 들면, 정규화 전의 직접 반사광 화상의 피사체 영역(710)에 있어서의 소정의 특징점(목, 코, 입)의 위치 관계나 형상 등에 기초하여, 인물의 얼굴이 비스듬히 향하고 있음을 검출하고, 당해 얼굴이 정면을 향하도록, 정규화 전의 직접 반사광 화상의 피사체 영역(710)을 정규화한다. 그 결과, 피사체 정규화부(210)는, 도 9의 우측에 나타내는 정규화 후의 직접 반사광 화상의 피사체 영역(712)을 취득할 수 있다.

또한, 본 실시형태에 있어서는, 피사체 정규화부(210)는, 도 9에 나타내는 바와 같이, 정면 방향을 향하도록 정규화하는 것에 한정되는 것이 아니라, 미리 설정한 소정의 방향(배향), 예를 들면, 기억부(300)에 저장된 화상에 있어서의 방향에 맞추도록 정규화하여도 되며, 특히 한정되는 것은 아니다. 예를 들면, 기억부(300)에 저장된 화상에 있어서의 방향에 맞추도록 정규화함으로써, 기억부(300)에 저장된 화상에 있어서의 방향과 조합하는 화상에 있어서의 방향이 동일하게 되기 때문에, 후술하는 피사체 식별부(212)에 있어서의 조합의 정밀도를 보다 향상시킬 수 있다.

또한, 본 실시형태에 있어서는, 피사체 정규화부(210)는, 도 9에 나타내는 바와 같이, 직접 반사광 화상의 피사체 영역(710)을 정규화하는 것에 한정되는 것이 아니라, 거리 화상(600)의 피사체 영역(도시 생략)이나 3차원 정보(도시 생략)를 정규화할 수도 있다. 이 경우, 피사체 정규화부(210)는, 예를 들면, 거리 화상(600)의 피사체 영역에 있어서의 소정의 윤곽선(얼굴의 윤곽)의 형상 등에 기초하여, 인물의 얼굴이 정면을 향하도록 정규화를 행할 수 있다. 즉, 피사체 정규화부(210)는, 거리 화상(600), 직접 반사광 화상(700) 및 3차원 정보에 있어서의 피사체 영역 중 적어도 하나를 정규화할 수 있다.

그렇지만, 피사체 정규화부(210)는, 거리 화상(600) 또는 3차원 정보(도시 생략)의 피사체 영역과, 직접 반사광 화상(700)의 피사체 영역의 2개의 피사체 영역을 정규화하는 것이 바람직하고, 이와 같이 함으로써 정규화의 정밀도를 보다 향상시킬 수 있다. 상세하게는, 피사체 정규화부(210)는, 거리 화상(600) 또는 3차원 정보의 피사체 영역에 있어서의 얼굴의 방향의 검출 결과, 및, 직접 반사광 화상(700)의 피사체 영역에 있어서의 인물의 얼굴의 방향의 검출 결과의 양자를 이용하여, 정규화를 행하기 위한 파라미터를 결정하는 것이 바람직하다. 앞서 설명한 것처럼, 거리 화상(600) 또는 3차원 정보와, 직접 반사광 화상(700)은, 각각 다른 검출의 용이함이나 곤란함을 가지고 있다. 따라서, 피사체 정규화부(210)는, 양자의 검출 결과를 이용하여 얼굴의 방향을 결정함으로써, 이들 양자에 있어서의 검출의 약점을 서로 보완하여, 얼굴의 방향의 검출의 정밀도를 높일 수 있다.

나아가, 본 실시형태에 있어서는, 피사체 정규화부(210)는, 거리 화상(600), 직접 반사광 화상(700) 및 3차원 정보(도시 생략)에 있어서의 피사체 영역의 크기 (스케일)를 소정의 크기(스케일)에 맞추도록 정규화를 행해도 된다. 먼저 설명한 것처럼, T0F 센서(100)로부터 피사체까지의 거리가 먼 경우에는 피사체 영역이 좁아지고, TOF 센서(100)로부터 피사체까지의 거리가 가까운 경우에는 피사체 영역이 넓어진다. 따라서, 예를 들어, 피사체 정규화부(210)는, 기억부(300)에 저장되는 화상과 동일한 크기가 되도록, 피사체 정규화부(210)는, 거리 화상(600), 직접 반사광 화상(700) 및 3차원 정보에 있어서의 피사체 영역의 크기를 확대하거나, 축소하거나 함으로써 정규화를 행한다. 바꿔 말하면, 피사체 정규화부(210)는, 기억부(300)에 저장된 화상을 기준으로 하여, 당해 기준 화상이 촬상되었을 때의 피사체와 TOF 센서(100)와의 거리(소정의 거리)와 동일한 거리에서 촬상된 화상으로 하도록, 상기 피사체 영역의 정규화를 행할 수 있다. 이와 같이 함으로써, 기억부(300)에 저장된 화상의 정밀도(해상도)와 조합하는 화상의 정밀도가 동일하게 되기 때문에, 후술하는 피사체 식별부(212)에 있어서의 조합의 정밀도를 보다 향상시킬 수 있다.

또한, 본 실시형태에 있어서는, 피사체 정규화부(210)는, 기억부(300)에 저장된 화상을 기준으로 하여, 당해 기준 화상과 동일한 명도(밝기)나 콘트라스트 등이 되도록, 거리 화상(600), 직접 반사광 화상(700) 및 3차원 정보(도시 생략)에 있어서의 피사체 영역에 대해 정규화를 행해도 된다. 이와 같이 함으로써, 기억부(300)에 저장된 화상 또는 정보의 명도 등과 조합하는 화상 또는 정보의 명도 등이 동일하게 되기 때문에, 후술하는 피사체 식별부(212)에 있어서의 조합의 정밀도를 보다 향상시킬 수 있다.

앞서 설명한 것처럼, 피사체 정규화부(210)는, 거리 화상(600), 직접 반사광 화상(700) 및 3차원 정보(도시 생략)의 피사체 영역 중 적어도 하나를 정규화해도 되고, 이들의 일부 또는 전부를 정규화해도 되며, 본 실시형태에 있어서는 특히 한정되는 것은 아니다. 또한, 피사체 정규화부(210)는, 거리 화상(600), 직접 반사광 화상(700) 및 3차원 정보의 피사체 영역 중 하나에 있어서 이용한 정규화를 위한 파라미터(예를 들어, 방향을 정규화할 때에 이용하는 파라미터)를, 다른 화상의 피사체 영역의 정규화 시에 그대로 적용해도 된다. 거리 화상(600), 직접 반사광 화상(700) 및 3차원 정보는, TOF 센서(100)로부터의 동일 샷으로부터 얻어진 정보이기 때문에, 양자 사이에 얼라인먼트를 맞출 필요가 없기 때문에, 상기 파라미터를 그대로 적용할 수 있다.

(피사체 식별부(212))

피사체 식별부(212)는, 후술하는 식별 단계 시에, 기억부(300)에 저장되어 있는 화상을 읽어내고, 읽어낸 화상과, 피사체 정규화부(210)로부터 취득한 거리 화상(600), 직접 반사광 화상(700) 및 3차원 정보(도시 생략)의 피사체 영역을 조합한다. 상세하게는, 피사체 식별부(212)는, 각 화상의 특징점이나 그들의 위치 관계 등을 비교함으로써, 조합을 행할 수 있다. 이 때, 피사체 식별부(212)는, 거리 화상(600)의 피사체 영역이라면, 기억부(300)로부터 거리 화상(600)을 읽어내어 조합하는 것처럼, 동종의 화상을 이용하여 조합을 행한다. 그리고, 피사체 식별부(212)는, 상기 읽어낸 화상과 상기 피사체 영역이 일치하는 경우에는, 일치한다는 취지의 정보와 함께, 상기 읽어낸 화상에 관련지어져 저장되어 있던 정보(명칭 등)를 표시부(400) 등에 출력한다. 또한, 피사체 식별부(212)는, 상기 읽어낸 화상과 상기 피사체 영역이 일치하지 않는 경우에는, 일치하지 않는다는 취지의 정보를 표시부(400) 등에 출력한다. 또한, 피사체 식별부(212)는, 전술한 바와 같은 조합에 의해 얻어진 식별 결과를, 표시부(400) 이외의 기능부(도시 생략)에 출력해도 되고, 당해 기능부는, 식별 결과에 기초하여, 또 다른 기능부를 제어해도 된다.

<3. 4 식별 방법>

이상, 본 실시형태와 관련되는 식별 시스템(10)에 포함되는 각 장치의 상세내용에 대하여 설명했다. 계속해서, 본 실시형태와 관련되는 식별 방법에 대해 설명한다. 본 실시형태와 관련되는 식별 방법은, 기억부(300)에 화상을 저장할 때까지의 등록 단계와, 기억부(300)에 저장된 화상을 이용하여 식별을 행하는 식별 단계의, 주로 2개의 단계로 나눌 수 있다. 또한, 이하에 설명하는 식별 방법에 있어서는, 처리 유닛(200)에, 상술한 3차원 변환부(208)가 포함되어 있지 않아도 된다.

<3. 4. 1 등록 단계>

우선은, 본 실시형태와 관련되는 식별 방법의 등록 단계에 관해, 도 10을 참조하여 설명한다. 도 10은, 본 실시형태와 관련되는 식별 방법의 등록 단계를 설명하는 흐름도이다. 도 10에 나타내는 바와 같이, 본 실시형태와 관련되는 등록 단계에는, 스텝 S101으로부터 스텝 S113까지의 복수의 스텝이 포함되어 있다. 이하에, 본 실시형태와 관련되는 등록 단계에 포함되는 각 스텝의 상세내용을 설명한다.

(스텝 S101)

우선은, TOF 센서(100)는, 피사체 (예를 들면, 인물의 얼굴)에 대해 광을 조사하고, 반사된 광을 검지하여 얻은 센싱 데이터를 처리 유닛(200)에 출력한다(TOF 센서(100)에 의한 센싱).

(스텝 S103)

처리 유닛(200)은, 상술한 것처럼, 센싱 데이터에 대해 환경광(간접 반사 광)을 캔슬하는 처리를 행한다.

(스텝 S105)

처리 유닛(200)은, 상술한 스텝 S103에서 환경광이 캔슬된 센싱 데이터에 기초하여, 피사체의 거리 정보(거리 화상(600))를 산출한다.

(스텝 S107)

처리 유닛(200)은, 상술한 스텝 S103에서 환경광이 캔슬된 센싱 데이터에 기초하여, 피사체의 직접 반사광 정보(직접 반사광 화상(700))를 산출한다.

(스텝 S109)

처리 유닛(200)은, 상술한 스텝 S105에서 얻어진 거리 화상(600)으로부터 피사체 영역(도시 생략)을 검출한다. 또한, 처리 유닛(200)은, 상술한 스텝 SI07에서 얻어진 직접 반사광 화상(700)으로부터 피사체 영역(710)을 검출한다. 또한, 도 10에 있어서는, 거리 화상(600)으로부터의 피사체 영역의 검출에 대해서는, 그 도시를 생략하고 있다.

(스텝 S111)

처리 유닛(200)은, 상술한 스텝 S109에서 얻어진 거리 화상(600) 및 직접 반 사광 화상(700)의 피사체 영역(710)에 대해서, 정규화를 행하고, 정규화 후의 거리 화상의 피사체 영역(612)과, 정규화 후의 직접 반사광 화상의 피사체 영역(712)을 취득한다. 또한, 여기서 행하는 정규화는, 방향의 정규화, 스케일의 정규화, 명도의 정규화 등일 수 있으며, 특히 한정되는 것은 아니다.

(스텝 S113)

처리 유닛(200)은, 상술한 스텝 S111에서 얻어진 정규화된 피사체 영역(612) 및 피사체 영역(712)을 기억부(300)에 저장한다.

<3. 4. 2 식별 단계>

다음으로, 본 실시형태와 관련되는 식별 방법의 식별 단계에 관해, 도 11을 참조하여 설명한다. 도 11은, 본 실시형태와 관련되는 식별 방법의 식별 단계를 설명하는 흐름도이다. 도 11에 나타내는 바와 같이, 본 실시형태와 관련되는 식별 단계에는, 스텝 S201로부터 스텝 S213까지의 복수의 스텝이 포함되어 있다. 또한, 도 11의 스텝 S201로부터 스텝 S211까지는, 상술한 도 10의 스텝 S101로부터 스텝 S111까지와 같기 때문에, 여기서는, 이들 스텝의 상세한 설명을 생략하고, 스텝 S213만을 설명한다. 또한, 도 11에 있어서도, 거리 화상(600)으로부터의 피사체 영역의 검출에 대해서는, 도시를 생략하고 있다.

(스텝 S213)

처리 유닛(200)은, 기억부(300)에 저장되어 있는 화상(예를 들면, 상술한 등록 단계에서 저장된 인물의 얼굴 화상)을 읽어내고, 읽어낸 화상과, 정규화된 피사체 영역(612) 및 피사체 영역(712)(여기서는, 인물의 얼굴 화상)을 조합한다. 그리고, 처리 유닛(200)은, 상기 읽어낸 화상과, 상기 피사체 영역(612, 712)이 일치하는 경우에는, 일치한다는 취지의 정보와 함께, 상기 읽어낸 화상에 관련지어져 저장되어 있던 정보(인물의 명칭 등)를 유저를 향해 출력한다. 또한, 처리 유닛(200)은, 상기 읽어낸 화상과 상기 피사체 영역이 일치하지 않을 경우에는, 일치하지 않는다는 취지의 정보를 유저를 향해 출력한다.

이상과 같이, 본 실시형태에 있어서는, 환경광의 변동에 좌우되기 쉬운 2차원 화상을 이용하는 것이 아니라, 환경광의 변동에 좌우되기 어려운 거리 화상(600)이나 직접 반사광 화상(700)을 이용하여 식별을 행하기 때문에, 안정되게, 높은 정밀도로 식별을 행할 수 있다.

<4. 제2 실시형태>>

상술한 제1 실시형태에 있어서는, 2.5차원 정보인 거리 화상(600)을 이용하고 있었지만, 이하에 설명하는 제2 실시형태에 있어서는, 2.5차원 정보를 3차원 정보(3차원 좌표 정보)로 변환하여 이용하는 점에서, 상술한 제1 실시형태와 다르다. 이하에, 이와 같은 제2 실시형태의 상세내용을 설명한다.

또한, 이하의 설명에 있어서는, 제1 실시형태와 다른 점만을 설명하고, 제1 실시형태와 공통되는 점에 대해서는, 그 설명을 생략한다. 구체적으로는, 본 실시형태에 있어서는, 식별 시스템(10)이나 당해 식별 시스템(10)에 포함되는 장치의 상세 구성에 대해서는, 처리 유닛(200)에 3차원 변환부(208)가 포함되어 있는 것 이외는, 제1 실시형태와 공통된다. 따라서, 여기서는, 본 실시형태와 관련되는 식별 시스템(10)이나 당해 식별 시스템(10)에 포함되는 장치의 상세 구성의 설명을 생략한다.

<4. 1 식별 방법>

본 실시형태와 관련되는 식별 방법에 대해 설명한다. 본 실시형태와 관련되는 식별 방법도, 제1 실시형태와 마찬가지로, 기억부(300)에 화상을 저장할 때까지의 등록 단계와, 기억부(300)에 저장된 화상을 이용하여 식별을 행하는 식별 단계의, 주로 2개의 단계로 나눌 수 있다.

<4. 1. 1 등록 단계>

우선은, 본 실시형태와 관련되는 식별 방법의 등록 단계에 관해, 도 12를 참조하여 설명한다. 도 12는, 본 실시형태와 관련되는 식별 방법의 등록 단계를 설명하는 흐름도이다. 도 12에 나타내는 바와 같이, 본 실시형태와 관련되는 등록 단계에는, 스텝 S301로부터 스텝 S315까지의 복수의 스텝이 포함되어 있다. 또한, 도 12의 스텝 S301로부터 스텝 S309까지는, 상술한 도 10의 제1 실시형태의 스텝 S101로부터 스텝 S109까지와 같기 때문에, 여기서는, 이들 스텝의 상세한 설명을 생략한다. 또한, 도 12에 있어서도, 거리 화상(600)으로부터의 피사체 영역의 검출에 대해서는, 그 도시를 생략하고 있다.

(스텝 S311)

처리 유닛(200)은, 스텝 S309에서 얻어진 거리 화상(600)의 피사체 영역(도 시 생략)을 3차원 좌표 정보로 변환하고, 피사체의 3차원 정보의 피사체 영역(620)을 취득한다.

(스텝 S313)

처리 유닛(200)은, 도 10의 제1 실시형태의 스텝 S111과 마찬가지로, 상술한 스텝 S311에서 얻어진 3차원 정보의 피사체 영역(620), 및, 스텝(S309)에서 얻어진 직접 반사광 화상(700)의 피사체 영역(710)에 대해, 정규화를 행한다. 그리고, 처 리 유닛(200)은, 정규화 후의 3차원 정보의 피사체 영역(622)과, 정규화 후의 직접 반사광 화상의 피사체 영역(712)을 취득한다.

(스텝 S315)

처리 유닛(200)은, 상술한 스텝 S313에서 얻어진 정규화된 피사체 영역(622) 및 피사체 영역(712)을 기억부(300)에 저장한다.

<4. 1. 2 식별 단계>

다음으로, 본 실시형태와 관련되는 식별 방법의 식별 단계에 관해, 도 13을 참조하여 설명한다. 도 13은, 본 실시형태와 관련되는 식별 방법의 식별 단계를 설명하는 흐름도이다. 도 13에 나타내는 바와 같이, 본 실시형태와 관련되는 등록 단계에는, 스텝 S401로부터 스텝 S415까지의 복수의 스텝이 포함되어 있다. 또한, 도 13의 스텝 S401로부터 스텝 S413까지는, 상술한 도 12의 스텝 S301로부터 스텝 S313까지와 같으며, 도 13의 스텝 S415는, 도 11의 제1 실시형태의 스텝 S213과 마찬가지이기 때문에, 여기서는, 이들 스텝의 상세한 설명을 생략한다. 또한, 도 13에 있어서도, 거리 화상(600)으로부터의 피사체 영역의 검출에 대해서는, 그 도시를 생략하고 있다.

본 실시형태에 있어서도, 제1 실시형태와 마찬가지로, 환경광의 변동에 좌우되기 쉬운 2차원 화상을 이용하는 것이 아니라, 환경광의 변동에 좌우되기 어려운 3차원 정보(도시 생략)나 직접 반사광 화상(700)을 이용하여 식별을 행하기 때문에, 안정되고, 높은 정밀도로 식별을 행할 수 있다.

<<5. 제3 실시형태>>

상술한 제1 및 제2 실시형태에 있어서는, 식별 시스템(10)은, 복수의 장치에 의해 구성되어 있는 것으로 설명하였지만, 상술한 식별 시스템(10) 중 적어도 일부가, 적층 이미지 센서에 의해 구축되어 있어도 된다. 따라서, TOF 센서(100)와 처리 유닛(200)을 적층 이미지 센서에 의해 구성한 제3 실시형태를 도 14 및 도 15를 참조하여 설명한다. 또한, 도 14는, 본 실시형태와 관련되는 적층 이미지 센서(20)의 구성예를 나타내는 도면이고, 도 15는, 본 실시형태와 관련되는 적층 이미지 센서(20)의 상세 구성예를 나타내는 블록도이다.

도 14에 나타내는 바와 같이, 당해 적층 이미지 센서(20)에 있어서는, 화소 영역(120)과 신호 처리 회로 영역(220)이 서로 적층되어 있다. 또한, 도 14에 있어서는, 화소 영역(120)은, 신호 처리 회로 영역(220) 위에 적층되어 있는 것으로서 나타내어져 있지만, 본 실시형태에 있어서는, 도 14와 같이 순번대로의 적층에 한정되는 것이 아니라, 역의 순번대로 적층되어 있어도 된다.

나아가, 도 15에 나타내는 바와 같이, 신호 처리 회로 영역(220)에는, 거리 정보 산출부(202), 직접 반사광 산출부(204), 피사체 검출부(206), 피사체 정규화부(210) 및 피사체 식별부(212)가 설치되어 있다. 즉, 적층 이미지 센서(20)에 있어서는, 화소 영역(120)은, 상술한 TOF 센서(100)로서 기능하고, 센싱 데이터를 신호 처리 회로 영역(220)에 출력한다. 그리고, 당해 신호 처리 회로 영역(220)은, 상술한 처리 유닛(200)으로서 기능하여, 센싱 데이터를 처리하여 얻은 화상을 기억부(300)에 출력하거나, 기억부(300)에 저장된 화상을 이용하여 식별을 행하거나 할 수 있다. 또한, 도 15에 있어서는, 신호 처리 회로 영역(220)에는, 필요에 따라 상기 3차원 변환부(208)를 마련해도 되고, 도시하지 않는 다른 기능부를 마련해도 된다. 즉, 본 실시형태에 있어서는, 식별 시스템(10)은, 1개의 적층 이미지 센서(20)와, 당해 적층 이미지 센서(20)의 외부에 설치된 기억부(300)에 의해 구성할 수 있다.

또한, 적층 이미지 센서는, 3층의 적층 이미지 센서여도 된다. 본 실시형태 의 변형예로서, 3층의 적층 이미지 센서(20a)의 예를 도 17 및 도 18을 참조하여 설명한다. 또한, 도 16은, 본 실시형태의 변형예와 관련되는 적층 이미지 센서(20a)의 구성예를 나타내는 도면이며, 도 17은, 본 실시형태의 변형예와 관련되는 적층 이미지 센서(20a)의 상세 구성예를 나타내는 블록도이다.

도 16에 나타내는 바와 같이, 3층의 적층 이미지 센서(20a)에 있어서는, 화소 영역(120) 및 신호 처리 회로 영역(220) 외에, 메모리 영역(320)이 적층되어 있다. 또한, 도 16에 있어서는, 화소 영역(120)은, 메모리 영역(320) 위에 적층되어 있고, 당해 메모리 영역(320)은, 신호 처리 회로 영역(220) 위에 적층되어 있는 것으로서 나타내어져 있다. 그러나, 본 실시형태에 있어서는, 도 16과 같은 순번대로의 적층에 한정되는 것이 아니라, 다른 순번대로 적층되어 있어도 된다.

본 변형예에 있어서는, 도 17에 나타내는 바와 같이, 메모리 영역(320)에는, 식별에 이용하는 화상을 저장하는 기억부(300)가 설치되어 있다. 즉, 본 변형예에 있어서는, 식별 시스템(10)은, 하나의 적층 이미지 센서(20a)에 의해 구성할 수 있고, 바꾸어 말하면, 적층 이미지 센서(20a) 단체에 의해 식별을 행하는 것이 가능하게 된다. 또한, 본 변형예에 있어서도, 신호 처리 회로 영역(220)에는, 필요에 따라 당해 3차원 변환부(208) 등을 설치해도 된다.

이상과 같이, 본 실시형태 및 본 변형예에 의하면, 상술한 식별 시스템(10)의 적어도 일부를 적층 이미지 센서(20)에 의해 구성함으로써, 식별 시스템(10)을 보다 콤팩트하게, 또한, 소비 전력을 억제한 시스템으로 할 수 있다. 그리고, 상술의 결과, 본 개시의 실시형태와 관련되는 식별 시스템(10)은, 후술하는 바와 같은 여러가지 전자기기에 탑재하는 것이 가능하게 된다.

<<6. 제4 실시형태>>

상술한 것처럼, 제1 내지 제3 실시형태와 관련되는 식별 시스템(10)(적층 이미지 센서(20))는, 데스크 탑형 PC(Personal Computer), 노트형 PC, 랩탑형 PC, 스마트 폰, 휴대전화, 카메라, 웨어러블 디바이스 등의 전자기기에 탑재하는 것이 가능하다.

예를 들면, 전자기기를 사용하는 유저의 인증이나 전자 결제 등을 행하기 위해서, 얼굴 인증용 장치로서, 본 실시형태와 관련되는 식별 시스템(10)을, 각종 PC나 스마트 폰, 휴대전화 등에 탑재할 수 있다. 또한, 수상한 사람 등의 검출용의 장치로서, 상기 식별 시스템(10)을, 방범 카메라나 방범 시스템 등에 탑재할 수 있다. 또한, 각종 공장에 있어 제품이 적절히 제조되고 있는지를 형상 등에 의해 화상 식별하는 검품 장치로서, 본 실시형태와 관련되는 식별 시스템(10)을, 검품 시스템 등에 탑재할 수 있다.

또한, 유저 주위의 공간을 정확하게 인식하기 위해서, HMD(Head Mounted Display)나 안경형의 웨어러블 디바이스에, 주위 공간 인식용의 장치로서 상기 식별 시스템(10)을 탑재해도 된다. 나아가, 주위의 장애물을 인식하기 위해, 본 실시형태와 관련되는 식별 시스템(10)을 자율 주행 등이 가능한 로봇 등에 탑재해도 된다. 또한, 오토 포커스 기능을 지닌 카메라에, 상기 식별 시스템(10)을 탑재함으로써, 당해 카메라의 피사체의 검출 정밀도를 향상시켜, 보다 양호한 정밀도로 카메라의 포커스 등을 제어하도록 해도 된다.

따라서, 본 개시의 제4 실시형태로서, 상술한 식별 시스템(10)이 탑재된 전자기기(900)의 구성예를, 도 18을 참조하여 설명한다. 도 18은, 본 실시형태와 관련되는 전자기기(900)의 하드웨어 구성의 일례를 나타낸 블록도이다.

전자기기(900)는, 예를 들면, CPU(950)와, ROM(952)과, RAM(954)과, 기록 매체(956)와, 입출력 인터페이스(958)와, 조작입력 디바이스(960)를 가진다. 또한, 전자기기(900)는, 표시 디바이스(962)와, 통신 인터페이스(968)와, TOF 센서(980)를 가진다. 또한, 전자기기(900)에서는, 예를 들면, 데이터의 전송로로서의 버스(970)에 의해 각 구성요소 사이를 접속한다.

(CPU(950))

CPU(950)는, 예를 들면, CPU 등의 연산 회로로 구성되는, 1 또는 2 이상의 프로세서나, 각종 처리 회로 등으로 구성되어, 전자기기(900) 전체를 제어하는 제어부로서 기능한다. 구체적으로는, CPU(950)는, 예를 들면, 거리 정보 산출부(202), 직접 반사광 산출부(204), 피사체 검출부(206), 3차원 변환부(208), 피사체 정규화부(210), 피사체 식별부(212) 등의 기능을 담당한다.

(ROM(952) 및 RAM(954))

ROM(952)은, CPU(950)가 사용하는 프로그램이나 연산 파라미터 등의 제어용 데이터 등을 기억한다. RAM(954)은, 예를 들면, CPU(950)에 의해 실행되는 프로그램 등을 일시적으로 기억한다.

(기록 매체(956))

기록 매체(956)는, 예를 들면, 본 실시형태와 관련되는 식별 방법에서 이용하는 화상 등 여러가지 데이터를 기억한다. 여기서, 기록 매체(956)로서는, 예를 들면, 플래쉬 메모리 등의 불휘발성 메모리 등을 들 수 있다. 또한, 기록 매체(956)는, 전자기기(900)로부터 착탈 가능해도 좋다.

(입출력 인터페이스(958), 조작입력 디바이스(960), 및 표시 디바이스(962))

입출력 인터페이스(958)는, 예를 들면, 조작 입력 디바이스(960)나, 표시 디바이스(962) 등을 접속한다. 입출력 인터페이스(958)로서는, 예를 들면, USB(Universal Serial Bus) 단자나, DVI(Digital Visual Interface) 단자, HDMI(High-Definition Multimedia Interface)(등록상표) 단자, 각종 처리 회로 등을 들 수 있다.

조작 입력 디바이스(960)는, 예를 들면, 유저의 전자기기(900)에 대한 조작을 접수하는 입력부로서 기능하고, 전자기기(900)의 내부에서 입출력 인터페이스(958)와 접속된다.

표시 디바이스(962)는, 예를 들면 유저에 대해 식별 결과를 출력하는 표시부(400)로서 기능하고, 전자기기(900) 상에 구비되며, 전자기기(900)의 내부에서 입출력 인터페이스(958)와 접속된다. 표시 디바이스(962)로서는, 예를 들면, 액정 디스플레이나 유기 EL 디스플레이(Organic Electro-Luminescence Display) 등을 들 수 있다.

또한, 입출력 인터페이스(958)는, 전자기기(900) 외부의 조작입력 디바이스(예를 들면, 키보드나 마우스 등)나 외부의 표시 디바이스 등의, 외부 디바이스와 접속하는 것도 가능하다. 또한, 입출력 인터페이스(958)는, 드라이브(도시 생략)와 접속되어 있어도 된다. 당해 드라이브는, 자기 디스크, 광디스크, 또는 반도체 메모리 등의 리무버블 기록 매체를 위한 리더 라이터이며, 전자기기(900)에 내장, 혹은 외부 장착된다. 당해 드라이브는, 장착되어 있는 리무버블 기록 매체에 기록되어 있는 정보를 읽어내어, RAM(954)에 출력한다. 또한, 당해 드라이브는, 장착되어 있는 리무버블 기록 매체에 기록을 기입하는 것도 가능하다.

(통신 인터페이스(968))

통신 인터페이스(968)는, 전자기기(900)의 외부 장치와, 무선 또는 유선으로 통신을 행하기 위한 통신부로서 기능한다. 여기서, 통신 인터페이스(968)로서는, 예를 들어, 통신 안테나 및 RF(Radio frequency) 회로(무선통신)나, IEEE802.15.1 포트 및 송수신 회로(무선통신), IEEE802.11 포트 및 송수신 회로(무선통신), 혹은 LAN(Local Area Network) 단자 및 송수신 회로(유선통신) 등을 들 수 있다.

(TOF 센서(980))

TOF 센서(980)는, 상술한 TOF 센서(100)로서 기능한다.

이상, 전자기기(900)의 하드웨어 구성의 일례를 설명하였다. 또한, 전자기기(900)의 하드웨어 구성은, 도 18에 나타내는 구성에 한정되지 않는다. 상세하게는, 상기 각 구성요소는, 범용적인 부재를 이용하여 구성해도 되고, 각 구성요소의 기능에 특화한 하드웨어에 의해 구성해도 좋다. 이러한 구성은, 실시할 때의 기술 수준에 따라 적절히 변경될 수 있다.

예를 들면, 전자기기(900)는, 자립형(stand alone)으로 처리를 행하는 구성인 경우에는, 통신 인터페이스(968)를 구비하지 않아도 된다. 또한, 통신 인터페이스(968)는, 복수의 통신 방식에 의해, 1 또는 2 이상의 외부 장치와 통신을 행할 수 있는 구성을 가지고 있어도 좋다. 또한, 전자기기(900)는, 예를 들면, 기록 매체(956)나, 조작 입력 디바이스(960), 표시 디바이스(962) 등을 구비하지 않는 구성을 취할 수도 있다.

또한, 본 실시형태와 관련되는 전자기기(900)는, 예를 들면 클라우드 컴퓨팅 등과 같이, 네트워크에의 접속(또는 각 장치 사이의 통신)을 전제로 한, 복수의 장치로 이루어진 시스템이어도 좋다. 이와 같은 경우, 식별을 위한 처리나 식별을 위해 이용하는 화상은 클라우드 상의 컴퓨터(도시 생략)에 의해 행해져도 좋다. 즉, 상술한 본 실시형태와 관련되는 전자기기(900)는, 예를 들면, 복수의 장치에 의해 본 실시형태와 관련되는 식별 방법과 관련되는 처리를 행하는 처리 시스템으로서 실현할 수도 있다.

<<7. 정리>>

이상과 같이, 본 개시의 각 실시형태에 있어서는, 환경광의 변동에 좌우되기 쉬운 2차원 화상을 이용하는 것이 아니라, 환경광의 변동에 좌우되기 어려운, 거리 화상(600), 3차원 정보(도시 생략) 및 직접 반사광 화상(700)을 이용하여 식별을 행한다. 따라서, 이들 실시형태에 따르면, 환경광이 변동하는 경우더라도, 안정되고, 높은 정밀도로 식별을 행할 수 있다.

상세하게는, 본 실시형태에 의하면, 상기 특허문헌 1과 달리, 등록용 얼굴 화상(502)의 촬상 시의 조명 조건을 추정하고, 조합용 얼굴 화상(504)의 촬상 시의 조명 조건을 동일하게 하도록 조명을 제어할 필요는 없다. 따라서, 본 실시형태에 의하면, 상기 특허문헌 1에 비해, 처리 시간의 장시간화나 소비 전력의 증가를 회피할 수 있고, 나아가, 식별 시스템의 구성의 복잡화나 제조 코스트의 증가를 회피할 수도 있다.

또한, 본 실시형태에 의하면, 앞서 설명한 스테레오 카메라에 의한 방법과 달리, 2대의 카메라를 마련할 필요가 없다. 따라서, 본 실시형태에 의하면, 장치의 구성이 커지거나, 제조 코스트가 증가하거나 하는 것을 회피할 수 있다.

또한, 본 실시형태에 의하면, 앞서 설명한 스트럭처드 라이트법과 달리, 피사체의 표면에 소정의 패턴을 가지는 광을 투영할 필요가 없다. 따라서, 본 실시형태에 의하면, 소정의 패턴이 투영된 상태에서의 피사체의 화상을 이용하여 식별을 행하는 일도 없으므로, 식별의 정밀도를 향상시킬 수 있다.

또한, 본 실시형태에 의하면, 카메라를 피사체의 주변에서 이동시키면서 피사체를 연속하여 촬상하고, 당해 피사체의 복수의 촬상 프레임을 취득하지 않더라도, 피사체의 거리 정보를 산출할 수 있다. 따라서, 본 실시형태에 의하면, 피사체가 이동하거나, 피사체의 외형이 변화하는 경우더라도, 피사체의 식별을 행할 수 있다.

또한, 본 개시의 각 실시형태에 있어서는, 앞서 설명한 것처럼, 거리 정보(거리 화상(600)), 직접 반사광 정보(직접 반사광 화상(700)), 및 3차원 좌표 정보(3차원 화상)의 적어도 어느 하나를 이용하여 식별을 행해도 된다. 그렇지만, 본 실시형태에 있어서는, 식별의 정밀도를 보다 향상시킬 수 있기 때문에, 거리 정보(거리 화상(600)) 또는 3차원 좌표 정보(3차원 화상)와, 직접 반사광 정보(직접 반사광 화상(700))의 2개를 이용하여 식별을 행하는 것이 바람직하다.

또한, 상술한 본 개시의 실시형태에 있어서는, 인물의 얼굴의 식별을 행하는 것으로서 설명하였지만, 이들 실시형태에 있어서는, 인물의 얼굴의 식별에 한정되는 것이 아니라, 제품 등의 형상을 식별하거나 하면, 다른 대상물의 식별을 행할 수도 있다.

<<8. 보충>>

상술한 실시형태와 관련되는 식별 방법에 있어서의 각 스텝은, 반드시 기재된 순서에 따라 처리되지 않아도 좋다. 예를 들면, 각 스텝은, 적절히 순서가 변경되어 처리되어도 좋다. 또한, 각 스텝은, 시계열적으로 처리되는 대신에, 일부 병렬적으로 또는 개별적으로 처리되어도 좋다. 나아가, 각 스텝의 처리에 대해서도, 반드시 기재된 방법에 따라 처리되지 않아도 되고, 예를 들면, 다른 기능 블록에 의해 다른 방법으로 처리되고 있어도 된다.

또한, 상기 실시형태와 관련되는 식별 방법의 적어도 일부는, 컴퓨터를 기능시키는 정보처리 프로그램으로서, 소프트웨어로 구성하는 것이 가능하고, 소프트웨어로 구성하는 경우에는, 이러한 방법의 적어도 일부를 실현하는 프로그램을 기록 매체에 저장하고, 처리 유닛(200)이나 전자기기(900) 등, 혹은, 처리 유닛(200)이나 전자기기(900)와 접속된 다른 장치에 읽어들이게 하여 실행시켜도 된다. 또한, 당해 식별 방법의 적어도 일부를 실현하는 프로그램을, 인터넷 등의 통신회선(무선통신도 포함함)을 거쳐 반포해도 된다. 나아가, 동 프로그램을 암호화하거나, 변조를 행하거나, 압축한 상태로, 인터넷 등의 유선 회선이나 무선 회선을 거쳐, 혹은 기록 매체에 저장하여 반포해도 된다.

이상, 첨부 도면을 참조하면서 본 개시의 바람직한 실시형태에 대해 상세하게 설명했지만, 본 개시의 기술적 범위는 이러한 예에 한정되지 않는다. 본 개시의 기술 분야에 있어서의 통상의 지식을 가지는 사람이면, 특허청구의 범위에 기재된 기술적 사상의 범주 내에 있어, 각종의 변경예 또는 수정예에 상도할 수 있음은 분명하고, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것으로 이해된다.

또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것이며 한정적인 것은 아니다. 즉, 본 개시와 관련되는 기술은, 상기 효과와 함께, 또는 상기 효과 대신에, 본 명세서의 기재로부터 당업자에게는 자명한 다른 효과를 발휘할 수 있다.

또한, 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.

(1)

대상물에 대해 광을 조사하고, 상기 광을 검지하는 TOF 센서에 의한 센싱 데이터에 기초하여, 상기 대상물로부터의 직접 반사광에 관한 직접 반사광 정보를 산출하는 직접 반사광 정보 산출부와,

상기 직접 반사광 정보에 기초하여 상기 대상물을 검출하는 대상물 검출부와,

검출된 상기 대상물의 상기 직접 반사광 정보에 기초하여, 당해 대상물의 식별을 행하는 대상물 식별부

를 구비하는, 식별 장치.

(2)

상기 (1)에 있어서,

상기 TOF 센서는, 서로 차동하는 제1 및 제2 수광부를 가지고 있고,

상기 직접 반사광 정보 산출부는, 상기 제1 및 제2 수광부에서 검지한 상기 광의 강도에 기초하여, 상기 직접 반사광 정보를 산출하는,

식별 장치.

(3)

상기 (1)에 있어서,

상기 TOF 센서는, 1개의 수광부와, 상기 수광부가 수광한 광을 서로 다른 타이밍에 읽어내는 제1 및 제2 독출부를 가지고 있고,

상기 직접 반사광 정보 산출부는, 상기 제1 및 제2 독출부에서 읽어낸 상기 광의 강도에 기초하여, 상기 직접 반사광 정보를 산출하는,

식별 장치.

(4)

상기 (2) 또는 (3)에 있어서,

상기 직접 반사광 정보 산출부는,

상기 제1 수광부에서 검지한 광의 강도의 적분치와 상기 제2 수광부에서 검지한 광의 강도의 적분치의 차분에 기초하거나, 또는,

상기 제1 독출부에서 읽어낸 광의 강도의 적분치와 상기 제2 독출부에서 읽어낸 광의 강도의 적분치의 차분에 기초하여,

상기 직접 반사광 정보를 산출하는,

식별 장치.

(5)

상기 (1) 내지 (4) 중 어느 하나에 있어서,

상기 검출된 대상물의 직접 반사광 정보를 정규화하는 정규화 처리부를 더 구비하는, 식별 장치.

(6)

상기 (5)에 있어서,

상기 정규화 처리부는,

상기 TOF 센서로부터 상기 대상물까지의 거리를 소정의 거리에 맞추도록, 또는,

상기 대상물의 크기를 소정의 크기에 맞추도록, 또는,

상기 대상물의 방향을 소정의 방향에 맞추도록, 또는,

상기 검출된 대상물의 직접 반사광 정보의 밝기를 소정의 밝기에 맞추도록,

상기 검출된 대상물의 직접 반사광 정보를 정규화하는,

식별 장치.

(7)

상기 (1) 내지 (6) 중 어느 하나에 있어서,

상기 대상물의 직접 반사광 정보를 저장하는 기억부를 더 구비하고,

상기 대상물 식별부는, 미리 저장된 상기 대상물의 직접 반사광 정보와, 새롭게 산출한 상기 대상물의 직접 반사광 정보를 조합함으로써, 상기 대상물의 식별을 행하는,

식별 장치.

(8)

상기 (7)에 있어서,

상기 기억부는, 정규화된 상기 대상물의 직접 반사광 정보를 저장하는, 식별 장치.

(9)

상기 (1) 내지 (8) 중 어느 하나에 있어서,

상기 센싱 데이터에 기초하여, 상기 대상물의 거리 정보를 산출하는 거리 정보 산출부를 더 구비하고,

상기 대상물 식별부는, 상기 거리 정보에 기초하여 상기 대상물의 식별을 행하는,

식별 장치.

(10)

대상물에 대해 광을 조사하고, 상기 광을 검지하는 TOF 센서에 의한 센싱 데이터에 기초하여, 상기 대상물의 거리 정보를 산출하는 거리 정보 산출부와,

상기 거리 정보에 기초하여 상기 대상물을 검출하는 대상물 검출부와,

검출된 상기 대상물의 상기 거리 정보에 기초하여, 당해 대상물의 식별을 행하는 대상물 식별부,

를 구비하는 식별 장치.

(11)

상기 (10)에 있어서,

상기 거리 정보 산출부는, 조사한 상기 광과 검지한 상기 광의 위상차에 기초하여, 상기 거리 정보를 산출하는, 식별 장치.

(12)

상기 (10) 또는 (11)에 있어서,

상기 TOF 센서는, 서로 차동하는 제1 및 제2 수광부를 갖고 있고,

상기 거리 정보 산출부는, 상기 제1 및 제2 수광부에서 검지한 상기 광의 강도에 기초하여, 상기 거리 정보를 산출하는,

식별 장치.

(13)

상기 (10) 또는 (11)에 있어서,

상기 TOF 센서는, 1개의 수광부와, 상기 수광부가 수광한 광을 서로 다른 타이밍에 읽어내는 제1 및 제2 독출부를 갖고 있고,

상기 거리 정보 산출부는, 상기 제1 및 제2 독출부에서 읽어낸 상기 광의 강도에 기초하여, 상기 거리 정보를 산출하는,

식별 장치.

(14)

상기 (12) 또는 (13)에 있어서,

상기 거리 정보 산출부는,

상기 거리 정보를 산출하는,

식별 장치.

(15)

상기 (10) 내지 (14) 중 어느 하나에 있어서,

상기 검출된 대상물의 거리 정보를 정규화하는 정규화 처리부를 더 구비하고,

상기 정규화 처리부는,

상기 대상물의 크기를 소정의 크기에 맞추도록, 또는,

상기 대상물의 방향을 소정의 방향에 맞추도록, 또는,

상기 검출된 대상물의 거리 정보를 정규화하는,

식별 장치.

(16)

상기 (10) 내지 (15) 중 어느 하나에 있어서,

상기 대상물의 거리 정보를 저장하는 기억부를 더 구비하고,

상기 대상물 식별부는, 미리 저장된 상기 대상물의 거리 정보와, 새롭게 산출한 상기 대상물의 거리 정보를 조합함으로써, 상기 대상물의 식별을 행하는,

식별 장치.

(17)

상기 (10)에 있어서,

상기 거리 정보에 기초하여, 상기 대상물의 3차원 좌표 정보를 산출하는 3차원 좌표 산출부를 더 구비하고,

상기 대상물 식별부는, 상기 3차원 좌표 정보에 기초하여 상기 대상물의 식별을 행하는,

식별 장치.

(18)

상기 (17)에 있어서,

상기 3차원 좌표 정보를 정규화하는 정규화 처리부를 더 구비하고,

상기 정규화 처리부는,

상기 대상물의 크기를 소정의 크기에 맞추도록, 또는,

상기 대상물의 방향을 소정의 방향에 맞추도록, 또는,

상기 3차원 좌표 정보를 정규화하는,

식별 장치.

(19)

상기 (17) 또는 (18)에 있어서,

상기 대상물의 3차원 좌표 정보를 저장하는 기억부를 더 구비하고,

상기 대상물 식별부는, 미리 저장된 상기 대상물의 3차원 좌표 정보와, 새롭게 산출한 상기 대상물의 3차원 좌표 정보를 조합함으로써, 상기 대상물의 식별을 행하는,

식별 장치.

(20)

상기 (1) 내지 (19) 중 어느 하나에 있어서,

상기 TOF 센서를 더 구비하는, 식별 장치.

(21)

상기 (20)에 있어서,

상기 TOF 센서로서 기능하는 화소 영역과,

상기 대상물 검출부 및 상기 대상물 식별부로서 기능하는 신호 처리 회로 영역은,

서로 적층되어 설치되는,

식별 장치.

(22)

검출된 상기 대상물의 상기 직접 반사광 정보에 기초하여, 당해 대상물의 식별을 행하는 대상물 식별부,

를 포함하는, 식별 장치를 탑재하는, 전자기기.

10: 식별 시스템
20, 20a: 적층 이미지 센서
100, 980: TOF 센서
102: 조사부
104, 104a, 104b: 수광부
120: 화소 영역
200: 처리 유닛
202: 거리 정보 산출부
204: 직접 반사광 산출부
206: 피사체 검출부
208: 3차원 변환부
210: 피사체 정규화부
212: 피사체 식별부
220: 신호 처리 회로 영역
300: 기억부
320: 메모리 영역
400: 표시부
502, 502a: 등록용 얼굴 화상
504, 504b, 504c, 504d: 조합용 얼굴 화상
600: 거리 화상
602, 602a: 등록용 거리 화상
604, 604b, 604c, 604d: 조합용 거리 화상
700: 직접 반사광 화상
702, 702a: 등록용 직접 반사광 화상
704, 704b, 704c, 704d: 조합용 직접 반사광 화상
612, 620, 622, 710, 712: 피사체 영역
800a, 800b: 영역
900: 전자기기
950: CPU
952: ROM
954: RAM
956: 기록 매체
958: 입출력 인터페이스
960: 조작입력 디바이스
962: 표시 디바이스
968: 통신 인터페이스
970: 버스

Claims

대상물에 대해 광을 조사하고, 상기 광을 검지하는 TOF 센서에 의한 센싱 데이터에 기초하여, 상기 대상물로부터의 직접 반사광에 관한 직접 반사광 정보를 산출하는 직접 반사광 정보 산출부와,
상기 직접 반사광 정보에 기초하여 상기 대상물을 검출하는 대상물 검출부와,
검출된 상기 대상물의 상기 직접 반사광 정보에 기초하여, 당해 대상물의 식별을 행하는 대상물 식별부와,
상기 검출된 대상물의 직접 반사광 정보를 정규화하는 정규화 처리부를 포함하고,
상기 정규화 처리부는, 상기 대상물의 방향을 소정의 방향에 맞추도록, 상기 검출된 대상물의 직접 반사광 정보를 정규화하는,
식별 장치.
제1항에 있어서,
상기 TOF 센서는, 서로 차동하는 제1 및 제2 수광부를 구비하고 있고,
상기 직접 반사광 정보 산출부는, 상기 제1 및 제2 수광부에서 검지한 상기 광의 강도에 기초하여, 상기 직접 반사광 정보를 산출하는,
식별 장치.
제1항에 있어서,
상기 TOF 센서는, 1개의 수광부와, 상기 수광부가 수광한 광을 서로 다른 타이밍에 읽어내는 제1 및 제2 독출부를 갖고 있고,
상기 직접 반사광 정보 산출부는, 상기 제1 및 제2 독출부에서 읽어낸 상기 광의 강도에 기초하여, 상기 직접 반사광 정보를 산출하는,
식별 장치.
제2항에 있어서,
상기 직접 반사광 정보 산출부는, 상기 제1 수광부에서 검지한 광의 강도의 적분치와 상기 제2 수광부에서 검지한 광의 강도의 적분치의 차분에 기초하여, 상기 직접 반사광 정보를 산출하는,
식별 장치.
삭제
대상물에 대해 광을 조사하고, 상기 광을 검지하는 TOF 센서에 의한 센싱 데이터에 기초하여, 상기 대상물로부터의 직접 반사광에 관한 직접 반사광 정보를 산출하는 직접 반사광 정보 산출부와,
상기 직접 반사광 정보에 기초하여 상기 대상물을 검출하는 대상물 검출부와,
검출된 상기 대상물의 상기 직접 반사광 정보에 기초하여, 당해 대상물의 식별을 행하는 대상물 식별부와,
상기 검출된 대상물의 직접 반사광 정보를 정규화하는 정규화 처리부를 포함하고,
상기 정규화 처리부는,
상기 TOF 센서로부터 상기 대상물까지의 거리를 소정의 거리에 맞추도록, 또는,
상기 대상물의 크기를 소정의 크기에 맞추도록, 또는,
상기 검출된 대상물의 직접 반사광 정보의 밝기를 소정의 밝기에 맞추도록,
상기 검출된 대상물의 직접 반사광 정보를 정규화하는,
식별 장치.
제1항에 있어서,
상기 대상물의 직접 반사광 정보를 저장하는 기억부를 더 구비하고,
상기 대상물 식별부는, 미리 저장된 상기 대상물의 직접 반사광 정보와, 새롭게 산출한 상기 대상물의 직접 반사광 정보를 조합함으로써, 상기 대상물의 식별을 행하는,
식별 장치.
제7항에 있어서,
상기 기억부는, 정규화된 상기 대상물의 직접 반사광 정보를 저장하는, 식별 장치.
제1항에 있어서,
상기 센싱 데이터에 기초하여, 상기 대상물의 거리 정보를 산출하는 거리 정보 산출부를 더 구비하고,
상기 대상물 식별부는, 상기 거리 정보에 기초하여 상기 대상물의 식별을 행하는,
식별 장치.
대상물에 대해 광을 조사하고, 상기 광을 검지하는 TOF 센서에 의한 센싱 데이터에 기초하여, 상기 대상물의 거리 정보를 산출하는 거리 정보 산출부와,
상기 거리 정보에 기초하여 상기 대상물을 검출하는 대상물 검출부와,
검출된 상기 대상물의 상기 거리 정보에 기초하여, 당해 대상물의 식별을 행하는 대상물 식별부와,
상기 검출된 대상물의 거리 정보를 정규화하는 정규화 처리부를 구비하고,
상기 정규화 처리부는, 상기 대상물의 방향을 소정의 방향에 맞추도록, 상기 검출된 대상물의 거리 정보를 정규화하는,
식별 장치.
제10항에 있어서,
상기 TOF 센서는, 서로 차동하는 제1 및 제2 수광부를 구비하고 있고,
상기 거리 정보 산출부는, 상기 제1 및 제2 수광부에서 검지한 상기 광의 강도에 기초하여, 상기 거리 정보를 산출하는,
식별 장치.
제10항에 있어서,
상기 TOF 센서는, 1개의 수광부와, 상기 수광부가 수광한 광을 서로 다른 타이밍에 읽어내는 제1 및 제2 독출부를 가지고 있고,
상기 거리 정보 산출부는, 상기 제1 및 제2 독출부에서 읽어낸 상기 광의 강도에 기초하여, 상기 거리 정보를 산출하는,
식별 장치.
제11항에 있어서,
상기 거리 정보 산출부는, 상기 제1 수광부에서 검지한 광의 강도의 적분치와 상기 제2 수광부에서 검지한 광의 강도의 적분치의 차분에 기초하여, 상기 거리 정보를 산출하는,
식별 장치.
대상물에 대해 광을 조사하고, 상기 광을 검지하는 TOF 센서에 의한 센싱 데이터에 기초하여, 상기 대상물의 거리 정보를 산출하는 거리 정보 산출부와,
상기 거리 정보에 기초하여 상기 대상물을 검출하는 대상물 검출부와,
검출된 상기 대상물의 상기 거리 정보에 기초하여, 당해 대상물의 식별을 행하는 대상물 식별부와,
상기 검출된 대상물의 거리 정보를 정규화하는 정규화 처리부를 구비하고,
상기 정규화 처리부는,
상기 TOF 센서로부터 상기 대상물까지의 거리를 소정의 거리에 맞추도록, 또는,
상기 대상물의 크기를 소정의 크기에 맞추도록, 또는,
상기 검출된 대상물의 직접 반사광 정보의 밝기를 소정의 밝기에 맞추도록,
상기 검출된 대상물의 거리 정보를 정규화하는,
식별 장치.
제10항에 있어서,
상기 대상물의 거리 정보를 저장하는 기억부를 더 구비하고,
상기 대상물 식별부는, 미리 저장된 상기 대상물의 거리 정보와, 새롭게 산출한 상기 대상물의 거리 정보를 조합함으로써, 상기 대상물의 식별을 행하는,
식별 장치.
제10항에 있어서,
상기 거리 정보에 기초하여, 상기 대상물의 3차원 좌표 정보를 산출하는 3차원 좌표 산출부를 더 구비하고,
상기 대상물 식별부는, 상기 3차원 좌표 정보에 기초하여 상기 대상물의 식별을 행하는,
식별 장치.
제16항에 있어서,
상기 3차원 좌표 정보를 정규화하는 정규화 처리부를 더 구비하고,
상기 정규화 처리부는,
상기 TOF 센서로부터 상기 대상물까지의 거리를 소정의 거리에 맞추도록, 또는,
상기 대상물의 크기를 소정의 크기에 맞추도록, 또는,
상기 대상물의 방향을 소정의 방향에 맞추도록, 또는,
상기 검출된 대상물의 직접 반사광 정보의 밝기를 소정의 밝기에 맞추도록,
상기 3차원 좌표 정보를 정규화하는,
식별 장치.
제1항에 있어서,
상기 TOF 센서를 더 구비하는, 식별 장치.
제18항에 있어서,
상기 TOF 센서로서 기능하는 화소 영역과,
상기 대상물 검출부 및 상기 대상물 식별부로서 기능하는 신호 처리 회로 영역은,
서로 적층되어 설치되는,
식별 장치.
대상물에 대해 광을 조사하고, 상기 광을 검지하는 TOF 센서에 의한 센싱 데이터에 기초하여, 상기 대상물로부터의 직접 반사광에 관한 직접 반사광 정보를 산출하는 직접 반사광 정보 산출부와,
상기 직접 반사광 정보에 기초하여 상기 대상물을 검출하는 대상물 검출부와,
검출된 상기 대상물의 상기 직접 반사광 정보에 기초하여, 당해 대상물의 식별을 행하는 대상물 식별부와,
상기 검출된 대상물의 직접 반사광 정보를 정규화하는 정규화 처리부를 포함하고, 상기 정규화 처리부는, 상기 대상물의 방향을 소정의 방향에 맞추도록, 상기 검출된 대상물의 직접 반사광 정보를 정규화하는,
식별 장치를 탑재하는, 전자기기.