KR20160117207A

KR20160117207A - 화상 해석 장치 및 화상 해석 방법

Info

Publication number: KR20160117207A
Application number: KR1020160034037A
Authority: KR
Inventors: 다까히로 아오끼
Original assignee: 후지쯔 가부시끼가이샤
Priority date: 2015-03-31
Filing date: 2016-03-22
Publication date: 2016-10-10
Also published as: JP2016194799A; US20160292525A1; CN106020436A; EP3076334A1

Abstract

비교적 작은 화면밖에 갖지 않는 화상 해석 장치에서도, 화상 해석에 있어서의 지시를 이용자에게 확실하게 전달하는 것을 가능하게 한다. 화상 해석 장치는, 디스플레이, 카메라, 추정부, 설정부, 유도부 및 표시 제어부를 갖는다. 카메라는, 디스플레이에 대면하는 피사체를 촬영한다. 추정부는, 카메라가 촬영한 피사체의 형상을 추정한다. 설정부는, 피사체의 형상에 기초하여, 디스플레이의 표시 영역을 설정한다. 유도부는, 피사체의 형상에 기초하여 상기 피사체에 대한 유도 방향을 산출한다. 표시 제어부는, 유도 방향에 따른 유도 지시를 표시 영역에 표시한다.

Description

화상 해석 장치 및 화상 해석 방법{IMAGE ANALYZING APPARATUS AND IMAGE ANALYZING METHOD}

본 발명은, 화상 해석 장치 및 화상 해석 방법에 관한 것이다.

예를 들어, 손바닥 정맥 인증 장치는, 근적외선으로 생체 내의 정맥 패턴을 촬영하여 개인을 인증하는 장치이다. 이러한 장치는, 인증 대상의 화상을 촬영하고, 화상을 해석하는 화상 해석 장치를 포함하고 있다.

화상 해석 장치와 관련되는 장치로서, 예를 들어 제1 화상 취득부와, 화상 합성부를 구비하고, 소정의 화상을 가공하는 화상 처리 장치가 알려져 있다. 이 화상 처리 장치에서는, 제1 화상 취득부는, 제1 화상을 취득한다. 화상 합성부는, 제2 화상을 취득하고, 취득한 제2 화상과, 제1 화상 취득부가 취득한 제1 화상을 합성한다. 화상 합성부는, 제1 화상 취득부가 취득한 제1 화상에 있어서 소정의 기준을 만족시키는 제1 영역을 검출하고, 검출한 제1 영역의 근방 영역에 제2 화상을 중첩시켜, 제1 화상과 제2 화상을 합성한 제3 화상을 생성한다(예를 들어, 특허문헌 1 참조).

또한, 예를 들어 휴대 정보 단말기 등에서, 화상을 촬영하는 등의 동작을 행할 때, 이용자가 조작하기 쉬운 위치에 아이콘을 표시하기 위한 표시 방법도 알려져 있다. 이 휴대 정보 단말기는, 하우징의 배면 및 측면 중 적어도 한쪽에 설치된 복수의 터치 센서에 의한 검출 결과에 기초하여, 휴대 정보 단말기에 있어서 이용자의 손에 의해 유지되어 있는 위치를 검출한다. 또한, 휴대 정보 단말기는, 내측 카메라에 의해 촬상된 화상으로부터, 이용자의 얼굴의 방향을 인식한다. 휴대 정보 단말기는, 검출된 위치와 인식된 얼굴의 방향으로부터, 어느 손으로 휴대 정보 단말기를 유지하고 있는지의 정보를 포함하는 유지 상태를 추정한다. 휴대 정보 단말기는, 추정된 유지 상태에 기초하여, 현재의 유지 상태에 있어서 이용자가 용이하게 조작 가능해지도록, 터치 패널에 표시되어야 할 아이콘의 표시 위치를 결정한다(예를 들어, 특허문헌 2 참조).

일본 특허 공개 제2011-228913호 공보 일본 특허 공개 제2013-222322호 공보

그런데, 휴대 정보 단말 장치나, 다기능 휴대 전화기 등, 데스크탑 컴퓨터나 노트북 컴퓨터와 비교하여 비교적 작은 화면밖에 갖지 않는 장치에, 손바닥 정맥 인증 장치를 탑재하여 인증하려고 하면, 이하와 같은 문제가 있다. 즉, 손바닥을 촬영하기 위해 카메라에 손을 대면, 손바닥에 의해 화면 표시가 가려져 버리는 경우가 있다고 하는 문제가 있다. 화면 표시가 가려져 버리면, 이용자에게, 인증용 화상을 촬영하기 위해 손의 위치나 높이 등을 변경하는 지시 등을 적절하게 전달하는 것이 어려워져, 사용 편의성이 저하된다.

하나의 측면에 의하면, 본 발명의 목적은, 비교적 작은 화면밖에 갖지 않는 화상 해석 장치에서도, 화상 해석에 있어서의 지시를 이용자에게 확실하게 전달하도록 하는 것이다.

하나의 형태인 화상 해석 장치는, 디스플레이, 카메라, 추정부, 설정부, 유도부 및 표시 제어부를 갖는다. 카메라는, 디스플레이에 대면하는 피사체를 촬영한다. 추정부는, 카메라가 촬영한 피사체의 형상 및 위치를 추정한다. 설정부는, 피사체의 형상 및 위치에 기초하여, 디스플레이의 표시 영역을 설정한다. 유도부는, 피사체의 형상 및 위치에 기초하여 상기 피사체에 대한 유도 방향을 산출한다. 표시 제어부는, 유도 방향에 따른 유도 지시를 표시 영역에 표시한다.

하나의 실시 형태에 따르면, 비교적 작은 화면밖에 갖지 않는 화상 해석 장치에서도, 화상 해석에 있어서의 지시를 이용자에게 확실하게 전달하는 것이 가능해진다.

도 1은 제1 실시 형태에 의한 화상 해석 장치의 구성의 일례를 나타내는 도면.
도 2는 손바닥 정맥 인증을 행하는 예를 나타내는 도면.
도 3은 제1 실시 형태에 의한 시인 가능 영역의 일례를 나타내는 도면.
도 4는 제1 실시 형태에 의한 시인 가능 영역의 일례를 나타내는 도면.
도 5는 제1 실시 형태에 의한 소정의 인증 범위를 나타내는 인증 범위 테이블의 일례를 나타내는 도면.
도 6은 제1 실시 형태에 의한 유도 화면의 예를 나타내는 도면.
도 7은 제1 실시 형태에 의한 화상 인증 장치를 사용한 생체 인증 방법을 나타내는 흐름도.
도 8은 제1 실시 형태에 의한 시인 가부 판정 처리를 나타내는 흐름도.
도 9는 제2 실시 형태에 의한 화상 해석 장치의 구성의 일례를 나타내는 도면.
도 10은 제2 실시 형태에 의한 유도 후의 시인 가능 영역의 산출예를 나타내는 도면.
도 11은 제2 실시 형태에 의한 유도 후 화면 표시 처리의 일례를 나타내는 흐름도.

(제1 실시 형태)

이하, 도면을 참조하면서, 제1 실시 형태에 의한 화상 해석 장치(50)에 대해 설명한다. 도 1은, 제1 실시 형태에 의한 화상 해석 장치(50)의 구성의 일례를 나타내는 도면이다. 도 1에 나타내는 바와 같이, 화상 해석 장치(50)는, 디스플레이(52), 카메라(54), 처리 장치(60) 및 기억 장치(56)를 갖고 있다. 화상 해석 장치(50)는, 생체 인증 장치로서의 기능을 갖고 있다. 화상 해석 장치(50)로서는, 예를 들어 휴대 정보 단말 장치나, 다기능 휴대 전화기 등이 사용되도록 해도 된다. 이 경우, 통신 기능 등이 탑재되어 있지만, 여기서는, 생체 인증 장치로서의 기능을 나타내고 있다.

디스플레이(52)는, 정보를 표시하는 표시 장치이며, 예를 들어 액정 표시 장치이다. 디스플레이(52)는, 처리 장치(60)에 의해 제어됨으로써, 소정의 표시를 행한다. 디스플레이(52)는, 터치 패널을 갖도록 해도 된다. 터치 패널을 갖는 경우, 디스플레이(52)는 처리 장치(60)에 의해 제어됨으로써, 소정의 표시를 행함과 함께, 터치 패널에의 접촉을 검지한다. 이때 디스플레이(52)는, 화면의 표시와 대응하는 부분에의 접촉이 검지되면, 검지된 접촉의, 화면 상의 위치에 대응하는 정보를 출력한다.

카메라(54)는, 화상을 촬영하는 촬영 장치이며, 촬상 소자에 더하여 조명을 갖도록 해도 된다. 본 실시 형태에 있어서, 카메라(54)는, 생체 인증의 대상이 되는 피사체를 촬영한다. 카메라(54)는, 디스플레이(52)에 대면하는 피사체를 촬영한다. 기억 장치(56)는, 예를 들어 메모리이며, 데이터베이스(76), 유도 화면 데이터(78) 등을 저장하고 있다. 데이터베이스(76)는, 예를 들어 후술하는 인증 범위 테이블이나, 생체 인증에 사용하는 등록 특징 데이터 등, 화상 해석 장치(50)가 화상 해석 처리를 행할 때에 필요로 하는 정보를 포함하고 있다. 유도 화면 데이터(78)는, 피사체의 위치를 유도하는 지시를 포함하는 화면 데이터이다. 기억 장치(56)는, 화상 해석 장치(50)의 동작을 제어하는 프로그램을 저장하도록 해도 된다. 또한, 기억 장치(56)는, 화상 해석 장치(50)가 각종 처리를 행할 때, 예를 들어 화상 버퍼 등으로서, 필요에 따라서 작업 영역으로서 사용되도록 해도 된다.

처리 장치(60)는, 예를 들어 화상 해석 장치(50)에 있어서의 각종 처리를 행하는 연산 처리 장치(프로세서)이다. 처리 장치(60)는, 예를 들어 기억 장치(56)에 미리 기억된 제어 프로그램을 읽어들여 실행함으로써, 화상 해석 장치(50)로서의 각종 처리를 행하도록 해도 된다. 이때, 처리 장치(60)는, 관리부(62), 특징 추출부(64), 대조부(66), 추정부(68), 설정부(70), 유도부(72), 표시 제어부(74)로서의 기능을 실현한다. 혹은, 화상 해석 장치(50)는, 처리 장치(60)에 의해 실현되는 각 기능의 일부 또는 전부에 대응하는 집적 회로를 갖도록 해도 된다.

관리부(62)는, 화상 해석 장치(50)에 의한 생체 인증 처리 전체를 총괄하는 처리를 실행한다. 특징 추출부(64)는, 카메라(54)에 의해 촬영된 화상으로부터 인증에 사용하는 생체 특징을 추출한다. 대조부(66)는, 대조 처리를 행한다. 즉, 대조부(66)는, 특징 추출부(64)가 추출한 등록 특징 데이터를 사용하여, 등록 특징 데이터와 입력 데이터가 어느 정도 유사한지를 나타내는 유사도를 출력한다.

추정부(68)는, 피사체의 3차원 형상을 취득하는 처리를 행한다. 추정부(68)는, 카메라(54)가 촬영한 피사체의 형상 및 위치를 추정한다. 구체적으로는 Shape From Shading(SFS) 처리 등 행하여, 피사체의 3차원 형상을 취득한다. SFS 처리로서, 예를 들어 피사체 상의 복수의 위치의 휘도를 측정하고, 복수의 위치의 각각마다, 당해 위치로부터 광원까지의 거리를 산출함으로써, 피사체의 3차원 형상을 취득하는 처리를 사용하도록 해도 된다.

설정부(70)는, 피사체의 3차원 형상에 기초하여 이용자로부터 보인다고 추정되는 시인 가능 영역을 계산하고, 지시를 표시하는 표시 영역을 설정한다. 즉, 설정부(70)는, 피사체의 형상 및 위치에 기초하여, 디스플레이(52)의 표시 영역을 설정한다. 유도부(72)는, 산출된 피사체의 3차원 형상(형상 및 위치)에 기초하여, 피사체를 유도하는 유도 방향을 산출한다. 표시 제어부(74)는, 산출된 유도 방향에 따른 지시를, 설정부(70)에서 설정된 상기 표시 영역에 표시시키는 처리를 행한다.

도 2는, 예를 들어 태블릿형 단말 장치나, 다기능 휴대 전화기의 형태(통합하여, 다기능 휴대 전화기 등이라고 하는 경우가 있음)의 화상 해석 장치(50)에 의해, 손바닥 정맥 인증을 행하는 예를 나타내는 도면이다. 다기능 휴대 전화기 등에 손바닥 정맥 인증 장치를 탑재하여 인증하면, 손바닥에 의해 화면 표시가 가려져 버리는 경우가 있다. 도 2의 손(80)과 같이, 화상 해석 장치(50)의 디스플레이(52)의 일부가 가려져 버리는 경우가 있다. 손(82)이나 손(84) 등과 같이 디스플레이(52)의 어디가 가려지는지는, 손의 크기나 위치에 따라 바뀐다. 그러나, 디스플레이(52)의 일부가 가려져 버리면, 결과적으로, 이용자에게, 손의 위치나 높이 등을 적절한 위치로 유도하기 위한 유도 지시를 적절하게 전달하는 것이 어려워져, 사용 편의성이 저하된다. 이것은, 노트북 컴퓨터나 대형의 태블릿에서는 일어나기 어렵지만, 디바이스의 소형화에 의해 발생하는 문제이다.

또한, 다기능 휴대 전화기 등에서는, 상하 좌우로 본체가 회전하면, 가속도 센서에 의해 화면이 상하 좌우 회전하여 동작한다. 그 결과, 손바닥 정맥 인증 센서가 되는 카메라(54)의 위치를, 이용자가 실수로 손을 대 버리는 경우도 있을 수 있다. 이러한 경우의 유도시에, 화면이 손으로 가려져 버리는 경우도 있을 수 있다.

특히, 손바닥 정맥 인증은 비접촉 인증이므로, 손의 위치나 높이가 일정하다고는 할 수 없다. 또한, 손의 크기나 형상은 개인에 따라 다르기 때문에, 유도나, 지시 입력 등을 위한 유저 인터페이스(User Interface: UI) 화면(유도 화면이라고 하는 경우가 있음)을 어디에 표시할지를 일의적으로 정하는 것은 어렵다.

도 3은, 제1 실시 형태에 의한 시인 가능 영역의 일례를 나타내는 도면이다. 도 3에 나타내는 바와 같이, 눈(90)은 예를 들어 디스플레이(52)의 중심으로부터 디스플레이(52)에 수직인 방향으로 신장되는 직선 상에 있는 것으로 한다. 이때, 촬영된 화상에 기초하여, 피사체(92)의 3차원 형상이 추정된다. 눈(90)은, 경계(98)로부터 경계(96)까지의 범위에서 디스플레이(52)의 화면(94)을 시인하게 된다. 도 3에 있어서, 피사체(92)의 우측 경계(97)보다 좌측은, 피사체(92)에 가려져 화면(94)이 시인 불가능하게 되어 있다. 따라서, 도 3의 예에서는, 눈(90)이 시인할 수 있는 화면(94)의 범위는, 시인 가능 영역(100)으로 나타내어진다. 또한, 상술한 바와 같이, 피사체(92)의 형상은, 예를 들어 SFS 처리 등에 의해 취득된다. 상기한 바와 같이, 화면(94) 상의 복수의 점에 대해, 눈(90)이 시인 가능한지 여부가 판정된다.

도 4는, 제1 실시 형태에 의한 시인 가능 영역의 일례를 나타내는 도면이다. 도 4에 나타내는 바와 같이, 추정되는 피사체(92)의 형상과, 눈(90)의 위치에 기초하여, 디스플레이(52)의 화면(94)에 있어서, 눈(90)에 있어서 시인할 수 있는 영역인지 여부가 판정된다. 구체적으로는, 디스플레이(52)의 화면(94) 상의 점과, 이용자의 눈(90)을 연결하는 선 상에 피사체(92)가 존재하는지 여부가 판정된다. 피사체(92)에 의해 차단되어 버리는 영역은 이용자로부터는 보이지 않으므로, 시인 불능 영역(102)이 된다. 한편, 피사체(92)에 차단되지 않는 영역은 이용자로부터 보이므로, 시인 가능 영역(104)으로서 판정된다. 유도 처리시에는, 화상 해석 장치(50)는, 이 시인 가능 영역(104)에 맞추어 유도 화면을 표시한다. 시인 가능 영역의 판정에 대해서는 후술된다.

도 5는, 제1 실시 형태에 의한 소정의 인증 범위를 나타내는 인증 범위 테이블(125)의 일례를 나타내는 도면이다. 인증 범위 테이블(125)은, 화상 해석 장치(50)의 생체 인증에 있어서의 성능에 맞춘, 피사체가 존재하는 바람직한 3차원 범위를 나타내는 정보이다. 인증 범위 테이블(125)은, 높이 범위, X 방향 범위, Y 방향 범위를 갖고 있다. 높이라 함은, 예를 들어 디스플레이(52)의 화면으로부터 피사체까지의 거리이다. X 방향, Y 방향은, 디스플레이(52)와 평행한 면 내의 2차원 방향이다. 3차원 방향의 각각에 대해, 피사체가 존재하는 범위가 나타내어져 있다. 예를 들어, 인증 범위 테이블(125)에 나타내어진 범위에 피사체가 존재하는 경우에, 생체 인증이 행해지도록 해도 된다.

도 6은, 제1 실시 형태에 의한 유도 화면의 예를 나타내는 도면이다. 상기한 바와 같이 판정되는 시인 가능 영역(104) 등의 형상은, 다양한 조건에 따라 바뀔 가능성이 있다. 그로 인해, 유도용 화면 레이아웃을 복수 준비해 두는 것이 바람직하다. 이들 패턴은, 유도 화면 데이터(78)로서 기억 장치(56)에 기억된다. 예를 들어, 가로로 긴 시인 가능 영역인 경우의 유도용 표시(110), 정사각형인 경우의 유도용 표시(112), 세로로 긴 경우의 유도용 표시(114)의 3 패턴을 준비해 두고, 그 중에서 선택하는 것이 생각된다. 구체적으로는, 유도 내용(이동 방향 등), 시인 가능 영역의 크기, 시인 가능 영역의 형상에 따른 복수의 템플릿을 보존해 두는 것이 바람직하다. 예를 들어, 인증 범위 테이블(125)을 참조하여, 산출된 피사체의 3차원 위치가 인증 범위 테이블(125)에 기록된 범위와 다른 경우에, 바람직한 범위로 유도하기 위한 소정의 표시를 행하도록 해도 된다. 또한, 유도 화면을 표시하는 위치도 적절하게 변경되는 것이 바람직하다. 예를 들어, 유도 화면은, 가능한 한 큰 시인 가능 영역에 표시시키도록 해도 된다. 가능한 한 카메라(54)로부터 이격된 시인 가능 영역에 유도 화면을 표시시키도록 해도 된다.

도 7은, 제1 실시 형태의 화상 해석 장치(50)를 사용한 생체 인증 방법을 나타내는 흐름도이다. 도 7에 나타내는 바와 같이, 화상 해석 장치(50)의 관리부(62)는, 카메라(54)에 피사체가 되는 생체, 예를 들어 손바닥에 대한 조명을 행하게 하여, 인증용 화상의 촬영을 실행시킨다(S131). 인증용 화상은, 인증 처리에 사용하는 화상이며, 손바닥 정맥 인증의 경우는, 손바닥 화상이 해당된다.

관리부(62)는, 거리 정보를 취득한다(S132). 거리 정보는, 인증용 화상을 바탕으로 SFS 처리 등에 의해 피사체 거리를 산출함으로써 얻어진다. 예를 들어, SFS 처리 등으로 계산한 피사체 상의 각 점까지의 거리의 평균값 등을 사용하는 것이 바람직하다.

관리부(62)는, 위치 판정 처리를 행한다(S133). 위치 판정 처리는, 피사체의 높이 및 상하 좌우 방향의 위치가 소정의 범위 내에 있는지 여부를 판단하는 처리이다. 상하 좌우 방향의 위치 판정은, 피사체의 무게 중심 좌표 등을 계산하여, 그 무게 중심 좌표의 위치에 기초하여 행하는 것이 바람직하다. 또한, 거리 정보의 계산은, 센서에 탑재되어 있는 거리 센서를 바탕으로 행하는 구성으로 해도 된다. 이러한 구성에 의하면, 장치를 제조하기 위한 비용은 상승하지만, 정밀도는 높아진다.

위치가 적절한 경우(S134: "예"), 관리부(62)는, 인증 처리를 실행한다(S135). 인증 처리는, 예를 들어 손바닥 정맥 인증 처리이다. 관리부(62)는, 카메라(54)로 촬영한 화상과, 기억 장치(56)에 기억된 데이터베이스(76)에 있어서의 등록 특징 데이터에 기초하여 인증을 행한다.

위치가 적절하지 않은 경우(S134: "아니오"), 설정부(70)는, 시인 가부 판정 처리를 행하고(S136), 예를 들어 피사체의 위치를 이동시키도록 유도 화면을 표시하고(S137), S131로 되돌아가 처리를 반복한다.

도 8은, 제1 실시 형태에 의한 시인 가부 판정 처리를 나타내는 흐름도이다. 시인 가부 판정 처리에 있어서, 관리부(62)는 카메라(54)를 사용하여 촬영한 피사체 상의 점의 인덱스를 i＝1로 한다(S141). 피사체 상의 점은, 예를 들어 소정 거리마다 등 임의로 정해지도록 해도 된다. 관리부(62)는 눈(90)의 추정 위치 Q와, 피사체 좌표의 연장선 상에서, 화면 상의 좌표 P(X, Y)를 산출한다(S142).

이하, 시인 가능 영역 계산 처리에 대해 설명한다. 설정부(70)에서는, 추정부(68)로부터 얻은 피사체의 3차원 데이터(Xi, Yi, Zi)(i＝1, …, N), 및 이용자의 눈(90)의 추정 존재 위치 Q(Xe, Ye, Ze)를 입력으로 하여, 시인 가능 영역을 출력한다. 여기서, 대문자 X, Y, Z는, 예를 들어 화면(94) 상의 중심을 원점으로 하는 3차원적인 좌표를 나타내는 것으로 한다.

먼저, 3차원 형상 취득부로부터 얻은 피사체의 3차원 데이터 Oi(Xi, Yi, Zi)에 대해 설명한다. (Xi, Yi, Zi)는, SFS 처리 등에 의해 취득한 피사체의 3차원 좌표의 i번째의 데이터 점을 나타내고 있다. 여기서, i＝1, …, N은, 얻어진 3차원 정보의 번호를 나타낸다.

추정부(68)는, 화면 상의 점 (x, y)가 이용자로부터 보이는지 여부의 판정을 행하여, 가시 플래그를 설정한다(S143). 또한, 소문자 x, y는 화면 상의 좌표를 나타내고, 단위를 픽셀로부터 길이(mm)로 변환하는 것이 바람직하다. 추정부(68)는, 이용자의 눈의 위치 Q(Xe, Ye, Ze)와 피사체 (Xi, Yi, Zi)를 연결한 직선의 연장선 상에서, 화면 상의 점 P(x, y)를 구한다(S142). 점 P(x, y)가, 피사체에 차단되어 이용자로부터는 보이지 않는다고 판단되면, 점 P(x, y)의 가시 플래그＝0을 설정한다.

이하에서는, 점 P와 점 Q의 사이에 피사체가 존재하는지 여부의 판정 처리에 대해 설명한다. 3차원 좌표계 X, Y, Z에 있어서, 이용자의 눈의 추정 위치 Q(Xe, Ye, Ze)와 피사체 Oi(Xi, Yi, Zi)를 연결하는 직선 l을 구하는 것으로 한다. 직선 l은 매개 변수 t를 이용하여 식 1과 같이 구할 수 있다.

다음으로, 직선 l과 화면(94)이 교차하는 점 P(x, y)가 구해진다. 화면의 Z 좌표는, Z＝0이므로, 식 1로부터 매개 변수 t를 하기 식 2와 같이 구할 수 있다.

상기 매개 변수 t를 식 1에 대입함으로써, 화면 상의 점 P(x, y)를 구할 수 있다. 해당 점 P(x, y)가 예를 들어, 화면(94)의 범위 내인 경우(P(x, y)가 화면(94) 상인지 여부는, 화면(94)의 사이즈로 정해짐), 해당 점 P(x, y)는 피사체에 차단되어 이용자로부터는 볼 수 없다고(시인 불능) 판정된다. 이때, 점 P(x, y)의 가시 플래그＝0이 된다.

설정부(70)는, i≤N인 경우(S144 : "아니오"), i＝i+1로 하여(S145), S141로부터 처리를 반복한다. i＞N인 경우(S144: "예"), 설정부(70)는 시인 가부 판정 처리를 종료한다. 이러한 처리를 미리 설정된 모든 피사체 점에 대해 적용함으로써, 시인 가능 영역이 산출된다. 산출된 시인 가능 영역에, 도 6에서 설명한 유도용 표시(110) 등을 표시시킴으로써, 피사체에 차단되는 일 없이 화면이 시인된다.

여기서, 계산된 시인 가능 영역에 따라서 유도 화면을 표시하는 처리를 설명한다. 유도 화면 표시 처리는, 유도부(72)가 행하고, 그때, 기억 장치(56)에 기억되어 있는 유도 화면 데이터(78)가 사용된다. 예를 들어, 유도 화면 데이터(78)는 유도하는 내용에 따른 「유도 패턴」에 대응한 유도 화면을 포함하는 것이 바람직하다. 예를 들어, 유도 패턴으로서, 하기와 같은 패턴을 포함하는 것이 바람직하다.

·손의 높이를 하측 방향으로 유도한다.

·손의 높이를 상측 방향으로 유도한다.

·손을 우측 방향으로 유도한다.

·손을 좌측 방향으로 유도한다.

·손을 하측 방향(앞쪽 방향)으로 유도한다.

·손을 상측 방향(안쪽 방향)으로 유도한다.

제1 실시 형태에 있어서는, 도 6에, 유도 화면으로서 종횡비가 다른 3 패턴의 유도 화면을 나타냈다. 예를 들어, 손을 우측 방향으로 유도하는 경우, 도 6에 나타낸 3 패턴의 화면을 준비해 두고, 그 중에서 적절한 화상을 이용하는 것이 바람직하다.

예를 들어, 유도부(72)는, 계산에 의해 얻어진 시인 가능 영역의 종횡비를 구하고, 그것에 가장 가까운 종횡비를 갖는 유도 화면을 선택하여 표시하도록 해도 된다. 또한, 유도 화면의 전체의 크기는, 시인 가능 영역의 면적에 따라서 조정한다. 예를 들어, 유도부(72)는, 시인 가능 영역을 라벨링하여 소영역을 제외한 후, 최대 영역(S)을 구한다. 유도부(72)는, 최대 영역(S)의 세로, 가로의 길이를 구하고, 그 비에 따라서, 예를 들어 도 6의 3 패턴으로부터 적절한 화상을 선택한다.

예를 들어, 시인 가능 영역이 충분히 큰 경우에는, 화살표 등의 도형과 함께, 도 6에 나타낸 바와 같이 문자를 포함한 유도(예를 들어, 「손을 떼 주십시오」)를 행할 수 있다. 한편, 시인 가능 영역이 작은 경우, 문자를 표시하는 것은 어렵기 때문에, 화살표 등의 직관적인 유도 표시만을 이용함으로써 제한된 표시 영역을 유효하게 활용할 수 있다.

이상 설명한 바와 같이, 제1 실시 형태에 의한 화상 해석 장치(50)는, 디스플레이(52), 카메라(54), 추정부(68), 설정부(70), 유도부(72) 및 표시 제어부(74)를 갖고 있다. 카메라(54)는, 디스플레이(52)에 대면하는 피사체를 촬영한다. 추정부(68)는, 카메라(54)가 촬영한 피사체의 형상 및 위치를 추정한다. 설정부(70)는, 피사체의 형상 및 위치에 기초하여, 디스플레이(52)의 표시 영역을 설정한다. 유도부(72)는, 피사체의 형상 및 위치에 기초하여 상기 피사체에 대한 유도 방향을 산출한다. 표시 제어부(74)는, 유도 방향에 따른 유도 지시를 표시 영역에 표시한다.

화상 해석 장치(50)를, 예를 들어 손바닥 정맥 인증 장치로서 사용하는 경우, 다기능 휴대 전화기 등, 소형의 디바이스에 탑재되는 경우가 있다. 이와 같이, 화상 해석 장치(50)로서 소형의 디바이스를 사용하는 경우에도, 화면 상의 피사체에 의해 차단되지 않는 부분에 표시를 행하므로, 화상 해석에 있어서의 지시를 이용자에게 확실하게 전달할 수 있어, 사용 편의성이 향상된다. 소형의 디바이스라도, 사용 편의성 좋게 생체 인증을 행할 수 있으면, 개인 인증의 수단으로서 매우 유용한 것이 된다. 특히, 시큐리티가 중요한 다양한 업무 분야에서 이용됨에 있어서, 중용되는 것이 기대된다.

또한, 다기능 휴대 전화기 등에서는, 가속도 센서에 의해 상하 좌우 회전해도 동작하는 결과, 손바닥 정맥 인증 센서 위치를 이용자가 잘못하여, 손을 대 버리는 경우도 있을 수 있다. 이러한 경우의 유도시에, 화면이 손으로 가려지는 것이 방지된다. 특히, 손바닥 정맥 인증 등은, 비접촉으로 인증하므로, 손의 위치나 높이가 일정할 수는 없고, 또한 손의 크기나 형상이 개인에 따라 다른 경우가 있어도 유도 화면을 시인 가능한 장소에 표시할 수 있다.

(제2 실시 형태)

이하, 제2 실시 형태에 의한 화상 해석 장치(200)에 대해 설명한다. 제2 실시 형태에 있어서, 제1 실시 형태와 마찬가지의 구성 및 동작에 대해서는, 동일 번호를 부여하고, 중복 설명을 생략한다.

도 9는, 제2 실시 형태에 의한 화상 해석 장치(200)의 구성의 일례를 나타내는 도면이다. 도 9에 나타내는 바와 같이, 화상 해석 장치(200)는, 디스플레이(52), 카메라(54), 처리 장치(210) 및 기억 장치(56)를 갖고 있다. 화상 해석 장치(200)는, 생체 인증 장치로서의 기능을 갖고 있다. 화상 해석 장치(200)로서는, 예를 들어 휴대 정보 단말 장치나, 다기능 휴대 전화기 등이 사용되도록 해도 된다. 이 경우, 통신 기능 등이 탑재되어 있지만, 여기서는, 생체 인증 장치로서의 기능을 나타내고 있다.

처리 장치(210)는, 화상 해석 장치(200)에 있어서의 각종 처리를 행하는 연산 처리 장치이다. 처리 장치(210)는, 예를 들어 기억 장치(56)에 미리 기억된 제어 프로그램을 읽어들여 실행함으로써, 화상 해석 장치(200)로서의 각종 처리를 행하도록 해도 된다. 이때, 처리 장치(210)는 제1 실시 형태의 화상 해석 장치(50)와 마찬가지로, 관리부(62), 특징 추출부(64), 대조부(66), 추정부(68), 설정부(70), 유도부(72), 표시 제어부(74)로서의 기능을 실현한다. 처리 장치(210)는 또한, 유도 후 좌표 계산부(212)로서의 기능을 실현한다. 혹은, 화상 해석 장치(200)는 처리 장치(60)에 의해 실현되는 각 기능의 일부 또는 전부에 대응하는 집적 회로를 갖도록 해도 된다. 유도 후 좌표 계산부(212)는, 피사체의 유도 후의 좌표를 계산한다. 제2 실시 형태에 있어서는, 화상 해석 장치(200)는, 유도 후 시인 가능 영역을 산출하고, 유도 화면 표시에 사용하는 것이 바람직하다.

도 10은, 제2 실시 형태에 의한 유도 후의 시인 가능 영역의 산출예를 나타내는 도면이다. 도 10에 나타내는 바와 같이, 디스플레이(52)와 눈(90)의 위치 관계는, 도 4의 예와 마찬가지인 것으로 한다. 피사체(92)의 위치가 적절하지 않다고 판정되면, 예를 들어 유도 후 피사체(222)의 위치까지, 피사체(92)를 유도하는 것이 바람직하다. 이때, 화상 해석 장치(200)는 현재의 시인 가능 영역(100)과, 유도 후의 유도 후 시인 가능 영역(224)의 중복된 영역을 구하고, 여기에 유도 화면을 표시하는 것이 바람직하다. 피사체의 유도 후라도 이용자로부터 보이는 영역에 유도 화면을 표시함으로써, 유도 과정에 있어서도 유도 화면이 항상 보이도록 할 수 있다.

이때, 화상 해석 장치(200)는, 유도 후 피사체(222)의 위치까지 유도한 경우의 피사체 위치를 추측하고, 유도 후의 유도 후 시인 가능 영역(224)을 구하는 것이 바람직하다. 유도 후 시인 가능 영역(224)이 충분히 큰 경우에는, 화살표 등의 도형과 함께, 도 6에 나타낸 바와 같이 문자를 포함한 유도(예를 들어, 「손을 떼 주십시오」)를 행할 수 있다. 한편, 시인 가능 영역이 작은 경우, 문자를 표시하는 것은 어렵기 때문에, 화살표 등의 직관적인 유도 표시만을 이용함으로써 제한된 표시 영역을 유효하게 활용한다.

유도 후 시인 가능 영역의 계산 및 유도 화면의 표시의 일례는, 하기에 나타내어진다. 도 11은, 제2 실시 형태에 의한 유도 후 화면 표시 처리의 일례를 나타내는 흐름도이다. 유도 후 좌표 계산부(212)는, 유도 폭을 계산한다(S231). 유도 폭은, 현재 촬영된 피사체 3차원 정보를 바탕으로, 유도해야 할 양을 계산한 것이다. 높이＝Z를 유도하는 경우, ΔZ는 다음 식 3과 같이 구해진다.

유도 후의 높이 Z는, 예를 들어 도 5의 인증 범위 테이블(125)에 나타낸 소정의 인증 범위 내의 값이며, 현재의 높이에 가장 가까운 값으로 해도 된다. X 좌표, Y 좌표에 관한 유도 폭도 마찬가지로 구할 수 있다. 구체적으로는, 유도 후에, 피사체의 중심(예를 들어, 손바닥 중심)이, 화면 중앙이 되도록 산출해도 된다.

유도 후 좌표 계산부(212)는, 유도 전의 피사체 좌표와 산출한 유도 폭에 기초하여, 유도 후 피사체 좌표 O'i(Xi', Yi', Zi')를 계산한다(S232). 또한, 유도 후 좌표 계산부(212)는, 유도 후 피사체 좌표로부터 유도 후 시인 가능 영역을 계산한다(S233). 유도 후 좌표 계산부(212)는, 유도 후 피사체 좌표로부터 산출한 유도 후 시인 가능 영역과, 현재의 시인 가능 영역이 중복되는 영역을 구하고, 해당 영역에 유도 화면을 표시한다(S234). 이상과 같이, 화상 해석 장치(200)에서는, 피사체의 위치를 적절한 위치로 유도할 필요가 있는 경우, 유도 후의 피사체에 차단되지 않는 위치에, 유도 화면을 표시한다. 따라서, 유도 처리의 도중에서도 이용자가 보는 유도 화면이 차단되는 일이 없으므로, 사용 편의성이 더욱 향상된다. 계산된 유도 후의 시인 가능 영역에 따라서 유도 화면을 표시하는 처리는, 제1 실시 형태와 마찬가지이다.

이상 설명한 바와 같이, 제2 실시 형태에 의한 화상 해석 장치(200)에 의하면, 유도 화면은, 피사체의 유도 전의 시인 가능 영역과, 유도 후의 시인 가능 영역의 공통 영역에 표시된다. 이와 같이, 화상 해석 장치(200)에 의하면, 유도 화면을 표시시키는 위치를 적절하게 결정할 수 있다. 또한, 적절한 위치에 유도 화면이 표시되므로, 이용자는, 피사체를 이동시킬 때에 항상 유도 화면을 시인하는 것이 가능하여, 사용 편의성이 더욱 향상된다.

또한, 본 발명은 이상에 서술한 실시 형태에 한정되는 것은 아니며, 본 발명의 요지를 일탈하지 않는 범위 내에서 다양한 구성 또는 실시 형태를 채용할 수 있다. 예를 들어, 상기 제1 또는 제2 실시 형태에 있어서, 이용자의 눈(90)의 추정 위치 Q(Xe, Ye, Ze)는, 소정의 값을 표준값으로서 채용하고 있었다. 그러나, 실제로는 이용자마다 다른 것이 생각된다. 그로 인해, 이용자마다 Q(Xe, Ye, Ze)를 개별로 설정하는 구성으로 하도록 해도 된다. 이에 의해, 보다 실제에 입각한 유도 화면의 표시 위치를 선택할 수 있다.

유도 화면은, 종횡비가 다른 화면을 복수 준비하여, 확대 축소하도록 하고 있었지만, 이것에 한정되지 않는다. 예를 들어, 유도 화면의 크기에 따라서 표시하는 정보를 적절하게 전환한 쪽이 좋은 경우가 있다. 예를 들어, 유도 화면 내에 문자를 표시하는 경우, 어느 정도 이상 화면이 작아지면, 문자가 이용자로부터는 보이지 않게 된다. 그로 인해, 표시하는 유도 화면의 사이즈에 따라서 유도 화면을 전환하는 구성으로 해도 된다. 구체적으로는, 시인 가능 영역이 충분히 큰 경우에는 문자와 화상의 양쪽을 표시한다. 그러나, 표시 영역이 작은 경우에는, 문자를 표시하지 않고 화상(「⇒」 화살표 등)만을 표시하는 것과 같은 구성으로 해도 된다. 이러한 구성에 의해, 이용자의 사용 편의성이 더욱 향상된다.

또한, SFS 처리 이외에도, 격자 형상으로 배치된 스폿 조명을 사용하는 방식이나, 레이저를 사용한 광 절단법 등 다양한 방식을 이용하도록 해도 된다. 또한, 시인 가능 영역이 복수 있는 경우에는, 화면(94) 상에서, 카메라(54)로부터 가능한 한 먼 영역을 우선적으로 선택하는 것이 바람직하다. 이러한 선택을 행함으로써, 보다 유도 화면이 피사체에 차단될 가능성을 저감시킬 수 있다.

이상의 제1 및 제2 실시 형태에 관하여, 또한 이하의 부기를 개시한다.

(부기 1)

디스플레이와,

상기 디스플레이에 대면하는 피사체를 촬영하는 카메라와,

상기 카메라가 촬영한 상기 피사체의 형상을 추정하는 추정부와,

상기 피사체의 형상에 기초하여, 상기 디스플레이의 표시 영역을 설정하는 설정부와,

상기 피사체의 형상에 기초하여 상기 피사체에 대한 유도 방향을 산출하는 유도부와,

상기 유도 방향에 따른 유도 지시를 상기 표시 영역에 표시하는 표시 제어부

를 구비하는 것을 특징으로 하는 화상 해석 장치.

(부기 2)

상기 설정부는, 상기 유도부가 산출한 유도 방향에 기초하여 상기 표시 영역을 변경하는 것을 특징으로 하는 부기 1에 기재된 화상 해석 장치.

(부기 3)

상기 설정부는, 상기 카메라로부터의 거리가 먼 표시 영역을 우선하여 설정하는 것을 특징으로 하는 부기 1 또는 부기 2에 기재된 화상 해석 장치.

(부기 4)

화상 해석 장치가,

카메라에 의해 촬영된, 디스플레이에 대면하는 피사체의 형상을 추정하고,

상기 피사체의 형상에 기초하여, 상기 디스플레이의 표시 영역을 설정하고,

상기 피사체의 형상에 기초하여 상기 피사체에 대한 유도 방향을 산출하고,

상기 유도 방향에 따른 유도 지시를 상기 표시 영역에 표시하는,

것을 특징으로 하는 화상 해석 방법.

(부기 5)

또한, 산출된 유도 방향에 기초하여 상기 표시 영역을 변경하는 것을 특징으로 하는 부기 4에 기재된 화상 해석 방법.

(부기 6)

또한, 상기 카메라로부터의 거리가 먼 표시 영역을 우선하여 설정하는 것을 특징으로 하는 부기 4 또는 부기 5에 기재된 화상 해석 방법.

(부기 7)

처리를 컴퓨터에 실행시키는 프로그램.

50 : 화상 해석 장치
52 : 디스플레이
54 : 카메라
56 : 기억 장치
60 : 처리 장치
62 : 관리부
64 : 특징 추출부
66 : 대조부
68 : 추정부
70 : 설정부
72 : 유도부
74 : 표시 제어부
76 : 데이터베이스
78 : 유도 화면 데이터
80∼84 : 손
90 : 눈
92 : 피사체
94 : 화면
96∼98 : 경계
100 : 시인 가능 영역
102 : 시인 불능 영역
104 : 시인 가능 영역
110∼114 : 유도용 표시
125 : 인증 범위 테이블

Claims

디스플레이와,
상기 디스플레이에 대면하는 피사체를 촬영하는 카메라와,
상기 카메라가 촬영한 상기 피사체의 형상을 추정하는 추정부와,
상기 피사체의 형상에 기초하여, 상기 디스플레이의 표시 영역을 설정하는 설정부와,
상기 피사체의 형상에 기초하여 상기 피사체에 대한 유도 방향을 산출하는 유도부와,
상기 유도 방향에 따른 유도 지시를 상기 표시 영역에 표시하는 표시 제어부
를 구비하는 것을 특징으로 하는 화상 해석 장치.
제1항에 있어서,
상기 설정부는, 상기 유도부가 산출한 유도 방향에 기초하여 상기 표시 영역을 변경하는 것을 특징으로 하는 화상 해석 장치.
제1항 또는 제2항에 있어서,
상기 설정부는, 상기 카메라로부터의 거리가 먼 표시 영역을 우선하여 설정하는 것을 특징으로 하는 화상 해석 장치.
화상 해석 장치가,
카메라에 의해 촬영된, 디스플레이에 대면하는 피사체의 형상을 추정하고,
상기 피사체의 형상에 기초하여, 상기 디스플레이의 표시 영역을 설정하고,
상기 피사체의 형상에 기초하여 상기 피사체에 대한 유도 방향을 산출하고,
상기 유도 방향에 따른 유도 지시를 상기 표시 영역에 표시하는,
것을 특징으로 하는 화상 해석 방법.
카메라에 의해 촬영된, 디스플레이에 대면하는 피사체의 형상을 추정하고,
상기 피사체의 형상에 기초하여, 상기 디스플레이의 표시 영역을 설정하고,
상기 피사체의 형상에 기초하여 상기 피사체에 대한 유도 방향을 산출하고,
상기 유도 방향에 따른 유도 지시를 상기 표시 영역에 표시하는,
처리를 컴퓨터에 실행시키는, 기록 매체에 기록된 프로그램.