KR20050073524A

KR20050073524A - 얼굴화상 취득방법 및 그 시스템

Info

Publication number: KR20050073524A
Application number: KR1020040108608A
Authority: KR
Inventors: 오오하시다카히로
Original assignee: 혼다 기켄 고교 가부시키가이샤
Priority date: 2004-01-09
Filing date: 2004-12-20
Publication date: 2005-07-14
Also published as: US7539556B2; DE102005001026A1; KR100776690B1; JP4303602B2; DE102005001026B4; JP2005193351A; US20050151842A1

Abstract

내방자가 인식하지 않게끔 하여 내방자의 정면 얼굴화상을 취득할 수 있는 얼굴화상 취득시스템을 개시한다. 카메라 및 아암부를 갖는 로봇 및, 내방자를 검출하는 내방자 검출수단, 상기 로봇의 동작 지시를 상기 로봇에게 보내는 동작 지시수단 및 내방자의 얼굴화상을 등록하는 얼굴화상 등록수단을 포함하여 구성되는 동작 제어수단으로 이루어진 내방자의 얼굴화상 취득시스템으로서, 상기 동작 제어수단은, 상기 내방자 검출수단에서 내방자를 검출하면 상기 동작 지시수단으로부터 상기 로봇에게 동작의 지시를 송신하고 이 동작의 지시에 기초하여 상기 로봇은 상기 아암부를 상기 내방자에게 내밀어 악수를 하는 동작 사이에 상기 내방자의 얼굴화상을 상기 카메라로 촬영하고, 상기 동작 제어수단은 상기 로봇이 촬영한 상기 내방자의 얼굴화상을 상기 얼굴화상 등록수단에 등록하는 얼굴화상 취득시스템을 과제의 해결수단으로 한다.

Description

얼굴화상 취득방법 및 그 시스템{Face image acquisition method and face image acquisition system}

본 발명은, 카메라 및 아암부를 갖는 로봇을 이용한 얼굴화상 취득방법 및 그 시스템에 관한 것이다.

기업 등에서 업무의 효율화나 인건비 절감을 목적으로 로봇을 이용하여 내방자를 안내하는 접수 안내시스템이 연구되고 있다. 예컨대 특허문헌 1 및 특허문헌 2에는 로봇을 이용하여 접수업무를 하는 발명이 개시되어 있다.

그러나 특허문헌 1 및 특허문헌 2에 기재된 발명은, 로봇을 이용하여 내방자의 접수를 하지만 이들 로봇은 인간의 보조적인 기능만 할 뿐 업무의 효율화나 인건비 절감이라는 본래의 목적을 달성할 수 없었다. 특히 이들 로봇에는 내방자를 인식하는 기능이 없기 때문에 획일화된 대응밖에 할 수 없었다.

그래서 특허문헌 3에 개시된 바와 같은, 얼굴 인식기술을 이용하여 내방자를 식별하여 개별적으로 대응하는 방법을 생각할 수 있다. 본원 출원인은 인간형 로봇에 얼굴 인식기술을 적용하여 내방자에 따라 개별적으로 대응할 수 있는 접수 안내시스템을 개발했다.

<특허문헌 1> 일본특개평2-240684호 공보(2∼3페이지, 도 5)

<특허문헌 2> 일본특개평7-295637호 공보(단락0011∼0013, 도 3, 도 4, 도 5)

<특허문헌 3> 일본특개2001-266152호 공보(단락0066∼0071, 도 1)

그런데 상기 인간형 로봇을 이용한 접수 안내시스템에서, 내방자의 얼굴을 인식하기 위해서는 내방자의 얼굴화상을 등록해 둘 필요가 있다. 또 이 화상의 등록에는 얼굴인식의 정밀도를 향상시키기 위해 비디오 카메라 등에 의해 내방자를 정지시켜 촬영한 얼굴화상을 등록하는 작업이 필요했다. 따라서 얼굴화상이 등록되어 있지 않은 내방자의 얼굴화상을 등록하기 위해서는 그러한 작업을 접수창구 등에서 실행할 필요가 있어 원활한 접수가 불가능했다.

따라서 본 발명은 내방자가 의식하지 않는 사이에 내방자의 얼굴정보를 취득할 수 있으며 그 때 인식도의 정밀도를 향상시키는 것을 목적으로 하여 내방자의 정면 얼굴화상을 취득할 수 있는 얼굴화상의 취득수단을 제공하는 것을 과제로 한다.

상기 과제를 해결하기 위해 이루어진 제1발명에 기재된 얼굴화상 취득방법은, 카메라 및 아암부를 갖는 로봇을 이용한 얼굴화상 취득방법으로서, 상기 카메라에 의해 취득한 화상으로부터 얼굴화상의 취득 대상자를 검출하는 순서와, 상기 취득 대상자에게 아암부를 내미는 순서와, 상기 취득 대상자와 악수를 하는 동작 사이에 상기 카메라로부터 상기 취득 대상자의 얼굴화상을 촬영하는 순서와, 촬영된 상기 취득대상자의 얼굴화상을 기억수단에 등록하는 순서를 포함하는 것을 특징으로 한다.

제1발명에 따르면, 악수를 하는 자연스러운 동작에 의해 취득 대상자는 소정 위치에 정지하기 때문에 취득 대상자의 동일 위치로부터의 얼굴화상을 촬영할 수 있으며 또 취득 대상자에게 부담을 주지 않고 얼굴화상의 취득이 가능하다.

또 상기 과제를 해결하기 위해 이루어진 제2발명의 얼굴화상 취득시스템은, 카메라 및 아암부를 갖는 로봇과, 내방자를 검출하는 내방자 검출수단, 상기 로봇의 동작 지시를 상기 로봇에게 보내는 동작 지시수단 및 내방자의 얼굴화상을 등록하는 얼굴화상 등록수단을 포함하여 구성되는 동작 제어수단으로 이루어진 내방자의 얼굴화상 취득시스템으로서, 상기 동작 제어수단은, 상기 내방자 검출수단에서 상기 내방자를 검출하면 상기 동작 지시수단으로부터 상기 로봇에게 동작 지시를 송신하고, 상기 로봇은 이 동작의 지시에 기초하여 상기 아암부를 상기 내방자에게 내밀어 악수를 하는 동작 사이에 상기 내방자의 얼굴화상을 상기 카메라에 의해 촬영하고, 상기 동작 제어수단은 상기 로봇이 촬영한 상기 내방자의 얼굴화상을 상기 얼굴화상 등록수단에 등록하는 것을 특징으로 한다.

제2발명에 따르면, 로봇을 이용한 얼굴화상 취득시스템에서 제1발명과 동일한 효과를 얻을 수 있다.

또 상기 과제를 해결하기 위해 이루어진 제3발명의 얼굴화상 취득시스템은, 카메라 및 아암부를 갖는 로봇과, 인물을 특정하는 인물정보 및 상기 인물정보와 대응되는 상기 인물의 얼굴화상을 등록한 인물정보 데이터베이스, 내방자를 검출하여 상기 내방자의 얼굴화상을 취득하는 내방자 검출수단, 상기 인물정보 데이터베이스와 내방자 검출수단에서 보내지는 정보에 기초하여 상기 로봇의 동작을 지시하는 동작 지시정보를 작성하는 동작정보 관리수단 및, 상기 동작 지시정보에 기초하여 상기 로봇의 동작 지시를 보내는 동작 지시수단을 포함하여 구성되는 동작 제어수단으로 이루어진 내방자의 얼굴화상 취득시스템으로서, 상기 동작 제어수단은, 상기 내방자 검출수단에서 내방자를 검출하면 상기 내방자 검출수단에서 취득한 상기 내방자의 얼굴화상에 기초하여 상기 인물정보 데이터베이스를 참조하여 상기 내방자의 특정을 시험하고, 상기 인물정보 데이터베이스에 해당하는 인물이 등록되어 있지 않을 때에는 상기 동작정보 관리수단에서 상기 내방자를 특정할 수 있는 ID정보를 작성하고, 상기 내방자의 얼굴화상을 취득하는 동작 지시정보를 작성하여 상기 동작 지시수단으로부터 상기 로봇에게 동작의 지시를 송신하고, 상기 로봇은 이 동작의 지시에 기초하여 상기 아암부를 상기 내방자에게 내밀어 악수를 하는 동작 사이에 상기 내방자의 얼굴화상을 상기 카메라에 의해 촬영하고, 상기 동작 제어수단은 상기 ID정보를 인물정보로 하여 이 인물정보 및 상기 로봇이 촬영한 상기 내방자의 얼굴화상을 대응시켜 상기 인물정보 데이터베이스를 등록하는 것을 특징으로 한다.

제3발명에 따르면, 인물정보 데이터베이스에 등록되어 있지 않은 내방자라 해도 ID정보를 설정하여 내방자의 얼굴화상을 인물정보 데이터베이스에 등록함으로써 얼굴화상 취득동작을 다시 실행할 필요가 없다.

또 제4발명은, 제3발명의 얼굴화상 취득시스템에서, 상기 로봇은 상기 내방자에 대해 상기 내방자에 관한 정보의 입력을 촉구하고, 상기 동작 제어수단은 취득한 상기 내방자에 관한 정보를 상기 인물정보에 부가하여 상기 인물정보 데이터베이스에 등록하는 것을 특징으로 한다.

제4발명에 따르면, 제3발명의 효과에 더해 미리 인물정보 데이터베이스에 등록되어 있지 않은 내방자라 해도 내방자를 특정하는 인물정보를 취득할 수 있다.

또 제5발명은, 제2발명 내지 제4발명 중 어느 한 발명의 얼굴화상 취득시스템에서, 상기 로봇은 상기 내방자의 얼굴화상을 촬영할 때, 소정 매수의 얼굴화상을 촬영하여 마지막으로 촬영한 1 이상의 얼굴화상과, 그보다 전에 촬영한 얼굴화상을 집계한 얼굴등급과의 유사도를 산출하고, 상기 유사도의 평균값이 소정 값 이상이 될 때까지 상기 내방자의 1 이상의 얼굴화상을 촬영하는 것을 특징으로 한다.

제5발명에 따르면, 소정 유사도가 될 때까지 얼굴화상을 취득함으로써 내방자의 특정 정밀도를 소정 수준으로 유지할 수 있다.

또 제6발명은, 제3발명의 얼굴화상 취득시스템에서, 상기 동작 제어수단은, 상기 내방자 검출수단에서 내방자를 검출하면 상기 내방자 검출수단에서 취득한 상기 내방자의 얼굴화상에 기초하여 상기 인물정보 데이터베이스를 참조하여 상기 내방자의 특정을 시험하고, 상기 인물정보 데이터베이스로부터 해당 인물을 특정했을 때, 상기 동작정보 관리수단에서 상기 내방자의 얼굴화상의 유사도를 판정하는 동작 지시정보를 작성하여 상기 동작 지시수단으로부터 상기 로봇에게 동작의 지시를 송신하고, 상기 로봇은 이 동작의 지시에 기초하여 상기 아암부를 상기 내방자에게 내밀어 악수를 하는 동작 사이에 상기 내방자의 얼굴화상을 상기 카메라에 의해 촬영하고 상기 로봇이 촬영한 얼굴화상과, 상기 인물정보 데이터베이스에 등록된 얼굴화상을 집계한 얼굴등급과의 유사도를 산출하여 상기 유사도가 소정 값 이상이 될 때까지 상기 내방자의 얼굴화상을 더 촬영하고, 상기 동작 제어수단은 상기 로봇이 촬영한 상기 내방자의 얼굴화상을 상기 인물정보 데이터베이스에 등록하는 것을 특징으로 한다.

제6발명에 따르면, 내방자를 특정하고 이 특정에 이용되는 등록된 내방자의 얼굴화상을 추가등록할 수 있기 때문에 나이 등에 의해 내방자의 얼굴이 변화된 경우라 해도 내방자를 특정하는 정밀도를 유지할 수 있다.

또 제7발명은, 제6발명의 얼굴화상 취득시스템에서, 상기 로봇은 상기 내방자가 내민 아암부를 잡았는지 여부를 판정하는 악수 판정수단을 더 포함하여 구성되며, 상기 로봇은 악수를 하는 동작에 들어갔을 때 상기 악수 판정수단에 의해 상기 내방자가 악수를 했는지 여부를 판정하고 상기 내방자가 악수를 했다고 판정한 경우에 상기 카메라로 상기 내방자의 얼굴화상을 촬영하는 것을 특징으로 한다.

제7발명에 따르면, 내방자의 특정에 오류가 있는 경우에는 얼굴화상을 취득하지 않기 때문에 인물정보 데이터베이스에 잘못된 얼굴화상을 추가로 격납하는 것을 방지할 수 있다.

또 제8발명은, 제3발명 내지 제7발명 중 어느 한 발명의 얼굴화상 취득시스템에서, 상기 동작 제어수단은, 상기 인물정보 데이터베이스에 격납된 인물정보 중 소정 항목이 포함되어 있지 않은 인물정보는 그에 대응되는 얼굴화상과 함께 소정 타이밍으로 소거하는 것을 특징으로 한다.

제8발명에 따르면, 소정 타이밍으로 인물정보 데이터베이스에 등록된 이름 등의 특정 항목이 없는 인물정보와 그에 대응되는 얼굴정보를 소거함으로써 인물정보 데이터베이스에 격납하는 정보량의 비대화를 억제할 수 있다.

본 발명의 실시예에 대해 적절히 도면을 참조하면서 설명하기로 한다. 이하 두발 보행에 따른 자율이동이 가능한 인간형 로봇을 사용하여 기업 등 오피스 빌딩에 마련된 로비를 방문한 내방자의 접수를 하는 경우에 본 발명을 적용한 예를 설명하기로 한다.

예컨대 도 1은 본 실시예에서의 접수시스템(1)을 도시한 개략도이다. 도 2는 접수시스템(1)의 로봇(2)의 구성예를 도시한 블록도이다. 도 3은 접수시스템(1)의 접수동작 제어수단(B)의 예를 도시한 블록도이다. 도 1에 도시한 바와 같이 접수시스템(1)은 주로 로봇(2) 및 접수동작 제어수단(B)으로 구성된다. 또 접수동작 제어부(B)는 로봇 지원서버(3), 송수신부(35) 및 장내 카메라(4)로 구성되어 있다. 도 1에서는 로봇 지원서버(3)는 로비 내에 설치되는 구성으로 했는데 별실에 설치되는 구성으로 해도 좋다.

이제 로봇(2)에 대해 설명하기로 한다. 도 2에 도시한 바와 같이 로봇(2)은 두발 보행에 따른 자율이동이 가능하며 카메라(21a),(21a), 마이크(22a), 스피커(23a), 제어부(2A), 자율이동수단(26b), 작업수단(27) 및 송수신부(28)로 구성되어 있다. 제어부(2A)는 화상 인식부(21b), 음성 인식부(22b), 발화(發話) 생성부(23b), 응답부(24), 자기위치 추정수단(25), 이동제어부(26a), 시나리오DB(데이터베이스)(29a) 및 지도정보DB(29b)로 구성되어 있다.

로봇(2)의 구성요소를 자세히 설명하면, 카메라는(21a)는 로봇(2) 주위의 상황이나 내방자의 얼굴 등 화상을 촬영하여 화상 인식부(21b)에 보내기 위한 기기이다. 여기에서 카메라(21a)는 흑백 또는 칼라비디오 카메라로서, 본 실시예에서는 카메라(21a)를 2개 구비하는 구성으로 했다. 카메라(21a)를 2개 구비하는 구성으로 함으로써 두 화상의 오차에 기초하여 내방자까지의 거리나 로비 내에서의 자기위치를 연산할 수 있게 된다. 또 카메라(21a)는 미도시된 모터 등의 구동수단에 의해 팬(좌우방향) 및 틸트(상하방향)으로 구동되어 원하는 방향으로 돌릴 수 있는 구성으로 했다.

화상 인식부(21b)는 카메라(21a)가 촬영한 화상정보를 디지털화하여 받아들인다. 또 동적 윤곽모델(Snakes) 등의 수법을 이용한 이동체의 자동추출·추적기능을 갖고 있다. 또 화상 인식부(21b)는 디지털화한 화상정보를 응답부 및 자기위치 추정수단(25)으로 보낸다. 또 화상 인식부(21b)는 소정 사이즈로 내방자의 얼굴화상을 발췌하는 기능을 가지며, 촬영한 얼굴화상 또는 후술하는 로봇 지원서버(3)의 내방자 정보DB(34b)에 격납된 내방자의 얼굴화상에 기초하여 내방자의 얼굴화상의 유사도를 산출하여 응답부(24)에 보내는 기능을 갖는다.

마이크(22a)는 주위의 소리나 내방자의 발화 등 소리정보를 모아 음성인식부(22b)에 보낸다. 또 음성인식부(22b)는 마이크(22a)가 모은 소리정보에 기초하여 미리 등록된 어휘를 참조하여 내방자의 발화내용을 인식한다.

스피커(23a)는, 발화생성부(23b)가 생성한 음성을 출력하여 내방자와의 커뮤니케이션을 실행하기 위한 기기이다. 또 발화생성부(23b)는 응답부(24)에서 시나리오DB(29a)에 격납되는 커뮤니케이션을 위한 시나리오나 로봇 지원서버(3)의 접수동작 지시수단(33)(도 3 참조)으로부터의 접수동작의 지시에 기초하여 내방자에게 전할 내용을 음성으로 합성하여 스피커(23a)로 출력한다.

응답부(24)는 도 1에 도시한 로봇 지원서버(3)에서 보낸 각 정보, 화상 인식부(21b)에서 보낸 화상정보, 마이크(22a)로부터의 내방자 발화 등에 따라 회화의 정보를 생성하거나 작업수단(27)에 신호를 보내 로봇(2)의 동작(예컨대 팔을 올리는)을 제어한다. 또 응답부(24)는 로봇 지원서버(3)로부터의 접수동작의 지시 송신에 의해 접수동작을 개시할 때 접수 개시정보를 송수신부(28)에서 로봇 지원서버(3)로 송신한다. 또 내방자의 접수동작이 완료되었을 때에는 접수 완료정보를 송수신부(28)에서 로봇 지원서버(3)로 송신한다. 또 화상 인식부(21b)가 산출한 내방자의 얼굴화상의 유사도에 기초하여 내방자의 얼굴화상을 취득하는 제어를 실시한다.

자기위치 추정수단(25)은, 화상 인식부(21b)에서 보낸 2개의 카메라(21a)로 촬영된 화상정보와, 지도 정보DB(29b)에 격납된 지도정보를 기초로 로봇(2)의 현재 위치를 추정하여 로봇 위치정보를 산출하고 이동제어부(26a) 및 송수신부(28)를 통해 로봇 지원서버(3)에 이 로봇 위치정보를 송신한다.

이동제어부(26a)는 자기위치 추정수단(25)에서 보낸 로봇 위치정보, 지도 정보DB(29b)에 격납되는 지도정보 및 로봇 지원서버(3)에서 보낸 접수동작의 지시를 기초로 자율이동수단(26b)의 동작을 제어한다.

자율이동수단(26b)은 로봇(2)이 자율적으로 이동하기 위한 기기로서, 본 실시예에서는 로봇(2)의 다리부에 해당하는 부분이다. 또 작업수단(27)은 응답부(24)의 제어신호에 따라 로봇(2)의 작업을 제어하기 위한 기기로서, 본 실시예에서는 로봇(2)의 아암부에 해당한다. 또 송수신부(28)는 로봇 지원서버(3)와 무선으로 송수신하기 위한 기기이다.

시나리오DB(29a)는 내방자와의 커뮤니케이션을 지원하는 데이터베이스로서, 「안녕하세요」「성함을 알려주세요」 등 내방자와의 사이에서 이루어지는 회화에 이용되는 문장예나, 이 문장예에 대응되는 로봇(2)의 동작(예컨대 악수를 하는)에 관한 정보 그리고 접수동작의 완료 후에 홈포지션으로 이동하는 동작에 관한 정보 등이 격납되어 있다.

지도정보DB(29b)는 로봇(2)이 이동 가능한 영역의 지도정보를 격납하는 데이터베이스이다. 이 지도정보는, 로봇 지원서버(3)의 지도 정보DB(34a)(도 3 참조)에 격납되어 있는 지도정보와 동일한 것으로서 로봇 지원서버(3)와의 송수신에 의해 정보의 갱신이 가능하다.

다음에 도 3을 참조하여 청구항의 동작 제어수단에 해당하는 접수동작 제어수단(B)에 대해 설명하기로 한다. 접수동작 제어수단(B)은 로봇 지원서버(3), 송수신부(35) 및 장내 카메라(4)로 주로 구성된다. 로봇 지원서버(3)는 화상 인식부(31), 접수정보 관리수단(32), 접수동작 지시수단(33), 지도정보DB(34a), 내방자 정보DB(34b) 및 스케줄 정보DB(34c)로 구성되며 부대적인 송수신부(35)를 통해 로봇(2)과 각종 정보를 송수신할 수 있는 구성으로 되어 있다.

화상 인식부(31)는 장내 카메라(4)가 촬영한 화상정보를 디지털화하여 받아들인다. 또 이 화상 인식부(31)는 동적 윤곽모델(Snakes) 등의 수법을 이용한 이동체 추출·추적기능이 있어 내방자를 검출할 수 있다. 다음에 화상 인식부(31)는 소정 사이즈로 내방자의 얼굴화상을 발췌하는 기능도 있다. 또 화상 인식부(31)는 촬영한 화상정보로부터 로비 내의 내방자나 로봇(2)의 위치관계를 나타내는 정보인 배치정보를 검출할 수 있도록 구성되어 있다.

장내 카메라(4)는 출입구를 포함한 내방자 및 로봇(2)이 이동할 수 있는 로비 영역의 화상정보를 촬영하여 화상 인식부(31)로 보낸다. 화상 인식부(31)에서는 장내 카메라(4)가 출입구에서 로비에 들어온 내방자를 촬영한 화상정보로부터, 촬영된 이동체를 내방자라고 인식한다. 그리고 화상 인식부(31)는 이 내방자를 처음으로 인식한 시각을 내방시각으로서 접수정보 관리수단(32)에 송신한다. 그리고 화상 인식부(31)는 장내 카메라(4)가 촬영한 화상정보를 기초로 로비 내의 내방자 및 로봇(2)의 위치를 산출함으로써 배치정보를 취득하여 접수정보 관리수단(32)으로 보낸다.

또 화상 인식부(31) 및 장내 카메라(4)는 청구항의 내방자 검출수단에 해당한다.

지도 정보DB(34a)는 로봇(2)이 이동할 수 있는 영역의 지도정보를 격납하고 있다. 예컨대 로비의 형상, 로비 내의 관엽식물, 소파 등의 장해물 등이 지도정보로서 격납되어 있다. 이 지도정보는 도 1에 도시한 오퍼레이터용 PC로부터의 입력에 의해 정보의 갱신이 가능하다. 따라서 로비의 형상 변경이나 테이블, 소파 등의 레이아웃 변경에도 대응할 수 있다. 또 오퍼레이터용 PC로부터의 입력에 의해 변경된 지도정보는 송수신부(35)로부터 로봇(2)에게 송신되어 로봇(2)의 지도 정보DB(29b)(도 2 참조)에 격납된 지도정보도 동일하게 갱신된다.

특허청구범위의 인물정보 데이터베이스에 해당하는 내방자 정보DB(34b)는 내방자 정보와 그 내방자의 얼굴화상을 관련지어 격납한다. 이 내방자 정보에는 내방자에게 부여된 ID번호, 이름, 소속회사명, 직함 등이 포함되어 있다. 여기에서 내방자 정보DB(34b)에 포함되는 내방자 정보의 일부예를 표 1에 도시한다. 표 1에 도시한 바와 같이 내방자 정보는 복수의 항목으로 구성되며 ID번호 이외의 항목은 필수가 아니기 때문에 입력되어 있지 않은 항목은 디폴트로 null 데이터가 된다. 본 실시예에서는 접수정보 관리수단(32)에 의해 내방자 정보의 항목 중 「이름」정보가 null 데이터인 내방자 정보와 그에 대응되는 얼굴정보는, 소정 시간(예컨대 몇일간격)이나 소정 타이밍(예컨대 로봇(2)의 전원을 끄는 시점)에 소거되는 설정으로 되어 있다.

또 이들 내방자 정보의 항목 중 적어도 한 항목의 정보를 스케줄 정보DB(34c)에 격납된 스케줄 정보를 검색할 때의 키정보로서 이용할 수 있다. 내방자 정보DB(34b)에 격납된 내방자 정보는 오퍼레이터용 PC에서 입력되거나 로봇(2)이 내방자로부터 직접 취득하는 것을 생각할 수 있다.

또 접수정보 관리수단(32)에 의해 내방자 정보를 소거하는 조건은 「내방자 정보의 소정 항목의 정보가 null 데이터인 것」 이외에도 예컨대 내방자 정보에 포함되는 화상 인식부(31)가 취득한 내방자의 내방시각을 이용하여 내방자가 내방하여 소정 시간(예컨대 1주일) 경과한 것을 조건으로 하여 내방자 정보와 그에 대응되는 얼굴화상을 소거하는 등 여러 가지로 변경할 수 있다.

또 내방자 정보DB(34b)에 격납할 수 있는 내방자 일인당 얼굴화상의 매수를 미리 설정하여 최대 매수가 된 경우에는 오래된 화상부터 덮어쓰기하여 바꾸는 구성도 생각할 수 있다.

또 내방빈도를 내방자 정보에 격납하여 그 빈도에 따라 얼굴화상을 소거하기까지의 시간을 가변적으로 할 수도 있다.

내방자 정보DB에 격납된 내방자 정보의 예

ID번호	이름	소속회사	직함	..
0001	야먀다 타로	○○주식회사	과장	..
0002	야마가와 하나코	주식회사□□	(null)	..
0003	(null)	(null)	(null)	..
:	:	:	:	:

스케줄 정보DB(34c)는 미리 등록된 내방자의 스케줄 정보와 내방자 정보(예컨대 ID번호)를 관련지어 격납하고 있다. 스케줄 정보는 예컨대 내방하는 날짜, 예정시각, 내방자의 소속회사명, 직함, 이름, 면회 예정자, 안내처 등에 관한 정보이다. 이 스케줄 정보는 사전에 오퍼레이터용 PC에서 입력받아 격납되어 있다.

접수정보 관리수단(32)은 지도정보 DB(34a), 내방자 정보DB(34b) 및 스케줄 정보DB(34c)에 격납되는 각 정보 및 화상 인식부(31)에서 보낸 화상정보, 배치정보 및 로봇(2)의 자기위치 추정수단(25)(도 2 참조)에서 송신되는 로봇 위치정보 등을 기초로 접수 동작정보를 작성하여 관리한다.

여기에서 접수 동작정보의 작성예에 대해 설명하기로 한다.

처음에 화상 인식부(31)는 내방자의 내방시각, 소정 사이즈로 발췌된 내방자의 얼굴정보 및 배치정보를 접수정보 관리수단(32)에 보낸다. 그리고 접수정보 관리수단(32)은 내방자 정보DB(34b)에서 이 내방자의 얼굴정보와 유사도가 높은 얼굴화상을 구해 그 구한 얼굴화상에 대응하는 내방자 정보를 취득한다.

여기에서 화상 인식부(31)에서 보내진 내방자의 얼굴화상과 유사도가 높은 얼굴화상을, 내방자 정보DB(34b)에 격납된 얼굴화상에서 구하는 수법으로는, 예컨대 종래기술인 얼굴화상의 각 휘도값을 요소로 하는 벡터공간에 주성분 분석을 적용하는 수법(고유공간법)을 이용할 수 있다. 이 고유공간법이란, 소정 사이즈로 발췌되어 정규화된 내방자의 얼술형상에서 추출한 특징벡터의 집합으로부터 투영성분의 분산이 큰 투영축을 구하고 특징벡터를 그 투영축으로의 투영성분(주성분)으로 표시함으로써 내방자의 얼굴화상 및 내방자 정보DB(34c)에 격납된 내방자 정보의 얼굴화상의 주성분 스코어 사이의 거리를 이용하여 유사도를 산출하고 그 산출한 유사도가 소정 문턱값 이상이자 최대인 것을 내방자 정보DB(34c)에 격납된 내방자 정보의 얼굴화상으로 인식하는 방법이다. 또 본 발명은 이 수법에 한정되지 않으며 다양한 얼굴 인식수법에 적용할 수 있다.

그리고 접수정보 관리수단(32)은 내방자 정보 중 하나 예컨대 ID정보를 키정보로 하여 스케줄 정보DB(34c)를 검색하여 이 내방자의 스케줄 정보를 취득한다. 또 내방자 정보와 스케줄 정보와 화상 인식부(31)에서 취득한 내방자 위치정보를 합쳐서 안내유도를 위한 접수동작 정보를 작성하여 접수동작 지시수단(33)으로 보낸다.

또 내방자 정보DB(34b)에 소정 유사도를 갖는 내방자의 후보가 없는 경우에는 미등록자로서 새롭게 ID번호를 설정하여 신규 내방자의 얼굴정보를 취득하기 위한 접수동작 정보를 접수동작 지시수단(33)으로 보낸다.

접수동작 지시수단(33)은 접수정보 관리수단(32)에서 보내오는 접수동작 정보에 기초하여 지시정보를 로봇(2)에게 송신한다. 이와 같이 내방자별로 접수동작 정보는 다르기 때문에 로봇(2)은 내방자에 맞춘 접수동작을 실행하게 된다.

또 이 접수동작의 지시에 대해서는 후술하는 접수과정을 설명하는 흐름도를 이용하여 상세하게 설명하기로 한다.

송수신부(35)는 로봇(2)의 송수신부(28)(도 2 참조)와의 사이에서 무선으로 정보를 송수신한다. 송수신의 구체예로는 접수동작 지시수단(33)이 차례대로 출력하는 지시정보를 로봇(2)측에 송신한다. 또 로봇(2)의 화상 인식부(21b)(도 2 참조)가 디지털화되어 취득한 화상정보 등을 수신한다. 또 로봇(2)측으로부터의 접수 개시정보나 접수 완료정보를 수신하고 이 수신한 정보를 로봇 지원서버(3)에 보낸다. 이들 접수 개시정보 및 접수 완료정보는 접수정보 관리수단(32)에 보내져 내방자 정보에 부가된다. 이로써 로비 내의 내방자가 미접수인지 접수중인지 또는 접수가 끝났는지 식별할 수 있게 된다. 또 이들이 스케줄 정보와 조합됨으로써 예정된 내방자가 미접수인지 접수가 끝났는지를 확인할 수 있다.

오퍼레이터용 PC는 각 DB 내의 정보나 접수상황 등을 입력, 표시, 갱신하기 위한 기기이다. 오퍼레이터는 오퍼레이터용 PC의 화면에서 접수상황을 인식할 수 있다.

(접수·신규등록 동작)

계속해서 본 실시예에 관한 접수시스템(1)을 이용한 내방자의 접수동작에 대해 도 4에 도시한 흐름도를 이용하여 설명하기로 한다(적절하게 도 2, 도 3 참조).

처음에 로봇 지원서버(3)는 장내 카메라(4)가 촬영한 화상을 기초로 화상 인식부(31)에서 내방자의 유무를 검출한다(단계 S401). 장내 카메라(4)의 화상에서 내방자가 검출되지 않은 경우에는(단계 401에서 No인 경우) 내방자가 검출될 때까지 단계 S401의 처리를 반복한다.

그리고 단계 S401에서 내방자의 존재를 검출한 경우(단계 S401에서 Yes인 경우)에는 장내 카메라(4)가 촬영한 화상을 기초로 화상 인식부(31)는 로봇 지원서버(3)의 접수정보 관리수단(32)에 소정 크기로 발췌된 내방자의 얼굴화상 및 로비 내의 내방자 및 로봇(2)의 배치정보를 보낸다(단계 S402).

다음에 로봇 지원서버(3)의 접수정보 관리수단(32)에서는 장내 카메라(4)로 촬영된 내방자의 얼굴화상과 내방자 정보DB(34b)에 격납된 얼굴화상을 이용하여 상기 고유공간법 등의 소정 방법에 의해 내방자의 얼굴인식을 실행하여 이 내방자가 내방자 정보DB(34b)에 등록된 인물인지를 판단한다(단계 S403). 여기에서 내방자가 내방자 정보DB(34b)에 등록된 인물이 아니라고 판단한 경우에는(단계 403에서 No인 경우) 다음 단계로 진행하고, 등록된 인물이라고 판단한 경우에는 단계 403에서 Yes인 경우) 후술하는 내방자의 접수·안내의 단계(도면에서는 부호 A)로 진행한다.

이 내방자의 검색시 현재시각 및 스케줄 정보DB(34c)에 격납된 내방자의 내방 예정시각으로부터 내방할 가능성이 높은 내방자 정보를 좁히고 나서 얼굴인식을 함으로써 얼굴인식의 정밀도 및 인식시간을 향상시킬 수도 있다.

단계 403에서 No인 경우 다음에 로봇 지원서버(3)의 접수정보 관리수단(32)은 이 내방자에게 부여된 ID번호를 새로 설정하여 이 내방자의 내방시각과 함께 내방자 정보로서 내방자 정보ID(34b)에 격납한다(단계 S404).

그리고 접수정보 관리수단(32)은 화상 인식부(31)에서 보내온 배치정보, 지도정보DB(34a)에 격납된 지도정보 및 로봇(2)으로부터 송신된 로봇 위치정보를 합하여 내방자의 접수·신규등록의 접수 동작정보를 작성하여(단계 S405) 접수동작 지시수단(33)으로 보낸다. 이 접수·신규등록의 접수 동작정보는 청구항의 내방자의 얼굴화상을 취득하는 동작 지시정보에 해당한다.

이 내방자의 접수·신규등록의 접수 동작정보에 기초하여 접수동작 지시수단(33)은 송수신부(35)에서 로봇(2)으로 접수동작의 대상이 되는 내방자에 대해 소정 거리까지 접근하도록 지시하는 지시정보를 송신한다(단계 S406). 여기에서 이 지시정보에는 접수대상이 되는 내방자의 위치를 판단하는 배치정보가 포함되어 있다.

이 지시정보를 수신한(단계 S407) 로봇(2)은 지시정보에 포함되는 배치정보에 기초하여 접수동작의 대상이 되는 내방자를 인식하고 동시에 접수동작에 들어간 것을 나타내는 접수 개시정보를 로봇 지원서버(3)로 송신한다(단계 S408). 이 접수 개시정보를 수신한 로봇 지원서버(3)는 접수 개시정보를 내방자 정보DB(34b)에 격납된 이 내방자의 내방자 정보에 부가하여 등록한다(단계 S409).

그리고 로봇(2)은 자율적으로 접수의 대상인 내방자와 커뮤니케이션을 취할 수 있는 소정 거리까지 접근한다(단계 S410).

로봇(2)이 내방자로부터 소정 거리까지 접근하면 로봇 지원서버(30)의 접수정보 관리수단(32)은 내방자에게 인사를 하는 지시정보를 로봇(2)에게 송신한다(단계 S411). 또 단계 S411의 타이밍은 로봇(2)이 단계 S410의 내방자에게 접근하는 동작이 완료된 시점에서 로봇(2)이 로봇 지원서버(3)에게 동작의 종료를 나타내는 정보를 송신하거나, 로봇 지원서버(3)의 화상 인식부(31)에서 보내오는 배치정보로부터 로봇(2)과 내방자의 거리를 판단하여 결정하는 것 등을 생각할 수 있다. 또 로봇(2)의 시나리오 DB(29a)에 내방자와 소정 거리가 되면 오른손을 내미는 것을 등록해 두는 것도 가능하다.

내방자에게 인사를 하는 지시정보를 수신한 로봇(2)은 시나리오 DB(29a)에 격납된 인사의 시나리오 정보에 기초하여 「안녕하세요」라고 발화함과 동시에 악수를 하는 포즈인 오른손을 내민다(단계 S412). 여기에서 로봇(2)은 소정시간, 내방자가 이 포즈에 응해 악수를 해주는지를 판단한다(단계 S413). 이 내방자가 악수를 해주는지의 판단은, 미도시된 로봇(2)의 손에 구비된 터치센서 등을 이용하거나, 로봇(2)의 화상 인식부(21b)에서 카메라(21a)가 촬영한 화상정보로부터 내방자가 손을 내밀었는지를 판단함으로써 실행된다.

또 단계 S413의 악수를 해주는지 여부를 판정하지 않고 단계 S412에서 로봇(2)의 오른손을 내미는 타이밍에서 후속 단계로 진행하는 구성으로 할 수도 있다. 이 경우 악수를 해주는지에 대한 판정수단이 필요 없기 때문에 로봇(2)의 구성을 간략화할 수 있으나 내방자의 정면 얼굴화상을 촬영할 수 있는 확률이 저하된다.

단계 S413에서 소정 시간이 경과해도 내방자가 손을 내밀지 않는 경우에는(단계 S413에서 No인 경우), 내방자와의 커뮤니케이션을 포기하고 단계 S415로 전행한다. 또 단계 S413에서 내방자가 손을 내밀었다고 판정한 경우에는(단계 S413에서 Yes인 경우) 내방자의 얼굴화상의 등록을 실행한다(단계 S414).

여기에서 도 5는 단계 S414의 내방자의 얼굴화상의 등록과정을 상세히 설명하는 흐름도이다. 도 5를 참조하여 내방자의 얼굴화상의 등록에 대해 상세히 설명하기로 한다(도 2 참조).

처음에 로봇(2)은 내방자가 손을 내밀었다고 판정한 시점에서 내방자의 얼굴화상을 취득하기 위해 얼굴화상의 매수를 카운트하는 변수인 화상매수 N을 리셋한다(단계 S501). 그리고 카메라(21a)에서 내방자의 얼굴화상을 촬영한다(단계 S502).

이 때 내방자는 로봇(2)과 악수하는 자세이기 때문에 로봇(2)과 대치하는 소정 위치에서 정지하게 되어 내방자의 정면 얼굴화상을 취득할 수 있게 된다. 이로써 얼굴을 인식할 때의 인식 정밀도를 향상시킬 수 있고 또 중요한 내방자의 정면 얼굴화상을 용이하게 취득할 수 있다.

그리고 로봇(2)의 응답부(24)는 촬영개시로부터의 시간이 소정시간에 도달했는지를 판정한다(단계 S503). 여기에서 소정시간이란 악수의 동작을 수행하는 시간 이내로 설정하는 것이 바람직하다. 그리고 촬영개시로부터의 시간이 소정 시간에 도달하지 않은 경우에는(단계 S503에서 No인 경우) 다음 단계로 진행하고 촬영개시로부터의 시간에 도달한 경우에는(단계 S503에서 Yes인 경우) 촬영을 종료하고 단계 S506으로 진행한다.

다음에 로봇(2)의 응답부(24)는 내방자의 얼굴화상의 매수가 소정 매수에 도달했는지를 판단하고(단계 S504) 소정 매수에 도달하지 않은 경우에는(단계 S504에서 No인 경우) 내방자의 얼굴화상을 더 취득하고, 소정 매수에 도달한 경우에는(단계 S504에서 Yes인 경우) 다음 단계로 진행한다. 이 소정 매수란 악수의 동작 중에 자연스럽게 촬영할 수 있는 매수로서 예컨대 촬영개시로부터 2초만에 60매의 얼굴화상을 촬영하는 것을 생각할 수 있다. 또 내방자 정보DB(34b)에 격납할 수 있는 내방자 일인당 얼굴화상의 매수를 설정한 경우에는 설정된 최대 매수까지 얼굴화상을 촬영하는 것으로 해도 좋다.

다음에 단계 S504에서 얼굴화상의 촬영 매수가 소정 매수에 도달한 경우에는 로봇(2)의 응답부(24)는 마지막으로 촬영한 얼굴화상의, 그보다 전에 촬영한 얼굴화상을 집계한 얼굴등급에 대한 유사도가 소정의 문턱값 이상인지 여부를 판정한다(단계 S505). 상세하게 설명하면 이 단계 S505에서는 화상 인식부(21b)에서 내방자의 얼굴화상을 소정 매수 다 취한 시점에서 마지막으로 촬영된 얼굴화상보다 전에 촬영된 얼굴화상을 정리하여 고유공간 상에 그 내방자의 얼굴등급을 형성시켜 마지막으로 촬영된 얼굴화상과 이 얼굴등급과의 유사도를 계산하여 응답부(24)에 보내고 응답부(24)에서는 이 보내진 유사도가 소정 문턱값을 초과하는지 여부를 판정한다.

단계 S505의 판정에서 예컨대 마지막으로 촬영된 5매의 각 얼굴화상과, 이 5매의 얼굴화상보다 전에 촬영된 얼굴화상의 얼굴등급에 대한 유사도의 평균값이 소정 임계값 이상이 되었는지 여부를 판정하는 구성으로 할 수도 있다.

단계 S505에서 마지막으로 촬영한 얼굴화상의 얼굴등급에 대한 유사도가 소정 문턱값 이상이 아닌 경우에는(단계 S505에서 No인 경우) 응답부(24)는 내방자의 얼굴화상의 촬영을 더 반복한다.

또 이 내방자의 얼굴화상의 추가 촬영은 1매 단위뿐 아니라 예컨대 5매 단위로 촬영하는 것도 생각할 수 있다. 이 경우에도 마지막으로 촬영된 5매의 각 얼굴화상 유사도의 평균값을 구하고 이 유사도의 평균값이 소정 문턱값 이상이 되었는지 여부를 단계 S505에서 판정한다.

또 단계 S505에서의 유사도 판정은 반드시 필요한 것은 아니며 도 5에서 단계 S505를 생략하고 단계 S504에서 소정 매수의 내방자의 얼굴화상을 촬영했다고 판정한 경우에 다음 단계 S506으로 진행하는 구성으로 하는 것도 가능하다.

단계 S505에서 유사도가 소정 문턱값 이상인 경우에는(단계 S505에서 Yes인 경우) 다음 단계로 진행하고 로봇(2)은 시나리오 DB(29a)에 격납된 시나리오 정보에 기초하여 「성함을 알려주세요」라고 발화하여 내방자의 이름을 묻는다(단계 S506).

그리고 로봇(2)은 마이크(22a)로부터 내방자의 음성을 취득하고 음성 인식부(22b)에서 내방자의 이름을 취득하여 촬영된 얼굴화상 및 이름의 정보를 로봇 지원서버(3)로 송신한다(단계 S507). 이들 정보를 수신한 로봇 지원서버(3)는 이름의 정보를 이 내방자의 내방자 정보에 부가하고 얼굴화상을 이 내방자의 내방자 정보와 대응시켜 내방자 정보DB(34b)에 격납한다(단계 S508). 이로써 이 내방자는 내방자 정보DB에 등록되어 로봇(2)과 다시 커뮤니케이션을 취할 경우에 접수동작을 반복하지 않는다.

단계 S506에서 시나리오 DB(29a)에 소정 순서를 등록해 놓고 내방자와 커뮤니케이션을 취함으로써 내방자의 이름 이외의 정보(회사명, 직함, 이름, 생년월일 등)를 질문하여 취득하는 구성으로 할 수도 있다. 이들 정보가 취득된 경우에도 얼굴화상과 함께 내방자 정보에 부가하여 내방자 정보DB(34b)에 등록된다. 또 로봇(2)이 내방자의 이름을 등록할 수 없었던 경우에는 얼굴화상만 이 내방자의 내방자 정보(이 경우에는 ID번호의 항목만 가짐)에 대응시켜 내방자 정보DB(34b)에 격납된다.

또 도 4로 돌아가 로봇(2)은 단계 S414에서 내방자의 얼굴화상의 등록이 종료되었거나 단계 S413에서 소정 시간이 경과해도 내방자가 손을 내밀지 않은 경우에는 로봇 지원서버(43)에 접수동작의 종료를 나타내는 접수 완료정보를 송신한다(단계 S415). 이 접수 완료정보를 수신한 로봇 지원서버(3)는 내방자 정보DB(34b)에 격납된 이 내방자의 내방자 정보에 이 접수 완료정보를 부가하여 격납한다(단계 S416). 또 단계 S413에서 내방자가 악수해 주지 않은 경우에는 장내 카메라(4)에서 촬영한 내방자의 얼굴화상을 내방자 정보DB(34b)에 격납하고 또 이 내방자의 내방자 정보에 접수 완료정보를 부가하여 격납한다.

접수 완료정보가 내방자 정보에 부가됨으로써 내방자의 접수가 완료되었는지 여부를 식별할 수 있으며 접수가 완료된 내방자에게 다시 접수동작을 하지 않도록 설정할 수 있다.

그리고 로봇(2)은 시나리오 DB(29a)에 격납된 시나리오 정보에 기초하여 홈포지션(예컨대 로비의 접수카운터 부근)으로 되돌아가는 동작을 수행하여 접수동작을 종료한다(단계 S417). 이와 같이 홈포지션으로 되돌아가도록 하는 것은, 접수동작이 종료된 장소에서 다음 내방자가 방문하는 것을 기다리게 하면 다음 내방자의 접수동작으로 옮기는데 시간이 걸리며, 또 로봇(2)이 직원 등의 통행에 방해가 되는 것을 피하기 위해서이다. 도 홈포지션으로 되돌아감으로써 로봇(2)의 충전이 개시되는 구성으로 할 수도 있으며 이로써 접수동작중에 로봇(2)의 배터리가 나가는 사태를 방지할 수 있다.

(접수·안내동작)

다음에 단계 S403에서 내방자가 내방자 정보DB(34b)에 등록된 인물이라고 판단한 경우(단계 S403에서 Yes인 경우)의 내방자의 접수·안내의 단계에 대해 도 6에 도시한 흐름도를 참조하여 설명하기로 한다.

접수정보 관리수단(32)은 내방자의 내방자 정보를 이용하여 스케줄 정보DB(34d)에 격납된 스케줄 정보를 검색하고 화상 인식부(31)에서 보내진 배치정보, 지도정보DB(34a)에 격납된 지도정보 및 로봇(2)으로부터 송신된 로봇 위치정보를 합하여 접수·안내의 안내 동작정보를 구성하여(단계 S601) 접수동작 지시수단(33d)으로 보낸다. 또 이 접수·안내의 접수 동작정보는 청구항의 내방자의 얼굴화상 유사도를 판정하는 동작 지시정보에 해당한다.

이하 본 실시예에서는 로봇 지원서버(3)의 스케줄 정보DB(34c)에 내방자와 소정의 방(면담실 A)에서 면담을 한다고 등록되어 있으며 이 정보에 기초하여 내방자를 유도하는 접수 동작정보가 작성되어 이 접수 동작정보에 의해 로봇(2)이 접수동작을 하는 예를 설명하기로 한다.

로봇 지원서버(3)의 접수동작 지시수단(33)은 송수신부(35)로부터 로봇(2)에게, 접수대상이 되는 내방자에게 소정 거리까지 접근하도록 지시정보를 송신한다(단계 S602). 여기에서 이 지시정보에는 접수대상이 되는 내방자의 위치를 판단하는 배치정보가 포함되어 있다.

이 지시정보를 수신한(단계 S603) 로봇(2)은 지시정보에 포함되는 배치정보에 기초하여 접수동작의 대상이 되는 내방자를 인식하고 동시에 접수동작에 들어간 것을 나타내는 접수 개시정보를 로봇 지원서버(3)로 송신한다(단계 S604). 이 접수 개시정보를 수신한 로봇 지원서버(3)는 이 접수 개시정보 및 내방시각을 이 내방자의 내방자 정보에 부가하여 내방자 정보DB(34b)에 격납한다(단계 S605).

그리고 로봇(2)은 자율적으로 접수동작의 대상인 내방자와 커뮤니케이션을 취할 수 있는 소정 거리까지 접근한다(단계 S606).

로봇(2)이 내방자로부터 소정 거리까지 접근하면 로봇 지원서버(3)의 접수정보 관리수단(32)이 내방자에게 인사하는 지시정보를 로봇(2)에게 송신한다(단계 S607). 또 이 지시정보에는 내방자 정보DB(34b)에 격납된 이 내방자의 얼굴화상의 정보도 포함되어 있다. 또 이 지시정보를 송신하는 타이밍은 상기와 같이 로봇(2)의 이전 동작(내방자와 소정 거리까지 이동하는)이 종료된 시점이나 로봇 지원서버(3)에 동작의 종료정보를 송신하는 시점이나 로봇 지원서버(3)의 화상 확인부(31)에서 보내지는 배치정보로부터 판단하여 송신하는 것 등을 생각할 수 있다.

내방자에게 인사하는 지시정보를 수신한 로봇(2)은 시나리오 DB(29a)에 격납된 시나리오 정보에 기초하여 「○○씨, 어서오세요」라고 발화함과 동시에 악수를 하는 포즈로서 오른손을 내민다(단계 S608). 여기에서 로봇(2)은 소정시간 동안 내방자가 이 포즈에 응해 악수를 해주는지를 판단한다(단계 S609). 이 내방자가 악수를 해주는지의 판단은 상기 터치센서 등을 이용함으로써 이루어진다.

단계 S609에서 소정 시간이 경과해도 내방자가 손을 내밀지 않는 경우에는(단계 S607에서 No인 경우) 내방자와의 커뮤니케이션을 포기하고 단계 S614로 진행한다. 또 단계 S609에서 내방자가 손을 내밀었다고 판단한 경우에는(단계 S607에서 Yes인 경우) 로봇(2)은 내방자의 얼굴화상을 촬영한다(단계 S610).

다음에 로봇(2)의 응답부(24)는 촬영개시로부터의 시간이 소정 시간에 도달했는지를 판정한다(단계 S611). 여기에서 소정 시간은 악수의 동작을 수행하는 시간 이내로 설정하는 것이 바람직하다. 그리고 촬영개시로부터의 시간이 소정 시간에 도달하지 않은 경우에는(단계 S611에서 No인 경우) 다음 단계로 진행하여 촬영개시로부터의 시간이 소정 시간에 도달한 경우에는(단계 S611에서 Yes인 경우) 촬영을 종료하여 단계 S614로 진행한다.

다음에 단계 S611에서 촬영개시로부터의 시간이 소정 시간에 도달하지 않은 경우에는 로봇(2)의 응답부(24)는 촬영한 얼굴화상과, 단계 S607에서 송신된 내방자의 얼굴화상을 집계한 얼굴등급과의 유사도가 소정 문턱값 이상인지 여부를 판정한다(단계 S612). 단계 S612에서 촬영한 얼굴화상의 얼굴등급에 대한 유사도가 소정 문턱값 이상이 아닌 경우에는(단계 S612에서 No인 경우) 내방자의 얼굴화상을 더 촬영하고 마지막으로 촬영된 얼굴화상과, 그때까지 촬영한 얼굴화상을 포함하여 집계한 얼굴등급과의 유사도가 소정 문턱값 이상이 될 때까지 판정을 반복한다.

이 단계 S610에서의 추가 내방자의 얼굴화상의 촬영은 1매 단위뿐 아니라 예컨대 5매 단위로 촬영하는 것도 생각할 수 있다. 이 경우 촬영된 각 얼굴화상의 유사도 평균값을 구하고 이 유사도의 평균값이 소정 문턱값 이상이 되었는지 여부를 단계 S612에서 판정할 수도 있다.

다음에 단계 S609에서 내방자가 악수해주지 않았다고 판정한 경우 및 단계 S612에서 유사도가 소정 문턱값 이상인 경우(단계 S612에서 Yes인 경우) 로봇 지원서버(3)의 접수동작 지시수단(33)은 로봇(2)에게 내방자를 안내하는 지시정보를 송신하고(단계 S613) 이 내방자를 안내하는 지시정보를 수신한 로봇(2)은 시나리오 DB(29a)에 격납된 시나리오 정보에 기초하여 내방자에게 「○○씨, 면담실(A)로 들어오세요」라고 발화하여 내방자를 안내한다(단계 S614).

또 이 때 발화할 뿐 아니라 실제로 선도하여 내방자를 면담실(A)까지 유도하는 구성으로 할 수도 있다. 또 내방자의 스케줄 등이 불분명할 경우에는 소정 장소(로비 내의 소파 등)으로 내방자를 유도하고 그것을 오퍼레이터용 PC에 표시함으로써 오퍼레이터에게 대응을 부탁하는 구성으로 해도 좋다.

그리고 로봇(2)은 단계 S614에서 내방자의 안내동작이 종료되거나 단계 S609에서 소정시간이 경과해도 내방자가 손을 내밀지 않는 경우에는 로봇 지원서버(3)로 접수동작의 종료를 나타내는 접수 완료정보를 송신한다(단계 S615). 또 이 때 촬영한 내방자의 얼굴정보가 있는 경우에는 이 얼굴화상도 함께 송신한다.

이 접수 완료정보를 수신한 로봇 지원서버(3)는 내방자 정보DB(34b)에 격납된 내방자 정보에 부가하여 격납한다(단계 S616). 이 때 내방자의 얼굴화상을 함께 수신한 경우에는 이 얼굴화상도 내방자 정보DB(34b)에 격납된 내방자 정보에 부가하여 격납한다.

그리고 로봇(2)은 시나리오 DB(29a)에 격납된 시나리오 정보에 기초하여 홈포지션(예컨대 로비의 접수카운터 부근)으로 되돌아가는 동작을 수행하여 접수동작을 종료한다(단계 S617).

본 실시예의 도 6에 도시한 흐름도에서는 로봇 지원서버(3)의 내방자 정보DB(34b)에 등록되고 또 스케줄 정보DB(34c)에 스케줄 정보가 등록된 내방자에 대응하는 예를 설명했는데, 로봇 지원서버(3)의 내방자 정보DB(34b)에 등록되고 또 스케줄 정보DB(34c)에 스케줄 정보가 등록되어 있지 않은 내방자에 대해서는 단계 S614의 내방자를 안내하는 동작 이외의 접수동작을 실행하게 된다.

이상 설명한 본 실시예의 관련 구성, 동작에 의해 내방자를 특정하는 얼굴인식을 실행할 뿐 아니라 중요한 내방자의 정면 얼굴화상을 내방자가 의식하지 않게끔 하여 취득할 수 있다. 또 보존하고 있는 얼굴화상과 새로 취득한 얼굴화상과의 유사도를 계산하여 소정 유사도를 가질 때까지 내방자의 얼굴화상을 더 취득함으로써 얼굴인식의 정밀도 향상을 기대할 수 있다.

또 내방이 예정되어 있지 않은 내방자라 해도 새로 ID번호를 설정하여 내방자 정보DB(34b)에 이 내방자의 얼굴화상을 등록함으로써 같은 내방자에게 여러번 접수동작을 수행할 필요가 없으며 또 소정 기간내(내방자 정보DB(34b)에 격납된 내방자 정보가 소거될 때까지)에는 미리 등록된 내방자와 마찬가지로 로봇(2)과 커뮤니케이션을 취할 수도 있다.

또 내방자 정보 중 이름 등 특정 항목의 정보를 취득할 수 없었던 경우에는 그 내방자에 관한 정보를 소정 타이밍에서 소거하기 때문에 내방자 정보DB(34b)의 용량이 비대화되는 것을 막을 수 있다.

또 로봇(2)이 내방자 접수중 또는 로봇(2)의 카메라(21a)의 시야에 들어오지 않은 내방자가 있는 경우라 해도 장내 카메라(5)가 내방자의 유무, 내방자와 로봇(2)의 배치정보, 내방자의 얼굴정보를 검출한다. 따라서 원활하게 내방자의 접수동작을 수행할 수 있다.

상기 실시형태는 본 발명의 요지를 벗어나지 않는 범위에서 적절히 설계 변경이 가능하다. 예컨대 상기 실시형태에서는 로봇 지원서버(3)에서 접수 동작정보를 작성하고 접수동작 지시수단(33)에서 차례대로 로봇(2)에게 동작지시를 송신하는 구성으로 했는데 일련의 동작을 로봇(2)의 시나리오DB(29a)에 격납하여 로봇 지원서버(3)에서 이 시나리오 정보를 선택하는 구성으로 할 수도 있다.

또 로봇 지원서버(3)에 포함되는 기능을 로봇(2)에 포함한 구성으로 하는 것도 가능하다. 그 경우 로봇(2)과 장내 카메라(4) 및 로봇(2)과 오퍼레이터용 PC는 무선수단 등에 의해 접속되는 구성이 된다. 이 경우 장내 카메라(4)는 출입구의 화상을 로봇(2)에게 송신할 뿐이며 내방자의 검출 및 내방자의 얼굴인식은 로봇(2) 본체측에서 실행하게 된다.

또 내방자 검출수단을 구성하는 장내 카메라(4)를 한 대 구비하는 것으로 했는데 이에 한정되지 않는다. 카메라의 대수, 각 카메라가 갖는 기능, 카메라의 설치장소 등은 적절히 설계 변경 가능하다. 또 장내 카메라(4)의 역할을 로봇(2)의 카메라(21a)에게 부여하는 것도 생각할 수 있다. 이 경우에는 로봇(2)의 카메라(21a)의 시계에 들어온 내방자를 인식하여 접수동작을 수행하게 된다.

또 한 대의 로봇(2)을 이용하여 안내동작을 수행하는 구성으로 했는데 복수의 로봇(2)을 갖는 구성으로 해도 좋다. 이 경우에는 로봇(2)마다 다른 역할을 부여할 수 있다. 예컨대 이미 얼굴화상 등의 등록이 완료된 내방자를 안내하는 로봇(2)과, 미등록된 내방자를 접수하여 얼굴화상을 일시등록하는 로봇(2)을 구비하는 구성으로 해도 좋다.

또 로봇(2)의 사양도 적절히 설계 변경 가능하다. 자율이동수단(26b)으로서 복수의 바퀴를 갖는 구성이어도 좋으며, 또 화상표시부를 갖고 문자정보와 화상정보에 의해 내방자와 커뮤니케이션을 행하는 것이 가능한 구성이어도 좋다. 또 타치패널을 갖고 내방자가 내방의 목적 등을 입력할 수 있는 구성이어도 좋다.

또 내방자와 로비 내를 통행하는 직원과의 식별을, 장내 카메라(4)로 촬영된 얼굴화상에 기초하여 접수정보 관리수단(32)에서 수행하고, 직원으로 인식된 경우에는 접수동작을 수행하지 않는 구성으로 할 수도 있다. 이 경우 각 직원에게, 직원이라는 것을 인식할 수 있는 제복이나 신발 등을 착용하게 하거나 직원 ID카드를 소정 위치에 부착하게 함으로써 직원 인식의 정밀도를 향상시키는 것도 생각할 수 있다. 또 직원정보를 격납한 무선태그(tag)를 각 직원에게 몸에 지니도록 하여 예컨대 로비의 출입구에 무선태그의 수신수단을 구비하는 구성으로 함으로써 접수정보 처리수단(32) 인식의 정밀도에 관계 없이 직원을 식별하는 구성으로 하는 것도 가능하다.

본 발명에 따르면, 악수를 하는 자연스러운 동작에 의해 내방자는 소정 위치에 정지하기 때문에 취득대상자의 동일 위치로부터의 얼굴화상을 촬영할 수 있으며 또 내방자에게 부담을 주지 않고 얼굴화상의 취득이 가능해진다. 또 미리 등록되어 있지 않은 내방자라 해도 신규로 ID정보를 작성하여 내방자의 얼굴화상을 인물정보 데이터베이스에 등록함으로써 얼굴화상의 취득동작을 다시 실행하는 것을 방지할 수 있다. 또 소정 타이밍으로 인물정보 데이터베이스의 소정 항목이 포함되어 있지 않은 인물정보와 그에 대응되는 얼굴화상을 소거함으로써 격납하는 정보량의 비대화를 방지할 수 있다. 또 각 데이터베이스에 등록되는 얼굴화상은 소정 유사도를 유지하면서 등록되어 있기 때문에 내방자를 특정하는 정밀도가 향상된다.

도 1은 본 발명의 실시예에 관한 접수시스템을 배치한 로비를 도시한 개략도이고,

도 2는 본 발명의 실시예에 관한 접수시스템의 로봇 구성을 도시한 블록도이고,

도 3은 본 발명의 실시예에 관한 접수시스템의 접수동작 제어수단의 구성을 도시한 블록도이고,

도 4는 본 발명의 실시예에 관한 접수시스템을 이용한 내방자의 접수·신규등록의 과정을 설명하는 흐름도이고,

도 5는 본 발명의 실시예에 관한 접수시스템을 이용한 내방자의 얼굴 등록과정을 상세히 설명하는 흐름도이고,

도 6는 본 발명의 실시예에 관한 접수시스템을 이용한 내방자의 접수·안내의 과정을 설명하는 흐름도이다.

<도면의 주요 부분에 대한 부호의 설명>

1 접수시스템 2 로봇

3 로봇 지원서버 4 장내 카메라

21a 카메라 21b 화상인식부

22a 마이크 22b 음성인식부

23a 스피커 23b 발화생성부

24 응답부 25 자기위치 추정수단

26a 이동제어수단 26b 자율이동수단

29a 시나리오DB 29b 지도정보DB

31 화상인식부 32 접수정보 관리수단

33 접수동작 지시수단 34a 지도정보DB

34b 내방자 정보DB 34c 스케줄 정보DB

Claims

카메라 및 아암부를 갖는 로봇을 이용한 얼굴화상 취득방법으로서,

a) 상기 카메라에 의해 취득한 화상으로부터 얼굴화상의 취득 대상자를 검출하는 순서와,

b) 상기 취득 대상자에게 아암부를 내미는 순서와,

c) 상기 취득 대상자와 악수를 하는 동작 사이에 상기 카메라로부터 상기 취득 대상자의 얼굴화상을 촬영하는 순서와,

d) 상기 순서 c)에서 촬영된 얼굴화상을 기억수단에 등록하는 순서를 포함하는 것을 특징으로 하는 얼굴화상 취득방법.
카메라 및 아암부를 갖는 로봇과,

내방자를 검출하는 내방자 검출수단,

상기 로봇의 동작 지시를 상기 로봇에게 보내는 동작 지시수단, 및

내방자의 얼굴화상을 등록하는 얼굴화상 등록수단을 포함하여 구성되는 동작 제어수단으로 이루어진 내방자의 얼굴화상 취득시스템으로서,

상기 동작 제어수단은, 상기 내방자 검출수단에서 상기 내방자를 검출하면 상기 동작 지시수단으로부터 상기 로봇에게 동작 지시를 송신하고,

상기 로봇은 이 동작의 지시에 기초하여 상기 아암부를 상기 내방자에게 내밀어 악수를 하는 동작 사이에 상기 내방자의 얼굴화상을 상기 카메라에 의해 촬영하고,

상기 동작 제어수단은 상기 로봇이 촬영한 상기 내방자의 얼굴화상을 상기 얼굴화상 등록수단에 등록하는 것을 특징으로 하는 얼굴화상 취득시스템.
카메라 및 아암부를 갖는 로봇과,

인물을 특정하는 인물정보 및 상기 인물정보와 대응되는 상기 인물의 얼굴화상을 등록한 인물정보 데이터베이스,

내방자를 검출하여 상기 내방자의 얼굴화상을 취득하는 내방자 검출수단과,

상기 인물정보 데이터베이스와 내방자 검출수단에서 보내지는 정보에 기초하여 상기 로봇의 동작을 지시하는 동작 지시정보를 작성하는 동작정보 관리수단 및,

상기 동작 지시정보에 기초하여 상기 로봇의 동작 지시를 보내는 동작 지시수단을 포함하여 구성되는 동작 제어수단으로 이루어진 내방자의 얼굴화상 취득시스템으로서,

상기 동작 제어수단은, 상기 내방자 검출수단에서 내방자를 검출하면 상기 내방자 검출수단에서 취득한 상기 내방자의 얼굴화상에 기초하여 상기 인물정보 데이터베이스를 참조하여 상기 내방자의 특정을 시험하고,

상기 인물정보 데이터베이스에 해당하는 인물이 등록되어 있지 않을 때에는

상기 동작정보 관리수단에서 상기 내방자를 특정할 수 있는 ID정보를 작성하고, 상기 내방자의 얼굴화상을 취득하는 동작 지시정보를 작성하여 상기 동작 지시수단으로부터 상기 로봇에게 동작의 지시를 송신하고,

상기 로봇은 이 동작의 지시에 기초하여 상기 아암부를 상기 내방자에게 내밀어 악수를 하는 동작 사이에 상기 내방자의 얼굴화상을 상기 카메라에 의해 촬영하고,

상기 동작 제어수단은 상기 ID정보를 인물정보로 하여 이 인물정보 및 상기 로봇이 촬영한 상기 내방자의 얼굴화상을 대응시켜 상기 인물정보 데이터베이스를 등록하는 것을 특징으로 하는 얼굴화상 취득시스템.
제3항에 있어서,

상기 로봇은 상기 내방자에 대해 상기 내방자에 관한 정보의 입력을 촉구하고,

상기 동작 제어수단은 취득한 상기 내방자에 관한 정보를 상기 인물정보에 부가하여 상기 인물정보 데이터베이스에 등록하는 것을 특징으로 하는 얼굴화상 취득시스템.
제2항 내지 제4항 중 어느 한 항에 있어서,

상기 로봇은 상기 내방자의 얼굴화상을 촬영할 때,

소정 매수의 얼굴화상을 촬영하여 마지막으로 촬영한 1 이상의 얼굴화상과, 그보다 전에 촬영한 얼굴화상을 집계한 얼굴등급과의 유사도를 산출하고, 상기 유사도의 평균값이 소정 값 이상이 될 때까지 상기 내방자의 1 이상의 얼굴화상을 촬영하는 것을 특징으로 하는 얼굴화상 취득시스템.
제3항에 있어서,

상기 동작 제어수단은, 상기 내방자 검출수단에서 내방자를 검출하면 상기 내방자 검출수단에서 취득한 상기 내방자의 얼굴화상에 기초하여 상기 인물정보 데이터베이스를 참조하여 상기 내방자의 특정을 시험하고,

상기 인물정보 데이터베이스로부터 해당 인물을 특정했을 때,

상기 동작정보 관리수단에서 상기 내방자의 얼굴화상의 유사도를 판정하는 동작 지시정보를 작성하여 상기 동작 지시수단으로부터 상기 로봇에게 동작의 지시를 송신하고,

상기 로봇은 이 동작의 지시에 기초하여 상기 아암부를 상기 내방자에게 내밀어 악수를 하는 동작 사이에 상기 내방자의 얼굴화상을 상기 카메라에 의해 촬영하고 상기 로봇이 촬영한 얼굴화상과, 상기 인물정보 데이터베이스에 등록된 얼굴화상을 집계한 얼굴등급과의 유사도를 산출하여 상기 유사도가 소정 값 이상이 될 때까지 상기 내방자의 얼굴화상을 더 촬영하고,

상기 동작 제어수단은 상기 로봇이 촬영한 상기 내방자의 얼굴화상을 상기 인물정보 데이터베이스에 등록하는 것을 특징으로 하는 얼굴화상 취득시스템.
제2항, 제3항, 제4항, 제6항 중 어느 한 항에 있어서,

상기 로봇은 상기 내방자가 내민 아암부를 잡았는지 여부를 판정하는 악수 판정수단을 더 포함하여 구성되며,

상기 로봇은 악수를 하는 동작에 들어갔을 때 상기 악수 판정수단에 의해 상기 내방자가 악수를 했는지 여부를 판정하고 상기 내방자가 악수를 했다고 판정한 경우에 상기 카메라로 상기 내방자의 얼굴화상을 촬영하는 것을 특징으로 하는 얼굴화상 취득시스템.
제5항에 있어서,

상기 로봇은 상기 내방자가 내민 아암부를 잡았는지 여부를 판정하는 악수 판정수단을 더 포함하여 구성되며,

상기 로봇은 악수를 하는 동작에 들어갔을 때 상기 악수 판정수단에 의해 상기 내방자가 악수를 했는지 여부를 판정하여 상기 내방자가 악수를 했다고 판정한 경우에 상기 카메라로 상기 내방자의 얼굴화상을 촬영하는 것을 특징으로 하는 얼굴화상 취득시스템.
제3항, 제4항, 제6항 중 어느 한 항에 있어서,

상기 동작 제어수단은, 상기 인물정보 데이터베이스에 격납된 인물정보 중 소정 항목이 포함되어 있지 않은 인물정보는, 그에 대응되는 얼굴화상과 함께 소정 타이밍으로 소거하는 것을 특징으로 하는 얼굴화상 취득시스템.
제5항에 있어서,

상기 동작 제어수단은, 상기 인물정보 데이터베이스에 격납된 인물정보 중 소정 항목이 포함되어 있지 않은 인물정보는 그에 대응되는 얼굴화상과 함께 소정 타이밍으로 소거하는 것을 특징으로 하는 얼굴화상 취득시스템.
제7항에 있어서,

상기 동작 제어수단은, 상기 인물정보 데이터베이스에 격납된 인물정보 중 소정 항목이 포함되어 있지 않은 인물정보는 그에 대응되는 얼굴화상과 함께 소정 타이밍으로 소거하는 것을 특징으로 하는 얼굴화상 취득시스템.
제8항에 있어서,

상기 동작 제어수단은, 상기 인물정보 데이터베이스에 격납된 인물정보 중 소정 항목이 포함되어 있지 않은 인물정보는 그에 대응되는 얼굴화상과 함께 소정 타이밍으로 소거하는 것을 특징으로 하는 얼굴화상 취득시스템.