KR20100105247A - 지능로봇의 얼굴인식 성능평가 시스템 및 평가 방법 - Google Patents

Abstract

본 발명은 지능로봇에 탑재된 영상인식장치의 성능을 평가하는 기술에 관한 것이다. 지능로봇의 얼굴인식시험에 적합한 환경을 조성하는 기술과, 로봇의 얼굴인식장치의 성능을 포함한다. 시험환경의 구성은 객관적 평가 기준을 제공하기 위한 공간의 조명 배경을 선정하는 기술과 환경을 측정하는 기술을 포함한다. 얼굴인식장치의 성능측정은 얼굴을 포함하는 영상의 입력에서부터 시작하여 최종적으로 얼굴인식 결과의 출력까지의 단계인 영상입력, 캡처, 전처리, 얼굴 영역 추출, 얼굴 요소 추출, 개인 식별까지의 각 컴포넌트의 처리에 소요된 시간을 분석하는 기술과 얼굴 영역 추출, 얼굴 요소 추출 그리고 개인 식별이 해당하는 얼굴인식 알고리즘의 정확성을 분석하고 종합하여 표시하는 기술을 포함하는 장치에 관한 것이다.

얼굴인식 평가, 사용자 추적 성공률 평가, 사용자 추적 속도 평가

Description

지능로봇의 얼굴인식 성능평가 시스템 및 평가 방법{System and Method for Face Recognition Performance Measuring of Intelligent Robot}

본 발명은 로봇의 얼굴인식 기능을 이용한 다양한 기술과 서비스의 발전에 따라 서비스를 받는 사람에게는 제품의 성능을 명확히 설명하고 컴포넌트를 개발하는 개발자에게 추가로 개발해야 하는 기술을 명확히 제시할 수 있는 기술이다. 더욱 상세하게는 로봇에서 동작하는 얼굴인식의 단계인 영상 입력 기술; 영상 캡처 기술; 전처리 기술; 얼굴 영역 추출 기술; 얼굴 요소 추출 기술; 개인 식별 기술을 각 컴포넌트의 시간의 효율성과 처리의 정확성에 대해 개별 또는 종합적으로 평가 분석하는 기술과 객관적 성능측정을 위한 시험의 환경을 제공하는 기술로서 수요자에게는 제품의 성능을 객관적으로 제시할 수 있으며, 개발자에게는 제품의 성능 분석 자료로 제공하는 시험 시스템 및 시험 방법에 관한 것이다.

본 발명은 지식경제부 및 정보통신연구진흥원 IT성장동력핵심기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제명: 지능형 로봇 테스트베드 운영]

지능형 로봇에 적용되는 얼굴인식 응용기술은 지능형 로봇의 서비스 측면에 서 사용자와의 상호작용을 편리하게 제공할 수 있는 기술이다. 이러한 지능형 로봇의 얼굴 인식 기술은 서비스의 안정적인 제공과 상업화를 위하여 로봇의 얼굴인식 컴포넌트 기술로 발전하고 있다.

얼굴 인식 기술은 얼굴 인식 시스템(Facial recognition system)을 통해 하드웨어로 구현되고 있다. 얼굴 인식 시스템은 디지털 이미지를 통해 사람을 자동으로 식별하는 컴퓨터 시스템을 의미한다. 이러한 얼굴 인식 시스템은 기본적으로 사람을 인지하기 위하여 비전 센서, 열 센서, 적외선 센서 등을 장착한 카메라 기술, 카메라를 통해 획득된 디지털 이미지를 메모리에 저장하는 기술, 디지털 이미지를 인식엔진에서 요구하는 적합한 사이즈와 컬러 공간으로 변환해주는 전처리 기술, 인식 엔진을 통해 얼굴을 인식한 결과를 출력하는 기술이 필요하다. 얼굴 인식 시스템에서는 상기와 같은 기술들을 통해 얼굴 영역을 추출하는 과정, 얼굴 요소를 추출하는 과정, 특징을 추출하는 과정 및 개인 식별 과정 등과 같은 다수의 처리 과정이 수행된다.

현재 얼굴 인식 기술에 대한 연구 개발이 활발히 진행되고 있으며, 특히 지능형 로봇의 서비스 영역에서의 활용성을 고려한다면, 얼굴 인식 기술은 HRI(Human Robot Interaction) 기술의 필수적인 요소 기술이다.

지능형 로봇의 얼굴 인식 기술이 HRI 기술의 중요한 요소 기술로 발전해감에 따라 얼굴 인식 성능에 대한 객관적 성능 평가가 필요하다.

최근에는 얼굴 인식 기술이 컴포넌트 형태로 개발되고 있으며, 컴포넌트별로 성능에 미치는 영향을 객관적으로 평가할 수 있는 시스템이 필요하다. 예컨대, 얼 굴 인식 성능이 실시간으로 보장되지 않거나 얼굴을 오인식하는 상황이 발생하였을 때 서비스를 제공받는 사람 또는 컴포넌트를 개발하는 기술자에게 성능에 대한 보고를 할 수 있는 시스템이 요구된다.

따라서, 본 발명의 목적은 지능형 로봇의 얼굴 인식 성능을 측정하는데 있어서, 영상 입력에서부터 최종 인식의 결과까지의 성능을 사용자 추적 속도 관점의 평가와 인식률을 종합적으로 평가 분석하는 시스템 및 방법을 제공하는 것이다.

상기 본 발명의 목적을 달성하기 위해 측정 시험을 위한 시험 환경을 조성하는 수단과 지능로봇의 얼굴인식 성능평가 시스템이 필요하다. 시험의 환경은 영상인식의 중요한 요소인 조도를 조절할 수 있는 장치; 인식 대상의 거리를 제한하는 공간; 배경 조건을 고정하는 장치의 수단으로 구성한다. 얼굴인식 시스템의 통합 평가 또는 컴포넌트의 성능 측정을 위한 장치는 로봇 플랫폼에 설치된 카메라로부터 영상입력을 받는 장치; 상기 영상을 캡처하여 메모리에 저장하는 수단; 상기 메모리에 저장된 디지털 영상 데이터를 얼굴인식 엔진의 입력에 적합한 데이터의 크기와 컬러 공간으로 변환하는 전처리 장치 수단; 상기 얼굴 인식 엔진 중 배경과 얼굴영역을 추출하는 수단; 얼굴 영역이 추출된 얼굴 데이터에서 눈, 코, 입과 같은 얼굴 요소를 추출하는 수단; 얼굴 요소를 기반으로 하여 개인 식별의 여부를 결정하는 수단을 포함하는 지능로봇의 영상인식 시스템의 최종 인식 성능의 평가와 동시에, 영상인식 엔진의 기능에 해당하는 얼굴 영역 추출 장치; 얼굴 요소 추출 장치; 그리고 개인 식별 장치에서의 성공률에 가중치를 두어 사용자인식 성공률 측 정 장치로 구성된다.

또한, 상기 본 발명의 목적을 달성하기 위해서 컴포넌트의 처리속도의 성능 측정은 영상의 입력 종료 시점부터 영상 캡처의 종료 시점까지의 시간인 영상캡처 시간을 측정하는 수단; 영상 캡처의 종료 시점부터 전처리 시간의 종료 시점까지의 전처리 시간을 측정하는 수단; 전처리 종료 시점부터 얼굴 영역 추출 종료 시점까지의 얼굴 영역 추출 시간을 측정 수단; 얼굴 영역 추출 종료 시점부터 얼굴 요소 추출 종료 시점까지의 얼굴 요소 추출 시간을 측정하는 수단; 특징 추출 종료 시점부터 개인 식별 종료 시점까지의 개인 식별 시간을 측정하는 수단을 포함하는 사용자인식 속도를 측정하는 장치로 이루어진다.

본 발명에 의하면, 지능로봇에 탑재된 영상 인식 장치를 사용하거나, 개발하는데 있어서 얼굴 인식 장치의 객관적인 성능 평가를 할 수 있어 컴포넌트를 개발하는 기업 또는 컴포넌트를 구매거나 최종 서비스를 제공받는 기업 또는 소비자의 성능 평가의 신뢰성을 높일 수 있다.

로봇의 얼굴 인식 장치의 기능이 복잡해지고 다양한 컴포넌트의 조합으로 이루어짐에 따라서 개발의 과정에서 전체 성능에 미치는 정도를 각 장치별로 성능을 비교 분석할 수 있어, 개발 중 또는 개발된 컴포넌트의 성능을 객관적으로 분석하여 개발기간을 단축하고 시스템의 성능 개선을 위한 원인 파악에 있어 성능 측정을 위한 반복 투자를 없애고, 얼굴인식 컴포넌트 기술의 개발의 효율을 극대화할 수 있다.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

또한, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용한다.

도 1은 본 발명의 일실시예에 따른 지능형 로봇의 얼굴 인식 성능평가 시스템의 블록 구성도이고, 도 2a는 지능형 로봇의 얼굴 인식 성능을 측정하기 위한 시험 환경을 보여주는 도면이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 얼굴인식 성능 평가 시스템은 얼굴 인식 시스템(200)의 성능 측정을 목표로 하여 시험 환경 준비장치(100), 사용자 추적 성공률 분석 장치(300), 사용자 추적 속도 분석 장치(400) 및 출력 장치(500)를 포함한다.

상기 지능형 로봇(이하, 로봇)의 얼굴 인식 성능을 측정하기 위한 시험 환경 준비에서는 도 2a에 도시된 바와 같이, 가로(w), 세로(h)가 각각 5m 내외로 설정된 밀폐된 공간(110)이 제공된다. 본 실시예에서는 상기 밀폐된 공간(110)의 천장에는 4개의 조명들(111, 112, 113, 114)이 설치된다. 상기 4개의 조명들(111, 112, 113, 114)을 통해 총 15가지의 조합에 의한 조명 조건이 설정된다. 이때 조명들(111, 112, 113, 114)은 밀폐된 공간(110) 전체에 균등한 조명 효과를 제공하도록 배치된다.

로봇은 고정형 플랫폼(예컨대, 워크스테이션 형태로 고정되어 팬-틸트-줌(Pan-Tilt-Zoom)이 가능) 혹은 이동형 플랫폼으로 구성되는 것이 바람직하지만, 얼굴 인식 성능 평가 측면만을 고려하여, 팬-틸트-줌 기능 및 이동형 플랫폼의 움직임 기능에 의한 영향은 본 실시예에서는 무시한다. 단 본 실시예에서는 배경 변화에 대한 시험 수행을 위해 도 2b에 도시된 바와 같이, 제1 지점(121) 또는 제2 지점(122) 상에 로봇이 배치될 수 있다.

도 2b는 도 2a에 도시된 시험환경에서 로봇 및 사용자 배치를 보여주는 도면이다.

도 2b를 참조하면, 밀폐된 공간(110) 내에는 두 명의 사용자(123, 124)가 자유롭게 활동할 수 있다. 각 사용자(123, 124)는 4개의 조명들(111, 112, 113, 114)에 의해 나누어진 구획 내에 위치한다.

두 명의 사용자(123, 124)는 하나의 구획 내에서 다른 사용자의 얼굴을 모두 가리지 않는 한 함께 위치할 수 있으며, 사용자의 머리 위에 위치한 조명은 반드시 켜져야 한다.

도 2c 및 도 2d는 도 2b에 도시된 제1 또는 제2 지점에서 로봇이 바라보는 배경을 나타내는 도면이다.

먼저, 도 2c를 참조하면, 단일 색 배경 시험 시, 로봇은 제1 지점(121) 또는 제2 지점(122)에서 도 2c에 도시된 바와 같이, 단일 색 배경(130)을 바라보도록 위치한다.

복합 색 배경 시험시, 도 2d에 도시된 바와 같이, 로봇은 복합 색 배경(140)을 바라보도록 위치한다.

조명조건을 기록하기 위한 조도계(125)는 밀폐된 공간(110)의 중앙에 위치한다. 두 명의 사용자(123, 124)는 얼굴인식이 가능한 범위 내에서 자유로운 움직인다.

복합 색 배경의 배율은 모두 같게 하는 것을 원칙으로 하지만, 청색이 세 가지 원색(적색, 녹색, 청색) 중 가장 피부색과 잘 구분되므로 중앙에 위치하고 가장 넓은 범위로 구성할 수 있다.

도 3은 도 1에 도시된 얼굴인식 시스템의 구성 블록도이다.

도 3을 참조하면, 본 발명의 일실시예에 따른 얼굴 인식 성능의 측정 대상인 얼굴 인식 시스템(200)은 영상 입력부(210)를 통해 전송받은 디지털 영상에 대응하는 영상 데이터를 메모리에 저장하는 영상캡처부(220), 상기 메모리 저장된 영상 데이터를 영상 인식 엔진에서 처리가능한 형태의 데이터로 변환시키는 전처리부(230), 상기 디지털 영상의 전체 영상에서 사람의 얼굴영역만을 추출하는 얼굴 영역 추출부(240), 상기 추출된 사람의 얼굴영역에서 인식 및 추적을 위해 얼굴 요소를 추출하는 얼굴 요소 추출부(250), 상기 추출된 사람의 얼굴 요소를 기반으로 사람을 식별하는 개인 식별부(260) 및 상기 개인 식별부를 통해 획득된 최종 인식 의 결과치를 출력하는 인식결과 출력부(270)를 포함한다.

상기 얼굴 인식 시스템(200)에 대해 보다 구체적으로 설명하면, 상기 영상입력부(210)는 가장 보편적으로 사용되는 비전센서, 열 센서 그리고 적외선 센서의 입력을 가능하게 하는 장치이다.

상기 영상캡처부(220)는 입력된 영상을 저장장치에 저장을 하는 장치로서 측정 및 분석을 위한 얼굴 데이터의 구성은 성비가 50%의 비율로 수집하여야 하며, 피부색은 Fitzpatrick Scale 기준 2~6단계로 구성, 연령은 20대/30대/40대로 구분하여 데이터를 구성하여야 하며 데이터 수집기간, 포즈변화, 조명변화, 센서와의 거리, 얼굴의 수, 데이터의 크기를 평가용 데이터로 확보한다.

상기 전처리부(230)는 저장된 데이터를 인식의 과정 전에 인식기의 영상입력 포맷에 맞게 변환해주는 장치이다. 이 장치는 영상의 크기변환과 컬러공간의 변환을 포함하는 장치로서 흑백 영상의 경우 8비트 1채널, 컬러 영상의 경우 8비트 3채널의 경우를 포함한다. 특히, RGB 또는 YCbCr의 표준 컬러공간의 데이터를 영상인식에서 사용하는 HSV/HIS 컬러 공간으로 변환하는 기능을 포함한다.

상기 얼굴 영역 추출부(240)은 입력된 영상에서 얼굴영역을 추출하는 성능을 측정하는 장치이다. 성능 측정의 기준은 미리 선정된 특징과 피부색 또는 얼굴영역의 분류 그리고 표준 치 영상과의 비교 기준으로 성능을 평가한다. 얼굴 영역 추출 성능 측정을 위한 특징은 컬러 영상의 경우 피부색 픽셀을 가우시안(gaussian) 확률분포를 이용한 컬러프로파일(color-profile) 특징을, 흑백 영상의 경우 얼굴영역의 외곽선(contour) 정보를 이용한 기하학적 모델 혹은 외곽선 내에 포함된 픽셀에 대한 모멘템(momentum)을 이용한 통계적 특징을 사용한다. 컬러 영상의 경우 컬러 프로 파일로 근사화된 피부색 픽셀에 대한 절대기준치(threshold)를 이용하여 피부색과 배경영역을 구분하고, 흑백 영상의 경우에는 기하학적/통계적으로 미리 학습 된 모델과 현재 시험 영상에서 추출된 모델과의 비교를 통해 얼굴영역과 배경영역을 구분한다. 모델의 비교를 위해, 유클리드 거리(euclidean distance) 및 절대 기준치를 이용한다. 성능 평가를 위해 표준 치 영상과의 비교가 필요한데, 피부색을 분류하는 경우에는 픽셀기반 성능 평가, 얼굴영역을 분류하는 경우에는 영역기반 성능 평가 기준을 채택한다.

얼굴영역 표현 방법은 원형, 타원형, 사각형 및 폴리곤 타입으로 표시한다.

얼굴영역과 배경영역의 구분 성능은 픽셀 수(컬러 영상) 및 면적 비(흑백 영상)를 이용하여 성능을 측정한다. 구분 성공율(T_f)은 현 영상의 피부색으로 분류된 픽셀 수(n_f)와 표준 치 영상의 피부색으로 할당된 픽셀 수(n_p)의 비율 혹은 현 영상의 얼굴로 분류된 픽셀영역(A_f)과 표준 치 영상의 얼굴로 할당된 픽셀영역(Ap)의 비율을 의미하는 아래의 식과 같이 표기한다.

배경영역 구분 성공율(T_f)은 현 영상의 배경색으로 분류된 픽셀수(n_b)와 표준 치 영상의 배경색으로 할당된 픽셀 수(n_n)의 비율 혹은 현 영상의 배경으로 분류된 픽셀영역(A_b)과 표준 치 영상의 배경으로 할당된 픽셀영역(A_n)의 비율로 표기한다.

상기 얼굴 요소 추출부(250)는 상기 얼굴 영역 추출부(240)에서 추출된 결과에서 미리 설정된 얼굴 요소 추출 성능을 측정하는 장치이다. 성능측정을 위해서 얼굴영역이 원형/타원형/사각형/폴리곤의 집합으로 주어진다고 간주한다. 또한, 각 얼굴 요소의 세부적 평가를 위해 전문가 시점에서 육안으로 각 얼굴 요소의 파악이 용이한 정지영상 및 동영상이 주어진 것으로 간주한다.

얼굴 요소를 추출하기 위한 특징의 선정은 얼굴 요소에 따라 컬러/흑백 영상특징을 복합적으로 사용가능하며, 특별히 입술과 눈(홍채)의 경우 고유의 컬러정보를 이용할 수 있다. 얼굴 요소의 특징은 상기 얼굴 영역 추출부(240)에서 명기된 특징을 사용한다. 주로 타원형으로 묘사되는 얼굴영역과는 달리, 얼굴 요소는 반달형(눈외곽선/입술), 직선형(눈썹/주름), 원형(콧구멍/홍채) 등 다양한 기하학적 모델 구성이 가능하다. 얼굴 요소는 정적 얼굴 요소와 동적 얼굴 요소로 구성되며, 각 요소에 따라 위치 정보만을 추출하는 것 또는 상태정보를 함께 파악하는 과정이 필요하다. 얼굴 요소의 표현은 필요에 따라 직선, 곡선, 원형, 타원형, 사각형, 폴리곤 형태를 따른다.

상기 얼굴 요소 추출 성능 평가를 위해 표준 치 영상과의 비교가 필요하다. 이때의 성능 평가 항목은 얼굴 요소의 수, 위치, 기울어짐, 기하학적 배치, 포즈변화 등의 추출된 특징에 대한 오차의 일부 혹은 그 조합을 사용하여 성능을 표기한다.

상기 얼굴 요소는 눈, 코, 입과 눈썹을 의미하여 얼굴 요소의 수는 상기 얼굴 요소의 표현에 의해 표시된 얼굴 요소의 수이고, 평가의 기준은 전문가에 의해 주어진 표준 치 영상에서 추출된 수를 기준으로 한다.

상기 얼굴 요소의 위치는 얼굴영역과 분류기를 통해 얻어진 얼굴영역의 중심위치 거리(d) 및 공통영역의 크기 또는 픽셀 수로 평가된다.

상기 기울어짐은 상기 얼굴 요소의 표현방법이 타원일 경우에만 적용되며 영상평면의 y축을 중심으로 시계방향으로 기울어진 정도로 평가된다.

상기 포즈변화는 두 눈과 코 또는 두 눈과 입으로 구성되는 삼각형의 기울기로 표현되는 요소기반 포즈와 고유 얼굴(eigenface) 특징 일부에 의해 기울기를 표시하는 영역기반 포즈로 구하며, 영상평면을 기준으로 Yaw/Pitch/Roll을 각각 측정하여 아래의 수학식 3과 같이 포즈변화 오차(e_pose)로 평가한다.

상기 개인 식별부(260)는 상기 얼굴 요소 추출부(250)에서 수행되는 얼굴 요소 추출의 과정을 거쳐 추출된 요소들을 이용하여 개인의 식별 성능을 측정한다.

개인 식별을 위한 특징은 각 얼굴 요소 혹은 얼굴영역 내의 일부분에 대한 기하학적/통계학적 특징으로 표현되며, 인간의 시각시스템을 모사한 가보필터(gabor filter)와 SIFT 특징이 사용된 국부적 특징(local feature)과, PCA(principal component analysis), ICA(independent component analysis), DFT(discrete fourier transform), DWT(discrete wavelet transform) 등이 사용되는 전역적 특징(global feature)은 대부분 통계학적 특징을 의미한다.

개인 식별을 위한 분류기는 상기 국부적 특징과 전역적 특징들을 이용하여 데이터베이스에 속한 개인에 대한 식별, 혹은 데이터베이스에 속하지 않은 개인에 대한 거부 결과를 평가한다.

도 1 및 도 4를 참조하면, 사용자 추적 성공률 측정부(300)는 얼굴인식 시스템(200)의 인식 과정에서 얼굴영역 추출부(240, 도 3에 도시됨)에서 수행되는 얼굴영역 추출 성공 횟수 즉 성공률, 얼굴 요소 추출부(250, 도 3에 도시됨)에서 수행되는 얼굴 요소 추출 성공률(250) 그리고 개인 식별 성공률(260)의 결과에 각각의 가중치인 얼굴영역 추출 성능 가중치 W0(310), 얼굴 요소 추출 성능 가중치 W1(320) 그리고 개인 식별 성능 가중치 W2(330) 곱한 결과의 합을 최종 사용자 추 적 성공률(340)을 결과로 갖는 장치이다.

사용자추적 성공률 = W0*얼굴 영역 추출성능

+ W1*얼굴 요소 추출성능

+ W2*개인 식별 성능

사용자추적 속도 산출부(400)는 장 얼굴인식 시스템(200)에서 수행되는 각 처리과정인 영상 캡처 시간(410), 전처리 시간(420), 얼굴 영역 추출 시간(430), 얼굴 요소 추출 시간(440) 및 개인 식별시간(450)을 각각 더해 최종 사용자추적 속도(460)을 출력한다.

도 6은 도 1에 도시된 지능형 로봇의 얼굴인식 성능 평가 시스템의 동작 과정을 설명하기 위한 순서도이다.

도 6을 참조하면, 상기 시험 환경을 준비하고, 환경 변수를 저장하면(S110), 입력된 영상에 대한 인식을 시작한다.

영상의 입력(S210)에 대한 성공 여부를 판단(S211)하여 성공하면, 영상을 캡처(S220)하고, 이를 저장하며, 소요된 시간을 저장(S410)한다.

만일 영상의 입력(S210)이 실패하면, 영상을 재입력을 받는다.

입력을 정상적으로 받았다면 얼굴인식에 적합한 전처리 과정이 수행되고(230), 전처리 시간을 평가하기 위해 전처리 시간을 저장한다(S420).

이후, 얼굴영역을 추출하고(S240), 추출에 대한 성공 여부를 판단한다(S241).

얼굴영역 추출이 실패하면, 얼굴 영역 추출 성능 평가를 위해 실패 카운트를 증가(S311)시키고 다시 영상을 재 입력받는다(S210).

얼굴영역의 추출이 성공하면, 얼굴 영역 추출 시간을 저장(S430)하고, 다음 단계인 얼굴 요소 추출을 한다(S250).

실패로 판단하면(S251), 얼굴 요소 추출 실패 카운트를 증가(S321)하고 다시 영상입력(S210)을 받는 단계로 돌아가고, 얼굴 요소 추출이 성공되면, 얼굴 요소 추출 시간을 저장(S440)한다. 얼굴 요소를 추출한 데이터는 개인 식별(S260)하고, 개인 식별을 실패로 판단(S261)하면 개인 식별 카운트를 증가(S331)하고, 영상을 다시 입력받는다.

개인 식별이 성공하면 개인 식별 시간을 저장(S450)한다. 상기 최종성능의 출력(500)은 시험 대상의 모든 영상을 테스트를 마치면(S270) 성능을 출력한다. 최종 성능의 출력은 모든 시험이 끝나고 시험일자, 조명 및 배경 상태를 포함하는 시험 환경, 얼굴인식 성공률, 그리고 얼굴인식 속도를 표시(S500)하고 데이터로 저장 또는 출력한다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상이 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.

도 1은 본 발명에 따른 지능로봇 얼굴인식 성능평가 시스템에 대한 구성 블록도이다.

도 2a 내지 도 2b는 본 발명이 적용되는 시험환경의 일예를 보여주는 도면이다.

도 3은 본 발명이 적용되는 일반적인 얼굴인식 시스템의 구성 블록도이다.

도 4은 본 발명에 의한 얼굴인식 시스템의 사용자추적 성공률 측정 시스템의 블록도이다.

도 5는 본 발명에 의한 사용자추적 속도 측정 시스템의 블록도이다.

도 6는 본 발명에 의한 지능로봇 얼굴인식 성능평가 시스템의 순서도이다.

Claims (6)

1. 로봇에 사용된 얼굴인식 성능 평가 방법에 있어서,

   얼굴인식 성능을 측정하기 위하여 시험 환경을 조성하는 단계와,

   얼굴인식을 위해 상기 로봇을 통해 입력되는 영상을 캡처하는 단계와,

   상기 캡처 된 영상을 저장하여 데이터 베이스화하고, 상기 데이터베이스화된 영상에 대해 크기변환 및 컬러공간변환을 수행하는 전처리 단계와,

   상기 전처리 된 영상에서 얼굴영역을 추출하는 단계와,

   상기 추출된 얼굴영역에서 얼굴 요소를 추출하는 단계와,

   상기 추출된 얼굴 요소에서 특징을 추출하는 단계, 및

   상기 추출된 특징에서 개인을 식별하는 단계

   를 포함하는 지능형 로봇의 얼굴인식 성능을 평가하는 방법.
2. 제1항에 있어서, 상기 시험 환경을 조성하는 단계는,

   다수의 조명을 설치하고, 설치된 상기 다수의 조명의 조합에 의한 다수의 실험 환경을 구축하는 단계와; 및

   상기 구축된 다수의 실험 환경에 따라 배경을 구성하는 단계를 포함하는 지능형 로봇의 얼굴인식 성능을 평가하는 방법.
3. 제2항에 있어서, 상기 배경을 구성하는 단계는,

   단색으로 이루어진 단일배경을 구성하는 단계; 및

   빛의 삼원색을 이용한 복합 색으로 이루어진 복합배경을 구성하는 단계,

   를 포함하는 지능형 로봇의 얼굴인식 성능을 평가하는 방법.
4. 사용자 추적 성공률을 측정하는 시스템에 있어서,

   얼굴영역추출 성공률, 얼굴요소추출 성공률 그리고 개인 식별 성공률 각각에 대해 가중치를 적용하여 최종 사용자추적 성공률의 출력을 포함하는 시스템.
5. 사용자 추적 속도를 측정하는 시스템에 있어서,

   영상 캡처 시간을 측정하는데 있어서, 영상의 입력 종료 시점부터 영상 캡처의 종료 시점까지의 시간을 측정하는 수단과,

   전처리 시간을 측정하는데 있어서, 영상 캡처의 종료 시점부터 전처리 시간의 종료 시점까지의 시간을 측정하는 수단과,

   얼굴 영역을 추출하는데 소요되는 추출 시간을 측정하는데 있어서, 전처리 종료 시점부터 얼굴 영역 추출 종료 시점까지의 시간을 측정하는 수단과,

   얼굴 요소를 추출하는 데 소용되는 추출 시간을 측정하는데 있어서, 얼굴 영역 추출 종료 시점부터 얼굴 요소 추출 종료 시점까지의 시간을 측정하는 수단과,

   특징을 추출하는데 소요되는 시간을 측정하는데 있어서, 얼굴 요소 추출 종료 시점부터 특징 추출 종료 시점까지의 시간을 측정하는 수단과,

   개인 식별 시간을 측정하는데 있어서, 특징추출 종료 시점부터 개인 식별 종료 시점까지의 시간을 측정하는 수단을 포함하는 지능로봇의 얼굴인식 성능평가 시스템.
6. 로봇의 얼굴인식 성능 평가서를 표시하는 출력장치에 있어서,

   영상입력의 최종 결과인 인식 결과를 표시하는 수단,

   사용자추적 성공률을 표시하는 수단,

   사용자추적 속도를 표시하는 수단,

   을 포함하는 출력장치.

Images