KR100596498B1 - 다중 프레임 기반 온라인 얼굴 인식 시스템 - Google Patents

Abstract

본 발명은 얼굴 인식을 통한 사용자 인증에 관한 것으로서, 영상 획득을 위한 카메라와, 잡음 제거 및 조명 보상을 수행하는 전처리부와, 얼굴 영상의 데이터 감소를 위한 영상 양자화부와, 추가의 영상 데이터 양 감소를 위한 웨이블릿 저대역 통과 필터부와, 소정 포맷으로 상기 영상을 압축하는 영상 압축부와, 상기 감소되고 압축된 영상을 전송하는 네트워크 인터페이스부를 포함하는, 원격지의 서버로 얼굴 영상 정보를 전송하여 인증 요청을 수행하는 얼굴 인식 클라이언트 시스템과, 얼굴 영상 정보를 수신하기 위한 네트워크 인터페이스부와, 소정 포맷으로 압축된 영상을 복원하는 압축 영상 복원부와, 소정의 알고리즘에 따라 얼굴 인식 처리를 수행하는 인식 처리부와, 등록된 얼굴 영상을 저장하는 데이터베이스와, 상기 인식 처리부의 출력과 상기 데이터베이스에 저장된 얼굴 영상을 비교하여 인증 여부를 판단하고 그 결과를 출력하는 인식 결과 출력부를 포함하는, 얼굴 영상 정보를 수신하여 인증 작업을 처리하는 얼굴 인식 서버 시스템으로 구성된다.

얼굴인식, 네트워크, 양자화, 영상 크기 감소

Description

다중 프레임 기반 온라인 얼굴 인식 시스템{ONLINE FACE RECOGNITION SYSTEM BASED ON MULTI FRAME}

도 1 및 2는 종래의 얼굴 인식 방법에 관한 흐름도.

도 3은 종래의 얼굴 인식 기능이 있는 보안 출입 시스템의 개념도.

도 4는 종래의 얼굴 인식 및 신분카드를 병행한 개인 인증 시스템의 구성도.

도 5는 본 발명의 일 실시예에 따르는 온라인 얼굴 인식 시스템의 구성도.

도 6은 본 발명의 일 실시예에 따라 영상을 양자화한 경우 양자화 인수에 따른 영상의 변화를 도시한 도면.

도 7은 본 발명의 일 실시예에 따라 상을 양자화 한 경우 양자화 인수에 따른 데이터의 감소율을 도시한 그래프.

도 8은 영상의 크기 변화에 따른 인식 트레이닝 시간의 차이를 도시한 그래프.

도 9는 영상의 크기 변화에 따른 인식 처리 시간 결과를 도시한 도면.

도 10은 본 발명의 일 실시예에 따라 클라이언트측에서 영상을 획득, 처리하여 전송하는 과정을 도시한 흐름도.

도 11은 본 발명의 일 실시예에 따라 서버측에서 영상을 수신하고 처리하여 인증여부를 결정하는 과정을 도시한 흐름도.

도 12는 양자화율 및 영상 크기 감소에 따른 인식 정확도의 변화를 도시한 도면.

도 13 및 도 14는 본 발명의 구체 적용례를 도시한 도면.

<도면의 주요부분에 대한 부호의 설명>

500: 카메라 505: 전처리부

510: 영상 양자화부 515: 웨이블릿 저역통과 필터

520: 영상 압축부 525: 네트워크 인터페이스부(클라이언트)

530: 제어부 550: 네트워크 인터페이스부(서버)

555: 영상 복원부 560: 데이터베이스

565: 얼굴인식 처리부 570: 인증 여부 판단부

575: 출력 장치

본 발명은 컴퓨터 네트워크로 연결된 클라이언트/서버 컴퓨팅 환경에서의 사용자 인증에 대한 것으로서, 구체적으로는 사용자 얼굴 영상을 획득한 클라이언트가 서버로 얼굴 영상과 함께 인증 요청을 수행하고 서버가 영상을 수신하여 인증 여부를 판단하는 방법에 관한 것이다.

보안 및 사용자 인증은 고래로부터 수행되어 왔으며, 최근의 정보화 시대에서도 신뢰성있는 보안 및 인증 기술은 필수적인 것이다. 이러한 이유로 현대의 멀 티미디어 디지털 환경에서는 사용자 영상을 획득하고 이로부터 정당 사용자 여부를 확인하는 방식이 연구되고 빠른 속도로 채택되고 있다. 지문, 홍채, 얼굴과 같은 본인의 생체정보를 이용한 보안 및 인증 기술은 부가적인 장치를 휴대할 필요성이 요구되지 않으며, 높은 인증 신뢰도를 보장할 수 있으며, 특히 얼굴인식 기술은 구축되어 있는 DB로부터 카메라를 통해 신원확인을 요청한 사람의 얼굴을 찾아내어 확인하는 기술로써 기존 여타의 생체인식 기술에 비해 사용자로 하여금 거부감을 가장 적게 느끼게 하므로 최근 매우 주목받는 분야중의 하나이다.

얼굴인식과 관련된 주요 알고리듬으로는 PCA(Principal Component Analysis : 주성분 분석), K-PCA(Kernel-PCA:커널 주성분 분석), ICA(Independent Component Analysis), SVM(Support Vector Machine), NN(Nural-Network:신경망), HMM(Hidden Markov Model:은닉 마르코프 모델) 등을 이용한 방식이 주로 사용되고 있으며, 얼굴인식과 관련된 특허로는 1) 홍채인식 및 얼굴인식을 이용한 네트워크 보안방법(대한민국 공개특허 제2002-0014785호), 2) 에스.브이.엠(SVM)을 이용한 얼굴 등록/인증 시스템 및 방법(대한민국 공개특허 제2003-0046181호), 3) 실시간 얼굴인식을 통한 출입통제 및 방문자 기록 시스템(실용신안출원 제20-2003-0013077호), 4) 계층적 주요성분 분석에 기반한 얼굴 인식 방법 및 장치(대한민국 공개특허 제2002-0074330호), 5) 비디오 영상으로부터의 얼굴인식(대한민국 공개특허 제2001-0042659호), 6) 얼굴인식 보안방법(대한민국 공개특허 제2002-0032048호), 7) 조명변화 얼굴표정 변화등에 독립적인 얼굴 인식 방법(대한민국 등록특허 제10-0345245호), 및 8) 최적얼굴영역추출방법 및 그에 따른 얼굴인식 방법(대한민국 등록특허 제10-0300961호) 등의 다양한 얼굴 인식 및 출입통제 시스템을 제안되고 있다.

이들 종래 기술은 PCA(Principal Component Analysis : 주성분 분석), K-PCA(Kernel-PCA : 커널 주성분 분석), ICA(Independent Component Analysis), SVM(Support Vector Machine), NN(Nural-Network:신경망), HMM(Hidden Markov Model:은닉 마르코프 모델)등을 이용한 방식에 기반한 침입탐지 및 보안시스템 또는 이러한 얼굴인식 알고리듬으로서, 영상의 명암 및 조도, 얼굴위치 및 얼굴 각도의 변화 등에 따라서 얼굴인식의 정확도가 상대적으로 떨어질 수 있다는 점에 착안하여 이를 보완하기 위한 방식을 제시하고 있다.

이러한 시스템은 통상 도 1 및 도 2에 도시된 바와 같이 구성되며 주로 얼굴영역 추출->영상 전처리->눈코입등 얼굴 특징점 추출->인식알고리듬 적용->얼굴인식 결과 출력의 과정을 거친다. 이러한 얼굴 인식 방법은 또한 도 3[얼굴인식 보안방법(대한민국 등록특허 제1020020062923호)] 또는 도 4[에스.브이.엠(SVM)을 이용한 얼굴 등록/인증 시스템 및 방법(대한민국 공개특허 제2003-0046181호)]에 나타난 바와 같이 케이블 형태로 연결된 카메라로부터 수집된 아날로그 또는 디지털 영상 정보를 PC 및 관제 서버등의 중앙 처리 장치에서 변환하여 도 1 및 도 2에 도시된 바와 같은 알고리듬을 이용하여 인식을 수행하는 방법을 사용하고 있다.

한편, PDA, 휴대폰, PC, 영상 통신기 등 개인용 기기의 보급이 늘어남에 따라, 개별 단말기내에 영상 정보를 저장하고 자체의 카메라로 인식한 영상과 저장 영상을 대비하여 정당 사용자 여부를 인식하는 구현례도 증가하고 있다. 예컨대 한국 특허공개공보 제2002-0014593호는 휴대 단말기의 정당 사용자 인증을 위하여 단 말기 내장 카메라를 이용하여 사용자의 얼굴을 인식하는 구성이 개시되어 있다. 위 공개 특허는 휴대 단말기의 분실 또는 도난시 정당 사용자의 피해를 막기 위한 비밀번호 방식의 보안 장치의 불편함을 해소하기 위하여 정당 사용자 얼굴 영상 및/또는 특징을 사전에 휴대폰에 저장하고, 단말기에 내장된 카메라로써 단말기 사용 희망자의 얼굴을 얼굴 영상 획득하고 이를 인식하여 정당 사용자인지의 여부를 판별하려는 것을 목적으로 하며, 구체적 구성으로서는 영상 포착기, 안면영상 추출부, 안면영상 판단부 및 제어부의 조합으로 이루어진 개인용 휴대 단말기의 정당 사용자 인증모듈을 개시하고 있다. 이때, 영상 포착기는 개인용 휴대 단말기를 사용하는 사용자의 안면을 포착하여 일련의 안면영상을 생성하는 역할을 수행하며, 안면영상 추출부는 안면영상 포착기에 의해 생성된 안면영상의 콘트라스트를 조절함과 아울러, 안면영상의 주요 포인트를 이루는 일련의 특징점들을 추출하고, 이 특징점들을 보정하여 일련의 특징값을 추출하는 역할을 수행한다.

또한, 안면영상 판단부는 안면영상 추출부에 의해 추출된 특징값을 미리 저장된 기준특징값과 비교하여, 개인용 휴대단말기를 사용하는 사용자의 정당성 여부를 판단하는 역할을 수행하며, 제어부는 안면영성 판단부로부터 출력되는 판단결과 신호에 따라 통신모듈의 구동여부를 결정짓는 역할을 수행한다.

위 공개 특허는 정당 사용자의 인증과정이 사용자의 안면영상을 자동으로 비교하는 과정에 의해 진행되기 때문에, 사용자는 별도의 비밀번호 입력과정을 일일이 수작업으로 진행시키지 않고서도, 자신의 정당성 여부를 신속하게 확인받을 수 있으며, 결국 본 발명이 달성되는 경우, 사용자는 종래의 비밀번호 입력에 따른 불 편함을 손쉽게 해결할 수 있는 효과를 제시하고 있다.

한편, 대한민국 특허공개공보 제2002-0013190호에서는, 영상인식에 의한 영상통신기 도용 방지장치를 개시하고 있으며, 구체적으로 카메라 등의 영상 입력장치를 통해 얼굴 영상 획득되는 화자의 영상데이터를 수집하여 전처리(preprocessing)한 후 수학적, 구조적, 변환법적 수단 등의 방법을 사용하여 얼굴의 특징을 추출하며, 추출한 특징을 입력으로 하는 수학적, AI, 인공신경망 등의 모델을 사용하여 얼굴을 인식하고, 인식한 얼굴에 대해 적법 화자 여부를 판정하여, 그 판정결과에 따라 통화를 진행 또는 중단시키고, 불법 화자의 영상을 지정번호로 자동 전송하도록 구성된다. 따라서, 본 발명은 영상통신기의 도난이나 분실 등으로 인한 도용을 통화중단으로 방지할 수 있고, 불법 화자의 추적 및 수거를 용이하도록 하는 효과를 제공한다고 기재되어 있다.

그러나, 최근 들어 정보화 시대의 발달에 따라 원격지를 연결하는 각종 유무선 인터넷 기술이 급속도로 발전함에 따라 인식 및 인증 기술은 주로 온라인을 통해 터미널 또는 클라이언트로부터 수집한 데이터를 전송하여 서버단에 구축된 DB를 통해 인증 여부를 확인하는 온라인 인증 시스템이 각광받는 추세이다. 예컨대, 인터넷등 통신망의 발달로 인하여 본사와는 멀리 떨어진 원격지 지점간의 자료 전송이 유무선 통신망을 통하여 실시간으로 진행되며 이러한 정보의 수집 또는 전송 주로 원격지 지점으로부터 중앙의 서버로 전송되어 DB화 되고 관리되며 다시 각각의 원격지 지점으로 전송되는 클라이언트-서버 체계가 구축되어 있는 곳이 대부분이다. 이에 따라 온라인 인증 시스템 및 각각의 원격지 또는 지점의 출입자를 본사의 시스템으로부터 통합적으로 관리하는 원격 관리 시스템의 보안 및 사용자 인증의 필요성이 대두되고 있다.

다시 말해, 개별 사용자 소유의 단말 장치에서의 인증과는 달리, 기업이나 조직내부의 인증 또는 방범 시스템과 관련되는 대규모 시스템에서의 인증은 인터넷 또는 이와 유사한 유무선 통신 네트워크를 경유하여 영상 정보의 전송 과정이 수반되며, 또한 이러한 대규모 시스템상에서의 인증 및 보안은 개별 단말기상 인증보다 더욱 미션 크리티컬한 것이므로 더욱 정확하고 신속한 처리와 높은 인식율의 유지가 요구된다.

그러나 전술한 바로부터 알 수 있듯이 기존의 얼굴인식 기반의 각종 시스템은 얼굴인식 시스템에 연결된 카메라가 연결되어 영상을 취득하며 압축되지 않은 영상을 입력받아 얼굴인식 처리를 수행하며. 따라서 전술한 종래 기술에 기초하여 개발된 시스템의 경우 얼굴인식 처리를 위해 대량의 영상 데이터가 얼굴인식 서버측으로 전달되어야만 한다.

이에 따라 공용망으로 신호의 품질(QOS)가 보장되기 어렵고 제한적인 송수신 데이터 전송량를 가지는 인터넷 환경상에서 상기의 시스템을 구현하는 데에는 원격지의 카메라로부터 중앙의 얼굴인식 서버 측으로 실시간 얼굴인식에 요구되는 데이터의 원활한 전송이 어려워 결과적으로 원격지에서 얼굴인식 시스템을 구동하는데 있어 많은 지연시간을 유발하게 되는 문제점이 있으며 이러한 문제점을 해결하기 위해서는 상기 시스템에서 요구되는 데이터 전송 속도를 만족하는 고속의 전용망을 사용하여야 하므로 시스템 구서을 위해 과도한 유지비용이 지출되어야 한다는 단점 이 있다.

또한 상기의 이유로 인하여 하나의 얼굴인식 서버에 여러 대의 카메라를 연결하여 얼굴인식 처리를 수행하기는 더더욱 어려울 뿐 아니라 상기 전용선을 이용한 방법을 사용하더라도 일반적인 얼굴인식 시스템에서 얼굴인식에 일반적으로 사용되는 상기한 얼굴인식 알고리듬 즉,PCA, KPCA, SVM 등을 적용하기 위해서는 매우 높은 서버측의 처리용량이 요구된다는 문제점이 있어 결과적으로 과도한 시스템 구축 비용이 소모된다는 단점이 있다.

따라서 상기의 얼굴인식 시스템들은 사용자별 개인 장치에 적용하거나 기존의 CCTV시스템과 같이 유선케이블망을 이용하여 시스템을 구축하거나 혹은 인트라넷 망을 이용하여 소규모의 시스템을 구축하는 경우에 있어 유용할 수 있으나, 인터넷 환경상에서 중앙의 얼굴인식 서버와 다수의 원격지 인식 클라이언트간의 실시간 얼굴인식 처리를 수행하는 시스템의 구성은 불가능 할 것으로 예상된다.

즉, 일반적인 얼굴인식 시스템은 인식도 향상을 위해 터미널 또는 클라이언트로부터 고화질의 정지영상의 전송이 필요하므로 데이터 전송량이 제한적인 인터넷 온라인 환경에 적용하기 어렵다는 단점이 있다. 또한 이러한 제한적인 데이터 전송량으로 인해 전송되는 얼굴 영상의 화질을 낮추었을 경우 인식률의 저하를 초래하므로 따라서 중앙의 서버 및 원격지점의 클라이언트 또는 로컬 서버 형태로 구현되고 있는 현재의 각종 시스템 구성 형태에도 불구하고 얼굴인식 시스템은 주로 사내의 인트라넷 망 또는 로컬 DB를 이용하는 제한적인 방법만이 주로 사용되어 왔다.

따라서, 서버에 저장되어 있는 얼굴인식 DB를 이용하여 원격지의 터미널 또는 클라이언트로부터 인터넷을 통해 전송된 얼굴 영상을 실시간으로 인식하기 위한 효과적인 방법을 제안함으로써 기존의 얼굴인식시스템이 가지는 문제점을 해결하고 나아가 온라인 생체인증 시스템에 효과적으로 적용하기위한 시스템 및 방법을 제시하는 것은 매우 이로운 일이다.

전술한 종래 기술의 문제점을 해결하기 위하여, 본 발명은 얼굴인식에 요구되는 데이터의 량을 획기적으로 감소시키고, 얼굴인식 서버측 에서 얼굴인식 처리에 요구되는 계산량을 감소시키면서도 또한 전체 얼굴인식 시스템의 인식률은 적절히 유지시킬 수 있는 새로운 얼굴인식 시스템 및 얼굴인식 방법을 제공하는 데 그 목적이 있다.

상기 기술적 과제를 달성하기 위한 본 발명에 따라 본 발명에 따른 시스템의 구성도는 도 5와 같은 형태로 구성된다.

본 발명의 얼굴 인식 시스템은 얼굴 영상을 획득하여 전송하는 클라이언트부와 이를 수신하여 인증 여부를 결정하는 서버부로 구성된다.

얼굴인식 클라이언트부는 카메라(500), 전처리부(505), 1/10양자화부(510), 웨이블릿 저역통과필터(515), JPEG 압축부(520), 네트웍 인터페이스부(525) 및 제어부(530)를 포함한다.

얼굴인식 전처리부(505)는 카메라로부터 입력된 영상에서 얼굴의 존재 유무 를 검출하며 노이즈를 제거하는 부분으로서, 먼저 카메라를 통해 입력된 이미지를 저역통과 필터를 통과시킴으로써 고주파 잡음 성분을 제거하고 조명환경 변화에 따른 얼굴인식률의 변화를 상쇄시키기 위해 조명보상을 실시하며 또한 RGB의 색상정보를 YCrCb공간으로 비선형변환(color space transformation)하여 타원형의 얼굴 모델을 이용하여 피부색상화소를 검출을 하여 얼굴후보들을 검출하고(skin color detection), 만약 검출된 얼굴후보중 눈과 같은 특징을 가지고 있을 경우 얼굴영역에 대한 검출을 하게 된다.

이러한 전처리 과정은 아브델 모타레브 등의 얼굴인식 관련 문헌인'칼러 이미지내 얼굴 검출'[R.L. Hsu, M. Abdel-Mottaleb, A.K. Jain.; "Face detection in color images," International Conference on Image Processing, 2001.] 또는 소보트카 등의 '컬러 이미지내 얼굴의 분할 및 추출[K. Sobottka, I. Pitas, "Segmentation and tracking of faces in color images," the Second International Conference on Automatic Face and Gesture Recognition, pp. 236 -241 Oct. 1996.]이라는 제하의 논문에 기재된 바와 같은 일반적인 영상 처리를 수행함에 있어 보편적으로 사용되는 방식으로 수행될 수 있다.

1/10 영상 양자화부(510)는 도 6과 같이 전송될 얼굴영역 영상의 데이터를 감소시키기 위해 영상의 색차레벨을 감소시키는 단계로서, 본 발명의 바람직한 실시예에서는 0-255단계의 영상의 색차 단계를 1/10인 0-25단계로 감소시키는 역할, 즉 양자화 인수(QP)에 10을 적용하여 양자화하는 역할을 수행한다.

영상 양자화부(510)를 통해 원 영상에 비해 색차 단계가 감소된 영상은 JPEG 압축부(520)를 통과하면서 데이터의 양이 원 영상에 비해 현저히 감소하게 되며, 도 6에 나타낸 바와 같이 양자화 인수가 10인 경우에도 원영상과 큰 차이가 없어서 영상 인식 처리에 별다른 문제는 발생하지 않는다.

웨이블릿 저대역 통과 필터부(515)는 서버측에서 얼굴인식에 요구되는 연산량을 감소시키기며 또한 인터넷을 통해 전송될 데이터의 양을 추가적으로 감소시키기 위해 웨이블릿 알고리듬에 따라 (1/n)²크기로 축소된 영상을 발생시키는 부분이다. 웨이블릿 저역통과 필터(515)는 원 이미지에 웨이블릿 함수를 적용함으로써 1/nㅧ 1/n 크기로 영상을 지속적으로 압축하는 영상 압축 방식의 하나로써 일반적으로 사용되는 방법이므로 본 명세서에서 구체적인 기술은 생략하도록 한다.

본 발명의 바람직한 실시예에서 사용된 웨이블릿 저역통과 필터(515)는 1/10 영상 양자화부(510)를 통과한 이미지를 다시 가로 및 세로 각각 1/8 크기의 영상으로 축소시키는데 이는 데이터의 전송량을 (1/8)² 감소시킬 뿐 아니라 웨이블릿 저역통과 필터부틀 통과하여 발생된 영상의 크기는 아래의 수학식 1과 같이 정의된다.

Image size(s) =

도 8 및 도 9에 나타낸 바와 같이 영상의 크기를 감소시키면 영상인식 서버부의 PCA/KPCA 블록에서 요구되는 학습 및 얼굴인식 연산시간을 크게 감소시키는 효과가 있다. 따라서 상기의 이유로 인하여 본 발명에 따르는 시스템이 인터넷망을 통하여 다수의 얼굴인식 클라이언트들이 인터넷상에 접속하여 얼굴인식을 요청하였 을 경우에도 보다 빠른 시간 내에 얼굴인식처리를 수행할 수 있음을 예상할 수 있다.

이러한 웨이블릿 저역통과 필터(520)를 통과한 이미지는 인터넷을 통해 전송되기 위해 최종적으로 JPEG 영상 압축부(520)에 의해 압축되어 인터넷상에 인터페이스 하기 위한 각종 유, 무선 네트워크 인터페이스 방식으로 구현 가능한 네트웍 인터페이스부(525)를 통해 인터넷 망을 통해 전송된다.

얼굴인식 서버부는 네트워크 인터페이스부(550), JPEG 복원부(555), 얼굴인식 데이터베이스(560), 얼굴인식 처리부(565), 인증 여부 판단부(570) 및 출력장치(575)와 제어부(580)를 포함한다.

JPEG 복원부(555)는 클라이언트의 JPEG 압축부(520)에 의해 압축된 영상을 다시 복원하는 것이다. 주의할 것은 본 발명의 바람직한 실시예에서 영상 압축 및 복원을 JPEG 방식으로 수행하고 있으나, 이에 한정하지 않고 그 외의 다른 영상 압축 및 복원 알고리즘에 의해 수행될 수 있음은 물론이다.

얼굴인식 데이터베이스(560)는 등록시에 얼굴인식부(565)에 의해 변환된 고유벡터값 등록 대상 얼굴의 고유벡터값 또는 얼굴 영상 자체를 저장하여, 후속의 인증 과정시 정당 사용자 여부를 확인할 수 있도록 한다.

얼굴인식부(565)는 얼굴인식에 일반적으로 사용되는 PCA 또는 KPCA 알고리에 기초하여 적법한 사용자 또는 허가된 출입자등을 얼굴인식 데이터베이스(560)에 등록하기위한 학습(Training)과정과 원격클라이언트로부터 전송된 얼굴영상을 얼굴인식 데이터베이스(560)와 비교하여 얼굴인식을 수행하는 기능을 담당한다. 본 발명 에 따르는 바람직한 실시예에서 얼굴인식 알고리즘은 PCA 또는 KPCA를 채택하나, 이에 한정하지 않고 종래의 얼굴인식 알고리즘 전부를 포함하며, 얼굴인식을 수행하기위한 학습과정 및 내부 알고리듬의 동작순서에 대한 설명은 이미 공지된 것이므로 본 명세서에서는 생략한다.

인증 여부 판단부(570)은 최종적으로 인증 여부를 결정하는 장치로서 구체적인 동작에 대해서는 후술하며, 클라이언트 측 및 서버측의 제어부(530, 580)는 전술한 각 구성 요소의 동작 및 구성 요소간의 상관 관계를 조정하는 역할을 담당한다.

도 10은 상기 도 5에 도시된 얼굴인식 클라이언트가 본 발명에 따라 얼굴 영상을 획득하고 전송하는 과정을 도시한 흐름도이다.

우선 카메라(500)에 의해 영상이 획득되어 입력되면(S100), 전처리부(505)에서 필터링, 조도 보정, 컬러 스페이스 변환, 피부색 검출 및 눈 영역 검출등의 전처리 작업을 수행한다(S105 내지 S125), 특히 본 발명의 바람직한 실시예에서는 눈 영역의 검출 여부를 얼굴 영상 획득 여부를 판단하는 기준으로 삼고 있으므로 단계(S125)에서 눈 영역 검출 여부를 확인하여 눈 검출이 된 경우에는 후속의 영상 데이터량 감소 처리를 진행한다. 본 실시예에서는 얼굴 영상 획득의 적절성 여부를 눈 영역 검출에 기준하고 있으나, 본 발명의 구성은 이에 한정되지 아니하고 그 이외의 특징부, 예컨대 코, 입, 눈썹 영역이나 얼굴의 윤곽선 등을 추출하여 얼굴 영상 획득의 적절성을 판단할 수 있음은 물론이다.

눈 영역이 검출되었다고 판단하면 획득된 영상내에서 얼굴 영역을 추출하고(S130), 1/10 영상 양자화를 수행하고(S135), 웨이브릿 저역통과 필터링을 수행하여 영상 크기를 감소시킨다(S140). 이를 다시 소정의 압축 알고리즘(예컨대, JPEG)에 따라 영상을 압축하여 데이터 량을 감소시키고(S145), 이를 서버측에 전송하는데(S150), 데이터량 감소에 따른 서버측에서의 인식률 저하를 방지하기 위하여 전술한 동작을 5회 반복한다(S155).

도 11은 얼굴인식 서버부가 얼굴인식 클라이언트로부터 전송된 JPEG압축 이미지를 입력받아 처리하는 과정을 도시한 흐름도이다.

먼저 JPEG 복원과정을 통해 원 영상을 복원하며(S200), 복원된 영상은 PCA/KPCA 얼굴인식부(565)에 의해 고유벡터값으로 변환되어 이를 얼굴인식 데이터베이스에 저장된 값과 비교한 후(S205), 그 결과를 인증 여부 판단부(570)로 전달한다(S210). 전술한 과정을 총 5회 반복한 후에(S215), 인증 여부 판단부(570)가 인증 여부를 최종적으로 결정하고(S220), 그 결과를 표시한다(S225).

이러한 얼굴인식 과정은 얼굴인식 클라이언트부에서 전송된 총 5매의 얼굴 영상에 대해 각각 1회씩 총 5회 반복 수행되며 각각의 인식 결과값은 인증 여부 판단부(570)로 전송된다. 인증 여부 판단부(570)는 저장된 인식 결과값중 과반수이상이 동일한 얼굴인 것으로 판정 되었을 경우 얼굴인식 성공으로 판단하고 인식 결과값의 과반수이상이 동일한 얼굴로 판정되지 않았을 경우 얼굴인식 실패로 판정한다. 물론, 본 발명이 채택되는 인증 시스템에 따라 예컨대 70%이상 동일 얼굴로 판정된 경우에만 인증된 것으로 하거나, 또는 그 이상의 동일 판정 결과의 경우에 인증된 것으로 최종 판단할 수 있음은 물론이다. 이러한 반복적인 영상 재전송 및 인 식 처리는 도 12에 나타난 바와 같이 양자화 인수의 조절 및 웨이블릿 저역통과 필터링의 과정을 통해 발생할 수 있는 인식률의 하락을 보완하기 위한 것이다.

얼굴인식 성공 및 실패 결과는 출력 장치(575)에 의해 표시된다.

본 발명에 따른 얼굴인식 시스템은 기본적으로 생체신호에 기반한 원격감시, 출입제한등 각종 보안 시스템에 적용 가능할 수 있으며, 이하에서 도 13 및 도 14를 참조하여 구체적인 적용례를 설명한다.

도 13에 도시된 바와 같이, 본 발명에 따라 인터넷상에서 각종의 사용자 인증이 필요한 응용에서 클라이언트 컴퓨터에 부착된 카메라로 사용자의 얼굴 영상을 전달하여 그 인증여부를 판정할 수 있으며, 보안이 취약한 인터넷상에서 비밀번호에 기초한 인증 방식에 따른 도용 위험성을 현저히 감소시킬 수 있다.

한편, 도 14에 도시된 바와 같이, 본 발명은 원격 감시 시스템에도 효율적으로 적용되어 활용될 수 있다. DVR등 원격감시장치의 경우 영상 데이터를 저장하기 위한 하드디스크 등 저장매체의 한계로 인하여 저장에 요구되는 데이터의 량이 적을수록 더욱 효율적으로 또한 장시간 감시지역의 데이터를 저장할 수 있다. 이러한 원격감시 시스템의 경우 사용자가 미리 입력한 요주의 또는 감시가 요구되는 대상이 감시 지역 내에 출현하였을 경우 녹화를 시작하며 그 외의 경우 녹화를 진행하지 않는 방식으로 효율적인 감시 데이터의 저장을 수행하게 된다. 이러한 시스템의 구성은 전형적인 CCTV시스템에 기반한 원격감시 시스템 뿐 아니라 유, 무선 인터페이스를 가지며 내장형 인터넷 서버를 시스템상에 내장한 웹 카메라를 통해서도 쉽게 구현 가능함을 알 수 있다.

출입제한 시스템의 경우 상기의 얼굴인식 시스템을 적용함으로써 데이터베이스 상에 저장되어진 대상인 경우 출입을 허용하며 또한 본 발명에 따른 얼굴인식 시스템은 전형적인 CCTV시스템에 기반한 원격감시 시스템 뿐 아니라 유, 무선 인터페이스를 가지며 내장형 인터넷 서버를 시스템상에 내장한 웹 카메라를 통해서도 쉽게 구현 가능함을 알 수 있다.

이러한 원격감시 및 출입제한 시스템의 경우 녹화의 시작 또는 출입의 허용 여부 등은 자동화된 방법 또는 도 5의 출력 장치(575)에 표시된 인식 결과를 바탕으로 감시자가 적절히 조절 가능하도록 설계될 수 있다.

즉, 본 발명은 종래의 얼굴인식 시스템이 인식률 향상을 위해 터미널 또는 클라이언트로부터 고화질의 정지영상의 전송이 필요하므로 데이터 전송량이 제한적인 인터넷 온라인 환경에 적용하기 어렵다는 문제점을 해결하고, 또한 이러한 제한적인 데이터 전송량으로 인해 전송되는 얼굴 영상의 화질을 낮추었을 경우 인식률의 저하를 초래하는 문제점을 해결하기 위해 1) 1/10 양자화부, 2)1/64 웨이블릿 저대역 필터링, 3) JPEG 압축 등의 방법을 이용하여 전송되는 데이터의 양을 감소시키며 얼굴인식 서버부에서 얼굴인식을 수행함에 있어 요구되는 인식 트레이닝 시간 및 인식 요구시간을 크게 감소시킬 수 있다.

이상, 바람직한 실시예와 첨부 도면을 참조하여 본 발명의 구성에 대하여 구체적으로 설명하였으나, 본 발명의 범위는 이에 한정하지 아니하며 당업자라면 본 발명의 기술적 사상의 범주내에서 다양한 변형과 변경을 할 수 있을 것이다. 따라서, 본 발명의 보호 범위는 이하에 기재된 특허청구범위의 해석에 의하여 정하여져 야 할 것이다.

본 발명에 따르면, 네트워크 전송 부하를 최소화하면 온라인 얼굴인식 및 이를 통한 정당 사용자 인증을 수행할 수 있으므로, 현재의 주된 컴퓨팅 모델인 클라이언트/서버 컴퓨팅 환경에서의 현실적 채택 가능한 시스템을 구현할 수 있다.

즉, CCTV 등의 카메라를 서버측으로 연결하여 얼굴인식 시스템을 구현하거나 또는 일정 속도가 보장되나 값비싼 망 사용료가 요구되는 전용망 등을 이용하는 고비용으로 인한 온라인 얼굴인식 시스템 구현의 한계점을 해결하고, 상대적으로 저렴한 유무선 방식의 인터넷 망을 이용하여 실시간으로 얼굴인식을 수행 할 수 있다.

아울러, 인식 트레이닝 시간 및 인식 처리 요구 시간의 감소로 인하여 기존 시스템에 비해 적법한 허가자의 얼굴등록 및 인증을 다수의 로컬 클라이언트로부터 빠른 속도로 용이하게 수행 할 수 있다는 장점이 있다.

또한 상기 밝힌 바와 같이 카메라로부터 촬영된 얼굴 영상을 복수회 처리하여 전송하고 이들 각각 영상에 대한 인식 결과 전체를 토대로 얼굴인식의 적법성 여부를 판단함으로써 얼굴 인식의 정확도를 감소시키지 않으면서도 상기 기술한 장점들을 적용할 수 있는 효과가 있다.

Claims (15)

1. 원격지의 서버로 얼굴 영상 정보를 전송하여 인증 요청을 수행하는 얼굴 인식 클라이언트 시스템에 있어서,

   영상 획득을 위한 카메라와,

   잡음 제거 및 조명 보상을 수행하는 전처리부와,

   얼굴 영상의 데이터 감소를 위한 영상 양자화부와,

   추가의 영상 데이터 양 감소를 위한 웨이블릿 저대역 통과 필터부와,

   소정 포맷으로 상기 영상을 압축하는 영상 압축부와,

   상기 감소되고 압축된 영상을 전송하는 네트워크 인터페이스부

   를 포함하되,

   상기 영상 양자화부는 1/10 영상 양자화를 수행하는 1/10 영상 양자화 블록을 포함하며, 상기 웨이블릿 저대역 통과 필터부는 상기 영상 양자화부의 출력 영상의 사이즈를 1/64로 감축하며, 상기 카메라, 전처리부, 영상 양자화부, 웨이블릿 저대역 통과 필터부, 영상 압축부 및 네트워크 인터페이스부는 동일 얼굴에 대해 소정의 회수 이상을 반복하여 각 동작을 수행하는 것을 특징으로 하는 얼굴 인식 클라이언트 시스템.
2. 제1항에 있어서, 상기 전처리부는 저역 통과 필터링, 조도 보정, 색상 보정 및 피부색 검출을 수행하고 최종적으로 눈영역을 검출함으로써 입력된 영상이 얼굴에 관한 것인지를 판단하는 것인 얼굴 인식 클라이언트 시스템.
3. 삭제
4. 삭제
5. 제1항에 있어서, 상기 네트워크 인터페이스부는 유/무선 통신을 수행하는 것인 얼굴 인식 클라이언트 시스템.
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 원격지의 서버로 얼굴 영상 정보를 전송하여 인증 요청을 수행하는 얼굴 인식 클라이언트 시스템의 영상 처리 방법에 있어서,

    촬영 장치를 이용하여 얼굴 영상을 획득하는 단계와,

    잡음 제거 및 조명 보상을 수행하는 전처리 단계와,

    얼굴 영상의 데이터 감소를 위한 영상 양자화 단계와,

    추가의 영상 데이터 양 감소를 위한 영상 사이즈 감축 단계와,

    소정 포맷으로 상기 영상을 압축하는 영상 압축 단계와,

    상기 감소되고 압축된 영상을 전송하는 전송단계와,

    동일 얼굴 영상에 대한 상기 각 단계의 수행 회수를 계산하여 소정 회수 이하일 경우 상기 각 단계를 반복하는 반복 단계

    를 포함하되, 상기 영상 양자화 단계는 1/10 영상 양자화를 수행하며, 상기 영상 사이즈 감축 단계는 웨이블릿 저대역 통과 필터를 이용하여 상기 영상 양자화부의 출력 영상의 사이즈를 1/64로 감축하는 것을 특징으로 하는 얼굴 인식 클라이언트 시스템의 영상 처리 방법.
12. 제11항에 있어서, 상기 전처리 단계는 저역 통과 필터링, 조도 보정, 색상 보정 및 피부색 검출을 수행하고 최종적으로 얼굴의 특정 영역을 검출함으로써 입력된 영상이 얼굴에 관한 것인지를 판단하는 것인 얼굴 인식 클라이언트 시스템의 영상 처리 방법.
13. 삭제
14. 삭제
15. 삭제

Images