KR20100090457A

KR20100090457A - 비강압적 3차원 얼굴 데이터 획득 시스템 및 그 방법

Info

Publication number: KR20100090457A
Application number: KR1020090009743A
Authority: KR
Inventors: 이상윤; 김재희
Original assignee: 연세대학교 산학협력단
Priority date: 2009-02-06
Filing date: 2009-02-06
Publication date: 2010-08-16
Also published as: KR101004629B1

Abstract

본 발명은 비강압적 3차원 얼굴 데이터 획득 시스템 및 그 방법에 관한 것으로, 라인 레이저로 근적외선 직선 조명 패턴을 사용자의 얼굴로 투사하면서 2대의 카메라를 통해 획득한 사용자의 2D 좌우 얼굴 영상의 등극선과 직선 조명 패턴이 교차하는 교점을 대응점으로 찾아내거나, 혹은 격자무늬 레이저로 근적외선 격자무늬 조명 패턴을 사용자의 얼굴에 투사하면서 1대의 카메라를 통해 획득한 사용자의 2D 얼굴 영상의 등극선과 격자무늬 조명 패턴이 교차하는 교점을 대응점으로 찾아내고 이 대응점을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량 기법으로 사용자의 3차원 얼굴 데이터를 획득한다.

본 발명에 따르면, 기존의 눈에 보이는 가시광선 대신 눈에 보이지 않는 근적외선을 사용하여 직선 조명 패턴 혹은 격자무늬 조명 패턴을 사용자의 얼굴에 투사하므로, 사용자의 거부감 없이 용이하게 3차원 얼굴 데이터를 획득할 수 있으며, 특히 격자무늬 조명 패턴과 1대의 카메라를 이용하는 경우에는 1장의 사용자 얼굴 영상으로부터 3차원 얼굴 데이터를 을 복원하기 때문에 사용자의 거부감 없이 직선 조명 패턴을 이용하는 경우보다 더 빠르게 3차원 얼굴 데이터를 취득할 수 있다.

3차원, 얼굴 데이터, 레이저, 직선 조명, 격자무늬 조명

Description

비강압적 3차원 얼굴 데이터 획득 시스템 및 그 방법{Non-intrusive 3D face data acquisition system and method thereof}

본 발명은 얼굴 데이터 획득 기술에 관한 것이며, 더욱 상세히는 비강압적 3차원 얼굴 데이터 획득 시스템 및 그 방법에 관한 것이다.

종래의 3차원 얼굴 데이터 획득 시스템은 크게 세 가지, 즉 레이저 스캐너(Laser Scanner), 스테레오 비전 시스템(Stereo Vision System), 구조적 조명 시스템(Structured Light System)으로 구분할 수 있다.

상기 레이저 스캐너는 레이저 광 삼각법 기반의 3차원 얼굴 데이터 획득 시스템으로, 얼굴 전체에 대하여 3차원 얼굴 데이터를 정확하게 취득할 수 있다는 장점이 있으며, 이 시스템의 대표적인 제품으로는 사이버웨어(cyberware)사의 "Head & Face Color 3D Scanner"가 있다.

상기 스테레오 비전 시스템은 2대의 카메라를 이용한 3차원 얼굴 데이터 획득 시스템으로, 2대의 카메라를 통해 얻은 좌우 영상에서 찾아낸 대응점을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량(triangulation) 기법으로 3차원 얼굴 데이터를 복원한다.

상기 스테레오 비전 시스템은 카메라의 위치에 따라 평행 기하 기반의 표준 스테레오 비전 시스템과 등극선 기하(Epipolar geometry) 기반의 스테레오 비전 시스템으로 구분할 수 있다.

상기 표준 스테레오 비전 시스템은 2대의 카메라가 평행하다는 가정을 두고 3차원 얼굴 데이터를 획득하며, 이때 대응점은, 도 1에 나타낸 바와 같이, 2차원(2D) 영역이 아닌 수평한 1차원(1D) 영역(예컨대, 수평한 직선)에서 찾기 때문에 단순화된다.

그러나, 이와 같이 2대의 카메라가 평행하다는 가정은 실제 환경에서는 큰 제약이 되며 2대의 카메라를 완벽하게 평행한 위치에 놓는다는 것은 실제로는 매우 어려운 문제이다.

따라서, 표준 스테레오 비전 시스템보다는 등극선 기하 기반의 스테레오 비전 시스템이 주로 많이 사용되고 있으며, 이 등극선 기하 기반의 스테레오 비전 시스템은 카메라의 위치에 상관없이 3차원 얼굴 데이터를 획득할 수 있고, 이때도 대응점은, 도 2에 나타낸 바와 같이, 2차원(2D) 영역이 아닌 1차원(1D) 영역의 등극선 상에서 찾기 때문에 단순화된다.

상기 구조적 조명 시스템은 얼굴 데이터 획득 대상자에게 구조적 조명을 투사하는 방식으로, 상기 스테레오 비전 시스템은 2대의 카메라 중 하나를 프로젝터로 대체하여 1대의 카메라와 1대의 프로젝터로 구성된다. 이 시스템은 상기 프로젝터에서 구조적 조명 패턴을 얼굴에 투사하여 프로젝터 영상과 카메라 영상에서 대응점을 찾아 3차원 얼굴 데이터를 획득한다. 이 시스템은 프로젝터에서 투사된 구 조적 조명 패턴을 얼굴 데이터 획득 대상자에게 투사하여 스테레오 비전 시스템의 문제점인 대응점 정합(matching)의 어려움을 해결하였으며, 대표적인 상용제품으로는 제넥스(Genex)사의 "FaceCam"이라는 제품이 있다.

하지만, 상기 레이저 스캐너는 장비가 고가이며, 얼굴 데이터 획득시간이 많이 걸린다는 단점이 있고, 얼굴 데이터 획득시간이 길기 때문에 얼굴 데이터가 획득되는 동안 얼굴 데이터 획득 대상자가 움직일 수 있어서 그에 따른 오차가 발생할 수 있다는 단점이 있다.

또한, 상기 스테레오 비전 시스템은 얼굴의 특성상 눈, 코, 입을 제외한 부분, 예를 들어 볼이나 이마 같은 부분은 별다른 특징점이 없기 때문에 좌우 영상간의 정확한 대응점을 찾기 어렵다. 즉, 두 영상간의 정확한 대응점을 찾을 수 없어 정밀한 3차원 얼굴 데이터를 복원할 수 없다.

또한, 상기 구조적 조명 시스템은 카메라와 프로젝터의 내부 정보(intrinsic parameter)를 알기 어렵고, 얼굴 데이터를 획득하는 동안 눈에 보이는 가시광선으로 된 구조적 조명 패턴을 얼굴에 투사하기 때문에 대상자가 심리적인 거부감을 느낄 수 있다.

본 발명은 상기한 바와 같은 종래의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 라인 레이저(line laser)로 사용자, 즉 얼굴 데이터 획득 대상자의 눈에 거부감이 없는 근적외선을 이용한 직선 조명 패턴을 사용자의 얼굴 정면 방향을 기준으로 특정 회전 각도 범위에서 좌에서 우로 혹은 우에서 좌로 투사하면서 가시광선과 근적외선을 동시에 획득할 수 있는 동기화된 2대의 카메라를 통해 획득한 사용자의 2D 좌우 얼굴 영상의 등극선과 직선 조명 패턴이 교차하는 교점을 대 응점으로 찾아내고 이 대응점을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량(triangulation) 기법으로 사용자의 3차원 얼굴 데이터를 획득하는 비강압적 3차원 얼굴 데이터 획득 시스템을 제공하는 것이다.

본 발명의 또 다른 목적은 라인 레이저로 사용자, 즉 얼굴 데이터 획득 대상자의 눈에 거부감이 없는 근적외선을 이용한 직선 조명 패턴을 사용자의 얼굴 정면 방향을 기준으로 특정 회전 각도 범위에서 좌에서 우로 혹은 우에서 좌로 투사하면서 가시광선과 근적외선을 동시에 획득할 수 있는 동기화된 2대의 카메라를 통해 획득한 사용자의 2D 좌우 얼굴 영상에서 추출한 얼굴 영역에서 직선 조명 패턴을 검출한 다음 검출된 직선을 세선화한 후, 상기 얼굴 영역에서 등극선과 직선 조명 패턴이 교차하는 교점을 대응점으로 찾아낸 다음, 이 대응점을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량(triangulation) 기법으로 사용자의 3차원 얼굴 데이터를 획득하는 비강압적 3차원 얼굴 데이터 획득 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 격자무늬 레이저로 사용자, 즉 얼굴 데이터 획득 대상자의 눈에 거부감이 없는 근적외선을 이용한 격자무늬 조명 패턴을 사용자의 얼굴에 투사하면서 가시광선과 근적외선을 동시에 획득할 수 있는 1대의 카메라를 통해 획득한 사용자의 2D 얼굴 영상의 등극선과 격자무늬 조명 패턴이 교차하는 교점을 대응점으로 찾아내고 이 대응점을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량(triangulation) 기법으로 사용자의 3차원 얼굴 데이터를 획득하는 비강압적 3차원 얼굴 데이터 획득 시스템을 제공하는 것이다.

본 발명의 또 다른 목적은 격자무늬 레이저로 사용자, 즉 얼굴 데이터 획득 대상자의 눈에 거부감이 없는 근적외선을 이용한 격자무늬 조명 패턴을 사용자의 얼굴로 투사하면서 가시광선과 근적외선을 동시에 획득할 수 있는 1대의 카메라를 통해 획득한 사용자의 2D 얼굴 영상에서 추출한 얼굴 영역에서 격자무늬 조명 패턴을 검출한 후, 상기 얼굴 영역에서 등극선과 격자무늬 조명 패턴이 교차하는 교점을 대응점으로 찾아낸 다음, 이 대응점을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량(triangulation) 기법으로 사용자의 3차원 얼굴 데이터를 획득하는 비강압적 3차원 얼굴 데이터 획득 방법을 제공하는 것이다.

상기한 바와 같은 본 발명의 목적을 달성하기 위하여, 본 발명에 따른 비강압적 3차원 얼굴 데이터 획득 시스템의 제1실시예는, 서로 동기화되어 사용자, 즉 얼굴 데이터 획득 대상자에 대한 가시광선과 근적외선 대역의 2D 좌우 얼굴 영상을 획득하는 2대의 카메라와; 사용자의 눈에 거부감이 없는 근적외선을 이용한 직선 조명 패턴을 사용자의 얼굴 정면 방향을 기준으로 특정 회전 각도 범위에서 좌에서 우로 혹은 우에서 좌로 투사하는 라인 레이저(line laser); 및 상기 2대의 카메라의 촬영 작동과 상기 라인 레이저의 직선 조명 패턴 투사 작동을 제어하며, 상기 2대의 카메라를 통해 직선 조명 패턴이 투사되는 사용자의 2D 좌우 얼굴 영상을 획득하면, 사용자의 2D 좌우 얼굴 영상의 등극선과 직선 조명 패턴이 교차하는 교점을 대응점으로 찾아내고 이 대응점을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량(triangulation) 기법으로 사용자의 3차원 얼굴 데이터를 획득하는 메인 프로세서;로 구성된다.

상기한 바와 같은 본 발명의 목적을 달성하기 위하여, 본 발명에 따른 비강압적 3차원 얼굴 데이터 획득 방법의 제1실시예는, 라인 레이저(line laser)로 사용자의 눈에 거부감이 없는 근적외선을 이용한 직선 조명 패턴을 사용자의 얼굴 정면 방향을 기준으로 특정 회전 각도 범위에서 좌에서 우로 혹은 우에서 좌로 투사하는 제1과정과; 상기 직선 조명 패턴이 투사되는 동안 2대의 카메라로 사용자, 즉 얼굴 데이터 획득 대상자에 대한 가시광선과 근적외선 대역의 2D 좌우 얼굴 영상을 획득하는 제2과정; 메인 프로세서에서 상기 2대의 카메라로 획득한 사용자의 2D 좌우 얼굴 영상에서 얼굴 영역을 검출하는 제3과정; 메인 프로세서에서 검출한 얼굴 영역에서 직선 조명 패턴을 검출하는 제4과정; 메인 프로세서에서 얼굴 영역에서 등극선과 직선 조명 패턴이 교차하는 교점이 1:1로 정합되도록 검출된 직선을 세선화하는 제5과정; 메인 프로세서에서 검출된 직선 전체에 대한 세선화가 완료된 얼굴 영역에서 등극선과 직선 조명 패턴이 교차하는 교점을 대응점으로 찾아내는 제6과정; 및 메인 프로세서에서 찾아낸 대응점을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량(triangulation) 기법으로 사용자의 3차원 얼굴 데이터를 획득하는 제7과정;으로 이루어지는 것을 특징으로 한다.

상기한 바와 같은 본 발명의 목적을 달성하기 위하여, 본 발명에 따른 비강압적 3차원 얼굴 데이터 획득 시스템의 제2실시예는, 사용자, 즉 얼굴 데이터 획득 대상자에 대한 가시광선과 근적외선 대역의 2D 얼굴 영상을 획득하는 1대의 카메라와; 사용자의 눈에 거부감이 없는 근적외선을 이용한 격자무늬 조명 패턴을 사용자의 얼굴로 투사하는 격자무늬 레이저; 및 상기 1대의 카메라의 촬영 작동과 상기 격자무늬 레이저의 격자무늬 조명 패턴 투사 작동을 제어하며, 상기 1대의 카메라를 통해 격자무늬 조명 패턴이 투사되는 사용자의 2D 얼굴 영상을 획득하면, 사용자의 2D 얼굴 영상의 등극선과 격자무늬 조명 패턴이 교차하는 교점을 대응점으로 찾아내고 이 대응점을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량(triangulation) 기법으로 사용자의 3차원 얼굴 데이터를 획득하는 메인 프로세서;로 구성된다.

상기한 바와 같은 본 발명의 목적을 달성하기 위하여, 본 발명에 따른 비강압적 3차원 얼굴 데이터 획득 방법의 제2실시예는, 격자무늬 레이저로 사용자의 눈에 거부감이 없는 근적외선을 이용한 격자무늬 조명 패턴을 사용자의 얼굴로 투사하는 제1과정과; 상기 격자무늬 조명 패턴이 투사되는 동안 1대의 카메라로 사용자, 즉 얼굴 데이터 획득 대상자에 대한 가시광선과 근적외선 대역의 2D 얼굴 영상을 획득하는 제2과정; 메인 프로세서에서 상기 1대의 카메라로 획득한 사용자의 2D 얼굴 영상에서 얼굴 영역을 검출하는 제3과정; 메인 프로세서에서 얼굴 영역에서 등극선과 격자무늬 조명 패턴이 교차하는 교점을 대응점으로 찾아내는 제4과정; 및 메인 프로세서에서 찾아낸 대응점을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량(triangulation) 기법으로 사용자의 3차원 얼굴 데이터를 획득하는 제5과정;으로 이루어지는 것을 특징으로 한다.

이상에서 설명한 바와 같은 본 발명에 따르면, 기존의 눈에 보이는 가시광선대역을 사용하지 않고 눈에 보이지 않는 근적외선 대역을 사용하여 직선 조명 패턴 혹은 격자무늬 조명 패턴을 사용자의 얼굴에 투사하므로, 사용자의 거부감 없이 용이하게 3차원 얼굴 데이터를 획득할 수 있으며, 특히 격자무늬 조명 패턴과 1대의 카메라를 이용하는 경우에는 1장의 사용자 얼굴 영상으로부터 3차원 얼굴 데이터를 을 복원하기 때문에 사용자의 거부감 없이 직선 조명 패턴을 이용하는 경우보다 더 빠르게 3차원 얼굴 데이터를 취득할 수 있다.

이하, 본 발명의 다양한 실시예를 첨부된 도면을 참조하여 더욱 상세하게 설명한다.

[실시예1]

본 발명의 제1실시예는 도 3에 나타낸 바와 같이 서로 동기화된 2대의 카메라(10,10')와 라인 레이저(line laser)(20), 및 메인 프로세서(30)를 포함하는 비강압적 3차원 얼굴 데이터 획득 시스템 및 방법에 관한 것이다.

상기 2대의 카메라(10,10')는 서로 동기화되어 사용자, 즉 얼굴 데이터 획득 대상자에 대한 가시광선(예컨대, 380∼780nm 파장의 빛)과 근적외선(예컨대, 780∼2000nm 파장의 빛) 대역의 2D 좌우 얼굴 영상을 획득하며, 주변광의 영향을 최소화하면서 최적의 근적외선 영상을 촬영하기 위해 PM(Permeate)필터와 광학 저역통과 필터(OLPF; Optical Low Pass Filter)를 장착하고 있는 것이 바람직하다. 상기 2대의 카메라(10,10')와 사용자간의 거리는 1∼2m가 적당하다.

상기 라인 레이저(20)는 사용자의 눈에 거부감이 없는 근적외선(예컨대, 850nm 혹은 950nm 등)을 이용한 직선 조명 패턴을 사용자의 얼굴 정면 방향을 기준 으로 특정 회전 각도 범위(예컨대, -45°∼+45°의 회전 각도 범위)에서 좌에서 우로 혹은 우에서 좌로 투사한다. 상기 라인 레이저(20)는 상기 2대의 카메라(10,10')의 중간에 위치하여 사용자의 얼굴 정면 방향을 향하는 것이 바람직하다.

상기 메인 프로세서(30)는 상기 2대의 카메라(10,10')의 촬영 작동과 상기 라인 레이저(20)의 직선 조명 패턴 투사 작동을 제어한다.

상기 메인 프로세서(30)는 상기 2대의 카메라(10,10')를 통해 직선 조명 패턴이 투사되는 사용자의 2D 좌우 얼굴 영상을 획득하면, 사용자의 2D 좌우 얼굴 영상의 등극선과 직선 조명 패턴이 교차하는 교점을 대응점으로 찾아내고 이 대응점을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량(triangulation) 기법으로 사용자의 3차원 얼굴 데이터를 획득한다. 상기 삼각 측량 기법은 2개의 대응점으로 3차원 공간 상의 좌표를 복원하는 방법으로 알려져 있다.

상기 메인 프로세서(30)는 상기 대응점을 찾기 전에, 상기 2대의 카메라(10,10')를 통해 획득한 사용자의 2D 좌우 얼굴 영상에서 추출한 얼굴 영역에서 직선 조명 패턴을 검출한 다음 검출된 직선을 세선화한 후, 상기 얼굴 영역에서 등극선과 직선 조명 패턴이 교차하는 교점을 대응점으로 찾아낸다.

상기 메인 프로세서(30)는 획득한 3차원 얼굴 데이터에 대하여 3차원 얼굴 데이터의 표면 질감을 표현하는 화상, 즉 텍스쳐(texture)을 첨부하는 텍스쳐 매핑(texture mapping)을 수행하여 사용자의 얼굴 영상을 복원한다.

상기와 같이 구성되는 본 발명의 제1실시예에 따른 비강압적 3차원 얼굴 데 이터 획득 시스템은 도 4에 나타낸 방법에 의해 다음과 같이 작동한다.

도 4를 참조하면, 가장 먼저, 상기 라인 레이저(20)가 메인 프로세서(30)의 제어에 의해 사용자의 눈에 거부감이 없는 근적외선을 이용한 직선 조명 패턴을 사용자의 얼굴 정면 방향을 기준으로, 예컨대 -45°∼+45°의 회전 각도 범위에서 좌에서 우로 혹은 우에서 좌로 투사한다(S100).

상기와 같이 근적외선 직선 조명 패턴이 투사되는 동안 상기 2대의 카메라(10,10')는 사용자에 대한 가시광선과 근적외선 대역의 2D 좌우 얼굴 영상을 획득한다(S110).

참고로, 도 5는 사용자 얼굴에 라인 레이저(20)의 직선 조명 패턴을 투사하면서 2대의 카메라(10,10')로 획득한 좌우 영상을 예시하고 있다.

이어서, 상기 메인 프로세서(30)는 상기 2대의 카메라(10,10')로 획득한 사용자의 2D 좌우 얼굴 영상에서 얼굴 영역을 검출한다(S120). 이 과정에서는 비올라-존스 객체 검출기(Viola-Jones Object Detector) 또는 스킨 컬러 검출기(Skin Color Detector) 등과 같은 얼굴 영역 검출 알고리즘을 이용하여 사용자의 2D 좌우 얼굴 영상에서 배경, 머리카락 부분 등과 같이 얼굴 데이터 획득에 불필요한 부분을 제거하고 얼굴 영역만을 검출한다.

참고로, 도 6은 2대의 카메라(10,10')로 획득한 사용자 얼굴 영상에서 검출한 얼굴 영역을 예시하고 있다.

이어서, 상기 메인 프로세서(30)는 검출한 얼굴 영역에서 근적외선 직선 조명 패턴을 검출한 다음(S130), 얼굴 영역에서 등극선과 직선 조명 패턴이 교차하는 교점이 1:1로 정합되도록 검출된 직선을 세선화한다(S140).

예컨대, 상기 라인 레이저(20)로 사용자의 얼굴에 850nm 대역의 근적외선 직선 조명 패턴을 투사하면서 상기 2대의 카메라(10,10')로 촬영하여 획득한 사용자의 2D 얼굴 영상에서 근적외선으로 된 직선은 도 7과 도 8에 나타낸 바와 같이 백색의 직선 형태로 보여진다. 이 직선을 정확하게 검출할 수록 3차원 얼굴 데이터 획득의 정확도가 향상된다. 또한, 등극선 기하를 이용하여 사용자의 2D 좌우 얼굴 영상의 대응점을 찾기 위해서는 검출된 직선의 세선화가 필요하다. 만약, 이 세선화 과정이 없다면 대응점이 1:1이 아닌 1:n, 즉 다수의 대응점이 하나의 등극선과 교차하는 모호성이 발생하게 된다.

참고로, 도 7은 사용자 얼굴에 투사한 라인 레이저(20)의 직선 조명 패턴을 검출한 실시예로서, 도 7의 (a)는 상기 2대의 카메라(10,10') 중 어느 하나로 1회 촬영하여 획득한 사용자의 2D 얼굴 원본 영상이고, 도 7의 (b)는 도 7의 (a) 영상에서 검출한 근적외선 직선이고, 도 7의 (c)는 상기 2대의 카메라(10,10')로 여러번 촬영하여 획득한 사용자의 2D 얼굴 영상의 얼굴 영역 전체에서 검출한 직선을 나타낸다. 또한, 도 8은 도 7의 검출 직선을 세선화한 결과를 나타낸 실시예로서, 도 8의 (b)는 도 8의 (a)에 나타낸 검출 직선을 세선화한 결과를 나타내고, 도 8의 (c)는 도 7의 (c)에 나타낸 바와 같이 상기 2대의 카메라(10,10')로 여러번 촬영하여 획득한 사용자의 2D 얼굴 영상의 얼굴 영역 전체에서 검출한 직선을 세선화한 결과를 나타낸다.

상기와 같이 세선화 작업이 완료되고 나면, 다음으로 상기 메인 프로세 서(30)는 검출된 직선 전체에 대한 세선화가 완료된 얼굴 영역에서 등극선과 직선 조명 패턴이 교차하는 교점을 대응점으로 찾아낸 후(S150), 이 대응점들을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량(triangulation) 기법으로 사용자의 3차원 얼굴 데이터를 획득한다(S160).

참고로, 도 9는 사용자 얼굴 좌우 영상의 등극선과 라인 레이저의 직선 조명 패턴이 교차하는 대응점을 나타낸 실시예이로서, 도 9의 (a)에 나타낸 좌측 영상의 점들에 대한 대응점은 도 9의 (b)에 나타낸 우측 영상의 등극선 상에 존재하는 것을 알 수 있다.

또한, 도 10은 찾아낸 대응점을 이용하여 삼각 측량(triangulation) 기법으로 획득한 사용자의 3차원 얼굴 데이터를 나타낸 실시예이다.

도 10의 (a)에 나타낸 바와 같이, 획득한 3차원 얼굴 데이터는 얼굴에 맺힌 직선과 직선 사이를 제외한 부분은 정보가 없기 때문에 대응점들이 이루는 직선과 직선 사이의 간격이 드문드문한 맵(sparse map) 형태로 표시된다. 따라서, 이러한 직선과 직선 사이의 빈 공간을 채워주어 얼굴의 모든 부분에 3차원 데이터가 존재하도록 보간(Interpolation) 처리를 수행하는 것이 바람직하다.

본 발명의 제1실시예에서는 사람의 얼굴은 굴곡으로 이루어져 있지만 3차원 얼굴 데이터 획득을 위한 얼굴 영역에서는 급격한 변화가 존재하지 않으며, 이에 따라서 상기 2대의 카메라(10,10')로 획득한 사용자의 2D 얼굴 영상에서 검출된 직선을 하나의 영상으로 종합했을 때 이웃한 직선들의 차이는 크지 않다는 정보를 이용하는 보간법을 적용하는 것이 바람직하며, 예컨대 코드 보간법을 적용할 수 있 다. 즉, 도 10의 (a)와 같이 드문드문한 맵(sparse map) 형태로 표시되는 3차원 얼굴 데이터의 각 직선에 도 11의 (a)에 나타낸 바와 같이 간단한 코드(code)를 부여한 상태에서 코드를 가진 이웃한 직선들 간의 빈 공간에 대하여 코드 보간을 적용하면 도 11의 (b)에 나타낸 바와 같이, 도 11의 (a)에 나타낸 이웃한 직선들 간의 빈 공간에 새로운 코드를 가진 선들을 생성할 수 있으며, 결과적으로 도 10의 (a)에 나타낸 바와 같이, 드문드문한 맵(sparse map) 형태로 표시되는 3차원 얼굴 데이터는 도 10의 (b)와 같이 조밀한 맵(dense map) 형태로 표시된다.

상기와 같이 보간 과정을 거쳐 도 10의 (b)와 같이 조밀한 맵(dense map) 형태로 표시되는 3차원 얼굴 데이터가 최종적으로 획득되고 나면, 부가적으로 상기 메인 프로세서(30)는 획득한 3차원 얼굴 데이터에 대하여 3차원 얼굴 데이터의 표면 질감을 표현하는 화상, 즉 텍스쳐(texture)을 첨부하는 텍스쳐 매핑(texture mapping)을 수행하여 도 12에 나타낸 바와 같이 사용자의 얼굴 영상을 복원한다.

[실시예2]

본 발명의 제2실시예는 도 13에 나타낸 바와 같이 1대의 카메라(10)와 격자무늬 레이저(20'), 및 메인 프로세서(30')를 포함하는 비강압적 3차원 얼굴 데이터 획득 시스템 및 방법에 관한 것으로, 본 발명의 제1실시예에 비해 정확도는 떨어지지만 여러 장의 얼굴 영상을 필요로 하지 않고 1대의 카메라(10)를 사용하므로 저렴한 비용으로 시스템을 구성할 수 있을 뿐만 아니라 1장의 얼굴 영상으로부터 3차원 얼굴 데이터를 빠르게 획득할 수 있다.

상기 1대의 카메라(10)는 사용자, 즉 얼굴 데이터 획득 대상자에 대한 가시 광선(예컨대, 380∼780nm 파장의 빛)과 근적외선(예컨대, 780∼2000nm 파장의 빛) 대역의 2D 얼굴 영상을 획득하며, 주변광의 영향을 최소화하면서 최적의 근적외선 영상을 촬영하기 위해 PM(Permeate)필터와 광학 저역통과 필터(OLPF; Optical Low Pass Filter)를 장착하고 있는 것이 바람직하다. 상기 1대의 카메라(10)와 사용자간의 거리는 1∼2m가 적당하다.

상기 격자무늬 레이저(20')는 사용자의 눈에 거부감이 없는 근적외선(예컨대, 850nm 혹은 950nm 등)을 이용한 격자무늬 조명 패턴을 사용자의 얼굴로 투사한다. 상기 격자무늬 레이저(20')는 상기 1대의 카메라(10)와 등극선 기하가 성립한다.

상기 메인 프로세서(30')는 상기 1대의 카메라(10)의 촬영 작동과 상기 격자무늬 레이저(20')의 격자무늬 조명 패턴 투사 작동을 제어한다.

상기 메인 프로세서(30')는 상기 1대의 카메라(10)를 통해 격자무늬 조명 패턴이 투사되는 사용자의 2D 얼굴 영상을 획득하면, 사용자의 2D 얼굴 영상의 등극선과 격자무늬 조명 패턴이 교차하는 교점을 대응점으로 찾아내고 이 대응점을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량(triangulation) 기법으로 사용자의 3차원 얼굴 데이터를 획득한다. 상기 삼각 측량 기법은 2개의 대응점으로 3차원 공간 상의 좌표를 복원하는 방법으로 알려져 있다.

상기 메인 프로세서(30')는 상기 대응점을 찾기 전에, 상기 1대의 카메라(10)를 통해 획득한 사용자의 2D 얼굴 영상에서 얼굴 영역을 추출한 후, 추출된 얼굴 영역에서 등극선과 격자무늬 조명 패턴이 교차하는 교점을 대응점으로 찾아낸 다.

상기 메인 프로세서(30')는 획득한 3차원 얼굴 데이터에 대하여 3차원 얼굴 데이터의 표면 질감을 표현하는 화상, 즉 텍스쳐(texture)을 첨부하는 텍스쳐 매핑(texture mapping)을 수행하여 사용자의 얼굴 영상을 복원한다.

상기와 같이 구성되는 본 발명의 제2실시예에 따른 비강압적 3차원 얼굴 데이터 획득 시스템은 도 14에 나타낸 방법에 의해 다음과 같이 작동한다.

도 14를 참조하면, 가장 먼저, 상기 격자무늬 레이저(20')가 메인 프로세서(30')의 제어에 의해 사용자의 눈에 거부감이 없는 근적외선을 이용한 격자무늬 조명 패턴을 사용자의 얼굴로 투사한다(S200).

상기와 같이 근적외선 격자무늬 조명 패턴이 투사되는 동안 상기 1대의 카메라(10)는 사용자에 대한 가시광선과 근적외선 대역의 2D 얼굴 영상을 획득한다(S210).

참고로, 도 15는 사용자 얼굴에 격자무늬 레이저920')의 격자무늬 조명 패턴을 투사하면서 1대의 카메라(10)로 획득한 영상을 예시하고 있다. 도 15의 (a)에 나타낸 좌측 영상은 격자무늬 레이저(20')에서 투사되는 격자무늬 조명 패턴의 영상으로 상기 메인 프로세서(30')에서 이미 이 영상을 알고 있는 것을 전제하며, 도 15의 (b)에 나타낸 우측 영상은 1대의 카메라(10)로 획득한 사용자의 2D 얼굴 영상이다.

이어서, 상기 메인 프로세서(30')는 상기 1대의 카메라(10)로 획득한 사용자의 2D 얼굴 영상에서 얼굴 영역을 검출한다(S220). 이 과정에서는 본 발명의 제1실 시예의 도 6을 참조하여 설명한 바와 같이, 비올라-존스 객체 검출기(Viola-Jones Object Detector) 또는 스킨 컬러 검출기(Skin Color Detector) 등과 같은 얼굴 영역 검출 알고리즘을 이용하여 사용자의 2D 얼굴 영상에서 배경, 머리카락 부분 등과 같이 얼굴 데이터 획득에 불필요한 부분을 제거하고 얼굴 영역만을 검출한다.

이어서, 상기 메인 프로세서(30')는 검출한 얼굴 영역에서 등극선과 격자무늬 조명 패턴이 교차하는 교점을 대응점으로 찾아낸 후(S230), 이 대응점들을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량(triangulation) 기법으로 사용자의 3차원 얼굴 데이터를 획득한다(S240).

참고로, 도 16은 사용자 얼굴 영상의 등극선과 격자무늬 레이저(20')의 격자무늬 조명 패턴이 교차하는 대응점을 나타낸 실시예로서, 도 16의 (a)에 나타낸 좌측 영상의 대응점은 도 16의 (b)에 나타낸 우측 영상의 등극선 상에 존재하는 것을 알 수 있다.

또한, 도 17은 찾아낸 대응점을 이용하여 삼각 측량(triangulation) 기법으로 획득한 사용자의 3차원 얼굴 데이터와 3차원 얼굴 데이터를 텍스쳐 매핑(texture mapping)한 실시예이다.

도 17의 (a)에 나타낸 바와 같이, 획득한 3차원 얼굴 데이터는 3차원 얼굴 데이터가 많지 않기 때문에 3차원 포인트들을 연결한 삼각형으로 만든 메쉬 맵(mesh map) 형태로 표시된다.

상기와 같이 메쉬 맵(mesh map) 형태로 표시되는 3차원 얼굴 데이터가 최종적으로 획득되고 나면, 부가적으로 상기 메인 프로세서(30')는 획득한 3차원 얼굴 데이터에 대하여 3차원 얼굴 데이터의 표면 질감을 표현하는 화상, 즉 텍스쳐(texture)을 첨부하는 텍스쳐 매핑(texture mapping)을 수행하여 도 17의 (b)에 나타낸 바와 같이 사용자의 얼굴 영상을 복원한다.

이상에서 설명한 본 발명에 따른 비강압적 3차원 얼굴 데이터 획득 시스템 및 그 방법은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양하게 변경하여 실시할 수 있는 범위까지 그 기술적 정신이 있다.

도 1은 종래의 평행 기하 기반의 표준 스테레오 비전 시스템의 대응점 찾기를 나타낸 실시예.

도 2는 종래의 등극선 기하 기반의 스테레오 비전 시스템의 대응점 찾기를 나타낸 실시예.

도 3은 본 발명에 따른 비강압적 3차원 얼굴 데이터 획득 시스템을 나타낸 제1실시예.

도 4는 본 발명에 따른 비강압적 3차원 얼굴 데이터 획득 방법을 나타낸 제1실시예.

도 5는 사용자 얼굴에 라인 레이저의 직선 조명 패턴을 투사하면서 2대의 카메라로 획득한 좌우 영상.

도 6은 2대의 카메라로 획득한 사용자 얼굴 영상에서 검출한 얼굴 영역을 나타낸 실시예.

도 7은 사용자 얼굴에 투사한 라인 레이저의 직선 조명 패턴을 검출한 실시예.

도 8은 도 7의 검출 직선을 세선화한 결과를 나타낸 실시예.

도 9는 사용자 얼굴 좌우 영상의 등극선과 라인 레이저의 직선 조명 패턴이 교차하는 대응점을 나타낸 실시예.

도 10은 찾아낸 대응점을 이용하여 삼각 측량(triangulation) 기법으로 획득한 사용자의 3차원 얼굴 데이터를 나타낸 실시예.

도 11은 사용자의 3차원 얼굴 데이터의 정밀한 획득을 위하여 검출 직선을 보간 처리한 결과를 나타낸 실시예.

도 12는 3차원 얼굴 데이터를 텍스쳐 매핑(texture mapping)한 실시예.

도 13은 본 발명에 따른 비강압적 3차원 얼굴 데이터 획득 시스템을 나타낸 제2실시예.

도 14는 본 발명에 따른 비강압적 3차원 얼굴 데이터 획득 방법을 나타낸 제2실시예.

도 15는 사용자 얼굴에 격자무늬 레이저의 격자무늬 조명 패턴을 투사하면서 1대의 카메라로 획득한 영상.

도 16은 사용자 얼굴 영상의 등극선과 격자무늬 레이저의 격자무늬 조명 패턴이 교차하는 대응점을 나타낸 실시예.

도 17은 찾아낸 대응점을 이용하여 삼각 측량(triangulation) 기법으로 획득한 사용자의 3차원 얼굴 데이터와 3차원 얼굴 데이터를 텍스쳐 매핑(texture mapping)한 실시예.

<도면의 주요부분에 대한 부호의 설명>

10,10': 카메라 20: 라인 레이저

20': 격자무늬 레이저 30,30': 메인 프로세서

Claims

서로 동기화되어 사용자, 즉 얼굴 데이터 획득 대상자에 대한 가시광선과 근적외선 대역의 2D 좌우 얼굴 영상을 획득하는 2대의 카메라(10,10')와;

사용자의 눈에 거부감이 없는 근적외선을 이용한 직선 조명 패턴을 사용자의 얼굴 정면 방향을 기준으로 특정 회전 각도 범위에서 좌에서 우로 혹은 우에서 좌로 투사하는 라인 레이저(line laser)(20); 및

상기 2대의 카메라(10,10')의 촬영 작동과 상기 라인 레이저(20)의 직선 조명 패턴 투사 작동을 제어하며, 상기 2대의 카메라(10,10')를 통해 직선 조명 패턴이 투사되는 사용자의 2D 좌우 얼굴 영상을 획득하면, 사용자의 2D 좌우 얼굴 영상의 등극선과 직선 조명 패턴이 교차하는 교점을 대응점으로 찾아내고 이 대응점을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량(triangulation) 기법으로 사용자의 3차원 얼굴 데이터를 획득하는 메인 프로세서(30);

로 구성되는 것을 특징으로 하는 비강압적 3차원 얼굴 데이터 획득 시스템.
제 1 항에 있어서, 상기 라인 레이저(20)는 사용자의 얼굴 정면 방향을 기준으로 -45°∼+45°의 회전 각도 범위로 좌에서 우로 혹은 우에서 좌로 직선 조명 패턴을 투사하는 것을 특징으로 하는 비강압적 3차원 얼굴 데이터 획득 시스템.
제 1 항에 있어서, 상기 메인 프로세서(30)는 상기 2대의 카메라(10,10')를 통해 획득한 사용자의 2D 좌우 얼굴 영상에서 추출한 얼굴 영역에서 직선 조명 패턴을 검출한 다음 검출된 직선을 세선화한 후, 상기 얼굴 영역에서 등극선과 직선 조명 패턴이 교차하는 교점을 대응점으로 찾아낸 다음, 이 대응점을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량(triangulation) 기법으로 사용자의 3차원 얼굴 데이터를 획득하는 것을 특징으로 하는 비강압적 3차원 얼굴 데이터 획득 시스템.
제 3 항에 있어서, 상기 메인 프로세서(30)는 획득한 3차원 얼굴 데이터에 대하여 3차원 얼굴 데이터의 표면 질감을 표현하는 화상, 즉 텍스쳐(texture)을 첨부하는 텍스쳐 매핑(texture mapping)을 수행하여 사용자의 얼굴 영상을 복원하는 것을 특징으로 하는 비강압적 3차원 얼굴 데이터 획득 시스템.
라인 레이저(line laser)(20)로 사용자의 눈에 거부감이 없는 근적외선을 이용한 직선 조명 패턴을 사용자의 얼굴 정면 방향을 기준으로 특정 회전 각도 범위에서 좌에서 우로 혹은 우에서 좌로 투사하는 제1과정(S100)과;

상기 직선 조명 패턴이 투사되는 동안 2대의 카메라(10,10')로 사용자, 즉 얼굴 데이터 획득 대상자에 대한 가시광선과 근적외선 대역의 2D 좌우 얼굴 영상을 획득하는 제2과정(S110);

메인 프로세서(30)에서 상기 2대의 카메라(10,10')로 획득한 사용자의 2D 좌우 얼굴 영상에서 얼굴 영역을 검출하는 제3과정(S120);

메인 프로세서(30)에서 검출한 얼굴 영역에서 직선 조명 패턴을 검출하는 제4과정(S130);

메인 프로세서(30)에서 얼굴 영역에서 등극선과 직선 조명 패턴이 교차하는 교점이 1:1로 정합되도록 검출된 직선을 세선화하는 제5과정(S140);

메인 프로세서(30)에서 검출된 직선 전체에 대한 세선화가 완료된 얼굴 영역에서 등극선과 직선 조명 패턴이 교차하는 교점을 대응점으로 찾아내는 제6과정(S150); 및

메인 프로세서(30)에서 찾아낸 대응점을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량(triangulation) 기법으로 사용자의 3차원 얼굴 데이터를 획득하는 제7과정(S160);

으로 이루어지는 것을 특징으로 하는 비강압적 3차원 얼굴 데이터 획득 방법.
제 5 항에 있어서, 상기 제1과정(S100)에서는 상기 직선 조명 패턴을 사용자의 얼굴 정면 방향을 기준으로 -45°∼+45°의 회전 각도 범위로 좌에서 우로 혹은 우에서 좌로 투사하는 것을 특징으로 하는 비강압적 3차원 얼굴 데이터 획득 방법.
제 5 항에 있어서, 상기 제7과정(S160)에서는 획득한 3차원 얼굴 데이터에 대하여 3차원 얼굴 데이터의 표면 질감을 표현하는 화상, 즉 텍스쳐(texture)을 첨부하는 텍스쳐 매핑(texture mapping)을 수행하여 사용자의 얼굴 영상을 복원하는 것을 특징으로 하는 비강압적 3차원 얼굴 데이터 획득 방법.
사용자, 즉 얼굴 데이터 획득 대상자에 대한 가시광선과 근적외선 대역의 2D 얼굴 영상을 획득하는 1대의 카메라(10)와;

사용자의 눈에 거부감이 없는 근적외선을 이용한 격자무늬 조명 패턴을 사용자의 얼굴로 투사하는 격자무늬 레이저(20'); 및

상기 1대의 카메라(10)의 촬영 작동과 상기 격자무늬 레이저(20')의 격자무늬 조명 패턴 투사 작동을 제어하며, 상기 1대의 카메라(10)를 통해 격자무늬 조명 패턴이 투사되는 사용자의 2D 얼굴 영상을 획득하면, 사용자의 2D 얼굴 영상의 등극선과 격자무늬 조명 패턴이 교차하는 교점을 대응점으로 찾아내고 이 대응점을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량(triangulation) 기법으로 사용자의 3차원 얼굴 데이터를 획득하는 메인 프로세서(30');

로 구성되는 것을 특징으로 하는 비강압적 3차원 얼굴 데이터 획득 시스템.
제 8 항에 있어서, 상기 메인 프로세서(30')는 획득한 3차원 얼굴 데이터에 대하여 3차원 얼굴 데이터의 표면 질감을 표현하는 화상, 즉 텍스쳐(texture)을 첨부하는 텍스쳐 매핑(texture mapping)을 수행하여 사용자의 얼굴 영상을 복원하는 것을 특징으로 하는 비강압적 3차원 얼굴 데이터 획득 시스템.
제 8 항에 있어서, 상기 메인 프로세서(30')는 상기 1대의 카메라(10)를 통해 획득한 사용자의 2D 얼굴 영상에서 추출한 얼굴 영역에서 등극선과 격자무늬 조명 패턴이 교차하는 교점을 대응점으로 찾아낸 다음, 이 대응점을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량(triangulation) 기법으로 사용자의 3차원 얼굴 데이터를 획득하는 것을 특징으로 하는 비강압적 3차원 얼굴 데이터 획득 시스템.
격자무늬 레이저(20)로 사용자의 눈에 거부감이 없는 근적외선을 이용한 격자무늬 조명 패턴을 사용자의 얼굴로 투사하는 제1과정(S200)과;

상기 격자무늬 조명 패턴이 투사되는 동안 1대의 카메라(10)로 사용자, 즉 얼굴 데이터 획득 대상자에 대한 가시광선과 근적외선 대역의 2D 얼굴 영상을 획득하는 제2과정(S210);

메인 프로세서(30')에서 상기 1대의 카메라(10)로 획득한 사용자의 2D 얼굴 영상에서 얼굴 영역을 검출하는 제3과정(S220);

메인 프로세서(30')에서 검출한 얼굴 영역에서 등극선과 격자무늬 조명 패턴이 교차하는 교점을 대응점으로 찾아내는 제4과정(S230); 및

메인 프로세서(30')에서 찾아낸 대응점을 이용하여 3차원 공간 상의 좌표를 복원하는 삼각 측량(triangulation) 기법으로 사용자의 3차원 얼굴 데이터를 획득하는 제5과정(S240);

으로 이루어지는 것을 특징으로 하는 비강압적 3차원 얼굴 데이터 획득 방법.
제 11 항에 있어서, 상기 제5과정(S240)에서는 획득한 3차원 얼굴 데이터에 대하여 3차원 얼굴 데이터의 표면 질감을 표현하는 화상, 즉 텍스쳐(texture)을 첨부하는 텍스쳐 매핑(texture mapping)을 수행하여 사용자의 얼굴 영상을 복원하는 것을 특징으로 하는 비강압적 3차원 얼굴 데이터 획득 방법.