KR20020085669A

KR20020085669A - 3차원 영상의 생성을 위한 2차원 영상의 특징 추출 장치및 그 방법과 그를 이용한 3차원 영상의 생성 장치 및 그방법

Info

Publication number: KR20020085669A
Application number: KR1020010025298A
Authority: KR
Inventors: 한희철; 김현석; 신승영; 김은희; 김갑동
Original assignee: (주)하니존
Priority date: 2001-05-09
Filing date: 2001-05-09
Publication date: 2002-11-16
Also published as: KR100815209B1

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

본 발명은 3차원 영상의 생성을 위한 2차원 영상의 특징 추출 장치 및 그 방법과 그를 이용한 3차원 영상의 생성 장치 및 그 방법에 관한 것임.

2. 발명이 해결하려고 하는 기술적 과제

본 발명은, 이미지 프로세싱(Image Processing) 기법을 이용하여, 3차원 영상의 생성을 위한 2차원 영상(예를 들면, 사람 얼굴의 정면 영상)의 특징점을 추출하는 장치 및 그 방법과 그를 이용한 3차원 영상의 자동 생성 장치 및 그 방법, 그리고 상기 방법들을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하고자 함.

3. 발명의 해결방법의 요지

본 발명은, 2차원 영상의 특징 추출 장치에 있어서, 2차원 영상을 입력받아 필요한 영역을 검출하기 위한 영역 검출 수단; 상기 영역이 검출된 2차원 영상에 대해 잡음을 제거하기 위한 잡음 제거 수단; 상기 잡음이 제거된 2차원 영상을 이진화(Binary)하기 위한 이진화 수단; 상기 이진화된 영상에 대해 라인 세그멘트(Line Segment)를 수행하기 위한 라인 세그멘트 수단; 상기 라인 세그멘트가 수행된 영상에 대해 레이블(Label)을 부여하고, 각 레이블의 크기를 검증(Size Verify)하기 위한 레이블링 및 크기 검증 수단; 및 상기 레이블 크기의 검증이 완료된 영상에 대해, 기하학적인 위치 정보를 이용하여 특징점을 추출하기 위한 특징점 추출 수단을 포함함.

4. 발명의 중요한 용도

본 발명은 영상 생성 시스템 등에 이용됨.

Description

3차원 영상의 생성을 위한 2차원 영상의 특징 추출 장치 및 그 방법과 그를 이용한 3차원 영상의 생성 장치 및 그 방법{The Apparatus and Method for Abstracting Peculiarity of Two-Dimensional Image ＆ The Apparatus and Method for Creating Three-Dimensional Image Using Them}

본 발명은 3차원 영상의 생성을 위한 2차원 영상의 특징 추출 장치 및 그 방법과 그를 이용한 3차원 영상의 생성 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 이미지 프로세싱(Image Processing) 기법을 이용하여, 3차원 영상의 생성을 위한 2차원 영상(예를 들면, 사람 얼굴의 정면 영상)의 특징점을 추출하는 방법과 그를 이용한 3차원 영상의 자동 생성 장치 및 그 방법, 그리고 상기 방법들을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

이하, 본 발명의 설명을 위한 종래의 기술 및 실시예에 있어서는, 사람의 얼굴 영상만을 일례로 들어 설명하였으나, 본 발명이 사람의 얼굴 영상 뿐만 아니라 3차원 영상으로 변형하여 생성하고자 하는 모든 2차원 영상에 적용될 수 있음은 자명할 것이다.

가상현실(Virtual Reality)의 정의는 학자마다 다르지만, 대체로 '컴퓨터로 창조된 인조의 공간(Cyberspace)에서 인간이 현실감을 느끼는 것'이라고 할 수 있다. 이러한 가상현실을 구현하기 위해서는 여러 가지 환경이 갖추어져야 하는데, 그 중 하나가 사물의 3차원적 표현이다.

즉, 실제와 비슷한 효과를 보이기 위해 실제의 세계를 그대로 시뮬레이션 하여야 하며, 이를 위해서는 필연적으로 3차원 그래픽스 기술을 이용하여 사물 및 사람 등을 3차원적으로 모델링(Modeling)하는 과정이 필요하다.

현재 3차원 얼굴 모델링을 하는 방법은, 3차원 스캐너를 이용하는 방법, 3차원 저작 소프트웨어를 이용하여 수작업을 하는 방법, 얼굴의 통계 자료를 이용하여 모델링 하는 방법 및 2차원 영상의 특징을 이용하는 방법으로 나눌 수 있다.

먼저, 3차원 스캐너를 이용하는 방법은, 직접적으로 대상으로부터 모델을 추출하는 방법으로써, 얼굴의 형상을 정확히 표현하기는 하지만 높은 비용과 함께 추출된 데이터를 조작하기 위한 숙련된 기술이 필요하다는 문제점이 있었다.

다음, 3차원 저작 소프트웨어를 이용하여 수작업을 하는 방법은, "쓰리디 맥스(3D MAX)", "마야(Maya)" 등과 같은 3차원 저작 소프트웨어를 이용하여 그림을 그리듯 디자이너가 직접 수작업으로 얼굴 형태를 만드는 방법으로써, 이 또한 많은 숙련된 디자이너가 필요하며, 모델링에 많은 시간이 소요된다는 문제점이 있었다.

그리고, 얼굴의 통계 자료를 이용하여 모델링하는 방법은, 미리 통계를 산출하기 위한 데이터베이스가 구축되어 있어야 하며, 또한, 상기 데이터베이스를 이용해 개인과 유사한 형태의 모델링을 하기 위해서는 그를 위한 전문가가 별도로 필요하다는 문제점이 있었다.

마지막으로 2차원 영상의 특징을 이용하는 방법에 있어서는, 지금까지 얼굴 표정 애니메이션에 적용하기 위한 단순화된 방법만 시도되었기 때문에 개인의 특징을 살려내지 못하는 경우가 많았다는 문제점이 있었다.

상기한 바와 같은 문제점을 해결하기 위하여 제안된 본 발명은, 이미지 프로세싱 기법을 이용하여, 3차원 영상의 생성을 위한 2차원 영상(예를 들면, 사람 얼굴의 정면 영상)의 특징점을 추출하는 장치 및 그 방법과 그를 이용한 3차원 영상의 자동 생성 장치 및 그 방법, 그리고 상기 방법들을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.

도 1a 는 본 발명에 따른 3차원 영상의 생성을 위한 2차원 영상의 특징 추출 장치의 일실시예 구성도.

도 1b 는 본 발명에 따른 3차원 영상의 생성을 위한 2차원 영상의 특징 추출 방법의 일실시예 흐름도.

도 1c 는 본 발명에 따른 3차원 영상의 생성을 위한 2차원 영상의 특징 추출 방법의 일실시예 설명도.

도 2a 는 본 발명에 따른 3차원 영상의 생성 장치의 일실시예 구성도.

도 2b 는 본 발명에 따른 3차원 영상의 생성 방법의 일실시예 상세 흐름도.

* 도면의 주요 부분에 대한 부호의 설명

101 : 영역 검출부 102 : 흑백화부

103 : 가우시안 스무딩 필터 104 : 콘트라스트 조절부

105 : 블록 이진화부 106 : 라인 세그멘트부

107 : 레이블링 및 크기 검증부 108 : 특징점 추출부

상기 목적을 달성하기 위한 본 발명의 장치는, 2차원 영상의 특징 추출 장치에 있어서, 2차원 영상을 입력받아 필요한 영역을 검출하기 위한 영역 검출 수단; 상기 영역이 검출된 2차원 영상에 대해 잡음을 제거하기 위한 잡음 제거 수단; 상기 잡음이 제거된 2차원 영상을 이진화(Binary)하기 위한 이진화 수단; 상기 이진화된 영상에 대해 라인 세그멘트(Line Segment)를 수행하기 위한 라인 세그멘트 수단; 상기 라인 세그멘트가 수행된 영상에 대해 레이블(Label)을 부여하고, 각 레이블의 크기를 검증(Size Verify)하기 위한 레이블링 및 크기 검증 수단; 및 상기 레이블 크기의 검증이 완료된 영상에 대해, 기하학적인 위치 정보를 이용하여 특징점을 추출하기 위한 특징점 추출 수단을 포함하는 것을 특징으로 한다.

또한, 본 발명의 방법은, 영상 생성 시스템에 적용되는 2차원 영상의 특징 추출 방법에 있어서, 2차원 영상을 입력받아 필요한 영역을 검출하는 제 1 단계; 상기 영역이 검출된 2차원 영상에 대해 잡음을 제거하는 제 2 단계; 상기 잡음이제거된 2차원 영상을 이진화(Binary)하는 제 3 단계; 상기 이진화된 영상에 대해 라인 세그멘트(Line Segment)를 수행하는 제 4 단계; 상기 라인 세그멘트가 수행된 영상에 대해 레이블(Label)을 부여하고, 각 레이블의 크기를 검증(Size Verify)하는 제 5 단계; 및 상기 레이블 크기의 검증이 완료된 영상에 대해, 기하학적인 위치 정보를 이용하여 특징점을 추출하는 제 6 단계를 포함하여 이루어진 것을 특징으로 한다.

또한, 본 발명은, 프로세서를 구비한 영상 생성 시스템에, 2차원 영상을 입력받아 필요한 영역을 검출하는 제 1 기능; 상기 영역이 검출된 2차원 영상에 대해 잡음을 제거하는 제 2 기능; 상기 잡음이 제거된 2차원 영상을 이진화(Binary)하는 제 3 기능; 상기 이진화된 영상에 대해 라인 세그멘트(Line Segment)를 수행하는 제 4 기능; 상기 라인 세그멘트가 수행된 영상에 대해 레이블(Label)을 부여하고, 각 레이블의 크기를 검증(Size Verify)하는 제 5 기능; 및 상기 레이블 크기의 검증이 완료된 영상에 대해, 기하학적인 위치 정보를 이용하여 특징점을 추출하는 제 6 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

한편, 상기 다른 목적을 달성하기 위한 본 발명의 장치는, 3차원 영상 생성 장치에 있어서, 기본 모델을 선택하여, 상기 선택된 기본 모델의 각 중요 특징 부위에 파라메터(Parameter) 직선을 설정하고, 상기 설정된 파라메터 직선과 연결되어진 특징 그룹을 설정하기 위한 기본 모델 특징 그룹 설정 수단; 2차원 영상을 입력받아, 그 특징을 추출하기 위한 특징 추출 수단; 상기 추출된 특징점들에 따라상기 설정된 파라메터 직선을 이동시켜, 기본 모델을 변형시키기 위한 모델 변형 수단; 및 상기 변형된 기본 모델에 대해 텍스처 매핑을 수행함으로써 3차원 모델을 생성하기 위한 텍스처 매핑 수단을 포함하는 것을 특징으로 한다.

또한, 본 발명의 방법은, 영상 생성 시스템에 적용되는 3차원 영상 생성 방법에 있어서, 기본 모델을 선택하여, 상기 선택된 기본 모델의 각 중요 특징 부위에 파라메터(Parameter) 직선을 설정하고, 상기 설정된 파라메터 직선과 연결되어진 특징 그룹을 설정하는 제 1 단계; 2차원 영상을 입력받아, 그 특징점을 추출하는 제 2 단계; 상기 추출된 특징점들에 따라 상기 설정된 파라메터 직선을 이동시켜, 기본 모델을 변형시키는 제 3 단계; 및 상기 변형된 기본 모델에 대해 텍스처 매핑을 수행함으로써 3차원 모델을 생성하는 제 4 단계를 포함하여 이루어진 것을 특징으로 한다.

또한, 본 발명은, 프로세서를 구비한 영상 생성 시스템에, 기본 모델을 선택하여, 상기 선택된 기본 모델의 각 중요 특징 부위에 파라메터(Parameter) 직선을 설정하고, 상기 설정된 파라메터 직선과 연결되어진 특징 그룹을 설정하는 제 1 기능; 2차원 영상을 입력받아, 그 특징점을 추출하는 제 2 기능; 상기 추출된 특징점들에 따라 상기 설정된 파라메터 직선을 이동시켜, 기본 모델을 변형시키는 제 3 기능; 및 상기 변형된 기본 모델에 대해 텍스처 매핑을 수행함으로써 3차원 모델을 생성하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

전술한 바와 같이, 이하, 본 발명의 설명을 위한 실시예에 있어서는, 사람의 얼굴 영상만을 일례로 들어 설명하였으나, 본 발명이 사람의 얼굴 영상 뿐만 아니라 3차원 영상으로 변형하여 생성하고자 하는 모든 2차원 영상에 적용될 수 있음은 자명할 것이다.

도 1a 는 본 발명에 따른 3차원 영상의 생성을 위한 2차원 영상의 특징 추출 장치의 일실시예 구성도이며, 도 1b 는 그에 따른 흐름도이고, 도 1c 는 그 각각의 과정의 결과로써 생성되는 영상의 예시도이다.

3차원 영상으로 변형하여 생성하고자 하는 2차원 영상이 무엇인지에 따라 추출하여야 하는 특징은 각각 달라질 것이나, 본 발명의 일실시예에서는 사람의 얼굴 영상을 그 예로 하였으며, 그에 따라, 2차원 영상으로부터 추출하여야 하는 특징들은, 얼굴의 외곽선, 눈의 크기 및 위치, 코의 크기 및 위치, 입의 크기 및 위치로 한정하였다.

상기한 특징들 이외에 광대뼈의 돌출이나 눈썹의 모양 등 여러 가지 요소들이 사람의 인상을 결정짓는데 요소로써 작용될 것이나, 가장 큰 특징적인 것은 위와 같은 4가지 요소라고 한정지었으며, 이는 광대뼈의 경우 현재의 이미지 프로세싱 기술로는 정확한 검출에 어려움이 따르기 때문이며, 눈썹의 경우는 돌출의 크기가 미미함으로써 단순 텍스처 매핑만으로 유사하게 처리할 수 있기 때문이다.

하지만, 위의 4가지 요소 뿐만 아니라, 그 외에 특징이 될만한 요소의 추가와 삭제는 얼마든지 가능할 것이다.

일단 특징점이 결정되면, 도 1a 내지 도 1c 에 도시된 바와 같이, 본 발명에 따른 3차원 영상의 생성을 위한 2차원 영상의 특징을 추출하기 위해서는 먼저 영역 검출부(101)를 통해 얼굴 영역을 검출하여야 하는데(110), 본 발명에서는 이를 위하여 블루스크린을 이용하였다.

물론, 배경이 복잡하거나 단순한 경우에도 종래의 여러 가지 방법을 사용하여 특징점을 검출할 수는 있으나, 최근의 연구에서 조차도 그 인식률이 떨어져 한정된 조건을 이용하는 경우가 많으며, 따라서 본 발명에서는 얼굴의 특징점을 검출하는데 중점을 두기 보다는 한 장의 정면 영상을 이용해 입력 영상과 유사한 3차원 모델링을 하는 것에 중점을 두었기 때문에 블루스크린을 이용한 얼굴 영역 검출 방법을 택하였다.

블루스크린을 사용하기 위해서는 컬러 이미지 프로세싱을 해야 한다.

종래에 널리 사용되고 있는 컬러 스페이스(Color Space)는 RGB 좌표계이지만, RGB 좌표계는 색상 성분과 밝기 성분이 함께 혼용되어 있음으로 인해, 이미지 프로세싱을 수행할 경우, 밝기의 변화가 오인식의 주요 원인이 되고 있다. 그러므로 밝기 성분을 분리하여 사용하는 것이 보다 효과적인데, 밝기 성분과 색상 성분이 분리되어 있는 좌표계로는 YIQ, YUV, HSI가 주로 사용되며, 본 발명의 일실시예에서는 HSI 좌표계를 사용하였다.

다음으로는, 흑백화부(102)에서 상기 얼굴 영역이 검출된 2차원 영상(111)에 대해 흑백화를 수행한다(120).

본 발명에서 사용되는 입력 영상은, 차후 3차원 텍스처 매핑을 위하여 컬러 영상을 입력받지만, 특징점 검출 방법에 있어서는 흑백 영상을 대상으로 하여도 무방하기 때문이다.

그리고, 상기의 흑백화 과정이 완료된 2차원 영상(121)에 대해, 가우시안 스무딩 필터(Gaussian smoothing filter, 103)를 이용해 가우시안 스무딩(Gaussian Smoothing) 과정을 수행한다(130).

상기 가우시안 스무딩 필터(103)는 분산되어 있는 잡음을 제거하는데 있어 매우 효율적인 필터로써, 각 픽셀(pixel)에 각각 다른 웨이트(weight)를 가지고 곱한 다음, 웨이트(weight) 값 전체의 합을 나누는 처리를 수행하여, 일반적으로 흑백값으로 튀는 값을 부드럽게 만들어 준다.

이때, 본 발명에서는, 5*5 크기의 필터를 사용함으로써, 계산 시간과 잡음 제거의 효율성이라는 두 가지 문제를 동시에 해결하고자 하였다.

상기 가우시안 스무딩(Gaussian Smoothing) 과정을 통해 일차 잡음이 제거된 영상(131)은, 다시 콘트라스트(Contrast) 조절부(104)에 의한 콘트라스트 조절 과정을 통해(140) 이차 잡음이 제거된다.

화면의 밝은 부분과 어두운 부분의 밝기 비율을 콘트라스트(Contrast)라 하는데, 콘트라스트가 높은 화상은 피사체의 윤곽이 선명하여 보기 쉬운 화상으로 되는데 콘트라스트가 낮은 화상은 윤곽이 또렷하지 않으므로 보기 쉬운 화상으로 되지 않는다. 즉, 콘트라스트가 낮은 화상은 밝은 부분을 더 밝게, 어두운 부분을 더 어둡게 하는 식으로 변환을 함으로써 콘트라스트를 강조하여 보다 처리하기 쉬운영상으로 변환시킬 수 있다.

다시말해, 얼굴의 특징적인 부분과 특징적이지 않는 부분들은 흑백 영상에서 명확한 대비가 생기므로, 이를 좀 더 강조시켜 인식을 용이하게 할 수 있다.

일반적인 콘트라스트는 다음의 <수학식 1>과 같이 표현된다.

g(x, y) = nf(x, y)

원화상의 위치 (x, y)에 있어 화소의 농도 f(x, y)를 n배하여, 처리 화상의 (x, y)에 있어 농도 g(x, y)로 하고 있다.

화상 데이터는 1화소 8비트의 크기로 다루기 때문에 표현할 수 있는 농도의 범위는 0에서 255까지이다. 그래서 계산의 결과가 255를 넘을 경우에는 계산의 결과에 관계없이 255로 제한하게 된다.

본 발명에서는 이를 약간 변형 시켜 다음의 <수학식 2>와 같은 식을 사용하고 있다.

(x, y) = f(x, y)+( f(x, y)-128)* Cv/128

이는 이진화 시 경계값을 강조시키기 위한 방법으로, 기본적인 처리에서 명암 대비가 낮은 영상은 본 명암보다 어둡게하고 밝은 영상은 더욱 밝게 만들어 주기 위함이다.

즉, 각 픽셀(pixel)의 최대 명암값이 255이므로, 여기에서 중간값인 128을 빼어 원래의 값에 더하게 함으로써, 128일 경우 원래 값을, 128보다 클 경우 가중값을 플러스(+)로, 128보다 작을 경우 가중값을 마이너스(-)로 함으로써 이러한 역할을 하게 된다.

그리고 여기에 Cv라는 파라메터(parameter)를 두어 유동적인 처리를 고려하였으나, 본 발명에서는 이 값을 실험적으로, 90으로 하였다.

상기한 바와 같이, 흑백화 된 영상(121)의 잡음을 줄이기 위하여 본 발명에서는 두가지의 처리를 하였는데, 그 첫번째가 상기 가우시안 스무딩(Gaussian Smoothing) 과정(130)이며, 두번째가 콘트라스트 조절 과정(140)이다.

본 실시예와 같은 사람 얼굴의 영상에서는, 주위 피부와 명암도 면에서 큰 차이가 나며 그 영역이 얼굴의 부분에서 꽤 큰 영역을 차지하므로 전체적으로 스무딩(Smoothing) 처리를 하게 되면 작은 잡음들은 사라지게 되고, 다시 그 영상에 대해 콘트라스트 과정을 수행하면 경계가 부드러워진 각 특징점들을 강조 시켜 주게 된다.

다음, 상기 콘트라스트(Contrast) 과정이 수행된 2차원 영상(141)에 대해, 블록 이진화(Block Binary)부(105)에서는 블록 이진화 과정을 수행한다(150).

이진화(Binary)는, 256 단계의 명도 값을 가지고 있는 흑백 영상에서 임계값을 기준으로 검정색과 흰색을 구분하는 기법으로써, 일반적으로 명암값이 고르게분포되어 있고 화질이 좋은 영상이라면 문제가 없지만, 영상 자체에 손상이 많이 있고 명암 분포가 불규칙한 영상이라면 하나의 임계값으로는 그 영상에 대한 최적의 이진화 영상을 얻을 수 없게 된다.

즉, 기본적인 이진화 기법은 전체의 영상에 대해 하나의 임계값을 사용하므로 그늘진 부분(예를 들어, 턱 밑)의 명암값이 전체 영상의 명암값과 차이가 많이 난다면, 원하는 결과 영상을 얻을 수 없게 된다.

따라서, 부분적인 특징이 강한 영상에 대해서는 각 부분 마다의 임계값을 설정해주어야 하는데, 이를 위해 본 발명의 실시예에서는, 종래의 여러 가지의 개선된 알고리즘 중 블록 이진화(Block Binary) 기법을 사용하였다.

상기 블록 이진화(Block Binary) 기법은, 원하는 크기의 블록을 설정하고 그 블록 마다의 명암값을 고려하여 임계값을 설정하는 방법으로, 각 블록마다 특정한 임계값을 가질 수 있게 함으로써, 사람 얼굴 영상의 경우, 턱 이나 코 아래 등에서 나타나는 그림자 부분을 효과적으로 처리할 수 있다. 즉, 그림자 부분이 자체 블록으로 처리됨으로 전체적인 명암의 영향을 덜 받게 된다.

하지만, 본 발명의 실시예와 같은, 사람 얼굴 영상의 특징점 추출 과정은, 물체의 덩어리를 인지하여 처리하므로 블록 이진화 처리된 영상만으로는 오류가 있을 확률이 많다. 왜냐하면, 이미지 프로세싱의 특성상 1 픽셀(pixel) 정도만 떨어져 있어도, 프로세서는 서로 다른 부분이라고 인식하기 때문이다.

이를 위하여, 상기 블록 이진화된 영상(151)에 대해, 라인 세그멘트(Line Segment)부(106)를 통해 라인 세그멘트 과정을 수행한다(160).

라인 세그멘트(Line Segment) 과정은, 수평적으로 서로 떨어진 라인(Line) A와 B에 대하여, 상기 두 라인의 간격이 정해진 세그멘트 값(Segment Value) 이하일 때 상기 두 라인을 연결하도록 하는 과정으로써, 본 발명에서는 실험상으로 상기 세그멘트 값(Segment Value)을 5로 하였다. 즉, 서로 5 픽셀(pixel) 이하의 거리 차이가 있는 직선들은 서로 연결시키도록 하였다.

이는, 입력영상이 640*480 정도이며, 촬영 거리의 제약을 두었기 때문에 흔히 떨어져 처리되기 쉬운 눈, 코 ,입 등의 주요 특징점들의 최대 거리가 5 픽셀(pixel)을 넘지 않는다는 실험상의 결과 때문이나, 입력영상과 촬영 거리 등의 제반 조건에 따라, 상기 세그멘트 값(Segment Value)은 적당히 조절되어질 수 있을 것이다.

상기 라인 세그멘트 과정이 수행된 영상(161)에 대해, 레이블링 및 크기 검증(Verify Size)부(107)에서는 서로 상하좌우로 떨어져 있는 영역들에 레이블을 매겨 순서화 한 후, 각 레이블의 크기를 검증(Verify Size)하는 기능을 수행한다(170).

상기의 과정을 수행하기 위해서는, 각 레이블에 대한 높이의 최대, 최소값, 길이의 최대, 최소값 등을 정해야 하는데, 본 발명의 실시예에서는 실험에 의해 다음과 같은 조건을 사용하였다.

레이블의 최대 넓이(Max Width) : 20 픽셀(pixel)

레이블의 최소 높이(Min Height) : 5 픽셀(pixel)

레이블의 최대 높이(Max Height) : 100 픽셀(pixel)

레이블의 넓이(길이와 높이를 곱한 값)의 최소값 : 50

레이블의 넓이(길이와 높이를 곱한 값)의 최대값 : 800

상기의 수치들은 640*480의 정면 정지 영상을, 카메라로부터 80cm 떨어진 거리를 기준으로 10cm 이내의 오차를 인정하고 촬영하였을 때, 100명의 실험 대상의 통계치를 구하여 평균적으로 수치화한 것으로, 이러한 과정을 통하여 얻어진 영상이 도 1c 의 171 이다.

상기 영상에 대한 레이블 크기의 검증(Verify Size) 과정(170)을 마치면, 특징점 추출부(108)에 의해, 기하학적인 위치 특징을 이용한 눈, 코, 입의 검출 과정을 수행하게 된다(180).

일반적으로 눈, 코, 입의 검출에 있어서는, 눈을 먼저 찾은 후, 기하학적인 위치 특징을 이용하여 다른 부분을 찾는 방식을 많이 사용하게 되는데, 이는 사람의 얼굴이라는 특수한 환경에서 가장 검출하기 쉬운 부분이 좌우로 대칭을 이루고 있는 눈이며, 이를 찾은 후에는 코, 입의 경우 그 아래에 있다는 위치적인 정보를 이용할 수 있기 때문이다.

눈은 얼굴 상에서 항상 쌍을 이루게 된다는 점을 이용하여, 먼저 하나의 레이블을 선택한 후, 수평 방향으로 크기의 변화가 크게 다르지 않은 레이블의 쌍이 있는지를 검사하여, 있을 경우 이를 눈의 후보로 채택한다.

이러한 방식을 이용할 경우 눈썹과 눈이 구별되지 않기 때문에, 본 발명의 일실시예에서는 이렇게 쌍이 되는 부분들의 가장 최상을 눈썹으로 두었으며, 그 아래쪽 쌍을 눈으로 두었고, 단지 하나의 쌍만이 존재할 경우에는 그것을 눈으로 검출하도록 하였다.

상기의 방법이 가능한 까닭은, 이미 크기 검증(Verify Size) 처리 후 제거된 영상 중, 위에서부터 이러한 쌍을 이루고 있는 부분은 눈썹과 눈일 확률이 가장 높기 때문이다.

이렇게 검출된 눈을 기본으로 하여, 양 눈의 중앙에 위치하며 눈의 아래부분에 위치되는 것을 코라고 인지하도록 하였으며, 그 아래부분에 나타나는 영역을 입으로 검출하였다. 지금과 같은 처리방식에 의할 경우, 눈과 코, 입 사이에 다른 특징적인 부분이 나타날 경우가 거의 없기 때문이다.

상기의 과정을 통하여 얻어진 영상이, 도 1c 의 181, 182 이다.

다음, 마지막으로 얼굴 외곽을 검출하게 되는데(190), 본 발명의 일실시예에서 사용하는 얼굴 외곽 정보는, 크게 사람의 인상을 결정짓는 턱 선 등의 얼굴 외곽이 급격히 변화되는 부분에 대한 정보만 있으면 충분하므로, 검출된 눈의 위치부분에서 수평으로 직선(191의 1)을 그은 후 얼굴 영역의 끝점과 만나는 점(191의 a)으로 그 사람의 전체적인 얼굴 좌우 길이를 알 수 있으며, 검출된 입의 위치 부분에서 수평으로 직선(191의 2)을 그어 얼굴 영역의 끝점과 만나는 점(191의 b), 그리고 입술의 중앙에서 수직으로 직선(191의 3)을 그은 후, 가장 명암도가 높은 부분의 점(191의 c)을 이용하여 얼굴 외곽의 특징을 구할 수 있다.

도 1c 의 191 영상에서, (a)점과 (b)점을 알아내는 것에는 큰 어려움이 없다. 왜냐하면, 이미 블루 스크린을 이용한 전처리 과정에서 얼굴 영역만이 추출되어 있는 상태에서 상기의 각 과정을 수행하므로, 눈과 입의 위치만 검출된다면 그수평 좌표와 얼굴 영역의 끝점의 교점을 찾는 것은 용이하기 때문이다.

하지만 턱선을 찾는 과정에서, 턱과 목 사이의 구분이 잘 안되는 경우가 종종 있기 때문에, 본 발명의 실시예에서는 다음과 같은 처리 과정을 거쳤다.

먼저, 입 영역의 중점을 기준으로 좌우 5 픽셀(pixel)씩, 즉 가로 방향 10 픽셀(pixel)과, 상기 입 영역의 아래부분과 수직으로 얼굴 영역이 끝나는 점을 세로축으로 하는 직사각형 후보 영역을 정한다.

다음, 상기 후보 영역에 대해, 위에서 아래로 가로 축의 합을 구하여 아래와 같은 두가지 조건이 만족될 때, 이를 턱선으로 추정한다.

1) 연결되는 가로축의 합의 차가 2배 이상인 가로축이 존재할 때

2) 이 가로축의 영역이 5 픽셀(pixel) 이상 계속될 때

그리고 머리 위 부분의 끝은 블루 스크린 제거 후 블루 스크린 영역을 검정으로 채운 후 전처리를 하기 때문에, 기본적인 얼굴 영역은 머리를 제외한 부분이 된다. 따라서 이마와 머리카락이 만나는 부분이 머리 위 끝부분으로 지정되는 것이다.

이를 위하여 똑같은 방법으로, 눈 영역 위쪽의 중점에서 좌우로 가로 10 픽셀(pixel)의 가로 축의 합을 구해, 이 값이 이전 값보다 3배 이상 커지는 영역이 5 픽셀(pixel) 이상 계속될 때, 그 첫 가로축을 머리 위 끝부분으로 추정하였다.

도 1c 의 192 영상이, 본 발명의 일실시예에서 사용된 특징점 검출 방법을 이용하여 (a)점과 (b)점을 나타내는 수직선 2개와 (c)점을 나타내는 수평축 1개로 이루어진 사각형으로 나타내어진 얼굴 영역이다.

도 2a 는 본 발명에 따른 3차원 영상의 생성 장치의 일실시예 구성도이며, 도 2b 는 그에 따른 상세 흐름도다.

도 2a 및 도 2b에 도시된 바와 같이, 본 발명에서는 "Parke"에 의해 제안된 얼굴 표정 애니메이션 시스템에 쓰인 파라메터에 기반한 모델의 변형 알고리즘을 이용하여, 기본 얼굴의 형태를 특징점 파라메터에 의해 변화시키는 방법으로 3차원 모델링을 수행하였다.

즉, 기본 모델 특징 그룹 설정부(201)에서 먼저 기본 모델을 선택하고(211), 상기 선택된 기본 모델의 각 중요 특징 부위에 파라메터 직선을 설정하며(212), 상기 파라메터 직선과 연결되어진 특징 그룹을 설정하여(213) 모델에 독립적인 변형 영역을 정한다(210).

입력부(202)를 통해 2차원 영상이 입력되어(221), 특징점 추출부(203)에 의해 도 1a 내지 도 1c 에서 설명한 방법에 따라 특징점이 추출되어지면(222), 모델 변형부(204)에서는 상기 추출된 특징점들을 이용하여 원 특징 파라메터 직선을 이동시키는데(230), 이때, 먼저 특징 파라메터의 변형을 수행한 뒤(231) 다시 그룹 변형을 하게 되며(232), 이러한 파라메터 직선의 변화로 인하여 각 특징 그룹들이 입력 인물과 유사한 특징을 가진 형태로 변형이 된다.

다음, 마지막으로 텍스처 매핑부(205)에서는, 사실감을 높이기 위하여 텍스처 매핑을 수행하여(240), 입력된 2차원 영상의 특징점에 의해 메쉬를 직접 변형함으로써 입력 영상의 눈, 코, 입, 얼굴 외곽의 특징이 반영된, 유사한 3차원 모델을 생성시킨 후, 출력부(206)를 통해 출력한다.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니다.

상기한 바와 같은 본 발명은, 2차원 영상으로부터 3차원 영상을 생성함에 있어, 필요한 특징 정보를 추출할 수 있는 2차원 영상이라면, 단 하나의 영상만으로 3차원 영상을 추출하여 생성하는 것을 가능하게 함으로써, 보다 저렴한 비용과 빠른 속도로 3차원 영상을 생성할 수 있게 하는 효과가 있다.

Claims

2차원 영상의 특징 추출 장치에 있어서,

2차원 영상을 입력받아 필요한 영역을 검출하기 위한 영역 검출 수단;

상기 영역이 검출된 2차원 영상에 대해 잡음을 제거하기 위한 잡음 제거 수단;

상기 잡음이 제거된 2차원 영상을 이진화(Binary)하기 위한 이진화 수단;

상기 이진화된 영상에 대해 라인 세그멘트(Line Segment)를 수행하기 위한 라인 세그멘트 수단;

상기 라인 세그멘트가 수행된 영상에 대해 레이블(Label)을 부여하고, 각 레이블의 크기를 검증(Size Verify)하기 위한 레이블링 및 크기 검증 수단; 및

상기 레이블 크기의 검증이 완료된 영상에 대해, 기하학적인 위치 정보를 이용하여 특징점을 추출하기 위한 특징점 추출 수단

을 포함하는 2차원 영상의 특징 추출 장치.
제 1 항에 있어서,

상기 입력받은 2차원 영상이 컬러(Color) 영상일 경우, 상기 입력받은 2차원 영상에 대한 흑백화를 수행하기 위한 흑백화 수단

을 더 포함하는 2차원 영상의 특징 추출 장치.
영상 생성 시스템에 적용되는 2차원 영상의 특징 추출 방법에 있어서,

2차원 영상을 입력받아 필요한 영역을 검출하는 제 1 단계;

상기 영역이 검출된 2차원 영상에 대해 잡음을 제거하는 제 2 단계;

상기 잡음이 제거된 2차원 영상을 이진화(Binary)하는 제 3 단계;

상기 이진화된 영상에 대해 라인 세그멘트(Line Segment)를 수행하는 제 4 단계;

상기 라인 세그멘트가 수행된 영상에 대해 레이블(Label)을 부여하고, 각 레이블의 크기를 검증(Size Verify)하는 제 5 단계; 및

상기 레이블 크기의 검증이 완료된 영상에 대해, 기하학적인 위치 정보를 이용하여 특징점을 추출하는 제 6 단계

를 포함하는 2차원 영상의 특징 추출 방법.
제 3 항에 있어서,

상기 입력받은 2차원 영상이 컬러(Color) 영상일 경우, 상기 입력받은 2차원 영상에 대한 흑백화를 수행하는 제 7 단계

를 더 포함하는 2차원 영상의 특징 추출 방법.
제 3 항 또는 제 4 항에 있어서,

상기 제 1 단계는,

필요한 영역을 검출하기 위하여 블루 스크린을 이용하는 것을 특징으로 하는 2차원 영상의 특징 추출 방법.
제 3 항 또는 제 4 항에 있어서,

상기 제 2 단계는,

잡음을 제거하기 위하여 가우시안 스무딩(Gaussian Smoothing)과 콘트라스트(Contrast) 조절 기법을 사용하는 것을 특징으로 하는 2차원 영상의 특징 추출 방법.
제 3 항 또는 제 4 항에 있어서,

상기 제 3 단계는,

2차원 영상을 이진화 하기 위하여, 블록 이진화(Block Binary) 기법을 사용하는 것을 특징으로 하는 2차원 영상의 특징 추출 방법.
프로세서를 구비한 영상 생성 시스템에,

2차원 영상을 입력받아 필요한 영역을 검출하는 제 1 기능;

상기 영역이 검출된 2차원 영상에 대해 잡음을 제거하는 제 2 기능;

상기 잡음이 제거된 2차원 영상을 이진화(Binary)하는 제 3 기능;

상기 이진화된 영상에 대해 라인 세그멘트(Line Segment)를 수행하는 제 4 기능;

상기 라인 세그멘트가 수행된 영상에 대해 레이블(Label)을 부여하고, 각 레이블의 크기를 검증(Size Verify)하는 제 5 기능; 및

상기 레이블 크기의 검증이 완료된 영상에 대해, 기하학적인 위치 정보를 이용하여 특징점을 추출하는 제 6 기능

을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
제 8 항에 있어서,

상기 입력받은 2차원 영상이 컬러(Color) 영상일 경우, 상기 입력받은 2차원 영상에 대한 흑백화를 수행하는 제 7 기능

을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
3차원 영상 생성 장치에 있어서,

기본 모델을 선택하여, 상기 선택된 기본 모델의 각 중요 특징 부위에 파라메터(Parameter) 직선을 설정하고, 상기 설정된 파라메터 직선과 연결되어진 특징 그룹을 설정하기 위한 기본 모델 특징 그룹 설정 수단;

2차원 영상을 입력받아, 그 특징을 추출하기 위한 특징 추출 수단;

상기 추출된 특징점들에 따라 상기 설정된 파라메터 직선을 이동시켜, 기본 모델을 변형시키기 위한 모델 변형 수단; 및

상기 변형된 기본 모델에 대해 텍스처 매핑을 수행함으로써 3차원 모델을 생성하기 위한 텍스처 매핑 수단

을 포함하는 3차원 영상 생성 장치.
제 10 항에 있어서,

상기 특징 추출 수단은,

2차원 영상을 입력받아 필요한 영역을 검출하기 위한 영역 검출 수단;

상기 영역이 검출된 2차원 영상에 대해 잡음을 제거하기 위한 잡음 제거 수단;

상기 잡음이 제거된 2차원 영상을 이진화(Binary)하기 위한 이진화 수단;

상기 이진화된 영상에 대해 라인 세그멘트(Line Segment)를 수행하기 위한 라인 세그멘트 수단;

상기 라인 세그멘트가 수행된 영상에 대해 레이블(Label)을 부여하고, 각 레이블의 크기를 검증(Size Verify)하기 위한 레이블링 및 크기 검증 수단; 및

상기 레이블 크기의 검증이 완료된 영상에 대해, 기하학적인 위치 정보를 이용하여 특징점을 추출하기 위한 특징점 추출 수단을 포함하는 것을 특징으로 하는 3차원 영상 생성 장치.
제 11 항에 있어서,

상기 입력받은 2차원 영상이 컬러(Color) 영상일 경우, 상기 입력받은 2차원 영상에 대한 흑백화를 수행하기 위한 흑백화 수단

을 더 포함하는 3차원 영상 생성 장치.
영상 생성 시스템에 적용되는 3차원 영상 생성 방법에 있어서,

기본 모델을 선택하여, 상기 선택된 기본 모델의 각 중요 특징 부위에 파라메터(Parameter) 직선을 설정하고, 상기 설정된 파라메터 직선과 연결되어진 특징 그룹을 설정하는 제 1 단계;

2차원 영상을 입력받아, 그 특징을 추출하는 제 2 단계;

상기 추출된 특징점들에 따라 상기 설정된 파라메터 직선을 이동시켜, 기본 모델을 변형시키는 제 3 단계; 및

상기 변형된 기본 모델에 대해 텍스처 매핑을 수행함으로써 3차원 모델을 생성하는 제 4 단계

를 포함하는 3차원 영상 생성 방법.
제 13 항에 있어서,

상기 제 2 단계는,

2차원 영상을 입력받아 필요한 영역을 검출하는 제 5 단계;

상기 영역이 검출된 2차원 영상에 대해 잡음을 제거하는 제 6 단계;

상기 잡음이 제거된 2차원 영상을 이진화(Binary)하는 제 7 단계;

상기 이진화된 영상에 대해 라인 세그멘트(Line Segment)를 수행하는 제 8 단계;

상기 라인 세그멘트가 수행된 영상에 대해 레이블(Label)을 부여하고, 각 레이블의 크기를 검증(Size Verify)하는 제 9 단계; 및

상기 레이블 크기의 검증이 완료된 영상에 대해, 기하학적인 위치 정보를 이용하여 특징점을 추출하는 제 10 단계를 포함하는 것을 특징으로 하는 3차원 영상 생성 방법.
제 14 항에 있어서,

상기 입력받은 2차원 영상이 컬러(Color) 영상일 경우, 상기 입력받은 2차원 영상에 대한 흑백화를 수행하는 제 11 단계

를 더 포함하는 3차원 영상 생성 방법.
프로세서를 구비한 영상 생성 시스템에,

기본 모델을 선택하여, 상기 선택된 기본 모델의 각 중요 특징 부위에 파라메터(Parameter) 직선을 설정하고, 상기 설정된 파라메터 직선과 연결되어진 특징 그룹을 설정하는 제 1 기능;

2차원 영상을 입력받아, 그 특징을 추출하는 제 2 기능;

상기 추출된 특징점들에 따라 상기 설정된 파라메터 직선을 이동시켜, 기본 모델을 변형시키는 제 3 기능; 및

상기 변형된 기본 모델에 대해 텍스처 매핑을 수행함으로써 3차원 모델을 생성하는 제 4 기능

을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.