KR20050045774A - 다양한 시점을 갖는 얼굴 영상으로부터의 3차원 얼굴 복원장치 및 방법 - Google Patents

다양한 시점을 갖는 얼굴 영상으로부터의 3차원 얼굴 복원장치 및 방법 Download PDF

Info

Publication number
KR20050045774A
KR20050045774A KR1020030079969A KR20030079969A KR20050045774A KR 20050045774 A KR20050045774 A KR 20050045774A KR 1020030079969 A KR1020030079969 A KR 1020030079969A KR 20030079969 A KR20030079969 A KR 20030079969A KR 20050045774 A KR20050045774 A KR 20050045774A
Authority
KR
South Korea
Prior art keywords
face
information
image
dimensional
shape information
Prior art date
Application number
KR1020030079969A
Other languages
English (en)
Inventor
황본우
여창욱
Original Assignee
(주)버추얼미디어
정보통신연구진흥원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)버추얼미디어, 정보통신연구진흥원 filed Critical (주)버추얼미디어
Priority to KR1020030079969A priority Critical patent/KR20050045774A/ko
Publication of KR20050045774A publication Critical patent/KR20050045774A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

본 발명은 다양한 시점을 갖는 한 장의 얼굴 영상을 입력으로 하여 수동 또는 자동적인 방법으로 얼굴 영상의 대응점을 결정한 후 이를 기반으로 얼굴 전체의 3차원 형태 정보 및 질감 정보를 복원하는 방법으로 입력 영상에 대응하는 3차원 얼굴 영상을 생성하는 방법에 관한 것이다.
본 발명에서는 3차원 얼굴 영상을 3차원 형태 정보와 3차원 질감 정보로 분리하여 따로 저장하고, 다양한 시점을 갖는 입력 얼굴 영상에서 행태 정보와 질감 정보를 각각 독립적으로 복원하며, 이를 다시 합성하여 하나의 3차원 얼굴 영상을 생성하는 방법을 사용한다. 3차원 얼굴 영상을 3차원 형태 정보와 질감 정보로 분리함으로써, 같은 형태를 갖고 있으나 질감은 각기 다른 3차원 얼굴을 합성해내거나, 같은 질감을 갖고 있으면서도 얼굴의 형태는 다른 3차원 얼굴을 합성해 낼 수 있게 된다.
본 발명으로 인해 사용자는 다양한 시점을 갖는 한 장의 얼굴 영상만으로 3차원 얼굴 영상을 복원해 낼 수 있으며, 형태 정보 및 질감 정보를 조절하여 다양한 3차원 얼굴을 합성해 낼 수 있다. 얼굴의 형태 정보 중 각 개인의 고유한 특징을 강조하여 3차원 영상을 재합성함으로써 자신을 대표할 수 있는 3차원 캐릭터 영상을 만들거나, 형태 정보를 조절함으로써 성형수술의 결과를 예측할 수도 있고, 질감 정보를 조절하여 자신의 얼굴에 메이크업이 적용된 결과를 3차원으로 확인할 수도 있다. 3차원 캐릭터 영상의 경우 개인을 대표하는 상징으로 사용될 수 있으며, PC 통신이나 인터넷 메일에서 자신만의 서명(Signature)으로 사용할 수 있고, 게임 등의 가상 현실에서 자기 자신의 고유한 아바타(Avatar)로 활용할 수 있는 등 여러 가지 다양한 산업 분야, 인터넷 통신 또는 오락 분야에 활용이 가능하다.

Description

다양한 시점을 갖는 얼굴 영상으로부터의 3차원 얼굴 복원 장치 및 방법{Apparatus and method for reconstructing 3D face from facial image with various viewpoints}
본 발명은 다양한 시점을 갖는 한 장의 얼굴 영상으로부터 3차원 얼굴을 복원하고 이를 다시 합성하는 장치 및 방법에 관한 것이다.
일반적으로 얼굴 영상은 개인의 특징을 가장 잘 나타낼 수 있으며, 쉽고 자연스러운 매개체로 사용될 수 있다.
이러한 얼굴 영상의 응용 분야로는 출입 통제 및 보안 시스템, 범죄자 검색 및 몽타주 작성 시스템, 컴퓨터 인터페이스, 학술, 애니메이션 및 게임 등이 있다. 컴퓨터 및 네트워크 환경의 발달로 인하여 3차원 얼굴 영상 처리에 대한 관심 및 수요가 증가하고 있으며, 다양한 장비 또는 2차원 영상으로부터 3차원 얼굴을 복원해내는 방법들이 개발되고 있다. 그러나 지금까지의 3차원 얼굴을 생성해내기 위한 장비 또는 방법들은 일반 사용자에게 실용적이지 못하다는 문제점이 지적되고 있다.
3차원 얼굴을 생성하기 위한 가장 간단한 방법인 3차원 스캐너를 이용한 촬영은 고가의 특수 장비 및 촬영 스튜디오 환경이 설정되어있어야 한다는 문제점이 있다.
이러한 장비를 이용하지 않고 2차원 얼굴 영상에서 3차원 정보를 복원하기 위한 방법은 2대 또는 그 이상의 카메라를 얼굴의 사방에 배치하고 동시에 촬영하여 이들의 대응 관계를 추출하여 전체 얼굴의 3차원 정보를 복원하는 방법이 사용되어져 왔다. 그러나 이 방법 역시 여러대의 카메라를 미리 배치하여야 하고 동시에 촬영된 영상을 이용하여야 한다는 제약이 문제점으로 지적되어져 왔다.
본 발명은 상기와 같은 문제를 해결하고 보완하기 위하여 입력된 얼굴 영상과 참조 영상의 대응점 정보를 사용하여 얼굴의 3차원 형태 정보를 복원하고 영상의 명도 또는 색상 정보를 이용하여 3차원 질감 정보를 복원하는 방법으로 입력 영상에 대응되는 3차원 얼굴을 복원해내는 장치 및 방법을 제공한다. 복원된 3차원 얼굴은 3차원 형태 정보와 질감 정보를 조절하여 다양한 3차원 얼굴을 합성하는 사용할 수 있다. 얼굴의 형태 정보 중 각 개인의 고유한 특징을 강조하여 3차원 영상을 재합성함으로써 자신을 대표할 수 있는 3차원 캐릭터 영상을 만들거나, 형태 정보를 조절함으로써 성형 수술의 결과를 예측할 수도 있고, 질감 정보를 조절하여 자신의 얼굴에 메이크업이 적용된 결과를 3차원으로 확인할 수도 있다. 3차원 캐릭터 영상의 경우 개인을 대표하는 상징으로 사용될 수 있으며, PC 통신이나 인터넷 메일에서 자신만의 서명(Signature)으로 사용할 수 있고, 게임 등의 가상 현실에서 자기 자신의 고유한 아바타(Avatar)로 활용할 수 있는 등 여러 가지 다양한 산업 분야, 인터넷 통신 또는 오락 분야에 활용이 가능하다.
이하, 본 발명의 실시 예를 첨부된 도면에 의하여 상세히 설명한다.
도 1은 본 발명의 구성도로, 사용자의 정보와 얼굴 영상 정보를 입력받고 사용자의 요구에 따라 합성된 영상을 전송받아 출력 또는 저장하는 사용자 인터페이스부(1)와, 이 다수개의 사용자 인터페이스부(1)로부터 입력된 영상 및 문자 정보에 따라 영상 정보를 처리하고 합성하여 상기 해당 사용자 인터페이스부(1)로 전송하는 중앙 처리 시스템부(2)로 구성된다.
또한, 상기 사용자 인터페이스부(1)는 카메라, 스캐너 등의 장치로 구성되어 영상 정보를 입력시키는 영상 정보 입력부(3)와 사용자의 입력 제어 신호(예컨데, 사용자 정보, 3차원 얼굴 생성 제어 신호)를 입력시키는 입력 장치부(4)와, 상기 입력 장치부(4)를 통해 입력된 3차원 얼굴 생성 제어 신호를 관리 및 전송하고 기존에 존재하는 모델 얼굴 혹은 자신이 입력한 얼굴 영상을 기반으로 새롭게 합성된 3차원 얼굴 영상 정보를 전송 받아 3차원 얼굴 정보를 관리하는 입력 정보 제어부(5)와, 상기 입력 정보 제어부(5)의 일단에 연결되어 사용자가 입력한 정보를 바탕으로 생성되어진 3차원 얼굴 영상 정보 등의 영상 정보 및 문자 정보 등을 출력 또는 저장하여 주는 영상 정보 저장 및 출력 장치부(6)와, 상기 입력 정보 제어부(5)의 일단에 연결되어 입출력되는 문자 및 영상 정보의 신호를 중앙 처리 시스템부(2)로 전송해주는 통신 장치부(7)로 구성된다.
여기서, 상기 영상 정보 입력부(3)는 예컨대, 얼굴 영상이나 정보를 사용자가 직접 입력할 수 있도록 스캐너, 디스크, 디지털 카메라 등으로 구성 할 수도 있으며, 조명 조절 장치 등의 보조 장치들을 사용할 수도 있다.
상기 입력 장치부(4)는 예컨대 3차원 얼굴 생성 제어 정보를 사용자가 선택하여 입력할 수 있도록 키보드, 마우스, 터치스크린 등을 사용할 수도 있고, 상기 영상 정보 저장 및 출력 장치부(6)는 예컨대, 모니터, 프린터, 디스크, 또는 네트워크 드라이브 등이 사용될 수 있다.
또한, 상기 중앙 처리 시스템부(2)는 상기 사용자 인터페이스부(1)와 네트워크로 연결되어 입출력되는 문자 및 영상 정보 신호를 전송해주는 통신 장치부(8)와, 이 통신 장치부(8)를 경유하여 입력되는 사용자의 문자, 영상 또는 제어 정보에 따른 질의를 분석하여 각 처리 장치부를 통해 사용자 요구 정보 예컨데, 3차원 얼굴 생성이나 생성에 필요한 제어 정보의 산출을 제어하는 중앙연산 처리부(9)와, 상기 중앙연산 처리부(9)의 3차원 얼굴 생성 제어 신호에 따라 영상을 생성하는 영상 정보 처리부(10)와, 상기 영상 정보 처리부(10)에 접속되며 영상 합성에 필요한 3차원 형태 정보데이터베이스부(11) 및 3차원 질감 정보 데이터베이스부(12)로 이루어진다.
상기 중앙연산 처리부(9)는 상기 통신 장치부(8)를 경유하여 입력되는 사용자의 문자, 영상 또는 제어 정보에 따른 질의를 분석하여 각 처리장치부를 통해 사용자 요구 정보 예컨대, 3차원 얼굴 생성이나 생성에 필요한 제어 정보의 산출을 제어하는 데이터 제어부(13)와, 상기 데이터 제어부(13)에 의해 처리된 데이터를 일시 저장하는 임시 버퍼(14)와, 상기 데이터 제어부(12)의 구동 프로그램을 저장하는 롬(15)과, 상기 데이터 제어부(13)의 기능 실행 중 발생된 데이터들을 저장하는 램(16)으로 구성된다.
상기 사용자 인터페이스부(1)와 중앙 처리 시스템부(2)는 각각의 통신 장치부(7,8)와 통신망으로 이어지는 것을 기본으로 하고, 하나의 시스템 내에 통합되어 운영되는 것도 가능하다.
이와 같이 구성된 본 발명의 작용을 설명한다.
본 발명은 도 2에 도시된바와 같이 영상 입력 단계(S1)에서 영상을 입력받는 것을 시작으로 특징점 추출 단계(S2)로 진행하여 얼굴 영상의 특징점을 자동 또는 수동으로 추출하며, 이때 얼굴 영상에서 추출하는 특징점의 예는 도 4과 같다.
특징점 추출 완료 판단 단계(S3)에서는 얼굴 영상의 특징점 추출이 완료되었는지를 판단하고 완료되었을 경우 특징점 정보 부호화/복호화 단계(S4)로 진행하지만, 특징점 추출이 완료되지 않았을 경우에는 특징점 추출단계(S2)로 진행하여 특징점 추출을 계속 수행한다.
다음에 특징점 정보 부호화/복호화 단계(S4)에서는 추출된 특징점 정보를 통신망을 통해 전송할 경우 전송 효율을 높이거나 정보 유출을 방지하기 위 해 압축하거나 암호화하는 부호화 과정과 이를 다시 원래의 특징점 정보로 복원하는 복호화 과정을 수행한다.
특징점 정보 부호화/복호화 단계(S4) 후에는 3차원 얼굴 정보 복원단계(S5)를 수행하여 입력 영상의 특징점 정보로부터 3차원 형태 정보를 복원하고, 입력 영상의 명도 또는 칼라 정보로부터 3차원 질감 정보를 복원한다. 3차원 얼굴 합성 단계(S6)에서는 3차원 형태 정보와 질감 정보의 합성을 수행하게 되고, 이를 통해 하나의 3차원 얼굴을 생성하게 된다.
이와 같이 3차원 얼굴을 얻어낸 후에는 형태 및 질감 정보 변경 판단 단계(S7)로 진행하여 형태 정보 또는 질감 정보의 변경이 필요한지 판단하게 된다.
사용자는 생성된 3차원 얼굴을 기반으로 부분 또는 전체적인 형태 또는 질감 정보의 변경을 요구하게 되고, 형태 또는 질감 정보의 변경이 결정된 경우 이를 적절히 변경한 후 3차원 얼굴 합성 단계(S6)로 진행하여 변경된 형태 정보 및 질감 정보를 사용하여 3차원 얼굴을 재 생성하게 된다.
형태 및 질감 정보 변경 판단 단계(S7) 후에는 액세서리 및 부가 효과 추가 단계(S8)로 진행하여 생성된 3차원 얼굴에 대해 여러 가지 액세서리를 복원된 3차원 얼굴 형태 정보에 기반하여 자동으로 추가할 수 있으며, 기타 다른 부가 효과 또한 추가가 가능하다. 이후, 영상 보정 단계(S9)에서는 사용자가 직접 수동으로 수정하는 등의 영상 보정을 수행하게 되고, 마지막으로 결과 출력 단계(S10)단계에서 생성된 3차원 얼굴을 모니터 또는 프린터 등의 출력 장치로 출력한다.
상기 3차원 얼굴 정보 복원 단계(S5)의 구체적인 사항은 도 3에 도시된 바와 같다.
이 과정은 3차원 얼굴 영상을 여러 가지 3차원 형태 정보들의 선형 중첩으로 표현한다는 전제아래 2차원 얼굴 영상의 특징점에서의 위치 정보만을 가지고 입력된 각각의 얼굴이 갖는 변형의 최적화 된 근사 값을 찾는 과정이라 할 수 있다.
즉, 모든 3차원 얼굴 영상의 참조 3차원 얼굴에 대한 대응 관계가 이미 주어져 있다는 가정에서 얼굴의 3차원 형태 정보는 참조 3차원 얼굴에 대한 변형장(deformation field)으로 부호화 된다.
이때, 3차원 형태 정보 S(x,y,z)는 참조 3차원 영상 위의 점(x,y,z)와의 대응점에 대한 위치 차이 임을 의미한다.
동일한 시점을 갖는 m개의 얼굴에 대한 2차원 얼굴 영상 또는 특징점 정보들과 그에 해당하는 3차원 얼굴의 형태 정보를 하나의 벡터로 나열하고 이들의 평균 를 구한 후 이들과의 차이 와 공분산 행렬 C를 구한다. 이를 바탕으로 주성분 분석(PCA)을 수행하여 얼굴 형태 정보에 대한 고유벡터 si로 이루어진 얼굴 영상의 모형을 구성할 수 있다.
[식 1]
이렇게 구성된 얼굴 모형을 사용하여 2차원 얼굴 영상의 특징점에서의 위치 정보만으로 전체 얼굴의 3차원 형태 정보를 복원하기 위해서 최소 제곱법(Least Square)을 사용한다.
즉, 식 1에서 주어진 2차원 얼굴 영상의 특징점에서의 정보가 완전히 복원 가능해야 하며, 평균 3차원 얼굴 형태 정보에 가까운 조건을 만족하는 α를 찾아내는 것이다.
[식 2]
여기서, x1,…,xn은 추출된 특징점들이며, 기저의 수에 비해 적은 수의 특징점이 추출되기 때문에 n은 (m-1)보다 작다. 식 2를 행렬로 표기하면 다음 식 3과 같다.
[식 3]
[식 4]
즉, α'은 S의 의사 역행렬 S+과 의 행렬 곱으로 나타낼 수 있음을 의미하는데. 결국 식 4로부터 얻어진 α'을 사용하여 식 1에 대입하면 전체 얼굴의 3차원 형태 정보를 복원할 수 있게 된다.
도 3은 본 발명의 3차원 얼굴 정보 복원에 따른 플로우차트를 나타낸 것으로, 의사 역 행렬 계산 단계(S11)에서 위에서 설명한 S의 의사 역행렬을 구하고, 고유벡터 계수 계산 단계(S12)에서 α'를 구한다.
이렇게 얻어진 고유벡터 계수를 사용하여 3차원 형태 정보 복원 단계(S13)에서는 상기 식 1을 이용하여 상기 3차원 형태 정보 데이터베이스(11)에 저장된 고유벡터들과의 곱으로 전체 얼굴의 3차원 형태 정보를 복원하게 된다.
3차원 얼굴의 사용될 전체 질감 정보를 복원하기 위해서는 위의 3차원 형태 정보 복원 방법에서 2차원 얼굴 영상의 특징점의 위치 정보를 특징점상에서의 영상의 명도 또는 색상값으로 치환하고, 3차원 형태 정보를 참조 3차원 영상의 점(x,y,z)와의 위치 차이가 아닌 그 점에 텍스쳐 매핑(Texture Mapping)될 영상의 명도 또는 색상값으로 치환하면 동일한 방법으로 전체 얼굴의 질감 정보를 복원할 수 있다.
현재까지는 입력된 2차원 얼굴 영상의 시점이 정면으로 고정된 경우를 가정하였으나 다양한 시점을 갖는 2차원 얼굴 영상에서도 3차원 얼굴을 복원하기 위해서는 먼저 입력 영상의 시점을 파악하는 것이 중요하다. 다양한 시점의 갖는 입력 영상의 시점을 파악하기 위해서는 우선 자동 또는 수동으로 얼굴의 양쪽 눈과 입의 위치를 파악해내고, 이들의 위치 정보로부터 얼굴의 시점이 회전한 변화 각도를 복원해내는 방법을 사용한다. 즉, 상기 2차원 특징점으로부터 전체 얼굴의 3차원 형태 정보를 복원하는 방법에서 2차원 특징점의 위치 정보를 양쪽 눈과 입의 위치 정보로 치환하고 3차원 형태 정보를 얼굴의 시점이 변화한 각도로 치환하면 동일한 방법으로 얼굴의 시점 변화를 알아낼 수 있게 된다.
시점이 변화된 2차원 얼굴 영상으로부터 3차원 얼굴 정보를 복원하기 위해서는 각각의 시점 별로 상기 3차원 형태 정보 및 질감 정보 복원을 위한 얼굴 모형을 구축한다. 각 시점에 따른 2차원 얼굴 영상은 3차원 얼굴을 해당 시점으로 회전하여 투영하는 방법으로 얻어질 수 있으므로 상황에 따라 얼굴 모형을 먼저 구축하지 않고 먼저 입력 영상의 시점이 결정된 후 그 시점에 해당하는 3차원 얼굴들과 이로부터 투영된 2차원 얼굴 영상을 사용하여 얼굴 모형을 구축하는 방법으로 3차원 정보를 복원할 수도 있다.
3차원 얼굴 합성 단계(S13)에서는 복원된 3차원 형태 정보와 질감 정보를 사용하여 하나의 3차원 얼굴을 생성해낸다. 여기서 3차원 얼굴 합성시 질감 정보 또는 형태 정보를 적절히 변경함으로써 다양한 종류의 새로운 3차원 얼굴 영상을 합성해낼 수 있다.
이상과 같은 본 발명은 다양한 시점을 갖는 2차원 얼굴의 특징점 정보를 기반으로 3차원 얼굴을 복원하고, 3차원 형태 정보 및 질감 정보를 조절하여 다양한 3차원 얼굴 영상을 합성해 낼 수 있어 입력 영상의 상태에 무관하게 자연스럽고 고품질의 3차원 영상을 생성해 낼 수 있으므로 3차원 캐릭터 영상 생성이나 가상 현실에서의 아바타(Avatar) 구현, 가상 성형 및 메이크업 디자인 또는 영화, 애니메이션 및 오락 등 다양한 분야에 활용할 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 따른 다양한 시점을 갖는 얼굴 영상으로부터의 3차원 얼굴 복원 장치의 개략적인 블록구성도.
도 2는 도 1에 도시된 다양한 시점을 갖는 얼굴 영상으로부터의 3차원 얼굴 복원 장치의 바람직한 실시 예를 통하여 동작 과정을 설명하기 위한 플로우차트.
도 3은 도 1에 도시된 다양한 시점을 갖는 얼굴 영상으로부터의 3차원 얼굴 복원 장치에서 3차원 얼굴 정보 복원 과정을 설명하기 위한 플로우차트.
도 4는 본 발명의 정면 얼굴에 대한 특징점 예를 나타낸 예시.
＜도면의 주요 부분에 대한 부호의 설명＞
1 : 사용자 인터페이스부 2 : 중앙 처리 시스템부
3 : 영상 정보 입력부 4 : 입력 장치부
5 : 입력 정보 제어부 6 : 영상 정보 저장 및 출력부
7,8 : 통신 장치부 9 : 중앙연산 처리부
10 : 영상 정보 처리부 11 : 3차원형태정보데이터베이스
12 : 3차원질감정보데이터베이스 13 : 데이터 제어부
14 : 임시 버퍼 15 : 롬
16 : 램

Claims (8)

  1. 다양한 시점을 갖는 사용자의 2차원 얼굴 영상을 입력받아 얼굴 영상의 특징점 정보를 기반으로 3차원 얼굴을 생성하는 장치에 있어서, 사용자의 정보와 얼굴 영상 정보를 입력받고 사용자의 요구에 따라 생성된 영상을 전송 받아 출력 또는 저장하는 사용자 인터페이스부와, 상기 다수개의 사용자 인터페이스부로부터 입력된 영상 및 문자 정보에 따라 영상 정보를 처리하고 생성하여 상기 해당 사용자 인터페이스부로 전송하는 중앙 처리 시스템부를 포함하여 구성된 것을 특징으로 하는 다양한 시점을 갖는 얼굴 영상으로부터의 3차원 얼굴 복원 장치.
  2. 제 1항에 있어서, 상기 중앙 처리 시스템부가, 상기 사용자 인터페이스부와 네트워크로 연결되어 입출력되는 문자 및 영상 정보 신호를 전송해주는 통신 장치부와, 상기 통신 장치부를 경유하여 입력되는 사용자의 문자, 영상 또는 제어 정보에 따른 질의를 분석하여 각 처리 장치부를 통해 사용자 요구 정보를 제어하는 중앙연산 처리부와, 상기 중앙연산 처리부의 영상 생성 제어 신호에 따라 3차원 얼굴을 생성하는 영상 정보 처리부와, 상기 영상 정보 처리부에 접속되며, 3차원 얼굴 생성에 필요한 3차원 형태 정보 데이터베이스부와 3차원 질감 정보 데이터베이스부를 포함하여 구성된 것을 특징으로 하는 다양한 시점을 갖는 얼굴 영상으로부터의 3차원 얼굴 복원 장치.
  3. 제 1항에 있어서, 상기 사용자 인터페이스부와 중앙 처리 시스템부가, 각각의 통신 장치부와 통신망으로 연결되고, 하나의 시스템 내에 통합되어 운영되는 것을 특징으로 하는 다양한 시점을 갖는 얼굴 영상으로부터의 3차원 얼굴 복원 장치.
  4. 다양한 시점의 얼굴 영상을 입력받아 자동 또는 수동으로 얼굴의 특징점을 추출하는 단계와, 상기 특징점으로부터 3차원 얼굴 형태 정보를 복원하고, 특징점 상에서의 명도 또는 색상 값으로부터 질감 정보를 복원하여 3차원 얼굴을 생성하는 단계와, 필요할 경우 특징점 정보를 변경하거나 질감 정보를 변경하여 3차원 얼굴을 재합성하는 단계와, 3차원 얼굴의 형태 정보를 이용하여 여러 액세서리 영상을 추가하여 3차원 얼굴을 생성해내는 단계로 이루어지는 것을 특징으로 하는 다양한 시점을 갖는 얼굴 영상으로부터의 3차원 얼굴 복원 방법.
  5. 제 4항에 있어서, 얼굴 특징점 정보로부터 3차원 얼굴 형태 정보 복원시 얼굴의 형태 정보를 3차원 참조 영상과의 변형장(deformation field)으로 모형화하는 단계와, 이들의 특성을 주성분 분석한 후 고유벡터의 선형중첩으로 표현하는 단계와 입력된 2차원 얼굴 영상의 특징점 위치정보만으로 나머지 고유벡터 계수를 예측하는 단계로 전체 얼굴의 3차원 형태 정보를 복원하는 것을 특징으로 하는 다양한 시점을 갖는 얼굴 영상으로부터의 3차원 얼굴 복원 방법.
  6. 제 5항에 있어서, 3차원 얼굴 생성 단계에서 복원된 3차원 얼굴 형태 정보와 다양한 질감 정보를 사용하여 합성함으로서 동일한 형태를 갖고 있으나 서로 다른 종류의 질감을 갖는 3차원 얼굴을 합성해내는 것을 특징으로 하는 다양한 시점을 갖는 얼굴 영상으로부터의 3차원 얼굴 복원 방법.
  7. 제 5항에 있어서, 생성된 3차원 얼굴에 여러 가지 액세서리 추가 단계에서 얼굴의 3차원 형태 정보를 기반으로 추가될 액세서리의 위치 및 크기를 자동적으로 판단하여 이를 영상에 추가하는 것을 특징으로 하는 다양한 시점을 갖는 얼굴 영상으로부터의 3차원 얼굴 복원 방법.
  8. 제 5항에 있어서, 자동 또는 수동으로 얼굴의 양쪽 눈과 입의 위치를 파악해내고, 상기 2차원 특징점으로부터 전체 얼굴의 3차원 형태 정보를 복원하는 방법에서 2차원 특징점의 위치 정보를 양쪽 눈과 입의 위치 정보로 치환하고 3차원 형태 정보를 얼굴의 시점이 변화한 각도로 치환하여 동일한 방법으로 얼굴의 시점을 알아내는 것과 필요할 경우 얼굴 모형을 먼저 구축하지 않고 먼저 입력 영상의 시점이 결정된 후 그 시점에 해당하는 2차원 얼굴 영상 데이터들과 해당하는 3차원 얼굴들을 사용하여 얼굴 모형을 구축하는 방법으로 3차원 정보를 복원하는 것을 특징으로 하는 다양한 시점을 갖는 얼굴 영상으로부터의 3차원 얼굴 복원 방법.
KR1020030079969A 2003-11-12 2003-11-12 다양한 시점을 갖는 얼굴 영상으로부터의 3차원 얼굴 복원장치 및 방법 KR20050045774A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030079969A KR20050045774A (ko) 2003-11-12 2003-11-12 다양한 시점을 갖는 얼굴 영상으로부터의 3차원 얼굴 복원장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030079969A KR20050045774A (ko) 2003-11-12 2003-11-12 다양한 시점을 갖는 얼굴 영상으로부터의 3차원 얼굴 복원장치 및 방법

Publications (1)

Publication Number Publication Date
KR20050045774A true KR20050045774A (ko) 2005-05-17

Family

ID=37245408

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030079969A KR20050045774A (ko) 2003-11-12 2003-11-12 다양한 시점을 갖는 얼굴 영상으로부터의 3차원 얼굴 복원장치 및 방법

Country Status (1)

Country Link
KR (1) KR20050045774A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100719400B1 (ko) * 2005-06-29 2007-05-18 이화여자대학교 산학협력단 영상 시점 합성 방법
KR100742307B1 (ko) * 2005-09-21 2007-07-26 (주)맥서러씨 가상성형용 안면형상 데이터 생성 관리 툴
KR100755457B1 (ko) * 2005-08-16 2007-09-05 홍길철 인터넷 통신망을 이용한 다중 또는 입체 화상 서비스 방법
CN100373395C (zh) * 2005-12-15 2008-03-05 复旦大学 一种基于人脸统计知识的人脸识别方法
KR20160053612A (ko) * 2014-11-05 2016-05-13 삼성전자주식회사 영상 학습 모델을 이용한 영상 생성 방법 및 장치
US10297076B2 (en) 2016-01-26 2019-05-21 Electronics And Telecommunications Research Institute Apparatus and method for generating 3D face model using mobile device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100719400B1 (ko) * 2005-06-29 2007-05-18 이화여자대학교 산학협력단 영상 시점 합성 방법
KR100755457B1 (ko) * 2005-08-16 2007-09-05 홍길철 인터넷 통신망을 이용한 다중 또는 입체 화상 서비스 방법
KR100742307B1 (ko) * 2005-09-21 2007-07-26 (주)맥서러씨 가상성형용 안면형상 데이터 생성 관리 툴
CN100373395C (zh) * 2005-12-15 2008-03-05 复旦大学 一种基于人脸统计知识的人脸识别方法
KR20160053612A (ko) * 2014-11-05 2016-05-13 삼성전자주식회사 영상 학습 모델을 이용한 영상 생성 방법 및 장치
US10297076B2 (en) 2016-01-26 2019-05-21 Electronics And Telecommunications Research Institute Apparatus and method for generating 3D face model using mobile device

Similar Documents

Publication Publication Date Title
Yang et al. Real-time consensus-based scene reconstruction using commodity graphics hardware
US11025882B2 (en) Live action volumetric video compression/decompression and playback
CN113012293B (zh) 石刻模型构建方法、装置、设备及存储介质
US10650570B2 (en) Dynamic local temporal-consistent textured mesh compression
KR100407111B1 (ko) 얼굴 영상의 형태 정보에 기반한 합성 얼굴 영상 생성장치 및 그 방법
CN112837406B (zh) 一种三维重建方法、装置及***
JP2008513882A (ja) ビデオイメージ処理システム及びビデオイメージ処理方法
JP2006107213A (ja) 立体画像印刷システム
WO2022076020A1 (en) Few-shot synthesis of talking heads
WO2018222497A1 (en) Methods and systems for rendering frames of a virtual scene from different vantage points based on a virtual entity description frame of the virtual scene
CN111612878B (zh) 将静态照片制作成三维效果视频的方法及装置
Han et al. PIINET: A 360-degree panoramic image inpainting network using a cube map
JP7505481B2 (ja) 画像処理装置および画像処理方法
Li et al. Hardware‐Accelerated Rendering of Photo Hulls
EP4162691A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
KR20050045774A (ko) 다양한 시점을 갖는 얼굴 영상으로부터의 3차원 얼굴 복원장치 및 방법
CN116630508A (zh) 3d模型处理方法、装置及电子设备
KR20230036543A (ko) 딥러닝 기반 단안 rgb 이미지 3차원 장면 복원 방법 및 장치
Cho et al. Depth image processing technique for representing human actors in 3DTV using single depth camera
CN115004701A (zh) 用于动态图像虚拟化的***和方法
KR100731266B1 (ko) 3차원 입체 영상의 신호 처리 장치 및 방법
Beacco et al. A flexible approach for output‐sensitive rendering of animated characters
US11769299B1 (en) Systems and methods for capturing, transporting, and reproducing three-dimensional simulations as interactive volumetric displays
US20240096041A1 (en) Avatar generation based on driving views
WO2024147274A1 (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
E601 Decision to refuse application
E601 Decision to refuse application
E601 Decision to refuse application