KR20110071213A - 스테레오 비젼과 얼굴 검출기를 이용한 3ｄ 아바타 얼굴 생성 장치 및 그 방법 - Google Patents

스테레오 비젼과 얼굴 검출기를 이용한 3ｄ 아바타 얼굴 생성 장치 및 그 방법 Download PDF

Info

Publication number
KR20110071213A
KR20110071213A KR1020090127717A KR20090127717A KR20110071213A KR 20110071213 A KR20110071213 A KR 20110071213A KR 1020090127717 A KR1020090127717 A KR 1020090127717A KR 20090127717 A KR20090127717 A KR 20090127717A KR 20110071213 A KR20110071213 A KR 20110071213A
Authority
KR
South Korea
Prior art keywords
image
face
avatar
user
depth map
Prior art date
Application number
KR1020090127717A
Other languages
English (en)
Inventor
장지호
조재일
임을균
황대환
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090127717A priority Critical patent/KR20110071213A/ko
Priority to US12/973,326 priority patent/US20110148868A1/en
Publication of KR20110071213A publication Critical patent/KR20110071213A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5252—Changing parameters of virtual cameras using two or more virtual cameras concurrently or sequentially, e.g. automatically switching between fixed virtual cameras when a character changes room or displaying a rear-mirror view in a car-driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A63F2300/695—Imported photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

3D 아바타 얼굴 생성 장치 및 그 방법이 개시된다. 이 3D 아바타 생성 장치는 사용자의 좌/우측 영상을 입력받고, 얼굴검출 알고리즘을 이용하여 상기 좌/우측 영상으로부터 사용자의 얼굴 영상을 검출하는 얼굴 검출부; 상기 사용자의 좌/우측 영상을 입력받고, 상기 좌/우측 얼굴 영상의 양안차(disparity)를 이용한 스테레오 매칭 과정을 통해 깊이지도(depthmap) 영상을 생성하는 스테레오 매칭부; 양방향 필터링(Bilateral filtering) 과정을 통해 상기 검출된 얼굴 영상을 어브스트렉션(Abstraction)하는 양방향 필터부; 및 상기 어브스트렉션된 얼굴 영상을 상기 생성된 깊이지도 영상에 텍스처 매핑하여 3차원의 아바타를 생성하는 텍스처 매핑부를 포함한다.

Description

스테레오 비젼과 얼굴 검출기를 이용한 3Ｄ 아바타 얼굴 생성 장치 및 그 방법{APPARATUS AND METHOD FOR 3D FACE AVATAR RECONSTRUCTION USING STEREO VISION AND FACE DETECTION UNIT}
본 발명은 3D 아바타 얼굴 생성 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는, 스테레오 비전 시스템과 얼굴 검출기를 이용하여 3D 아바타의 얼굴을 생성하는 3D 아바타 얼굴 생성 장치 및 그 방법에 관한 것이다.
본 발명은 지식경제부 IT원천기술개발 사업의 일환으로부터 도출된 것이다.[과제번호: 2008-F-037-01, 과제명: u-로봇 HRI 솔루션 및 핵심 소자 기술 개발]
근래의 3D게임이나 웹상에서 자신을 특징 있는 캐릭터로 표현하는 아바타가 많이 사용되고 있다. 종래에는 컨텐츠를 제공하는 회사에서 제공하는 몇 가지의 조합으로서 아바타를 생성하였다. 그러나 최근에는 사용자의 사진이나 신체정보를 입력하여 아바타를 생성하는 등 좀 더 사용자와 유사한 아바타를 만드는 방법이 개발되었으며, 이를 이용하여 게임에서 사용되는 캐릭터나, 웹상에 게시할 수 있는 아바타 모델 또는 영상 전화를 이용하는데 있어서 보여줄 영상 등을 만들게 된다.
종래의 아바타를 생성하는 방법에는 다음과 같은 방법들이 있다.
먼저, 사용자의 사진을 이용하여 아바타를 생성하는 방법이 있다. 이 방법에서는, 별도의 전문 디자이너가 2D 실사 사진을 이용하여 아바타를 제작하는 방법이다. 이와 같은 방법에서는 사용자의 요구를 디자이너가 적절히 반영할 수 있으나 많은 시간과 비용이 요구된다.
또 다른 방법에는, 실사 사진과 사람의 체형 정보를 입력받아서 미리 저장된 기본 체형의 3D 아바타를 이용하여 생성하는 방법과 사진으로부터 특징점을 찾아서 데이터베이스에서 가장 유사한 얼굴의 조합을 이용하여 아바타를 만드는 방법이 있다. 이 방법의 경우, 시간과 비용을 절약할 수 있 수 있지만, 사용자와 유사하지 않은 아바타가 생성되는 경우가 빈번하다.
또 다른 방법에는, 3D 스캐너를 이용하여 아바타를 생성하는 방법이 있다. 이 방법의 경우, 고가의 3D 스캐너가 필요하며, 일반 사용자가 사용하기엔 무리가 있으며, 특히 휴대폰 영상 통화와 같이 실시간으로 변경이 필요한 경우에는 적합하지 않다.
따라서 본 발명의 목적은 많은 시간과 비용이 요구되지 않으며, 사용자와 최대한 유사하고, 실시간으로 3D 아바타를 생성할 수 있는 3D 아바타 얼굴 생성 장치를 제공하는 데 있다.
본 발명의 다른 목적은 상기 장치를 이용한 3D 아바타 얼굴 생성방법을 제공하는 데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 3D 아바타 얼굴 생성 장치는, 사용자의 좌/우측 영상을 입력받고, 얼굴검출 알고리즘을 이용하여 상기 좌/우측 영상으로부터 사용자의 얼굴 영상을 검출하는 얼굴 검출부와, 상기 사용자의 좌/우측 영상을 입력받고, 상기 좌/우측 얼굴 영상의 양안차(disparity)를 이용한 스테레오 매칭 과정을 통해 상기 좌/우측 얼굴 영상으로부터 깊이지도(depthmap) 영상을 생성하는 스테레오 매칭부와, 양방향 필터링(Bilateral filtering) 과정을 통해 상기 검출된 얼굴 영상을 어브스트렉션(Abstraction)하는 양방향 필터부 및 상기 어브스트렉션된 얼굴 영상을 상기 생성된 깊이지도 영상에 텍스처 매핑하여 3차원의 아바타를 생성하는 텍스처 매핑부를 포함한다.
본 발명의 다른 일면에 따른 3D 아바타 얼굴 생성 방법은, 얼굴검출 알고리즘을 이용하여 사용자의 좌/우측 영상으로부터 사용자의 얼굴 영상을 검출하는 단계와, 상기 사용자의 좌/우측 영상을 입력받고, 상기 좌/우측 얼굴 영상의 양안 차(disparity)를 이용한 스테레오 매칭 과정을 통해 상기 좌/우측 얼굴 영상으로부터 깊이지도(depthmap) 영상을 생성하는 단계와, 양방향 필터링(Bilateral filtering) 과정을 통해 상기 검출된 얼굴 영상을 어브스트렉션(Abstraction)하는 단계 및 상기 어브스트렉션된 얼굴 영상을 상기 생성된 깊이지도 영상에 텍스처 매핑하여 3차원의 아바타를 생성하는 단계를 포함한다.
본 발명에 의하면, 기존의 기술보다 모바일 기기에 적합하며, 어브스트렉션(Abstration)된 영상을 깊이지도 영상에 텍스처 매핑 함으로서, 데이터베이스를 사용하는 아바타 생성방법에 비해서 사용자와 매우 유사한 3D 아바타를 생성할 수 있고, 어브스트렉션 레벨(Abstraction level)에 따라서 사용자가 원하는 정도의 3D 얼굴 아바타를 획득할 수 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 발명은 앞서 언급한 문제들 해결하고 사용자가 휴대할 수 있는 휴대폰이나 노트북 같은 단말기기에서도 사용이 용이하도록 하기 위하여 스테레오 매칭 기술, 얼굴 검출 기술, 양방향 필터링(Bilateral filtering)와 같은 Abstraction 기술을 이용하여 사용자가 실시간으로 자신의 얼굴을 이용한 아바타 제작을 가능하게 한다.
스테레오 매칭 알고리즘은 두 개의 평행한 좌우 카메라 영상을 이용하여 영상의 깊이지도(depth map)을 얻어내는 기술이다. 영상의 깊이지도는 픽셀단위의 거리정보로 환산이 가능하며, 레이저 파인더나 기타 3D 스캐너에 비해서 그 구성이 간단하며, 전력소모량도 작은 장점이 있다.
얼굴 검출기는 카메라로부터 입력되는 영상 정보를 이용하여 영상 내부에 존재하는 사람 패턴을 검출하는 것으로, 카메라로부터 얻어진 실내외의 다양한 상황에 대한 영상 정보로부터 여러 영상 처리 기법을 이용하여 얼굴들을 효과적으로 검출하게 된다.
Bilateral filter의 경우, 주어지는 파라미터에 따라서 영상을 어브스트렉션(Abstraction)화함으로써, 만화화된 결과를 얻을 수 있다. 본 발명에서는 이를 이용하여 사용자가 파라미터를 조정하여 실사에 가까운 아바타뿐만 아니라 만화화된 3D 얼굴 아바타도 생성할 수 있다.
본 발명은 위와 같은 기술들을 응용하여 기존의 기술들이 포터블 기기(휴대폰, 넷북, 노트북)등에서 아바타를 실시간으로 만들기 어렵거나 사용자의 요구에 따라가지 못했던 점들을 개선한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 3D 아바타 얼굴 생성 장치를 나타내는 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 3차원 아바타 얼굴 생성 장치(100)는 사용자의 얼굴 형상이 포함된 좌/우측 영상을 입력받고, 상기 좌/우측 영상을 이용하여 3차원 아바타(face avatar)를 생성한다. 이를 위하여 상기 3차원 아바타 얼굴 생성 장치(100)는 상기 좌/우측 영상을 생성하는 영상 획득부(101), 얼굴 검출부(102), 스테레오 매칭부(103), 양방향 필터부(104), 깊이지도 보정부(105: Depthmap Refinement Unit), 정렬부(106) 및 텍스쳐 매핑부(107: Texture mapping)를 포함하고, 상기 텍스쳐 매핑부(107)에 의해 생성된 상기 3차원 아바타를 표시하는 디스플레이 유닛(108)을 더 포함한다.
상기 영상 획득부(101)는 평행하게 정렬된 좌측 카메라와 우측 카메라(101A, 101B)를 포함한다. 상기 좌측 카메라(101A)에 의해 사용자의 좌측 얼굴 영상이 획득되고, 상기 우측 카메라(101B)에 의해 사용자의 우측 얼굴 영상이 획득된다. 획득된 상기 좌/우측 얼굴 영상은 상기 얼굴 검출부(102)와 상기 스테레로 매칭부(103)로 각각 전달된다. 상기 좌/우측 카메라(101A, 101B) 각각은 CMOS 카메라 또는 CCD 카메라로 구현될 수 있지만, 사용자의 얼굴을 촬영할 수 있는 모든 종류의 촬상 수단으로 구현될 수도 있다.
상기 얼굴 검출부(102)는 상기 좌/우측의 얼굴 영상 중 어느 하나의 영상으로부터 얼굴 영역을 검출하거나, 상기 좌/우측의 얼굴 영상 모두로부터 얼굴영역을 검출한다. 상기 얼굴 검출부(102)는 아다부스트 기법과 같은 얼굴 검출 알고리즘을 통해 상기 얼굴 영역을 검출할 수 있다. 상기 얼굴 검출부(102)는 상기 검출된 얼굴영역의 범위 값(예컨대, 얼굴영역에 포함된 모든 픽셀 좌표)과 영상 정보(예컨대, 얼굴영역에 포함된 모든 픽셀 좌표의 계조값들 등)를 양방향 필터부(104)로 전달한다.
상기 스테레오 매칭부(103)는 상기 좌/우측 영상을 입력받고, 상기 좌/우측 얼굴 영상의 픽셀 간 양안차(disparity)를 이용하는 스테레오 매칭 알고리즘을 통해 전체 이미지에 대한 깊이 지도(depth map) 영상을 생성한다. 이때, 상기 스테레오 매칭부(103)로 입력되는 영상이 사람의 얼굴만 포함된 좌우 얼굴 영상이 아닌 사람의 전체 형상이 포함된 좌우 영상이므로, 스테레오 매칭 연산을 수행하는 과정에서 계산량이 많으므로, 경우에 따라서 상기 얼굴 검출부(102)에서 검출된 좌/우측 얼굴 영상에 대해서만 스테레오 매칭 과정이 수행될 수도 있다.
상기 양방향 필터부(104: Bilateral filter)는 상기 얼굴 검출부(102)로부터 검출된 얼굴 영상을 양방향 필터링 하여, 사용자의 얼굴을 추상화(Abstraction 또는 Cartoonize)시킨다. 이때 추상화시키는 과정에서 요구되는 파라미터는 사용자에 의해 입력된다. 상기 양방향 필터부(104)는 비선형 필터로서 출력값이 입력의 적응적 평균에 의해 나타난다. 잡음이 섞인 입력 영상이 들어왔을 때 잡음을 제거하기 위해 저역 필터인 가우시안 함수를 사용한다. 이때 입력 영상에서 주변 이웃 화소와의 밝기값의 차를 입력으로 하는 강도기반 에지 스톱 함수를 거리기반 가우시안 필터 계수의 가중치로 사용한다. 즉 밝기 값의 차이가 크고, 에지 성분이 있는 부분에 대해서는 가우시안 필터 계수의 가중치를 낮게 해서 에지가 흐려지는 것을 막고, 밝기 값의 차이가 작은, 평탄면에 대해서는 가중치를 크게 하여 잡음을 제거하게 된다. 상기 양방향 필터부(104)에서는 사용자에 의해 입력되는 파라미터에 따라서 실사에 유사한 필터링 처리가 가능하다. 즉, 추상화의 정도를 나타내는 Abstraction level의 선택이 가능하다.
상기 깊이지도 보정부(105: Depthmap Refinement Unit)는 상기 스테레오 매칭부(103)로부터 얼굴 영역에 해당하는 깊이지도 영상을 전달받고, 상기 깊이지도 영상에 포함된 노이즈 성분이나 오차를 줄이기 위한 보정 과정을 수행한다.
상기 양방향 필터부(104)와 상기 깊이지도 보정부(105) 를 통해서 획득된 영상 정보는 추출과정 또는 여러 가지 요인으로 인해서 정렬과정이 요구된다. 이러한 정렬 과정을 수행하기 위해 상기 정렬부(106: position reallocation)는 상기 깊이지도 보정부(105)로부터의 보정된 깊이지도 영상의 특징점과 상기 양방향 필터링부(104)로부터의 필터링된 얼굴 영상의 특징점을 추출하여, 상기 두 영상이 1:1 매칭되도록 재정렬한다.
상기 텍스쳐 맵핑부(107)는 재정렬된 얼굴 영상(양방향 필터링된 얼굴 영상)과 상기 깊이지도 영상을 입력받고, 상기 길이지도 영상에 포함된 깊이지도 정보에 근거하여 상기 재정렬된 얼굴 영상으로부터 3차원 지도를 구성한다. 이후, 상기 텍스쳐 맵핑부(107)는 상기 구성된 3차원 지도에 얼굴 영상의 색상값을 텍스처로서 입히는 텍스처 매핑을 수행한다. 즉, 상기 텍스처 매핑부(107)에서는, 사실감을 높이기 위하여 상기 구성된 3차원 지도에 상기 색상값을 입히는 텍스처 매핑을 수행하여, 얼굴 영상의 눈, 코, 입, 얼굴 외곽의 특징이 반영된, 3차원 아바타를 생성한다. 생성된 3차원 아바타는 상기 디스플레이 유닛(108)에 의해 사용자에게 디스플레이된다.
지금까지 설명한 각 구성들(101, 102, 103, 104, 105, 106, 107)은 응용에 따라 실시간성이 보장되어야 하는 경우, 하드웨어나 GPU 등의 액셀레이터를 사용하여 구현될 수 있다. 다만, 상기 각 구성들(101, 102, 103, 104, 105, 106, 107)은 실시간의 처리가 요구되지 않는 경우에는 소프트웨어 방식으로 구현될 수도 있으며, 즉, 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장되는 프로그램 형태로 구현될 수 있다.
도 2는 본 발명의 일실시예에 따른 3D 아바타 얼굴 생성 방법을 보여주는 순서도이다.
도 2를 참조하면, 먼저, 스테레오 매칭 과정을 수행하기 위하여, 평행으로 정렬된 좌/우 두 개의 카메라부터 좌/우측 영상이 획득된다(S101).
이어, 좌/우 영상 중 어느 하나 또는 양측 영상 모두로부터 다양한 얼굴 검출 알고리즘에 근거하여 얼굴영역이 추출되며(S102), 상기 추출된 얼굴 영역은 양방향 필터링 과정에 의해 추상화(Abstraction 또는 Cartoonize)된다(S104). 또한 상기 좌/우 영상의 양안차를 이용한 스테레오 매칭 알고리즘을 통해 깊이지도(Depthmap)가 생성되며(S103), 이때 생성된 깊이지도의 노이즈 성분이나 오차를 줄이기 위한 상기 깊이지도에 대한 필터링 과정이 수행된다(S105). 한편, 상기 양방향 필터링 과정에서는 사용되는 파라미터에 따라서 실사에 가까운 필터링 처리가 가능하다. 즉, 사용되는 파라미터에 따라 Abstraction level이 선택적으로 가능하다.
상기 과정들(S104, S105)에서 획득된 영상정보들(추상화된 얼굴 영상과 노이즈 제거된 깊이지도 영상)은 그 추출과정이나 여러 가지 요인으로 인해서 픽셀의 재정렬을 요구한다. 따라서, 각 영상 정보들로부터 특징점을 추출하여, 두 영상정보(추상화된 얼굴 영상과 노이즈 제거된 깊이지도 영상)이 1:1 매칭이 되도록 조정하는 재정렬과정이 수행된다(S106).
이후, 상기 추상화된 얼굴 영상의 색상값을 텍스처로서 재정렬된 상기 깊이지도 영상에 텍스처 매핑하는 과정이 수행되고(S107), 이 수행 결과로서 3차원 아바타가 생성된다(S108). 이로써, 3차원 아바타를 생성하는 모든 과정이 종료된다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을가진 자에게 있어 본 발명의 기술적 사상이 벗어나지 않는 범위 내에서 여러 가지치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는것이 아니다.
도 1은 본 발명의 일실시예에 따른 3D 아바타 얼굴 생성 장치를 나타내는 블록도이다.
도 2는 본 발명의 일실시예에 따른 3D 아바타 얼굴 생성 방법을 보여주는 순서도이다.

Claims (12)

  1. 사용자의 좌/우측 영상을 입력받고, 얼굴검출 알고리즘을 이용하여 상기 좌/우측 영상으로부터 사용자의 얼굴 영상을 검출하는 얼굴 검출부;
    상기 사용자의 좌/우측 영상을 입력받고, 상기 좌/우측 영상의 양안차(disparity)를 이용한 스테레오 매칭 과정을 통해 상기 좌/우측 영상으로부터 깊이지도(depthmap) 영상을 생성하는 스테레오 매칭부;
    양방향 필터링(Bilateral filtering) 과정을 통해 상기 검출된 얼굴 영상을 어브스트렉션(Abstraction)하는 양방향 필터부; 및
    상기 어브스트렉션된 얼굴 영상을 상기 생성된 깊이지도 영상에 텍스처 매핑하여 3차원의 아바타를 생성하는 텍스처 매핑부
    를 포함하는 3차원 아바타 얼굴 생성 장치.
  2. 제1항에 있어서,
    평행하게 정렬된 좌/우측 카메라를 포함하고, 상기 좌측 카메라에 의해 상기 사용자의 좌측 영상이 획득되고, 상기 우측 카메라에 의해 상기 사용자의 우측 영상이 획득되고, 상기 획득된 좌/우측 영상을 상기 얼굴 검출부 및 상기 스테레오 매칭부로 전달하는 영상 획득부를 더 포함하는 것을 특징으로 하는 3차원 아바타 얼굴 생성 장치.
  3. 제2항에 있어서, 상기 좌/우측 카메라 각각은,
    모바일 기기에 탑재 가능한 씨모스(CMOS) 카메라인 것을 특징으로 하는 3차원 아바타 얼굴 생성 장치.
  4. 제1항에 있어서,
    상기 어브스트렉션된 얼굴 영상의 특징점과 상기 깊이지도 영상의 특징점을 추출하고, 추출된 각 특징점을 1:1 매칭되도록 재정렬하는 정렬부를 더 포함하는 것을 특징으로 하는 3차원 아바타 얼굴 생성 장치.
  5. 제4항에 있어서,
    상기 스테레오 매칭부로부터 상기 깊이지도 영상을 전달받고, 상기 깊이지도 영상에 포함된 노이즈 및 오차를 제거하여 상기 정렬부로 제공하는 깊이지도 보정부를 포함하는 것을 특징으로 하는 3차원 아바타 얼굴 생성 장치.
  6. 제1항에 있어서, 상기 양방향 필터부는 상기 사용자에 의해 입력되는 파라미터에 따라 어브스트렉션 레벨(Abstraction Level)을 결정하고, 상기 결정된 어브스트렉션 레벨에 의해 상기 검출된 얼굴 영상의 어브스트렉션(Abstraction)하는 정도를 조절하는 것을 특징으로 하는 3차원 아바타 얼굴 생성 장치.
  7. 제1항에 있어서,
    상기 얼굴 검출부, 상기 스테레오 매칭부, 상기 양방향 필터부 및 상기 텍스처 매핑부는 하나의 모듈로 구현되는 것을 특징으로 하는 3차원 아바타 얼굴 생성 장치.
  8. 제7항에 있어서, 상기 하나의 모듈은 모바일 기기상에 탑재되는 것을 특징으로 하는 3차원 아바타 얼굴 생성 장치.
  9. 얼굴검출 알고리즘을 이용하여 사용자의 좌/우측 영상으로부터 사용자의 얼굴 영상을 검출하는 단계;
    상기 사용자의 좌/우측 영상을 입력받고, 상기 좌/우측 얼굴 영상의 양안차(disparity)를 이용한 스테레오 매칭 과정을 통해 상기 좌/우측 얼굴 영상으로부터 깊이지도(depthmap) 영상을 생성하는 단계;
    양방향 필터링(Bilateral filtering) 과정을 통해 상기 검출된 얼굴 영상을 어브스트렉션(Abstraction)하는 단계; 및
    상기 어브스트렉션된 얼굴 영상을 상기 생성된 깊이지도 영상에 텍스처 매핑하여 3차원의 아바타를 생성하는 단계
    를 포함하는 것을 특징으로 하는 3차원 아바타 얼굴 생성 방법.
  10. 제9항에 있어서,
    평행하게 정렬된 좌/우측 카메라를 통해 상기 사용자의 좌/우측 영상을 각각 획득하는 단계를 더 포함하는 것을 특징으로 하는 3차원 아바타 얼굴 생성 방법.
  11. 제9항에 있어서, 상기 어브스트렉션된 얼굴 영상의 특징점과 상기 깊이지도 영상의 특징점을 추출하고, 추출된 각 특징점을 1:1 매칭되도록 재정렬하는 단계를 더 포함하는 것을 특징으로 하는 3차원 아바타 얼굴 생성 방법.
  12. 제9항에 있어서, 상기 어브스트렉션 하는 단계는,
    상기 사용자에 의해 입력되는 파라미터에 따라 어브스트렉션 레벨(Abstraction Level)을 결정하는 단계; 및
    상기 결정된 어브스트렉션 레벨에 의해 상기 검출된 얼굴 영상의 어브스트렉션(Abstraction)하는 정도를 조절하는 단계를 포함하는 것을 특징으로 하는 3차원 아바타 얼굴 생성 방법.
KR1020090127717A 2009-12-21 2009-12-21 스테레오 비젼과 얼굴 검출기를 이용한 3ｄ 아바타 얼굴 생성 장치 및 그 방법 KR20110071213A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090127717A KR20110071213A (ko) 2009-12-21 2009-12-21 스테레오 비젼과 얼굴 검출기를 이용한 3ｄ 아바타 얼굴 생성 장치 및 그 방법
US12/973,326 US20110148868A1 (en) 2009-12-21 2010-12-20 Apparatus and method for reconstructing three-dimensional face avatar through stereo vision and face detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090127717A KR20110071213A (ko) 2009-12-21 2009-12-21 스테레오 비젼과 얼굴 검출기를 이용한 3ｄ 아바타 얼굴 생성 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20110071213A true KR20110071213A (ko) 2011-06-29

Family

ID=44150379

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090127717A KR20110071213A (ko) 2009-12-21 2009-12-21 스테레오 비젼과 얼굴 검출기를 이용한 3ｄ 아바타 얼굴 생성 장치 및 그 방법

Country Status (2)

Country Link
US (1) US20110148868A1 (ko)
KR (1) KR20110071213A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101316316B1 (ko) * 2011-12-07 2013-10-08 기아자동차주식회사 스테레오 카메라를 이용한 눈동자 추출 장치 및 그 방법
US8983121B2 (en) 2010-10-27 2015-03-17 Samsung Techwin Co., Ltd. Image processing apparatus and method thereof
US10255689B2 (en) 2016-02-19 2019-04-09 Samsung Electronics, Co., Ltd. Electronic device for selecting image processing technique based on shape and operating method thereof

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012160039A (ja) * 2011-02-01 2012-08-23 Fujifilm Corp 画像処理装置、立体画像印刷システム、画像処理方法およびプログラム
RU2455676C2 (ru) 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
US9007441B2 (en) 2011-08-04 2015-04-14 Semiconductor Components Industries, Llc Method of depth-based imaging using an automatic trilateral filter for 3D stereo imagers
GB2493701B (en) * 2011-08-11 2013-10-16 Sony Comp Entertainment Europe Input device, system and method
US9014463B2 (en) * 2011-11-25 2015-04-21 Kyungpook National University Industry-Academic Cooperation Foundation System for real-time stereo matching
TWI584222B (zh) * 2012-02-17 2017-05-21 鈺立微電子股份有限公司 立體影像處理器、立體影像互動系統、與相關立體影像顯示方法
CN103366354B (zh) * 2012-03-27 2016-09-07 富士通株式会社 用于立体匹配的方法和***
US8977012B2 (en) 2012-10-31 2015-03-10 Google Inc. Image denoising system and method
KR101711684B1 (ko) * 2012-12-14 2017-03-03 한국전자통신연구원 3d 아바타 출력 장치 및 방법
CN103065289B (zh) * 2013-01-22 2016-04-06 清华大学 基于双目立体视觉的四目摄像机正面人脸重建方法
CN103279745B (zh) * 2013-05-28 2016-07-06 东南大学 一种基于半脸多特征融合的人脸识别方法
KR101694300B1 (ko) 2014-03-04 2017-01-09 한국전자통신연구원 3d 개인 피규어 생성 장치 및 그 방법
CN103971408B (zh) * 2014-05-21 2017-05-03 中国科学院苏州纳米技术与纳米仿生研究所 三维人脸模型生成***及方法
CN104408769A (zh) * 2014-11-27 2015-03-11 苏州福丰科技有限公司 基于三维人脸识别的虚拟网络会议方法
CN106469465A (zh) * 2016-08-31 2017-03-01 深圳市唯特视科技有限公司 一种基于灰度和深度信息的三维人脸重建方法
KR101892741B1 (ko) 2016-11-09 2018-10-05 한국전자통신연구원 희소 깊이 지도의 노이즈를 제거하는 장치 및 방법
KR102390184B1 (ko) * 2017-04-26 2022-04-25 삼성전자주식회사 전자 장치 및 전자 장치의 영상 표시 방법
US10607065B2 (en) * 2018-05-03 2020-03-31 Adobe Inc. Generation of parameterized avatars
KR102503939B1 (ko) 2018-09-28 2023-02-28 한국전자통신연구원 얼굴 이미지 비식별화 장치 및 방법
US10817365B2 (en) 2018-11-09 2020-10-27 Adobe Inc. Anomaly detection for incremental application deployments
CN110874851A (zh) * 2019-10-25 2020-03-10 深圳奥比中光科技有限公司 重建人体三维模型的方法、装置、***和可读存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100523742B1 (ko) * 2002-03-26 2005-10-26 김소운 3차원 안경 시뮬레이션 시스템 및 방법
US7242807B2 (en) * 2003-05-05 2007-07-10 Fish & Richardson P.C. Imaging of biometric information based on three-dimensional shapes
US7711179B2 (en) * 2004-04-21 2010-05-04 Nextengine, Inc. Hand held portable three dimensional scanner
WO2006084385A1 (en) * 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system
EP1901225A1 (en) * 2005-05-10 2008-03-19 Olympus Corporation Image processing device, image processing method, and image processing program
US20070080967A1 (en) * 2005-10-11 2007-04-12 Animetrics Inc. Generation of normalized 2D imagery and ID systems via 2D to 3D lifting of multifeatured objects
US8094928B2 (en) * 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
KR100762670B1 (ko) * 2006-06-07 2007-10-01 삼성전자주식회사 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치
EP2087466B1 (en) * 2006-11-21 2020-06-17 Koninklijke Philips N.V. Generation of depth map for an image
US20090128555A1 (en) * 2007-11-05 2009-05-21 Benman William J System and method for creating and using live three-dimensional avatars and interworld operability
EP2263190A2 (en) * 2008-02-13 2010-12-22 Ubisoft Entertainment S.A. Live-action image capture
US8208026B2 (en) * 2009-03-02 2012-06-26 Flir Systems, Inc. Systems and methods for processing infrared images

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8983121B2 (en) 2010-10-27 2015-03-17 Samsung Techwin Co., Ltd. Image processing apparatus and method thereof
KR101316316B1 (ko) * 2011-12-07 2013-10-08 기아자동차주식회사 스테레오 카메라를 이용한 눈동자 추출 장치 및 그 방법
US10255689B2 (en) 2016-02-19 2019-04-09 Samsung Electronics, Co., Ltd. Electronic device for selecting image processing technique based on shape and operating method thereof

Also Published As

Publication number Publication date
US20110148868A1 (en) 2011-06-23

Similar Documents

Publication Publication Date Title
KR20110071213A (ko) 스테레오 비젼과 얼굴 검출기를 이용한 3ｄ 아바타 얼굴 생성 장치 및 그 방법
ES2894728T3 (es) Sistemas y métodos para la regularización de profundidad híbrida
CN107370958B (zh) 图像虚化处理方法、装置及拍摄终端
CN106056562B (zh) 一种人脸图像处理方法、装置及电子设备
Gallo et al. Artifact-free high dynamic range imaging
CN112487921B (zh) 一种用于活体检测的人脸图像预处理方法及***
CN103034330B (zh) 一种用于视频会议的眼神交互方法及***
CN104299220B (zh) 一种对Kinect深度图像中的空洞进行实时填充的方法
CN105763829A (zh) 一种图像处理方法及电子设备
EP2852161A1 (en) Method and device for implementing stereo imaging
EP2064676A1 (en) A method and system for three-dimensional model acquisition
WO2018188277A1 (zh) 视线校正方法、装置、智能会议终端及存储介质
CN101136108A (zh) 阴影绘制方法及渲染装置
CN107622480A (zh) 一种Kinect深度图像增强方法
CN111047678B (zh) 一种三维人脸采集装置和方法
CN111899293B (zh) Ar应用中的虚实遮挡处理方法
CN112102504A (zh) 一种基于混合现实的三维场景和二维图像混合方法
US9940504B2 (en) Method to produce consistent face texture
CN105160635B (zh) 一种基于分数阶微分估计梯度域的图像滤波方法
TWI648985B (zh) 視訊成像方法及其電子裝置
CN107403448A (zh) 代价函数生成方法和代价函数生成装置
WO2020112733A1 (en) Online calibration of 3d scan data from multiple viewpoints
WO2022036338A2 (en) System and methods for depth-aware video processing and depth perception enhancement
Spagnol et al. Automatic extraction of pinna edges for binaural audio customization
CN106954060B (zh) 一种面向智能手机的立体视频生成方法及辅助拍摄装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application