KR102009292B1 - 다중 카메라 기반 삼차원 얼굴 복원 장치 및 방법 - Google Patents

다중 카메라 기반 삼차원 얼굴 복원 장치 및 방법 Download PDF

Info

Publication number
KR102009292B1
KR102009292B1 KR1020120050168A KR20120050168A KR102009292B1 KR 102009292 B1 KR102009292 B1 KR 102009292B1 KR 1020120050168 A KR1020120050168 A KR 1020120050168A KR 20120050168 A KR20120050168 A KR 20120050168A KR 102009292 B1 KR102009292 B1 KR 102009292B1
Authority
KR
South Korea
Prior art keywords
image
images
dimensional
camera
depth
Prior art date
Application number
KR1020120050168A
Other languages
English (en)
Other versions
KR20130126234A (ko
Inventor
윤승욱
김갑기
황본우
이지형
구본기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120050168A priority Critical patent/KR102009292B1/ko
Priority to US13/888,333 priority patent/US9189857B2/en
Publication of KR20130126234A publication Critical patent/KR20130126234A/ko
Application granted granted Critical
Publication of KR102009292B1 publication Critical patent/KR102009292B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

다중 카메라 기반 삼차원 얼굴 복원 장치 및 복원 방법이 개시된다. 본 발명에 따른 다중 카메라 기반 삼차원 얼굴 복원 장치는, 다수의 카메라로부터 입력된 영상들의 해상도와 동기화 여부를 검사하는 다중 영상 분석부, 텍스처 처리용 영상을 분리하는 텍스처 영상 분리부, 비동기 영상으로 분류된 영상들을 동기화 처리하는 복원용 영상 자동 동기화부, 깊이 정보를 추출하고 삼차원 좌표값을 계산하여 삼차원 외형 영상으로 복원하는 삼차원 외형 복원부 및 삼차원 외형 영상에 텍스처 처리용 영상을 맵핑하는 텍스처 처리부를 포함한다.

Description

다중 카메라 기반 삼차원 얼굴 복원 장치 및 방법 {APPARATUS AND METHOD FOR RECONSTRUCTING THREE DIMENSIONAL FACE BASED ON MULTIPLE CAMERAS}
본 발명은 다중 카메라를 이용하여 삼차원 얼굴을 복원하는 장치 및 방법으로, 더욱 상세하게는 컬러 영상 또는 깊이 영상을 이용하여 효과적으로 삼차원 형태의 얼굴 영상을 복원할 수 있는 장치 및 방법에 관한 것이다.
기존의 삼차원 얼굴 복원 시스템은 주로 영화를 대상으로 하는데, 이는 최대한 실물에 가깝게 복원하는 것을 목표로 하므로 대부분 장비가 고가이고, 설치가 복잡하며, 설치 및 사용을 위해서는 전문가가 필수적이다. 기타 의료용으로 제작된 얼굴 복원 시스템들도 고가의 패턴광 프로젝터와 여러 대의 DSLR급 카메라를 탑재하고 있다.
또한, 이러한 시스템에 사용되는 카메라와 프로젝터는 모두 동기식으로, 동기화를 위해 별도의 장치가 필요하고 동기가 맞지 않는 경우 복원 성능이 급격히 떨어지는 문제점이 존재한다.
한편, 최근에는 컴퓨터 비전 기술의 발달로 핸드폰 카메라 혹은 웹 카메라와 같이 저가형의 카메라를 이용해 얼굴을 삼차원으로 복원하려는 시도가 늘어나고 있다. 이러한 방식은 비록 간편한 장점이 있지만 엔터테인먼트적 측면에 특화되어 있어 재미를 위한 응용은 가능하나 현재는 낮은 복원 품질로 인해 미용/의료 분야에 활용하기는 어렵다는 문제점이 존재한다.
물체의 삼차원 깊이 정보를 획득할 수 있는 깊이 카메라를 이용하여 삼차원 영상을 복원하는 다양한 실험 및 연구가 활성화되고 있으나, 저가형 깊이 카메라는 동기신호를 받을 수 없으므로 같은 깊이 카메라 여러 대를 같이 사용하거나 다른 카메라와 함께 사용할 경우 동기화 문제가 발생한다.
이종 카메라 간 동기화 문제를 해결하기 위한 종래의 시도로 소리를 이용해 동기를 맞추는 방법, 촬영된 영상 프레임에 타임코드를 찍어 동기를 맞추는 방법들이 제안되었다. 하지만 소리로 동기를 맞추는 방법은 자동화가 어렵고, 촬영을 모두 끝낸 다음 후처리를 통해 수동으로 소리와 영상 신호를 비교해 동기화를 수행해야 한다. 타임코드 방식 역시 촬영이 모두 끝난 다음 후처리 단계에서 코드를 비교해 같은 타임코드를 갖는 영상끼리 정렬하는 방식이다. 대신 타임코드 혹은 타임스탬프만 비교하면 되므로 자동화는 가능하다. 따라서 촬영 중 동기를 자동으로 맞추어 영상을 획득하면서, 동시에 획득한 영상들을 이용해 객체의 외형을 삼차원으로 복원하기 위해서는 종래의 방법을 사용하기 어렵다.
한편 삼차원 TV나 다시점 TV 등 입체 TV용 삼차원 콘텐츠 생성을 위해 깊이 카메라와 고해상도 카메라를 함께 사용해 이기종 다중 카메라 시스템을 구축하고, 깊이 카메라에서 획득한 저해상도 깊이 맵을 고해상도 카메라에서 획득한 정보를 이용해 향상시키는 방법도 제안되었다.
이러한 응용을 위해서는 이기종 카메라를 함께 사용할 경우 동기화가 필수적이며, 동기화가 지원되는 깊이 카메라는 최소 수천 만원에서 수억 원에 이르는 고가이다. 따라서 시스템의 가격이 그만큼 비싸고, 설치 및 환경 설정에도 많은 시간과 전문적인 지식이 요구된다.
한국공개특허 제2007-0009899호는 다중 스테레오 카메라를 통하여 동기화가 된 입력을 가정하여 삼차원 모델을 생성하는 장치에 대해서 개시하고 있으나, 이 한국공개특허에 개시된 기술은 비동기식 카메라 사용이 불가능하고 입력 영상이 모두 동일한 해상도이어야 하는 등의 한계가 있다.
따라서, 삼차원 영상 복원을 위하여 보다 새로운 기술의 필요성이 절실하게 대두된다.
본 발명의 목적은 여러 대의 이종 카메라를 함께 사용할 때 발생하는 동기화 문제를 해결하고, 시스템의 설치 및 사용 편의성을 증대시킴으로써 전문인력 없이도 쉽고 간편하게 사용할 수 있는 장치를 제공하는 것이다.
또한, 본 발명의 목적은 깊이 영상 카메라와 컬러 영상 카메라 등을 이용해 손쉽게 사용자의 얼굴을 삼차원으로 복원하기 위한 것이다.
또한, 본 발명의 목적은 여러 대의 저가형 카메라를 복합적으로 사용해 삼차원 얼굴 복원 시스템의 작업 시간을 단축하고 가격경쟁력과 품질을 높이는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 다중 카메라 기반 삼차원 얼굴 복원 장치는, 다수의 카메라들로부터 입력된 영상들의 해상도 정보를 파악하고, 상기 영상들이 서로 동기화 되어 있는지 여부를 검사하는 다중 영상 분석부;
상기 입력된 영상들의 해상도를 비교하여 텍스처 처리용 영상을 분리하는 텍스처 영상 분리부; 상기 다중 영상 분석부에서 비동기 영상으로 분류된 영상들을 동기화 처리하는 복원용 영상 자동 동기화부; 상기 동기화 처리된 영상들의 삼차원 좌표값을 계산하여 삼차원 외형 영상으로 복원하는 삼차원 외형 복원부; 및 상기 삼차원 외형 영상에 상기 텍스처 처리용 영상을 맵핑하여 삼차원 영상으로 복원하는 텍스처 처리부를 포함한다.
이 때, 상기 다중 영상 분석부는, 상기 입력된 영상들이 깊이 영상을 포함하는지 여부에 따라 서로 다른 모드로 동작할 수 있다.
이 때, 상기 다중 영상 분석부는, 깊이 영상 카메라를 통해 입력받은 깊이 영상의 깊이정보를 이용하여 삼차원 외형 영상으로 복원할 수 있다.
이 때, 상기 삼차원 외형 복원부는, 다수의 컬러 영상 카메라를 통해 입력받은 컬러 영상에서 물체의 경계면을 기준으로 영상 영역 전체에 대한 삼각화를 수행하여 삼차원 외형 영상으로 복원할 수 있다.
이 때, 텍스처 영상 분리부는, 상기 입력된 영상들 중에서 가장 해상도가 높은 영상을 텍스처 처리용 영상으로 분리할 수 있다.
이 때, 다중 영상 분석부는, 상기 입력된 영상들의 해상도를 분석하여 각 영상의 해상도 크기를 비교하는 영상 해상도 비교부; 상기 입력된 영상들의 종류를 컬러 영상 또는 깊이 영상으로 분리하는 영상정보 분류부; 및 상기 영상정보 분류부에서 컬러 영상으로 분류된 영상을 그레이스케일 영상으로 변환하고, 변환된 그레이스케일 영상과 나머지 영상들의 동기화 정도를 판단하는 동기화 여부 검사부를 포함할 수 있다.
이 때, 상기 복원용 영상 자동 동기화부는, 상기 비동기 영상으로 분류된 각각의 영상의 프레임을 소정의 시간 간격으로 구분하여 저장하는 다수의 영상 버퍼; 및 상기 비동기 영상으로 분류된 각각의 영상 사이에서 동기화 정도가 가장 높은 프레임의 시간대를 찾아 그 때의 영상을 동기화된 영상으로 처리하는 동기화여부 확인부를 포함할 수 있다.
이 때, 상기 영상 버퍼는, 컬러 영상을 처리하는 컬러 영상 버퍼와 깊이 영상을 처리하는 깊이 영상버퍼로 구분되고, 영상을 입력하는 카메라의 개수만큼 구비할 수 있다.
상기한 목적을 달성하기 위한 본 발명에 따른 다중 카메라 기반 삼차원 얼굴 복원 방법은, 다수의 카메라로부터 영상들을 입력받는 단계; 입력된 상기 영상들의 종류와 해상도를 분석하는 단계; 분석된 영상들의 해상도를 비교하여 텍스처 처리용 영상을 분리해내는 단계; 상기 분리된 영상외의 나머지 영상들에 대하여 동기화 여부를 검사하는 단계; 비동기화 된 영상으로 판별되는 영상들에 대하여 동기화를 수행하는 단계; 동기화된 영상들에 대하여 깊이 정보를 추출하고, 추출된 깊이 정보를 통해 삼차원 좌표값을 계산하여 삼차원 외형 영상으로 복원하는 단계; 및 상기 삼차원 외형 영상에 상기 텍스처 처리용 영상을 맵핑하는 단계를 포함한다.
이 때, 상기 분석된 영상들의 해상도를 비교하여 텍스처 처리용 영상을 분리해내는 단계는, 상기 분석된 영상들 중에서 가장 해상도가 높은 영상을 텍스처 처리용 영상으로 분리할 수 있다.
이 때, 상기 분리된 영상외의 나머지 영상들에 대하여 동기화 여부를 검사하는 단계는, 상기 나머지 영상들 중에서 컬러영상이 포함되어 있는 경우, 상기 컬러영상을 그레이스케일영상으로 변환하는 단계; 상기 변환된 그레이스케일영상과 다른 영상들의 동기화 정도를 계산하는 단계; 및 상기 동기화 정도가 소정의 허용 기준치 이상인지 여부를 판단하여, 허용 기준치 이상에 해당하면 비동기화 된 영상인 것으로 판단하는 단계를 더 포함할 수 있다.
이 때, 상기 비동기화 된 영상으로 판별되는 영상들에 대하여 동기화를 수행하는 단계는, 상기 비동기화 된 영상으로 판별되는 각각의 영상의 프레임을 소정의 시간 간격으로 구분하는 단계; 다수의 영상 버퍼에 상기 비동기화 된 영상으로 판별되는 각각의 영상을 저장하는 단계; 및 상기 비동기화 된 영상 사이에서 동기화 정도가 가장 높은 프레임의 시간대를 찾아 그 때의 영상을 동기화된 영상으로 처리하는 단계; 를 더 포함할 수 있다.
이 때, 상기 영상 버퍼는, 컬러 영상을 처리하는 컬러 영상 버퍼와 깊이 영상을 처리하는 깊이 영상버퍼로 구분되고, 영상을 입력하는 카메라의 개수만큼 구비할 수 있다.
이 때, 상기 삼차원 외형 영상에 상기 텍스처 처리용 영상을 맵핑하는 단계는, 상기 텍스처 처리용 영상과 삼차원 외형 영상에 사용되는 영상들의 스텝 사이즈 정보를 이용하여 상기 텍스처 처리용 영상을 삼차원 외형 영상에 맵핑하여 삼차원 얼굴 영상을 복원할 수 있다.
이 때, 상기 동기화된 영상들에 대하여 깊이 정보를 추출하고, 추출된 깊이 정보를 통해 삼차원 좌표값을 계산하여 삼차원 외형 영상으로 복원하는 단계는, 깊이 영상 카메라를 통해 입력받은 깊이 영상의 깊이정보를 이용하여 물체의 삼차원 좌표를 계산하는 단계; 상기 삼차원 좌표를 컬러 영상 카메라의 위치로 투영시켜, 깊이 영상과 컬러 영상의 대응관계를 찾아 삼차원 외형 영상으로 복원하는 단계를 더 포함할 수 있다.
이 때, 상기 동기화된 영상들에 대하여 깊이 정보를 추출하고, 추출된 깊이 정보를 통해 삼차원 좌표값을 계산하여 삼차원 외형 영상으로 복원하는 단계는, 다수의 컬러 영상 카메라를 통해 입력받은 컬러 영상에서 물체의 경계면을 기준으로 영상 영역 전체에 대한 삼각화를 수행하는 단계; 상기 삼각화를 통해 생성된 삼각형들에 대하여 각 영상간의 컬러 값의 비교를 통해 변이를 계산하는 단계; 및 상기 변이에 대하여 카메라 정보를 사용하여 삼차원 좌표로 계산하여 삼차원 외형 영상으로 복원하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 삼차원 영상을 복원함에 있어서, 이기종 혹은 동종 다중 카메라를 사용해 동기화 여부에 관계없이 삼차원 얼굴을 복원할 수 있다.
또한, 본 발명은 다중 카메라의 조합을 결정한 후 일체형으로 한 번만 설치해 두면 별도의 조작 없이 손쉽게 사용이 가능하며, 종래의 시스템들에 비해 가격경쟁력이 높고 품질은 높은 복원 결과를 얻을 수 있다.
또한, 본 발명은 사용자의 얼굴 위치가 크게 변하지 않기 때문에 복잡한 캘리브레이션이나 정합, 합성 등의 과정을 거치지 않아도 되므로 전문가 없이도 운용이 가능하다.
도 1은 본 발명의 일실시예에 따른 다중 카메라 기반 삼차원 얼굴 복원 장치를 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 다중 영상 분석부의 상세구성을 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 복원용 영상 자동 동기화부의 상세구성을 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 다중 카메라 기반 삼차원 얼굴 복원 과정을 나타낸 흐름도이다.
도 5 내지 도 8은 삼차원 영상 복원을 위한 장치의 다양한 카메라 조합의 실시예를 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 다중 카메라 기반 삼차원 얼굴 복원 장치를 나타낸 도면이다.
도 1을 참조하면, 본 삼차원 얼굴 복원 장치(1000)는 다중 영상 분석부(200), 텍스처 영상 분리부(300), 복원용 영상 자동 동기화부(400), 삼차원 외형 복원부(500), 텍스처 처리부(600)를 포함한다.
다중 영상 분석부(200)는 영상 해상도 비교부(201), 영상정보 분류부(202), 동기화 여부 검사부(203)를 포함한다.
다중 영상 분석부(200)는 깊이 영상 카메라(이하, ‘깊이 카메라’라고도 함) 또는 컬러 영상 카메라(이하, ‘컬러 카메라’라고도 함)를 포함하는 다수의 카메라로부터 입력된 영상들의 해상도 정보를 파악하고, 각 영상들이 동기화 되어 있는지 여부를 검사한다.
영상 해상도 비교부(201)는 입력된 영상들의 해상도를 분석하여 각 영상의 해상도 크기를 비교할 수 있다.
영상정보 분류부(202)는 텍스처 처리용 영상을 제외한 나머지 입력된 영상들의 종류를 컬러 영상 또는 깊이 영상으로 분리할 수 있다.
나머지 영상들에 대해서는 깊이 영상만 입력되는 경우, 두 장 이상의 컬러 영상만 입력되는 경우, 한 장의 깊이 영상과 두장 이상의 컬러 영상이 입력되는 경우, 두 장 이상의 깊이 영상 및 컬러 영상이 입력되는 경우 등으로 세분화하여 분류한다.
동기화 여부 검사부(203)는 영상정보 분류부(202)에서 컬러 영상으로 분류된 영상을 그레이스케일 영상으로 변환하고, 변환된 그레이스케일 영상과 나머지 깊이 영상들간의 동기화 정도를 판단할 수 있다.
동기화 정도가 미리 정해진 허용 기준치 이상이면 영상간 동기가 맞지 않는 것으로 판단해 복원용 영상 자동 동기화부(400)에 영상들을 전달한다.
반면 동기화 정도가 허용 기준치 이내이면 동기화되었다고 판단하고 별도의 동기화 과정 없이 삼차원 외형 복원부로 동기화된 영상들을 전달한다.
텍스처 영상 분리부(300)는 다중 영상 분석부(200)에서 분석한 입력 영상들의 정보를 바탕으로, 입력된 영상들의 해상도를 비교하여 텍스처 처리용 영상을 분리한다. 이 때, 텍스처 처리용 영상은 가장 해상도가 높은 영상을 분리하는 것이 바람직하다.
텍스처 영상 분리부(300)는 분리된 텍스처 처리용 영상을 텍스처 처리부(600)로 공급한다. 이 때, 삼차원 외형 복원을 위해 사용되는 영상과 텍스처 처리용 영상의 해상도 비율에 대한 정보(스텝 사이즈)도 전달할 수 있다.
복원용 영상 자동 동기화부(400)는 영상버퍼 및 동기화여부 확인부(403)를 포함할 수 있다.
이 때, 영상버퍼는 컬러 영상을 처리하는 컬러 영상 버퍼(401)와 깊이 영상을 처리하는 깊이 영상 버퍼(402)로 구분하여 구비할 수 있다. 또한, 각 버퍼는 영상을 입력하는 카메라의 개수만큼 구비될 수 있다.
이 때, 복원용 영상 자동 동기화부(400)는 입력된 영상들이 깊이 영상을 포함하는지 여부에 따라 서로 다른 모드로 동작할 수 있다.
복원용 영상 자동 동기화부(400)는 다중 영상 분석부(200)에서 비동기 영상으로 분류된 영상들을 컬러 및 깊이 영상 버퍼(401, 402)를 사용해 최신 프레임의 영상을 저장함으로써 자동으로 동기화를 수행한다.
영상 버퍼(401, 402)는 비동기 영상으로 분류된 각각의 영상의 프레임을 소정의 시간 간격으로 구분하여 저장하고, 동기화여부 확인부(403)는 영상 버퍼(401, 402)에 저장된 각각의 영상 사이에서 동기화 정도가 가장 높은 프레임의 시간대를 찾아 그 때의 영상을 동기화된 영상으로 처리한다.
다시 말하면, 시간 T에 입력된 영상들 간의 동기가 맞지 않을 경우, 사전에 정해 놓은 영상 버퍼 크기에 따라 T+1, T+2, …, T+N (N은 버퍼 크기) 시간에 영상을 추가로 입력 받아 동기화 여부 확인부(403)에서 영상간 차이가 최소가 되는 시간을 찾고, 그 때의 영상을 동기화된 영상으로 처리한다.
이때, 다중 입력 영상이 시간 T에 한 번만 들어오는 것이 아니라 스트림 형태로 적용할 수 있다. 즉, 얼굴 촬영 시 동영상 모드에서 시간을 조절해 짧게는 1초에서 길게는 수초의 영상을 촬영하고 버퍼링을 통해 일정 타임 프레임 구간에 대한 영상을 저장하게 함으로써 동기화를 수행한다.
일반적인 삼차원 객체 복원과는 달리 사용자가 대부분 가만히 앉아있거나 움직임이 적은 자세를 취하며, 움직임은 표정 변화 정도로 국한되므로 일반적인 삼차원 객체 복원방식과는 달리 우수한 품질로 자동 동기화 처리가 가능하다.
삼차원 외형 복원부(500)에서는 입력된 영상들로부터 물체에 대한 깊이정보를 추출하고 이를 통해 삼차원 좌표값을 계산한다. 이렇게 계산된 삼차원 외형에 텍스처 영상을 입히는 텍스처링(600) 과정을 거쳐 최종 복원 결과를 얻게 된다.
삼차원 외형 복원부(500)는 입력된 영상들로부터 물체에 대한 깊이정보를 추출하고 이를 통해 삼차원 좌표값을 계산하여 삼차원 외형 영상으로 복원하고 복원된 영상을 텍스처 처리부(600)로 전달한다.
이 때, 삼차원 외형 복원은 복원용 영상 자동 동기화부(400)에서 깊이 영상을 포함하는지 여부에 따라 서로 다른 모드로 동작할 수 있다.
즉, 삼차원 외형 복원은 깊이 정보의 유무에 따라 두 가지 방식으로 동작이 가능하다.
깊이 카메라를 통해 깊이 정보 혹은 깊이 영상이 입력된 경우에는 깊이 정보를 이용해 물체의 삼차원 좌표를 계산한 후 이를 웹카메라나 CMOS 카메라 위치로 투영시킴으로써, 컬러 영상 사이의 대응관계를 계산하는 초기값으로 사용한다.
깊이 카메라가 없는 경우에는 컬러 카메라의 영상만을 가지고 영상 간 대응관계를 계산한다. 깊이 정보를 초기값으로 이용하여 대응관계를 계산할 경우에는 일반적인 스테레오 정합 방법을 사용할 수다.
또 다른 방식으로는 다수의 컬러 영상 카메라를 통해 입력 받은 컬러 영상에서 물체의 경계면을 기준으로 영상 영역 전체에 대한 삼각화를 수행하고, 삼각화를 통해서 생성된 삼각형들에 대하여 각 영상간의 컬러 값의 비교를 통해 삼차원 좌표를 계산하여 삼차원 외형 영상으로 복원하는 기술을 적용할 수 있다.
컬러 영상 간의 대응점 깊이 정보는 각 화소 위치에서의 거리정보이므로, 이를 삼차원 공간으로 역투영한 후 각 카메라 위치로 투영하면 삼차원 공간상의 한 점이 각 카메라의 위치에서 촬영한 영상에 각각 투영되게 된다.
예를 들어, 두 영상 사이의 대응관계를 계산할 경우 왼쪽 영상에 투영된 점에 대응하는 점을 오른쪽 영상에서 찾을 때 앞서 투영시킨 점(이하,‘후보점’이라고도 한다.) 주변에서 검색을 하면 빠르고 정확하게 대응점을 계산할 수 있다.
얼굴 영역 전체에 대해 깊이 정보로부터 각 영상에 투영된 화소(이하 ‘후보점’이라고도 한다.)들을 계산한 후에, 후보점들을 기준으로 이차원 삼각화(triangulation)을 수행한다.
후보점이 없을 경우(깊이 정보가 없을 경우)에는 영상에서 물체의 경계를 검출하고 검출된 경계면을 기준으로 영상영역 전체에 대해 삼각화를 수행한다. 이렇게 생성한 삼각형들에 대해 영상간 컬러 값 비교를 통해 변이를 계산하고 이 변이를 카메라 정보를 사용해 변환하면 각 점에 대한 삼차원 좌표를 계산할 수 있다.
이 때, 각 삼각형들은 같은 깊이 값을 갖는 것으로 간주할 수 있다.
후보점들이 가깝게 분포하고 있으면 계산시간이 단축될 뿐 아니라 불필요하게 큰 삼각형이 생성되지 않으므로 삼차원 복원의 정밀도도 향상시킬 수 있다.
깊이 정보가 없는 경우 삼각화를 이용한 대응관계 계산 방법은 [1]을 참조하였다.
[1] A. Geiger, M. Roser, and Raquel Urtasun, “Efficient Large-Scale Stereo Matching,”Asian Conference on Computer Vision, New Zealand, Nov. 2010.
삼차원 외형이 복원되면 텍스처 처리부(600)는 앞서 분류된 텍스처 영상을 계산된 외형에 대한 기하정보를 이용하여 삼차원 외형 영상에 맵핑을 수행한다. 이때, 스텝 사이즈를 이용하여 저해상도의 복원 결과에도 고해상도의 텍스처를 맵핑함으로써 우수한 품질의 복원 영상을 도출할 수 있다.
도 2는 본 발명의 일실시예에 따른 다중 카메라 기반 삼차원 얼굴 복원 과정을 나타낸 흐름도이다.
도 2를 참조하면, 다중 카메라 기반 삼차원 얼굴 복원 과정은 먼저 다수의 카메라로부터 영상들을 입력받는다.(S100)
이후, 입력된 상기 영상들의 종류와 해상도를 분석한다.(S200)
이후, 분석된 영상들의 해상도를 비교하여 텍스처 처리용 영상을 분리해낸다.(S300)
이 때, 텍스처 처리용 영상은 분석된 영상들 중에서 가장 해상도가 높은 영상을 텍스처 처리용 영상으로 분리할 수 있다.
이후, 분리된 영상외의 나머지 영상들에 대하여 동기화 여부를 검사한다.(S400)
이 때, 동기화 여부의 검사는 나머지 영상들 중에서 컬러영상이 포함되어 있는 경우, 컬러영상을 그레이스케일영상으로 변환하여 변환된 그레이스케일영상과 다른 영상들의 동기화 정도를 계산하고 동기화 정도가 소정의 허용 기준치 이상인지 여부를 판단하여, 허용 기준치 이상에 해당하면 비동기화 된 영상인 것으로 판단할 수 있다.
이후, 비동기화 된 영상으로 판별되는 영상들에 대하여 동기화를 수행한다.(S500)
이 때, 동기화 수행은 비동기화 된 영상으로 판별되는 각각의 영상의 프레임을 소정의 시간 간격으로 구분하여 다수의 영상 버퍼에 비동기화 된 영상으로 판별되는 각각의 영상을 저장하고, 비동기화 된 영상 사이에서 동기화 정도가 가장 높은 프레임의 시간대를 찾아 그 때의 영상을 동기화된 영상으로 처리할 수 있다.
이 때, 영상 버퍼는, 컬러 영상을 처리하는 컬러 영상 버퍼와 깊이 영상을 처리하는 깊이 영상버퍼로 구분되고, 영상을 입력하는 카메라의 개수만큼 구비할 수 있다.
이후, 동기화된 영상들에 대하여 깊이 정보를 추출하고, 추출된 깊이 정보를 통해 삼차원 좌표값을 계산하여 삼차원 외형 영상으로 복원한다.(S600)
이 때, 삼차원 외형 영상 복원은 깊이 영상 카메라를 통해 입력받은 깊이 영상의 깊이정보를 이용하여 물체의 삼차원 좌표를 계산하고, 삼차원 좌표를 컬러 영상 카메라의 위치로 투영시켜, 깊이 영상과 컬러 영상의 대응관계를 찾아 삼차원 외형 영상으로 복원할 수 있다.
이 때, 삼차원 외형 영상 복원은 다수의 컬러 영상 카메라를 통해 입력받은 컬러 영상에서 물체의 경계면을 기준으로 영상 영역 전체에 대한 삼각화를 수행하여 생성된 삼각형들에 대하여 각 영상간의 컬러 값의 비교를 통해 변이를 계산하고, 변이에 대하여 카메라 정보를 사용하여 삼차원 좌표로 계산하여 삼차원 외형 영상으로 복원할 수 있다.
이후, 삼차원 외형 영상에 텍스처 처리용 영상을 맵핑하여 삼차원 얼굴 영상을 복원한다.(S700)
이 때, 텍스처 처리용 영상과 삼차원 외형 영상에 사용되는 영상들의 스텝 사이즈 정보를 이용하여 텍스처 처리용 영상을 삼차원 외형 영상에 맵핑하여 삼차원 얼굴 영상으로 복원할 수 있다.
본 발명의 다른 일 실시예에 따른 다중 카메라 기반 삼차원 얼굴 복원 장치는 도 5 내지 도 8에 나타낸 바와 같이 컬러 카메라와 깊이 카메라가 물체의 정면에 함께 설치되어 영상을 수집하는 방식, 도 5의 조합에 컬러 카메라를 하나 더 추가하여 영상을 수집하는 방식, 도 6의 조합의 카메라와 서로 다른 각도에 위치하여 촬영하는 깊이 카메라를 추가하여 영상을 수집하는 방식, 도 7의 조합의 카메라를 서로 다른 각도에 각각 위치하여 영상을 수집하는 방식 등 컬러 카메라와 입체 카메라의 다양한 조합을 통해 변형된 구성이 가능하다.
한편, 도 7에서 컬러 카메라가 두 깊이 카메라 모두에 나타나 있지만, 컬러 카메라는 두 깊이 카메라 중 어느 한 쪽에만 있을 수도 있고, 양 쪽 모두에 있을 수도 있다.
컬러 카메라는 다수의 깊이 카메라 중 하나의 깊이 카메라에 하나의 컬러 카메라로 적용되어 컬러 카메라로부터 수집된 컬러 영상을 텍스처 영상으로 적용하거나, 다수의 컬러 카메라를 다수의 깊이 카메라 각각에 모두 적용하고, 다수의 컬러 카메라로부터 수집된 다수의 컬러 영상 중 하나를 선택적으로 텍스처 영상으로 적용이 가능하다.
여기에 예시한 조합들은 본 발명의 실시 예로 본 발명에서 다음의 실시 예를 포함해 다른 조합으로도 구성이 가능하다. 여기에 미용/의료용 응용 장치 구성 시에는 용도에 맞는 추가적인 조명 및 부가정보 촬영장치를 추가함으로써 응용의 범위를 다양화할 수 있다.
이상에서와 같이 본 발명에 따른 다중 카메라 기반 삼차원 얼굴 복원 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
200 : 다중 영상 분석부 201 : 영상 해상도 비교부
202 : 영상정보 분류부 203 : 동기화 여부 검사부
300 : 텍스처 영상 분리부 400 : 복원용 영상 자동 동기화부
401 : 컬러 영상 버퍼 402 : 깊이 영상 버퍼
403 : 동기화 여부 확인부 500 : 삼차원 외형 복원부
600 : 텍스처 처리부

Claims (17)

  1. 다수의 카메라들로부터 입력된 영상들의 해상도 정보를 파악하고, 상기 영상들이 서로 동기화 되어 있는지 여부를 검사하는 다중 영상 분석부;
    상기 입력된 영상들의 해상도를 비교하여 텍스처 처리용 영상을 분리하는 텍스처 영상 분리부;
    상기 다중 영상 분석부에서 비동기 영상으로 분류된 영상들을 동기화 처리하는 복원용 영상 자동 동기화부;
    상기 동기화 처리된 영상들의 삼차원 좌표값을 계산하여 삼차원 외형 영상으로 복원하는 삼차원 외형 복원부; 및
    상기 삼차원 외형 영상에 상기 텍스처 처리용 영상을 맵핑하여 삼차원 영상으로 복원하는 텍스처 처리부; 를 포함하고,
    상기 텍스처 처리부는,
    상기 텍스처 처리용 영상과 삼차원 외형 영상에 사용되는 영상들의 스텝 사이즈 정보를 이용하여 상기 텍스처 처리용 영상을 삼차원 외형 영상에 맵핑하여 삼차원 얼굴 영상을 복원하는 것을 특징으로 하는 다중 카메라 기반 삼차원 얼굴 복원 장치.
  2. 청구항 1에 있어서,
    상기 복원용 영상 자동 동기화부는,
    상기 입력된 영상들이 깊이 영상을 포함하는지 여부에 따라 서로 다른 모드로 동작하는 것을 특징으로 하는 다중 카메라 기반 삼차원 얼굴 복원 장치.
  3. 청구항 2에 있어서,
    상기 삼차원 외형 복원부는,
    깊이 영상 카메라를 통해 입력받은 깊이 영상의 깊이정보를 이용하여 물체의 삼차원 좌표를 계산하여 삼차원 외형 영상으로 복원하는 것을 특징으로 하는 다중 카메라 기반 삼차원 얼굴 복원 장치.
  4. 청구항 2에 있어서,
    상기 삼차원 외형 복원부는,
    다수의 컬러 영상 카메라를 통해 입력받은 컬러 영상에서 물체의 경계면을 기준으로 영상 영역 전체에 대한 삼각화를 수행하여 삼차원 외형 영상으로 복원하는 것을 특징으로 하는 다중 카메라 기반 삼차원 얼굴 복원 장치.
  5. 청구항 1에 있어서,
    상기 텍스처 영상 분리부는,
    상기 입력된 영상들 중에서 가장 해상도가 높은 영상을 텍스처 처리용 영상으로 분리하는 것을 특징으로 하는 다중 카메라 기반 삼차원 얼굴 복원 장치.
  6. 청구항 1에 있어서,
    상기 다중 영상 분석부는,
    상기 입력된 영상들의 해상도를 분석하여 각 영상의 해상도 크기를 비교하는 영상 해상도 비교부;
    상기 입력된 영상들의 종류를 컬러 영상 또는 깊이 영상으로 분리하는 영상정보 분류부; 및
    상기 영상정보 분류부에서 컬러 영상으로 분류된 영상을 그레이스케일 영상으로 변환하고, 변환된 그레이스케일 영상과 나머지 영상들의 동기화 정도를 판단하는 동기화 여부 검사부; 를 포함하는 다중 카메라 기반 삼차원 얼굴 복원 장치.
  7. 청구항 1에 있어서,
    상기 복원용 영상 자동 동기화부는,
    상기 비동기 영상으로 분류된 각각의 영상의 프레임을 소정의 시간 간격으로 구분하여 저장하는 다수의 영상 버퍼; 및
    상기 비동기 영상으로 분류된 각각의 영상 사이에서 동기화 정도가 가장 높은 프레임의 시간대를 찾아 그 때의 영상을 동기화된 영상으로 처리하는 동기화여부 확인부; 를 포함하는 다중 카메라 기반 삼차원 얼굴 복원 장치.
  8. 청구항 7에 있어서,
    상기 영상 버퍼는,
    컬러 영상을 처리하는 컬러 영상 버퍼와 깊이 영상을 처리하는 깊이 영상버퍼로 구분되고, 영상을 입력하는 카메라의 개수만큼 구비되는 것을 특징으로 하는 다중 카메라 기반 삼차원 얼굴 복원 장치.
  9. 다중 카메라에 기반하여 삼차원 얼굴을 복원하는 장치를 통하여 삼차원 얼굴을 복원하는 방법에 있어서,
    다수의 카메라들로부터 영상들을 입력받는 단계;
    입력된 상기 영상들의 종류와 해상도를 분석하는 단계;
    분석된 영상들의 해상도를 비교하여 텍스처 처리용 영상을 분리해내는 단계;
    상기 분리된 영상외의 나머지 영상들에 대하여 동기화 여부를 검사하는 단계;
    비동기화 된 영상으로 판별되는 영상들에 대하여 동기화를 수행하는 단계;
    동기화된 영상들에 대하여 삼차원 좌표값을 계산하여 삼차원 외형 영상으로 복원하는 단계; 및
    상기 삼차원 외형 영상에 상기 텍스처 처리용 영상을 맵핑하는 단계; 를 포함하고,
    상기 삼차원 외형 영상에 상기 텍스처 처리용 영상을 맵핑하는 단계는,
    상기 텍스처 처리용 영상과 삼차원 외형 영상에 사용되는 영상들의 스텝 사이즈 정보를 이용하여 상기 텍스처 처리용 영상을 삼차원 외형 영상에 맵핑하여 삼차원 얼굴 영상을 복원하는 것을 특징으로 하는 다중 카메라 기반 삼차원 얼굴 복원 방법.
  10. 청구항 9에 있어서,
    상기 분석된 영상들의 해상도를 비교하여 텍스처 처리용 영상을 분리해내는 단계는,
    상기 분석된 영상들 중에서 가장 해상도가 높은 영상을 텍스처 처리용 영상으로 분리하는 것을 특징으로 하는 다중 카메라 기반 삼차원 얼굴 복원 방법.
  11. 청구항 9에 있어서,
    상기 분리된 영상외의 나머지 영상들에 대하여 동기화 여부를 검사하는 단계는,
    상기 나머지 영상들 중에서 컬러영상이 포함되어 있는 경우, 상기 컬러영상을 그레이스케일영상으로 변환하는 단계;
    상기 변환된 그레이스케일영상과 다른 영상들의 동기화 정도를 계산하는 단계; 및
    상기 동기화 정도가 소정의 허용 기준치 이상인지 여부를 판단하여, 허용 기준치 이상에 해당하면 비동기화 된 영상인 것으로 판단하는 단계; 를 더 포함하는 다중 카메라 기반 삼차원 얼굴 복원 방법.
  12. 청구항 9에 있어서,
    상기 비동기화 된 영상으로 판별되는 영상들에 대하여 동기화를 수행하는 단계는,
    상기 비동기화 된 영상으로 판별되는 각각의 영상의 프레임을 소정의 시간 간격으로 구분하는 단계;
    다수의 영상 버퍼에 상기 비동기화 된 영상으로 판별되는 각각의 영상을 저장하는 단계; 및
    상기 비동기화 된 영상 사이에서 동기화 정도가 가장 높은 프레임의 시간대를 찾아 그 때의 영상을 동기화된 영상으로 처리하는 단계; 를 더 포함하는 다중 카메라 기반 삼차원 얼굴 복원 방법.
  13. 청구항 12에 있어서,
    상기 영상 버퍼는,
    컬러 영상을 처리하는 컬러 영상 버퍼와 깊이 영상을 처리하는 깊이 영상버퍼로 구분되고, 영상을 입력하는 카메라의 개수만큼 구비되는 것을 특징으로 하는 다중 카메라 기반 삼차원 얼굴 복원 방법.
  14. 삭제
  15. 청구항 9에 있어서,
    상기 입력된 영상들의 종류와 해상도를 분석하는 단계는,
    상기 입력된 영상들에 깊이 영상이 포함되어 있는지 여부에 따라 서로 다른 삼차원외형 영상 복원 모드로 동작하는 것을 특징으로 하는 다중 카메라 기반 삼차원 얼굴 복원 방법.
  16. 청구항 15에 있어서,
    상기 동기화된 영상들에 대하여 삼차원 좌표값을 계산하여 삼차원 외형 영상으로 복원하는 단계는,
    깊이 영상 카메라를 통해 입력받은 깊이 영상의 깊이정보를 이용하여 물체의 삼차원 좌표를 계산하는 단계;
    상기 삼차원 좌표를 컬러 영상 카메라의 위치로 투영시켜, 깊이 영상과 컬러 영상의 대응관계를 찾아 삼차원 외형 영상으로 복원하는 단계; 를 더 포함하는 다중 카메라 기반 삼차원 얼굴 복원 방법.
  17. 청구항 15에 있어서,
    상기 동기화된 영상들에 대하여 삼차원 좌표값을 계산하여 삼차원 외형 영상으로 복원하는 단계는,
    다수의 컬러 영상 카메라를 통해 입력받은 컬러 영상에서 물체의 경계면을 기준으로 영상 영역 전체에 대한 삼각화를 수행하는 단계;
    상기 삼각화를 통해 생성된 삼각형들에 대하여 각 영상간의 컬러 값의 비교를 통해 변이를 계산하는 단계; 및
    상기 변이에 대하여 카메라 정보를 사용하여 삼차원 좌표로 계산하여 삼차원 외형 영상으로 복원하는 단계; 를 더 포함하는 다중 카메라 기반 삼차원 얼굴 복원 방법.
KR1020120050168A 2012-05-11 2012-05-11 다중 카메라 기반 삼차원 얼굴 복원 장치 및 방법 KR102009292B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120050168A KR102009292B1 (ko) 2012-05-11 2012-05-11 다중 카메라 기반 삼차원 얼굴 복원 장치 및 방법
US13/888,333 US9189857B2 (en) 2012-05-11 2013-05-06 Apparatus and method for reconstructing three dimensional faces based on multiple cameras

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120050168A KR102009292B1 (ko) 2012-05-11 2012-05-11 다중 카메라 기반 삼차원 얼굴 복원 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130126234A KR20130126234A (ko) 2013-11-20
KR102009292B1 true KR102009292B1 (ko) 2019-08-12

Family

ID=49548655

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120050168A KR102009292B1 (ko) 2012-05-11 2012-05-11 다중 카메라 기반 삼차원 얼굴 복원 장치 및 방법

Country Status (2)

Country Link
US (1) US9189857B2 (ko)
KR (1) KR102009292B1 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2012156158A (ru) * 2012-12-24 2014-07-10 ЭлЭсАй Корпорейшн Генерация целевого изображения с использованием функционала на основе функций от информации из других изображений
TWI563842B (en) * 2013-10-25 2016-12-21 Lips Inc Sensing device and signal processing method thereof
KR102135770B1 (ko) * 2014-02-10 2020-07-20 한국전자통신연구원 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치
WO2015134961A1 (en) 2014-03-07 2015-09-11 Brown University Method and system for unsynchronized structured lighting
US11122180B2 (en) * 2014-05-02 2021-09-14 Dentsply Sirona Inc. Systems, methods, apparatuses, and computer-readable storage media for collecting color information about an object undergoing a 3D scan
CN105096377B (zh) * 2014-05-14 2019-03-19 华为技术有限公司 一种图像处理方法和装置
CN104408769A (zh) * 2014-11-27 2015-03-11 苏州福丰科技有限公司 基于三维人脸识别的虚拟网络会议方法
US9626803B2 (en) * 2014-12-12 2017-04-18 Qualcomm Incorporated Method and apparatus for image processing in augmented reality systems
US10158840B2 (en) * 2015-06-19 2018-12-18 Amazon Technologies, Inc. Steganographic depth images
US10003786B2 (en) * 2015-09-25 2018-06-19 Intel Corporation Method and system of 3D image capture with dynamic cameras
CN105260982B (zh) * 2015-11-06 2018-08-07 北京航空航天大学 基于稀疏和稠密重构的图像解析方法
EP3410387B1 (en) * 2016-03-10 2022-11-02 Sony Group Corporation Information processor and information-processing method
US10212306B1 (en) 2016-03-23 2019-02-19 Amazon Technologies, Inc. Steganographic camera communication
US10154225B2 (en) 2016-11-18 2018-12-11 Electronics & Telecommunications Research Institute Frame grabber, image processing system including the same, and image processing method using the frame grabber
US10529086B2 (en) * 2017-11-22 2020-01-07 Futurewei Technologies, Inc. Three-dimensional (3D) reconstructions of dynamic scenes using a reconfigurable hybrid imaging system
US10706505B2 (en) * 2018-01-24 2020-07-07 GM Global Technology Operations LLC Method and system for generating a range image using sparse depth data
CN108564619B (zh) * 2018-04-25 2021-05-14 厦门大学 一种基于两张照片的真实感三维人脸重建方法
CN109753930B (zh) * 2019-01-03 2021-12-24 京东方科技集团股份有限公司 人脸检测方法及人脸检测***
US11315328B2 (en) * 2019-03-18 2022-04-26 Facebook Technologies, Llc Systems and methods of rendering real world objects using depth information
CN110070611B (zh) * 2019-04-22 2020-12-01 清华大学 一种基于深度图像融合的人脸三维重建方法和装置
US11657570B2 (en) 2020-06-02 2023-05-23 Koninklijke Philips N.V. Creating a 3D model using two or more cameras with variable focal lengths

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7065242B2 (en) * 2000-03-28 2006-06-20 Viewpoint Corporation System and method of three-dimensional image capture and modeling
KR100603602B1 (ko) * 2004-12-13 2006-07-24 한국전자통신연구원 조밀하지 않은 비정렬 3차원 측정점들을 이용한 3차원메쉬 생성 방법
WO2006084385A1 (en) * 2005-02-11 2006-08-17 Macdonald Dettwiler & Associates Inc. 3d imaging system
KR100748719B1 (ko) 2005-07-14 2007-08-13 연세대학교 산학협력단 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법
KR100824016B1 (ko) 2006-07-14 2008-04-21 엠텍비젼 주식회사 비동기 양안 카메라에서 생성되는 출력 데이터의 동기화를수행하는 시스템, 방법 및 기록 매체
US8144148B2 (en) * 2007-02-08 2012-03-27 Edge 3 Technologies Llc Method and system for vision-based interaction in a virtual environment
NZ582614A (en) * 2007-07-19 2013-02-22 Disney Entpr Inc Rendering surface locations on texture maps with topological adjacency
KR20090055803A (ko) 2007-11-29 2009-06-03 광주과학기술원 다시점 깊이맵 생성 방법 및 장치, 다시점 영상에서의변이값 생성 방법
KR20110070056A (ko) * 2009-12-18 2011-06-24 한국전자통신연구원 사용자 맞춤형 고품질 3ｄ 아바타 생성 방법 및 그 장치
US8963943B2 (en) * 2009-12-18 2015-02-24 Electronics And Telecommunications Research Institute Three-dimensional urban modeling apparatus and method
US20120162215A1 (en) * 2010-12-22 2012-06-28 Electronics And Telecommunications Research Institute Apparatus and method for generating texture of three-dimensional reconstructed object depending on resolution level of two-dimensional image

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Michael Zollhöfer et al., "Automatic reconstruction of personalized avatars from 3D face scans"*
Ruben C.Gur et al., "A method for obtaining 3-dimensional facial expressions and its standardization for use in neurocognitive studies"*
Tong et al., "Scanning 3D Full Human Bodies Using Kinects"*

Also Published As

Publication number Publication date
US20130301906A1 (en) 2013-11-14
US9189857B2 (en) 2015-11-17
KR20130126234A (ko) 2013-11-20

Similar Documents

Publication Publication Date Title
KR102009292B1 (ko) 다중 카메라 기반 삼차원 얼굴 복원 장치 및 방법
US10789765B2 (en) Three-dimensional reconstruction method
EP2064676B1 (en) A method and system for three-dimensional model acquisition
KR102135770B1 (ko) 스테레오 카메라 기반의 3차원 얼굴 복원 방법 및 장치
US10158939B2 (en) Sound Source association
JP7003994B2 (ja) 画像処理装置および方法
EP3511903A1 (en) Three-dimensional model generating device and three-dimensional model generating method
US20120242795A1 (en) Digital 3d camera using periodic illumination
US20080158340A1 (en) Video chat apparatus and method
DK3010229T3 (en) Video surveillance system, video surveillance device
US20220078385A1 (en) Projection method based on augmented reality technology and projection equipment
KR20110059506A (ko) 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
WO2015108996A1 (en) Object tracking using occluding contours
CN113711276A (zh) 尺度感知单目定位和地图构建
KR20190055632A (ko) 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법
US11176353B2 (en) Three-dimensional dataset and two-dimensional image localization
JPH04130587A (ja) ３次元画像評価装置
WO2019211970A1 (ja) 三次元再構成方法及び三次元再構成装置
CN107103620B (zh) 一种基于独立相机视角下空间采样的多光编码相机的深度提取方法
KR20110025083A (ko) 입체 영상 시스템에서 입체 영상 디스플레이 장치 및 방법
KR20130002090A (ko) 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법
JP6516646B2 (ja) 複数のカメラで撮影した画像から個々の被写体を識別する識別装置、識別方法及びプログラム
KR20120056668A (ko) 3차원 정보 복원 장치 및 그 방법
KR102347658B1 (ko) 영상 처리 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant