KR20120062345A - 삼차원 모델 복원 장치 및 그 방법 - Google Patents

삼차원 모델 복원 장치 및 그 방법 Download PDF

Info

Publication number
KR20120062345A
KR20120062345A KR1020100123565A KR20100123565A KR20120062345A KR 20120062345 A KR20120062345 A KR 20120062345A KR 1020100123565 A KR1020100123565 A KR 1020100123565A KR 20100123565 A KR20100123565 A KR 20100123565A KR 20120062345 A KR20120062345 A KR 20120062345A
Authority
KR
South Korea
Prior art keywords
model
dimensional
image
mesh
volume
Prior art date
Application number
KR1020100123565A
Other languages
English (en)
Inventor
박정철
이지형
구본기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100123565A priority Critical patent/KR20120062345A/ko
Publication of KR20120062345A publication Critical patent/KR20120062345A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

삼차원 모델 복원 장치는 영상에서 삼차원 정보를 추출하는 추출부, 영상에서 관심 객체를 분리하는 분리부, 삼차원 정보와 관심 객체를 이용하여 삼차원 볼륨 모델을 생성하는 볼륨 모델 생성부, 삼차원 볼륨 모델에 설정된 알고리즘을 적용하여 삼차원 메쉬 모델을 생성하는 메쉬 모델 생성부, 영상과 삼차원 메쉬 모델을 텍스쳐 매핑하는 매핑부 및 삼차원 메쉬 모델과 매핑 결과를 토대로 에니메이션을 생성하고, 에니메이션에 배경을 합성하여 삼차원 모델을 복원하는 복원부를 포함한다.

Description

삼차원 모델 복원 장치 및 그 방법{Apparatus and method reconstructing 3D model}
본 발명은 삼차원 모델 복원 장치 및 그 방법에 관한 것이다. 보다 상세하게는 컴퓨터 그래픽스의 한 부분에 해당하는 모델링분야에서 영상을 기반으로 삼차원 모델을 복원하는 장치 및 그 방법에 관한 것이다.
영상산업은 HD(high-definition)급 또는 풀 HD(Full high-definition)급과 같은 생생한 느낌을 전달해 줄 수 있는 고화질의 영상에 초점을 맞추어 발전하고 있다. 하지만, 근래에는 사용자들이 이차원적인 영상에서 만족하지 않고, 공감각적인 삼차원 영상으로 많은 관심이 옮겨가고 있다. 이러한 사용자들의 관심은 여러 대의 카메라에서 획득된 영상을 이용하여 삼차원 모델을 생성하는 연구를 진행하게 하였다.
삼차원 모델을 생성하는 많은 연구 중의 하나인 프랑스 INRIA의 연구소에서 분리된 "4D View Solutions"에서는 영상 기반 삼차원 모델 제작하여 스포츠, 산업, 드라마 등의 애플리케이션에 이용하고 있다.
"4D views solutions"에서는 삼차원 모델을 생성하기 위하여 비주얼 헐 (visual hull)기법을 적용하였고, 이를 기반으로 삼차원 메쉬 모델을 복원하였다.
하지만, "4D views solutions"과 같은 방법은 삼차원 복원 시 많은 시간과 메모리가 필요하다는 문제점이 있다.
본 발명의 목적은, 카메라를 이용하여 획득한 영상을 문화재 복원, 영화, 드라마, 스포츠 등의 많은 분야에 걸쳐 적용이 가능한 삼차원 모델을 복원하는 장치 및 그 방법을 제공하는 것이다.
상기 과제를 해결하기 위한 본 발명의 실시예에 따른, 삼차원 모델 복원 장치는
영상에서 삼차원 정보를 추출하는 추출부; 상기 영상에서 관심 객체를 분리하는 분리부; 상기 삼차원 정보와 상기 관심 객체를 이용하여 삼차원 볼륨 모델을 생성하는 볼륨 모델 생성부; 상기 삼차원 볼륨 모델에 설정된 알고리즘을 적용하여 삼차원 메쉬 모델을 생성하는 메쉬 모델 생성부; 상기 영상과 상기 삼차원 메쉬 모델을 텍스쳐 매핑하는 매핑부; 및 상기 삼차원 메쉬 모델과 매핑 결과를 토대로 에니메이션을 생성하고, 상기 에니메이션에 배경을 합성하여 상기 삼차원 모델을 복원하는 복원부를 포함한다.
상기 알고리즘은 마칭 큐브 알고리즘에 해당하는 것을 특징으로 한다.
상기 분리부는 코드북을 이용하는 전/배경 분리 기법을 토대로 상기 영상에서 상기 관심 객체를 분리하는 것을 특징으로 한다.
상기 볼륨 모델 생성부는 삼차원 큐브 형태의 복셀 집합에 해당하는 삼차원 볼륨 모델을 생성하는 것을 특징으로 한다.
상기 볼륨 모델 생성부는 상기 삼차원 모델에 해당하는 복셀을 찾아내고, 찾아낸 복수개의 복셀들을 각 카메라의 이미지 평면에 투영하여 상기 삼차원 모델의 영역을 획득하고, 상기 삼차원 모델의 영역에 해당하는 상기 삼차원 볼륨 모델을 생성한다.
상기 볼륨 모델 생성부는 팔진트리 구조를 이용하여 상기 삼차원 모델에 해당하는 복셀을 찾아내는 것을 특징으로 한다.
상기 메쉬 모델 생성부는 상기 삼차원 메쉬 모델의 품질은 마칭 큐브의 복수개의 패턴을 통해 생성되는 삼각형의 모양에 대응하는 것을 특징으로 한다.
상기 복원부는 상기 영상에 대한 프레임 별로 상기 삼차원 메쉬 모델을 저장하고, 저장한 삼차원 메쉬 모델과 상기 텍스쳐 매핑에 사용된 영상을 프레임 별로 메모리에 저장하여 상기 에니메이션을 생성하는 것을 특징으로 한다.
상기 영상을 복수개의 카메라를 이용하여 획득하는 획득부를 더 포함한다.
상기 과제를 해결하기 위한 본 발명의 다른 실시예에 따른, 삼차원 모델 복원 방법은
영상에서 삼차원 정보를 추출하는 단계; 상기 영상에서 관심 객체를 분리하는 단계; 상기 삼차원 정보와 상기 관심 객체를 이용하여 삼차원 볼륨 모델을 생성하는 단계; 상기 삼차원 볼륨 모델에 설정된 알고리즘을 적용하여 삼차원 메쉬 모델을 생성하는 단계; 상기 영상과 상기 삼차원 메쉬 모델을 텍스쳐 매핑하는 단계; 및 상기 삼차원 메쉬 모델과 매핑 결과를 토대로 에니메이션을 생성하고, 상기 에니메이션에 배경을 합성하여 삼차원 모델을 복원하는 단계를 포함한다.
상기 추출하는 단계는 카메라에서 실제 모델이 떨어져 있는 위치를 나타내는 외부 인자와, 삼차원 모델에서 카메라 투영평면에 투영 될 때 사용되는 내부 인자를 포함하는 상기 삼차원 정보를 추출하는 것을 특징으로 한다.
상기 분리하는 단계는 코드북을 이용하는 전/배경 분리 기법을 토대로 상기 영상에서 상기 관심 객체를 분리하는 것을 특징으로 한다.
상기 삼차원 볼륨 모델을 생성하는 단계는 상기 삼차원 모델에 해당하는 복수개의 복셀들을 찾아내는 단계; 상기 복수개의 복셀들을 각 카메라의 이미지 평면에 투영하여 상기 삼차원 모델의 영역을 획득하는 단계; 및 상기 삼차원 모델의 영역에 해당하는 상기 삼차원 볼륨 모델을 생성하는 단계를 포함한다.
상기 복수개의 복셀들을 찾아내는 단계는 팔진트리 구조를 이용하여 상기 복수개의 복셀들을 찾아내는 것을 특징으로 한다.
상기 삼차원 볼륨 모델은 삼차원 큐브 형태의 복셀 집합에 해당하는 것을 특징으로 한다.
상기 삼차원 메쉬 모델의 품질은 마칭 큐브의 복수개의 패턴을 통해 생성되는 삼각형의 모양에 대응하는 것을 특징으로 한다.
상기 삼차원 모델을 복원하는 단계는 상기 영상에 대한 프레임 별로 상기 삼차원 메쉬 모델을 저장하는 단계; 및 저장한 삼차원 메쉬 모델과 상기 텍스쳐 매핑에 사용된 영상을 프레임 별로 메모리에 저장하여 상기 에니메이션을 생성하는 단계를 포함한다.
상기 삼차원 모델 복원 방법은 상기 영상을 복수개의 카메라들을 통해 획득하는 단계를 더 포함한다.
본 발명의 실시예에 따르면, 삼차원 모델 복원 장치 및 그 방법은 볼륨 모델 생성시 빠른 탐색을 할 수 있으며 메모리를 효율적으로 사용할 수 있다.
도 1은 본 발명의 실시예에 따른 삼차원 모델 복원 장치를 적용하는 환경을 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 삼차원 모델 복원 장치를 개략적으로 나타내는 구성도이다.
도 3 및 도 4는 본 발명의 실시예에 따른 삼차원 볼륨 모델을 생성하는 방법을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 삼차원 볼륨 모델을 토대로 삼각형의 꼭지점을 찾는 방법을 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 인접한 복셀에 의해 생성되는 삼각형을 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 삼차원 모델 복원 장치에 의해 복원된 영상을 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른 삼차원 모델을 복원하는 방법을 나타내는 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하에서는, 본 발명의 실시예에 따른 삼차원 모델 복원 장치 및 그 방법에 대하여 첨부한 도면을 참고로 하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 삼차원 모델 복원 장치를 적용하는 환경을 나타내는 도면이다.
본 발명의 실시예에 따른 삼차원 모델 복원 장치는 다중 카메라가 획득한 영상을 이용하여 삼차원 모델을 복원하는 장치다.
여기서, 다중 카메라는 방송용 카메라 20대를 사용하였으며, 이에 한정되지 않는다.
또한, 본 발명의 실시예에 따른 환경에서는 촬영을 위하여 도 1과 같이, 그린스크린 촬영장을 건설하였으며, 20대의 카메라에서 생성된 무압축 영상 데이터를 저장할 장치를 구축하였다.
촬영장은 직경 10m의 정사각형의 규모로 이루어져 있다. 여기서, 연기자가 활동할 수 있는 최대 공간은 3m로 설계가 되었다. 또한, 촬영장에는 무압축 영상 데이터를 저장하기 위하여 10대의 워크스테이션(workstation)과 2채널을 저장할 수 있는 캡쳐 보드 10개를 포함한다. 여기서, 10대의 워크스테이션에 저장된 파일은 하나의 프로세싱 서버로 전송되고, 획득된 동영상을 이용하여 최종적인 삼차원 모델을 생성하는데 사용된다.
다음, 이러한 환경에 적용하는 삼차원 모델 복원 장치를 도 2를 참조하여 상세하게 설명한다.
도 2는 본 발명의 실시예에 따른 삼차원 모델 복원 장치를 개략적으로 나타내는 구성도이다.
도 2를 참고하면, 삼차원 모델 복원 장치(100)은 영상 획득부(110), 추출부(120), 분리부(130), 볼륨 모델 생성부(140), 메쉬 모델 생성부(150), 매핑부(160) 및 복원부(170)를 포함한다.
영상 획득부(110)는 적어도 하나의 카메라를 포함하며, 카메라를 이용하여 영상을 획득한다.
추출부(120)는 획득한 영상에서 카메라 캘리브레이션을 이용하여 삼차원 정보에 해당하는 외부 인자 및 내부 인자를 추출한다. 여기서, 외부 인자는 카메라에서 실제 모델이 떨어져 있는 위치를 나타내는 위치 인자에 해당하고, 내부 인자는 삼차원 모델에서 카메라 투영평면에 투영 될 때 사용되는 정보 인자에 해당한다.
본 발명의 실시예에 따른 외부 인자 및 내부 인자는 삼차원 모델의 실제 좌표를 계산하고, 삼차원 모델을 영상에 투영할 때 쓰여지는 것으로, 이에 한정되지 않는다.
분리부(130)는 획득한 영상에서 관심 객체를 분리하여 전경에 해당하는 마스크 영상을 획득한다. 이때, 분리부(130)는 코드북(codebook)을 이용하는 전/배경 분리 기법을 이용하여 관심 객체를 분리한다.
볼륨 모델 생성부(140)는 마스크 영상을 이용하여 삼차원 볼륨 모델을 생성한다.
본 발명의 실시예에 따른, 볼륨 모델 생성부(140)는 실루엣 기반 방법(Shape From Silhouette, SFS)에 해당하는 비주얼 헐(visual hull) 기법을 이용하여 삼차원 볼륨 모델을 생성하고, 이에 한정되지 않는다.
구체적으로, 볼륨 모델 생성부(140)는 분리된 관심 객체와 각 카메라의 카메라 캘리브레이션을 통해 획득한 외부 인자 및 내부 인자를 이용하여 삼차원 볼륨 모델을 생성한다. 여기서, 삼차원 볼륨 모델은 삼차원 큐브 형태의 복셀(voxel) 집합을 포함한다. 일반적으로, 복셀은 3D 공간의 한 점을 정의한 일단의 그래픽 정보. 픽셀이 2D 공간에서 x-y좌표로 된 점을 정의한 것이기 때문에 제3의 좌표 z가 필요하다.
즉, 볼륨 모델 생성부(140)는 삼차원 볼륨 모델을 생성하기 위하여, 삼차원 공간 상에서 삼차원 모델에 해당하는 복셀을 찾아내고, 찾아낸 모든 복셀을 각 카메라의 이미지 평면에 투영함으로써, 삼차원 모델에 해당하는 복셀을 찾게 된다.
이때, 삼차원 모델을 영상에 투영하는 것은 도 3과 같이 나타낸다.
도 3을 참고하면, fx, fy와 u0, v0은 카메라 캘리브레이션을 통해 획득된 초점 거리(focal length)와 이미지 중심(image center)에 해당하고, 이는 내부 행렬을 이루는 요소이다. 이때, 내부 행렬은 수학식 1과 같이 나타낸다.
Figure pat00001
다음, 볼륨 모델 생성부(140)는 내부 행렬에 해당하는 수학식 1을 이용하여 영상의 투영 포인트(u', v')를 획득한다. 이때, 영상의 투영 포인트는 수학식 2와 같다.
Figure pat00002
볼륨 모델 생성부(140)는 각 복셀을 영상에 투영하면, 각 복셀에 대한 영상 투영 포인트를 알 수 있고, 삼차원 모델의 영역을 알 수 있다. 이처럼, 볼륨 모델 생성부(140)는 투영을 통해 삼차원 볼륨 모델을 획득할 수 있다.
하지만, 위와 같은 모든 복셀에 대한 순차적인 탐색은 많은 시간을 요구한다. 따라서, 본 발명에서는 공간 분할 방법에 해당하는 팔진트리 구조(Octree)를 이용하여 모든 복셀에 대한 빠른 탐색을 수행한다.
팔진트리 구조를 이용하여 탐색을 수행하는 방법은 빠른 탐색뿐만 아니라 메모리를 효율적으로 사용할 수 있는 장점을 가지고 있다.
고품질의 삼차원 모델 생성을 위해서는 고해상도의 볼륨이 생성되어야 하기 때문에, 물리적인 메모리를 많이 사용하게 되고, 많은 탐색이 이루어지게 된다. 즉, 빠른 탐색과 효율적인 메모리 사용은 고품질의 삼차원 모델을 생성하는데 중요한 요소이다.
다음, 본 발명의 실시예에 따른 팔진트리 구조를 이용하여 삼차원 볼륨 모델을 생성하는 방법은 도 4와 같이 나타낸다.
도 4를 참고하면, 볼륨 모델 생성부(140)는 삼차원 모델에 해당하는 복셀을 찾고, 찾은 복셀을 8조각으로 세부적으로 나눈다, 다음, 볼륨 모델 생성부(140)는 나눠진 복셀에 대해서 삼차원 모델에 해당하는지 판단하여, 이를 토대로 삼차원 볼륨 모델을 생성한다. 즉, 팔진트리 구조를 이용하는 볼륨 모델 생성부(140)는 재귀적인 방법을 사용하여 삼차원 볼륨 모델을 생성한다.
메쉬 모델 생성부(150)는 삼차원 볼륨 모델에 특정 알고리즘을 적용하여 삼차원 메쉬 모델을 생성한다. 여기서, 특정 알고리즘은 마칭 큐브(marching cube) 알고리즘에 해당한다. 이때, 삼차원 메쉬 모델의 질은 마칭 큐브의 256개 패턴을 통해 생성되는 삼각형의 모양에 따라서 최종 품질이 결정된다.
즉, 메쉬 모델 생성부(150)는 삼각형의 정점을 영상에 투영하여 삼차원 볼륨 모델의 실루엣(silhouette)에 위치시킴으로써, 부드러운 삼차원 메쉬 모델을 생성할 수 있다.
다음, 도 5에서는 삼차원 볼륨 모델의 외곽에 해당하는 경계 복셀의 한 에지를 영상(영상 평면)에 투영하여, 삼각형의 한 꼭지점에 해당하는 점을 찾는 방법을 나타내고 있다.
도 5를 참고하면, 메쉬 모델 생성부(150)는 삼차원 점(X1, Z1)과 점(X2, Z2)을 알고 있으며, 이 두 점을 투영한 영상 평면상의 이차원 점(P1, -e)과 점(P2, -e)을 알 수 있다. 또한, 메쉬 모델 생성부(150)는 삼차원 볼륨 모델의 경계가 되는 경계점(P3, -e)을 알고 있으므로, 카메라의 중심점에서 경계점(P3, -e)을 잇는 선분에서 엣지와 맞닿는 점(X3, Z3)을 구할 수 있다. 결론적으로, 메쉬 모델 생성부(150)는 삼각형의 꼭지점을 구할 수 있다.
이와 같이, 메쉬 모델 생성부(150)에서 생성된 삼차원 메쉬 모델은 각 삼각형이 독립적으로 생성되므로, 삼차원 메쉬 모델을 변형시키게 되면 각 삼각형에 따로 적용이 되고, 원하지 않는 결과를 얻을 수 있다. 이를 방지하기 위하여, 메쉬 모델 생성부(150)는 마칭 큐브 알고리즘 적용 시 같은 점을 공유하는 삼각형에 대한 대하여 도 6과 같이 고려해야 한다.
도 6을 참고하면, 인접한 두 개의 복셀에 의해 생성되는 삼각형은 일부의 꼭지점을 공유한다. 모든 복셀에서 생성되는 삼각형은 세 개의 방향(X, Y, Z)의 ①, ②, ③에 위치하게 된다.
메쉬 모델 생성부(150)는 미리 생성된 삼각형의 각 꼭지점의 인덱스를 저장 한 후, 다음 삼각형이 해당 복셀의 ①, ②, ③ 중 하나가 꼭지점이 되는 경우에 이전의 꼭지점의 인덱스를 토대로 꼭지점을 공유하는 삼각형을 생성한다.
매핑부(160)는 삼차원 메쉬 모델과 영상 획득부(110)를 통해 획득한 영상을 텍스쳐 매핑한다. 여기서, 획득한 영상은 20 대의 카메라 중 삼차원 모델에 가장 가까운 카메라에 해당하는 영상이다.
복원부(170)는 삼차원 메쉬 모델과 텍스쳐 매핑 결과를 토대로 에니메이션을 생성하고, 생성한 에니메이션에 배경을 합성하여 삼차원 모델을 복원한다.
구체적으로, 복원부(170)는 획득한 영상에 대한 프레임 별로 삼차원 메쉬 모델을 저장한다. 다음, 복원부(170)는 저장된 삼차원 메쉬 모델과 텍스쳐 매핑에 사용된 영상을 프레임 별로 메모리에 저장하여 삼차원 모델에 대한 애니메이션을 생성한다. 또한, 복원부(170)는 생성한 애니메이션에 배경을 합성하여 도 7과 같은 합성된 영상 즉, 삼차원 모델을 복원한다.
다음, 삼차원 모델을 복원하는 방법을 도 8을 참조하여 상세하게 설명한다.
도 8은 본 발명의 실시예에 따른 삼차원 모델을 복원하는 방법을 나타내는 흐름도이다.
도 8을 참고하면, 삼차원 모델 복원 장치(100)는 예를 들어, 20대의 카메라를 이용하여 영상을 획득한다(S810).
삼차원 모델 복원 장치(100)은 카메라 캘리브레이션을 이용하여 획득한 영상에서 삼차원 정보를 추출한다(S820). 여기서, 삼차원 정보는 카메라에서 실제 모델이 떨어져 있는 위치를 나타내는 위치 인자에 해당하는 외부 인자와, 삼차원 모델에서 카메라 투영평면에 투영 될 때 사용되는 정보 인자에 해당하는 내부 인자를 포함한다.
삼차원 모델 복원 장치(100)은 획득한 영상에서 관심 객체를 분리하여 전경에 해당하는 마스크 영상을 획득한다(S830). 이때, 삼차원 모델 복원 장치(100)은 코드북(codebook)을 이용하는 전/배경 분리 기법을 이용하여 관심 객체를 분리한다.
삼차원 모델 복원 장치(100)는 획득한 마스크 영상을 이용하여 삼차원 볼륨 모델을 생성한다(S840). 여기서, 삼차원 볼륨 모델은 삼차원 큐브 형태의 복셀 집합을 포함한다.
구체적으로, 삼차원 모델 복원 장치(100)는 삼차원 공간 상에서 삼차원 모델에 해당하는 복셀을 찾아내고, 찾아낸 모든 복셀을 카메라의 이미지 평면에 투영함으로써, 삼차원 모델에 해당하는 삼차원 큐브 형태의 복셀 집합을 찾는다.
삼차원 모델에 해당하는 복셀을 찾아내는 경우, 삼차원 모델 복원 장치(100)는 공간 분할 방법에 해당하는 팔진트리 구조를 이용하여 모든 복셀에 대한 빠른 탐색을 수행한다.
삼차원 모델 복원 장치(100)는 삼차원 모델에 해당하는 복셀을 찾고, 찾은 복셀을 8조각으로 세부적으로 나눈다. 다음, 삼차원 모델 복원 장치(100)는 8조각의 복셀에 대해서 삼차원 모델에 해당하는지 판단하고, 판단한 결과를 토대로 삼차원 볼륨 모델을 생성한다.
다음, 삼차원 모델 복원 장치(100)는 삼차원 볼륨 모델에 마칭 큐브 알고리즘을 적용하여 삼차원 메쉬 모델을 생성한다(S850). 여기서, 삼차원 메쉬 모델의 질은 마칭 큐브의 256개 패턴을 통해 생성되는 삼각형의 모양에 대응한다.
삼차원 모델 복원 장치(100)는 삼차원 메쉬 모델과 획득한 영상을 텍스쳐 매핑한다(S860). 여기서, 획득한 영상은 적어도 하나의 카메라 중 삼차원 모델이 가장 가까운 카메라를 통해 획득한 영상에 해당한다.
삼차원 모델 복원 장치(100)는 삼차원 메쉬 모델과 텍스쳐 매핑 결과를 토대로 에니메이션을 생성하고, 생성한 에니메이션에 배경을 합성하여 삼차원 모델을 복원한다(S870).
구체적으로, 삼차원 모델 복원 장치(100)는 획득한 동영상에 대한 프레임 별로 삼차원 메쉬 모델을 저장한다. 다음, 삼차원 모델 복원 장치(100)는 저장된 삼차원 메쉬 모델과 텍스쳐 매핑에 사용된 동영상을 프레임 별로 메모리에 저장하여 삼차원 모델에 대한 애니메이션을 생성한다. 또한, 삼차원 모델 복원 장치(100)는 생성한 애니메이션에 배경을 합성하여 삼차원 모델을 복원한다.
이로써, 본 발명의 실시예에 따른 삼차원 모델 복원 방법은 삼차원 볼륨 모델 생성 시 복셀을 찾는 탐색 시간을 감소시킴으로써 삼차원 모델 복원 시 소요되는 시간을 단축하였으며, 메모리를 효율적으로 사용 할 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100; 삼차원 모델 복원 장치
110; 영상 획득부
120; 추출부
130; 분리부
140; 볼륨 모델 생성부
150; 메쉬 모델 생성부
160; 매핑부
170; 복원부

Claims (18)

  1. 영상에서 삼차원 정보를 추출하는 추출부;
    상기 영상에서 관심 객체를 분리하는 분리부;
    상기 삼차원 정보와 상기 관심 객체를 이용하여 삼차원 볼륨 모델을 생성하는 볼륨 모델 생성부;
    상기 삼차원 볼륨 모델에 설정된 알고리즘을 적용하여 삼차원 메쉬 모델을 생성하는 메쉬 모델 생성부;
    상기 영상과 상기 삼차원 메쉬 모델을 텍스쳐 매핑하는 매핑부; 및
    상기 삼차원 메쉬 모델과 매핑 결과를 토대로 에니메이션을 생성하고, 상기 에니메이션에 배경을 합성하여 상기 삼차원 모델을 복원하는 복원부
    를 포함하는 삼차원 모델 복원 장치.
  2. 청구항 1에 있어서,
    상기 알고리즘은 마칭 큐브 알고리즘에 해당하는 것을 특징으로 하는 삼차원 모델 복원 장치.
  3. 청구항 1에 있어서,
    상기 분리부는
    코드북을 이용하는 전/배경 분리 기법을 토대로 상기 영상에서 상기 관심 객체를 분리하는 것을 특징으로 하는 삼차원 모델 복원 장치.
  4. 청구항 1에 있어서,
    상기 볼륨 모델 생성부는
    삼차원 큐브 형태의 복셀 집합에 해당하는 삼차원 볼륨 모델을 생성하는 것을 특징으로 하는 삼차원 모델 복원 장치.
  5. 청구항 4에 있어서,
    상기 볼륨 모델 생성부는
    상기 삼차원 모델에 해당하는 복셀을 찾아내고, 찾아낸 복수개의 복셀들을 각 카메라의 이미지 평면에 투영하여 상기 삼차원 모델의 영역을 획득하고, 상기 삼차원 모델의 영역에 해당하는 상기 삼차원 볼륨 모델을 생성하는 삼차원 모델 복원 장치.
  6. 청구항 5에 있어서,
    팔진트리 구조를 이용하여 상기 삼차원 모델에 해당하는 복셀을 찾아내는 것을 특징으로 하는 삼차원 모델 복원 장치.
  7. 청구항 1에 있어서,
    상기 메쉬 모델 생성부는
    상기 삼차원 메쉬 모델의 품질은 마칭 큐브의 복수개의 패턴을 통해 생성되는 삼각형의 모양에 대응하는 것을 특징으로 하는 삼차원 모델 복원 장치.
  8. 청구항 1에 있어서,
    상기 복원부는
    상기 영상에 대한 프레임 별로 상기 삼차원 메쉬 모델을 저장하고, 저장한 삼차원 메쉬 모델과 상기 텍스쳐 매핑에 사용된 영상을 프레임 별로 메모리에 저장하여 상기 에니메이션을 생성하는 것을 특징으로 하는 삼차원 모델 복원 장치.
  9. 청구항 1에 있어서,
    상기 영상을 복수개의 카메라를 이용하여 획득하는 획득부
    를 더 포함하는 삼차원 모델 복원 장치.
  10. 영상에서 삼차원 정보를 추출하는 단계;
    상기 영상에서 관심 객체를 분리하는 단계;
    상기 삼차원 정보와 상기 관심 객체를 이용하여 삼차원 볼륨 모델을 생성하는 단계;
    상기 삼차원 볼륨 모델에 설정된 알고리즘을 적용하여 삼차원 메쉬 모델을 생성하는 단계;
    상기 영상과 상기 삼차원 메쉬 모델을 텍스쳐 매핑하는 단계; 및
    상기 삼차원 메쉬 모델과 매핑 결과를 토대로 에니메이션을 생성하고, 상기 에니메이션에 배경을 합성하여 삼차원 모델을 복원하는 단계
    를 포함하는 삼차원 모델 복원 방법.
  11. 청구항 10에 있어서,
    상기 추출하는 단계는
    카메라에서 실제 모델이 떨어져 있는 위치를 나타내는 외부 인자와, 삼차원 모델에서 카메라 투영평면에 투영 될 때 사용되는 내부 인자를 포함하는 상기 삼차원 정보를 추출하는 것을 특징으로 하는 삼차원 모델 복원 방법.
  12. 청구항 10에 있어서,
    상기 분리하는 단계는
    코드북을 이용하는 전/배경 분리 기법을 토대로 상기 영상에서 상기 관심 객체를 분리하는 것을 특징으로 하는 삼차원 모델 복원 방법.
  13. 청구항 10에 있어서,
    상기 삼차원 볼륨 모델을 생성하는 단계는
    상기 삼차원 모델에 해당하는 복수개의 복셀들을 찾아내는 단계;
    상기 복수개의 복셀들을 각 카메라의 이미지 평면에 투영하여 상기 삼차원 모델의 영역을 획득하는 단계; 및
    상기 삼차원 모델의 영역에 해당하는 상기 삼차원 볼륨 모델을 생성하는 단계
    를 포함하는 삼차원 모델 복원 방법.
  14. 청구항 13에 있어서,
    상기 복수개의 복셀들을 찾아내는 단계는
    팔진트리 구조를 이용하여 상기 복수개의 복셀들을 찾아내는 것을 특징으로 하는 삼차원 모델 복원 방법.
  15. 청구항 13에 있어서,
    상기 삼차원 볼륨 모델은 삼차원 큐브 형태의 복셀 집합에 해당하는 것을 특징으로 하는 삼차원 모델 복원 방법.
  16. 청구항 10에 있어서,
    상기 삼차원 메쉬 모델의 품질은 마칭 큐브의 복수개의 패턴을 통해 생성되는 삼각형의 모양에 대응하는 것을 특징으로 하는 삼차원 모델 복원 방법.
  17. 청구항 10에 있어서,
    상기 삼차원 모델을 복원하는 단계는
    상기 영상에 대한 프레임 별로 상기 삼차원 메쉬 모델을 저장하는 단계; 및
    저장한 삼차원 메쉬 모델과 상기 텍스쳐 매핑에 사용된 영상을 프레임 별로 메모리에 저장하여 상기 에니메이션을 생성하는 단계
    를 포함하는 삼차원 모델 복원 방법.
  18. 청구항 10에 있어서,
    상기 영상을 복수개의 카메라들을 통해 획득하는 단계를 더 포함하는 삼차원 모델 복원 방법.
KR1020100123565A 2010-12-06 2010-12-06 삼차원 모델 복원 장치 및 그 방법 KR20120062345A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100123565A KR20120062345A (ko) 2010-12-06 2010-12-06 삼차원 모델 복원 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100123565A KR20120062345A (ko) 2010-12-06 2010-12-06 삼차원 모델 복원 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20120062345A true KR20120062345A (ko) 2012-06-14

Family

ID=46683314

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100123565A KR20120062345A (ko) 2010-12-06 2010-12-06 삼차원 모델 복원 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20120062345A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496547A (zh) * 2021-06-22 2021-10-12 华南理工大学 实物保护***的最薄弱路径识别方法、装置、设备和介质
CN115409933A (zh) * 2022-10-28 2022-11-29 北京百度网讯科技有限公司 多风格纹理贴图生成方法及其装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113496547A (zh) * 2021-06-22 2021-10-12 华南理工大学 实物保护***的最薄弱路径识别方法、装置、设备和介质
CN115409933A (zh) * 2022-10-28 2022-11-29 北京百度网讯科技有限公司 多风格纹理贴图生成方法及其装置
CN115409933B (zh) * 2022-10-28 2023-02-03 北京百度网讯科技有限公司 多风格纹理贴图生成方法及其装置

Similar Documents

Publication Publication Date Title
Griwodz et al. AliceVision Meshroom: An open-source 3D reconstruction pipeline
Kumar et al. Monocular dense 3d reconstruction of a complex dynamic scene from two perspective frames
US9082224B2 (en) Systems and methods 2-D to 3-D conversion using depth access segiments to define an object
CN111243071A (zh) 实时三维人体重建的纹理渲染方法、***、芯片、设备和介质
EP2272050B1 (en) Using photo collections for three dimensional modeling
JP6201476B2 (ja) 自由視点画像撮像装置およびその方法
Schöning et al. Evaluation of multi-view 3D reconstruction software
JP4839237B2 (ja) ３次元形状復元方法，３次元形状復元装置，その方法を実装した３次元形状復元プログラム及びそのプログラムを記録した記録媒体
JP2006053694A (ja) 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
JP2016537901A (ja) ライトフィールド処理方法
KR101181199B1 (ko) 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체
Zhang et al. Personal photograph enhancement using internet photo collections
KR100834157B1 (ko) 영상 합성을 위한 조명환경 재구성 방법 및 프로그램이기록된 기록매체
TWI810818B (zh) 提供三維模型的電腦實施方法與系統及其相關之儲存媒體
US20200057778A1 (en) Depth image pose search with a bootstrapped-created database
US20210217225A1 (en) Arbitrary view generation
Pagani et al. Dense 3D Point Cloud Generation from Multiple High-resolution Spherical Images.
Queguiner et al. Towards mobile diminished reality
Simões et al. Challenges in 3d reconstruction from images for difficult large-scale objects: A study on the modeling of electrical substations
JPH11504452A (ja) ２次元投影図に基づいて３次元の対象物を再現し、取り扱うための装置と方法
WO2021187157A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
KR20100104088A (ko) 다시점 영상 처리 방법 및 장치
KR20120062345A (ko) 삼차원 모델 복원 장치 및 그 방법
KR20210147647A (ko) 얼굴 이미지 색상 합성 장치 및 방법
KR102612539B1 (ko) 다시점 비디오 부호화 및 복호화 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application