KR20130067882A - 멀티 ｇｐｕ를 이용한 실시간 ３차원 외형 복원 모델 생성 방법 및 그 장치 - Google Patents

Abstract

영상을 기반으로 3차원 외형 복원 모델을 생성하기 위한 방법 및 그 장치가 개시된다. 본 발명의 일실시예에 따른 실시간 3차원 외형 복원 모델 생성 장치는, 하나 이상의 카메라를 통해 입력된 영상 데이터를 획득하고, 상기 카메라에 대한 캘리브레이션을 수행하며, 상기 영상 데이터에 대해 전경 및 배경을 분리하여 전경/배경 분리 영상을 생성하는 입력 데이터 생성부; 상기 전경/배경 영상을 이용하여 멀티 GPU를 통해 3차원 볼륨 모델을 생성하고, 상기 3차원 볼륨 모델을 처리하여 3차원 메쉬 모델을 생성하는 실시간 모델 생성부; 및 상기 3차원 메쉬 모델에 대한 텍스쳐를 매핑 및 합성하여 애니메이션 영상을 생성하는 실시간 랜더링부를 포함한다.

Description

멀티 ＧＰＵ를 이용한 실시간 ３차원 외형 복원 모델 생성 방법 및 그 장치{Method for Generating 3D Surface Reconstruction Model Using Multiple GPUs and Apparatus of Enabling the Method}

본 발명의 실시예들은 컴퓨터 그래픽스의 한 부분인 모델링에 관한 기술로서, 영상을 기반으로 3차원 외형 복원 모델을 생성하기 위한 방법 및 그 장치에 관한 것이다.

3차원(3-Dimensional) 그래픽스 하드웨어 기술은 단순히 고품질의 랜더링 기술의 향상뿐 아니라, 병렬처리 기법을 이용하여 간단하고 반복적인 계산에 대한 처리 속도 향상도 같이 발전하고 있다.

GPU를 이용한 계산 속도 향상은 내부에 많은 코어(core)를 탑재해 한 번에 처리할 수 있는 계산 량을 늘리는 방식이다. 일반적인 CPU 코어의 개수는 8 개 또는 16개이고, GPU는 현재 512 개의 코어를 가지고 있다. 이러한 코어 수의 차이로 인해 한 번에 처리할 수 있는 양이 커지게 되므로, 같은 양을 처리할 때 CPU 보다 GPU가 더 빠르게 계산을 수행할 수 있다. CPU의 코어의 성능이 GPU의 코어의 성능보다 통상 높고 다양한 태스크를 처리하기 적합하지만, 영상 처리 중 하나인 영상 블러(blur)의 처리 과정을 보면, 영상의 모든 픽셀에 단순히 3x3 혹은 5x5의 마스크 적용을 함으로써 결과를 얻을 수 있는데 이러한 작업은 반복적이고 단순한 매트릭스(matrix) 계산이기 때문에 GPU의 성능으로 충분히 결과를 얻을 수 있다. 이와 같이, GPU는 단순하고 반복적인 계산이 필요한 분야, 특히 그래픽스 응용 분야에서 많이 사용되고 있다.

3차원 외형 복원 모델 생성에 사용되는 가장 일반적인 방법 중 하나는, 여러 방향의 시점으로부터 획득한 2차원의 영상정보를 조합하는 것이다. 이때, 2차원 영상의 개수가 많고 해상도가 높으면 외형 복원 모델의 정확도를 높일 수 있으나 처리 시간 역시 크게 증가한다.

본 발명의 일실시예에 따른 실시간 3차원 외형 복원 모델 생성 장치는, 하나 이상의 카메라를 통해 입력된 영상 데이터를 획득하고, 상기 카메라에 대한 캘리브레이션을 수행하며, 상기 영상 데이터에 대해 전경 및 배경을 분리하여 전경/배경 분리 영상을 생성하는 입력 데이터 생성부; 상기 전경/배경 영상을 이용하여 멀티 GPU를 통해 3차원 볼륨 모델을 생성하고, 상기 3차원 볼륨 모델을 처리하여 3차원 메쉬 모델을 생성하는 실시간 모델 생성부; 및 상기 3차원 메쉬 모델에 대한 텍스쳐를 매핑 및 합성하여 애니메이션 영상을 생성하는 실시간 랜더링부를 포함한다.

본 발명의 일실시예에 따르면, 3차원 외형 복원 모델 생성에 필요한 3차원 볼륨 모델 생성 및 3차원 메쉬 모델 생성 시, GPU를 이용하는 실시간 3차원 외형 복원 모델 생성 방법이 제안된다.

본 발명의 일실시예에 따르면, 멀티 GPU를 이용한 실시간 3차원 외형 복원 모델을 생성하기 위해 병렬 처리 방법, 일례로 CUDA(Compute Unified Device Architecture)를 사용함으로써 3차원 외형 복원 모델의 생성 속도를 증가시킬 수 있다.

도 1은 본 발명의 일실시예에 따른 실시간 3차원 외형 복원 모델 생성 장치의 블록도이다.
도 2는 본 발명의 일실시예에 따른 실시간 3차원 외형 복원 모델 생성 방법의 흐름도이다.
도 3은 본 발명의 일실시예에 따른 실시간 3차원 외형 복원 모델 생성 방법에서 이용되는 멀티 GPU 사용 방법의 일례를 설명하는 흐름도이다.

이하에서, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

본 발명의 일실시예에 따른 실시간 3차원 외형 복원 모델 생성 방법 및 그 장치는 CUDA(Compute Unified Device Architecture) API(Application Programming Interface)를 이용한 실시간 3차원 모델 생성 기법을 이용할 수 있다.

본 명세서에서 설명하는 3차원 외형 복원 모델 생성 방법 및 그 장치에 사용되는 가장 일반적인 기법 중 하나는 여러 방향의 시점으로부터 획득한 2차원의 영상정보를 조합하는 것이다. 이 경우, 2차원 영상의 개수가 많고 해당 영상의 해상도가 높으면 외형 복원 모델의 정확도를 높일 수 있으나, 처리 시간 역시 크게 증가한다. 본 명세서에서는, 연산 시간이 매우 많이 소요되는 기존의 문제점 해결을 위하여 복셀(voxel) 큐브(cube)의 꼭지점이 아닌 중점을 기준으로 객체 영역 포함 여부를 판단하고, 이때 손실될 수 있는 외곽 정보를 메쉬(mesh) 변환 단계에서 효율적으로 보완함으로써 연산 시간을 단축하고 외형 복원 모델의 정확도를 향상할 수 있는 방법이 개시된다.

도 1은 본 발명의 일실시예에 따른 실시간 3차원 외형 복원 모델 생성 장치의 블록도이다.

본 발명의 일실시예에 따른 실시간 3차원 외형 복원 모델 생성 장치(100)는 입력 데이터 생성부(110), 실시간 모델 생성부(120), 및 실시간 랜더링부(130)를 포함한다.

입력 데이터 생성부(110)는 하나 이상의 카메라를 통해 입력된 영상 데이터를 획득하고, 상기 카메라에 대한 캘리브레이션을 수행하며, 상기 영상 데이터에 대해 전경 및 배경을 분리하여 전경/배경 분리 영상을 생성한다.

입력 데이터 생성부(110)는 영상 획득을 위해 일례로 20대의 방송용 카메라(도시되지 아니함)에서 720 p의 해상도를 가진 영상을 60 fps의 속도로 입력 받는다. 720p는 프로그래시브 방식으로 단일 프레임이 모든 정보를 가지고 있기 때문에 1280x720x3(RGB)의 해상도를 가지게 되고, 하나의 프레임 당 약 3 Byte의 크기를 가진다. 본 실시예에서, 입력 영상은 20대의 카메라에서 획득되기 때문에 상대적으로 대용량의 데이터가 생성된다. 획득된 영상에 대한 코드북 기반 전경 및 배경 분리가 수행되는데, 전경 및 배경이 분리된 이진(배경/전경) 데이터, 즉 전경/배경 분리 영상은 3차원 외형 복원 모델을 생성하기 위한 입력 데이터로 사용된다.

카메라 캘리브레이션(calibration)은 상기 하나 이상의 카메라와 실(real) 공간에 대한 수치적인 정보를 계산하기 위한 것이다. 카메라 캘리브레이션은 내/외부 인자를 추출하고, 추출된 내/외부 인자를 이용한 3차원 정보를 영상에 프로젝션(projection) 시킴으로써 실제의 모델과 영상에 프로젝션된 모델을 비교할 수 있다.

실시간 모델 생성부(120)는 입력 데이터 생성부(110)에서 얻은 상기 전경/배경 영상을 이용하여 멀티 GPU를 통해 3차원 볼륨 모델을 생성하고, 상기 3차원 볼륨 모델을 처리하여 3차원 메쉬 모델을 생성한다.

실시간 모델 생성부(120)에서 생성되는 3차원 볼륨 모델은 SFS(Shape From Silhouette) 기법인 가상 헐(visual hull)을 이용할 수 있다. 3차원 볼륨 모델은 복셀(voxel)이라는 작은 큐브의 형태가 모여서 마치 하나의 블록처럼 쌓여진 모습을 의미한다. 여기에서 3차원 공간상에 놓여져 있는 복셀 중 3차원 모델을 구성하는 복셀을 찾기 위해, 일반적으로 3차원 공간의 어느 한 곳에 큰 큐브(cube)를 만들고 일정한 크기로 조각(slice)을 만들어 각 조각을 복셀로 사용할 수 있다. 이 조각들을 아래의 [수식 1]에 의해서 영상에 프로젝션 시켜 3차원 볼륨 모델에 포함되는 복셀을 찾을 수 있다.

상기 복셀의 크기를 작게 하는 경우, 좀 더 정밀한 3차원 볼륨 모델을 얻을 수 있으나, 3차원 볼륨 모델을 생성하는데 소요되는 시간이 커진다. 3차원 볼륨 모델을 생성하는데 소요되는 시간을 줄이기 위해, 공간 분할 방법인 Octree 구조를 사용할 수 있다. 보통 큰 큐브를 일정한 간격으로 조각 내어 복셀을 만드는데, 3차원 볼륨 모델은 전체의 복셀의 1%의 정도 복셀을 이용하여 생성될 수 있다. 따라서, 위의 경우 99%의 복셀들이 불필요하게 탐색될 수 있다. 이를 해결하기 위해 공간 분할 방법을 통해서 사용되지 않는 복셀을 예측하여 연산 시간을 줄이는 방법이 제안되었으나, 이러한 방법도 3차원 볼륨 모델을 만들기 위해서는 0.89 초 정도 걸리게 된다. 생성된 모든 복셀을 탐색하는 경우 소요되는 1.77초 정도의 시간에 비해 약 2배 정도의 연산 시간 절감 효과를 얻을 수 있으나, 실시간성을 확보하기에는 다소 부족할 수 있다.

본 발명에 따른 실시간 3차원 외형 복원 모델 생성 장치(100)의 실시간 모델 생성부(120)에서는, 멀티 GPU를 이용하여 3차원 볼륨 모델을 생성하는 방법을 제안한다. 위에서 설명한, 모든 복셀을 영상에 프로젝션하는 작업 및 공간 분할 방법을 이용하여 복셀을 찾는 작업은 CPU(도시되지 아니함)에서 처리한다. CPU에서는 빠른 연산 수행을 위해 쓰래딩(threading)과 같은 병렬 처리 기법을 이용할 수 있다. 쓰래딩은 시스템이 가지고 있는 코어의 개수에 따라서 쓰래드(thread)의 개수를 정한다. 코어가 많으면 많은 쓰래드를 돌릴 수 있고 많은 작업(task)을 한 번에 처리할 수가 있다.

통상 CPU의 코어는 가격이 비싸다. 따라서, 연산 속도를 늘리기 위해 코어 개수를 늘리는 경우, 단가가 높아진다. 따라서, 본 발명의 일실시예에 따르면, GPU에서 계산을 위한 코어를 늘리는 방법을 채택한다. 이러한 코어를 제어하기 위해서, 병렬 처리 API(Application Programming Interface)인 CUDA(Compute Unified Device Architecture)을 이용하여 많은 쓰래드를 발생시킴으로써, 많은 작업을 동시에 처리할 수 있다.

3차원 볼륨 모델을 생성하는 방법은, 복셀을 영상에 투영하여 탐색하는 것이므로, GPU는 효율적으로 사용될 수 있다. 본 발명의 일실시예에 따르면, 실제로 3차원 볼륨 모델을 생성하는데 소요되는 시간은 일반적으로 CPU의 수행 시간보다 빨랐으며, 이를 통해 실시간성을 확보할 수 있다.

3차원 메쉬 모델을 생성하기 위해서, 매칭 큐브(marching cube) 알고리즘을 적용할 수 있다. 매칭 큐브 알고리즘은 삼각형의 모양을 결정하기 위한 것인데, 보통 256개 패턴을 통해서 다양한 형태의 삼각형을 생성한다. 매칭 큐브의 256개의 패턴을 찾는 반복적인 작업이 수행되고, 이 작업은 멀티 GPU에서 수행될 수 있다.

3차원 볼륨 모델 및 3차원 메쉬 모델을 생성하기 위해, 병렬 처리 기법인 CUDA를 사용함으로써 실시간성을 확보할 수 있는 정도의 속도를 얻을 수 있다. GPU를 여러 개를 사용함으로써, 실시간 3차원 모델을 생성하는 것이 가능하다.

위에서 설명한 멀티 GPU를 사용 방법은 도 2를 참조하여 상세히 설명한다.

도 2는 본 발명의 일실시예에 따른 실시간 3차원 외형 복원 모델 생성 방법에서 이용되는 멀티 GPU 사용 방법의 일례를 설명하는 흐름도이다.

먼저, GPU 커널을 생성한다(201). GPU 커널을 생성하여, GPU의 사용을 알려 준다.

메인 메모리에서는 GPU의 메모리로 메모리 할당(202) 및 이동(203)을 수행한다. 단계(202 및 203)에서 수행되는 메모리 할당 및 이동은 통상 PCI(Peripheral Component Interconnect)를 통해서 수행되므로, 동시에 두 개의 GPU 메모리에서 수행될 수 없다. 따라서, 멀티 GPU 사용을 위해서는 단계(201 내지 206)가 반복적으로 수행되어야 한다.

단계(202 및 203) 이후, 멀티 3차원 볼륨 모델이 생성되고(204), 멀티 3D 메쉬 모델이 생성된다(205). 단계(204 및 205)는 이미 GPU 메모리로 이동된 데이터를 이용하여 수행되므로, 동시에 수행될 수도 있다.

단계(205)가 수행되면, GPU 메모리에서 메인 메모리로 생성된 멀티 3차원 메쉬 모델이 이동된다(206). 하나의 GPU에 대해 단계(201 내지 206)이 수행되면, 다시 GPU 커널을 생성하고(207), 단계(202 내지 206)이 반복적으로 수행된다.

다시 도 1을 참조하면, 실시간 랜더링부(130)는 실시간 모델 생성부(120)에서 얻은 상기 3차원 메쉬 모델에 대한 텍스쳐를 매핑 및 합성하여 애니메이션 영상을 생성한다.

실시간 랜더링부(130)는 하나 이상의 카메라(도시되지 아니함)에서 획득된 영상을 이용하여 생성된 3차원 메쉬 모델을 이동 혹은 회전하고, 가장 가까운 카메라에서 획득된 영상을 이용하여 텍스쳐 매핑을 한다.

또한, 실시간 랜더링부(130)는 택스쳐 매핑된 3차원 모델에 대해 OGRE 3D 등의 그래픽스 엔진을 이용하여 합성 및 애니메이션을 수행한다. 그래픽스 엔진을 이용함으로써, 손쉽게 씬(scene)을 정의하고 새로운 모델의 모션을 적용하여 애니메이션을 수행할 수 있다.

도 3은 본 발명의 일실시예에 따른 실시간 3차원 외형 복원 모델 생성 방법에서 이용되는 멀티 GPU 사용 방법의 일례를 설명하는 흐름도이다.

도 3을 참조하면, 하나 이상의 카메라를 통해 입력된 영상 데이터를 획득한다(301).

상기 카메라에 대한 캘리브레이션을 수행하고(302), 상기 영상 데이터에 대해 전경 및 배경을 분리하여 전경/배경 분리 영상을 생성한다(303).

단계(303)에서 생성된 상기 전경/배경 영상을 이용하여 멀티 GPU를 통해 3차원 볼륨 모델을 생성한다(304).

상기 3차원 볼륨 모델을 처리하여 3차원 메쉬 모델을 생성한다(305). 단계(305)에서 3차원 메쉬 모델을 생성하기 위해, 멀티 GPU를 이용할 수 있다. 멀티 GPU를 사용하는 방법은 이미 도 2를 참조하여 상세히 설명하였으므로, 이하 그 설명을 생략한다.

단계(305)에서 생성된 3D 메쉬 모델을 이용하여, 택스쳐 매핑이 수행된다(306).

단계(306)에서 택스쳐 매핑된 3차원 모델에 대해 OGRE 3D 등의 그래픽스 엔진을 이용하여 합성 및 애니메이션을 수행한다(307 및 308). 단계(307 및 308)에서, 그래픽스 엔진을 이용함으로써, 손쉽게 씬(scene)을 정의하고 새로운 모델의 모션을 적용하여 애니메이션을 수행할 수 있다.

본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100: 실시간 3D 외형 복원 모델 생성 장치
110: 입력 데이터 생성부
120: 실시간 모델 생성부
130: 실시간 랜더링부

Claims (1)

1. 실시간 3차원 외형 복원 모델 생성 장치에 있어서,
   하나 이상의 카메라를 통해 입력된 영상 데이터를 획득하고, 상기 카메라에 대한 캘리브레이션을 수행하며, 상기 영상 데이터에 대해 전경 및 배경을 분리하여 전경/배경 분리 영상을 생성하는 입력 데이터 생성부;
   상기 전경/배경 영상을 이용하여 멀티 GPU를 통해 3차원 볼륨 모델을 생성하고, 상기 3차원 볼륨 모델을 처리하여 3차원 메쉬 모델을 생성하는 실시간 모델 생성부; 및
   상기 3차원 메쉬 모델에 대한 텍스쳐를 매핑 및 합성하여 애니메이션 영상을 생성하는 실시간 랜더링부
   를 포함하는 3차원 외형 복원 모델 생성 장치.

Images