KR102187926B1

KR102187926B1 - 볼류메트릭 비디오 생성 방법, 장치 및 컴퓨터 판독가능 매체

Info

Publication number: KR102187926B1
Application number: KR1020180126952A
Authority: KR
Inventors: 소영준; 김이길; 이재영
Original assignee: 주식회사 케이티
Priority date: 2018-10-23
Filing date: 2018-10-23
Publication date: 2020-12-07
Also published as: KR20200045884A

Abstract

피사체를 포함하는 볼류메트릭(Volumetric) 비디오 생성 방법은 피사체를 구성하는 복수의 파트(parts) 각각에 관한 복수의 파트 모델을 미리 생성해두는 단계, 깊이 카메라로부터 촬영된 영상으로부터 피사체를 인식하는 단계, 복수의 파트 모델에 기초하여 인식된 피사체를 구성하는 복수의 파트 중 어느 하나를 기준 파트로 선정하는 단계, 기준 파트에 해당하는 파트 모델에 기초하여 기준 파트의 3차원 모델을 상기 영상으로부터 추출하는 단계 및 복수의 파트 모델간의 상관 관계 정보에 기초하여 기준 파트 이외의 다른 파트의 3차원 모델을 상기 영상으로부터 순차적으로 추출하여 피사체의 3차원 모델을 생성하는 단계를 포함할 수 있다.

Description

볼류메트릭 비디오 생성 방법, 장치 및 컴퓨터 판독가능 매체{APPARATUS, METHOD AND COMPUTER READABLE MEDIUM FOR GENERATING VOLUMETRIC VIDEO}

본 발명은 볼류메트릭 비디오 생성 방법, 장치 및 컴퓨터 판독가능 매체에 관한 것이다.

최근, 가상의 세계에서 사람이 실제와 같은 체험을 할 수 있도록 하는 가상현실 기술이 미술관, 박물관 및 VR(VIRTUAL REALITY) 게임 등의 다양한 분야에 적용됨에 따라 다양한 가상현실 제작 기술이 개발되고 있다.

이러한 가상현실 제작 기술에는 대표적으로 3차원 형태의 비디오 제작 기술 및 컴퓨터 그래픽 기반의 가상현실 제작 기술 등이 있다.

그 중, 3차원 형태의 비디오 제작 기술은 비디오 내의 객체를 입체적으로 보이도록 비디오를 제작하는 기술로서, 비교적 용이하게 실재감 높은 가상현실을 제작할 수 있다는 장점이 있어, 하나의 객체를 다각도에서 찍은 사진을 동시에 보이게 하거나, 하나의 객체에 대한 다각도에서의 빛의 강도와 방향을 포착하여 비디오 내의 객체를 입체적으로 보이도록 하는 기술 등의 다양한 비디오 제작 기술이 사용되고 있다.

그러나, 전술한 바와 같은 3차원 형태의 비디오 제작 기술은 비디오를 촬영하는 촬영 기기의 위치가 고정되므로 가상공간 내의 다양한 시점에서의 3차원 효과를 낼 수 없고 3차원 효과를 낼 수 있는 범위가 한정적이라는 한계가 있었다.

최근, IR 등의 광입자가 물체에 부딪혀 되돌아오는 시간을 계산하여 객체의 위치를 표시하는 3D 센싱 카메라(예를 들어, 3D 뎁스 카메라(3D depth camera))를 이용하여 3차원 형태의 비디오를 제작하려고 하는 시도가 있다.

이러한 방법에서도, 촬영 시, 복수의 촬영 기기를 필수적으로 필요로 할 뿐만 아니라, 각각의 촬영 기기의 3D 센싱 정보를 하나의 가상공간으로 매핑하는 캘리브레이션(Calibration) 과정이 필수적이므로, 촬영 기기의 설치 및 가상공간의 생성 과정에 너무 많은 시간과 비용이 소요된다는 문제점이 있었다.

이러한 문제점을 해결하기 위해, 최소한의 3D 센싱 카메라(1개 또는 2개)를 이용하여 3차원 형태의 비디오를 제작하는 것을 고려할 수 있다. 그러나, 이 경우, 피사체가 각 3D 센싱 카메라의 시야각에서 벗어나는 범위가 존재하며, 이에 따라 피사체를 표현할 수 있는 데이터가 존재하지 않아 해당 범위에 홀(hole)이 발생하는 문제점이 있었다.

한편, 컴퓨터 그래픽 기반의 가상현실 제작 기술의 경우에는 가상현실 제작 과정에서 가상현실 내 모든 객체 및 환경 정보의 그래픽까지 생성해야 하므로, 그 과정이 대단히 번거롭고, 제작에 너무 많은 시간이 소요되는 문제점이 있었다. 또한, 컴퓨터 그래픽만을 이용하여 가상현실을 구성하므로, 가상현실의 실재성이 현저히 감소될 수 밖에 없는 한계가 있었다.

한국등록특허공보 제10-1340598호

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 볼류메트릭 비디오에 포함되는 피사체의 3차원 모델을 생성하고, 생성된 피사체의 3차원 모델로 볼류메트릭 비디오 내의 피사체를 대체하여 볼류메트릭 비디오의 품질을 향상시키고자 한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 볼류메트릭 비디오 생성 방법은 피사체를 포함하는 볼류메트릭(Volumetric) 비디오를 생성하는 방법으로서, 상기 피사체를 구성하는 복수의 파트(parts) 각각에 관한 복수의 파트 모델을 미리 생성해두는 단계; 깊이 카메라로부터 촬영된 영상으로부터 상기 피사체를 인식하는 단계; 상기 복수의 파트 모델에 기초하여 상기 인식된 피사체를 구성하는 복수의 파트 중 어느 하나를 기준 파트로 선정하는 단계; 상기 기준 파트에 해당하는 파트 모델에 기초하여 상기 기준 파트의 3차원 모델을 상기 영상으로부터 추출하는 단계; 및 상기 복수의 파트 모델간의 상관 관계 정보에 기초하여 상기 기준 파트 이외의 다른 파트의 3차원 모델을 상기 영상으로부터 순차적으로 추출하여 상기 피사체의 3차원 모델을 생성하는 단계를 포함할 수 있다.

본 발명의 제 2 측면에 따른 볼류메트릭 비디오 생성 장치는 피사체를 포함하는 볼류메트릭(Volumetric) 비디오를 생성하는 장치로서, 상기 피사체를 구성하는 복수의 파트(parts) 각각에 관한 복수의 파트 모델을 미리 생성해두는 파트 모델 생성부; 깊이 카메라로부터 촬영된 영상으로부터 상기 피사체를 인식하는 피사체 인식부; 상기 복수의 파트 모델에 기초하여 상기 인식된 피사체를 구성하는 복수의 파트 중 어느 하나를 기준 파트로 선정하는 기준 파트 선정부; 및 상기 기준 파트에 해당하는 파트 모델에 기초하여 상기 기준 파트의 3차원 모델을 상기 영상으로부터 추출하고, 상기 복수의 파트 모델간의 상관 관계 정보에 기초하여 상기 기준 파트 이외의 다른 파트의 3차원 모델을 상기 영상으로부터 순차적으로 추출하여 상기 피사체의 3차원 모델을 생성하는 3차원 모델 생성부를 포함할 수 있다.

본 발명의 제 3 측면에 따른 피사체를 포함하는 볼류메트릭(Volumetric) 비디오를 생성하는 명령어들의 시퀀스를 포함하는 컴퓨터 판독가능 매체로서, 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치가, 상기 피사체를 구성하는 복수의 파트(parts) 각각에 관한 복수의 파트 모델을 미리 생성해두고, 깊이 카메라로부터 촬영된 영상으로부터 상기 피사체를 인식하고, 상기 복수의 파트 모델에 기초하여 상기 인식된 피사체를 구성하는 복수의 파트 중 어느 하나를 기준 파트로 선정하고, 상기 기준 파트에 해당하는 파트 모델에 기초하여 상기 기준 파트의 3차원 모델을 상기 영상으로부터 추출하고, 상기 복수의 파트 모델간의 상관 관계 정보에 기초하여 상기 기준 파트 이외의 다른 파트의 3차원 모델을 상기 영상으로부터 순차적으로 추출하여 상기 피사체의 3차원 모델을 생성할 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 본 발명은 볼류메트릭 비디오에 포함되는 피사체의 3차원 모델을 생성하고, 생성된 피사체의 3차원 모델로 볼류메트릭 비디오 내의 피사체를 대체할 수 있다.

이를 통해, 본 발명은 볼류메트릭 비디오의 생성 과정에서 발생 가능한 피사체의 출력 오류를 감소시킬 수 있고, 그로 인해, 볼류메트릭 비디오의 품질을 향상시킬 수 있다.

또한, 본 발명은 생성된 피사체의 3차원 모델로 볼류메트릭 비디오 내의 피사체를 대체함으로써, 촬영 기기의 개수와는 무관하게 볼류메트릭 비디오에 포함되는 피사체의 완성도를 향상시킬 수 있다.

또한, 본 발명은 기 생성된 볼류메트릭 비디오에 적용할 수 있고, 이를 통해, 기 생성된 볼류메트릭 비디오에 포함되는 피사체에 대한 후보정을 수행할 수 있으며, 그로 인해, 기 생성된 볼류메트릭 비디오의 품질 또한 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른, 볼류메트릭 비디오 생성 장치(100)의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 파트 모델 생성부(110)의 구성 및 이를 구체적으로 설명하기 위한 도면이다.
도 3은 영상 내 피사체를 구성하는 복수의 파트의 깊이 정보와 복수의 파트 모델의 깊이 정보의 유사도를 비교 분석한 표이다.
도 4는 복수의 파트 모델간 상관 관계 정보를 나타낸 표이다.
도 5는 복수의 파트의 3차원 모델을 영상 내 피사체로부터 순차적으로 추출하는 것을 구체적으로 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른, 볼류메트릭 비디오 생성 방법을 나타낸 흐름도이다.
도 7은 도 6의 단계 S610을 구체적으로 설명하기 위한 흐름도이다.
도 8은 도 6의 단계 S650을 구체적으로 설명하기 위한 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 명세서 전체에서, "깊이 정보"란 특정 공간 또는 객체의 골격 또는 모양에 의해 발생하는 깊이의 차이를 수치화한 정보를 의미할 수 있다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.

이하, 첨부된 구성도 또는 처리 흐름도를 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른, 볼류메트릭 비디오 생성 장치(100)의 구성도이다.

도 1을 참조하면, 볼류메트릭 비디오 생성 장치(100)는 파트 모델 생성부(110), 피사체 인식부(120), 기준 파트 선정부(130) 및 3차원 모델 생성부(140)를 포함할 수 있으며, 그 구성요소로서 영상 편집부(150)를 더 포함할 수 있다. 다만, 이러한 도 1의 볼류메트릭 비디오 생성 장치(100)는 본 발명의 일 실시예에 불과하므로 도 1을 통해 본 발명이 한정 해석되는 것은 아니며, 본 발명의 다양한 실시예들에 따라 도 1과 다르게 구성될 수도 있다.

도 1을 참조하면 본 발명의 일 실시예에 따른, 볼류메트릭 비디오 생성 장치(100)는 네트워크(미도시)를 통해 깊이 카메라(10)와 연결될 수 있으나, 이에 한정되는 것은 아님에 유의해야 한다. 여기서, 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.

깊이 카메라(10)는 IR 등의 광입자를 출력하며, 출력된 광입자가 피사체에 부딪혀 되돌아오는 시간을 계산하여 해당 물체와의 거리를 계산하는 방식으로 특정 공간 및 피사체의 깊이 정보를 획득할 수 있는 카메라이다. 본 발명의 일 실시예에 따른 볼류메트릭 비디오 생성 장치(100)는 깊이 카메라(10)와 연결되도록 구성 및 구현될 수 있으나, 이에 한정되는 것은 아님에 유의해야 한다.

깊이 카메라(10)는 볼류메트릭 비디오를 생성하기 위해 일반적으로 사용되는 구성이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자라면 그 구성 및 특징을 충분히 이해하고 있을 것이므로, 이에 대한 구체적인 설명은 생략하기로 한다.

파트 모델 생성부(110)는 볼류메트릭 비디오 내 피사체를 구성하는 복수의 파트(parts) 각각에 관한 복수의 파트 모델을 미리 생성해둘 수 있다. 예를 들어, 볼류메트릭 비디오 내 피사체가 사람 객체인 경우, 파트 모델 생성부(110)는 해당 피사체에 대한 얼굴, 몸통, 왼팔, 오른팔, 왼발, 오른발 중 적어도 하나를 포함하는 복수의 파트 모델을 미리 생성해둘 수 있다.

다만, 전술한 바는 일 실시예에 따른 것으로, 파트 모델 생성부(110)가 피사체에 대한 복수의 파트 모델을 미리 생성해두는 것이 전술한 바에 한정되는 것은 아님에 유의해야 한다. 예를 들어, 파트 모델 생성부(110)는 사람 객체 외의 동물, 건축물, 자연 환경 등 다양한 객체에 관한 복수의 파트 모델을 미리 생성해둘 수 있다.

이하에서는 도 2를 참조하여 본 발명의 일 실시예에 따른 파트 모델 생성부(110)에 대해 보다 구체적으로 설명하기로 한다.

도 2는 본 발명의 일 실시예에 따른 파트 모델 생성부(110)의 구성 및 이를 설명하기 위한 도면이다.

도 2를 참조하면, 파트 모델 생성부(110)는 파트 모델 학습부(111) 및 상관 관계 정보 도출부(112)를 포함할 수 있다.

파트 모델 학습부(111)는 복수의 파트에 대한 각각의 학습 모델을 생성하고, 학습 모델 각각에 대응되는 학습용 영상을 입력으로 하는 딥러닝을 수행하여 학습 모델을 학습할 수 있다.

도 2를 참조하여 예를 들면, 파트 모델 학습부(111)는 학습 모델 A에 학습용 영상 A를 입력으로 하는 딥러닝을 수행하여 학습 모델 A에 대한 학습을 수행할 수 있다. 즉, 파트 모델 학습부(111)는 입력되는 학습용 영상에 대응되는 학습 모델에 대한 딥러닝을 통해 학습 모델에 대한 학습을 수행함으로써, 각각의 학습 모델이 보다 정확한 형상 및 깊이 정보를 갖도록 할 수 있다.

상관 관계 정보 도출부(112)는 생성된 복수의 파트 모델간의 거리 가중치 값을 계산할 수 있다. 보다 구체적으로, 상관 관계 정보 도출부(112)는 복수의 파트 모델간의 상관 관계 값을 계산하고, 복수의 파트 모델의 중심 좌표간의 거리 평균값에 기초하여 스켈레톤(Skeleton relation) 관계 값을 계산하며, 전술한 상관 관계 값 및 스켈레톤 관계 값에 기초하여 복수의 파트 모델간의 거리 가중치 값을 계산할 수 있다.

상관 관계 정보 도출부(112)는 아래 수학식 1에 기초하여 복수의 파트 모델간의 상관 관계 값을 계산할 수 있으나, 이에 한정되는 것은 아님에 유의해야 한다.

상관 관계 정보 도출부(112)는 수학식 2에 기초하여 복수의 파트 모델 중 어느 하나의 파트 모델의 중심 좌표에서 다른 어느 하나의 파트 모델의 중심 좌표까지의 거리 평균값을 0에서 1사이의 값으로 정규화한 d(x,y)의 값을 도출하고, 이에 기초하여 스켈레톤(Skeleton relation) 관계 값을 계산할 수 있다.

이때, 스켈레톤 관계 값에 따르면, 서로 다른 파트 모델 간(즉, x,y)의 거리가 가까운 경우, 그 값은 1에 가까워지고, 멀어질수록 그 값은 0에 가까워 진다.

여기서, 스켈레톤 관계 값은 수학식 2에 한정되는 것은 아님에 유의해야 한다.

상관 관계 정보 도출부(112)는 아래 수학식 3에 기초하여 복수의 파트 모델간의 거리 가중치 값을 계산할 수 있으나, 이에 한정되는 것은 아님에 유의해야 한다.

상관 관계 정보 도출부(112)는 계산된 복수의 파트 모델간의 거리 가중치 값에 기초하여 상관 관계 정보를 생성할 수 있으나, 이에 한정되는 것은 아님에 유의해야 한다.

다시, 도 2를 참조하면, 피사체 인식부(120)는 깊이 카메라(10)로부터 촬영된 영상 내의 피사체를 인식할 수 있다. 예를 들어, 피사체 인식부(120)는 깊이 카메라(10)로부터 특정 공간이 촬영된 영상 내의 피사체(예를 들어, 사람 객체)를 인식할 수 있다.

피사체 인식부(120)는 깊이 카메라(10)로부터 획득한 깊이 정보에 기초하여 영상 내의 피사체를 인식할 수 있으나, 이에 한정되는 것은 아님에 유의해야 한다.

기준 파트 선정부(130)는 복수의 파트 모델에 기초하여 인식된 피사체를 구성하는 복수의 파트 중 어느 하나를 기준 파트로 선정할 수 있다.

이하에서는 도 3을 참조하여 본 발명의 일 실시예에 따른 기준 파트 선정부(130)에 대해 보다 구체적으로 설명하기로 한다.

도 3은 영상 내 피사체를 구성하는 복수의 파트의 깊이 정보와 복수의 파트 모델의 깊이 정보의 유사도를 비교 분석한 표이다.

도 3을 참조하면, 기준 파트 선정부(130)는 복수의 파트 모델의 깊이 정보와, 영상으로부터 인식된 피사체의 깊이 정보를 비교 분석하여 해당 영상 내의 피사체를 구성하는 복수의 파트 중 깊이 정보의 유사도가 가장 높은 어느 하나의 파트를 기준 파트로 선정할 수 있다.

예를 들면, 기준 파트 선정부(130)는 영상 1에 포함되는 피사체를 구성하는 복수의 파트의 깊이 정보 값과 복수의 파트 모델의 깊이 정보 값을 비교 분석한 후, 복수의 파트 중, 파트 모델의 깊이 정보 값과 유사도가 가장 높은 파트 모델 A에 대응하는 파트를 기준 파트로 선정할 수 있다. 다만, 도 3에 나타낸 표는 본 발명의 일 실시예에 따른 기준 파트 선정부(130)의 기준 파트 선정 기준을 보다 쉽게 설명하기 위해 예로든 표로서, 본 발명에 따른 기준 파트 선정부(130)의 기준 파트 선정 기준이 전술한 바에 한정되는 것은 아님에 유의해야 한다.

3차원 모델 생성부(140)는 선정된 기준 파트와 복수의 파트 모델 중 기준 파트에 대응하는 파트 모델을 CLM(Constraint local model) 알고리즘을 이용하여 비교하고, 기준 파트의 3차원 모델을 영상으로부터 추출할 수 있다.

3차원 모델 생성부(140)는 기준 파트의 3차원 모델을 추출하는 과정에서 CLM 알고리즘을 이용해 영상 내 기준 파트와 기준 파트에 해당하는 파트 모델을 비교하여 파트 모델을 기준으로 인식된 기준 파트의 오류 부분이 보정되도록 함으로써, 보다 완성도 높은 기준 파트의 3차원 모델을 영상으로부터 추출할 수 있다.

이하에서는 도 4 및 도 5를 참조하여 본 발명의 일 실시예에 따른 3차원 모델 생성부(140)에 대해 보다 구체적으로 설명하기로 한다.

도 4는 복수의 파트 모델간 상관 관계 정보를 나타낸 표이고, 도 5는 복수의 파트의 3차원 모델을 영상 내 피사체로부터 순차적으로 추출하는 것을 설명하기 위한 도면이다.

도 1, 4 및 5를 참조하면, 3차원 모델 생성부(140)는 상관 관계 정보에 기초하여 기준 파트 이외의 다른 파트의 3차원 모델을 추출하는 순서를 결정하고, 결정된 순서에 기초하여 다른 파트의 3차원 모델을 깊이 카메라(10)로부터 촬영된 영상으로부터 추출할 수 있다.

도 4를 참조하면, 상관 관계 정보는 복수의 파트 모델간 거리 가중치 값에 기초하여 생성될 수 있다.

3차원 모델 생성부(140)는 도 4에 나타낸 상관 관계 정보 내, 복수의 파트 모델간의 거리 가중치 값에 기초하여 영상으로부터 기준 파트 이외의 다른 파트의 3차원 모델을 추출할 순서를 결정할 수 있다.

다만, 도 4에 나타낸 표는 본 발명의 일 실시예에 따른 3차원 모델 생성부(140)의 3차원 모델 추출 순서 결정 기준을 보다 쉽게 설명하기 위해 예로든 표로서, 본 발명에 따른 3차원 모델 생성부(140)의 3차원 모델 추출 순서 결정 기준이 전술한 바에 한정되는 것은 아님에 유의해야 한다.

3차원 모델 생성부(140)는 결정된 순서에 기초하여 영상 내 피사체의 기준 파트와 다른 하나의 파트를 병합함으로써 제 1 병합 모델을 생성할 수 있으며, 생성된 제 1 병합 모델을 구성하는 기준 파트 및 다른 하나의 파트의 3차원 모델을 영상으로부터 순차적으로 추출함으로써, 결정된 순서에 기초하여 다른 파트의 3차원 모델을 추출할 수 있다.

또한, 3차원 모델 생성부(140)는 제 1 병합 모델을 CLM(Constraint local model) 알고리즘을 이용해 제 1 병합 모델을 구성하는 기준 파트에 해당하는 파트 모델 및 다른 하나의 파트에 해당하는 파트 모델과 비교할 수 있다.

도 5를 참조하여 예를 들면, 3차원 모델 생성부(140)는 피사체가 사람 객체이고, 피사체를 구성하는 복수의 파트 중 머리 파트(a)가 기준 파트로 선정되는 경우, 먼저, 영상 내 피사체로부터 머리 파트(a)에 대한 3차원 모델을 추출하고, 상관 관계 정보에 기초하여 머리 파트(a)를, 머리 파트(a)와 거리 가중치 값이 가장 높은 몸통 파트(b)와 병합하여 제 1 병합 모델(a+b)로 생성한다.

이어서, 3차원 모델 생성부(140)는 제 1 병합 모델을 CLM(Constraint local model) 알고리즘을 이용해 제 1 병합 모델을 구성하는 머리 파트(a)에 해당 하는 파트 모델 및 몸통 파트(b)에 해당하는 파트 모델과 비교하고, 영상으로부터 제 1 병합 모델을 구성하는 머리 파트(a) 및 몸통 파트(b)의 3차원 모델을 추출한다.

이후, 3차원 모델 생성부(140)는 제 1 병합 모델을 구성하는 머리 파트(a) 및 몸통 파트(b)와 거리 가중치 값이 가장 높은 팔 파트(c)와 병합하여 제 2 병합 모델(a+b+c)로 생성한다. 이어서, 3차원 모델 생성부(140)는 제 2 병합 모델을 CLM(Constraint local model) 알고리즘을 이용해 제 2 병합 모델을 구성하는 파트(a,b,c)에 해당하는 파트 모델과 비교하여 영상으로부터 제 2 병합 모델을 구성하는 머리 파트(a), 몸통 파트(b) 및 팔 파트(c)의 3차원 모델을 추출한다.

다만, 전술한 바는 본 발명의 일 실시예에 따른 것으로서, 본 발명에 따른 3차원 모델 생성부(140)가 영상으로부터 3차원 모델을 추출하는 것이 전술한 바에 한정되는 것은 아님에 유의해야 한다.

3차원 모델 생성부(140)는 추출된 복수의 파트의 3차원 모델을 이용하여 피사체의 3차원 모델을 생성한다.

3차원 모델 생성부(140)는 복수의 파트의 3차원 모델 추출 순서에 기초하여 피사체의 3차원 모델을 생성하는 순서를 결정할 수 있으나, 이에 한정되는 것은 아님에 유의해야 한다.

본 발명의 일 실시예예 따른 볼류메트릭 비디오 생성 장치(100)는 구성요소로서, 영상 편집부(150)를 더 포함할 수 있다.

영상 편집부(150)는 영상 내 인식된 피사체를 3차원 모델 생성부(140)로부터 생성된 3차원 모델로 대체하는 역할을 할 수 있다.

이하에서는, 도 6을 참조하여 본 발명의 일 실시예에 따른, 볼류메트릭 비디오 생성 방법을 설명하기로 한다.

도 6은 본 발명의 일 실시예에 따른, 볼류메트릭 비디오 생성 방법을 나타낸 흐름도이다.

도 6을 참조하면, 본 발명의 일 실시예에 따른, 볼류메트릭 비디오 생성 방법은 볼류메트릭 비디오 내 피사체를 구성하는 복수의 파트(parts) 각각에 관한 복수의 파트 모델을 미리 생성해두는 단계(S610)를 포함할 수 있다.

이하에서는, 도 7을 참조하여, 본 발명의 일 실시예에 따라 볼류메트릭 비디오 내 피사체를 구성하는 복수의 파트(parts) 각각에 관한 복수의 파트 모델을 미리 생성해두는 단계(S610)에 대해 구체적으로 설명하기로 한다.

도 7은 도 6의 단계 S610을 구체적으로 설명하기 위한 흐름도이다.

도 7을 참조하면, 단계 S610은 복수의 파트에 대한 학습 모델을 생성하는 단계(S611)와, 학습 모델에 복수의 학습용 영상을 입력으로 하는 딥러닝을 수행하여 학습 모델을 학습하는 단계(S612)를 포함할 수 있다.

단계 S610에서는 볼류메트릭 비디오 내 피사체를 구성하는 복수의 파트(parts) 각각에 관한 복수의 파트 모델을 생성하되, 복수의 파트 모델 각각에 대응하는 복수의 학습 모델을 생성하고, 각각의 학습 모델에 학습용 영상을 입력으로 하는 딥러닝을 수행하여 학습 모델을 학습할 수 있다.

또한, 단계 S610은 복수의 파트 모델간의 상관 관계 값을 계산하는 단계(S613), 복수의 파트 모델의 중심 좌표간의 거리 평균값에 기초하여 스켈레톤 관계 값을 계산하는 단계(S614), 상관 관계 값 및 스켈레톤 관계 값에 기초하여 복수의 파트 모델간의 거리 가중치 값을 계산하는 단계(S615)를 포함할 수 있다.

단계 S610에서는 복수의 파트 모델간의 거리 가중치 값을 계산하여, 계산된 복수의 파트 모델간의 거리 가중치 값에 기초하는 상관 관계 정보를 생성할 수 있다.

단계 S611 및 S612와, 단계 S613, S614 및 S615의 순서는 특별히 한정되지 않으며, 단계 간의 순서가 변경될 수도 있다.

다시 도 6을 참조하면, 본 발명의 일 실시예에 따른, 볼류메트릭 비디오 생성 방법은 깊이 카메라로부터 촬영된 영상으로부터 피사체를 인식하는 단계(S620)를 포함할 수 있다.

단계 S620에서는 깊이 카메라로부터 획득한 깊이 정보에 기초하여 촬영된 영상 내의 피사체를 인식할 수 있다.

본 발명의 일 실시예에 따른, 볼류메트릭 비디오 생성 방법은 복수의 파트 모델에 기초하여 인식된 피사체를 구성하는 복수의 파트 중 어느 하나를 기준 파트로 선정하는 단계(S630)를 포함할 수 있다.

단계 S630에서는 복수의 파트 모델의 깊이 정보와 영상으로부터 인식된 피사체의 깊이 정보를 비교 분석하여, 해당 영상 내의 피사체를 구성하는 복수의 파트 중 깊이 정보의 유사도가 가장 높은 어느 하나의 파트를 기준 파트로 선정할 수 있다.

본 발명의 일 실시예에 따른, 볼류메트릭 비디오 생성 방법은 기준 파트에 해당하는 파트 모델에 기초하여 기준 파트의 3차원 모델 추출하는 단계(S640)를 포함할 수 있다.

단계 S640에서는 선정된 기준 파트와 복수의 파트 모델 중 기준 파트에 대응하는 파트 모델을 CLM(Constraint local model) 알고리즘을 이용하여 비교하고, 기준 파트의 3차원 모델을 영상으로부터 추출할 수 있다.

본 발명의 일 실시예에 따른, 볼류메트릭 비디오 생성 방법은 복수의 파트 모델간의 상관 관계 정보에 기초하여 기준 파트 이외의 다른 파트의 3차원 모델을 영상으로부터 순차적으로 추출하여 피사체의 3차원 모델을 생성하는 단계(S650)를 포함할 수 있다.

이하에서는, 도 8을 참조하여, 본 발명의 일 실시예에 따라 복수의 파트 모델간의 상관 관계 정보에 기초하여 기준 파트 이외의 다른 파트의 3차원 모델을 영상으로부터 순차적으로 추출하여 피사체의 3차원 모델을 생성하는 단계(S650)에 대해 구체적으로 설명하기로 한다.

도 8은 도 6의 단계 S650을 구체적으로 설명하기 위한 흐름도이다.

도 8을 참조하면, 단계 S650은 복수의 파트 모델간의 거리 가중치 값에 기초하여 기준 파트 이외의 다른 파트의 3차원 모델을 영상으로부터 추출할 순서를 결정하는 단계(S651), 결정된 순서에 기초하여 기준 파트와 다른 하나의 파트를 병합하여 제 1 병합 모델 생성하는 단계(S652), CLM 알고리즘을 이용하여 제 1 병합 모델과 기준 파트에 해당하는 파트 모델 및 다른 하나의 파트에 해당하는 파트 모델을 비교하는 단계(S653)를 포함할 수 있다.

단계 S650에서는 결정된 순서에 기초하여 기준 파트와 다른 하나의 파트를 병합한 제 1 병합 모델 생성하고, 생성된 제 1 병합 모델을 구성하는 기준 파트 및 다른 하나의 파트의 3차원 모델을 영상으로부터 순차적으로 추출함으로써, 결정된 순서에 기초해 영상으로부터 다른 파트의 3차원 모델을 추출하여 피사체의 3차원 모델을 생성할 수 있다.

본 발명의 일 실시예에 따른, 볼류메트릭 비디오 생성 방법은 영상에서 피사체를 3차원 모델로 대체하는 단계를 더 포함할 수 있다.

상술한 설명에서, 단계 S610 내지 S650은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

10: 깊이 카메라
100: 볼류메트릭 비디오 생성 장치
110: 파트 모델 생성부
111: 파트 모델 학습부
112: 상관 관계 정보 도출부
120: 피사체 인식부
130: 기준 파트 선정부
140: 3차원 모델 생성부
150: 영상 편집부

Claims

피사체를 포함하는 볼류메트릭(Volumetric) 비디오를 생성하는 방법에 있어서,
상기 피사체를 구성하는 복수의 파트(parts) 각각에 관한 복수의 파트 모델을 미리 생성해두는 단계;
깊이 카메라로부터 촬영된 영상으로부터 상기 피사체를 인식하는 단계;
상기 복수의 파트 모델에 기초하여 상기 인식된 피사체를 구성하는 복수의 파트 중 어느 하나를 기준 파트로 선정하는 단계;
상기 기준 파트에 해당하는 파트 모델에 기초하여 상기 기준 파트의 3차원 모델을 상기 영상으로부터 추출하는 단계; 및
상기 복수의 파트 모델간의 상관 관계 정보에 기초하여 상기 기준 파트 이외의 다른 파트의 3차원 모델을 상기 영상으로부터 순차적으로 추출하여 상기 피사체의 3차원 모델을 생성하는 단계
를 포함하는 것인, 볼류메트릭 비디오 생성 방법.
제 1 항에 있어서,
상기 영상에서 상기 피사체를 상기 3차원 모델로 대체하는 단계
를 더 포함하는 것인, 볼류메트릭 비디오 생성 방법.
제 1 항에 있어서,
상기 복수의 파트 모델을 미리 생성해두는 단계는
상기 복수의 파트에 대한 학습 모델을 생성하는 단계; 및
상기 학습 모델에 복수의 학습용 영상을 입력으로 하는 딥러닝을 수행하여 상기 학습 모델을 학습하는 단계
를 포함하는 것인, 볼류메트릭 비디오 생성 방법.
제 1 항에 있어서,
상기 복수의 파트 모델을 미리 생성해두는 단계는
상기 복수의 파트 모델간의 거리 가중치 값을 계산하는 단계
를 포함하는 것인, 볼류메트릭 비디오 생성 방법.
제 4 항에 있어서,
상기 복수의 파트 모델간의 거리 가중치 값을 계산하는 단계는
상기 복수의 파트 모델간의 상관 관계 값을 계산하는 단계;
상기 복수의 파트 모델의 중심 좌표간의 거리 평균값에 기초하여 스켈레톤(skeleton relation) 관계 값을 계산하는 단계; 및
상기 상관 관계 값 및 상기 스켈레톤 관계 값에 기초하여 상기 복수의 파트 모델간의 거리 가중치 값을 계산하는 단계
를 포함하는 것인, 볼류메트릭 비디오 생성 방법.
제 1 항에 있어서,
상기 기준 파트의 3차원 모델을 추출하는 단계는
CLM(Constraint Local Model) 알고리즘을 이용하여 상기 기준 파트와 상기 기준 파트에 해당하는 파트 모델을 비교하는 단계
를 포함하는 것인, 볼류메트릭 비디오 생성 방법.
제 4 항에 있어서,
상기 피사체의 3차원 모델을 생성하는 단계는
상기 복수의 파트 모델간의 거리 가중치 값에 기초하여 상기 3차원 모델을 추출할 순서를 결정하는 단계; 및
상기 결정된 순서대로 상기 다른 파트의 3차원 모델을 순차적으로 추출하는 단계
를 포함하는 것인, 볼류메트릭 비디오 생성 방법.
제 7 항에 있어서,
상기 결정된 순서대로 상기 다른 파트의 3차원 모델을 순차적으로 추출하는 단계는
상기 결정된 순서에 기초하여 상기 기준 파트와 다른 하나의 파트를 병합하여 제 1 병합 모델을 생성하는 단계; 및
CLM(Constraint Local Model) 알고리즘을 이용하여 상기 제 1 병합 모델과 상기 기준 파트에 해당하는 파트 모델 및 상기 다른 하나의 파트에 해당하는 파트 모델을 비교하는 단계를 포함하는 것인, 볼류메트릭 비디오 생성 방법.
제 1 항에 있어서,
상기 피사체는 사람 객체이고,
상기 복수의 파트는 얼굴, 몸통, 왼팔, 오른팔, 왼발, 오른발 중 적어도 둘을 포함하는 것인, 볼류메트릭 비디오 생성 방법.
피사체를 포함하는 볼류메트릭(Volumetric) 비디오를 생성하는 장치에 있어서,
상기 피사체를 구성하는 복수의 파트(parts) 각각에 관한 복수의 파트 모델을 미리 생성해두는 파트 모델 생성부;
깊이 카메라로부터 촬영된 영상으로부터 상기 피사체를 인식하는 피사체 인식부;
상기 복수의 파트 모델에 기초하여 상기 인식된 피사체를 구성하는 복수의 파트 중 어느 하나를 기준 파트로 선정하는 기준 파트 선정부; 및
상기 기준 파트에 해당하는 파트 모델에 기초하여 상기 기준 파트의 3차원 모델을 상기 영상으로부터 추출하고, 상기 복수의 파트 모델간의 상관 관계 정보에 기초하여 상기 기준 파트 이외의 다른 파트의 3차원 모델을 상기 영상으로부터 순차적으로 추출하여 상기 피사체의 3차원 모델을 생성하는 3차원 모델 생성부
를 포함하는 것인, 볼류메트릭 비디오 생성 장치.
제 10 항에 있어서,
상기 영상에서 상기 피사체를 상기 3차원 모델로 대체하는 영상 편집부
를 더 포함하는 것인, 볼류메트릭 비디오 생성 장치.
제 10 항에 있어서,
상기 파트 모델 생성부는 상기 복수의 파트에 대한 학습 모델을 생성하고, 상기 학습 모델에 복수의 학습용 영상을 입력으로 하는 딥러닝을 수행하여 상기 학습 모델을 학습하는 파트 모델 학습부
를 포함하는 것인, 볼류메트릭 비디오 생성 장치.
제 10 항에 있어서,
상기 파트 모델 생성부는 상기 복수의 파트 모델간의 거리 가중치 값을 계산하는 상관 관계 정보 도출부
를 더 포함하는 것인, 볼류메트릭 비디오 생성 장치.
제 13 항에 있어서,
상기 상관 관계 정보 도출부는 상기 복수의 파트 모델간의 상관 관계 값을 계산하고, 상기 복수의 파트 모델의 중심 좌표간의 거리 평균값에 기초하여 스켈레톤(skeleton relation) 관계 값을 계산하고, 상기 상관 관계 값 및 상기 스켈레톤 관계 값에 기초하여 상기 복수의 파트 모델간의 거리 가중치 값을 계산하는 것인, 볼류메트릭 비디오 생성 장치.
제 10 항에 있어서,
상기 3차원 모델 생성부는 CLM(Constraint Local Model) 알고리즘을 이용하여 상기 기준 파트와 상기 기준 파트에 해당하는 파트 모델을 비교함으로써 상기 피사체의 3차원 모델을 생성하는 것인, 볼류메트릭 비디오 생성 장치.
제 13 항에 있어서,
상기 3차원 모델 생성부는 상기 복수의 파트 모델간의 거리 가중치 값에 기초하여 상기 3차원 모델을 추출할 순서를 결정하고, 상기 결정된 순서대로 상기 다른 파트의 3차원 모델을 순차적으로 추출하는 것인, 볼류메트릭 비디오 생성 장치.
제 10 항에 있어서,
상기 피사체는 사람 객체이고,
상기 복수의 파트는 얼굴, 몸통, 왼팔, 오른팔, 왼발, 오른발 중 적어도 둘을 포함하는 것인, 볼류메트릭 비디오 생성 장치.
피사체를 포함하는 볼류메트릭(Volumetric) 비디오를 생성하는 명령어들의 시퀀스를 포함하는 컴퓨터 판독가능 매체로서,
컴퓨팅 장치에 의해 실행될 때,
상기 컴퓨팅 장치가,
상기 피사체를 구성하는 복수의 파트(parts) 각각에 관한 복수의 파트 모델을 미리 생성해두고,
깊이 카메라로부터 촬영된 영상으로부터 상기 피사체를 인식하고,
상기 복수의 파트 모델에 기초하여 상기 인식된 피사체를 구성하는 복수의 파트 중 어느 하나를 기준 파트로 선정하고,
상기 기준 파트에 해당하는 파트 모델에 기초하여 상기 기준 파트의 3차원 모델을 상기 영상으로부터 추출하고,
상기 복수의 파트 모델간의 상관 관계 정보에 기초하여 상기 기준 파트 이외의 다른 파트의 3차원 모델을 상기 영상으로부터 순차적으로 추출하여 상기 피사체의 3차원 모델을 생성하도록 하는, 컴퓨터 판독가능 매체.