KR20200112737A - 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법 - Google Patents
이머시브 영상 처리 방법 및 이머시브 영상 합성 방법 Download PDFInfo
- Publication number
- KR20200112737A KR20200112737A KR1020200034454A KR20200034454A KR20200112737A KR 20200112737 A KR20200112737 A KR 20200112737A KR 1020200034454 A KR1020200034454 A KR 1020200034454A KR 20200034454 A KR20200034454 A KR 20200034454A KR 20200112737 A KR20200112737 A KR 20200112737A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- view
- residual
- additional
- viewpoint
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 30
- 238000012545 processing Methods 0.000 title description 17
- 238000004519 manufacturing process Methods 0.000 title 1
- 230000033001 locomotion Effects 0.000 claims abstract description 36
- 238000012856 packing Methods 0.000 claims abstract description 17
- 238000013138 pruning Methods 0.000 claims description 31
- 230000002194 synthesizing effect Effects 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 20
- 238000003672 processing method Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 22
- 239000000470 constituent Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G06T3/0093—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G06T5/005—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명에 따른 이머시브 영상 처리 방법은, 복수의 시점 영상들을 기준 시점 및 추가 시점으로 분류하는 단계, 상기 추가 시점으로 분류된 추가 시점 영상에 대한 잔차 영상을 생성하는 단계, 상기 잔차 영상을 기초로 생성된 패치를 아틀라스 영상에 패킹하는 단계, 및 상기 패치에 대한 메타데이터를 생성하는 단계를 포함한다.
Description
본 발명은 회전 및 병진 움직임에 대한 운동 시차를 지원하는 이머시브 영상의 처리/출력 방법에 관한 것이다.
가상현실(virtual reality) 서비스는 전방위 영상을 실사 혹은 CG (Computer Graphics) 형태로 생성하여 HMD, 스마트폰 등에 재생함으로써 몰입감 및 현장감이 극대화된 서비스를 제공하는 방향으로 진화하고 있다. 현재 HMD를 통해 자연스럽고 몰입감 있는 전방위 영상을 재생하려면 6 자유도 (DoF: Degrees of Freedom)를 지원해야 하는 것으로 알려져 있다. 6DoF 영상은 (1) 좌우 회전, (2) 상하 회전, (3) 좌우 이동, (4) 상하 이동 등 여섯 방향에 대해 자유로운 영상을 HMD 화면을 통해 제공해야 한다. 하지만 현재 실사에 기반한 대부분의 전방위 영상은 회전운동만을 지원하고 있다. 이에, 6DoF 전방위 영상의 획득, 재현 기술 등의 분야에 대한 연구가 활발히 진행 중에 있다.
본 발명에서는 운동시차를 지원하는 대용량의 이머시브 영상 서비스 제공을 위해, 최소한의 비디오 및 메타데이터 전송 만으로 운동시차를 지원하는 영상 재현이 가능한 파일 포맷을 제공하는 것을 목적으로 한다.
또한, 본 발명은 추가 시점 영상들 간 중복 데이터를 제거하는 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 패치 패킹시 변환 정보를 메타 데이터로서 제공하는 방법을 제공하는 것을 목적으로 한다.
본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 이머시브 영상 처리 방법은, 복수의 시점 영상들을 기준 시점 및 추가 시점으로 분류하는 단계, 상기 추가 시점으로 분류된 추가 시점 영상에 대한 잔차 영상을 생성하는 단계, 상기 잔차 영상을 기초로 생성된 패치를 아틀라스 영상에 패킹하는 단계, 및 상기 패치에 대한 메타데이터를 생성하는 단계를 포함할 수 있다. 이때, 상기 메타데이터는 상기 패치의 변환 정보를 포함할 수 있다.
본 발명에 따른 이머시브 영상 처리 방법에 있어서, 상기 변환 정보는, 상기 패치의 수평 이동 정보, 수직 이동 정보 및 회전 정보를 포함할 수 있다.
본 발명에 따른 이머시브 영상 처리 방법에 있어서, 상기 변환 정보는, 상기 패치의 스케일링 정보를 더 포함할 수 있다.
본 발명에 따른 이머시브 영상 처리 방법에 있어서, 상기 잔차 영상은, 상기 추가 시점 영상에서 기준 시점 영상 및 상기 기준 시점 영상의 레이어 영상을 차분하여 생성될 수 있다.
본 발명에 따른 이머시브 영상 처리 방법에 있어서, 상기 레이어 영상은, 임시 잔차 영상들을 기초로 생성되고, 상기 임시 잔차 영상들 각각은 복수의 추가 시점 영상들 각각으로부터 상기 기준 시점 영상을 차분하여 생성되고, 상기 레이어 영상은, 상기 임시 잔차 영상들과 상기 기준 시점 영상간의 중복 데이터를 제거하여 생성될 수 있다.
본 발명에 따른 이머시브 영상 처리 방법에 있어서, 상기 잔차 영상은, 상기 추가 시점 영상과 동일한 그룹에 속하고, 상기 추가 시점 영상보다 우선 순위가 높은 타 추가 시점 영상과의 프루닝을 통해 생성될 수 있다.
본 발명에 따른 이머시브 영상 처리 방법에 있어서, 상기 잔차 영상은, 상기 추가 시점 영상에서 기준 시점 영상 및 전역 잔차 영상을 차분하여 생성될 수 있다.
본 발명에 따른 이머시브 영상 처리 방법에 있어서, 상기 전역 잔차 영상은, 상기 추가 시점 영상 및 상기 추가 시점 영상과 동일한 그룹에 속하는 시점 영상들의 임시 잔차 영상들을 기초로 생성될 수 있다.
본 발명에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 발명의 상세한 설명의 예시적인 양상일 뿐이며, 본 발명의 범위를 제한하는 것은 아니다.
본 발명에서 의하면, 최소한의 비디오 및 메타데이터 전송 만으로 운동시차를 지원하는 영상 재현이 가능한 파일 포맷을 제공할 수 있다.
본 발명에 의하면, 추가 시점 영상들 간 중복 데이터를 제거함으로써, 이머시브 영상 처리를 위한 데이터량을 줄일 수 있다.
본 발명에 의하면, 패치 패킹시 변환 정보를 메타 데이터로 제공하여, 이머시브 영상 처리 효율을 향상시킬 수 있다.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명에 따른 복수의 소스 시점 영상들을 나타낸 도면이다.
도 2는 복수의 소스 시점 영상들을 합성하여 이머시브 영상을 생성하는 개념도를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 이머시브 영상 처리 장치의 블록도이다.
도 4 내지 도 6은 추가 시점 영상에 대한 잔차 데이터가 생성되는 예를 나타낸 도면이다.
도 7은 본 발명에 따른 이머시브 영상 출력 장치의 블록도이다.
도 8은 본 발명의 일 실시예에 따른 소스 시점 영상의 잔차 데이터를 생성하는 방법을 나타낸 흐름도이다.
도 9는 소스 시점 영상과 참조 영상 간의 중복 데이터를 판별하는 예를 설명하기 위한 도면이다.
도 10은 소스 시점 영상과 참조 영상 간의 중복 데이터를 판별하는 다른 예를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른, 추가 시점 영상들 간 중복 영역을 제거하는 방법을 나타낸 흐름도이다.
도 12는 추가 시점 영상들 간 중복 영역을 제거하는 예를 나타낸 것이다.
도 13은 확장된 계층 영상을 설명하기 위한 도면이다.
도 14는 공통 잔차 영상이 생성되는 예를 나타낸 도면이다.
도 15는 잔차 데이터의 패킹 양상을 나타낸 예시이다.
도 16은 뷰 포트 영상을 합성하는 과정을 나타낸 흐름도이다.
도 17은 기준 시점 영상과 패치들을 이용하여 뷰포트 영상을 합성하는 예를 나타낸 도면이다.
도 2는 복수의 소스 시점 영상들을 합성하여 이머시브 영상을 생성하는 개념도를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 이머시브 영상 처리 장치의 블록도이다.
도 4 내지 도 6은 추가 시점 영상에 대한 잔차 데이터가 생성되는 예를 나타낸 도면이다.
도 7은 본 발명에 따른 이머시브 영상 출력 장치의 블록도이다.
도 8은 본 발명의 일 실시예에 따른 소스 시점 영상의 잔차 데이터를 생성하는 방법을 나타낸 흐름도이다.
도 9는 소스 시점 영상과 참조 영상 간의 중복 데이터를 판별하는 예를 설명하기 위한 도면이다.
도 10은 소스 시점 영상과 참조 영상 간의 중복 데이터를 판별하는 다른 예를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른, 추가 시점 영상들 간 중복 영역을 제거하는 방법을 나타낸 흐름도이다.
도 12는 추가 시점 영상들 간 중복 영역을 제거하는 예를 나타낸 것이다.
도 13은 확장된 계층 영상을 설명하기 위한 도면이다.
도 14는 공통 잔차 영상이 생성되는 예를 나타낸 도면이다.
도 15는 잔차 데이터의 패킹 양상을 나타낸 예시이다.
도 16은 뷰 포트 영상을 합성하는 과정을 나타낸 흐름도이다.
도 17은 기준 시점 영상과 패치들을 이용하여 뷰포트 영상을 합성하는 예를 나타낸 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다. 후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.
본 발명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 발명의 어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결 되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 즉, 본 발명에서 특정 구성을 "포함"한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
본 발명의 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하고, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
이머시브 영상은 3D 공간상에서 사용자의 시청 위치가 동적으로 변경될 수 있는 영상을 의미한다. 이머시브 영상은 3DoF (Degree of Freedom), 3DoF+, Windowed-6DoF 또는 6DoF 타입 등으로 분류될 수 있다.
3DoF 영상은 뷰포트의 움직임을 3개의 회전 움직임(rotational movements)(예컨대, yaw, roll, picth)으로 표현하는 영상을 의미한다. 3DoF+ 영상은 3DoF 영상에 제한적인 병진 움직임(translation movements)를 추가한 영상을 의미한다. 6DoF 영상은 뷰포트의 움직임을 3개의 회전 움직임과 3개의 병진 움직임(예컨대, (x, y, z) 벡터)으로 표현하는 영상을 의미한다.
3DoF+ 및 6DoF 영상은 회전 운동뿐만 아니라, 제한적인 또는 다양한 병진 운동(예컨대, 좌우/상하/앞뒤)에 대한 운동시차를 사용자에게 제공할 수 있다.
사용자에게 운동 시차를 제공할 수 있는 3DoF+ 또는 6DoF 이머시브 영상은, 텍스처 정보 및 깊이 정보를 포함할 수 있다. 반면, 운동 시차를 제공하지 않는 3DoF 이머시브 영상은, 텍스처 정보 만으로 구성될 수 있다.
후술되는 실시예에서, 이머시브 영상은 3DoF+, Windowed-6DoF 또는 6DoF와 같이 운동 시차를 제공할 수 있는 형태인 것으로 가정한다. 다만, 후술되는 실시예들은 3DoF와 같이 텍스처 정보 기반의 이머시브 영상에도 적용될 수 있다. 후술되는 실시예들을 텍스처 정보 기반의 이머시브 영상에 적용하는 경우, 뎁스 정보의 처리 및 재현에 대한 부분은 생략될 수 있다.
본 발명에서, '시점'은 카메라의 촬영 위치 또는 시청자의 시청 위치 등 이머시브 영상 생성/감상을 위한 특정 위치를 가리킨다. '시점 영상'은 특정 시점의 시야/화각을 커버하는 영상을 나타낸다. 일 예로, 시점 영상은 특정 시점에서 촬영된 영상, 특정 시점을 중심으로 합성된 영상 또는 특정 시점에서 보이는 영역을 포함하는 영상을 가리킬 수 있다.
시점 영상은 타입 또는 용도에 따라, 다양하게 명명될 수 있다. 일 예로, 특정 시점에 위치한 카메라가 촬영한 영상 또는 특정 시점에서 최고의 품질을 갖는 시점 영상을 '소스 시점 영상'이라 호칭할 수 있다. 후술되는 실시예들에서는, 시점 영상의 종류 또는 용도에 따라, 시점 영상 앞에 '소스', '추가', '참조' 또는 '기준'과 같은 첨두어를 붙이기로 한다.
아울러, 특정 첨두어가 부가된 시점 영상을 최고의 품질로 획득할 수 있는 시점에도 특정 첨두어를 붙이기로 한다. 일 예로, '소스 시점'은 소스 시점 영상을 최고의 품질로 획득할 수 있는 위치를 나타낼 수 있다.
상이한 시점을 갖는 시점 영상들은 '제1' 또는 '제2'와 같은 첨두어를 붙여 구분하기로 한다.
이하, 본 발명에 대해 상세히 설명하기로 한다.
도 1은 본 발명에 따른 복수의 소스 시점 영상들을 나타낸 도면이다.
도 1의 (a)는 각 시점에서의 촬영 범위(화각)을 나타낸 것이고, 도 1의 (b)는 각 시점들의 소스 시점 영상들을 나타낸다.
도 2는 복수의 소스 시점 영상들을 합성하여 이머시브 영상을 생성하는 개념도를 나타낸 도면이다.
도 1 및 도 2에서, xn은 촬영 시점을 나타낸다. 일 예로, xn은 인덱스가 n인 카메라의 촬영 시점을 나타낼 수 있다.
도 1 및 도 2에서, Vn은 시점 xn를 기준으로 촬영된 영상을 나타낸다. 이머시브 영상의 타입에 따라, 시점 xn을 기준으로 촬영된 영상 Vn은 텍스처 영상 및/또는 뎁스 영상을 포함할 수 있다. 일 예로, 3DoF 영상인 경우, 영상 Vn은 텍스처 영상만으로 구성될 수 있다. 또는, 평면 영상을 기본으로 하는 Windowed-6DoF 영상의 경우, 영상 Vn은 텍스처 영상만으로 구성될 수 있다. 반면, 3DoF+ 또는 6DoF 영상인 경우, 영상 Vn은 텍스처 영상 및 뎁스 영상을 포함할 수 있다. 시점 xn을 기준으로 촬영된 텍스처 영상을 Tn으로 표기하고, 시점 xn을 기준으로 촬영된 뎁스 영상을 Dn으로 표기하기로 한다.
소스 시점 각각에는 상이한 인덱스가 할당될 수 있다. 소스 시점의 인덱스에 대한 정보는 메타데이터로서 부호화될 수 있다. 각 소스 시점에 할당되는 인덱스는 각 카메라에 할당되는 인덱스와 동일하게 설정될 수도 있다.
또는, 카메라에 할당되는 인덱스와 소스 시점에 할당되는 인덱스가 상이할 수도 있다. 이 경우, 카메라의 인덱스에 대응하는 소스 시점을 가리키는 정보가 메타데이터로서 부호화될 수 있다.
이하, 설명의 편의를 위해, 센터 시점의 인덱스는 c인 것으로 가정하고, 그 이외 시점들의 인덱스는 센터 시점 또는 센터 위치 카메라와의 거리에 따라, (c+k) 또는 (c-k)인 것으로 가정한다. 일 예로, 센터 시점의 우측에 위치하는 시점 또는 우측에 위치하는 시점의 인덱스는 (c+1)이고, 인덱스가 (c+1)인 시점의 우측에 위치하는 시점의 인덱스는 (c+2)인 것으로 가정한다. 또한, 센터 시점의 좌측에 위치하는 시점의 인덱스는 (c-1)인 것으로 가정하고, 인덱스가 (c-1)인 시점의 좌측에 위치하는 시점의 인덱스는 (c-2)인 것으로 가정한다. 또한, 소스 시점의 인덱스와 카메라의 인덱스는 동일한 것으로 가정한다.
이머시브 영상을 구현하기 위해, 기본 시점 영상과, 기본 시점 영상 이외의 다중 시점 영상들이 요구된다. 또한, 3DoF+ 또는 6DoF 기반의 이머시브 영상을 구현을 위해, 평면 데이터(예컨대, 텍스처 영상)뿐만 아니라, 공간 데이터(예컨대, 깊이 영상 및/또는 카메라 정보)가 요구된다.
일 예로, 이머시브 영상은 도 1 및 도 2에 도시된 예에서와 같이, 센터 위치 xc에서 촬영된 시점 영상 Vc와 비-센터 위치에서 촬영된 시점 영상들 Vc-1, Vc-2, Vc+1, Vc+2를 합성하여 생성될 수 있다. 여기서, 시점 영상 Vc는 시청자가 중심 위치에 있을 때 보여지는 시점 영상을 나타내고, 비-센터 위치의 시점 영상들 Vc-1, Vc-2, Vc+1, Vc+2는 시청자가 중심 위치를 벗어났을 때 보여지는 시점 영상을 나타낼 수 있다.
다중 시점 영상 데이터를 기반으로 이머시브 영상이 구현되는 바, 이머시브 영상의 획득, 생성, 전송 및 재현을 위해서는 대용량 영상 데이터의 효과적인 저장 및 압축 기술이 요구된다.
본 발명에서는, 3DoF 기반의 이머시브 영상과의 호환성을 유지하면서, 운동 시차를 지원하는 3DoF+ 또는 6DoF 이머시브 영상의 저장 및 압축이 가능한 이머시브 영상 생성 포맷 및 압축 기술을 제공한다.
도 3은 본 발명의 일 실시예에 따른 이머시브 영상 처리 장치의 블록도이다.
도 3을 참조하면, 본 발명에 따른 이머시브 영상 처리 장치는 시점 최적화부(View Optimizer, 110), 아틀라스(Atlas) 영상 생성부(120), 메타데이터 생성부(130), 영상 인코더부(140) 및 비트스트림 생성부(150)를 포함할 수 있다.
시점 최적화부(110)는 복수의 소스 시점 영상들을 기준 시점 영상과 비-기준 시점 영상으로 분류한다. 구체적으로, 시점 최적화부(110)는 복수의 소스 시점 영상들 중 적어도 하나를 기준 시점 영상으로 선택할 수 있다. 일 예로, 시점 최적화부(110)는 복수의 소스 시점 영상들 중 시점이 중심 위치의 소스 시점 영상을 기준 시점 영상으로 선택할 수 있다.
또는, 시점 최적화부(110)는 카메라 파라미터에 기초하여, 기준 시점 영상을 결정할 수 있다. 구체적으로, 시점 최적화부(110)는 카메라 인덱스, 카메라간의 우선 순위, 카메라의 위치 또는 관심 영역 카메라인지 여부에 기초하여 기준 시점 영상을 결정할 수 있다.
일 예로, 시점 최적화부(110)는 카메라 인덱스가 가장 작은(또는 가장 큰) 카메라를 통해 촬영된 소스 시점 영상, 기 정의된 인덱스를 갖는 카메라를 통해 촬영된 소스 시점 영상, 우선순위가 가장 높은(또는 가장 낮은) 카메라를 통해 촬영된 소스 시점 영상, 특정 위치(예컨대, 중심 위치)의 카메라를 통해 촬영된 소스 시점 영상 또는 관심 영역 카메라를 통해 촬영된 소스 시점 영상을 기준 시점 영상으로 결정할 수 있다.
또는, 시점 최적화부(110)는 소스 시점 영상들의 품질을 기초로 기준 시점 영상을 선택할 수 있다. 일 예로, 시점 최적화부(110)는 소스 시점 영상들 중 최고 품질을 갖는 소스 시점 영상을 기준 시점 영상으로 선택할 수 있다.
또는, 시점 최적화부(110)는 소스 시점 영상들 간의 중복 정도를 검사하고, 타 소스 시점 영상들과 중복 데이터가 높은 순서(또는 낮은 순서)에 기초하여 기준 시점 영상을 선택할 수 있다.
또는, 시점 최적화부(110)는 외부에서 입력되는 데이터(예컨대, 메타데이터)를 기초로, 기준 시점 영상을 선택할 수 있다. 외부로부터 입력되는 데이터는, 복수의 카메라들 중 적어도 하나를 특정하는 인덱스, 복수의 촬영 시점들 중 적어도 하나를 특정하는 인덱스 또는 복수의 소스 시점 영상들 중 적어도 하나를 특정하는 인덱스 중 적어도 하나를 포함할 수 있다.
기준 시점 영상으로 선택되지 않은 소스 시점 영상을 추가 시점 영상 또는 비-기준 시점 영상이라 호칭할 수 있다.
복수개의 소스 시점 영상들이 기준 시점 영상으로 선택될 수도 있다.
아틀라스 영상 생성부(120)는 기준 시점 영상과 추가 시점 영상을 차분하여 추가 시점 영상의 잔차 데이터를 생성하고, 잔차 데이터를 기초로 아틀라스 영상을 생성할 수 있다.
아틀라스 영상 생성부(120)는 프루닝부(Pruning unit, 122) 및 패치 수집부(Patch Aggreegation Unit, 124)를 포함할 수 있다.
프루닝부(122)는 추가 시점 영상에 대해 프루닝을 수행한다. 프루닝은 추가 시점 영상 내 기준 시점 영상과의 중복 데이터를 제거하기 위한 것일 수 있다. 프루닝 수행 결과, 추가 시점 영상에 대한 잔차 데이터가 생성될 수 있다.
상이한 시점에서 동일한 피사체를 촬영하여 생성된 소스 시점 영상들은 서로 공통되는 데이터를 가질 수 있다. 이에 따라, 추가 시점 영상에서 기준 시점 영상을 차분하게 되면, 기준 시점 영상에 포함되어 있지 않은 데이터가 추가 시점 영상에 대한 잔차 데이터로 생성될 수 있다.
도 4 내지 도 6은 추가 시점 영상에 대한 잔차 데이터가 생성되는 예를 나타낸 도면이다.
도 4에 도시된 예에서, Vn은 시점 xn에서 촬영된 영상을 나타낸다. 설명의 편의를 위해, 기준 시점 영상은 Vk인 것으로 가정한다.
평면비디오를 기반으로 하는 Windowed-6DoF 영상에서, 기준 시점 영상은 2D 영상일 수 있다. 반면, 전방위 영상을 기반으로 하는 3DoF+ 또는 6DoF 영상에서, 기준 시점 영상은 텍스처 영상 및 뎁스 영상을 포함하는 3D 또는 3DoF 영상일 수 있다.
도 4의 (a) 도시된 예에서, 실선의 화살표는 기준 시점 xk에서 보이는 부분을 나타낸다. 시점 xk의 화각에는, 피사체 O2, O3 및 O4가 포함되나, 피사체 O4는 피사체 O3에 가려져 있어, 시점 xk에서는 피사체 O4가 보이지 않는다. 이에 따라, 도 4의 (b)에 도시된 예에서와 같이, 기준 시점 영상 Vk는, 피사체 O2 및 O3의 데이터를 포함하고, 피사체 O4의 데이터는 포함하지 않을 수 있다.
도 4의 (a) 도시된 예에서, 점선의 화살표는 기준 시점에서는 보이지 않지만, 추가 시점에서는 보이는 데이터를 나타낸다. 시점 xk-1의 화각에는, 피사체 O2, O3 및 O4가 포함된다. 피사체 O2 및 O3에 대한 데이터는 기준 시점 영상 Vk에도 포함되어 있으므로, 추가 시점 영상 Vk-1과 기준 시점 영상 Vk 간 피사체 O2 및 O3에 대해 일부 중복된 데이터가 존재할 수 있다. 반면, 추가 시점 영상 Vk-1은 피사체 O4에 대한 데이터를 포함하나, 기준 시점 영상 Vk은 피사체 O4에 데이터를 포함하지 않는다.
시점 xk-2의 화각에는 피사체 O1, O3 및 O4가 포함된다. 피사체 O3에 대한 데이터는 기준 시점 영상 Vk에도 포함되어 있으므로, 추가 시점 영상 Vk-2와 기준 시점 영상 Vk 간 피사체 O3에 대해 일부 중복된 데이터가 존재할 수 있다. 반면, 추가 시점 영상 Vk-2은 피사체 O1 및 O4에 대한 데이터를 포함한, 기준 시점 영상 Vk는 피사체 O1 및 O4에 대한 데이터를 포함하지 않는다.
추가 시점 영상과 기준 시점 영상을 차분하여, 추가 시점 영상에 대한 잔차 데이터를 생성할 수 있다.
일 예로, 추가 시점 영상인 영상 Vk-1에서 기준 시점 영상 Vk를 차분하여, 추가 시점 영상 Vk-1에 대한 잔차 영상인 RVK-1을 생성할 수 있다. 도 5에 도시된 예에서, 잔차 영상 RVk-1는 기준 시점 영상 Vk에 포함되어 있지 않은 피사체 O2에 대한 일부 데이터 및 피사체 O4에 대한 데이터를 포함하는 것으로 예시되었다. 추가 시점 영상 Vk-1에 포함된 피사체 O3에 대한 데이터는 기준 시점 영상 Vk에 모두 포함되어 있어, 잔차 영상 RVk-1에 포함되지 않은 것으로 이해될 수 있다. 즉, 잔차 영상 RVk-1은 기준 시점 영상 Vk에는 포함되지 않지만, 추가 시점 영상 Vk-1에는 포함된 데이터를 포함하는 영상을 나타낼 수 있다.
마찬가지로, 추가 시점 영상인 영상 Vk-2에서 기준 시점 영상 Vk를 차분하여, 추가 시점 영상 Vk-2에 대한 잔차 영상인 RVk-2를 생성할 수 있다. 도 5에 도시된 예에서, 잔차 영상 RVk-2는 기준 시점 영상 Vk에 포함되어 있지 않은 피사체 O2에 대한 일부 데이터, 피사체 O3에 대한 일부 데이터, 피사체 O1에 대한 데이터 및 피사체 O4에 대한 데이터를 포함하는 것으로 예시되었다.
영상 신호 처리 관점에서, 잔차 영상 RVk-n은 추가 시점 영상 Vk-n에서 기준 시점 영상 Vk와 중복되는 영역을 제거한 영역들로 구성된 부가 영상일 수 있다.
소스 시점 영상이 텍스처 영상 및 뎁스 영상을 모두 포함하는 경우, 텍스처 영상 및 뎁스 영상 각각에 프루닝이 수행될 수 있다. 그 결과, 추가 시점 영상에 대한 잔차 데이터는 텍스처 영상에 대한 잔차 데이터 또는 뎁스 영상에 대한 잔차 데이터 중 적어도 하나를 포함할 수 있다.
일 예로, 3DoF+ 또는 6DoF 기반의 이머시브 영상의 경우, 잔차 영상 RVk-n은 텍스처 잔차 영상 RTk-n 및 뎁스 잔차 영상 RDk-n을 포함할 수 있다.
또는, 뎁스 영상에 대해서만 프루닝을 수행하고, 뎁스 잔차 영상을 기초로 텍스처 잔차 영상을 생성할 수 있다.
일 예로, 기준 시점 영상의 뎁스 영상과 추가 시점 영상의 잔차 영상을 차분하여, 추가 시점 영상에 대한 잔차 뎁스 영상을 생성하고, 생성된 뎁스 잔차 영상을 기초로, 마스크 이미지를 생성할 수 있다. 상기 마스크 이미지는 뎁스 잔차 영상 내 잔차 데이터가 존재하는 부분의 픽셀값이 1, 잔여 영역의 픽셀값은 0인 영상을 가리킨다. 생성된 마스크 이미지를 추가 시점 영상의 텍스처 영상에 마스킹하여, 추가 시점 영상에 대한 잔차 영상을 획득할 수 있다.
복수개의 기준 시점 영상들이 존재하는 경우, 추가 시점 영상에서 복수개의 기준 시점 영상들 각각을 차분하여, 추가 시점 영상에 대한 잔차 데이터를 생성할 수 있다. 또는, 복수개의 기준 시점 영상들 중 적어도 하나를 선택하고, 추가 시점 영상에서 선택된 기준 시점 영상을 차분하여 추가 시점 영상에 대한 잔차 데이터를 생성할 수 있다.
추가 시점 영상과 기준 시점 영상간의 중복 데이터를 제거하여 잔차 데이터를 생성하는 경우, 추가 시점 영상간의 중복 데이터는 제거되지 않는 문제점이 있다. 일 예로, 도 6에 도시된 예에서, 추가 시점 영상 Vk-1의 잔차 영상 RVk-1 및 추가 시점 영상 Vk-2의 잔차 영상 RVk-2는 모두 피사체 O4에 대해 공통의 데이터를 포함한다.
추가 시점 영상들 간 중복 데이터 제거를 위해, 추가 시점 영상들 중 적어도 일부에 대해서는, 기본 시점 영상 및 타 추가 시점 영상을 이용하여 프루닝을 수행할 수 있다. 그 결과, 추가 시점 영상의 잔차 데이터는 기본 시점 영상과의 중복 데이터 및 타 추가 시점 영상과의 중복 데이터를 제거하여 생성될 수 있다.
일 예로, 추가 시점 영상 Vk-2에 대한 잔차 영상 RVk-2는 추가 시점 영상 Vk-2에서 기준 시점 영상 Vk 및 추가 시점 영상 Vk-1을 차분하여 생성되거나, 추가 시점 영상 Vk-2에서 기준 시점 영상 Vk 및 추가 시점 영상 Vk-1의 잔차 영상 RVk-1을 차분하여 생성될 수 있다.
이에 따라, 도 6에 도시된 예에서와 같이, 잔차 영상 RVk-1에 포함된 피사체 O4에 대한 데이터를 제거하여, 추가 시점 영상 Vk-2에 대한 잔차 영상 RVk-2을 생성할 수 있다.
특정 시점 xn에 대응하는 소스 시점 영상 Vn의 프루닝은 이웃 시점 xn+1의 추가 시점 영상 Rn+1을 이용하여 수행될 수 있다. 여기서, 이웃 시점은, 현재 시점과 시점 인덱스의 차분이 1 또는 기 정의된 값인 시점을 나타낼 수 있다.
일 예로, 기본 시점과 시점 인덱스의 차분이 1인 추가 시점 영상에 대한 프루닝은, 기본 시점 영상을 이용하여 수행될 수 있다. 반면, 기본 시점과 시점 인덱스의 차분이 1을 초과하는 추가 시점 영상에 대한 프루닝은 기본 시점 영상 이외에 이웃 추가 시점 영상을 더 이용하여 수행될 수 있다.
시점 xn에서는 소스 시점 영상 Vn이 최고의 품질로 획득될 수 있다. 또한, 시점 xn과 상이한 시점 xm에서 촬영된 소스 시점 영상 Vm에도, 시점 xn의 위치에서 촬영된 소스 시점 영상 Vn과 중복되는 데이터를 가질 수 있다. 이처럼, 시점 xn에 대한 최고 품질의 소스 시점 영상은 아니나, 시점 xn에서 보이는 데이터를 포함하는 소스 시점 영상 Vm을 시점 xn에 대한 공유 시점 영상이라 호칭할 수 있다. 아울러, 공유 시점 영상 Vm을 최고의 품질로 획득할 수 있는 시점 xm을 시점 xn에 대한 공유 시점이라 정의할 수 있다.
일 예로, 추가 시점 영상 Vk-1과 중복 데이터를 갖는 추가 시점 영상 Vk-2는, 추가 시점 영상 Vk-1의 공유 시점 영상일 수 있다.
공유 시점 영상의 프루닝은 공유 시점 영상과 공통의 데이터를 갖는 추가 시점 영상을 이용하여 수행될 수 있다. 일 예로, 추가 시점 영상 Vk-2에 대한 프루닝은, 추가 시점 영상 Vk-2와 공통의 데이터를 갖는 추가 시점 영상 Vk-1을 이용하여 수행될 수 있다.
잔차 데이터의 생성에 이용되는 시점 영상 또는 영상 합성시 필요한 시점 영상을 참조 시점 영상이라 호칭할 수 있다. 일 예로, 공유 시점 영상 Vk-2에 대해서는 기본 시점 영상 Vk 및 추가 시점 영상 Vk-1이 참조 시점 영상들로 기능할 수 있다. 특히, 추가 시점 영상의 참조 시점 영상으로 이용되는 타 추가 시점 영상을 추가 참조 시점 영상이라 호칭할 수 있다.
추가 시점 영상 간 프루닝 우선 순위가 설정될 수 있다. 추가 시점 영상 간 프루닝 우선 순위에 따라, 타 추가 시점 영상의 이용 여부가 결정될 수 있다. 우선 순위가 높은 것은 프루닝 순서가 빠름을 나타낸다.
일 예로, 우선 순위가 가장 높은 추가 시점 영상(예컨대, 우선 순위 0)의 잔차 데이터는 추가 시점 영상에서 기준 시점 영상을 차분하여 생성될 수 있다. 반면, 우선 순위가 낮은 추가 시점 영상(예컨대, 우선 순위 1)의 잔차 데이터는 추가 시점 영상에서 기준 시점 영상 및 추가 참조 시점 영상(예컨대, 우선 순위 0)을 차분하여 생성될 수 있다. 즉, 추가 시점 영상들의 프루닝은 계층적으로 수행될 수 있다.
추가 시점 영상들 간의 우선 순위는 기준 시점 영상과의 인덱스 차분에 의해 결정될 수 있다. 일 예로, 기준 시점 영상과의 인덱스 차분의 오름차순 또는 내림차순으로 추가 시점 영상들 간의 우선 순위가 결정될 수 있다.
또는, 기준 시점 영상과 중복되는 데이터량을 고려하여, 추가 시점 영상들 간의 우선 순위를 결정할 수 있다. 일 예로, 기준 시점 영상과의 중복 데이터가 많은 순서 또는 기준 시점 영상과의 중복 데이터가 적은 순서로 추가 시점 영상들 간의 우선 순위를 결정할 수 있다.
우선 순위가 낮은 추가 시점 영상의 프루닝은, 상기 추가 시점 영상보다 우선 순위가 한단계 높은 추가 시점 영상을 이용하여 수행될 수 있다. 일 예로, 추가 시점 영상 Vk-n에 대한 잔차 데이터는, 기준 시점 영상 추가 시점 영상 Vk-n에서 기준 시점 영상 Vk와 추가 시점 영상 Vk-n+1을 차분하여 생성될 수 있다.
우선 순위가 높은 추가 시점 영상이 복수개 존재하는 경우, 추가 시점 영상보다 우선 순위가 높은 기준 시점 영상들을 전부 또는 일부를 이용하여 상기 추가 시점 영상에 대한 프루닝을 수행할 수도 있다. 일 예로, 추가 시점 영상 Vk-n에 대한 잔차 데이터는, 추가 시점 영상 Vk-n에서 기준 시점 영상 Vk와 복수의 추가 시점 영상들 Vk-1 부터 Vk-n+1 중 적어도 하나가 이용될 수 있다.
또는, 추가 시점 영상의 프루닝에 이용되는 추가 시점 영상의 개수가 이머시브 영상 처리 장치에 기 저장되어 있을 수 있다.
패치 수집부(124)는 추가 시점 영상들의 잔차 데이터를 수집하여, 아틀라스 영상을 생성한다. 구체적으로, 잔차 영상에 포함된 데이터를 추출하여 사각 형태의 패치를 생성하고, 복수 잔차 영상들로부터 추출된 패치들을 하나의 영상에 패킹할 수 있다. 패치들을 패킹하여 생성된 영상을 아틀라스 혹은 아틀라스 영상이라 정의할 수 있다. 아틀라스 영상을 패킹 영상(Packed video)라 호칭할 수도 있다.
아틀라스 영상은 텍스처 영상 및/또는 뎁스 영상을 포함할 수 있다.
아틀라스 영상 생성기(120)는 아틀라스 영상 내 패치들의 점유 양상을 나타내는 아틀라스 점유 맵(Atlas Occupancy Map)을 생성할 수도 있다. 아틀라스 점유 맵은 아틀라스 영상과 동일한 크기로 생성될 수 있다.
아틀라스 점유 맵의 픽셀값은 아틀라스 영상 내 패치들의 인덱스값으로 설정될 수 있다. 일 예로, 아틀라스 영상 내 제1 패치가 점유하는 영역과 대응하는 영역(예컨대, 콜로케이트 영역) 내 픽셀들은, 제1 패치에 할당되는 인덱스 값으로 설정될 수 있다. 반면, 아틀라스 영상 내 제2 패치가 점유하는 영역과 대응하는 영역 내 픽셀들은, 제2 패치에 할당되는 인덱스 값으로 설정될 수 있다.
메타데이터 생성부(130)는 시점 영상 합성을 위한 메타데이터를 생성한다. 구체적으로, 메타데이터 생성부(130)는 아틀라스로 패킹되는 잔차 영상 관련 부가 정보를 포맷팅할 수 있다.
메타데이터는 시점 영상 합성을 위한 다양한 정보를 포함할 수 있다.
일 예로, 메타데이터는 시점 번호 정보를 포함할 수 있다. 시점 번호 정보는, 소스 시점 영상들 각각의 시점들을 식별하기 위한 정보이다. 일 예로, 시점 번호는 복수의 소스 시점 각각을 식별하는 인덱스 또는 아이디일 수 있다. 시점 번호 정보는, 소스 시점 번호 정보 또는 공유 시점 번호 정보 중 적어도 하나를 포함할 수 있다.
소스 시점 번호 정보는, 임의의 시점 영상에 대해, 상기 시점 영상이 최고의 품질로 획득되는 시점 번호 또는 시점 위치를 나타낸다. 공유 시점 번호 정보는, 상기 시점 영상이 최고의 품질로 획득되는 시점(즉, 소스 시점) 외, 타 시점에서 상기 시점 영상이 포함하는 데이터가 획득되는 타 시점의 번호 또는 타 시점의 위치를 나타낸다.
즉, 임의의 소스 시점 영상에 대해, 소스 시점 번호 및 공유 시점 번호를 특정하는 정보가 부호화될 수 있다.
메타데이터는 카메라의 정보를 포함할 수 있다. 카메라의 정보는, 카메라의 외부 파라미터 또는 내부 파라미터 중 적어도 하나를 포함할 수 있다. 카메라 외부 파라미터는 카메라의 촬영 위치를 나타내는 정보를 포함할 수 있다.
메타데이터는 소스 시점에 대한 정보를 포함할 수 있다. 소스 시점에 대한 정보는, 소스 시점의 개수에 대한 정보, 소스 시점에 대응하는 카메라를 특정하는 정보 또는 소스 시점 영상에 관한 정보 중 적어도 하나를 포함할 수 있다. 소스 시점 영상에 대한 정보는, 소스 시점 영상의 크기 또는 화질에 관한 정보를 포함할 수 있다.
메타데이터는 기준 시점 영상에 대한 정보를 포함할 수 있다. 기준 시점 영상에 대한 정보는, 기준 시점으로 선택된 소스 시점에 대한 정보 또는 기준 시점 영상의 개수에 대한 정보 중 적어도 하나를 포함할 수 있다. 일 예로, 복수개의 소스 시점 영상들 중 기준 시점 영상으로 선택되는 소스 시점 영상을 특정하는 인덱스 정보가 메타데이터에 포함될 수 있다.
메타데이터는 참조 시점 영상에 대한 정보를 포함할 수 있다. 참조 시점 영상에 대한 정보는, 소스 시점 영상의 잔차 데이터를 생성하는데 이용된 참조 시점 영상을 특정하기 위한 정보 또는 참조 시점 영상의 개수를 특정하기 위한 정보 중 적어도 하나를 포함할 수 있다. 일 예로, 복수의 소스 시점 영상들 중, 추가 시점 영상에 대한 잔차 영상을 생성하는데 이용된 추가 참조 시점 영상을 특정하기 위한 인덱스 정보가 메타데이터에 포함될 수 있다. 상기 인덱스 정보는 추가 시점 영상별로 부호화될 수 있다. 또는, 추가 시점 영상의 잔차 영상을 생성하는데 이용된 추가 참조 시점 영상의 개수를 나타내는 정보가 메타데이터에 포함될 수 있다.
메타데이터는 프루닝 우선 순위에 대한 정보를 포함할 수 있다. 프루닝 우선 순위에 대한 정보는 복수 기준 시점들 간 우선 순위, 추가 시점들 간 우선 순위 또는 추가 시점이 공유 시점인지 여부를 나타내는 정보 중 적어도 하나를 포함할 수 있다.
메타데이터는 영상 우선 순위에 대한 정보를 포함할 수 있다. 영상 우선 순위는, 소스 시점 영상들 간 우선 순위, 기준 시점 영상들 간 우선 순위 또는 아틀라스 영상들 간 우선 순위 중 적어도 하나를 포함할 수 있다. 데이터 용량이 제한될 때, 영상 우선 순위 정보에 기초하여, 영상의 전송 유무 또는 영상에 할당되는 비트율 중 적어도 하나가 결정될 수 있다. 또는, 공유 시점 영상들의 시점 인덱스에 따라 우선 순위를 결정할 수도 있다.
또는, 영상 우선 순위에 대한 정보는, 인페인팅 영역의 품질이 실제 카메라에 의해 획득된 영역보다 상대적으로 낮은 품질을 가짐을 고려하여, 인페인팅 영역이 차폐영역에 비해 낮은 중요도를 갖도록 설정하기 위해 사용될 수 있다.
메타데이터는 아틀라스 영상에 대한 정보를 포함할 수 있다. 아틀라스 영상에 대한 정보는 아틀라스 영상의 개수에 대한 정보, 아틀라스 영상의 크기에 대한 정보 또는 아틀라스 영상 내 패치들의 정보 중 적어도 하나를 포함할 수 있다. 패치 정보는 아틀라스 영상 내 패치를 식별하기 위한 인덱스 정보, 패치의 출처가 되는 소스 시점을 나타내는 정보, 아틀라스 영상 내 패치의 위치/크기에 대한 정보 또는 소스 시점 영상 내 패치의 위치/크기에 대한 정보 중 적어도 하나를 포함할 수 있다.
영상 인코더부(140)는 기준 시점 영상 및 아틀라스 영상을 인코딩한다. 영상 인코더부는 텍스처 영상을 위한 텍스처 영상 인코더부(142) 및 뎁스 영상을 위한 뎁스 영상 인코더부(144)를 포함할 수 있다.
비트스트림 생성부(150)는 인코딩된 영상 및 메타데이터를 기초로 비트스트림을 생성한다. 생성된 비트스트림은 이머시브 영상 출력 장치로 전송될 수 있다.
도 7은 본 발명에 따른 이머시브 영상 출력 장치의 블록도이다.
도 7을 참조하면, 본 발명에 따른 이머시브 영상 출력 장치는 비트스트림 파싱부(210), 영상 디코딩부(220), 메타데이터 처리부(230) 및 영상 합성부(240)를 포함할 수 있다.
비트스트림 파싱부는 비트스트림으로부터 영상 데이터 및 메타데이터를 파싱한다. 영상 데이터는 부호화된 기준 시점 영상의 데이터 및 부호화된 아틀라스 영상의 데이터를 포함할 수 있다.
영상 디코딩부(220)는 파싱된 영상 데이터를 복호화한다. 영상 디코딩부(220)는 텍스처 영상을 디코딩하기 위한 텍스처 영상 디코딩부(222) 및 뎁스 영상을 디코딩하기 위한 뎁스 영상 디코딩부(224)를 포함할 수 있다.
메타데이터 처리부(230)는 파싱된 메타데이터를 언포맷팅한다.
언포맷팅된 메타데이터는 시점 영상을 합성하는데 이용될 수 있다. 일 예로, 메타데이터 처리부(230)는 사용자의 시청 위치(viewing position)에 대응하는 뷰포트 영상을 합성하기 위해, 메타데이터를 이용하여 아틀라스 영상 내 뷰포트 영상 합성에 필요한 패치들의 위치/크기를 결정할 수 있다.
영상 합성부(240)는 사용자의 시청 위치에 해당하는 뷰포트 영상을 동적으로 합성할 수 있다. 뷰포트 영상 합성을 위해, 영상 합성부(240)는 아틀라스 영상으로부터 뷰포트 영상을 합성하는데 필요한 패치들을 추출할 수 있다. 구체적으로, 메타데이터 처리부(230)에서 언포맷팅된 메타데이터를 기초로, 사용자의 시청 위치와 부합하는 소스 시점 번호, 공유 시점 번호, 아틀라스 영상 내 각 패치들의 위치/크기 정보 또는 카메라 파라미터 등을 추출할 수 있다.
사용자의 시청 위치와 부합하는 소스 시점 번호 및/또는 공유 시점 번호가 결정되면, 아틀라스 영상에 포함된 패치들 중 결정된 소스 시점 번호 및/또는 공유 시점 번호에 대응하는 시점 영상들로부터 추출된 패치들 및 이들에 대한 위치/크기를 결정할 수 있다.
그리고 나서, 결정된 위치/크기에 대응하는 패치를 필터링하여 아틀라스 영상으로부터 분리할 수 있다. 뷰포트 영상의 합성에 필요한 패치들이 추출되면, 기준 시점 영상 및 패치들을 합성하여, 뷰포트 영상을 생성할 수 있다.
구체적으로, 기준 시점 영상 및 패치들을 뷰포트의 좌표계로 와핑 및/또는 변환한 뒤, 와핑 및/또는 변환된 기준 시점 영상 및 와핑 및/또는 변환된 패치들을 머징(merging)하여, 뷰포트 영상을 생성할 수 있다.
상술한 설명에 기초하여, 소스 시점 영상에 대한 잔차 데이터를 생성하는 방법 및 시점 영상 합성 방법에 대해 보다 구체적으로 설명하기로 한다.
도 8은 본 발명의 일 실시예에 따른 소스 시점 영상의 잔차 데이터를 생성하는 방법을 나타낸 흐름도이다.
잔차 데이터는 제1 소스 시점 영상에서 제2 소스 시점 영상을 차분하여 생성될 수 있다. 여기서, 제1 소스 시점 영상은 추가 시점 영상을 나타내고, 제2 소스 시점 영상은 기준 시점 영상 또는 추가 참조 시점 영상 중 적어도 하나를 나타낸다.
제1 소스 시점 영상과 제2 소스 시점 영상간의 중복성을 제거하기 위해, 제2 소스 시점 영상을 제1 소스 시점 영상을 기준으로 와핑(warping)할 수 있다(S810). 구체적으로, 제2 소스 시점 영상을 타겟 시점인 제1 소스 시점의 좌표계로 와핑하고, 제1 소스 시점 영상으로부터 와핑된 제2 소스 시점 영상을 차분하여, 제1 소스 시점 영상에 대한 잔차 데이터를 생성할 수 있다.
또는, 제1 소스 시점 영상을 제2 소스 시점의 좌표계로 와핑한 뒤, 와핑된 제1 소스 시점 영상과 제2 소스 시점 영상을 차분하여, 제1 소스 시점 영상에 대한 잔차 데이터를 획득할 수도 있다.
와핑된 소스 시점 영상을 참조 영상이라 호칭하기로 한다.
와핑은, 제2 소스 시점 영상의 뎁스 맵을 와핑한 뒤, 와핑된 뎁스 맵을 기준으로 텍스처 영상을 와핑하는 3D 와핑 알고리즘을 기초로 수행될 수 있다. 뎁스 맵의 와핑은 카메라 파라미터를 기초로 수행될 수 있다. 3D 와핑은 다음 단계들을 거쳐 수행될 수 있다.
제1 단계) 소스 시점 영상 좌표계에서 3차원 공간 좌표계로 역투영
제2 단계) 3차원 공간 좌표계에서 타겟 시점 영상의 좌표계로 투영
수학식 1은 소스 시점 영상 Vk의 좌표를 3차원 공간 좌표계로 역투영하는 수식을 나타낸다.
투영행렬 P는 카메라 캘리브레이션 과정을 통해 획득되는 카메라의 내부 파라미터 K 및 외부 파라미터 R, T를 통해 획득될 수 있다. 구체적으로, 투영행렬 P는 다음의 수학식 2를 기초로 유도될 수 있다.
수학식 3은 3차원 공간 좌표계로 역투영된 좌표를 타겟 시점 영상 Vk-1의 좌표계로 투영하는 수식을 나타낸다.
2차원의 데이터 어레이인 소스 시점 영상에 대한 3D 워핑을 진행하기 위해, 수학식 1 및 3에 예시된 바와 같이, Z 값에 해당하는 깊이값이 추가 요구될 수 있다.
와핑 수행 결과, 소스 시점 영상에서 보이지 않던 부분은 참조 영상에서 홀(Hole)로 남겨질 수 있다.
제1 소스 시점 영상과 참조 영상을 비교하고, 제1 소스 시점 영상에서 참조 영상과의 중복 데이터를 제거할 수 있다(S820).
도 9는 소스 시점 영상과 참조 영상 간의 중복 데이터를 판별하는 예를 설명하기 위한 도면이다.
추가 시점 영상 Vk-1에 대한 잔차 데이터를 생성하기 위해, 기준 시점 영상 Vk에 대해 3D 와핑을 수행하여 참조 영상 Rk를 생성할 수 있다. 이때, 기준 시점 영상 Vk에서 보이지 않던 영역은, 참조 영상 Rk에서 홀로 남겨질 수 있다. 구체적으로, 기준 시점 영상 Vk에서 보이지 않았던, 피사체 O4에 관한 정보 및 피사체 O2의 좌측면에 관한 정보는 홀로 남겨질 수 있다.
홀은 아무런 영상 데이터가 존재하지 않는 영역을 나타내며, 홀 내 샘플 값은 디폴트값(예컨대, 0)으로 설정될 수 있다.
추가 시점 영상 Vk-1에 대한 잔차 영상 RVk-1은, 추가 시점 영상 Vk-1에서 참조 영상 Rk를 차분하여 생성될 수 있다. 구체적으로, 추가 시점 영상과 참조 영상 간 텍스처값 또는 깊이값 중 적어도 하나를 비교하여, 중복 데이터를 검출할 수 있다. 구체적으로, 제1 소스 시점 영상 및 참조 영상 간 픽셀값의 차분이 기 설정된 임계치보다 작은 경우, 3D 공간상 동일한 위치에 대한 데이터인 것으로 보고, 해당 픽셀을 중복 데이터로 결정할 수 있다.
예컨대, 도 9에 도시된 예에서, 추가 시점 영상 Vk-1 및 참조 영상 Rk 내 피사체 O3에 대한 정보가 중복 데이터로 결정될 수 있다.
반면, 추가 시점 영상 및 참조 영상 간 픽셀값의 차분이 기 설정된 임계치 이상인 경우, 해당 픽셀은 중복 데이터가 아닌 것으로 결정할 수 있다. 예컨대, 도 9에 도시된 예에서, 추가 시점 영상 Vk-1 내 피사체 O4 및 피사체 O2의 좌측면에 대한 데이터는 중복 데이터가 아닌 것으로 결정될 수 있다.
중복 데이터 검출은 추가 시점 영상과 참조 영상 간 동일한 위치의 픽셀을 비교하여 수행될 수 있다. 또는, 픽셀들을 서브 샘플링한 뒤, 동일 위치의 픽셀들(예컨대, 동일한 좌표를 갖는 픽셀들)을 비교하여 중복 데이터를 검출할 수 있다.
텍스처 영상 및 깊이 영상을 모두 이용하여 중복 데이터를 검출할 수 있다. 일 예로, 텍스처 영상에 대한 픽셀들의 차분이 임계치 범위 내에 존재하고, 깊이 영상에 대한 픽셀들의 차분이 임계치 범위 내에 존재하는 경우, 양 픽셀은 중복 데이터인 것으로 결정될 수 있다. 텍스처 영상에 대한 임계치 범위와 깊이 영상에 대한 임계치 범위가 상이하게 설정될 수도 있다.
추가 시점 영상을 기준 시점 영상의 좌표계로 와핑한 뒤, 추가 시점 영상에 대한 잔차 데이터를 생성할 수도 있다.
도 10은 소스 시점 영상과 참조 영상 간의 중복 데이터를 판별하는 다른 예를 설명하기 위한 도면이다.
추가 시점 영상 Vk-1에 대한 잔차 데이터를 생성하기 위해, 기준 시점 영상 Vk을 시점 xk-1의 좌표계로 3D 와핑할 수 있다. 도 10에서는 기준 시점 영상 Vk을 시점 xk-1의 좌표계로 3D 와핑하여, 참조 영상 Rk-1이 생성되는 것으로 예시되었다. 이때, 기준 시점 영상 Vk에서 보이지 않던 영역은, 참조 영상 Rk-1에서 홀로 남겨질 수 있다. 일 예로, 도 10에서 'occluded area'로 표기된 부분은 기준 시점 영상에서는 보이지 않던 부분을 나타낸다..
참조 영상 Rk-1과 추가 시점 영상 Vk-1 간의 중복 데이터를 검출한 뒤, 추가 시점 영상 Vk-1로부터 검출된 중복 데이터를 제거할 수 있다. 중복 데이터를 제거함으로써, 추가 시점 영상 Vk-1에 대한 잔차 영상 RVk-1이 생성될 수 있다.
추가 시점 영상 Vk-2에 대한 잔차 데이터를 생성하기 위해, 기준 시점 영상 Vk을 시점 xk-2의 좌표계로 3D 와핑할 수 있다. 도 10에서는 기준 시점 영상 Vk을 시점 xk-2의 좌표계로 3D 와핑하여, 참조 영상 Rk-2이 생성되는 것으로 예시되었다. 이때, 기준 시점 영상 Vk에서 보이지 않던 영역은, 참조 영상 Rk-2에서 홀로 남겨질 수 있다.
참조 영상 Rk-2과 추가 시점 영상 Vk-2 간의 중복 데이터를 검출한 뒤, 추가 시점 영상 Vk-2로부터 검출된 중복 데이터를 제거할 수 있다. 중복 데이터를 제거함으로써, 추가 시점 영상 Vk-2에 대한 잔차 영상 RVk-2이 생성될 수 있다.
제1 소스 시점 영상에 대한 잔차 데이터를 생성하는데 복수의 참조 영상들이 이용되는 경우(S830), 복수의 소스 시점 영상들 각각에 참조 영상 생성(S810) 및 중복 데이터 제거(S820)를 반복적으로 수행할 수 있다. 즉, 제1 소스 시점 영상의 잔차 영상은 복수 참조 영상들에 대한 중복 데이터를 제거함으로써 생성될 수 있다(S840).
일 예로, 제1 소스 시점 영상의 프루닝시, 제2 소스 시점 영상 및 제3 소스 시점 영상이 참조 시점 영상들로써 이용된다고 가정할 경우, 제2 소스 시점 영상을 와핑하여 생성된 제1 참조 영상 및 제3 소스 시점 영상을 와핑하여 생성된 제2 참조 영상이 제1 소스 시점 영상에 대한 잔차 영상을 생성하는데 이용될 수 있다.
일 예로, 도 7을 통해 설명한 예에서와 같이, 제2 추가 시점 영상 Vk-2의 잔차 영상 RVk-2를 생성하기 위해, 기준 시점 영상 Vk를 와핑하여 생성된 제1 참조 영상 Rk 및 제1 추가 시점 영상 Vk-1에 대한 제2 참조 영상 Rk-1을 이용할 수 있다. 이때, 제2 참조 영상 Rk-1은 제1 추가 시점 영상 Vk-1을 와핑하여 생성되거나, 제1 잔차 영상 RVk-1을 와핑하여 생성된 것일 수 있다. 이에 따라, 제2 추가 시점 영상 Vk-2와 기준 시점 영상 Vk과의 중복 데이터 및 제1 제2 추가 시점 영상 Vk-2와 추가 시점 영상 Vk-1과의 중복 데이터를 제거하여, 제2 잔차 영상 RVk-2가 생성될 수 있다.
소스 시점 영상들의 개수가 많아질수록, 처리해야 할 데이터가 방대해지므로, 데이터 처리에 어려움이 발생할 수 있다. 이에, 추가 시점 영상들 간의 중복되는 데이터를 제거하여, 데이터 처리량을 줄이는 방법을 고려할 수 있다. 이하, 추가 시점 영상들 간의 중복되는 데이터를 제거하는 방법에 대해 상세히 살펴보기로 한다.
도 11은 본 발명의 일 실시예에 따른, 추가 시점 영상들 간 중복 영역을 제거하는 방법을 나타낸 흐름도이다.
도 11을 참조하면, 먼저, 기준 시점 영상을 선택하고, 선택된 기준 시점 영상을 이용하여, 각 추가 시점에 대한 잔차 영상을 생성할 수 있다(S1101). 복수의 소스 시점 영상들 중 적어도 하나를 기준 시점 영상으로 선택하거나, 복수의 소스 시점 영상들을 합성하여 기준 시점 영상을 생성할 수 있다.
추가 시점 영상들에 대한 잔차 영상들이 생성되면, 생성된 잔차 영상들을 기준 시점으로 3D 와핑할 수 있다(S1102). 이때, 3D 와핑은, 잔차 영상들을 기준 시점에 맞춰 3D 와핑하는 것이거나, 추가 시점 영상 내 잔차 영상에 대응하는 화소들을 3D 와핑하는 것일 수 있다.
기준 시점은, 복수의 잔차 영상들을 와핑할 때 참조되는 시점을 나타낸다. 일 예로, 기준 시점 영상을 최고의 품질로 획득할 수 있는 위치가 기준 시점으로 선택될 수 있다. 또는, 추가 시점들 사이의 시점, 임의 위치의 가상 시점(예컨대, 가상 카메라의 위치), 참조 시점, 또는 카메라 중 적어도 하나의 시점 위치 중 적어도 하나가 기준 시점으로 선택될 수 있다. 여기서, 참조 시점은, 잔차 영상을 생생하는데 이용된 참조 시점 영상을 최고의 품질로 획득할 수 있는 시점 위치를 나타낸다.
기준 시점으로 선택될 수 있는 복수개의 시점 후보들이 존재할 수도 있다. 이 경우, 복수개의 시점 후보들 중 하나가 잔차 영상들의 3D 와핑을 위한 기준 시점으로 선택될 수 있다.
복수개의 기준 시점들이 존재할 수도 있다. 기준 시점들이 복수개 존재하는 경우, 참조 영상별로, 기준 시점이 선택될 수 있다.
잔차 영상을 기준 시점의 좌표계에 맞춰 3D 와핑하여 참조 영상을 생성하고, 참조 영상 중 기준 시점 영상에서는 보이지 않았던 부분을 추출할 수 있다. 추출된 부분을 기준 시점에 대한 레이어(layered) 영상으로 생성할 수 있다(S1103).
도 12는 추가 시점 영상들 간 중복 영역을 제거하는 예를 나타낸 것이다.
도 12에 도시된 예에서, 제1 추가 시점 xk-1에 대한 제1 잔차 영상 RVk-1을 3D 와핑하여 생성된 제1 참조 영상 Rk-1에는, 기준 시점 xk에서 볼 수 있는 오브젝트(10)의 데이터와 기준 시점 xk에 보이지 않던 오브젝트(20)의 데이터가 존재한다.
마찬가지로, 제2 추가 시점 xk-2에 대한 제2 잔차 영상 RVk-2을 3D 와핑하여 생성된 제2 참조 영상 Rk-2에는, 기준 시점 xk에서 볼 수 있는 오브젝트(10)의 데이터와 기준 시점 xk에 보이지 않던 오브젝트(20)의 데이터가 존재한다.
참조 영상 Rk-1 및 참조 영상 Rk-2을 기초로, 기준 시점에 대한 레이어 영상 Lk를 생성할 수 있다. 일 예로, 참조 영상 Rk-1 및 참조 영상 Rk-2에 포함된 데이터들을 머징하여, 레이어 영상 Lk를 생성할 수 있다.
레이어 영상 생성시, 기준 시점 영상과 참조 영상들 간의 중복 데이터를 제거할 수 있다. 일 예로, 도 12에 도시된 예에서, 제1 참조 영상 Rk-1 및 제2 참조 영상 Rk-2는 기준 시점 xk에서 보이는 오브젝트(10)의 데이터를 포함한다.
즉, 제1 잔차 영상 RVk-1 및 제2 잔차 영상 RVk-2을 기준 시점 xk에 맞춰 3D 와핑할 경우, 오브젝트(10)의 데이터가 기준 시점 영상과 같은 영역에 사상된다.
위와 같이, 기준 시점 영역과 동일한 영역에 사상되는 오브젝트(10)에 대한 데이터를 제거하여, 레이어 영상 Lk를 생성할 수 있다. 결과적으로, 레이어 영상은 기준 시점 xk에서는 보이지 않는 데이터(예컨대, 시야가 가려진 오브젝트에 대한 데이터)를 포함할 수 있다.
레이어 영상을 이용하여, 추가 시점에 대한 최종 잔차 영상을 생성할 수 있다(S1104). 즉, 레이어 영상을 추가 시점 영상의 잔차 데이터를 생성하기 위한 참조 영상으로 이용할 수 있다. 구체적으로, 추가 시점 영상의 잔차 영상에서 레이어 영상과 공통되는 데이터를 제거한 것을, 추가 시점에 대한 최종 잔차 영상으로 유도할 수 있다.
일 예로, 도 10에 도시된 예에서, 제1 추가 시점 영상 Vk-1 및 기준 시점 영상 Vk 간의 중복 데이터를 제거하여 제1 잔차 영상 RVk-1을 생성할 수 있다. 다음으로, 도 12에 도시된 예에서, 제1 잔차 영상 RVk-1을 기초로, 레이어 영상 Lk이 생성되면, 제1 잔차 영상 RVk-1과 레이어 영상 Lk 간의 공통 데이터를 제거하여, 제3 잔차 영상 RV'k-1을 생성할 수 있다. 일 예로, 제1 잔차 영상 RVk-1 및 레이어 영상 Lk 간에는 오브젝트(20)에 대한 데이터가 공통 포함되는 바, 제1 잔차 영상 RVk-1에서 오브젝트(20)에 대한 데이터를 제거하여, 제3 잔차 영상 RV'k-1을 생성할 수 있다.
마찬가지로, 도 10에 도시된 예에서, 제2 추가 시점 영상 Vk-2 및 기준 시점 영상 Vk 간의 중복 데이터를 제거하여 제2 잔차 영상 RVk-2을 생성할 수 있다. 다음으로, 도 12에 도시된 예에서, 제2 잔차 영상 RVk-2을 기초로, 레이어 영상 Lk이 생성되면, 제2 잔차 영상 RVk-2과 레이어 영상 Lk 간의 공통 데이터를 제거하여, 제4 잔차 영상 RV'k-2을 생성할 수 있다. 일 예로, 제2 잔차 영상 RVk-2 및 레이어 영상 Lk 간에는 오브젝트(20)에 대한 데이터가 공통 포함되는 바, 제2 잔차 영상 RVk-2에서 오브젝트(20)에 대한 데이터를 제거하여, 제4 잔차 영상 RV'k-2을 생성할 수 있다.
즉, 추가 시점 영상의 잔차 영상은 기준 시점 영상과의 중복 데이터 및 레이어 영상과의 중복 데이터를 제거하여 획득될 수 있다.
도 12에서는 기준 시점이 하나인 것으로 예시되어 있다. 그러나, 도 12에 도시된 것보다 추가 시점 영상들의 개수가 많고, 추가 시점 영상들이 각기 상이한 시점을 바라보는 경우, 각 카메라의 구조에 맞춰, 복수개의 기준 시점들을 선택할 수 있다. 복수개의 기준 시점들이 선택된 경우, 각 기준 시점 영상을 기초로, 추가 시점 영상에 대한 잔차 영상을 획득할 수 있다.
본 과정을 통해, 기준 시점 영상, 계층 영상 및 각 추가 시점 영상들에 대한 최종 잔차 영상들이 생성될 수 있다.
추가 시점 영상들에서 보이지 않았던 영역을 계층 영상에 추가하여, 확장된 계층 영상을 생성할 수도 있다. 일 예로, 추가 시점 영상들에서 보이지 않았던 영역을 포함하는 확장된 잔차 영역을 생성하고, 확장된 잔차 영역을 계층 영상에 추가하여 확장된 계층 영상을 생성할 수 있다.
이때, 확장된 잔차 영역은 모든 추가 시점들에서 보이지 않은 영역에 해당한다. 확장된 잔차 영역의 데이터는 시간축 참조 기법 또는 생성적 적대 신경망(Generative Adversarial Networks)에 기반한 영상 인페인팅(image inpainting) 알고리즘을 기초로 생성될 수 있다.
또는, 확장된 계층 영상을 생성하는데 이용되는 시점 영상의 개수와 전송 대상이 되는 시점 영상의 개수를 상이하게 설정하여, 확장된 계층 영상을 생성할 수도 있다.
도 13은 확장된 계층 영상을 설명하기 위한 도면이다.
도 13은 카메라 어레이를 나타낸다. 시점이 상이한 복수의 카메라들 각각이 촬영한 소스 시점 영상들 중 하나를 기준 시점 영상으로 선택할 수 있다. 일 예로, 도 13의 (a)에 도시된 예에서와 같이, 중앙 위치인 카메라 (2, 2)를 기준 시점으로 선택할 수 있다.
선택된 기준 시점 영상을 이용하여, 추가 시점 영상들에 대한 잔차 영상들을 생성하고, 생성된 잔차 영상들을 이용하여, 기준 시점 영상에 대한 계층 영상을 생성할 수 있다.
일 예로, 중앙 위치 카메라를 제외한 잔여 카메라들을 이용하여 촬영된 추가 시점 영상들 각각에서 기준 시점 영상과 중복되는 데이터를 제거하여, 잔차 영상들을 생성할 수 있다. 생성된 잔차 영상들을 기준 시점의 좌표계로 3D 와핑하고, 잔차 영상들간 중복성을 제거하여, 계층 영상을 생성할 수 있다.
이머시브 영상 출력 장치에서 시점 영상을 합성할 수 있도록, 기본 시점 영상, 계층 영상 및 추가 시점들에 대한 잔차 데이터(예컨대, 아틀라스 영상)을 전송할 수 있다.
이때, 모든 추가 시점들에 대한 잔차 데이터를 전송하는 대신, 필요한 일부 추가 시점들에 대한 잔차 데이터만을 전송할 수 있다. 일 예로, 도 13의 (b)에 도시된 예에서와 같이, 일부 추가 시점들 (0, 0), (2, 0), (4, 0), (0, 2), (4, 2), (0, 4), (2, 4), (4, 4)의 잔차 데이터만을 이머시브 영상 출력 장치로 전송할 수 있다.
이에 따라, 계층 영상은 잔차 데이터 전송 대상인 추가 시점들에서는 보이지 않는 데이터를 포함할 수 있다. 즉, 영상 합성에 이용가능한 추가 시점들의 개수보다 더 많은 추가 시점들을 이용함으로써, 확장된 계층 영상이 생성될 수 있다.
잔차 영상들간의 중복 데이터를 감소시키기 위해, 영상들을 복수의 그룹들로 그루핑할 수 있다. 일 예로, 추가 시점 영상들 또는 잔차 영상들을 복수의 그룹으로 분류하고, 잔차 데이터를 추출할 수 있다.
구체적으로, 추가 시점 영상들을 복수의 그룹들로 그루핑할 수 있다. 일 예로, 서로 인접하는 추가 시점 영상들 또는 공통 데이터가 많은 추가 시점 영상들을 하나의 그룹으로 그루핑할 수 있다. 여기서, 인접 추가 시점 영상들은, 시점 번호가 연속인 추가 시점 영상들을 의미할 수 있다. 일 예로, 시점 번호가 k-1인 추가 시점 영상 및/또는 시점 번호가 k+1인 추가 시점 영상이, 시점 번호가 k인 추가 시점 영상의 이웃 추가 시점 영상으로 설정될 수 있다.
특정 그룹에 속한 추가 시점 영상들 간 프루닝 우선 순위가 설정될 수 있다. 우선 순위가 낮은 추가 시점 영상의 프루닝은, 기본 시점 영상과 상기 추가 시점 영상보다 우선 순위가 높은 추가 시점 영상을 기초로 수행될 수 있다. 이에 따라, 우선 순위가 낮은 추가 시점 영상의 잔차 영상은, 기본 시점 영상과의 중복 데이터 및 우선 순위가 높은 추가 시점 영상과의 중복 데이터가 제거된 형태일 수 있다.
추가 시점 영상들간의 우선 순위는 시점 번호에 기초하여 결정될 수 있다. 일 예로, 시점 번호가 낮은 순서 또는 높은 순서대로 프루닝 우선 순위가 설정될 수 있다. 또는, 추가 시점 영상들 간 또는, 추가 시점 영상과 기본 시점 영상 간의 중복 데이터 검출을 통해, 검출된 중복 데이터의 양이 많은 순서 또는 적은 순서로 프루닝 우선 순위가 설정될 수 있다. 프루닝 우선 순위에 대한 정보는 메타데이터로 부호화될 수 있다.
특정 추가 시점 영상과 상이한 그룹에 포함된 추가 시점 영상들은 특정 추가 시점 영상의 프루닝에 이용되지 않을 수 있다. 즉, 추가 시점 영상들의 그루핑을 통해, 기준 시점과 추가 시점 사이 또는 추가 시점과 추가 시점 사이 연관성이 낮은 경우를 배제함으로써, 합성 과정에서 품질 향상을 기대할 수 있다.
또는, 중복 데이터가 많은 잔차 영상들을 복수의 그룹들로 그루핑할 수 있다. 그리고 나서, 하나의 그룹에 속한 잔차 영상들에 대해 공통 잔차 영상을 생성할 수도 있다. 추가 시점 영상의 잔차 데이터는, 기준 시점 영상과의 중복 데이터 및 공통 잔차 영상과의 중복 데이터를 제거하여 획득될 수 있다.
도 14는 공통 잔차 영상이 생성되는 예를 나타낸 도면이다.
서로 인접하는 추가 시점 영상들 또는 공통 데이터가 많은 추가 시점 영상들을 하나의 그룹으로 그루핑할 수 있다. 일 예로, 도 14에 도시된 예에서, 제1 추가 시점 영상 Vk-1 및 제2 추가 시점 영상 Vk-2을 제1 그룹으로 그루핑하고, 제3 추가 시점 영상 Vk+1 및 제4 추가 시점 영상 Vk+2을 제2 그룹으로 그루핑할 수 있다.
제1 그룹 내 제1 추가 시점 영상 Vk-1의 제1 잔차 영상 RVk-1 및 제2 추가 시점 영상 Vk-2의 제2 잔차 영상 RVk-2을 기초로, 제1 전역 잔차 영상 RVG1을 생성하고, 제2 그룹 내 제3 추가 시점 영상 Vk+1의 제3 잔차 영상 RVk+1 및 제4 추가 시점 영상 Vk+2의 제4 추가 시점 영상 RVk+2을 기초로, 제2 전역 잔차 영상 RVG2을 생성할 수 있다.
전역 잔차 영상은 해당 그룹에 속한 잔차 영상들을 머징/합성하여 생성될 수 있다. 전역 잔차 영상(Global residual view) 생성시, 잔차 영상과 기준 시점 영상 간의 중복 데이터를 제거할 수 있다. 일 예로, 제1 전역 잔차 영상 RVG1은, 제1 잔차 영상 RVk-1과 기준 시점 영상 Vk와의 중복 데이터 및/또는 제2 잔차 영상 RVk-2와 기준 시점 영상 Vk와의 중복 데이터를 포함하지 않을 수 있다.
특정 그룹에 속한 추가 시점 영상의 최종 잔차 영상은 특정 그룹에 대한 전역 잔차 영상과의 중복 데이터를 제거하여 생성될 수 있다.
일 예로, 제1 잔차 영상 RVk-1에서 제1 전역 잔차 영상 RVG1과의 중복 데이터를 제거하여 업데이트된 제1 잔차 영상 RV'k-1을 생성할 수 있다. 업데이트된 제1 잔차 영상이 추가 시점 xk-1에 대한 최종 잔차 영상으로 이용될 수 있다.
또한, 제2 잔차 영상 RVk-2에서 제1 전역 잔차 영상 RVG1과의 중복 데이터를 제거하여 업데이트된 제2 잔차 영상 RV'k-2를 생성할 수 있다. 업데이트된 제2 잔차 영상 RV'k-2가 추가 시점 xk-2에 대한 최종 잔차 영상으로 이용될 수 있다.
제3 잔차 영상 RVk-3에서 제2 전역 잔차 영상 RVG2와의 중복 데이터를 제거하여 업데이트된 제3 잔차 영상 RV'k-3을 생성할 수 있다. 업데이트된 제3 잔차 영상이 추가 시점 xk-3에 대한 최종 잔차 영상으로 이용될 수 있다.
또한, 제4 잔차 영상 RVk-4에서 제2 전역 잔차 영상 RVG2와의 중복 데이터를 제거하여 업데이트된 제4 잔차 영상 RV'k-4을 생성할 수 있다. 업데이트된 제4 잔차 영상이 추가 시점 xk-4에 대한 최종 잔차 영상으로 이용될 수 있다.
본 과정을 통해, 기준 시점 영상, 각 그룹별 전역 잔차 영상, 및 각 추가 시점 영상들에 대한 최종 잔차 영상들이 생성될 수 있다.
도 14의 예에서는, 그룹들의 개수가 2개인 것으로 예시되었다. 그룹의 개수를 하나로 설정하거나, 그룹의 개수를 2개 이상으로 설정할 수도 있다.
각 그룹은 동일한 개수의 추가 시점 영상들을 포함할 수 있다. 일 예로, 각 그룹이 포함하는 추가 시점 영상들의 개수는, 2개, 3개, 4개 또는 그 이상일 수 있다.
또는, 어느 하나의 그룹에 포함된 추가 시점 영상들의 개수는 다른 그룹이 포함하는 추가 시점 영상들의 개수와 상이할 수 있다. 하나의 시점 영상을 하나의 그룹으로 설정하는 것 역시 가능하다.
시점 번호에 기초하여, 추가 시점 영상들을 그루핑할 수 있다. 일 예로, 기준 시점 영상보다 시점 번호가 큰 추가 시점 영상들과 기준 시점 영상보다 시점 번호가 작은 추가 시점 영상들이 상이한 그룹에 속하도록 설정할 수 있다.
전역 잔차 영상에 대한 정보가 메타데이터로 부호화될 수 있다. 여기서, 전역 잔차 영상에 대한 정보는, 전역 잔차 영상과 추가 시점 사이의 매핑 관계에 대한 정보, 전역 잔차 영상을 구성하는 잔차 영상들의 개수를 나타내는 정보 또는 전역 잔차 영상이 커버하는 추가 시점에 대한 정보 중 적어도 하나를 포함할 수 있다.
잔차 영상들에 포함된 데이터를 사각 형태의 패치로 가공하고, 복수 잔차 영상들로부터 추출된 패치들을 아틀라스 영상에 패킹할 수 있다. 이때, 계층 영상 또는 전역 잔차 영상이 포함하는 데이터도 아틀라스 영상에 패킹할 수 있다. 또는, 계층 영상 또는 전역 잔차 영상은 독자적으로 부호화/복호화될 수도 있다.
잔차 영상들에 포함된 데이터를 하나의 영상에 모음으로써, 부호화/복호화의 부하를 줄일 수 있다.
잔차 데이터의 패킹 방법에 대해 상세히 설명한다.
3차원 기하관계에서, 영상 변환은 Euclidean 변환 및/또는 Similarity 변환에 기초하여 수행될 수 있다. Euclidean 변환은 3차원 영상 좌표계에서 수직 수평 이동(translation) 및 회전 이동(rotation)을 포함한다. 이때, 동차(Homogenous) 좌표계에서는 6 자유도를 요구한다.
Similarity 변환은 Euclidean 변환에서 크기 변환 (Scaling)을 더 포함하고, 이에 따라, 7 자유도를 요구한다.
위 변환 개념을 패킹에 적용할 경우, 2차원 영상 위 패킹이 수행되는 바, 잔차 데이터의 변환을 3 자유도 또는 4 자유도로 표현할 수 있다.
도 15는 잔차 데이터의 패킹 양상을 나타낸 예시이다.
패치 패킹시, 크기 변환이 고려되지 않는 것으로 가정하면, 3 자유도에 해당하는 회전 각도 
, 수평 이동 t_x 및 수직 이동 t_x를 기초로, 패치의 변환을 표현할 수 있다. 이에 따라, 패치 별 회전 각도, 수평 이동 및 수직 이동을 포함하는 변환 정보를 메타데이터로 부호화할 수 있다.
패치 패킹시, 크기 변환이 고려되는 것으로 가정하면, 4 자유도에 해당하는 회전 각도 
, 수평 이동 t_x, 수직 이동 t_x 및 크기 변환 계수 α를 기초로, 패치의 변환을 표현할 수 있다. 이에 따라, 패치 별 회전 각도, 수평 이동, 수직 이동 및 크기 변환 계수를 포함하는 변환 정보를 메타데이터로 부호화할 수 있다.
수평 이동 정보 및 수직 이동 정보는 추가 시점 영상(또는 잔차 영상) 내 패치의 위치와 아틀라스 영상 내 패치의 위치를 포함하여 구성될 수도 있다.
표 1은 패치들 관련 메타데이터를 포함하는 신택스 테이블을 예시한 것이다.
| patch_data_unit( patchIdx) { | Descriptor |
| patch_2d_pos_x[ patchIdx ] | u(v) |
| patch_2d_pos_y[ patchIdx ] | u(v) |
| patch_2d_delta_size_x[ patchIdx ] | se(v) |
| patch_2d_delta_size_y[ patchIdx ] | se(v) |
| patch_view_pos_x[ patchIdx ] | u(v) |
| patch_view_pos_y[ patchIdx ] | u(v) |
| patch_view_id[ patchIdx ] | u(v) |
| patch_orientation_index[ patchIdx ] | u(v) |
| patch_scale_x_minus1[ patchIndex ] | ue(v) |
| patch_scale_y[ patchIndex ] | ue(v) |
표 1에서, patchIdx는 각 패치를 식별하기 위한 인덱스를 나타낸다.신택스 patch_2d_pos_x 및 신택스 patch_2d_pos_y는 아틀라스 영상 내 패치의 위치를 나타낸다.
신택스 patch_2d_delta_size_x 및 신택스 patch_2d_delta_size_y는 패치의 크기를 나타낸다. 일 예로, 상기 신택스들은 이전 패치와의 크기 차분을 나타낼 수 있다.
신택스 patch_view_pos_x 및 신택스 patch_view_pos_y는 소스 시점 영상 내 패치의 위치를 나타낸다. 신택스 patch_2d_pos_x 및 신택스 patch_view_pos_x의 값이 다른 것은, 패치 패킹시, 패치가 수평 방향으로 이동되었음을 나타낸다. 신택스 patch_2d_pos_y 및 신택스 patch_view_pos_y의 값이 다른 것은, 패치 패킹시, 패치가 수직 방향으로 이동되었음을 나타낸다.
신택스 patch_view_id는 패치의 출처가 되는 소스 시점 영상(또는, 소스 시점)을 특정한다.
신택스 patch_orientation_idx는 패치 패킹시, 패치가 회전되었는지 여부를 나타낸다. 신택스 patch_orientation_idx는 회전 후보들 중 하나를 가리킬 수 있고, 회전 후보들은, 90도 회전, 180도 회전, -90도 회전, 좌우 플립 또는 상하 플립 중 적어도 하나를 포함할 수 있다.
신택스 patch_scale_x_minus1 및 patch_scale_y_에 기초하여, 패치 패킹시, 패치가 스케일링되었는지 여부가 결정될 수 있다. 신택스 patch_scale_x_minus1은 수평 방향에 대한 크기 변환 계수를 결정하는데 이용되고, 신택스 patch_scale_y는 수직 방향에 대한 크기 변환 계수를 결정하는데 이용될 수 있다.
다음으로, 아틀라스 영상을 이용한 뷰 포트 영상의 생성 방법에 대해 상세히 살펴보기로 한다.
도 16은 뷰 포트 영상을 합성하는 과정을 나타낸 흐름도이다.
사용자의 시청 위치가 입력되면, 사용자의 시청 위치에 부합하는 뷰포트 영상을 생성하는데 필요한 적어도 하나의 소스 시점을 결정할 수 있다(S1610). 일 예로, 뷰포트가 제1 시점 x1 및 제2 시점 x2 사이에 뷰포트가 위치하는 경우, 제1 시점 x1 및 제2 시점 x2를 뷰포트 영상 합성을 위한 소스 시점으로 결정할 수 있다.
결정된 소스 시점이 공유 시점인 경우, 공유 시점의 참조 추가 시점도 뷰포트 영상 합성을 위한 소스 시점으로 결정할 수 있다.
메타데이터 처리부(230)는 메타데이터를 해석하여, 사용자의 시청 위치에 부합하는 적어도 하나의 기준 시점, 추가 시점 또는 공유 시점 중 적어도 하나를 결정할 수 있다.
소스 시점이 결정되면, 아틀라스 영상으로부터 결정된 소스 시점으로부터 유도된 잔차 데이터를 추출할 수 있다(S1620). 구체적으로, 아틀라스 영상 내 패치들의 소스 시점을 확인한 뒤, 출처가 결정된 소스 시점인 패치들을 아틀라스 영상으로부터 추출할 수 있다.
잔차 데이터가 추출되면, 추출된 잔차 데이터와 기준 시점 영상을 기초로, 뷰포트 영상을 합성할 수 있다(S1630). 구체적으로, 기준 시점 영상 및 잔차 영상을 시청 위치의 좌표계에 맞춰 와핑하고, 와핑된 참조 영상들을 더하여 뷰포트 영상을 생성할 수 있다. 이때, 잔차 데이터(예컨대, 패치)의 위치/크기는 메타데이터에서 파싱될 수 있다.
도 17은 기준 시점 영상과 패치들을 이용하여 뷰포트 영상을 합성하는 예를 나타낸 도면이다.
사용자의 시청 위치 xv에 대응하는 뷰포트 영상 Vv는 기준 시점 영상 Vk, 참조 시점 영상 Vk-1에 대한 잔차 영상 RVk-1 및 추가 시점 영상 Vk-2에 대한 잔차 영상 RVk-2를 합성하여 생성될 수 있다.
먼저, 기준 시점 영상 Vk를 추가 시점 xv의 좌표계에 맞춰 와핑함으로써, 참조 영상 Rk를 생성할 수 있다. 참조 영상 Rk 내 피사체 O3는 깊이에 따라 위치가 결정되어 사상(mapping)된다. 피사체 O2도 시점 xk-2의 좌표계에 맞춰 사상되나, 뷰포트(즉, 시점 xv)에 포함되지 않으므로, 뷰포트 영상 Vv에는 포함되지 않는다.
다음으로, 기준 시점 영상 Vk에서는 보이지 않지만, 시점 xv에서 보이는 영역의 텍스처를 생성해야 한다. 이를 위해, 3차원 기하 관계를 참고하여, 참조 영상 Rk 내 홀(hole)로 남겨진 텍스처를 후방 사상(backward warping)으로 가져오기에 적합한 시점을 결정한다. 도 17에서는, 시점 xk-1 및 시점 xk-2가 후방 사상을 위한 참조 시점으로 결정된 것으로 예시되었다.
메타데이터로부터 패치에 대한 정보를 추출하고, 추출된 정보를 기초로, 시점 xk-1 및 시점 xk-2로부터 유도된 패치들을 추출한다. 패치들이 추출되면, 추출된 패치들을 시점 vx에 맞춰 와핑한다. 일 예로, 시점 xk-1의 잔차 영상 RVk-1 및 시점 xk-2의 잔차 영상 RVk-2를 시점 xv의 좌표계에 맞춰 와핑하여, 참조 영상 Rk-1 및 참조 영상 Rk-2를 생성한다. 그리고 나서, 참조 영상 Rk-1 및 참조 영상 Rk-2에 포함된 데이터 중 참조 영상 Rk 내 홀로 남겨진 텍스처에 삽입될 데이터를 추출한다.
일 예로, 참조 영상 Rk에서 홀로 남겨진 피사체 O4에 대한 데이터는 참조 영상 Rk-1로부터 추출하고, 홀로 남겨진 피사체 O3의 좌측면에 대한 데이터 및 홀로 남겨진 피사체 O1에 대한 데이터는 참조 영상 Rk-2로부터 추출될 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
Claims (10)
- 복수의 시점 영상들을 기준 시점 및 추가 시점으로 분류하는 단계;
상기 추가 시점으로 분류된 추가 시점 영상에 대한 잔차 영상을 생성하는 단계;
상기 잔차 영상을 기초로 생성된 패치를 아틀라스 영상에 패킹하는 단계; 및
상기 패치에 대한 메타데이터를 생성하는 단계를 포함하되,
상기 메타데이터는 상기 패치의 변환 정보를 포함하는 것을 특징으로 하는, 이머시브 영상 처리 방법. - 제1 항에 있어서,
상기 변환 정보는, 상기 패치의 수평 이동 정보, 수직 이동 정보 및 회전 정보를 포함하는 것을 특징으로 하는, 이머시브 영상 처리 방법. - 제2 항에 있어서,
상기 변환 정보는, 상기 패치의 스케일링 정보를 더 포함하는, 이머시브 영상 처리 방법. - 제1 항에 있어서,
상기 잔차 영상은, 상기 추가 시점 영상에서 기준 시점 영상 및 상기 기준 시점 영상의 레이어 영상을 차분하여 생성되는 것을 특징으로 하는, 이머시브 영상 처리 방법. - 제4 항에 있어서,
상기 레이어 영상은, 임시 잔차 영상들을 기초로 생성되고,
상기 임시 잔차 영상들 각각은 복수의 추가 시점 영상들 각각으로부터 상기 기준 시점 영상을 차분하여 생성되고,
상기 레이어 영상은, 상기 임시 잔차 영상들과 상기 기준 시점 영상간의 중복 데이터를 제거하여 생성되는 것을 특징으로 하는, 이머시브 영상 처리 방법. - 제1 항에 있어서,
상기 잔차 영상은, 상기 추가 시점 영상에서 기준 시점 영상 및 전역 잔차 영상을 차분하여 생성되는 것을 특징으로 하는, 이머시브 영상 처리 방법. - 제6 항에 있어서,
상기 전역 잔차 영상은, 상기 추가 시점 영상 및 상기 추가 시점 영상과 동일한 그룹에 속하는 시점 영상들의 임시 잔차 영상들을 기초로 생성되는 것을 특징으로 하는, 이머시브 영상 처리 방법. - 제1 항에 있어서,
상기 잔차 영상은, 상기 추가 시점 영상과 동일한 그룹에 속하고, 상기 추가 시점 영상보다 우선 순위가 높은 타 추가 시점 영상과의 프루닝을 통해 생성되는 것을 특징으로 하는, 이머시브 영상 처리 방법. - 비트스트림으로부터 영상 데이터 및 메타데이터를 파싱하는 단계;
상기 영상 데이터를 복호화하여 단계; 및
상기 영상 데이터를 복호화하여 생성된 아틀라스 영상 및 기준 시점 영상을 기초로, 뷰포트 영상을 합성하는 단계를 포함하되,
상기 메타데이터는 상기 아틀라스 영상에 포함된 패치의 변환 정보를 포함하는 것을 특징으로 하는, 이머시브 영상 합성 방법. - 제9 항에 있어서,
상기 변환 정보는, 상기 패치의 수평 이동 정보, 수직 이동 정보 및 회전 정보를 포함하는 것을 특징으로 하는, 이머시브 영상 합성 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/824,951 US11350074B2 (en) | 2019-03-20 | 2020-03-20 | Method for processing immersive video and method for producing immersive video |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20190031685 | 2019-03-20 | ||
| KR1020190031685 | 2019-03-20 | ||
| KR1020190032271 | 2019-03-21 | ||
| KR20190032271 | 2019-03-21 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200112737A true KR20200112737A (ko) | 2020-10-05 |
Family
ID=72809540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200034454A KR20200112737A (ko) | 2019-03-20 | 2020-03-20 | 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11350074B2 (ko) |
| KR (1) | KR20200112737A (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11930189B2 (en) | 2021-09-30 | 2024-03-12 | Samsung Electronics Co., Ltd. | Parallel metadata generation based on a window of overlapped frames |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8872878B2 (en) * | 2011-07-20 | 2014-10-28 | Cisco Technology, Inc. | Adaptation of video for use with different number of cameras and displays at endpoints |
| TWI505696B (zh) * | 2011-11-08 | 2015-10-21 | Samsung Electronics Co Ltd | 解碼影像的方法 |
| US20140177706A1 (en) * | 2012-12-21 | 2014-06-26 | Samsung Electronics Co., Ltd | Method and system for providing super-resolution of quantized images and video |
| JP6937302B2 (ja) | 2015-11-23 | 2021-09-29 | エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ | 多視点ビデオの符号化／復号化方法 |
| KR20180107001A (ko) | 2017-03-21 | 2018-10-01 | 주식회사 케이티 | 비디오 신호 처리 방법 및 장치 |
| KR101906066B1 (ko) | 2017-07-31 | 2018-10-08 | 서울과학기술대학교 산학협력단 | 다중 시점 영상의 송신 방법 및 장치 |
| EP3682632B1 (en) * | 2017-09-15 | 2023-05-03 | InterDigital VC Holdings, Inc. | Methods and devices for encoding and decoding 3d video stream |
| KR102434402B1 (ko) | 2017-09-19 | 2022-08-22 | 한국전자통신연구원 | 혼합현실 콘텐츠를 제공하는 장치 및 방법 |
| US11012713B2 (en) * | 2018-07-12 | 2021-05-18 | Apple Inc. | Bit stream structure for compressed point cloud data |
| US10965932B2 (en) * | 2019-03-19 | 2021-03-30 | Intel Corporation | Multi-pass add-on tool for coherent and complete view synthesis |
-
2020
- 2020-03-20 US US16/824,951 patent/US11350074B2/en active Active
- 2020-03-20 KR KR1020200034454A patent/KR20200112737A/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| US11350074B2 (en) | 2022-05-31 |
| US20200359000A1 (en) | 2020-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110100435B (zh) | 生成装置、识别信息生成方法、再现装置和图像再现方法 | |
| Salahieh et al. | Test model for immersive video | |
| US11528509B2 (en) | Video transmission method, video transmission device, video receiving method and video receiving device | |
| US11616938B2 (en) | Method for processing immersive video and method for producing immersive video | |
| KR20200111643A (ko) | 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법 | |
| KR20200013607A (ko) | 운동 시차 지원 전방위 비디오 획득/재생을 위한 방법 및 장치 | |
| KR20200112737A (ko) | 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법 | |
| KR20200143276A (ko) | 비디오 부호화 방법 및 비디오 복호화 방법 | |
| US20230232031A1 (en) | Method for decoding immersive video and method for encoding immersive video | |
| US11477429B2 (en) | Method for processing immersive video and method for producing immersive video | |
| KR102680366B1 (ko) | 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법 | |
| US20220345742A1 (en) | Immersive video decoding method and immersive video encoding method | |
| KR20210036795A (ko) | 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법 | |
| US11575935B2 (en) | Video encoding method and video decoding method | |
| WO2019077199A1 (en) | APPARATUS, METHOD, AND COMPUTER PROGRAM FOR VOLUMETRIC VIDEO | |
| KR20200095408A (ko) | 이머시브 비디오 포맷팅 방법 및 장치 | |
| KR20210036834A (ko) | 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법 | |
| KR102591133B1 (ko) | 이머시브 영상 부호화 방법 및 이머시브 영상 복호화 방법 | |
| US20240251086A1 (en) | Method for decoding immersive video and method for encoding immersive video | |
| US20230222694A1 (en) | Method for decoding immersive video and method for encoding immersive video | |
| KR20230110178A (ko) | 이머시브 영상 복호화 방법 및 이머시브 영상 부호화 방법 | |
| KR20240054910A (ko) | 이머시브 영상 복호화 방법 및 이머시브 영상 부호화 방법 | |
| KR20210027091A (ko) | 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법 | |
| KR20210128355A (ko) | 이머시브 영상 처리 방법 및 이머시브 영상 합성 방법 | |
| KR20230140418A (ko) | 사용자의 시청 위치에 따라 아틀라스 스위칭을 수행하는 방법 및 이를 위한 장치 |