KR102576700B1 - 워핑된 영상의 혼합을 통한 가상 시점 영상 합성 방법 및 장치 - Google Patents

워핑된 영상의 혼합을 통한 가상 시점 영상 합성 방법 및 장치 Download PDF

Info

Publication number
KR102576700B1
KR102576700B1 KR1020210075358A KR20210075358A KR102576700B1 KR 102576700 B1 KR102576700 B1 KR 102576700B1 KR 1020210075358 A KR1020210075358 A KR 1020210075358A KR 20210075358 A KR20210075358 A KR 20210075358A KR 102576700 B1 KR102576700 B1 KR 102576700B1
Authority
KR
South Korea
Prior art keywords
viewpoint
weight
virtual viewpoint
pixels
warped
Prior art date
Application number
KR1020210075358A
Other languages
English (en)
Other versions
KR20210156222A (ko
Inventor
윤정일
곽상운
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US17/350,904 priority Critical patent/US11734792B2/en
Publication of KR20210156222A publication Critical patent/KR20210156222A/ko
Application granted granted Critical
Publication of KR102576700B1 publication Critical patent/KR102576700B1/ko

Links

Images

Classifications

    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

워핑된 영상의 혼합을 통한 가상 시점 영상 합성 방법 및 장치가 개시된다. 본 개시의 일 실시 예에 따른 가상 시점 영상 합성 방법은, 입력 시점의 깊이 정보를 이용하여, 서로 다른 시점 영상들을 가상 시점에 대하여 워핑하는 단계; 상기 워핑된 시점 영상들의 화소들의 품질 및 깊이를 기초로 상기 화소들에 대한 제1 가중치를 결정하는 단계; 상기 워핑된 시점 영상들의 화소들과 상기 가상 시점과의 위치 관계를 기초로 상기 화소들에 대한 제2 가중치를 결정하는 단계; 상기 제1 가중치 및 상기 제2 가중치를 기초로 상기 화소들에 대한 혼합 가중치를 결정하는 단계; 상기 혼합 가중치에 따라 상기 워핑된 시점 영상들을 혼합하는 단계; 및 상기 혼합된 시점 영상들을 기초로 상기 가상 시점의 영상을 합성하는 단계를 포함할 수 있다.

Description

워핑된 영상의 혼합을 통한 가상 시점 영상 합성 방법 및 장치{METHOD AND APPARATUS FOR VIRTUAL VIEWPOINT IMAGE SYNTHESIS BY MIXING WARPED IMAGE}
본 개시는 워핑 영상의 혼합을 통한 가상 시점 영상 합성 방법 및 장치에 대한 것이다. 보다 구체적으로는, 픽셀에 부여되는 가중치를 기초로 다수의 워핑된 영상들을 혼합하고 가상 시점 영상을 합성하는 방법 및 장치에 대한 것이다.
가상 시점(virtual view) 합성은 입력 시점 카메라들 사이에 존재하는 가상 시점 카메라의 영상을 합성하기 위한 방법이다. 이때, 가상 시점 영상을 합성하기 위해, 화소(pixel)의 깊이 정보를 기반으로 영상을 워핑(warping)하는 기술이 사용된다.
다양한 위치와 방향에서 획득된 전방위 공간 정보가 충분히 포함된 입력 시점 영상 및 정확한 깊이 정보가 제공될수록 가상 시점 영상 합성 장치는 입력 시점 사이의 중간시점 영상의 합성을 보다 정확히 수행할 수 있다. 뿐만 아니라, 가상 시점 영상 합성 장치는 회전과 이동이 결합된 6DoF(Degree of Freedom) 움직임에 따라 자연스러운 시차 변화가 제공되는 가상 시점 영상을 합성할 수 있다.
여기서, 가상 시점 영상 합성의 속도 및 품질의 최적화를 위해 효율적인 워핑 방법이 요구된다.
본 개시는 삼각형 내부 화소의 색상을 보간하고, 워핑된 영상을 생성함으로써, 가상 시점 영상을 합성하는 방법을 제공하는 것을 목적으로 한다.
또한, 본 개시는 워핑된 삼각형의 품질 기반 가중치와 입력 시점 카메라 및 가상 시점 카메라의 관계에 따라 설정되는 Ray 기반 가중치를 기초로 향상된 품질의 가상 시점 영상을 합성하는 방법을 제공하는 것을 목적으로 한다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시는 입력 시점의 깊이 정보를 이용하여, 서로 다른 시점 영상들을 가상 시점에 대하여 워핑하는 단계; 상기 워핑된 시점 영상들의 화소들의 품질 및 깊이를 기초로 제1 가중치를 산출하는 단계; 상기 워핑된 시점 영상들의 화소들과 가상 시점과의 위치 관계를 기초로 제2 가중치를 산출하는 단계; 상기 제1 가중치 및 상기 제2 가중치의 혼합 가중치를 반영하여 상기 시점 영상들을 혼합하는 단계; 및 혼합된 상기 시점 영상들을 기초로 상기 가상 시점의 영상을 합성하는 단계를 포함하는 것을 특징으로 하는 가상 시점 영상 합성 방법을 제공할 수 있다.
일 실시예에 따르면, 상기 입력 시점의 상기 시점 영상들을 가상 시점에 대하여 워핑하는 단계는, 상기 시점 영상의 화소에 인접한 3개의 화소들로 정의되는 삼각형 단위로 상기 시점 영상을 워핑하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 워핑된 영상들의 화소의 품질의 값은, 상기 시점 영상의 화소에 대응되는 삼각형 단위의 가장 긴 변의 길이에 반비례하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 워핑된 영상들의 화소의 깊이의 값은, 상기 시점 영상의 화소에 대응되는 삼각형 단위의 3개의 화소들의 깊이 값을 보간하여 결정되는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 제2 가중치는, 화소의 깊이 정보에 따른 상기 화소의 3차원 공간 상의 제1점, 입력 시점의 카메라 중심을 지시하는 제2점, 및 가상 시점의 카메라 중심을 지시하는 제3점으로 정의되는 영역의 면적을 기초로 결정되는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 제2 가중치는, 상기 영역의 면적에 반비례하도록 결정되는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 제2 가중치는, 상기 입력 시점의 카메라 중심을 지시하는 제2점과 상기 가상 시점의 카메라 중심을 지시하는 제3점 간의 거리와 상기 영역의 면적의 곱에 반비례하도록 결정되는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 제2 가중치는, 카메라의 리그 구조, 영상의 특성 중 적어도 하나를 기초로 결정되는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 워핑된 시점 영상들의 서로 다른 화소들의 위치가 동일한 경우, 상기 시점 영상들을 혼합하는 단계는, 상기 서로 다른 화소들의 혼합 가중치를 기초로 가중 혼합된 색상 값을 상기 시점 영상의 혼합에 사용하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 합성한 상기 가상 시점의 영상의 홀(hole) 부분을 인페인팅(inpainting)하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
본 개시는 입력 시점의 깊이 정보를 이용하여, 서로 다른 시점 영상들을 가상 시점에 대하여 워핑하는 투영부; 상기 워핑된 시점 영상들의 화소들에 대한 혼합 가중치에 따라 상기 워핑된 시점 영상들을 혼합하는 혼합부; 및 상기 혼합된 시점 영상들을 기초로 상기 가상 시점의 영상을 합성하는 합성부를 포함하는 것을 특징으로 하고, 상기 혼합 가중치는, 상기 워핑된 시점 영상들의 화소들의 품질 및 깊이를 기초로 결정되는 상기 화소들에 대한 제1 가중치 및 상기 워핑된 시점 영상들의 화소들과 상기 가상 시점과의 위치 관계를 기초로 결정되는 상기 화소들에 대한 제2 가중치를 기초로 결정되는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 투영부는, 상기 시점 영상의 화소에 인접한 3개의 화소들로 정의되는 삼각형 단위로 상기 시점 영상을 워핑하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 워핑된 영상들의 화소의 품질의 값은, 상기 시점 영상의 화소에 대응되는 삼각형 단위의 가장 긴 변의 길이에 반비례하는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 워핑된 영상들의 화소의 깊이의 값은, 상기 시점 영상의 화소에 대응되는 삼각형 단위의 3개의 화소들의 깊이 값을 보간하여 결정되는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 제2 가중치는, 화소의 깊이 정보에 따른 상기 화소의 3차원 공간 상의 제1점, 입력 시점의 카메라 중심을 지시하는 제2점, 및 가상 시점의 카메라 중심을 지시하는 제3점으로 정의되는 영역의 면적을 기초로 결정되는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 제2 가중치는, 상기 영역의 면적에 반비례하도록 결정되는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 제2 가중치는, 상기 입력 시점의 카메라 중심을 지시하는 제2점과 상기 가상 시점의 카메라 중심을 지시하는 제3점 간의 거리와 상기 영역의 면적의 곱에 반비례하도록 결정되는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 제2 가중치는, 카메라의 리그 구조, 영상의 특성 중 적어도 하나를 기초로 결정되는 것을 특징으로 할 수 있다.
일 실시예에 따르면, 상기 워핑된 시점 영상들의 서로 다른 화소들의 위치가 동일한 경우, 상기 혼합부는, 상기 서로 다른 화소들의 혼합 가중치를 기초로 가중 혼합된 색상 값을 상기 시점 영상의 혼합에 사용하는 것을 특징으로 할 수 있다.
본 개시는 가상 시점 영상 합성 방법으로 합성된 가상 시점 영상을 저장하는 기록 매체로서, 상기 가상 시점 영상 합성 방법은, 입력 시점의 깊이 정보를 이용하여, 서로 다른 시점 영상들을 가상 시점에 대하여 워핑하는 단계; 상기 워핑된 시점 영상들의 화소들의 품질 및 깊이를 기초로 상기 화소들에 대한 제1 가중치를 결정하는 단계; 상기 워핑된 시점 영상들의 화소들과 상기 가상 시점과의 위치 관계를 기초로 상기 화소들에 대한 제2 가중치를 결정하는 단계; 상기 제1 가중치 및 상기 제2 가중치를 기초로 상기 화소들에 대한 혼합 가중치를 결정하는 단계; 상기 혼합 가중치에 따라 상기 워핑된 시점 영상들을 혼합하는 단계; 및 상기 혼합된 시점 영상들을 기초로 상기 가상 시점의 영상을 합성하는 단계를 포함하는 것을 특징으로 할 수 있다.
본 개시의 또 다른 양상에 따르면 가상 시점 영상 합성 방법을 수행하기 위해 실행가능한 명령들(executable instructions)을 가지는 소프트웨어 또는 컴퓨터-판독가능한 매체(computer-readable medium)가 제공될 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 삼각형 기반 워핑을 방법을 이용하여 다수의 입력 영상과 깊이 정보를 기반으로 가상 시점 영상을 합성하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 다수의 워핑 영상을 혼합하는데 적합한 Ray 기반 가중치 및 Ray 기반 가중치의 비율 및 강도를 조절할 수 있는 가중치 모델을 제안하여 보다 사실에 가까운 가상 시점 영상을 합성하는 방법 및 장치가 제공될 수 있다.
또한 본 개시에 따르면, VR(virtual reality)에서의 전방위 영상을 제공하기 위해 영상의 합성 품질을 향상시키는 것으로, 보다 몰입감 높은 6DoF(degree of freedom) 시점 제공을 위한 VR 비디오 서비스를 제공할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 삼각형 단위의 워핑을 기반으로 한 가상 시점 합성 방법의 일 실시예를 설명하기 위한 도면이다.
도 2는 삼각형 단위의 워핑을 기반으로 한 가상 시점 영상 합성 과정의 일 실시예를 나타낸 도면이다.
도 3은 Ray 기반 가중치를 결정하기 위한 영역의 일 실시예를 도시한다.
도 4는 Ray 기반 가중치의 특징을 도시하는 도면이다.
도 5는 Ray 기반 가중치 비율 및 강도를 기초로 한 영상 합성 결과를 도시한다.
도 6는 혼합 가중치를 기초로 한 영상 합성 방법을 도시한다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계 뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들 간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들을 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.
본 개시의 명세서에 기재된 "…부", "…모듈", "…수단" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
3차원 공간의 한 점이 핀홀 카메라를 통과하여 영상에 맺히는 과정은, 세 개의 좌표계를 이용해 설명될 수 있다. 각 좌표계는, 장면이 존재하는 공간의 좌표가 표시되는 월드 좌표계(world coordinate system), 카메라 내부의 공간이 표시되는 카메라 좌표계(camera coordinate system) 및 영상의 위치가 표시되는 영상 좌표계(image coordinate system)일 수 있다. 일반적으로, 다시점 비디오 시스템에서 하나의 월드 좌표계가 이용되고, 다시점 비디오 시스템의 카메라들의 위치는 월드 좌표계를 기준으로 표시될 수 있다.
임의의 가상 시점 영상을 생성하기 위해서, 참조 영상은 가상 시점 공간으로 이동되어야 한다. 예를 들어, 참조 시점 영상의 객체는 깊이 영상 기반 렌더링 방법 중 하나인 3차원 워핑 기술을 이용하여 가상 시점 공간으로 이동될 수 있다. 여기서, 참조 시점은 입력 시점과 동일한 의미로 사용될 수 있다.
본 개시에서 '입력 시점'은, 입력 영상과 깊이 정보를 포함하는 영상을 촬영하는 카메라의 시점을 의미할 수 있다. 또한, '가상 시점' 또는 '입력 시점에서 이동된 시점'은, 합성하고자 하는 가상의 영상을 촬영하는 가상의 카메라의 시점을 의미할 수 있다.
이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.
가상 시점 영상을 합성하는 방법은 워핑 수행 단위가 점(point)인지(일 예로, 화소 단위) 또는 면(plane)인지(일 예로, 이웃하는 세 개의 화소로 정의되는 삼각형 단위)에 따라 크게 2가지로 구분될 수 있다. 워핑 수행 단위에 따라서, 영상 합성 과정에 차이가 존재할 수 있다.
입력 시점 영상을 화소 단위로 워핑함으로써 가상 시점 위치의 워핑 영상을 생성하는 경우, 가상 시점 영상 합성 장치는 전방향(forward) 워핑을 통해 가상 시점의 깊이 영상을 생성할 수 있다. 또한, 가상 시점 영상 합성 장치는 후방향(backward) 워핑을 통해 가상 시점으로 워핑된 영상의 화소 색상을 결정할 수 있다.
여기서, 가려짐(occlusion) 영역에 의해, 가상 시점 영상에 공통 홀(common hole)이 발생할 수 있다. 그리고 가상 시점 영상 합성 장치가 화소들을 3차원 공간에서 영상 좌표계의 정수 인덱스로 매핑한 결과, 가상 시점 영상에 작은 홀(일 예로, 틈(crack))이 발생될 수 있다.
공통 홀 및/또는 작은 홀들을 제거하기 위해, 가상 시점 영상 합성 장치는 후방향 워핑을 수행하기 전에 중간 값 필터(median filter)를 사용할 수 있다. 객체들이 서로 겹치거나, 시점 변화가 큰 위치의 가상 시점 영상을 합성하고자 하는 경우, 가상 시점 영상 합성 장치는 전경 객체 영역의 홀에 배경 영역의 깊이 값을 채울 수 있다. 따라서, 중간 값 필터로 인해 워핑된 깊이 영상이 왜곡(artifact가 발생)되고, 영상 합성의 품질이 저하될 수 있다.
입력 시점 영상의 화소 단위 워핑으로 인한 합성 영상의 품질의 저하를 방지하기 위해, 가상 시점 영상 합성 장치는 입력 시점 영상의 화소에 인접한 세 개의 화소들로 정의되는 삼각형 단위의 면을 워핑할 수 있다. 삼각형 단위의 면은 점들의 깊이 차이와 가상 시점으로의 시점 변화에 따라 아핀 변환(Affine transform)되고, 가상 시점으로 투영될 수 있다. 여기서, 삼각형 면 내부 화소들의 색상은 화소들의 투영된 위치 및 투영된 화소들로 구성되는 삼각형의 면적 비율에 따라 보간(interpolation)된 화소들의 색상 값으로 결정된다. 가상 시점 영상 합성 장치가 삼각형 단위의 워핑을 기반으로 가상 시점 영상을 합성하는 방법은 아래에 설명하는 바와 같을 수 있다.
도 1은 삼각형 단위의 워핑을 기반으로 한 가상 시점 영상 합성 방법의 일 실시예를 설명하기 위한 도면이다.
도 1을 참조하면, S101 단계에서, 입력 시점 영상은 3차원 공간 상의 월드 좌표계로 역투영(unprojection)될 수 있다. 여기서, 다수의 입력 시점 영상들, 입력 시점 영상들의 화소의 깊이 정보, 입력 시점 영상들의 투영 방식 및 입력 시점의 카메라 파라미터(parameter)가 이용될 수 있다.
S102 단계에서, 합성하고자 하는 가상 시점 영상의 투영 방식과 카메라 파라미터의 설정에 따라서, 입력 시점 영상은 3차원 공간상의 월드 좌표계에서 가상 시점 카메라의 영상 좌표계로 투영될 수 있다. 여기서, 입력 시점 영상은 삼각형 아핀 변환될 수 있다. 그리고 삼각형 단위의 내부 화소는 색상 보간될 수 있다. 가상 시점 카메라의 영상 좌표계의 투영 결과, 워핑된 영상이 생성될 수 있다.
또한, S103 단계에서, 가상 시점 위치로 워핑된 시점 영상들은 시점 영상들의 화소별로 설정된 가중치(weight)를 기초로 가중 평균 혼합(blending)될 수 있다. 가중 평균 혼합된 시점 영상들은 합성 영상으로 지칭된다.
S104 단계에서, 합성 영상에 남아있는 홀(hole)들은 높은 유사도를 가지는 주변의 화소의 색상으로 채워질 수 있다. 따라서, 최종 합성 영상이 생성될 수 있다.
도 1에 도시된 삼각형 단위의 워핑을 기반으로 한 가상 시점 영상 합성 방법을 적용한 가상 시점 영상 합성 과정의 구체적인 실시예는 다음과 같다.
도 2는 삼각형 단위의 워핑을 기반으로 한 가상 시점 영상 합성 과정의 일 실시예를 나타낸 도면이다.
도 2를 참조하면, 삼각형 기반 워핑 방법에서, 삼각형의 모양은 화소의 깊이 차이와 시점 변화에 따라 변할 수 있다. 특히, 객체 간 경계 부분과 같이, 깊이 차이가 큰 부분에 매핑되는 패치는 이웃한 화소들 간의 간격만큼 늘어진 형태로 매핑될 수 있다. 매핑된 삼각형의 형태 변화에 따라, 패치의 화소의 가중치가 결정될 수 있다. 그리고 가상 시점 영상 합성 장치는 화소의 가중치를 기초로 화소들을 가중 혼합할 수 있다. 따라서, 영상 합성으로 인한 왜곡이 감소할 수 있다.
일 실시예에 따르면, 경계 부분에 위치하여 늘어진 형태로 매핑된 패치의 화소는 정상적으로 매핑된 화소에 비해 상대적으로 낮은 가중치로 혼합된다. 따라서, 가중치 조절에 따라 합성 영상의 품질이 달라질 수 있다.
예를 들어, 도 2의 (a)는 각 입력 시점 영상이 가상 시점에 대해 워핑되는 일 실시예를 도시한다. 여기서, 화소의 깊이 차이 및 시점의 변화에 따라 삼각형 모양이 늘어지게 워핑됨을 확인할 수 있다.
또한, 도 2의 (b)는 도 2의 (a)의 워핑 영상들이 혼합 및 인페인팅 되어 최종적으로 합성되는 가상 시점 영상의 일 실시예를 도시한다. 도 2의 (b)를 참조하면, 혼합 과정에서 도 2의 (a)의 늘어지게 워핑된 삼각형은 제거될 수 있다. 즉, 워핑 영상들의 가중치는 삼각형 단위 면의 형태 변화에 따라 결정된다. 그리고 결정된 가중치에 따라 삼각형 면들이 가중 혼합된다. 따라서, 가상 시점 영상을 합성함에 있어, 영상의 합성으로 인한 왜곡을 감소시킬 수 있다.
삼각형 단위의 워핑 방법으로 가상 시점 영상을 합성하는 과정에서, 워핑 결과 크게 늘어진 삼각형 영역의 화소들에 낮은 가중치가 부여된다. 그리고 워핑된 영상들은 가중치를 기초로 가중 혼합되어 합성될 수 있다. 여기서, 가상 영상 합성 장치는 정상적으로 워핑된 삼각형 보다 늘어진 삼각형을 합성하기 위해 더 많은 화소를 영상 처리하여야 한다. 따라서, 늘어진 삼각형의 합성으로 인해, 영상 합성 속도가 저하될 수 있다. 낮은 가중치를 부여받은 화소는 낮은 가중치에도 불구하고, 합성 영상의 품질에 영향을 미칠 수 있다.
회전 및 이동이 결합되는 6DoF 시점 변화를 지원하는 가상 시점 영상을 합성하는 경우, 다수의 삼각형 단위의 면들이 동일한 위치에 투영될 수 있다. 만일 동일한 위치에 다수의 삼각형 단위의 면들이 투영되는 경우, 가상 시점 영상 합성 장치는 [수학식 1]에 따라, 삼각형 단위들의 늘어짐에 따른 triangle_shape와 화소의 깊이 d를 기초로 합성에 사용할 삼각형 단위의 면을 결정한다. [수학식 1]에 따라, 새로운 삼각형의 triangle_shape 및 d가 조건을 만족하는 경우, 가상 시점 영상 합성 장치는 이전에 투영된 영상의 색상을 새로 투영되는 삼각형 단위의 면 내부 화소의 색상으로 교체하고, 워핑된 영상을 생성한다.
Figure 112021067044985-pat00001
[수학식 1]에서, triangle_shape는 투영된 삼각형 단위의 면의 모양을 기초로 정량적으로 결정되는 품질을 지시한다. 일 실시예에 따르면, triangle_shape는 투영된 삼각형 단위의 면의 가장 긴 변의 길이에 반비례할 수 있다. 투영된 삼각형 내부의 화소들은 모두 동일한 triangle_shape를 갖는다. triangle_shape는 일정 범위 이내의 값을 가질 수 있다. 또는 triangle_shape는 다양하게 변형된 방법으로 정의될 수 있으며, 본 개시에서 개시한 바에 한정되지 않는다.
d는 투영된 삼각형의 꼭지점들의 화소의 깊이 값을 보간한 결과 결정되는 삼각형 내부 화소의 깊이 값을 지시한다. 합성 영상의 투영 포맷이 퍼스팩티브(perspective)인 경우, d는 가상 시점과 삼각형과의 수직 거리를 지시한다. 합성 영상의 투영 포맷이 ERP(equiretangular projection)인 경우, d는 투영 중심에서의 삼각형과의 직선 거리를 지시한다.
α는 triangle_shape와 d의 중요도를 조절하는 파라미터를 지시한다. 일 실시예에 따르면, α는 3 가량의 값일 수 있다.
[수학식 1]에 따르면, 복수의 후보 화소들 중에서 워핑된 영상의 특정 화소 위치의 색상을 결정해야 할 경우, 가상 시점 영상 합성 장치는 낮은 깊이 값을 갖고, 높은 품질 값을 갖는 화소를 최종적으로 투영할 화소로 선택한다. 그리고 가상 시점 영상 합성 장치는 선택한 화소를 기초로 워핑되는 영상의 색상을 결정한다. 따라서 가상 시점으로부터 가까운 거리에 있는 객체의 표면에 워핑되는 삼각형 단위의 면 내부의 화소가 높은 확률로 선택될 수 있다. 반면, 실제와 달리 늘어진 형태로 워핑되는 삼각형은 낮은 확률로 선택될 수 있다. 또는, 가려져서 보이지 않아야 할 배경 부분에 워핑되어, 큰 깊이 값을 갖는 삼각형 단위의 면 내부의 화소는 낮은 확률로 선택될 수 있다.
워핑된 영상들을 혼합하는 가상 시점 영상 합성 장치는 화소에 대응되는 삼각형 단위의 면의 품질 값과 화소의 깊이 값을 이용하여, 워핑된 영상의 화소의 혼합 가중치 wblending을 결정한다. 예를 들어, 가상 시점 영상 합성 장치는 [수학식 2]를 이용하여 워핑된 영상의 화소의 혼합 가중치를 결정한다. 그리고 가상 시점 영상 합성 장치는 혼합 가중치를 기초로 전체 워핑 영상의 화소 단위의 색상 값을 가중 혼합하고, 합성된 영상을 생성한다.
Figure 112021067044985-pat00002
본 개시에 따르면, 다수의 워핑된 영상을 혼합하기 위해 삼각형 단위의 품질과 화소의 깊이를 이용한 혼합 가중치(이하 “삼각형 품질 기반 가중치”로 지칭함) wt는 입력 시점 카메라에서 영상의 화소를 획득한 Ray와 가상 시점의 위치 관계를 반영한 가중치(이하 “Ray 기반 가중치”로 지칭) wr가 적용된 가중치일 수 있다. Ray 기반 가중치가 적용된 혼합 가중치는 아래 [수학식 3]과 같이 표현된다.
Figure 112021067044985-pat00003
여기서, wtri는 [수학식 2]에 의해 도출되는 wblending와 동일하다.
가상 시점의 카메라의 중심점이 입력 시점 카메라의 중심과 화소를 획득한 공간 상의 점을 연결한 직선에 근접할수록, 화소의 정보는 실제 공간의 정보에 근접할 수 있다. 따라서, 혼합 과정에서 각 입력 시점의 워핑된 영상의 각 화소 중 실제 공간의 정보에 가까운 입력 시점의 화소에 더 많은 가중치를 부여하여 실제와 더 유사한 가상 시점 영상을 합성을 위해 사용한다. 즉, Ray 기반 가중치는 입력 시점 카메라의 중심과 화소를 획득된 공간상의 점을 연결한 직선에 가상 시점의 카메라의 중심점이 근접할수록 큰 값을 가진다.
도 3은 Ray 기반 가중치를 결정하기 위한 영역의 일 실시예를 도시한다.
도 3에 따르면, 워핑된 화소의 Ray 기반 가중치 wray는 화소의 깊이 정보에 따른 화소의 3차원 공간 상의 점 P, 입력 시점의 카메라 중심을 지시하는 점 C, 가상 시점의 카메라 중심을 지시하는 점 V 세 개의 점으로 정의되는 영역의 면적에 반비례할 수 있다.
여기서, 세 개의 점으로 정의되는 영역은 삼각형 형태일 수 있다. 다만, 실제로 세 개의 점으로 정의되는 영역의 면적은 삼각형의 면적과 동일하지 않을 수 있다. 세 개의 점으로 정의되는 영역의 면적은 스케일(scale)을 반영한 비례 면적일 수 있다.
세 개의 점으로 정의되는 영역의 면적은 "화소의 3차원 공간 상의 점과 카메라 중심 점들로 정의되는 영역의 면적" 또는 "P, C, V 3점으로 정의되는 영역의 면적"으로 지칭할 수 있다. 또는 세 개의 점으로 정의되는 영역의 면적은 Arearay과 같이 표현될 수 있다.
도 4는 Ray 기반 가중치의 특징을 도시하는 도면이다.
도 4를 참조하면, 화소에 가중치를 부여하는 실시예들이 도시되어 있다.
일 실시예에 따르면, 화소의 가중치는 워핑된 화소의 3차원 공간상의 점으로부터 입력 시점의 카메라 중심의 점으로의 방향과 가상 시점 카메라 중심의 점으로의 방향의 각도를 기준으로 결정될 수 있다. 가상 시점 영상 합성 장치는 작은 각도를 가지는 객체에 큰 혼합 가중치를 부여할 수 있다. 도 4의 실시예와 같은 상황에서, θ1 > θ2이다. 이 경우, 객체 A에 가려 보이지 않아야 될 객체 B의 화소에 더 큰 가중치가 부여되는 문제가 발생한다.
다른 실시예에 따르면, 화소의 가중치는 워핑된 화소의 3차원 공간상의 점과 가상 시점 카메라 중심 점으로 정의되는 직선과 입력 시점의 카메라 중심 점의 거리에 반비례하도록 결정될 수 있다. 도 4의 실시예와 같은 상황에서, p1 = p2이다. 이 경우, 객체 A의 화소와 객체 B의 화소에 동일한 가중치가 결정된다. 따라서, 객체 A의 화소가 더 큰 가중치를 갖지 못한다.
반면, 본 개시에 따라 P, C, V 세 개의 점으로 정의되는 영역의 면적에 반비례하도록 화소의 가중치를 결정하는 경우, 객체 A의 가중치는 객체 B의 가중치보다 큰 값으로 결정될 수 있다. 따라서, 가상 시점 영상 합성 장치는 가상 시점 영상 합성의 의도에 부합하게 객체들의 화소의 가중치를 결정할 수 있다.
본 개시에 따르면, 가상 시점 영상 합성 장치는 가중치 모델을 이용하여 "삼각형 품질 기반 가중치" wtri와 Ray 기반 가중치 wray를 기초로 혼합 가중치를 결정할 수 있다. 여기서, 가중치 모델은 카메라의 리그 구조 및/또는 장면의 특성에 따라 혼합 Ray 기반 가중치의 적용 비율 및 강도를 조절하는 모델일 수 있다.
먼저, Fray는 도 3의 P, C, V 세 개의 점으로 정의되는 영역의 면적에 반비례하는 경향성을 0 내지 1의 값으로 정규화하는 함수로 정의된다. 그리고 가상 시점 영상 합성 장치는 [수학식 4]에 따른 정규화 함수 Fray를 기초로 Ray 기반 가중치 wray를 결정하고, 결정된 Ray 기반 가중치 wray를 혼합 가중치에 반영한다.
Figure 112021067044985-pat00004
여기서, Fray의 일 실시예는 [수학식 5]에 정의된 바와 같을 수 있다.
Figure 112021067044985-pat00005
여기서, b는 도 3에 도시된 입력 시점의 카메라 중심의 점과 가상 시점 카메라 중심의 점 간의 거리(baseline)를 지시한다. Arearay는 도 3의 P, C, V 세 개의 점으로 정의되는 영역의 면적을 지시한다. b와 Arearay 값이 작을수록 [수학식 5]에 의해 결정되는 경향성의 값은 1에 근접한다. 반면, b와 Arearay 값이 클수록 경향성의 값은 0에 근접한다.
[수학식 4]의 λ는 0 내지 1의 값을 갖는 파라미터를 지시한다. λ = 1인 경우 wray = Fray α가 된다. 따라서, [수학식 3]에서 Ray 기반 가중치의 영향이 최대로 증가한다. 반면, λ = 0인 경우에는 wray = 1이 된다. 따라서, Ray 기반 가중치는 반영되지 않고, 혼합 가중치는 삼각형 품질 기반 가중치와 동일하게 결정된다. α는 Fray α의 변화 강도(또는 속도)를 조절하는 파라미터를 지시한다. α값이 클수록 Fray α 그래프의 폭은 급격하게 감소하고, α값이 작을수록 Fray α 그래프의 폭이 완만하게 감소한다.
앞서 설명한 실시예에 따르면, 두 개의 입력 시점 영상 및 두 개의 객체를 기준으로 설명하였으나, 입력 시점 영상의 개수 및 객체의 개수는 위 실시예에 제한되지 않으며, 두 개 이상의 입력 시점 영상 및 두 개 이상의 객체에 대해서도 동일하게 적용될 수 있다.
도 5는 Ray 기반 가중치 비율 및 강도를 기초로 한 영상 합성 결과를 도시한다.
도 5를 참조하면, 큰 Ray 기반 가중치 값을 갖는 일부 영역만을 선택적으로 워핑하여 합성한 결과는 도 5에 도시된 바와 같다. 본 개시의 영상 합성 방법은 다수의 워핑 영상을 합성함에 있어, 품질이 낮은 삼각형 단위의 면이 발생한 경우 다른 입력 시점에서 워핑된 높은 품질의 높은 가중치를 갖는 화소들을 혼합하고, 늘어진 삼각형 단위의 면을 제거하는 영상 합성 방법을 기반으로 한다.
제한 없이 Ray 기반 가중치를 적용하는 경우, 도 5와 같이 Ray 기반 가중치가 큰 영역에서 늘어진 삼각형은 이웃하는 입력 시점의 해당 영역이 매우 낮은 Ray 기반 가중치로 혼합될 수 있다.
도 5에서 도시된 현상은 카메라 리그의 구조나 장면의 특성에 의해 발생한다. 따라서 본 개시에서, 가상 시점 영상 합성 장치는 λ를 이용하여 Ray 기반 가중치의 비율을 조절하고, α를 이용하여 Ray 기반 가중치의 영향을 조절할 수 있다.
도 6는 혼합 가중치를 기초로 한 영상 합성 방법을 도시한다.
도 6을 참조하면, 가상 시점 영상 합성 장치는 혼합 가중치를 기초로 가상 시점 영상을 합성할 수 있다. 여기서, 가상 시점 영상 합성 장치는 입력 시점의 깊이 정보를 이용하여, 입력 시점의 시점 영상을 가상 시점에 대하여 워핑하는 투영부, 워핑된 시점 영상들의 화소들에 대한 혼합 가중치에 따라 워핑된 시점 영상들을 혼합하는 혼합부, 및 혼합된 시점 영상들을 기초로 가상 시점의 영상을 합성하는 합성부를 포함할 수 있다.
S601 단계에서, 가상 시점 영상 합성 장치는 입력 시점의 깊이 정보를 이용하여, 서로 다른 시점 영상들을 가상 시점에 대하여 워핑할 수 있다. 여기서, 서로 다른 시점 영상들은 2개 이상의 시점 영상들을 포함할 수 있다. 여기서, 가상 시점 영상 합성 장치는 시점 영상의 화소에 인접한 3개의 화소들로 정의되는 삼각형 단위로 시점 영상을 워핑할 수 있다.
S603 단계에서, 가상 시점 영상 합성 장치는 워핑된 시점 영상들의 화소들의 품질 및 깊이를 기초로 화소들에 대한 제1 가중치를 결정할 수 있다. 여기서, 제1 가중치는 삼각형 품질 기반 가중치일 수 있다.
워핑된 영상들의 화소의 품질의 값은 시점 영상의 화소에 대응되는 삼각형 단위의 가장 긴 변의 길이에 반비례하도록 결정될 수 있다. 그리고 워핑된 영상들의 화소의 깊이의 값은, 시점 영상의 화소에 대응되는 삼각형 단위의 3개의 화소들의 깊이 값을 보간하여 결정될 수 있다.
S605 단계에서, 가상 시점 영상 합성 장치는 워핑된 시점 영상들의 화소들과 가상 시점과의 위치 관계를 기초로 화소들에 대한 제2 가중치를 결정할 수 있다. 여기서, 제2 가중치는 화소의 깊이 정보에 따른 화소의 3차원 공간 상의 제1점, 입력 시점의 카메라 중심을 지시하는 제2점, 및 가상 시점의 카메라 중심을 지시하는 제3점으로 정의되는 영역의 면적을 기초로 결정되는 Ray 기반 가중치일 수 있다.
제2 가중치는 카메라의 리그 구조, 영상의 특성 중 적어도 하나를 기초로 결정될 수 있다. 제2 가중치는 제1점 내지 제3점으로 정의되는 면적에 반비례하도록 결정될 수 있다. 또는 제2 가중치는 제1점 내지 제3점으로 정의되는 면적과 제2점 내지 제3점의 거리의 곱에 반비례하도록 결정될 수 있다.
S607 단계에서, 가상 시점 영상 합성 장치는 화소들에 대한 제1 가중치 및 제2 가중치를 기초로 화소들에 대한 혼합 가중치를 결정할 수 있다.
S609 단계에서, 가상 시점 영상 합성 장치는 화소들의 혼합 가중치에 따라 워핑된 시점 영상들을 혼합할 수 있다. 가상 시점 영상 합성 장치는 서로 다른 화소들의 혼합 가중치 값을 기초로, 서로 다른 화소들 중 하나의 화소의 색상 값을 사용하여 시점 영상을 혼합할 수 있다. 서로 다른 화소들의 혼합 가중치 값을 기초로 시점 영상을 혼합하는 가상 시점 영상 합성 장치의 동작은 아래에 설명하는 바와 같다. 일 실시예에 따르면, 서로 다른 워핑된 시점 영상들에 포함된 서로 다른 화소들의 위치가 동일한 경우, 가상 시점 영상 합성 장치는 서로 다른 화소들 각각의 혼합 가중치를 반영하여 서로 다른 화소들을 가중 혼합할 수 있다. 여기서 서로 다른 화소들은 두 개 이상의 화소들을 포함할 수 있다. 그리고 가상 시점 영상 합성 장치는 시점 영상을 혼합함에 있어, 가중 혼합된 화소의 색상 값을 사용할 수 있다.
S611 단계에서, 가상 시점 영상 합성 장치는 혼합된 시점 영상들을 기초로 가상 시점의 영상을 합성할 수 있다. 합성된 가상 시점 영상에 홀이 발생한 경우, 가상 시점 영상 합성 장치는 합성한 가상 시점의 영상의 홀 부분을 인페인팅하고, 최종적으로 가상 시점 영상을 합성할 수 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (20)

  1. 입력 시점의 깊이 정보를 이용하여, 서로 다른 시점 영상들을 가상 시점에 대하여 워핑하는 단계;
    상기 워핑된 시점 영상들의 화소들의 품질 및 깊이를 기초로 상기 화소들에 대한 제1 가중치를 결정하는 단계;
    상기 워핑된 시점 영상들의 화소들과 상기 가상 시점과의 위치 관계를 기초로 상기 화소들에 대한 제2 가중치를 결정하는 단계;
    상기 제1 가중치 및 상기 제2 가중치를 기초로 상기 화소들에 대한 혼합 가중치를 결정하는 단계;
    상기 혼합 가중치에 따라 상기 워핑된 시점 영상들을 혼합하는 단계; 및
    상기 혼합된 시점 영상들을 기초로 상기 가상 시점의 영상을 합성하는 단계를 포함하되,
    시점 영상의 워핑은, 삼각형 단위로 수행되고,
    워핑된 영상 내 화소의 깊이의 값은, 상기 화소가 포함된 삼각형의 꼭지점들에 대응하는 3개의 화소들의 깊이 값을 보간하여 결정되는 것을 특징으로 하는, 가상 시점 영상 합성 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 화소의 품질의 값은,
    상기 화소가 포함된 삼각형의 가장 긴 변의 길이에 반비례하는 것을 특징으로 하는, 가상 시점 영상 합성 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 제2 가중치는,
    화소의 깊이 정보에 따른 상기 화소의 3차원 공간 상의 제1점, 입력 시점의 카메라 중심을 지시하는 제2점, 및 가상 시점의 카메라 중심을 지시하는 제3점으로 정의되는 영역의 면적을 기초로 결정되는 것을 특징으로 하는, 가상 시점 영상 합성 방법.
  6. 제5항에 있어서,
    상기 제2 가중치는,
    상기 영역의 면적에 반비례하도록 결정되는 것을 특징으로 하는, 가상 시점 영상 합성 방법.
  7. 제5항에 있어서,
    상기 제2 가중치는,
    상기 입력 시점의 카메라 중심을 지시하는 제2점과 상기 가상 시점의 카메라 중심을 지시하는 제3점 간의 거리와 상기 영역의 면적의 곱에 반비례하도록 결정되는 것을 특징으로 하는, 가상 시점 영상 합성 방법.
  8. 제1항에 있어서,
    상기 제2 가중치는,
    카메라의 리그 구조, 영상의 특성 중 적어도 하나를 기초로 결정되는 것을 특징으로 하는, 가상 시점 영상 합성 방법.
  9. 제1항에 있어서,
    상기 워핑된 시점 영상들의 서로 다른 화소들의 위치가 동일한 경우,
    상기 시점 영상들을 혼합하는 단계는, 상기 서로 다른 화소들의 혼합 가중치를 기초로 가중 혼합된 색상 값을 상기 시점 영상의 혼합에 사용하는 것을 특징으로 하는, 가상 시점 영상 합성 방법.
  10. 제1항에 있어서,
    합성한 상기 가상 시점의 영상의 홀(hole) 부분을 인페인팅(inpainting)하는 단계를 더 포함하는 것을 특징으로 하는 가상 시점 영상 합성 방법.
  11. 입력 시점의 깊이 정보를 이용하여, 서로 다른 시점 영상들을 가상 시점에 대하여 워핑하는 투영부;
    상기 워핑된 시점 영상들의 화소들에 대한 혼합 가중치에 따라 상기 워핑된 시점 영상들을 혼합하는 혼합부; 및
    상기 혼합된 시점 영상들을 기초로 상기 가상 시점의 영상을 합성하는 합성부를 포함하는 것을 특징으로 하고,
    상기 혼합 가중치는,
    상기 워핑된 시점 영상들의 화소들의 품질 및 깊이를 기초로 결정되는 상기 화소들에 대한 제1 가중치 및 상기 워핑된 시점 영상들의 화소들과 상기 가상 시점과의 위치 관계를 기초로 결정되는 상기 화소들에 대한 제2 가중치를 기초로 결정되고,
    시점 영상의 워핑은, 삼각형 단위로 수행되고,
    워핑된 영상 내 화소의 깊이의 값은, 상기 화소가 포함된 삼각형의 꼭지점들에 대응하는 3개의 화소들의 깊이 값을 보간하여 결정되는 것을 특징으로 하는, 가상 시점 영상 합성 장치.
  12. 삭제
  13. 제11항에 있어서,
    상기 화소의 품질의 값은,
    상기 화소가 포함된 삼각형의 가장 긴 변의 길이에 반비례하는 것을 특징으로 하는, 가상 시점 영상 합성 장치.
  14. 삭제
  15. 제11항에 있어서,
    상기 제2 가중치는,
    화소의 깊이 정보에 따른 상기 화소의 3차원 공간 상의 제1점, 입력 시점의 카메라 중심을 지시하는 제2점, 및 가상 시점의 카메라 중심을 지시하는 제3점으로 정의되는 영역의 면적을 기초로 결정되는 것을 특징으로 하는, 가상 시점 영상 합성 장치.
  16. 제15항에 있어서,
    상기 제2 가중치는,
    상기 영역의 면적에 반비례하도록 결정되는 것을 특징으로 하는, 가상 시점 영상 합성 장치.
  17. 제15항에 있어서,
    상기 제2 가중치는,
    상기 입력 시점의 카메라 중심을 지시하는 제2점과 상기 가상 시점의 카메라 중심을 지시하는 제3점 간의 거리와 상기 영역의 면적의 곱에 반비례하도록 결정되는 것을 특징으로 하는, 가상 시점 영상 합성 장치.
  18. 제11항에 있어서,
    상기 제2 가중치는,
    카메라의 리그 구조, 영상의 특성 중 적어도 하나를 기초로 결정되는 것을 특징으로 하는, 가상 시점 영상 합성 장치.
  19. 제11항에 있어서,
    상기 워핑된 시점 영상들의 서로 다른 화소들의 위치가 동일한 경우,
    상기 혼합부는,
    상기 서로 다른 화소들의 혼합 가중치를 기초로 가중 혼합된 색상 값을 상기 시점 영상의 혼합에 사용하는 것을 특징으로 하는, 가상 시점 영상 합성 장치.
  20. 가상 시점 영상 합성 방법으로 합성된 가상 시점 영상을 저장하는 기록 매체로서,
    상기 가상 시점 영상 합성 방법은,
    입력 시점의 깊이 정보를 이용하여, 서로 다른 시점 영상들을 가상 시점에 대하여 워핑하는 단계;
    상기 워핑된 시점 영상들의 화소들의 품질 및 깊이를 기초로 상기 화소들에 대한 제1 가중치를 결정하는 단계;
    상기 워핑된 시점 영상들의 화소들과 상기 가상 시점과의 위치 관계를 기초로 상기 화소들에 대한 제2 가중치를 결정하는 단계;
    상기 제1 가중치 및 상기 제2 가중치를 기초로 상기 화소들에 대한 혼합 가중치를 결정하는 단계;
    상기 혼합 가중치에 따라 상기 워핑된 시점 영상들을 혼합하는 단계; 및
    상기 혼합된 시점 영상들을 기초로 상기 가상 시점의 영상을 합성하는 단계를 포함하되,
    시점 영상의 워핑은, 삼각형 단위로 수행되고,
    워핑된 영상 내 화소의 깊이의 값은, 상기 화소가 포함된 삼각형의 꼭지점들에 대응하는 3개의 화소들의 깊이 값을 보간하여 결정되는 것을 특징으로 하는 것을 특징으로 하는 기록 매체.
KR1020210075358A 2020-06-17 2021-06-10 워핑된 영상의 혼합을 통한 가상 시점 영상 합성 방법 및 장치 KR102576700B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/350,904 US11734792B2 (en) 2020-06-17 2021-06-17 Method and apparatus for virtual viewpoint image synthesis by mixing warped image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20200073755 2020-06-17
KR1020200073755 2020-06-17

Publications (2)

Publication Number Publication Date
KR20210156222A KR20210156222A (ko) 2021-12-24
KR102576700B1 true KR102576700B1 (ko) 2023-09-08

Family

ID=79176056

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210075358A KR102576700B1 (ko) 2020-06-17 2021-06-10 워핑된 영상의 혼합을 통한 가상 시점 영상 합성 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102576700B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230105139A (ko) * 2022-01-03 2023-07-11 한국전자통신연구원 깊이 분포 기반 워핑 영상 혼합 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120141016A1 (en) * 2010-12-03 2012-06-07 National University Corporation Nagoya University Virtual viewpoint image synthesizing method and virtual viewpoint image synthesizing system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102491674B1 (ko) * 2018-11-16 2023-01-26 한국전자통신연구원 가상시점 영상을 생성하는 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120141016A1 (en) * 2010-12-03 2012-06-07 National University Corporation Nagoya University Virtual viewpoint image synthesizing method and virtual viewpoint image synthesizing system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Chao-Hsuan Li et al., ‘A TRIANGULAR-WARPING BASED VIEW SYNTHESIS SCHEME WITH ENHANCED ARTIFACT REDUCTION FOR FTV’, 2011 18th IEEE Internatinal Conference on Image Processing, December 2011.*

Also Published As

Publication number Publication date
KR20210156222A (ko) 2021-12-24

Similar Documents

Publication Publication Date Title
US20200192201A1 (en) System and method for calibrating a display system using manual and semi-manual techniques
EP3735677A1 (en) Fusing, texturing, and rendering views of dynamic three-dimensional models
US11625861B2 (en) Point cloud colorization system with real-time 3D visualization
KR102581134B1 (ko) 광 강도 이미지를 생성하기 위한 장치 및 방법
JP2010511360A (ja) 三次元投影ディスプレイ
TW201618042A (zh) 用於產生三維影像之方法及裝置
US11276142B2 (en) Apparatus and method for synthesizing virtual viewpoint images
KR101031062B1 (ko) 복합 현실 구현을 위한 영상 투사 방법
US20070206025A1 (en) Image Processor and Method, Computer Program, and Recording Medium
WO2019050038A1 (ja) 画像生成方法および画像生成装置
KR102576700B1 (ko) 워핑된 영상의 혼합을 통한 가상 시점 영상 합성 방법 및 장치
JP7460641B2 (ja) 光強度画像を生成するための装置及び方法
US11734792B2 (en) Method and apparatus for virtual viewpoint image synthesis by mixing warped image
KR20210121669A (ko) 삼각형 기반의 선택적 워핑을 통한 가상 시점 영상 합성 방법 및 장치
KR102554697B1 (ko) 가상 시점 영상 합성 장치 및 방법
KR20230106883A (ko) Gpu 파이프라인 기반 가상시점 영상 합성 방법 및 장치
US20230245378A1 (en) Information processing apparatus, information processing method, and medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant