KR102612605B1 - 다수 전방위 영상 기반 프로젝션 다중화 영상 생성 및 재현을 위한 방법 및 그 장치 - Google Patents

다수 전방위 영상 기반 프로젝션 다중화 영상 생성 및 재현을 위한 방법 및 그 장치 Download PDF

Info

Publication number
KR102612605B1
KR102612605B1 KR1020190042540A KR20190042540A KR102612605B1 KR 102612605 B1 KR102612605 B1 KR 102612605B1 KR 1020190042540 A KR1020190042540 A KR 1020190042540A KR 20190042540 A KR20190042540 A KR 20190042540A KR 102612605 B1 KR102612605 B1 KR 102612605B1
Authority
KR
South Korea
Prior art keywords
omnidirectional
image
images
projection
information
Prior art date
Application number
KR1020190042540A
Other languages
English (en)
Other versions
KR20190118982A (ko
Inventor
정준영
윤국진
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20190118982A publication Critical patent/KR20190118982A/ko
Application granted granted Critical
Publication of KR102612605B1 publication Critical patent/KR102612605B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • G06T3/0062—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Abstract

다수의 전방위 영상을 기반으로 하는 프로젝션 다중화 영상 생성 방법 및 장치가 제공된다. 본 발명의 프로젝션 다중화 영상 생성 방법은 복수의 전방위 카메라로부터 단일 카메라 영상 및 전방위 영상 중 적어도 하나를 획득하는 단계; 상기 전방위 영상이 획득된 경우, 상기 획득된 전방위 영상을 소정의 프로젝션 포맷으로 투영하는 단계; 상기 획득된 단일 카메라 영상 및 상기 소정의 프로젝션 포맷으로 투영된 전방위 영상 중 적어도 하나 이상을 이용하여 프로젝션 다중화를 수행하는 단계; 및 상기 프로젝션 다중화를 수행함으로써 하나의 다중화된 전방위 영상을 생성하는 단계를 포함한다.

Description

다수 전방위 영상 기반 프로젝션 다중화 영상 생성 및 재현을 위한 방법 및 그 장치{METHOD AND APPARATUS FOR GENERATING AND REPRODUCING PROJECTION MULTIPLEXED IMAGE BASED ON MULTIPLE OMNIDIRECTIONAL IMAGE}
본 발명은 다수의 전방위 영상을 기반으로 프로젝션 다중화 영상을 제공하는 방법 및 장치에 관한 것이다. 구체적으로, 본 발명은 복수의 전방위 카메라로 획득된 단일 카메라 영상이나 전방위 영상의 전체 또는 잘라낸 일부분을 하나의 전방위 영상으로 프로젝션 다중화 하는 방법 및 장치에 관한 것이다.
VR(Virtual Reality) 기술의 첫 시작은 고정된 HMD(Head Mounted Display)를 통해 외부의 시각 정보를 완전히 차단한 상태에서 정면 시점에 해당하는 영상만을 보여주는 방법이었다. 이후 VR 기술은 시청자의 움직임에 따라 이에 맞는 시점 영상을 디스플레이 함으로써 보다 현장감 및 몰입감을 극대화 할 수 있는 방향으로 기술적 발전이 이루어졌다. 첫 단계로 수평 방향으로 자유롭게 좌우회전을 하며 볼 수 있는 파노라마 형태의 시청 공간이 사용자에게 제공되었고, 다음 단계에서는 구형의 시청 공간을 제공함으로써 시청자는 한 고정된 위치에서 3DoF(Degrees of Freedom) 회전운동(상하회전, 좌우회전, 전후회전)을 하면서 그에 맞는 시점 이동된 영상을 감상할 수 있게 되었다. 하지만, 시청자들은 몰입감 및 현장감이 보다 증대된 VR 콘텐츠를 시청하기를 원하며, 이의 한 방안으로써, 서로 다른 시점에 위치한 복수의 360도 카메라로 촬영한 복수의 전방위 영상을 바탕으로 시청자에게 시점 변경을 지원하는 ‘시점 변경 기술’이 고려되고 있다.
도 1a는 본 발명의 일 실시 예에 따른 복수의 전방위 카메라를 이용하여 시점 변경 콘텐츠를 획득하는 과정을 나타내는 도면이다.
촬영에 이용되는 복수의 전방위 카메라는 콘텐츠의 목적에 따라 동일한 공간 또는 서로 다른 공간에 위치할 수 있다. 예를 들어, 도 1a를 참조하면, 축구, 농구 등과 같은 스포츠 경기의 경우, 시점 변경이 경기장이라는 제한된 영역에서만 이뤄지기 때문에 모든 카메라는 동일한 공간상에 배치될 수 있다. 반면, 다양한 나라의 관광지를 둘러보는 여행 콘텐츠의 경우에는, 전혀 다른 공간으로의 시점 변경이 가능해야 하기 때문에 카메라는 서로 다른 공간 상에 위치하게 될 수 있다.
도 1b는 본 발명의 일 실시 예에 따른 복수의 전방위 카메라를 이용하여 획득된 시점 변경 콘텐츠의 시청 과정을 나타내는 도면이다.
시청자는 HMD 또는 2D 디스플레이 장치를 통해 원하는 시점에 위치한 특정 카메라를 선택하고 이에 해당하는 360도 영상을 시청할 수 있다. 이때, HMD의 경우 사용자가 화면의 특정 부분에 위치한 특정 카메라의 ID가 표시된 아이콘을 응시한 후 눈을 깜빡이거나 또는 고개를 끄덕이는 등의 행위를 함으로써 특정 카메라가 선택될 수 있다. 또한, 2D 디스플레이의 경우 사용자가 손가락 또는 리모컨을 통해 아이콘을 클릭함으로써 특정 카메라가 선택될 수 있다. 한편, 사용자가 원하는 시점의 전방위 영상을 로딩하기 위해 카메라를 전환하는 과정에서 소정의 시간만큼의 스위칭 딜레이가 발생할 수 있다. 따라서, 도 1b를 참조하면, 시청자는 여러 대의 카메라 영상을 동시에 시청할 수 없으며, 또한 스위칭 딜레이로 인해 콘텐츠의 몰입감 및 현장감이 떨어질 수 있다.
본 발명은 다수의 전방위 영상을 기반으로 프로젝션 다중화 영상 생성 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 복수의 전방위 카메라로 획득된 단일 카메라 영상이나 전방위 영상의 전체 또는 잘라낸 일부분을 하나의 전방위 영상으로 프로젝션 다중화 하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명에 따르면, 복수의 전방위 카메라로부터 단일 카메라 영상 및 전방위 영상 중 적어도 하나를 획득하는 단계; 상기 전방위 영상이 획득된 경우, 상기 획득된 전방위 영상을 소정의 프로젝션 포맷으로 투영하는 단계; 상기 획득된 단일 카메라 영상 및 상기 소정의 프로젝션 포맷으로 투영된 전방위 영상 중 적어도 하나 이상을 이용하여 프로젝션 다중화를 수행하는 단계; 및 상기 프로젝션 다중화를 수행함으로써 하나의 다중화된 전방위 영상을 생성하는 단계를 포함하는 프로젝션 다중화 영상 생성 방법이 제공될 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 발명에 따르면, 다수의 전방위 영상을 기반으로 프로젝션 다중화 영상 생성 방법 및 장치가 제공될 수 있다.
또한, 본 발명에 따르면, 복수의 전방위 카메라로 획득된 단일 카메라 영상이나 전방위 영상의 전체 또는 잘라낸 일부분을 하나의 전방위 영상으로 프로젝션 다중화 하는 방법 및 장치가 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1a는 본 발명의 일 실시 예에 따른 복수의 전방위 카메라를 이용하여 시점 변경 콘텐츠를 획득하는 과정을 나타내는 도면이다.
도 1b는 본 발명의 일 실시 예에 따른 복수의 전방위 카메라를 이용하여 획득된 시점 변경 콘텐츠의 시청 과정을 나타내는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 프로젝션 다중화 방법의 개념도를 나타내는 도면이다.
도 3은 본 발명의 일 실시 예에 따른 프로젝션 다중화시킨 전방위 영상을 이용한 서비스를 나타내는 도면이다.
도 4는 본 발명의 일 실시 예에 따른 프로젝션 다중화 영상 생성 장치의 동작을 나타내는 도면이다.
도 5a 내지 도 5d는 본 발명의 일 실시 예에 따른 ERP 형식으로 프로젝션된 서로 다른 두 개의 전방위 영상을 하나의 전방위 영상으로 프로젝션 다중화하는 과정을 나타내는 도면이다.
도 6은 본 발명의 다른 실시 예에 따른 프로젝션 다중화 영상 생성 장치의 동작을 나타내는 도면이다.
도 7은 본 발명의 일 실시 예에 따른 시청 영역에 해당하는 타일 영상을 프로젝션 다중화하여 재현하는 과정을 나타내는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다. 후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.
본 발명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 발명의 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 즉, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
본 발명의 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하고, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 2는 본 발명의 일 실시 예에 따른 프로젝션 다중화 방법의 개념도를 나타내는 도면이다. 복수의 전방위 카메라를 이용하여 획득된 단일 카메라 영상, 전방위 영상의 전체 또는 전방위 영상에서 일부 잘라낸 영상은 프로젝션 다중화 기술을 통해 하나의 전방위 영상으로 융합될 수 있다. 한편, 시청자는 기존의 VR 콘텐츠를 시청하는 방식과 마찬가지로 HMD를 착용한 상태에서 3DoF 회전운동을 하거나, 또는 2D 디스플레이 상에서 마우스 또는 손가락으로 드래그(drag)하여 서로 다른 전방위 카메라의 영상을 동시에 시청할 수 있다. 도 2를 참조하면, 서로 다른 4대의 카메라(카메라 1 내지 카메라 4)를 이용하여 획득된 4개의 전방위 영상을 프로젝션 다중화시킨 영상을 생성할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 프로젝션 다중화시킨 전방위 영상을 이용한 서비스를 나타내는 도면이다.
도 3을 참조하면, 프로젝션 다중화된 전방위 영상을 시청하는 중에 시청자가 선택한 특정 카메라의 전방위 영상이 재생되는 과정을 설명하고 있다. 시점 변경 콘텐츠를 이용한 기존의 시청 방법의 경우, 시점 변경 콘텐츠가 처음 시작되었을 때 사용자는 특정 카메라에 해당하는 전방위 영상이 이미 화면에 재생되고 있기 때문에, 어떤 카메라가 본인이 원하는 시점의 장면을 제공하고 있는지 알 수 없다. 따라서, 이를 알기 위해 각각의 비디오를 일일이 재생해봐야 하는 번거로운 과정을 수행해야 한다. 그러나, 프로젝션 다중화 된 영상을 초기 화면으로 보여주게 되면, 시청자는 각 카메라가 어떤 영상을 촬영하고 있는지를 단번에 알 수 있다. 또한, 시청자는 더욱 자세히 시청하고자 하는 영상 앞에서 고개를 흔들거나, 또는 마우스로 클릭하는 등의 별도의 인터렉션(interaction) 과정을 수행함으로써, 해당 영상을 선택할 수 있고, 따라서, 전방위로 영상을 시청할 수 있다.
도 4는 본 발명의 일 실시 예에 따른 프로젝션 다중화 영상 생성 장치의 동작을 나타내는 도면이다.
구체적으로, 도 4는 복수의 전방위 영상과 비실시간으로 생성한 프로젝션 다중화 영상을 기반으로 도 3에서 상술한 서비스를 제공하는 시스템 구조도의 동작을 나타낼 수 있다.
영상 획득 모듈(400)은 복수의 전방위 카메라로 촬영을 수행하고, 이를 이용하여 각 전방위 카메라 별로 서로 다른 시점에서의 360도 장면 정보를 포함한 복수의 단일 카메라 영상을 획득할 수 있다.
영상 전처리 모듈(402)은 영상 획득 모듈(400)에서 획득된 단일 카메라 영상에 대한 시간적인 동기화 설정, 색상 보정, 스티칭(stitching), 프로젝션(projection) 과정 등을 수행할 수 있다. 예를 들어, 시간적 동기화 설정은 녹음된 오디오 신호 또는 영상 내 객체의 움직임 정보에 기반한 알고리즘 등을 이용하여 단일 카메라간 또는 전방위 카메라간 시간적 동기화를 수행하는 것을 의미할 수 있다. 색상 보정은 카메라간의 서로 다른 물리적 특성 또는 촬영 환경에 따른 조도 차이로 인해 발생하는 색상 차이를 고르게 맞춰주는 것을 의미할 수 있다. 또한, 색상 보정은 이질감 없는 전방위 영상을 생성하기 위해 필요할 수 있다. 스티칭은 이미지 와핑(image warping) 등의 기하학적 이미지 변경 기법을 이용하여 여러 개의 단일 카메라 영상을 하나의 영상으로 이어 붙이는 과정을 의미할 수 있으며, 이때 스티칭 과정은 전방위 카메라 별로 수행될 수 있다. 프로젝션 과정은 전방위 영상을 공간감 있게 재현하기 위해 스티칭된 영상을 특정한 프로젝션 포맷으로 투영하는 과정을 의미할 수 있으며, 프로젝션 포맷의 종류에는 예컨대, ERP(Equi-rectangular Projection), CMP(Cubemap Projection), EAP(Equi-Angular Projection), ISP(Icosaheron Projection) 등의 다양한 포맷이 존재한다.
프로젝션 다중화 모듈(404)은 전방위 카메라 별 단일 카메라 영상 또는 특정 형식으로 프로젝션 된 전방위 영상을 다중화 하여 하나의 전방위 영상으로 생성할 수 있다. 상기 과정은 도 5a 내지 도 5d에서 구체적으로 후술한다.
부호화 모듈(406)은 복수의 전방위 영상과 프로젝션 다중화 된 영상을 부호화하여 각 영상의 비트스트림(bitstream)을 생성할 수 있다.
파일 세그먼트 캡슐화 모듈(408)은 각 비트스트림을 소정의 컨테이너(container) 포맷에 맞춰 세그먼트(segment) 형식으로 분할할 수 있다. 또한, 파일 세그먼트 캡슐화 모듈(408)은 상기 세그먼트 형식으로 분할된 비트스트림을 캡슐화(encapsulation)하고, 이를 전송 서버에 저장할 수 있다. 상기 소정의 컨테이너 포맷은 ISOBMFF(ISO Base Media File Format)을 포함할 수 있다.
전송 모듈(410)은 렌더링 및 디스플레이 모듈(416)로부터 시청자 인터렉션 정보(418)를 수신하고 이를 기반으로 시청자가 선택한 캡슐화된 프로젝션 다중화 영상 또는 특정 전방위 영상의 세그먼트를 클라이언트 측으로 전송할 수 있다.
파일 세그먼트 비캡슐화 모듈(412)은 전송받은 캡슐화된 세그먼트를 비캡슐화할 수 있다.
복호화 모듈(414)은 비캡슐화된 영상의 비트스트림을 복호화할 수 있다.
렌더링 및 디스플레이 모듈(416)은 복호화된 영상을 HMD 또는 2D 모니터를 통해 시청자에게 디스플레이할 수 있다.
도 5a 내지 도 5d는 본 발명의 일 실시 예에 따른 ERP 형식으로 프로젝션된 서로 다른 두 개의 전방위 영상을 하나의 전방위 영상으로 프로젝션 다중화하는 과정을 나타내는 도면이다.
도 5a는 두 개의 전방위 영상의 전체를 좌우 또는 상하 방향으로 다중화한 일 예이다. 또한, 도 5b 내지 도 5d는 각각의 전방위 영상에서 소정의 영역만을 추출하여 다중화한 일 예이다.
도 5a의 예와 같은 방법은 구현이 매우 간단하다는 장점이 있지만, 다중화된 영상에 시청자가 잘 시청하지 않는 불필요한 영역도 상대적으로 많이 포함될 수 있다. 도 5a에서 카메라 1 영상의 경우, 대부분의 시청자는 360도의 시청 공간 내에서 매력적인 주인공이 출현하는 가운데 부분을 주로 시청할 것이며, 주위 부분에는 상기 가운데 부분에 비해 상대적으로 관심을 덜 가질 것이다. 따라서, 본 발명의 일 실시 예에 따를 때, 도 5b 내지 도 5d의 예와 같이 다양한 방법으로 불필요한 영역을 잘라낼 수 있다
도 5b를 참조하면, 가운데에 위치한 주요 객체의 좌우 영역을 잘라내고 남은 가운데 영역을 다중화할 수 있다.
도 5c를 참조하면, 스윗스팟(sweet spot) 영역만을 다중화 할 수 있다. 상기 스위스팟은 전방위 영상 전체 중 시청자가 특별히 자주 보는 영역을 의미할 수 있다. 스윗스팟은 일반적으로 콘텐츠 제작자가 설정하나, 본 발명에 따를 때, 시청자의 콘텐츠 시청 정보를 통계적으로 분석하여 알아낼 수도 있다.
도 5d를 참조하면, 전방위 영상에서 왜곡이 심한 상하 부분을 잘라낸 후 남은 영상을 다중화할 수 있다. 이는 극점 부분으로 갈수록 왜곡이 심해지는 ERP 포맷의 특성을 고려한 것이다.
한편, 상기 도 5a 내지 도 5d의 4가지 방식 이외에 콘텐츠 제작자의 의도에 따라 각 전방위 영상을 다양하게 편집 및/또는 융합하여 다양한 형식의 프로젝션 다중화 영상을 생성할 수 있다. 도 5a 내지 도 5d에서 상술한 과정은 ERP 형식만을 예로 들고 있지만, 본 발명에 따를 때, CMP, EAP 형식 등 다양한 포맷으로 프로젝션된 전방위 영상들에 대해서도 적용될 수 있다. 또한, 일반적으로 시점 변경 콘텐츠의 획득에는 FoV(field of view), 화질, 초점거리 등이 동일하게 설정된 동일한 전방위 카메라 모델이 사용되지만, 다운/업 샘플링(down/up sampling), 크로핑(cropping) 등과 같은 영상 처리 과정을 통해 서로 다른 설정 또는 서로 다른 종류의 카메라로 촬영된 영상들에 대해서도 적용될 수 있다..
또한, 도 5a 내지 도 5d에서 상술한 과정은 ERP로 프로젝션된 전방위 영상을 일 예로 하였으나, 단일 카메라 영상의 경우도 상기 과정과 유사한 과정을 통해 다중화 될 수 있다.
본 발명의 일 실시 예에 따를 때, 도 4에서 상술한 프로젝션 다중화 영상을 이용한 서비스를 제공하기 위해 필요한 정보를 시그널링(signaling) 할 수 있다.
일 예로, nb_of_ovids은 프로젝션 다중화된 전방위 영상과 복수의 전방위 카메라로 각각 획득한 전방위 영상을 포함하여 서비스에 필요한 전방위 영상의 총 개수를 의미할 수 있다. 상기 정보를 이용하여 각 전방위 영상에 대해 고유의 ID를 부여할 수 있다.
다른 예로, ovid_id는 여러 개의 전방위 영상을 구분하기 위한 식별자를 의미할 수 있으며, 이를 이용하여 시청자가 특정 전방위 영상을 선택했을 때 이를 전체 360도 VR 영상으로 로딩할 수 있다. 또한, 각각의 전방위 영상에 프로젝션 형식, 가로/세로 방향의 픽셀 수 등과 같은 부가적인 정보를 부여할 수 있다.
또 다른 예로, init_ovid_id는 시청자가 시점 변경 콘텐츠를 시작했을 때 가장 먼저 재생되는 전방위 영상의 ID를 의미할 수 있다.
또 다른 예로, init_vp_flag는 시청자가 프로젝션 다중화된 영상 또는 특정 전방위 카메라의 영상을 선택했을 때, 360도 전체영역 중 가장 먼저 재생되는 부분을 식별하기 위한 정보일 수 있다.
또 다른 예로, projection_type은 각 전방위 영상의 프로젝션 포맷을 나타내는 값을 의미할 수 있으며, 렌더링 단에서 2D 영상을 3D 구 상에 매핑하기 위해 사용될 수 있다.
또 다른 예로, ocam_vid_wdth 및 ocam_vid_hgt는 각각 전방위 영상의 가로 및 세로의 총 픽셀 수를 의미할 수 있다.
또 다른 예로, mpx_type은 각 전방위 카메라로 획득한 단일 카메라 영상이나 전방위 영상의 전체 또는 일부분이 어떤 형식으로 프로젝션 다중화 되었는지를 의미할 수 있다. 예컨대, 여러 개의 영상이 가로 방향으로 결합된 경우 mpx_type 값은 0, 세로 방향으로 결합된 경우는 1로 설정될 수 있다.
또 다른 예로, mpx_vid_x_stpos/mpx_vid_y_stpos 및 mpx_vid_wdth/mpx_vid_hgt은 프로젝션 다중화 시에 각 전방위 영상에서 사용된 부분 영상의 가로/세로 시작 좌표 및 가로/세로 길이를 의미할 수 있으며, 이를 이용하여 각 전방위 영상을 기준으로 각 부분 영상의 위치 및/또는 크기 정보를 알 수 있다.
도 6은 본 발명의 다른 실시 예에 따른 프로젝션 다중화 영상 생성 장치의 동작을 나타내는 도면이다.
구체적으로, 도 6은 복수의 전방위 영상과 상기 복수의 전방위 영상을 각각 특정 크기로 분할하여 생성된 타일(tile) 영상을 기반으로 프로젝션 다중화 영상을 좀 더 고화질로 제공하기 위한 시스템 구조도의 동작을 나타낼 수 있다.
영상 획득 모듈(600)과 영상 전처리 모듈(602)의 동작은 도 4의 영상 획득 모듈(400)과 영상 전처리 모듈(402)의 동작과 동일할 수 있다.
영상 타일화 모듈(604)은 각 전방위 영상을 여러 개의 타일 영상으로 분할할 수 있다. 예컨대, 획득된 전방위 영상의 화질이 4Kx2K이면, 상기 전방위 영상을 4개의 2Kx1K 타일 영상으로 분할할 수 있다.
부호화 모듈(606)은 복수의 전방위 영상과 각 전방위 영상의 타일 영상을 각각 부호화하여 비트스트림을 생성할 수 있다. 이때, 타일의 수가 많아질수록 필요한 인코딩 파워가 증가할 수 있다.
파일 세그먼트 캡슐화 모듈(608)은 각 비트스트림을 여러 개의 세그먼트로 분할한 후 이를 캡슐화 하여 전송 서버에 저장할 수 있다.
전송 모듈(610)은 시청자 인터렉션 정보(620)를 기반으로 시청자에게 필요한 캡슐화된 타일 영상 또는 전방위 영상의 세그먼트를 클라이언트 측으로 전송할 수 있다.
본 발명의 일 실시 예에 따를 때, 도 4의 시청자 인터렉션 정보(418)는 단순히 여러 개의 전방위 영상 중 시청하고자 하는 특정 전방위 영상을 선택하기 위해 사용되는 것인 반면, 도 6의 시청자 인터렉션 정보(620)는 도 4의 시청자 인터렉션 정보(418)의 기능 이외에 시청 영역에 해당하는 특정 타일 영상을 가져오기 위한 아이 트래킹(eye tracking) 정보도 포함할 수 있다. 따라서, 도 6의 시청자 인터렉션 정보(620)는 상대적으로 수행 범위가 더 확장되었다고 할 수 있다.
파일 세그먼트 비캡슐화 모듈(612)은 전송받은 캡슐화된 세그먼트를 비캡슐화할 수 있다.
복호화 모듈(614)은 비캡슐화된 여러 개의 타일 영상 또는 특정 카메라의 전방위 영상의 비트스트림을 복호화할 수 있다. 이때, 필요한 복호화기의 수는 시청 영역에 해당하는 타일의 수와 동일할 수 있다.
프로젝션 다중화 모듈(616)은 타일 영상이 입력 값으로 들어오면 상기 타일 영상에 대한 프로젝션 다중화를 수행할 수 있다. 한편, 소정의 카메라의 전방위 영상의 경우에는 프로젝션 다중화 과정 없이 복호화 모듈(614)에서 곧바로 렌더링 및 디스플레이 모듈(618)로 전달될 수 있다.
렌더링 및 디스플레이 모듈(618)은 복호화 모듈(614)이나 프로젝션 다중화 모듈(616)에서 수신된 영상을 HMD 또는 2D 모니터를 통해 시청자에게 디스플레이할 수 있다.
도 7은 본 발명의 일 실시 예에 따른 시청 영역에 해당하는 타일 영상을 프로젝션 다중화하여 재현하는 과정을 나타내는 도면이다.
도 7을 참조하면, 전방위 영상 1의 시청영역 부분 1과 전방위 영상 2의 시청영역 부분 2를 이용하여 결합된 타일 영상을 생성할 수 있다.
본 발명에 따르면, 각 전방위 카메라의 특정 단일 카메라 영상이나 특정 포맷으로 프로젝션된 전방위 영상의 전체 또는 잘라낸 일부분을 결합하여 하나의 전방위 영상으로 생성하는 프로젝션 다중화 기법이 제공될 수 있다.
또한, 본 발명에 따르면, 2대 이상의 단일 카메라로 구성된 복수의 전방위 카메라를 활용하여 획득한 복수 개의 전방위 영상을 기반으로 시청자에게 여러 시점에서의 영상을 스위칭(switching) 하면서 보여주는 시점 변경 기술의 활용도와 몰입감을 높이기 위한 기술이 제공될 수 있다.
또한, 본 발명에 따르면, 복수의 전방위 카메라로 획득한 영상의 동시 시청을 지원하기 위해 각 전방위 카메라의 단일 카메라 영상, 특정 포맷으로 프로젝션(projection) 된 전방위 영상의 전체 또는 잘라낸 일부분을 하나의 전방위 영상으로 프로젝션 다중화하는 기술 및 다중화 영상의 재생 기술이 제공될 수 있다.
또한, 본 발명에 따르면, 복수 개의 전방위 카메라로 획득한 단일 카메라 영상, 전방위 영상의 전체 또는 잘라낸 일부분을 하나의 전방위 영상으로 프로젝션 다중화하고 상기 다중화 영상의 재현하는 방법 및 장치가 제공될 수 있다.
또한, 본 발명에 따르면, 기존의 시점 변경 서비스의 활용 분야를 확장시킬 수 있을 뿐만 아니라, 콘텐츠의 몰입감 및 현실감을 더욱 증대시킬 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (10)

  1. 전방위 영상 부호화 방법에 있어서,
    복수의 전방위 카메라로부터 복수의 전방위 영상들을 획득하는 단계;
    상기 복수의 전방위 영상들 각각을 소정의 프로젝션 포맷으로 투영하는 단계;
    상기 소정의 프로젝션 포맷으로 투영된 전방위 영상들을 기반으로 하나의 패킹 영상을 생성하는 단계; 및
    상기 패킹 영상 및 상기 패킹 영상에 대한 정보를 부호화하는 단계를 포함하되,
    상기 정보는, 상기 전방위 영상들의 개수를 지시하는 개수 정보를 포함하는, 전방위 영상 부호화 방법.
  2. 삭제
  3. 제 1항에 있어서,
    상기 정보는 상기 전방위 영상들 각각에 대한 식별 정보를 포함하는, 전방위 영상 부호화 방법.
  4. 제 1항에 있어서,
    상기 정보는 상기 복수의 전방위 영상들 중 가장 먼저 재생되는 전방위 영상을 지시하는 정보를 포함하는, 전방위 영상 부호화 방법.
  5. 전방위 영상 복호화 방법에 있어서,
    비트스트림을 복호화하여 복수 전방위 영상들에 대한 데이터를 포함하는 패킹 영상 및 상기 패킹 영상에 대한 정보를 획득하는 단계;
    상기 패킹 영상을 복호화하는 단계; 및
    상기 정보에 기초하여, 특정 시점에 대응하는 전방위 영상을 디스플레이 하는 단계를 포함하되,
    상기 정보는, 상기 복수 전방위 영상들의 개수를 지시하는 개수 정보를 포함하는, 전방위 영상 복호화 방법.
  6. 삭제
  7. 제 5항에 있어서,
    상기 정보는 상기 복수 전방위 영상들 각각의 식별 정보를 포함하는, 전방위 영상 복호화 방법.
  8. 제 5항에 있어서,
    상기 정보는 상기 복수 전방위 영상들 중 가장 먼저 재생되는 전방위 영상을 지시하는 정보를 포함하는, 전방위 영상 복호화 방법.
  9. 전방위 영상 부호화 방법에 따라 부호화되는 전방위 영상 정보를 포함하는 비트스트림을 저장한 컴퓨터 판독 가능한 기록매체로서,
    상기 전방위 영상 부호화 방법은,
    복수의 전방위 카메라로부터 복수의 전방위 영상들을 획득하는 단계;
    상기 복수의 전방위 영상들 각각을 소정의 프로젝션 포맷으로 투영하는 단계;
    상기 소정의 프로젝션 포맷으로 투영된 전방위 영상들을 기반으로 하나의 패킹 영상을 생성하는 단계; 및
    상기 패킹 영상 및 상기 패킹 영상에 대한 정보를 부호화하는 단계를 포함하되,
    상기 정보는, 상기 전방위 영상들의 개수를 지시하는 개수 정보를 포함하는,
    비트스트림을 저장한 컴퓨터 판독 가능한 기록매체.
  10. 제 9항에 있어서,
    상기 정보는, 상기 전방위 영상들 각각에 대한 식별 정보를 포함하는, 비트스트림을 저장한 컴퓨터 판독 가능한 기록매체.
KR1020190042540A 2018-04-11 2019-04-11 다수 전방위 영상 기반 프로젝션 다중화 영상 생성 및 재현을 위한 방법 및 그 장치 KR102612605B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180042007 2018-04-11
KR1020180042007 2018-04-11

Publications (2)

Publication Number Publication Date
KR20190118982A KR20190118982A (ko) 2019-10-21
KR102612605B1 true KR102612605B1 (ko) 2023-12-12

Family

ID=68460681

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190042540A KR102612605B1 (ko) 2018-04-11 2019-04-11 다수 전방위 영상 기반 프로젝션 다중화 영상 생성 및 재현을 위한 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102612605B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101431378B1 (ko) 2013-04-08 2014-08-19 포항공과대학교 산학협력단 전방위 영상의 생성 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100433625B1 (ko) * 2001-11-17 2004-06-02 학교법인 포항공과대학교 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치
KR20180029315A (ko) * 2016-09-12 2018-03-21 삼성전자주식회사 가상 현실 컨텐트의 영상을 투영하기 위한 영상 처리 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101431378B1 (ko) 2013-04-08 2014-08-19 포항공과대학교 산학협력단 전방위 영상의 생성 방법 및 장치

Also Published As

Publication number Publication date
KR20190118982A (ko) 2019-10-21

Similar Documents

Publication Publication Date Title
US10880522B2 (en) Hybrid media viewing application including a region of interest within a wide field of view
KR102258448B1 (ko) 핫스팟 및 roi 관련 메타데이터를 이용한 360도 비디오를 송수신하는 방법 및 그 장치
KR102493754B1 (ko) 감축된 해상도 이미지들을 생성 및 이용하고 및/또는 재생 또는 컨텐트 분배 디바이스에 이러한 이미지들을 통신하기 위한 방법들 및 장치
US11303966B2 (en) Content based stream splitting of video data
JP6309749B2 (ja) 画像データ再生装置および画像データ生成装置
EP3453170B1 (en) Method and apparatus for signaling region of interests
KR20210000761A (ko) 콘텐츠를 제공 및 디스플레이하기 위한 장치 및 방법
JP2015187797A (ja) 画像データ生成装置および画像データ再生装置
KR20170015938A (ko) 콘텐트를 전달 및/또는 콘텐트를 재생하기 위한 방법들 및 장치
US11178377B2 (en) Methods and apparatus for spherical region presentation
KR102649812B1 (ko) 이미지 처리 방법, 장치, 시스템, 네트워크 기기, 단말기 및 저장 매체
US10511767B2 (en) Information processing device, information processing method, and program
KR102390208B1 (ko) 멀티미디어 데이터를 전송하는 방법 및 장치
US11055917B2 (en) Methods and systems for generating a customized view of a real-world scene
KR20190011224A (ko) 6자유도 지원 360도 vr 영상 획득 및 재현을 위한 방법 및 그 장치
Podborski et al. Virtual reality and DASH
KR20200013607A (ko) 운동 시차 지원 전방위 비디오 획득/재생을 위한 방법 및 장치
WO2016167160A1 (ja) データ生成装置および再生装置
KR102612605B1 (ko) 다수 전방위 영상 기반 프로젝션 다중화 영상 생성 및 재현을 위한 방법 및 그 장치
US20150289032A1 (en) Main and immersive video coordination system and method
WO2019004073A1 (ja) 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム
JP2020101847A (ja) 画像ファイル生成装置及び画像ファイル生成方法、画像生成装置及び画像生成方法、画像生成システム、並びにプログラム
KR102413098B1 (ko) 영상 처리 방법 및 이를 이용한 영상 재생 장치
KR101773929B1 (ko) 광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법, 및 이를 위한 컴퓨터 프로그램
KR102621434B1 (ko) 미디어 리소스 재생 및 텍스트 렌더링 방법, 장치, 기기 및 저장 매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant