KR20170114160A - 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법 - Google Patents

결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법 Download PDF

Info

Publication number
KR20170114160A
KR20170114160A KR1020160041507A KR20160041507A KR20170114160A KR 20170114160 A KR20170114160 A KR 20170114160A KR 1020160041507 A KR1020160041507 A KR 1020160041507A KR 20160041507 A KR20160041507 A KR 20160041507A KR 20170114160 A KR20170114160 A KR 20170114160A
Authority
KR
South Korea
Prior art keywords
information
video streams
feature
video
decoder
Prior art date
Application number
KR1020160041507A
Other languages
English (en)
Inventor
강제원
Original Assignee
이화여자대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이화여자대학교 산학협력단 filed Critical 이화여자대학교 산학협력단
Priority to KR1020160041507A priority Critical patent/KR20170114160A/ko
Publication of KR20170114160A publication Critical patent/KR20170114160A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법은 디코더가 기준 지점에서 서로 다른 방향을 촬영한 복수의 영상 스트림 및 상기 복수의 영상 스트림 중 적어도 둘 이상의 영상 스트림에 대한 특징 정보 및 맵핑 정보를 수신하는 단계 및 상기 디코더가 상기 특징 정보 및 상기 맵핑 정보를 기준으로 상기 적어도 둘 이상의 영상 스트림을 하나의 연결된 영상으로 복호하는 단계를 포함한다.
상기 특징 정보는 상기 복수의 영상 스트림 중 서로 인접한 영역을 매칭하기 위한 정보인 결합 정보이고, 상기 맵핑 정보는 상기 복수의 영상 스트림을 전방위 영상으로 변환하기 위한 정보이다.

Description

결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법{DECODING METHOD FOR VIDEO DATA INCLUDING STITCHING INFORMATION AND ENCODING METHOD FOR VIDEO DATA INCLUDING STITCHING INFORMATION}
이하 설명하는 기술은 360도 영상에 대한 인코딩 방법 및 디코딩 방법에 관한 것이다.
멀티미디어 기술의 발달로 최근 실감 미디어에 대한 관심이 높아지고 있다. 그 중 다시점 영상은 시점이 다른 2개 이상의 다시점 카메라를 사용하여 획득한 영상을 말한다. 다시점 영상은 사용자에게 입체감 있는 영상을 제공하는데 사용된다. 나아가 최근에는 360도(전방위) 영상을 이용한 VR(가상현실) 서비스가 등장하고 있다.
이하 설명하는 기술은 복수의 다시점 영상 및 다시점 영상을 매칭하는 부가 정보를 별도로 인코딩하는 기법을 제공하고자 한다. 이하 설명하는 기술은 다른 측면에서 부가 정보를 이용하여 복수의 영상 스트림을 디코딩하는 기법을 제공하고자 한다.
결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법은 디코더가 기준 지점에서 서로 다른 방향을 촬영한 복수의 영상 스트림 및 상기 복수의 영상 스트림 중 적어도 둘 이상의 영상 스트림에 대한 특징 정보 및 맵핑 정보를 수신하는 단계 및 상기 디코더가 상기 특징 정보 및 상기 맵핑 정보를 기준으로 상기 적어도 둘 이상의 영상 스트림을 하나의 연결된 영상으로 복호하는 단계를 포함한다.
다른 측면에서 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법은 디코더가 기준 지점에서 서로 다른 방향을 촬영한 복수의 영상 스트림, 상기 복수의 영상 스트림 중 적어도 둘 이상의 영상 스트림에 대한 시차 정보, 상기 복수의 영상 스트림 중 적어도 둘 이상의 영상 스트림에 대한 특징 정보 및 상기 특징 정보를 갖는 둘 이상의 영상 스트림에 대한 맵핑 정보를 수신하는 단계 및 상기 디코더가 상기 복수의 영상 스트림 중 어느 하나를 복호하는 제1 모드, 상기 시차 정보를 기준으로 상기 복수의 영상 스트림 중 두 개의 영상 스트림을 다시점 영상으로 복호하는 제2 모드 또는 상기 특징 정보 및 상기 맵핑 정보를 기준으로 상기 복수의 영상 스트림 중 인접 영역을 나타내는 적어도 둘 이상의 영상 스트림을 하나의 연결된 영상으로 복호하는 제3 모드로 동작하는 단계를 포함한다.
결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법은 인코더가 서로 다른 방향을 촬영한 복수의 영상을 수신하는 단계, 상기 인코더가 상기 복수의 영상을 각각 별도의 비트 스트림으로 인코딩하는 단계, 상기 인코더가 상기 복수의 영상에 대해 각각 추출한 특징 정보 및 맵핑 정보를 인코딩 하는 단계를 포함한다.
상기 특징 정보는 상기 복수의 영상 스트림 중 서로 인접한 영역을 매칭하기 위한 정보인 결합 정보이고, 상기 맵핑 정보는 상기 복수의 영상 스트림을 전방위 영상으로 변환하기 위한 정보이다.
이하 설명하는 기술은 별도로 부호화된 복수의 영상 스트림과 부가 정보를 이용하여 사용자의 필요에 따라 다양한 종류의 비디오 영상을 제공한다.
도 1은 360도 영상을 전달하는 시스템을 도시한 예이다.
도 2는 360 영상을 생성하는 예이다.
도 3은 360도 영상을 전달하는 시스템을 도시한 다른 예이다.
도 4는 복수의 영상에 대한 계층적 부호 및 복호에 대한 예이다.
도 5는 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법에 대한 예이다.
도 6은 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법에 대한 다른 에이다.
도 7은 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법에 대한 또 다른 예이다.
이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.
도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.
또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
최근 VR(가상 현실) 서비스가 주목 받고 있다. VR 서비스는 기본적으로 360도 영상(전방위 영상)을 사용한다. 360도 영상(전방위 영상)은 전방위 장면을 촬영하는 카메라가 획득한 영상을 일정하게 결합한 영상이다. 스마트폰 또는 VR 전용 장치는 360도 영상을 이용하여 장치의 방향에 따라 특정 시점의 영상을 제공한다.
도 1은 360도 영상을 전달하는 시스템(100)을 도시한 예이다. 도 1은 종래의 360도 영상을 전달하는 시스템(100)에 대한 예이다. 영상 전달 시스템(100)은 360도 카메라(110), 인코더(120) 및 디코더(130)를 포함한다.
360도 카메라(110)는 특정 지점을 기준으로 서로 다른 방향(시점)의 영상을 획득하는 장치이다. 360도 카메라(110)는 기준 지점을 기준으로 서로 다른 방향을 향하는 복수의 카메라 유닛을 포함한다. 도 1에서는 구 형태의 360도 카메라(110)를 도시하였으나 360도 카메라(110)는 다양한 형태를 가질 수 있다. 360도 카메라(110)가 사용하는 복수의 카메라 유닛의 수도 다양할 수 있다.
인코더(120)는 360도 카메라(110)가 획득한 서로 다른 시점의 영상을 인코딩한다. 인코더(120)가 360도 영상을 인코딩하기 전에 360도 카메라(110)가 획득한 영상을 하나의 영상을 전처리해야한다. 전처리 과정은 복수의 영상을 일정하게 처리하여 360도 영상을 생성하는 과정에 해당한다. 인코더(120)가 전처리 과정을 수행할 수 있다. 또는 별도의 이미지 처리 장치가 전처리 과정을 수행할 수도 있다. 도 1에서는 인코더(120)가 전처리 과정을 수행하는 것으로 도시하였다. 이하 설명의 편의를 위해 인코더(120)가 전처리 과정을 수행하는 것으로 설명한다.
전처리 과정(①)은 다음과 같아 (i)인코더(120)는 서로 다른 시점인 복수의 영상(프레임)을 하나의 영상(프레임)으로 결합(stitching)한다. (ii)인코더(120)는 결합한 영상을 일정한 기준에 따라 맵핑한다. 예컨대, 인코더(120)는 equiretangular 맵핑을 수행할 수 있다. 물론 인코더(120)는 입체감 있는 영상을 생성하기 위해 다른 환경 맵핑 기법을 이용할 수도 있다. 360도 영상은 복수의 영상이 하나의 영상(프레임)으로 일정하게 결합된 것이다.
②인코더(120)는 생성한 360도 영상을 인코딩한다. 인코더(120)는 사용하는 방식(표준)에 따라 다양한 기법으로 영상을 인코딩할 수 있다. 도 1에서 인코더(120)가 생성하는 비트 스트림의 예를 도시하였다. 비트 스트림은 헤더 부분과 영상 스트림(video stream)을 포함한다. 도 1에서는 설명의 편의를 위해 헤더와 영상 스트림만을 표시한 것이다. 비트 스트림은 인코딩 방식 등에 따라 다양한 시퀀스를 추가로 가질 수 있다. 영상 스트림은 360도 영상에 대한 단일 스트림이다.
디코더(130)는 인코더(120)가 전달하는 비트 스트림에서 영상 스트림을 인코딩의 역순으로 디코딩한다. 디코더(130)는 최종적으로 비트 스트림을 360도 영상으로 디코딩한다.
도 2는 360 영상을 생성하는 예이다. 도 2는 복수의 영상으로부터 360도 영상을 생성하는 예이다. 360도 카메라는 서로 다른 시점인 복수의 영상을 획득한다. 인코더 또는 영상 처리 장치는 복수의 영상 각각에서 결합 정보를 추출한다. 결합 정보는 복수의 영상 중 서로 인접한 영상을 결합하는데 사용되는 정보이다. 예컨대, 결합 정보는 영상의 특징점, 특징 벡터 등과 같은 특징 정보를 포함한다.
결합 정보(특징 정보)는 다양한 기법을 사용하여 추출될 수 있다. 특징 정보는 SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features), LBP(Local Binary Pattern), FAST(Features from Accelerated Segment Test), ORB(Oriented FAST and Rotated BRIEF) 및 HOG(Histogram of Gradient) 중 적어도 하나를 이용하여 추출될 수 있다. 예컨대 SIFT의 경우 영상에서 코너 및 에지 등에서 특징점을 선택한 후 그를 중심으로 일정 블록 크기 영역 내에서 그레디언트(gradient)의 방향과 크기에 대한 히스토그램을 구한다. 그 후 각 빈(bin) 값들을 일정 차원 (128차원 등)의 벡터로 표현한 특징정보를 생성한다. 결합 정보(특징 정보)는 영상 처리 분야에서 사용되는 다른 기법을 사용하여 추출될 수도 있다.
도 2(a)는 결합 정보를 사용하여 복수의 영상을 결합(stitcing)한 예이다. 도 2(b)는 결합한 영상을 환경 맵핑(equiretangular 맵핑)한 예이다. 맵핑은 서로 다른 시점인 복수의 영상을 입체감 있는 전방위 영상으로 변환하는 과정에 해당한다.
도 3은 360도 영상을 전달하는 시스템(200)을 도시한 다른 예이다. 영상 전달 시스템(200)은 360도 카메라(210), 인코더(220) 및 디코더(230)를 포함한다. 360도 카메라(210)는 도 1에서 설명한 360도 카메라(110)와 동일한 장치이다.
인코더(220)는 도 1의 인코더(120)와 달리 360도 영상을 생성하지 않는다. 인코더(220)는 결합 정보 생성에 사용되는 특징 정보를 추출할 수 있다. 물론 사전에 별도의 영상 처리 장치가 복수의 영상 각각에 대해 특징 정보를 추출할 수도 있다. ① 인코더(220)는 결합 정보에 해당하는 특징 정보를 인코딩한다. ② 인코더(220)는 맵핑 방식과 관련된 파라미터 정보를 인코딩한다. ③ 인코더(220)는 복수의 영상을 각각 별도로 인코딩한다.
도 3에서 인코더(220)가 생성한 비트스트림의 예를 도시하였다. 비트 스트림은 특징 정보(feature)를 나타내는 시퀀스, 맵핑 정보를 나타내는 시퀀스, N개의 영상 스트림(video stream 1 내지 video stream N)을 포함한다. 이 때 Header 및 feature 정보는 도 3과 같이 N개의 영상 스트림에 한 번 전송할 수 있지만 각 영상 스트림 사이에 개별적으로(interleaving) 전송할 수도 있다.
① 디코더(230)는 비트 스트림에서 특징 정보, 맵핑 관련 파라미터 및 영상 스트림을 각각 디코딩한다. ② 나아가 디코더(230)는 복호한 특징 정보를 이용하여 복호한 복수의 영상을 360도 영상으로 생성할 수도 있다. 한편 별도의 영상 처리 장치가 디코더(230)가 복호한 특징 정보 및 영상 스트림을 이용하여 360도 영상을 생성할 수도 있다.
도 3와 같이 인코더(220)는 복수의 영상 스트림과 영상 스트림을 일정하게 처리하는데 사용하는 부가 정보를 전달할 수 있다. 이를 통해 인코더(220)는 소위 계층적 부호화를 수행할 수 있다. 디코더(230)는 계층적 부호화된 데이터를 이용하여 다양한 형태의 영상을 복호할 수도 있다.
도 4는 복수의 영상에 대한 계층적 부호 및 복호에 대한 예이다. ① 인코더(220)는 기본적으로 시점 별 복수의 영상(프레임)에 대한 비트 스트림(bitstream)을 인코딩한다. ② 인코더(220)는 부가적으로 다시점 영상을 생성하기 위한 다시점 정보를 포함하는 비트 스트림(extra bitstream 1)을 인코딩할 수 있다. 예컨대, 다시점 정보는 입체 영상(3D 영상)을 생성하는데 사용하는 시차 벡터 등일 수 있다. ③ 인코더(220)는 또한 360도 영상을 생성하는데 사용하는 결합 정보를 포함하는 비트 스트림(extra bitstream 2)을 인코딩할 수 있다.
인코더(220)는 복수의 영상 스트림을 순서 등에 관계 없이 식별자만 부여하여 개별적으로 인코딩할 수 있다. 나아가 인코더(220)는 종래 다시점 영상의 코딩 기법과 같이 복수의 영상 스트림의 시점간 연관성을 이용하여 일정한 순서로 영상 스트림을 인코딩할 수도 있다.
디코더(230)는 사용자의 선택이나 서비스의 종류에 따라 다양한 모드로 동작할 수 있다. ① 예컨대, 제1 모드에서 디코더(230)는 비트 스트림에서 복수의 영상 스트림 중 적어도 하나를 선택하여 디코딩할 수 있다. 즉, 하나의 시점 또는 복수의 시점의 화면을 개별적으로 디코딩하는 것이다. ② 제2 모드에서 디코더(230)는 복수의 영상에 대한 비트 스트림 중 적어도 둘 이상을 선택하여 디코딩하고, 다시점 정보를 디코딩한다. 도 4에서는 두 개의 영상을 디코딩한 예를 도시하였다. 디코더(230) 또는 별도의 영상 처리 장치는 두 개의 영상과 다시점 정보를 이용하여 깊이감 있는 3차원 영상을 생성할 수 있다. ③ 제3 모드에서 디코더(230)는 복수의 영상에 대한 비트 스트림을 모두 디코딩하고, 결합 정보를 디코딩할 수 있다. 디코더(230) 또는 별도의 영상 처리 장치는 복수의 영상과 복수의 영상에 대한 결합 정보를 이용하여 360도 영상을 생성할 수 있다.
도 5는 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법(300)에 대한 예이다. 먼저 디코더가 비트 스트림을 수신한다(310). 디코더는 비트 스트림 중 복수의 영상에 대한 스트림, 결합 정보 및 맵핑 정보를 각각 디코딩한다(320). 디코더는 복호한 결합 정보를 이용하여 인접한 복수의 영상을 서로 매칭하여 결합하고, 디코더는 맵핑 정보를 이용하여 결합한 영상을 360도 영상으로 변환한다(330). 스마트폰과 같은 모바일 단말은 수신한 비트 스트림을 디코딩하고, 디코딩한 자료를 360도 영상으로 생성하는 디코더 장치에 해당한다. 다만 경우에 따라서는 셋업 박스와 같은 디코더가 영상과 결합 정보를 디코딩하고, VR 장치와 같은 영상 처리 장치가 결합 정보를 이용하여 360도 영상을 생성할 수도 있다. 디스플레이 장치는 입력되는 방향 값(orientation)에 따라 360도 영상 중 해당 방향(특정 영역)에 대한 영상을 출력한다(340). 디스플레이 장치는 스마트폰, 태블릿 PC, 모니터, VR 장치 등을 포함한다.
도 6은 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법(400)에 대한 다른 에이다. 먼저 디코더가 비트 스트림을 수신한다(410). 디코더는 비트 스트림 중 복수의 영상에 대한 스트림, 결합 정보 및 맵핑 정보를 각각 디코딩한다(420). 이후 디코더는 방향 정보가 입력되는지 모니터링한다(430). 방향 정보는 3차원 공간에서 가속도 센서, 자이로 센서, 지자기 센서 중 적어도 하나를 이용하여 측정되는 특정 방향을 의미한다. 디코더는 특정 방향 정보가 입력되면 해당 방향 정보에 맞는 영상을 생성한다. 즉, 디코더는 방향 정보에 따라 복호한 복수의 영상 중 둘 이상의 영상을 선택하고, 결합 정보 및 맵핑 정보를 이용하여 해당 영상을 결합한다(440). 디스플레이 장치는 디코더가 결합한 영상을 출력한다(450). 도 6의 디코딩 방법(400)은 도 5와 달리 사전에 360도 영상을 생성하지 않고, 방향 정보에 따라 실시간으로 영상을 결합하여 해당 방향에 대한 영상을 생성한다. 예컨대, 사용자가 일정한 방향으로 이동하는 경우에는 각 지점에서의 360도 영상을 사전에 모두 생성하는 것보다 실시간으로 해당 방향에 대한 영상을 생성하는 것이 유리할 수도 있다.
도 7은 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법(500)에 대한 또 다른 예이다. 도 7은 도 4에서 설명한 계층적 부호 및 복호에 대한 예이다. 디코더는 복수의 영상 스트림 및 부가 정보를 포함하는 비트 스트림을 수신한다(510). 부가 정보는 결합 정보 및 맵핑 정보를 포함한다. 디코더는 사용자의 입력 또는 서비스의 종류에 따라 사전에 설정된 동작 모드로 작동한다. 디코더는 현재 설정된 동작 모두가 무엇인지 판단한다(520). 디코더는 제1 모드에서 비트 스트림에서 복수의 영상 스트림 중 적어도 하나를 선택하여 디코딩할 수 있다(530). 디코더는 제2 모드에서 복수의 영상에 대한 비트 스트림 중 적어도 둘 이상을 선택하여 디코딩하고, 다시점 정보(예컨대, 시차 정보)를 디코딩할 수 있다(540). 이후 디코더 또는 별도의 영상 처리 장치가 시차 정보를 이용하여 두 개의 영상을 다시점 영상으로 생성할 수 있다(540). 디코더는 제3 모드에서 복수의 영상에 대한 비트 스트림을 모두 디코딩하고, 결합 정보 및 맵핑 정보를 디코딩할 수 있다(550). 이후 디코더 또는 별도의 영상 처리 장치가 결합 정보를 이용하여 복수의 영상을 360도 영상으로 생성할 수 있다(550). 최종적으로 디스플레이 장치가 영상을 출력한다(560).
본 실시예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.
100 : 영상 전달 시스템
110 : 360도 카메라
120 : 인코더
130 : 디코더
200 : 영상 전달 시스템
210 : 360도 카메라
220 : 인코더
230 : 디코더

Claims (12)

  1. 디코더가 기준 지점에서 서로 다른 방향을 촬영한 복수의 영상 스트림 및 상기 복수의 영상 스트림 중 적어도 둘 이상의 영상 스트림에 대한 특징 정보 및 맵핑 정보를 수신하는 단계; 및
    상기 디코더가 상기 특징 정보 및 상기 맵핑 정보를 기준으로 상기 적어도 둘 이상의 영상 스트림을 하나의 연결된 영상으로 복호하는 단계를 포함하되,
    상기 특징 정보는 상기 복수의 영상 스트림 중 서로 인접한 영역을 매칭하기 위한 정보인 결합 정보이고, 상기 맵핑 정보는 상기 복수의 영상 스트림을 전방위 영상으로 변환하기 위한 정보인 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법.
  2. 제1항에 있어서,
    상기 특징 정보는 SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Features), LBP(Local Binary Pattern), FAST(Features from Accelerated Segment Test), ORB(Oriented FAST and Rotated BRIEF) 및 HOG(Histogram of Gradient)를 포함하는 그룹 중 적어도 하나의 기법을 사용하여 추출되는 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법.
  3. 제1항에 있어서,
    상기 특징 정보는 상기 둘 이상의 영상 스트림을 매칭하기 위한 특징점 및 특징 벡터 중 적어도 하나를 포함하는 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법.
  4. 제1항에 있어서,
    상기 복호하는 단계에서
    상기 디코더는 상기 특징 정보를 이용하여 상기 둘 이상의 영상 스트림을 하나의 영상 스트림으로 연결하는 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법.
  5. 제1항에 있어서,
    상기 디코더는 센서로부터 전달되는 방향(orientation)을 기준으로 상기 둘 이상의 영상 스트림을 선택하는 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법.
  6. 디코더가 기준 지점에서 서로 다른 방향을 촬영한 복수의 영상 스트림, 상기 복수의 영상 스트림 중 적어도 둘 이상의 영상 스트림에 대한 시차 정보, 상기 복수의 영상 스트림 중 적어도 둘 이상의 영상 스트림에 대한 특징 정보 및 상기 특징 정보를 갖는 둘 이상의 영상 스트림에 대한 맵핑 정보를 수신하는 단계;
    상기 디코더가 상기 복수의 영상 스트림 중 어느 하나를 복호하는 제1 모드, 상기 시차 정보를 기준으로 상기 복수의 영상 스트림 중 두 개의 영상 스트림을 다시점 영상으로 복호하는 제2 모드 또는 상기 특징 정보 및 상기 맵핑 정보를 기준으로 상기 복수의 영상 스트림 중 인접 영역을 나타내는 적어도 둘 이상의 영상 스트림을 하나의 연결된 영상으로 복호하는 제3 모드로 동작하는 단계를 포함하되,
    상기 특징 정보는 상기 복수의 영상 스트림 중 서로 인접한 영역을 매칭하기 위한 정보인 결합 정보이고, 상기 맵핑 정보는 상기 복수의 영상 스트림을 전방위 영상으로 변환하기 위한 정보인 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법.
  7. 제6항에 있어서,
    상기 디코더는 상기 제2 모드에서 상기 시차 정보를 기준으로 상기 복수의 영상 스트림 중 중첩되는 영역에 대한 상기 두 개의 영상 스트림을 선택하고, 선택한 상기 두 개의 영상 스트림을 복호하여 3D 영상을 생성하는 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법.
  8. 제6항에 있어서,
    상기 특징 정보는 상기 둘 이상의 영상 스트림을 매칭하기 위한 특징점 및 특징 벡터 중 적어도 하나를 포함하는 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법.
  9. 제6항에 있어서,
    상기 디코더는 상기 제3 모드에서 상기 특징 정보를 이용하여 상기 둘 이상의 영상 스트림을 하나의 영상 스트림으로 연결하는 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법.
  10. 제6항에 있어서,
    상기 디코더는 상기 제3 모드에서 센서로부터 전달되는 방향(orientation)을 기준으로 상기 둘 이상의 영상 스트림을 선택하는 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법.
  11. 인코더가 서로 다른 방향을 촬영한 복수의 영상을 수신하는 단계;
    상기 인코더가 상기 복수의 영상을 각각 별도의 비트 스트림으로 인코딩하는 단계;
    상기 인코더가 상기 복수의 영상에 대해 각각 추출한 특징 정보 및 맵핑 정보를 인코딩 하는 단계를 포함하되,
    상기 특징 정보는 상기 복수의 영상 스트림 중 서로 인접한 영역을 매칭하기 위한 정보인 결합 정보이고, 상기 맵핑 정보는 상기 복수의 영상 스트림을 전방위 영상으로 변환하기 위한 정보인 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법.
  12. 제11항에 있어서,
    상기 특징 정보는 상기 둘 이상의 영상 스트림을 매칭하기 위한 특징점 및 특징 벡터 중 적어도 하나를 포함하는 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법.
KR1020160041507A 2016-04-05 2016-04-05 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법 KR20170114160A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160041507A KR20170114160A (ko) 2016-04-05 2016-04-05 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160041507A KR20170114160A (ko) 2016-04-05 2016-04-05 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180014088A Division KR101982436B1 (ko) 2018-02-05 2018-02-05 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법

Publications (1)

Publication Number Publication Date
KR20170114160A true KR20170114160A (ko) 2017-10-13

Family

ID=60139359

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160041507A KR20170114160A (ko) 2016-04-05 2016-04-05 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법

Country Status (1)

Country Link
KR (1) KR20170114160A (ko)

Similar Documents

Publication Publication Date Title
US10600233B2 (en) Parameterizing 3D scenes for volumetric viewing
KR102157656B1 (ko) 360도 비디오를 송수신하는 방법 및 그 장치
KR101982436B1 (ko) 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법
Bertel et al. Megaparallax: Casual 360 panoramas with motion parallax
CN109361913A (zh) 用于对于头戴式显示器提供三维图像的方法和装置
CN107454468A (zh) 对沉浸式视频进行格式化的方法、装置和流
KR101538947B1 (ko) 실감형 자유시점 영상 제공 장치 및 방법
CN103238338A (zh) 3d人机接口的混合现实
EP3629585A1 (en) Image synthesis
EP3520417A1 (en) Methods, devices and stream to provide indication of mapping of omnidirectional images
CN113906761A (zh) 利用修补补片对3d场景进行编码和渲染的方法和装置
KR20150105069A (ko) 혼합현실형 가상 공연 시스템을 위한 평면 영상 입체화 합성기법
CN114071116A (zh) 视频处理方法、装置、电子设备及存储介质
US11579746B2 (en) Dynamic image capturing apparatus and method using arbitrary viewpoint image generation technology
WO2019008222A1 (en) METHOD AND APPARATUS FOR ENCODING MULTIMEDIA CONTENT
CN111726598B (zh) 图像处理方法和装置
WO2018109265A1 (en) A method and technical equipment for encoding media content
Zheng et al. Research on panoramic stereo live streaming based on the virtual reality
US20210112228A1 (en) Image data generation device, image reproducing device, image data generation method, control program, and recording medium
WO2022224112A1 (en) Inherited geometry patches
KR102647019B1 (ko) 멀티뷰 비디오 프로세싱 방법 및 장치
KR20170114160A (ko) 결합 정보를 포함하는 영상 데이터에 대한 디코딩 방법 및 결합 정보를 포함하는 영상 데이터를 인코딩 하는 방법
KR101946715B1 (ko) 360도 영상을 위한 움직임 추정에서 적응적 탐색 영역 결정 방법
EP3709659A1 (en) A method and apparatus for encoding and decoding volumetric video
US20230401752A1 (en) Techniques using view-dependent point cloud renditions

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
A107 Divisional application of patent