KR101101320B1 - Method and apparatus for extracting multi-view scalable video bitstream, and method and apparatus for generating multi-view scalable video bitstream - Google Patents

Abstract

다시점 스케일러블 비디오 비트스트림 추출/생성 기술이 개시(disclose)된다. 개시된 기술 중 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 방법은 적어도 하나의 시점들을 포함한 코딩된 영상에 대한 제1 다시점 스케일러블 비디오 비트스트림을 수신하는 단계; 상기 제1 다시점 스케일러블 비디오 비트스트림 중, 추출 대상 시점에 대응하는 적어도 하나의 비트스트림을 검색하는 단계; 상기 제1 다시점 스케일러블 비디오 비트스트림으로부터 시점 및 스케일러블 계층을 고려한 디코딩 순서에 기초하여 상기 검색된 적어도 하나의 비트스트림을 추출하는 단계; 및 상기 추출된 적어도 하나의 비트스트림을 조합하여 제2 다시점 스케일러블 비디오 비트스트림을 재구성하는 단계를 포함한다.A multiview scalable video bitstream extraction / generation technique is disclosed. A method for extracting a multiview scalable video bitstream according to an embodiment of the disclosed technique includes: receiving a first multiview scalable video bitstream for a coded image including at least one viewpoint; Searching for at least one bitstream of the first multiview scalable video bitstream corresponding to an extraction target time point; Extracting the searched at least one bitstream from the first multiview scalable video bitstream based on a decoding order considering a view and a scalable layer; And reconstructing a second multiview scalable video bitstream by combining the extracted at least one bitstream.

Description

추출 방법과 그 장치, 및 다시점 스케일러블 비디오 비트스트림 생성 방법과 그 장치{Method and apparatus for extracting multi-view scalable video bitstream, and method and apparatus for generating multi-view scalable video bitstream} Method and apparatus for extracting multi-view scalable video bitstream, and method and apparatus for generating multi-view scalable video bitstream

개시된 기술은, 비디오 인코딩/디코딩 기술에 관한 것으로, 보다 상세하지만 제한됨이 없이는(more particularly, but not exclusively), 다양한 종류의 네트워크 환경과 다양한 포맷의 단말들 - 다양한 종류의 실감형(Realistic) 디스플레이(예컨대, 스테레오스코픽 디스플레이, 다시점 디스플레이, 시점 선택형 디스플레이 등)를 지원하는 단말과 기존의 다양한 종류의 2차원 디스플레이를 지원하는 단말 등을 포함함 - 을 고려하여 영상 정보를 효율적으로 처리할 수 있는 비디오 인코딩/디코딩 기술에 관한 것이다.The disclosed technique relates to a video encoding / decoding technique, which is more particularly, but not exclusively, various kinds of network environments and terminals of various formats-various kinds of realistic displays ( For example, the terminal includes a terminal supporting stereoscopic display, a multi-view display, a view-selective display, and the like, and a terminal supporting various kinds of existing two-dimensional displays. The present invention relates to an encoding / decoding technique.

최근, 비디오 코딩 기술의 급속한 발전을 통하여, 다양한 응용 분야(예컨대, 통신, 방송, 저장매체 등)에서 사용자는 고해상도 및/또는 고화질의 영상 서비스를 향유할 수 있게 되었다. Recently, with the rapid development of video coding technology, users can enjoy high resolution and / or high quality video services in various application fields (eg, communication, broadcasting, storage media, etc.).

한편, 현재까지는 주로 2차원 평면 디스플레이 장치를 지원하거나 특정 포맷 - 예컨대, 특정 어플리케이션/전송 환경/단말에 전용적인(dedicated) 영상 포맷 - 에 한하여 지원하는 비디오 코딩 기술이 사용되고 있지만, 앞으로는 다시점 비디오 코딩 (Multi-view Video Coding : MVC) 기술과 스케일러블 비디오 코딩 (Scalable Video Coding : SVC) 기술이 급속도로 보급될 것으로 예상되고 있다.On the other hand, video coding techniques are mainly used to support two-dimensional flat panel display devices or to support a specific format, for example, a video format dedicated to a specific application / transmission environment / terminal, but in the future, multi-view video coding is used. Multi-view Video Coding (MVC) technology and Scalable Video Coding (SVC) technology are expected to spread rapidly.

개시된 기술이 이루고자 하는 기술적 과제는 다양한 종류의 네트워크 환경과 다양한 종류의 단말을 고려하여 비디오 정보를 효율적으로 처리할 수 있는 실감형 다시점 스케일러블 비디오 코딩 기술로 코딩된 비트스트림으로부터 다양한 종류의 단말이 필요로 하는 영상 정보를 선택하거나 추출하는 방법 및 영상 정보를 제공하는 방법, 그리고 이를 통해 실감형 서비스를 효율적으로 제공하는 방법을 제공하는데 있다.The technical problem to be solved by the disclosed technology is to provide various types of terminals from a bitstream coded with a realistic multiview scalable video coding technique capable of efficiently processing video information in consideration of various types of network environments and various types of terminals. The present invention provides a method of selecting or extracting required image information, a method of providing image information, and a method of efficiently providing a realistic service through the same.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 일 측면은 (a) 제1 다시점 스케일러블 비디오 비트스트림을 수신하는 단계; (b) 상기 제1 다시점 스케일러블 비디오 비트스트림 중, 추출 대상 시점에 대응하는 적어도 하나의 비트스트림을 검색하는 단계; (c) 상기 제1 다시점 스케일러블 비디오 비트스트림으로부터 시점 및 스케일러블 계층을 고려한 디코딩 순서에 기초하여 상기 검색된 적어도 하나의 비트스트림을 추출하는 단계; 및 (d) 상기 추출된 적어도 하나의 비트스트림을 조합하여, 제2 다시점 스케일러블 비디오 비트스트림을 재구성하는 단계를 포함하는 다시점 스케일러블 비디오 비트스트림 추출 방법을 제공한다.One aspect of the disclosed technology to achieve the above technical problem comprises the steps of: (a) receiving a first multiview scalable video bitstream; (b) searching for at least one bitstream of the first multiview scalable video bitstream corresponding to an extraction target time point; (c) extracting the retrieved at least one bitstream from the first multi-view scalable video bitstream based on a decoding order considering a view and a scalable layer; And (d) combining the extracted at least one bitstream to reconstruct a second multiview scalable video bitstream.

일실시예에 있어서, 상기 (b) 단계는, 상기 추출 대상 영상의 비트스트림에 대한 비트스트림 추출 정보를 설정하는 단계를 포함한다. 일실시예에 있어서, 상기 비트스트림 추출 정보를 설정하는 단계는, 입력 정보에 기초하여 상기 비트스트림 추출 정보 중 시점 추출 정보 및 스케일러블 계층 추출 정보를 설정하는 단계를 포함한다. 일실시예에 있어서, 상기 시점 추출 정보 및 스케일러블 계층 추출 정보를 설정 단계는, 상기 제1 다시점 스케일러블 비디오 비트스트림에 대한 비트스트림 요약 정보를 획득하는 단계; 및 상기 비트스트림 요약 정보에 기초하여, 상기 제1 다시점 스케일러블 비디오 비트스트림에 대한 정보로서 상기 입력 정보에 대응하는 시점 추출 정보 및 스케일러블 계층 추출 정보를 설정하는 단계를 포함한다. 일실시예 있어서, 상기 시점 추출 정보 및 스케일러블 계층 추출 정보는 상기 비트스트림 요약 정보의 시점 및 스케일러블 계층에 대한 식별 정보 중, 상기 입력 정보에 가장 근사한 값으로 설정된다.In an embodiment, the step (b) may include setting bitstream extraction information on the bitstream of the extraction target image. The setting of the bitstream extraction information may include setting viewpoint extraction information and scalable layer extraction information of the bitstream extraction information based on input information. The setting of the viewpoint extraction information and the scalable layer extraction information may include obtaining bitstream summary information of the first multiview scalable video bitstream; And setting view extraction information and scalable layer extraction information corresponding to the input information as the information on the first multiview scalable video bitstream based on the bitstream summary information. In one embodiment, the viewpoint extraction information and the scalable layer extraction information are set to values closest to the input information among the identification information on the viewpoint and the scalable layer of the bitstream summary information.

일실시예에 있어서, 상기 비트스트림 추출 정보는, 디코딩 가능한 시점 수, 공간적 해상도, 시간적 해상도, 화질을 포함하는 디코딩 성능에 관한 정보, 네트워크 상태에 관한 정보, 해당 영상에 포함된 적어도 하나의 시점에 관한 정보 및 스케일러블 계층에 관한 정보 중 적어도 하나를 포함한다.In one embodiment, the bitstream extraction information may include information about decoding performance including a number of decodeable views, spatial resolution, temporal resolution, and image quality, information about a network state, and at least one view included in a corresponding video. At least one of the information about the information and the scalable layer.

일실시예에 있어서, 상기 입력 정보는, 시점, 공간적 해상도, 시간적 해상도, 화질 중 적어도 하나에 대하여 상기 제2 다시점 스케일러블 비디오 비트스트림을 제공받는 단말기의 성능에 관한 정보이다.In one embodiment, the input information is information about a performance of a terminal receiving the second multiview scalable video bitstream with respect to at least one of a viewpoint, a spatial resolution, a temporal resolution, and an image quality.

일실시예에 있어서, 상기 비트스트림 요약 정보를 획득하는 단계는, 상기 제1 다시점 스케일러블 비디오 비트스트림 또는 상기 제1 다시점 스케일러블 비디오 비트스트림과는 별개의 비트스트림으로부터 상기 비트스트림 요약 정보를 추출하는 단계를 포함한다.In one embodiment, the step of obtaining the bitstream summary information, the bitstream summary information from the first multi-view scalable video bitstream or a bitstream separate from the first multi-view scalable video bitstream Extracting the step.

일실시예에 있어서, 상기 비트스트림 요약 정보는 영상 추출 방법 정보 및 스케일러블 계층 추출 방법 정보 중 적어도 하나를 포함한다.In one embodiment, the bitstream summary information includes at least one of image extraction method information and scalable layer extraction method information.

일실시예에 있어서, 상기 (d) 단계는, 상기 추출된 적어도 하나의 비트스트림을, 디코딩 시점 순서에 따라 조합하여 하나의 비트스트림으로 재구성하거나, 적어도 하나의 시점 집합별 비트스트림으로 재구성하는 단계를 포함한다.In an embodiment, the step (d) may include reconstructing the extracted at least one bitstream into one bitstream by combining the extracted at least one bitstream, or reconstructing the at least one set of viewpoint bitstreams. It includes.

일실시예에 있어서, 상기 다시점 스케일러블 비디오 비트스트림 추출 방법은 상기 제2 다시점 스케일러블 비디오 비트스트림을 적어도 하나의 디코더로 전송하는 단계를 더 포함한다.In one embodiment, the method for extracting a multiview scalable video bitstream further comprises transmitting the second multiview scalable video bitstream to at least one decoder.

일실시예에 있어서, 상기 다시점 스케일러블 비디오 비트스트림 추출 방법은 상기 제2 다시점 스케일러블 비디오 비트스트림을 복호화하여 적어도 하나의 시점 및 적어도 하나의 스케일러블 계층에 대한 시점들을 복원하는 단계를 더 포함한다.In one embodiment, the multi-view scalable video bitstream extraction method further includes decoding the second multi-view scalable video bitstream to restore at least one view and views for at least one scalable layer. Include.

일실시예에 있어서, 단말 네트워크가 상기 다시점 스케일러블 비디오 비트스트림 추출 방법을 구현하는 적어도 하나의 비트스트림 추출기 및 적어도 하나의 디코더를 포함하는 경우, 컨텐츠 서버로부터 상기 제1 다시점 스케일러블 비디오 비트스트림을 제공받는 적어도 하나의 단말 네트워크를 통해 다시점 스케일러블 비디오 비트스트림 제공 서비스가 구현된다. 일실시예에 있어서, 상기 비트스트림 추출기는, 상기 디코더에 포함되거나, 상기 컨텐츠 서버에 포함되거나, 상기 컨텐츠 서버와 상기 적어도 하나의 디코더 간의 네트워크 내에 위치하거나, 독립적인 비트스트림 추출 서버로 구동한다.In one embodiment, if the terminal network comprises at least one bitstream extractor and at least one decoder that implements the multiview scalable video bitstream extraction method, the first multiview scalable video bit from a content server A multiview scalable video bitstream providing service is implemented through at least one terminal network receiving a stream. In one embodiment, the bitstream extractor is included in the decoder, included in the content server, located in a network between the content server and the at least one decoder, or driven as an independent bitstream extraction server.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 다른 측면은 (a) 적어도 하나의 시점들에 대해, 시점 및 스케일러블 계층을 고려한 다시점 스케일러블 비디오 인코딩을 수행하는 단계; (b) 상기 다시점 스케일러블 비디오 인코딩에 의해 생성된 비트스트림에 대해 상기 시점에 대한 정보 및 상기 스케일러블 계층에 대한 정보 중 적어도 하나를 포함하는 비트스트림 요약 정보를 생성하는 단계; (c) 상기 생성된 비트스트림을, 상기 시점 및 스케일러블 계층을 고려한 순서에 따라 조합하여 다시점 스케일러블 비디오 비트스트림을 생성하는 단계; 및 (d) 상기 다시점 스케일러블 비디오 비트스트림 및 상기 비트스트림 요약 정보를 출력하는 단계를 포함하는 다시점 스케일러블 비디오 비트스트림 생성 방법을 제공한다.Another aspect of the disclosed technology to achieve the above technical problem comprises the steps of: (a) performing multi-view scalable video encoding considering at least one view and a scalable layer; (b) generating bitstream summary information for the bitstream generated by the multiview scalable video encoding, the bitstream summary information comprising at least one of information about the viewpoint and information about the scalable layer; (c) generating the multiview scalable video bitstream by combining the generated bitstream according to the order considering the viewpoint and the scalable layer; And (d) outputting the multiview scalable video bitstream and the bitstream summary information.

일실시예에 있어서, 상기 (b) 단계는, 상기 비트스트림 요약 정보로서 시점별 정보, 시점 추출 방법 정보 및 스케일러블 계층 정보를 포함한다.In an embodiment, the step (b) may include view-by-view information, view extraction method information, and scalable layer information as the bitstream summary information.

일실시예에 있어서, 상기 (d) 단계는, 상기 비트스트림 요약 정보를 상기 다시점 스케일러블 비디오 비트스트림과 별개의 비트스트림으로 출력하는 단계를 포함한다.In one embodiment, the step (d) includes outputting the bitstream summary information in a bitstream separate from the multiview scalable video bitstream.

일실시예에 있어서, 상기 (d) 단계는, 상기 비트스트림 요약 정보를 상기 다시점 스케일러블 비디오 비트스트림에 추가적으로 삽입하여, 상기 다시점 스케일러블 비디오 비트스트림을 출력하는 단계를 포함한다.In an embodiment, the step (d) may further include inserting the bitstream summary information into the multiview scalable video bitstream to output the multiview scalable video bitstream.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 또 다른 측면은 적어도 하나의 시점들을 포함한 코딩된 영상에 대한 제1 다시점 스케일러블 비디오 비트스트림을 수신하는 제1 다시점 스케일러블 비디오 비트스트림 수신부; 상기 제1 다시점 스케일러블 비디오 비트스트림 중, 추출 대상 시점에 대응하는 적어도 하나의 비트스트림을 검색하는 비트스트림 검색부; 상기 제1 다시점 스케일러블 비디오 비트스트림으로부터 시점 및 스케일러블 계층을 고려한 디코딩 순서에 기초하여 상기 검색된 적어도 하나의 비트스트림을 추출하는 비트스트림 추출부; 및 상기 추출된 적어도 하나의 비트스트림을 조합하여 제2 다시점 스케일러블 비디오 비트스트림을 재구성하는 제2 다시점 스케일러블 비트스트림 재구성부를 포함하는 다시점 스케일러블 비디오 비트스트림 추출 장치를 제공한다.Another aspect of the disclosed technology to achieve the above technical problem is a first multiview scalable video bitstream receiving unit for receiving a first multiview scalable video bitstream for a coded image including at least one viewpoint; A bitstream searching unit searching for at least one bitstream corresponding to an extraction target time point in the first multiview scalable video bitstream; A bitstream extracting unit configured to extract the at least one searched bitstream from the first multiview scalable video bitstream based on a decoding order considering a viewpoint and a scalable layer; And a second multiview scalable bitstream reconstruction unit for reconstructing a second multiview scalable video bitstream by combining the extracted at least one bitstream.

일실시예에 있어서, 상기 다시점 스케일러블 비디오 비트스트림 추출 장치는 상기 제2 다시점 스케일러블 비디오 비트스트림을 적어도 하나의 디코딩 단말기로 전송한다.In one embodiment, the apparatus for extracting a multiview scalable video bitstream transmits the second multiview scalable video bitstream to at least one decoding terminal.

일실시예에 있어서, 상기 다시점 스케일러블 비디오 비트스트림 추출 장치는 상기 제2 다시점 스케일러블 비디오 비트스트림을 복호화하여 적어도 하나의 시점 및 스케일러블 계층에 대한 영상들을 복원하는 다시점 스케일러블 비디오 복원부를 더 포함한다.In one embodiment, the apparatus for extracting a multiview scalable video bitstream decodes the second multiview scalable video bitstream to reconstruct images for at least one viewpoint and a scalable layer. It contains more wealth.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 또 다른 측면은 적어도 하나의 시점들을 포함한 코딩된 영상에 대해, 시점 및 스케일러블 계층을 고려한 다시점 스케일러블 비디오 인코딩을 수행하는 다시점 스케일러블 비디오 인코딩부; 상기 다시점 스케일러블 비디오 인코딩에 의해 생성된 비트스트림에 대해 상기 시점에 대한 정보 및 스케일러블 계층에 대한 정보를 포함하는 비트스트림 요약 정보를 생성하는 비트스트림 요약 정보 생성부; 상기 생성된 비트스트림을, 상기 시점 및 계층을 고려한 순서에 따라 조합하여 다시점 스케일러블 비디오 비트스트림을 생성하는 다시점 스케일러블 비디오 비트스트림 생성부; 및 상기 다시점 스케일러블 비디오 비트스트림 및 상기 비트스트림 요약 정보를 출력하는 출력부를 포함하는 다시점 스케일러블 비디오 비트스트림 생성 장치를 제공한다.Another aspect of the disclosed technology to achieve the above technical problem is a multi-view scalable video encoding unit for performing a multi-view scalable video encoding considering the viewpoint and the scalable layer to a coded image including at least one viewpoint; A bitstream summary information generator configured to generate bitstream summary information including information about the view point and information about the scalable layer with respect to the bitstream generated by the multiview scalable video encoding; A multiview scalable video bitstream generator for generating a multiview scalable video bitstream by combining the generated bitstream according to the order considering the viewpoint and the layer; And an output unit configured to output the multiview scalable video bitstream and the bitstream summary information.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 또 다른 측면은 개시된 다시점 스케일러블 비디오 비트스트림 추출 방법을 구현하는 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체를 제공한다.Another aspect of the disclosed technology to achieve the above technical problem provides a computer-readable recording medium recording a program for implementing the disclosed multi-view scalable video bitstream extraction method.

상기의 기술적 과제를 이루기 위하여 개시된 기술의 또 다른 측면은 개시된 다시점 스케일러블 비디오 비트스트림 생성 방법을 구현하는 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체를 제공한다.Another aspect of the disclosed technology to achieve the above technical problem provides a computer-readable recording medium recording a program for implementing the disclosed multi-view scalable video bitstream generation method.

유비쿼터스 환경에서 실감형 단말과 기존 2차원 단말들에게 다양한 포맷의 비디오 정보가 통합적으로 처리되어 손쉽게 변환되어 전송되고, 원하는 포맷의 영상이 추출될 수 있다.In the ubiquitous environment, video information of various formats can be integrated and processed easily and transmitted to the realistic terminal and the existing 2D terminals, and an image of a desired format can be extracted.

도 1은 다시점 비디오 코딩 기술에서 사용되는 예측 구조의 일례를 나타낸다.
도 2는 스케일러블 비디오 코딩 기술을 사용하지 않는 방식과 스케일러블 비디오 코딩 기술을 사용하는 방식을 비교 설명하기 위한 도면이다.
도 3은 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치의 블록도를 도시한다.
도 4는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 인코딩 장치의 블록도를 도시한다.
도 5는 일실시예에 따라 구현 가능한 실감형 다시점 스케일러블 비디오 서비스의 개요도를 도시한다.
도 6은 일실시예에 따른 비트스트림 추출 정보의 이용례를 도시한다.
도 7은 일실시예에 따른 시점 추출 정보 및 스케일러블 계층 추출 정보의 이용례를 도시한다.
도 8은 다른 실시예에 따라 시점 추출 정보 및 스케일러블 계층 추출 정보의 이용례를 도시한다.
도 9는 일실시예에 따른 시점별 비디오 비트스트림의 구조를 도시한다.
도 10은 일실시예에 따른 다시점 스케일러블 비디오 비트스트림의 구조를 도시한다.
도 11은 일실시예에 따라 재구성된 다시점 스케일러블 비디오 비트스트림의 구조를 도시한다.
도 12는 일실시예에 따른 비트스트림 추출 방법의 흐름도를 도시한다.
도 13은 다른 실시예에 따른 비트스트림 추출 방법의 흐름도를 도시한다.
도 14는 네트워크 상황을 고려하여 스케일러블 계층 추출 정보를 설정하는 일실시예를 도시한다.
도 15는 일실시예에 따라 필요 시점에 대응하는 날 유닛의 비트스트림 추출 방법의 흐름도를 도시한다.
도 16은 다른 실시예에 따라 추출된 시점의 스케일러블 계층별 정보에 대응하는 날 유닛의 비트스트림 추출 방법의 흐름도를 도시한다.
도 17은 일실시예에 따른 비트스트림 추출부 및 비트스트림 재구성부의 구조를 도시한다.
도 18은 다른 실시예에 따른 비트스트림 추출부 및 비트스트림 재구성부의 구조를 도시한다.
도 19는 일실시예에 따른 비트스트림 추출 및 비트스트림 재구성 방법의 흐름도를 도시한다.
도 20은 일실시예에 따른 다시점 스케일러블 비디오 디코딩의 일 방식을 도시한다.
도 21은 일실시예에 따른 다시점 스케일러블 비디오 인코딩의 일 방식을 도시한다.
도 22는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림을 제공하는 서비스 구조를 도시한다.
도 23은 다른 실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치의 블록도를 도시한다.
도 24는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치가 적용된 디코딩 장치의 블록도를 도시한다.
도 25는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 방법의 흐름도를 도시한다.
도 26은 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 인코딩 방법의 흐름도를 도시한다.
도 27은 시점 추출 정보 또는 보충적 개선 정보(SEI) 형태의 시점 추출 정보의 사용에 관한 구체적인 일실시예를 도시한다.
도 28은 추출기로 입력된 비트스트림 추출 정보와 시점 추출에 관한 비트스트림 요약 정보를 이용하여 추출될 시점을 결정하는 흐름도의 실시일예를 도시한다.
도 29는 추출기를 통해 입력된 비트스트림 추출 정보와 추출될 시점에 대응하는 스케일러블 계층에 관한 비트스트림 요약 정보를 이용하여 추출될 화질 계층을 결정하는 흐름도의 실시일예를 도시한다. 1 illustrates an example of a prediction structure used in a multiview video coding technique.
FIG. 2 is a diagram for explaining a method of not using a scalable video coding technique and a method of using a scalable video coding technique.
3 is a block diagram of an apparatus for extracting a multiview scalable video bitstream, according to an exemplary embodiment.
4 is a block diagram of an apparatus for encoding a multiview scalable video bitstream, according to an exemplary embodiment.
5 illustrates a schematic diagram of an immersive multiview scalable video service that can be implemented according to an embodiment.
6 illustrates an example of using bitstream extraction information, according to an embodiment.
7 illustrates an example of using view extraction information and scalable layer extraction information, according to an exemplary embodiment.
8 illustrates an example of using view extraction information and scalable layer extraction information according to another embodiment.
9 illustrates a structure of a video bitstream for each view, according to an exemplary embodiment.
10 illustrates a structure of a multiview scalable video bitstream, according to an embodiment.
11 illustrates a structure of a reconstructed multiview scalable video bitstream according to an embodiment.
12 is a flowchart of a bitstream extraction method, according to an embodiment.
13 is a flowchart of a bitstream extraction method according to another embodiment.
14 illustrates an embodiment of setting scalable layer extraction information in consideration of network conditions.
15 is a flowchart of a method of extracting a bitstream of a raw unit corresponding to a required time point according to an embodiment.
16 is a flowchart of a method of extracting a bitstream of a raw unit corresponding to scalable layer-specific information of an extracted view according to another embodiment.
17 illustrates structures of a bitstream extractor and a bitstream reconstruction unit, according to an embodiment.
18 illustrates structures of a bitstream extractor and a bitstream reconstruction unit according to another embodiment.
19 is a flowchart of a method of bitstream extraction and bitstream reconstruction according to an embodiment.
20 illustrates one scheme of multiview scalable video decoding according to an embodiment.
21 illustrates one scheme of multiview scalable video encoding according to an embodiment.
22 illustrates a service structure for providing a multiview scalable video bitstream, according to an embodiment.
23 is a block diagram of an apparatus for extracting a multiview scalable video bitstream according to another embodiment.
24 is a block diagram of a decoding apparatus to which a multiview scalable video bitstream extraction apparatus is applied, according to an embodiment.
25 is a flowchart of a multiview scalable video bitstream extraction method, according to an embodiment.
26 is a flowchart of a multiview scalable video bitstream encoding method, according to an embodiment.
FIG. 27 illustrates a specific embodiment of the use of viewpoint extraction information in the form of viewpoint extraction information or supplementary improvement information (SEI).
FIG. 28 illustrates an embodiment of a flowchart for determining a time point to be extracted using bitstream extraction information input to the extractor and bitstream summary information regarding time point extraction.
FIG. 29 illustrates an embodiment of a flowchart of determining an image quality layer to be extracted using bitstream abstraction information input through an extractor and bitstream summary information about a scalable layer corresponding to a point in time to be extracted.

본 발명의 실시예들에 관한 설명은 본 발명의 구조적 내지 기능적 설명들을 위하여 예시된 것에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예들에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 본 발명의 실시예들은 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.Since descriptions of embodiments of the present invention are merely illustrated for structural to functional descriptions of the present invention, the scope of the present invention should not be construed as limited by the embodiments described in the present invention. That is, the embodiments of the present invention may be variously modified and may have various forms, and thus, it should be understood to include equivalents that may realize the technical idea of the present invention.

한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.On the other hand, the meaning of the terms described in the present invention will be understood as follows.

"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로 이들 용어들에 의해 본 발명의 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as "first" and "second" are intended to distinguish one component from another component, and the scope of the present invention should not be limited by these terms. For example, the first component may be named a second component, and similarly, the second component may also be named a first component.

"및/또는"의 용어는 하나 이상의 관련 항목으로부터 제시가능 한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제1 항목, 제2 항목 및/또는 제3 항목"의 의미는 "제1 항목, 제2 항목 및 제3 항목 중 적어도 하나 이상"을 의미하는 것으로, 제1, 제2 또는 제3 항목뿐만 아니라 제1, 제2 및 제3 항목들 중 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미한다.The term “and / or” should be understood to include all combinations that can be presented from one or more related items. For example, "first item, second item, and / or third item" means "at least one or more of the first item, second item, and third item", and means first, second, or third item. A combination of all items that can be presented from two or more of the first, second and third items as well as the third item.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being "connected" to another component, it should be understood that there may be other components in between, although it may be directly connected to the other component. On the other hand, when an element is referred to as being "directly connected" to another element, it should be understood that there are no other elements in between. On the other hand, other expressions describing the relationship between the components, such as "between" and "immediately between" or "neighboring to" and "directly neighboring to", should be interpreted as well.

본 발명에서 기재된 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions described herein are to be understood to include plural expressions unless the context clearly indicates otherwise, and the terms "comprise" or "having" include elements, features, numbers, steps, operations, and elements described. It is to be understood that the present invention is intended to designate that there is a part or a combination thereof, and does not exclude in advance the possibility of the presence or addition of one or more other features or numbers, steps, actions, components, parts or combinations thereof. .

본 발명에서 기술한 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.Each step described in the present invention may occur out of the stated order unless the context clearly dictates the specific order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
Unless otherwise defined, all terms used herein have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art, and shall be interpreted as having ideal or overly formal meanings unless expressly defined in this application. Can't be.

먼저, 다시점 비디오 코딩 기술은, 기존의 비디오 국제표준인 MPEG-4 part 10 Advanced Video Coding(AVC; H.264) 방식에 기초하되 다양한 형태 안에서 일정한 간격으로 떨어져 있는 다수의 카메라로부터 입력된 복수의 시점의 비디오 영상들을 효율적으로 부호화하는 기술로서, 3차원 TV(3DTV)나 FTV(Free Viewpoint TV) 등의 실감형 디스플레이 장치를 지원한다. 이 다시점 비디오 부호화 기술에서는, 시간 방향으로는 JSVC(Joint Scalable Video Coding) 방식에서 시간적 스케일러빌리티(temporal scalability)를 지원하기 위해 수행되는 방법인 계층적 B-픽쳐(hierarchical B-pictures) 부호화가 사용되고, 시점 방향으로는 시점간 예측(inter-view prediction)이 사용된다. First, the multi-view video coding technology is based on the existing video international standard MPEG-4 part 10 Advanced Video Coding (AVC; H.264) method, but is inputted from a plurality of cameras spaced at regular intervals in various forms. As a technology for efficiently encoding video images of a viewpoint, a realistic display device such as a 3D TV (3DTV) or a free viewpoint TV (FTV) is supported. In this multi-view video encoding technique, hierarchical B-pictures coding, which is a method performed to support temporal scalability in the Joint Scalable Video Coding (JSVC) scheme, is used in the time direction. In the view direction, inter-view prediction is used.

도 1은 다시점 비디오 코딩 기술에서 사용되는 예측 구조의 일례를 나타내며, 보다 상세하게는, 8개의 시점 비디오 영상들이 존재하며, 시간 방향의 GOP(Group of Pictures)의 크기가 8 (=N)일 경우의 예측 구조를 나타낸다.1 illustrates an example of a prediction structure used in a multiview video coding technique. In detail, eight viewpoint video images exist, and a size of a GOP (group of pictures) in the time direction is 8 (= N). The prediction structure of the case is shown.

도 1에서, S0, S0, S1, S2, S3, S4, S5, S6, S7는 각각 하나의 시점(view)을 나타내고, T0, T1, T2, T3, ..., T16은 시간 상의 흐름을 나타낸다. 다시점 비디오 코딩 기술에서는, 도 1의 화살표 방향에 따라 다른 시점의 비디오 영상을 참조하는 부호화 즉, 시점 방향의 예측(시점간 예측)이 수행된다.In FIG. 1, S0, S0, S1, S2, S3, S4, S5, S6, S7 each represent one view, and T0, T1, T2, T3, ..., T16 represent the flow in time. Indicates. In the multi-view video coding technique, encoding that refers to video images of different views according to the arrow direction of FIG. 1, that is, prediction of the view direction (inter-view prediction) is performed.

다음으로, 스케일러블 비디오 코딩 방식은 ISO(International Organization for Standardization)/IEC(International Electrotechnical Commission)의 MPEG 회의에서 2004년 3월에 표준화를 시작하였고, H.264 코딩 기술을 기반으로 표준화를 수행하기로 결정된 후 2005년 1월부터 JVT (Joint Video Team)에서 표준화를 진행하였으며, 2007년 7월 표준화가 완료되어 H.264 Amendment 3이 완성되었다. 스케일러블 비디오 코딩 방식은 다양한 종류의 단말들과 다양한 전송환경에서 비디오 정보를 통합적으로 취급하기 위한 기술로써 다양한 공간적 해상도(Spatial Resolution), 다양한 프레임율(Frame-rate)과 다양한 화질(Quality)를 지원 가능한 하나의 통합된 데이터를 생성하여 다양한 전송환경과 다양한 단말들에게 데이터를 효율적으로 전송할 수 있도록 지원하는 방법이다.
Next, scalable video coding began standardization in March 2004 at the MPEG meeting of the International Organization for Standardization (ISO) / IEC (International Electrotechnical Commission) and decided to standardize on H.264 coding technology. After the decision, JVT (Joint Video Team) standardized it in January 2005. In July 2007, H.264 Amendment 3 was completed. The scalable video coding method is a technology for integrating video information in various types of terminals and various transmission environments and supports various spatial resolutions, various frame rates, and various image quality. It is a method of supporting data to be efficiently transmitted to various transmission environments and various terminals by generating one integrated data as much as possible.

도 2는 스케일러블 비디오 코딩 기술을 사용하지 않는 방식(이하, 제1 방식)과 스케일러블 비디오 코딩 기술을 사용하는 방식(이하, 제2 방식)을 비교 설명하기 위한 도면이다. 도 2에서는, 4CIF(4ㅧCommon Intermediate Format, 704ㅧ576) 해상도의 비디오 컨텐트(Content)(200)를 CIF(352ㅧ288)급의 저화질(Low Quality) 2차원 디스플레이 장치(210), CIF급 고화질(High Quality) 2차원 디스플레이 장치(220), 및 4CIF급 고화질 2차원 디스플레이 장치(230)에 각각 전달한다고 전제한다.FIG. 2 is a diagram for comparing and explaining a method of not using a scalable video coding technique (hereinafter, referred to as a first scheme) and a method of using a scalable video coding technique (hereinafter referred to as a second scheme). In FIG. 2, a video quality 200 having 4 CIF (4 × Common Intermediate Format, 704 × 576) resolution is converted into a CIF (352 × 288) class low-quality two-dimensional display device 210 or CIF class. It is assumed that the present invention is transmitted to the high quality 2D display device 220 and the 4CIF class high quality 2D display device 230, respectively.

제1 방식(240)에 따르면, 각각의 장치(210, 220, 230)의 포맷에 적합하도록 비디오 인코더들(242, 244, 246)은 각각의 인코딩 과정을 수행해서 각각의 비트스트림(252, 254, 256)을 생성해야 한다. 또한, 생성된 비트스트림들(252, 254, 256)을 모두 저장하는 전달해야 하는 복잡한 과정을 거치게 된다.According to the first scheme 240, the video encoders 242, 244, 246 perform respective encoding processes to conform to the format of the respective devices 210, 220, 230 so that each bitstream 252, 254 , 256). In addition, a complex process of transferring all the generated bitstreams 252, 254, and 256 is stored.

이에 반해 제2 방식(260)에 따르면, SVC 인코더(265)가 스케일러블 비디오 코딩 방식에 따른 인코딩 과정을 한번만 수행하여, SVC 비트스트림(275)을 생성한 후, SVC 비트스트림(275)에서 각각의 장치(210, 220, 230)에 맞도록 비트스트림을 추출 과정(285)를 거쳐 전송하면 된다.
In contrast, according to the second scheme 260, the SVC encoder 265 performs an encoding process according to the scalable video coding scheme only once to generate the SVC bitstream 275, and then, respectively, in the SVC bitstream 275. The bitstream may be transmitted through an extraction process 285 to fit the devices 210, 220, and 230 of the apparatus.

실감형 디스플레이 장치들을 지원하기 위해 다시점 영상을 효율적으로 코딩하는 방법인 다시점 비디오 코딩 표준과, 다양한 전송환경과 다양한 종류의 단말들을 통합적으로 효율적으로 코딩 전송할 수 있는 스케일러블 비디오 코딩 표준이 존재하지만, 유비쿼터스 환경에서 실감형 단말들과 기존 2차원 단말들에게 비디오 정보를 통합적으로 처리하는 방법은 현재 존재하지 않는다.Multi-view video coding standard, which is a method of efficiently coding multi-view video to support sensory display devices, and a scalable video coding standard that can efficiently and efficiently code and transmit various transmission environments and various types of terminals, In the ubiquitous environment, there is currently no method for integrating video information to realistic terminals and existing 2D terminals.

비디오 코딩 기술의 발전을 통해 사용자가 고화질, 고해상도의 비디오 정보를 접할 수 있게 되었지만, 이들은 단지 2차원 평면 디스플레이 장치를 지원하기 위한 방법일 뿐이며 사용자에게 입체감을 주거나 시점을 자유롭게 선택할 수 있도록 하는 실감형 서비스(Realistic Service)를 고려하지 않고 있다.Although advances in video coding technology have made it possible for users to access high-definition and high-definition video information, they are only ways to support two-dimensional flat panel display devices, and they are realistic services that give users a three-dimensional effect or freely select a viewpoint. (Realistic Service) is not taken into account.

또한 앞으로는 방송/통신의 융합 및 유/무선의 융합 등의 과정을 통해 다양한 전송환경 속에서 다양한 종류의 단말들이 혼재하는 유비쿼터스(Ubiquitous) 환경에서 비디오 정보를 효율적으로 전달할 수 있어야 한다. 하지만 이들 비디오 코딩 방법은 각각의 어플리케이션에서 특정한 전송환경과 특정한 단말을 대상으로 한정된 코딩을 수행하도록 설계되어 있기 때문에 효율적인 처리가 불가능하다.In the future, video information should be efficiently delivered in a ubiquitous environment in which various types of terminals are mixed in various transmission environments through processes such as convergence of broadcasting / communication and convergence of wired / wireless. However, since these video coding methods are designed to perform specific coding for a specific transmission environment and a specific terminal in each application, efficient processing is impossible.

만약 기존의 비디오 코딩 방법을 이용하여 하나의 비디오 정보를 서비스한다고 가정하면 다양한 전송환경과 단말들을 지원하기 위해 반복적으로 인코딩을 수행해야 하기 때문에 상당히 어렵고 복잡한 작업이 될 수 있음을 예상할 수 있다.If it is assumed that a single video information is serviced using a conventional video coding method, it can be expected to be a very difficult and complicated task because encoding must be repeatedly performed to support various transmission environments and terminals.

현재 실감형 콘텐츠에 대한 관심 및 사용자 욕구가 매우 높으며, 다양한 종류의 실감형 디스플레이 장치들이 상용화될 것으로 예측된다. 실감형 컨텐트에 대한 사용자의 관심은 영화산업을 중심으로 급격하게 높아지고 있으며, 현재 개인용 스테레오스코픽 디스플레이 장치나 다시점 영상 디스플레이 장치와 같은 실감형 디스플레이 장치들이 다양한 플랫폼에서 개발되고 있다.At present, interest and user desire for immersive content are very high, and various types of sensational display devices are expected to be commercialized. The user's interest in immersive content is rapidly increasing in the movie industry, and immersive display devices such as personal stereoscopic display devices and multi-view video display devices are being developed on various platforms.

따라서, 실감형 비디오 컨텐트를 다양한 전송 환경과 다양한 단말들에게 효율적으로 전달될 수 있도록, 실감형 서비스를 지원하고 다양한 전송 환경과 다양한 단말들의 다양한 포맷들을 지원하는 비디오 정보들을 통합적으로 처리하는 기술이 필요하다.
Therefore, there is a need for a technology that processes sensory services and integrates video information that supports various transmission environments and various formats of various terminals so that realistic video contents can be efficiently delivered to various transmission environments and various terminals. Do.

이하, 도 3 내지 26을 참조하여, 개시된 기술을 상세히 설명한다.
Hereinafter, the disclosed technology will be described in detail with reference to FIGS. 3 to 26.

도 3은 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치의 구성을 예시하는 블록도이다.3 is a block diagram illustrating a configuration of an apparatus for extracting a multiview scalable video bitstream, according to an exemplary embodiment.

일실시예에 있어서, 다시점 스케일러블 비디오 비트스트림 추출 장치(300)는 제1 다시점 스케일러블 비디오 비트스트림 수신부(310), 비트스트림 검색부(320), 비트스트림 추출부(330) 및 제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)를 포함한다.In an embodiment, the apparatus for extracting multiview scalable video bitstream 300 may include a first multiview scalable video bitstream receiver 310, a bitstream search unit 320, a bitstream extractor 330, and a first multiview scalable video bitstream extractor 300. And a two multiview scalable video bitstream reconstruction unit 340.

제1 다시점 스케일러블 비디오 비트스트림 수신부(310)는, 적어도 하나의 시점들을 포함한 코딩된 영상에 대한 제1 다시점 스케일러블 비디오 비트스트림을 수신한다. 제1 다시점 스케일러블 비디오 비트스트림은, 적어도 하나의 시점들을 포함한 코딩된 영상에 대하여 시점 및 스케일러블 계층을 고려한 다시점 스케일러블 비디오 인코딩을 수행하여 코딩된 비트스트림이다. 일례로, 상기 제1 다시점 스케일러블 비트스트림은, 인코딩 단에서 복수의 시점별 비디오 영상들을 부호화하되, 상기 복수의 시점별 비디오 영상들 중 적어도 하나에 대해서는 다시점 비디오 인코딩을 적용하고, 상기 복수의 시점별 비디오 영상들 중 적어도 하나에 대해서는 스케일러블 비디오 인코딩을 적용하여, 시점별 계층별 비트스트림들을 생성하는 제1 과정; 및 상기 생성된 시점별 계층별 비트스트림들을, 시점 및 계층에 기초한 미리 설정된 순서에 따라 조합하는 제2 과정을 수행하여 생성될 수 있다. 여기서, 상기 제1 과정에서 상기 복수의 시점별 비디오 영상들 중 적어도 하나에 대해서는 다시점 비디오 인코딩 및 스케일러블 비디오 인코딩이 적용될 수 있다. 또한, 제1 과정에서 다시점 비디오 코딩을 적용하는 구현 예로는, 타 시점의 비디오 영상 정보에 기초한 시점간 예측을 수행하는 것을 들 수 있으며, 제1 과정에서 스케일러블 비디오 인코딩을 적용하는 구현 예로는, 하위 계층에 대한 비디오 인코딩으로 얻어지는 코딩된 비디오 영상 정보 및 하위 계층의 코딩된 비디오 영상을 기초로 현재 계층의 비디오 영상을 부호화하는 것을 들 수 있으나, 반드시 이에 한정되는 것은 아니다.The first multiview scalable video bitstream receiver 310 receives a first multiview scalable video bitstream for a coded image including at least one viewpoint. The first multiview scalable video bitstream is a bitstream coded by performing multiview scalable video encoding considering a viewpoint and a scalable layer with respect to a coded image including at least one viewpoint. For example, the first multiview scalable bitstream encodes a plurality of viewpoint video images at an encoding stage, applies multiview video encoding to at least one of the plurality of viewpoint video images, A first process of applying scalable video encoding to at least one of view-by-view video images of the at least one view; And a second process of combining the generated bitstreams of the view-by-layer layer in a preset order based on the view-point and the layer. In the first process, multiview video encoding and scalable video encoding may be applied to at least one of the plurality of view-by-view video images. In addition, an example of implementing multi-view video coding in the first process may include performing inter-view prediction based on video image information of another viewpoint, and an example of implementing scalable video encoding in the first process For example, encoding of a video image of a current layer based on coded video image information obtained through video encoding of a lower layer and a coded video image of a lower layer is not limited thereto.

비트스트림 검색부(320)는, 제1 다시점 스케일러블 비디오 비트스트림 수신부(310)로부터 출력된 제1 다시점 스케일러블 비디오 비트스트림 중, 추출 대상 영상에 관하여 코딩된 정보 및 스케일러블 계층의 정보에 대응하는 적어도 하나의 비트스트림을 검색한다. 여기서 영상이란 픽처들의 집합일 수 있으며, 적어도 하나의 영상들은 소정 특성에 따라 구별되는 픽처 집합들을 나타낸다. 예를 들어 영상들은, 시점, 시간대 및 공간적 위치 등의 소정 특성에 따라 구별될 수 있다. 제1 다시점 스케일러블 비디오 비트스트림으로서, 복수의 시점별 영상들이 다시점 비디오 인코딩 방식에 의해 생성된 비트스트림들이 입력될 수 있다.The bitstream search unit 320 is coded information and scalable layer information about an extraction target image among the first multiview scalable video bitstreams output from the first multiview scalable video bitstream receiver 310. Retrieve at least one bitstream corresponding to. Here, the image may be a set of pictures, and at least one of the pictures represents picture sets that are distinguished according to predetermined characteristics. For example, the images may be distinguished according to certain characteristics such as viewpoint, time zone, and spatial location. As a first multiview scalable video bitstream, bitstreams in which a plurality of viewpoint images are generated by a multiview video encoding scheme may be input.

비트스트림 검색부(320)는 제1 다시점 스케일러블 비디오 비트스트림 중 추출하고자 하는 소정 영상에 관하여 코딩된 정보 또는 소정 스케일러블 계층의 정보에 대응하는 비트스트림 부분을 검색하기 위해, 비트스트림 추출 정보를 이용할 수 있다. The bitstream retrieval unit 320 retrieves the bitstream extracting information to search for a bitstream portion corresponding to the coded information or the information of the predetermined scalable layer in the first multiview scalable video bitstream. Can be used.

비트스트림 추출 정보는, 추출하고자 하는 소정 영상에 관하여 코딩된 정보를 나타내는 정보로서, 복수 개의 코딩된 영상들 중 시점에 대한 정보, 분할된 영상들 중 소정 부분의 위치에 대한 정보 등을 포함할 수 있다. The bitstream extraction information is information representing information coded with respect to a predetermined image to be extracted and may include information about a viewpoint of a plurality of coded images, information about a location of a predetermined portion of the divided images, and the like. have.

비트스트림 추출 정보는, 소정 스케일러블 계층을 나타내는 정보로서, 공간적 스케일러블 계층, 시간적 스케일러블 계층, 화질적 스케일러블 계층 등에 대한 정보 등을 포함할 수 있다.The bitstream extraction information may be information indicating a predetermined scalable layer and may include information about a spatial scalable layer, a temporal scalable layer, an imageable scalable layer, and the like.

일실시예에 따른 비트스트림 검색부(320)는, 외부로부터 입력된 비트스트림 추출 정보를 이용할 수도 있지만, 추출 대상인 시점 및 스케일러블 계층의 적어도 하나의 비트스트림에 대한 비트스트림 추출 정보를 설정할 수도 있다. 일실시예에 따른 비트스트림 검색부(320)는, 추출하고자 하는 시점 및 스케일러블 계층에 대한 입력 정보에 기초하여, 비트스트림 추출 정보 중 시점 추출 정보 및 스케일러블 계층 추출 정보를 설정할 수 있다. Although the bitstream search unit 320 according to an embodiment may use bitstream extraction information input from the outside, the bitstream search unit 320 may set bitstream extraction information on at least one bitstream of a viewpoint and a scalable layer to be extracted. . The bitstream search unit 320 according to an embodiment may set view extraction information and scalable layer extraction information among the bitstream extraction information based on input information about a view and a scalable layer to be extracted.

또한 일실시예에 따른 비트스트림 검색부(320)는, 제1 다시점 스케일러블 비디오 비트스트림에 대한 비트스트림 요약 정보를 획득하고, 입력 정보 및 비트스트림 요약 정보에 기초하여 비트스트림 추출 정보를 설정할 수 있다. In addition, the bitstream search unit 320 obtains bitstream summary information of the first multiview scalable video bitstream, and sets bitstream extraction information based on the input information and the bitstream summary information. Can be.

입력 정보에 기초하여 추출하고자 하는 시점 및 스케일러블 계층이 결정될 수 있다. 예를 들어 입력 정보는, 시점, 공간적 해상도, 시간적 해상도, 화질 중 적어도 하나에 대한 디코더의 성능에 관한 정보일 수 있다. 일실시예에 따른 비트스트림 검색부(320)는, 비트스트림 요약 정보에 기초하여 제1 다시점 스케일러블 비디오 비트스트림 중 추출하고자 하는 시점 및 스케일러블 계층에 대응하는 비트스트림의 위치를 검색할 수 있다. The view point and the scalable layer to be extracted may be determined based on the input information. For example, the input information may be information about the performance of the decoder for at least one of a viewpoint, a spatial resolution, a temporal resolution, and an image quality. According to an embodiment, the bitstream search unit 320 may search for a point in time to be extracted from the first multiview scalable video bitstream and a location of the bitstream based on the bitstream summary information. have.

예를 들어 비트스트림 요약 정보가 제1 다시점 스케일러블 비디오 비트스트림 중 시점별 비트스트림 및 스케일러블 계층별 비트스트림에 대한 식별 정보일 수 있다. 이 경우, 비트스트림 검색부(320)는, 시점별 비트스트림 및 스케일러블 계층별 비트스트림에 대한 식별 정보를 이용하여, 제1 다시점 스케일러블 비디오 비트스트림 중에서, 비트스트림 추출 정보가 나타내는 시점 및 스케일러블 계층에 대응하는 비트스트림에 가장 근사한 시점별 비트스트림 및 스케일러블 계층별 비트스트림을 검색할 수 있다.For example, the bitstream summary information may be identification information of a view-point bitstream and a scalable layer bitstream of the first multi-view scalable video bitstream. In this case, the bitstream search unit 320 uses the identification information of the view-point bitstream and the scalable layer bitstream, and includes a view point indicated by the bitstream extraction information among the first multiview scalable video bitstreams. A viewpoint-specific bitstream and a scalable layer bitstream that are closest to the bitstream corresponding to the scalable layer may be searched.

일실시예에 따른 비트스트림 추출 정보는, 네트워크 환경에 따라 갱신될 수도 있다. 예를 들어 비트스트림 추출 정보는, 단말 네크워크 내의 디코더가 디코딩 가능한 시점 수, 공간적 해상도, 시간적 해상도, 화질을 포함하는 디코딩 성능에 관한 정보, 네트워크 상태에 관한 정보, 해당 비트스트림의 하나 이상의 시점에 관한 정보 및 스케일러블 계층에 관한 정보 중 적어도 하나를 포함할 수 있다.Bitstream extraction information according to an embodiment may be updated according to a network environment. For example, the bitstream extraction information may include information about a decoding performance including a number of views decodable by a decoder in a terminal network, spatial resolution, temporal resolution, and image quality, information about a network state, and information about one or more views of a corresponding bitstream. It may include at least one of information and information about the scalable layer.

일실시예에 따른 비트스트림 검색부(320)는, 제1 다시점 스케일러블 비디오 비트스트림으로부터 비트스트림 요약 정보를 추출하거나, 제1 다시점 스케일러블 비디오 비트스트림과 함께 수신된 별개의 비트스트림으로부터 비트스트림 요약 정보를 추출할 수도 있다. According to an embodiment, the bitstream search unit 320 extracts bitstream summary information from the first multiview scalable video bitstream, or from a separate bitstream received together with the first multiview scalable video bitstream. Bitstream summary information may be extracted.

제1 다시점 스케일러블 비디오 비트스트림에 비트스트림 요약 정보가 삽입되어 있지 않은 경우, 일실시예에 따른 비트스트림 검색부(320)는 비트스트림 요약 정보를 생성할 수 있다. 또한 일실시예에 따른 비트스트림 검색부(320)는, 비트스트림 요약 정보를 외부로부터 입력받을 수도 있다.When bitstream summary information is not inserted into the first multiview scalable video bitstream, the bitstream search unit 320 may generate bitstream summary information. In addition, the bitstream search unit 320 may receive the bitstream summary information from the outside.

일실시예에 따른 비트스트림 요약 정보는 시점 추출 방법 정보 및 스케일러블 계층 추출 방법 정보 중 적어도 하나를 포함할 수 있다. 일실시예에 따른 시점 추출 방법 정보는, 제1 다시점 스케일러블 비디오 비트스트림으로부터 추출 가능한 적어도 하나의 시점들의 집합에 대한 정보를 포함할 수 있다. 일실시예에 따른 스케일러블 계층 추출 방법 정보는, 제1 다시점 스케일러블 비디오 비트스트림으로부터 추출 가능한 적어도 하나의 스케일러블 계층의 집합에 대한 정보를 포함할 수 있다. The bitstream summary information according to an embodiment may include at least one of viewpoint extraction method information and scalable layer extraction method information. The view extraction method information according to an embodiment may include information about a set of at least one view point that may be extracted from the first multiview scalable video bitstream. The scalable layer extraction method information according to an embodiment may include information about a set of at least one scalable layer extractable from the first multiview scalable video bitstream.

일실시예에 따른 비트스트림 요약 정보는 시점 추출 요약 정보 및 스케일러블 요약 정보를 포함할 수도 있다. The bitstream summary information according to an embodiment may include view extraction summary information and scalable summary information.

시점 추출 요약 정보는 시점 추출 방법 정보 및 시점별 정보를 포함할 수 있다. 일실시예에 따른 시점별 정보는, 시점 간의 예측 관계에 관한 정보 및 코딩 순서에 관한 정보 중 적어도 하나를 포함할 수 있다. The viewpoint extraction summary information may include viewpoint extraction method information and viewpoint information. The viewpoint-specific information according to an embodiment may include at least one of information about a prediction relationship between viewpoints and information about a coding order.

일실시예에 따른 스케일러블 계층 요약 정보는 스케일러블 계층 추출 방법 정보 및 해당 시점에 관한 식별 정보를 포함할 수 있다. 일실시예에 따른 스케일러블 계층 요약 정보는, 해당 시점의 스케일러블 계층이 적어도 하나의 공간적 스케일러블 계층, 적어도 하나의 시간적 스케일러블 계층, 적어도 하나의 화질적 스케일러블 계층 중 하나임을 나타내는 식별 정보를 더 포함할 수도 있다.The scalable layer summary information according to an embodiment may include scalable layer extraction method information and identification information about a corresponding time point. The scalable layer summary information according to an embodiment may include identification information indicating that the scalable layer at this time is one of at least one spatial scalable layer, at least one temporal scalable layer, and at least one quality scalable layer. It may further include.

일실시예에 따른 비트스트림 추출부(330)는, 제1 다시점 스케일러블 비디오 비트스트림 수신부(310)로부터 출력된 제1 다시점 스케일러블 비디오 비트스트림으로부터, 비트스트림 검색부(320)에 의해 검색된 적어도 하나의 비트스트림을 추출한다. 일실시예에 따른 비트스트림 추출부(330)는, 제1 다시점 스케일러블 비디오 비트스트림에 대한 시점 및 스케일러블 계층을 고려한 디코딩 순서에 기초하여, 제1 다시점 스케일러블 비디오 비트스트림으로부터 원하는 시점에 대하는 비트스트림들을 추출할 수 있다.The bitstream extractor 330 according to an embodiment may be configured by the bitstream search unit 320 from the first multiview scalable video bitstream output from the first multiview scalable video bitstream receiver 310. Extract the retrieved at least one bitstream. According to an embodiment, the bitstream extractor 330 may generate a desired viewpoint from the first multiview scalable video bitstream based on a view point of a first multiview scalable video bitstream and a decoding order considering a scalable layer. It is possible to extract the bitstreams for.

일실시예에 따른 제1 다시점 스케일러블 비디오 비트스트림은, 각각의 시간대의 시점들에 대응하는 비트스트림은 액세스 유닛(Access unit) 단위로, 각각의 시간대, 각각의 시점 및 각각의 스케일러블 계층의 비트스트림은 날 유닛(Network Abstraction Layer (NAL) unit) 단위로 구성되어 있을 수 있다. 일실시예에 따른 비트스트림 추출부(330)는, 검색된 소정 영상 및 스케일러블 계층의 날 유닛들을 추출할 수 있다.In the first multi-view scalable video bitstream according to an embodiment, the bitstream corresponding to the viewpoints of each time zone is an access unit, and each time zone, each viewpoint, and each scalable layer. The bitstream may be configured in units of network abstraction layer (NAL) units. The bitstream extractor 330 according to an embodiment may extract raw units of the searched predetermined image and the scalable layer.

일실시예에 따른 제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)는, 비트스트림 추출부(330)에 의해 추출된 적어도 하나의 비트스트림을 조합하여 제2 다시점 스케일러블 비디오 비트스트림을 재구성한다. 일실시예에 따른 제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)는, 추출된 적어도 하나의 비트스트림을, 디코딩 순서에 따라 조합하여 하나의 비트스트림으로 재구성할 수 있다. 또한 일실시예에 따른 제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)는, 적어도 하나의 시점을 포함하는 시점 집합에 대응하는 비트스트림들을 조합하여, 시점 집합별 비트스트림을 재구성할 수도 있다.According to an embodiment, the second multiview scalable video bitstream reconstruction unit 340 may combine the at least one bitstream extracted by the bitstream extractor 330 to combine the second multiview scalable video bitstream. Reconstruct The second multiview scalable video bitstream reconstruction unit 340 according to an embodiment may reconstruct the extracted at least one bitstream into one bitstream by combining the extracted bitstreams in decoding order. In addition, the second multiview scalable video bitstream reconstruction unit 340 may reconstruct a bitstream for each view set by combining bitstreams corresponding to a view set including at least one view. .

일실시예에 따른 제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)는, 제1 다시점 스케일러블 비디오 비트스트림으로부터 추출된 동일 시간대의 날 유닛의 비트스트림들이 조합된 시간대별 액세스 유닛들을, 시간 순서에 따라 조합함으로써 제2 다시점 스케일러블 비디오 비트스트림을 재구성할 수 있다.According to an embodiment, the second multiview scalable video bitstream reconstruction unit 340 may include timephased access units in which bitstreams of day units of the same time zone extracted from the first multiview scalable video bitstream are combined. By combining in chronological order, the second multiview scalable video bitstream may be reconstructed.

일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300)는, 제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)로부터 출력된 제2 다시점 스케일러블 비디오 비트스트림을 적어도 하나의 디코딩 단말기로 전송할 수 있다. The multiview scalable video bitstream extraction apparatus 300 according to an embodiment may decode at least one second multiview scalable video bitstream output from the second multiview scalable video bitstream reconstruction unit 340. Can be sent to the terminal.

일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300)는, 컨텐츠 서버로부터 제공된 제1 다시점 스케일러블 비디오 비트스트림 중, 디코딩 단말기 성능에 따라 필요한 제2 다시점 스케일러블 비디오 비트스트림을 선택적으로 제공하는 다시점 스케일러블 비디오 비트스트림 제공 서비스에서 응용될 수 있다. 즉, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300)는, 컨텐츠 서버로부터 제공된 제1 다시점 스케일러블 비디오 비트스트림으로부터 제2 다시점 스케일러블 비디오 비트스트림을 필요에 따라 선택적으로 추출하여 디코딩 단말기로 전송할 수 있다. 디코딩 단말기는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300)와 동일한 단말 네트워크 내에 위치할 수 있다. 또는 디코딩 단말기는 컨텐츠 서버와 독립적인 서버로서 작동하는 다시점 스케일러블 비디오 비트스트림 추출 장치(300)로부터 제2 다시점 스케일러블 비디오 비트스트림을 수신할 수 있다.The multiview scalable video bitstream extracting apparatus 300 according to an embodiment may include a second multiview scalable video bitstream, which is required according to decoding terminal performance, among the first multiview scalable video bitstream provided from a content server. It can be applied in a multi-view scalable video bitstream providing service selectively provided. That is, the multiview scalable video bitstream extracting apparatus 300 according to an embodiment selectively selects a second multiview scalable video bitstream from a first multiview scalable video bitstream provided from a content server as needed. It can be extracted and transmitted to the decoding terminal. The decoding terminal may be located in the same terminal network as the apparatus for extracting multiview scalable video bitstream 300 according to an embodiment. Alternatively, the decoding terminal may receive a second multiview scalable video bitstream from the multiview scalable video bitstream extraction apparatus 300 operating as a server independent of the content server.

일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300)는, 제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)로부터 출력된 제2 다시점 스케일러블 비디오 비트스트림을 복호화하여, 적어도 하나의 시점 및 적어도 하나의 스케일러블 계층에 대해 코딩된 정보들을 복원하는 다시점 스케일러블 비디오 복원부를 더 포함할 수 있다.The apparatus for extracting a multiview scalable video bitstream 300 according to an embodiment decodes the second multiview scalable video bitstream output from the second multiview scalable video bitstream reconstruction unit 340, and at least The apparatus may further include a multiview scalable video reconstruction unit for reconstructing coded information about one view and at least one scalable layer.

도 4는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 인코딩 장치의 블록도를 도시한다.4 is a block diagram of an apparatus for encoding a multiview scalable video bitstream, according to an exemplary embodiment.

일실시예에 따른 다시점 스케일러블 비디오 비트스트림 인코딩 장치(400)는, 다시점 스케일러블 비디오 인코딩부(410), 비트스트림 요약 정보 생성부(420), 다시점 스케일러블 비디오 비트스트림 생성부(430) 및 출력부(440)를 포함한다.The multiview scalable video bitstream encoding apparatus 400 according to an embodiment may include a multiview scalable video encoding unit 410, a bitstream summary information generator 420, and a multiview scalable video bitstream generator ( 430 and an output unit 440.

일실시예에 따른 다시점 스케일러블 비디오 인코딩부(410)는, 인코딩하고자 하는 적어도 하나의 영상들에 대해, 시점 및 스케일러블 계층을 고려한 다시점 스케일러블 비디오 인코딩을 수행한다. 일실시예에 따른 다시점 스케일러블 비디오 인코딩부(410)는, 복수 개의 영상에 대해 시점 방향 예측에 따른 다시점 비디오 인코딩과 함께, 계층적 스케일러빌리티에 기초한 스케일러블 비디오 인코딩을 수행할 수 있다. The multiview scalable video encoding unit 410 according to an embodiment performs multiview scalable video encoding in consideration of a viewpoint and a scalable layer to at least one image to be encoded. The multiview scalable video encoding unit 410 according to an embodiment may perform scalable video encoding based on hierarchical scalability with a multiview video encoding according to a view direction prediction for a plurality of images.

즉, 복수 개의 영상들 중 현재 영상을 인코딩하기 위해, 다른 시점 영상 정보를 참조하는 시점 방향 예측 코딩 및, 현재 영상의 현재 계층 및 하위 계층의 정보, 그리고 현재 계층 및 하위 계층 간의 계층 간 예측 정보 등을 포함하는 계층 간 정보를 이용하는 스케일러블 비디오 인코딩이 수행될 수 있다. That is, in order to encode a current image among a plurality of images, view direction prediction coding referring to other view image information, information of a current layer and a lower layer of the current image, and inter-layer prediction information between the current layer and the lower layer, etc. Scalable video encoding using inter-layer information including a may be performed.

일실시예에 따른 다시점 스케일러블 비디오 인코딩으로서, 공간적 스케일러블 비디오 인코딩, 시간적 스케일러블 비디오 인코딩 및 화질적 스케일러블 비디오 인코딩 등 다양한 종류의 스케일러빌리티 기능을 지원하는 스케일러블 인코딩들이 조합되어 수행될 수 있다.As a multi-view scalable video encoding according to an embodiment, scalable encodings supporting various types of scalability functions such as spatial scalable video encoding, temporal scalable video encoding, and quality scalable video encoding may be performed in combination. have.

일실시예에 따른 비트스트림 요약 정보 생성부(420)는, 다시점 스케일러블 비디오 인코딩부(410)에 의해 수행된 다시점 스케일러블 비디오 인코딩에 대한 해당 영상 및 해당 스케일러블 계층에 대한 정보를 포함하는 비트스트림 요약 정보를 생성할 수 있다.The bitstream summary information generator 420 according to an embodiment includes information on a corresponding image and a scalable layer of a multiview scalable video encoding performed by the multiview scalable video encoding unit 410. Bitstream summary information can be generated.

일실시예에 따른 비트스트림 요약 정보 생성부(420)는, 비트스트림 요약 정보로서 해당 비트스트림에 대응하는 시점에 대한 시점 추출 요약 정보를 생성할 수 있다. 일실시예에 따른 시점 추출 요약 정보는 시점별 정보 및 시점 추출 방법 정보를 포함할 수 있다. 또한, 일실시예에 따른 비트스트림 요약 정보 생성부(420)는, 비트스트림 요약 정보로서 해당 비트스트림에 대응하는 스케일러블 계층에 대한 스케일러블 계층 요약 정보를 생성할 수 있다. 일실시예에 따른 스케일러블 계층 요약 정보는 스케일러블 계층 추출 방법 정보 및 해당 시점에 관한 식별 정보를 포함할 수 있다. The bitstream summary information generator 420 according to an embodiment may generate viewpoint extraction summary information of a time point corresponding to the corresponding bitstream as the bitstream summary information. The view extraction summary information according to an embodiment may include view information and view extraction method information. Also, the bitstream summary information generator 420 according to an embodiment may generate scalable layer summary information of the scalable layer corresponding to the corresponding bitstream as the bitstream summary information. The scalable layer summary information according to an embodiment may include scalable layer extraction method information and identification information about a corresponding time point.

일실시예에 따른 비트스트림 요약 정보의 관련 정보들은, 앞서 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300)에서 이용되는 각종 비트스트림 요약 정보의 관련 정보들과 상응할 수 있다. The related information of the bitstream summary information according to an embodiment may correspond to the related information of various bitstream summary information used in the multi-view scalable video bitstream extracting apparatus 300 according to an embodiment.

일실시예에 따른 비트스트림 요약 정보 생성부(420)는, 비트스트림 요약 정보를 선택적으로 디코딩하기 위한 부가 정보의 형태로 생성할 수 있다. 예를 들어, 비트스트림 요약 정보는 보충적 개선 정보(Supplementary Enhancement Information (SEI))의 형태로 생성되어 다시점 스케일러블 비디오 비트스트림과 함께 제공될 수 있다.The bitstream summary information generator 420 according to an embodiment may generate the form of additional information for selectively decoding the bitstream summary information. For example, the bitstream summary information may be generated in the form of Supplementary Enhancement Information (SEI) and provided with the multiview scalable video bitstream.

일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성부(430)는, 다시점 스케일러블 비디오 인코딩부(410)에 의해 생성된 각각의 시점 및 스케일러블 계층의 비트스트림들을, 시점 및 스케일러블 계층을 고려한 순서에 따라 조합하여 다시점 스케일러블 비디오 비트스트림을 생성한다. The multiview scalable video bitstream generator 430 according to an exemplary embodiment may generate bitstreams of respective views and the scalable layer generated by the multiview scalable video encoder 410. Are combined according to the order considering the multi-view scalable video bitstream.

일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성부(430)는, 각각의 시점 및 스케일러블 계층에 대응하는 날 유닛 단위의 비트스트림들을 생성할 수 있다. 동일한 시간대의 시점 및 스케일러블 계층에 대응하는 날 유닛들끼리 나열한 비트스트림들을 액세스 유닛의 형태로 구성될 수 있다. 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성부(430)는, 각각의 시간대별 비트스트림들에 대응하는 액세스 유닛들을 시간 순서에 따라 나열하여 조합함으로써, 다시점 스케일러블 비디오 비트스트림을 생성할 수 있다. The multi-view scalable video bitstream generator 430 according to an embodiment may generate bitstreams in units of days corresponding to each view and the scalable layer. The bitstreams listed between the raw units corresponding to the viewpoints and the scalable layer of the same time zone may be configured in the form of an access unit. The multiview scalable video bitstream generator 430 according to an embodiment generates a multiview scalable video bitstream by arranging and combining access units corresponding to respective timestream bitstreams in a time sequence. can do.

일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성부(430)에 의해 생성된 다시점 스케일러블 비디오 비트스트림이, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 수신부(310)에서 수신되는 제1 다시점 스케일러블 비디오 비트스트림에 상응할 수 있다.A multiview scalable video bitstream generated by the multiview scalable video bitstream generator 430 according to an embodiment is received by the multiview scalable video bitstream receiver 310 according to an embodiment. 1 may correspond to a multiview scalable video bitstream.

일실시예에 따른 출력부(440)는, 다시점 스케일러블 비디오 인코딩부(410)로부터 출력된 다시점 스케일러블 비디오 비트스트림 및 비트스트림 요약 정보 생성부(420)로부터 출력된 비트스트림 요약 정보를 출력할 수 있다. The output unit 440 according to an exemplary embodiment may output the multiview scalable video bitstream and the bitstream summary information output from the bitstream summary information generator 420 output from the multiview scalable video encoding unit 410. You can print

일실시예에 따른 출력부(440)는, 비트스트림 요약 정보를 다시점 스케일러블 비디오 비트스트림과 별개의 비트스트림으로 출력할 수 있다. 별개의 비트스트림들은 각각 별개의 채널을 통해 전송될 수도 있으며, 하나의 채널을 통해 순서대로 전송될 수도 있다. The output unit 440 may output the bitstream summary information as a bitstream separate from the multiview scalable video bitstream. Separate bitstreams may be transmitted through separate channels, or may be sequentially transmitted through one channel.

또한, 일실시예에 따른 출력부(440)는, 다시점 스케일러블 비디오 비트스트림에 비트스트림 요약 정보를 추가적으로 삽입하여, 다시점 스케일러블 비디오 비트스트림을 출력할 수 있다.
In addition, the output unit 440 may output the multiview scalable video bitstream by additionally inserting bitstream summary information into the multiview scalable video bitstream.

일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성 장치(400)에 의해, 기존 2차원 디스플레이, 스테레오스코픽 디스플레이, 다시점 영상 디스플레이, 자유로운 시점 선택형 디스플레이 등을 포함하는 다양한 시점, QVGA, SD, HD, Full HD 등을 포함하는 다양한 화면 크기, VCD, DVD, HDTV 등을 포함하는 다양한 화질, 5Hz, 15Hz, 30Hz, 60Hz 등을 포함하는 다양한 시간적 해상도 등의 다양한 포맷의 컨텐트가 인코딩되어 비트스트림으로 전송될 수 있다. By the multi-view scalable video bitstream generating apparatus 400 according to an embodiment, various viewpoints including a conventional two-dimensional display, a stereoscopic display, a multi-view image display, a free view selectable display, QVGA, SD, HD, etc. Content in a variety of formats, including various screen sizes including full HD, full HD, various video quality including VCD, DVD, HDTV, and various temporal resolutions including 5Hz, 15Hz, 30Hz, 60Hz, etc. Can be.

또한, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성 장치(400)에 의해, 디코딩하고자 하는 영상에 대응하는 비트스트림을 추출하기 위해 참고할 수 있는 비트스트림 요약 정보가 다시점 스케일러블 비디오 코딩된 비트스트림과 함께 전송됨으로써, 디코딩단에서는 원하는 포맷의 컨텐트에 대응하는 비트스트림만 추출되어 디코딩될 수 있다.In addition, by the multi-view scalable video bitstream generating apparatus 400 according to an embodiment, the bitstream summary information that may be referred to to extract a bitstream corresponding to the image to be decoded is multi-view scalable video coded. By being transmitted with the bitstream, the decoding end may extract and decode only the bitstream corresponding to the content of the desired format.

또한, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300)에 의해, 수신된 다시점 스케일러블 비디오 비트스트림으로부터 비트스트림들을 선택적으로 추출함으로써, 원하는 포맷의 컨텐트가 복원될 수 있다. 이에 따라, 다양한 시점, 다양한 화면 크기, 다양한 화질, 다양한 시간적 해상도를 지원할 수 있는 다양한 디코딩 단말에게 각각의 환경에 맞는 컨텐트가 제공될 수 있다.Further, by selectively extracting bitstreams from the received multiview scalable video bitstream by the multiview scalable video bitstream extracting apparatus 300 according to an embodiment, content of a desired format may be restored. Accordingly, content suitable for each environment may be provided to various decoding terminals capable of supporting various viewpoints, various screen sizes, various image quality, and various temporal resolutions.

따라서, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300) 및 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성 장치(400)에 의해 구현되는 다시점 스케일러블 비디오 코딩 방식에 따라, 다양한 시점, 다양한 화면 크기, 다양한 화질, 다양한 시간적 해상도를 지원할 수 있는 디스플레이 장치들에게 각각의 포맷에 적합한 컨텐트가 제공될 수 있으며, 다양한 포맷의 영상 정보가 코딩되어 조합된 하나의 다시점 스케일러블 비디오 비트스트림를 통해 통합적으로 처리되어 효율적으로 전송 및 수신될 수 있다. Therefore, according to the multi-view scalable video bitstream extracting apparatus 300 and the multi-view scalable video bitstream generating apparatus 400 according to an embodiment according to a multi-view scalable video coding scheme implemented In addition, content suitable for each format may be provided to display devices capable of supporting various viewpoints, various screen sizes, various image quality, and various temporal resolutions. Through the video bitstream, it can be integrated and efficiently transmitted and received.

또한, 다시점 스케일러블 비디오 비트스트림으로부터 원하는 포맷의 시점에 대응하는 비트스트림을 추출하기 위한 추출 정보가 제공됨으로써, 다양한 단말들은 다시점 스케일러블 비디오 비트스트림을 효과적으로 디코딩하여 원하는 포맷의 컨텐트를 복원할 수 있다.
Further, by providing extraction information for extracting a bitstream corresponding to a viewpoint of a desired format from the multiview scalable video bitstream, various terminals effectively decode the multiview scalable video bitstream to restore content of a desired format. Can be.

도 5는 일실시예에 따라 구현 가능한 실감형 다시점 스케일러블 비디오 서비스의 개요도를 도시한다.5 illustrates a schematic diagram of an immersive multiview scalable video service that can be implemented according to an embodiment.

일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300) 및 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성 장치(400)가 이용하는 다시점 스케일러블 비디오 비트스트림은, 다양한 시점, 다양한 해상도, 다양한 화질, 다양한 프레임율을 지원할 수 있어, 실감형 비디오 컨텐트를 다양한 전송 환경과 다양한 단말들에게 효율적으로 전달될 수 있다.The multi-view scalable video bitstream extracting apparatus 300 and the multi-view scalable video bitstream generating apparatus 400 according to an embodiment may use various views and various views. The resolution, various image quality, and various frame rates can be supported, so that realistic video content can be efficiently delivered to various transmission environments and various terminals.

실감형 다시점 스케일러블 비디오 서비스(500)에 의해, HD급 해상도의 다시점 영상 컨텐트(510)를 이용한 다양한 포맷의 비디오 컨텐트들이 제공될 수 있다. 실감형 다시점 스케일러블 비디오 서비스(500) 중 인코더 동작 단계(520)는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성 장치(400)에 의해 구현될 수 있으며, 비트스트림 추출 단계(540)는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300)에 의해 구현될 수 있다.By the realistic multiview scalable video service 500, video content of various formats using the multiview image content 510 of HD resolution may be provided. The encoder operation step 520 of the realistic multiview scalable video service 500 may be implemented by the multiview scalable video bitstream generation apparatus 400 according to an embodiment, and the bitstream extraction step 540. May be implemented by the multi-view scalable video bitstream extraction apparatus 300 according to an embodiment.

인코더 동작 단계(520)는 HD급 해상도의 다시점 영상 컨텐트(510)에 대해 한번의 인코딩을 수행하여 비트스트림(530)을 생성한다. 비트스트림은 비트스트림 추출 단계(540)로 전송되어, 다양한 해상도, 다양한 화질, 다양한 시간적 해상도, 다양한 시점을 지원하는 디스플레이 장치들에게 각각의 환경에 맞도록 비트스트림이 추출된다.The encoder operation step 520 generates a bitstream 530 by performing a single encoding on the multi-view video content 510 of HD resolution. The bitstream is transmitted to the bitstream extraction step 540, and the bitstream is extracted to fit the environment to display devices supporting various resolutions, various image quality, various temporal resolutions, and various viewpoints.

추출된 비디오 컨텐트들 중 저화질 및 고정 시점의 비디오 컨텐트는 소형 2차원 디스플레이 장치(550)로 제공될 수 있으며, 고화질 및 고정 시점의 비디오 컨텐트는 소형 2차원 디스플레이 장치(551)로, 고화질 및 고정 시점의 비디오 컨텐트는 SD급 2차원 디스플레이 장치(552)로, 고화질 및 고정 시점의 비디오 컨텐트는 HD급 2차원 디스플레이 장치(553)로 제공되어 재생될 수 있다.Among the extracted video contents, the low quality and fixed view video content may be provided to the small 2D display device 550, and the high definition and fixed view video content may be provided to the small 2D display device 551. The video content may be provided to the SD class 2D display device 552 and the high quality and fixed view video content may be provided to the HD class 2D display device 553 for playback.

또한, 추출된 비디오 컨텐트들 중 고화질 및 시점 선택형 비디오 컨텐트는 HD급 2차원 디스플레이 장치(554)로 제공될 수 있으며, 고화질의 비디오 컨텐트는 소형 스테레오 디스플레이 장치(555)로, HD급 스테레오 디스플레이 장치(556) 및 다시점 디스플레이 장치(558)로, 저화질 비디오 컨텐트는 다시점 디스플레이 장치(557)로 제공되어 재생될 수 있다. 이 중 디스플레이 장치들(554, 555, 556, 557, 558)는 실감형 디스플레이 장치들로서, 다시점 비디오 컨텐트를 재생할 수 있다.In addition, high-definition and view-selectable video content among the extracted video content may be provided to the HD-level two-dimensional display device 554, and the high-definition video content to the small stereo display device 555, the HD-level stereo display device ( 556 and the multi-view display device 558, the low quality video content may be provided to the multi-view display device 557 and played back. The display devices 554, 555, 556, 557, and 558 are realistic display devices, and may play multi-view video content.

일실시예에 따른 실감형 다시점 스케일러블 비디오 서비스(500)에 따라 다양한 종류의 어플리케이션들이 손쉽게 지원될 수 있게 된다. 시점의 종류로는, 기존 2차원 디스플레이, 스테레오스코픽 디스플레이 다시점 영상 디스플레이 장치, 자유로운 시점 선택형 디스플레이 등이 있으며, 화질의 종류로는 QVGA, SD, HD, Full HD 등이 있고, 화질의 종류로는 VCD, DVD, HDTV 등이 있고, 프레임율의 종류로는 5Hz, 15Hz, 30Hz, 60Hz 등이 있다.Various kinds of applications may be easily supported according to the realistic multi-view scalable video service 500 according to an embodiment. Types of viewpoints include conventional two-dimensional displays, stereoscopic display multi-view video display devices, free viewpoint selectable displays, and the types of image quality include QVGA, SD, HD, and Full HD. There are VCD, DVD, HDTV, and the like, and frame rates include 5 Hz, 15 Hz, 30 Hz, and 60 Hz.

일실시예에 따른 실감형 다시점 스케일러블 비디오 서비스(500)에 의해 유비쿼터스 컴퓨팅 환경 내에서, 다양한 시점, 다양한 화질, 다양한 해상도, 다양한 프레임율이 통합적으로 지원될 수 있으며, 또한 효율적으로 각각의 환경에 적합한 비디오 컨텐트들이 전달될 수 있다.In the ubiquitous computing environment, the realistic multi-view scalable video service 500 according to an embodiment may support various viewpoints, various image quality, various resolutions, and various frame rates in an integrated manner. Video content suitable for.

도 6 내지 8을 참조하여 다양한 실시예들에 따른 비트스트림 추출 정보의 이용례에 대해 상술된다.An example of using bitstream extraction information according to various embodiments is described in detail with reference to FIGS. 6 to 8.

도 6은 일실시예에 따른 비트스트림 추출 정보의 이용례를 도시한다.6 illustrates an example of using bitstream extraction information, according to an embodiment.

다시점 스케일러블 비디오 비트스트림 추출 모듈(600)은, 다시점 스케일러블 비트스트림을 입력으로 받고, 추출하고자 하는 정보를 확인하여 입력된 다시점 스케일러블 비디오 비트스트림의 일부를 추출하여 출력한다. The multiview scalable video bitstream extraction module 600 receives a multiview scalable bitstream as an input, checks information to be extracted, and extracts and outputs a part of the input multiview scalable video bitstream.

일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 모듈(600)은, 입력된 다시점 스케일러블 비디오 비트스트림으로부터, 소정 영상에 관해 코딩된 시점 및 소정 스케일러블 계층의 비트스트림을 선택하여 추출할 수 있다. 예를 들어 다시점 스케일러블 비디오 비트스트림 추출 모듈(600)은 단일 시점의 기본 계층의 비트스트림만을 추출할 수 있다. 또한 다시점 스케일러블 비디오 비트스트림 추출 모듈(600)은, 단일 시점의 다양한 스케일러블 계층들의 비트스트림, 다양한 시점들의 단일 스케일러블 계층의 비트스트림, 다양한 시점들의 단일 스케일러블 계층의 비트스트림, 다양한 시점들의 다양한 스케일러블 계층들의 비트스트림 등, 다양한 포맷의 비트스트림들을 선택적으로 추출하는 실시예들로 구현될 수 있다. The multiview scalable video bitstream extraction module 600 according to an embodiment selects and extracts a coded view and a bitstream of a predetermined scalable layer with respect to a predetermined image from an input multiview scalable video bitstream. Can be. For example, the multi-view scalable video bitstream extraction module 600 may extract only the bitstream of the base layer of a single view. Also, the multi-view scalable video bitstream extraction module 600 may include a bitstream of various scalable layers of a single view, a bitstream of a single scalable layer of various views, a bitstream of a single scalable layer of various views, and various views. It can be implemented in embodiments that selectively extract the bitstreams of various formats, such as the bitstream of the various scalable layers.

예를 들어, 다시점 스케일러블 비디오 비트스트림 추출 모듈(600)은, 2개의 공간적 계층들과 각각의 공간적 계층별로 2개의 화질적 계층들을 지원하고 8개의 시점들을 지원하는 다시점 스케일러블 비디오 비트스트림을 입력받고, 다시점 스케일러블 비디오 비트스트림으로부터 4개의 시점들과 공간적 기본 계층에서 화질적 상위 계층까지만 추출하여 출력할 수 있다.For example, the multiview scalable video bitstream extraction module 600 supports two spatial layers and two image quality layers for each spatial layer and supports eight viewpoints. In this example, only four view points and a spatial base layer to a higher quality layer may be extracted and output from the multiview scalable video bitstream.

추출된 비트스트림은, 기존 비디오 코딩 표준에 의해서 디코딩이 가능한 비트스트림이 될 수 있다. 일 예로 단일 시점 및 단일 계층(기본 계층)으로 추출된 비트스트림은 H.264/AVC (MPEG-4 Part 10 Advanced Video Coding) 비디오 코딩 표준에 따르는 디코더로 디코딩이 가능하며, 단일 시점 및 다양한 스케일러블 계층을 포함한 비트스트림은 SVC (Scalable Video Coding, H.264 Amendment 3) 비디오 코딩 표준에 따르는 디코더로 디코딩이 가능하고, 다양한 시점 및 기본 계층을 포함한 비트스트림은 MVC (Multi-view Video Coding, H.264 Amendment 4) 비디오 코딩 표준에 따르는 디코더로 디코딩이 가능하다.The extracted bitstream may be a bitstream decodable by the existing video coding standard. For example, a bitstream extracted to a single view and a single layer (base layer) can be decoded by a decoder according to the MPEG-4 Part 10 Advanced Video Coding (H.264 / AVC) video coding standard. The bitstream including the layer can be decoded by a decoder conforming to the SVC (Scalable Video Coding, H.264 Amendment 3) video coding standard, and the bitstream including the various viewpoints and the base layer is multi-view video coding, H. 264 Amendment 4) Decoder can be decoded according to video coding standard.

다시점 스케일러블 비디오 비트스트림 추출 모듈(600)로 입력되는 비트스트림 추출 정보는 어느 비트스트림을 추출할지에 대한 기본 정보가 되며, 다양한 형식의 정보가 입력될 수 있다. 일실시예에 따른 비트스트림 추출 정보는 디코더 성능 정보들을 포함할 수 있다. 예를 들어 디코더 성능 정보는, 디코더에서 지원 가능한 해상도, 디코더의 디스플레이 시점의 개수, 디코더의 최대 프레임율 등에 관한 정보들이 될 수 있다. The bitstream extraction information input to the multiview scalable video bitstream extraction module 600 becomes basic information on which bitstream to extract, and various types of information may be input. Bitstream extraction information according to an embodiment may include decoder performance information. For example, the decoder performance information may be information about a resolution supported by the decoder, the number of display time points of the decoder, the maximum frame rate of the decoder, and the like.

또한, 일실시예에 따른 비트스트림 추출 정보는 다시점 스케일러블 비디오 비트스트림 제공 서비스가 구축된 네트워크의 전송률 등, 네트워크 상태에 대한 정보를 포함할 수 있다. 또한, 일실시예에 따른 비트스트림 추출 정보는 해당 다시점 스케일러블 비디오 비트스트림의 시점 식별 번호 정보, 스케일러블 계층의 식별 번호 정보 등을 포함할 수도 있다.In addition, the bitstream extraction information according to an embodiment may include information about a network state, such as a transmission rate of a network in which a multiview scalable video bitstream providing service is built. Further, the bitstream extraction information according to an embodiment may include view identification number information of the multiview scalable video bitstream, identification number information of the scalable layer, and the like.

도 7은 일실시예에 따른 영상 추출 정보 및 스케일러블 계층 추출 정보의 이용례를 도시한다.7 illustrates an example of using image extraction information and scalable layer extraction information, according to an exemplary embodiment.

일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 모듈(700)은 시점 추출 모듈(710) 및 스케일러블 계층 추출 모듈(720)을 포함한다. 다시점 스케일러블 비디오 비트스트림 추출 모듈(700)에 입력된 다시점 스케일러블 비디오 비트스트림이 입력되고, 시점 추출 모듈(710)을 통해 다시점 스케일러블 비디오 비트스트림으로부터 시점별 비트스트림이 추출될 수 있고, 시점별 비트스트림은 스케일러블 계층 추출 모듈(720)을 통해 다시 스케일러블 계층별 비트스트림으로 추출될 수 있다. The multiview scalable video bitstream extraction module 700 according to an embodiment includes a viewpoint extraction module 710 and a scalable layer extraction module 720. A multiview scalable video bitstream input to the multiview scalable video bitstream extraction module 700 may be input, and a viewpoint bitstream may be extracted from the multiview scalable video bitstream through the view extraction module 710. In addition, the view-point bitstream may be extracted back into the scalable layer bitstream through the scalable layer extraction module 720.

시점 추출 모듈(710)은 시점 추출 정보를 이용하여, 다시점 스케일러블 비디오 비트스트림이 포함하고 있는 M개 시점들 중 일부를 선택하여 추출할 수 있다. 일례로, 복수 개의 시점들에 대응하는 비트스트림이 조합된 다시점 스케일러블 비디오 비트스트림들로부터 일부의 시점들에 대응하는 비트스트림들이 추출될 수 있으며, 다른 예로 복수 개의 시점별 비트스트림으로부터 일부의 시점별 비트스트림이 추출될 수도 있다. 다른 실시예로, 시점 추출 모듈(710)은 시점 추출 정보를 이용하여, 분할된 복수 개의 시점으로 구성된 비트스트림 중 일부의 시점을 추출할 수 있다. The viewpoint extraction module 710 may select and extract some of M viewpoints included in the multiview scalable video bitstream using the viewpoint extraction information. For example, bitstreams corresponding to some viewpoints may be extracted from multi-view scalable video bitstreams in which bitstreams corresponding to the plurality of viewpoints are combined. Per-view bitstreams may be extracted. In another embodiment, the view extracting module 710 may extract a view of a part of a bitstream composed of a plurality of divided views using the view extracting information.

일실시예에 따른 시점 추출 정보는, 추출 대상인 시점의 식별 번호 정보, 추출 대상인 시점의 개수 정보 등을 포함할 수 있다. 일실시예에 따르는 시점 추출 정보는 시점들 간의 예측 관계에 관한 정보를 포함할 수 있다. 예를 들어 추출 대상인 시점이 다른 시점을 참조하여 예측 코딩되었다면, 시점 추출 모듈(710)의 일실시예는 입력된 추출 대상 시점의 식별 번호 정보를 이용하여 해당 시점에 대응하는 비트스트림을 추출하면서, 디코딩 과정에서 현재 시점의 참조 정보로 사용하기 위해 다른 시점에 대응하는 비트스트림을 추가로 추출할 수 있다. The viewpoint extraction information according to an embodiment may include identification number information of a viewpoint to be extracted, information on the number of viewpoints to be extracted, and the like. The viewpoint extraction information according to an embodiment may include information about a prediction relationship between viewpoints. For example, if the viewpoint to be extracted is predictively coded with reference to another viewpoint, an embodiment of the viewpoint extraction module 710 extracts a bitstream corresponding to the viewpoint using the identification number information of the input extraction target viewpoint, In the decoding process, a bitstream corresponding to another view may be further extracted to use as reference information of the current view.

일실시예에 따른 시점 추출 모듈(710)은, 입력된 시점 추출 정보를 이용하여 해당 시점에 대응하는 비트스트림을 추출할 수 없다는 내용을 출력하고 추출 과정을 종료할 수도 있다. 일실시예에 따른 시점 추출 모듈(710)은, 다시점 비디오 디코딩 수행시 참조 시점으로 사용하기 위해서 추가로 추출되는 다른 시점에 대응되는 비트스트림은 출력을 위한 비트스트림이 아님을 명시하는 내용을 포함하여 추출할 수도 있다.The viewpoint extracting module 710 according to an embodiment may output a content indicating that the bitstream corresponding to the viewpoint may not be extracted using the input viewpoint extraction information, and may end the extraction process. The view extraction module 710 according to an embodiment includes content that specifies that a bitstream corresponding to another view additionally extracted for use as a reference view when performing multiview video decoding is not a bitstream for output. It can also be extracted.

일실시예에 따른 추출 대상인 시점의 개수 정보가 이용되는 경우, 시점 추출 모듈(710)은 시점들 간의 코딩 순서를 분석하고, 시점들 간의 코딩 순서대로 비트스트림을 추출할 수 있다. When the information on the number of viewpoints to be extracted according to an embodiment is used, the viewpoint extraction module 710 may analyze a coding order between viewpoints and extract a bitstream in a coding order between viewpoints.

일실시예에 따른 시점 추출 모듈(710)은, 시점 추출 정보 중 추출 대상 시점 개수에 최적화된 시점 추출 방법 정보를 이용하여 해당 시점들의 비트스트림들을 추출할 수 있다. The viewpoint extraction module 710 according to an embodiment may extract bitstreams of corresponding viewpoints by using viewpoint extraction method information optimized for the number of viewpoints to be extracted from the viewpoint extraction information.

일실시예에 따른 시점 추출 정보는, 추출 대상 시점의 갯수에 적합한 최적화되도록 설정될 수 있다. 일실시예에 따라 추출 대상 시점에 따라 최적화된 시점 추출 정보는, 다시점 스케일러블 비디오 비트스트림에 삽입되어 있을 수 있으며, 외부로부터 입력될 수도 있다.The viewpoint extraction information according to an embodiment may be set to be optimized to be suitable for the number of viewpoints to be extracted. According to an embodiment, view extraction information optimized according to an extraction target view may be inserted into a multiview scalable video bitstream, or may be input from the outside.

일실시예에 따른 시점 추출 모듈(710)로부터 추출된 시점별 비트스트림들은 다시 스케일러블 계층 추출 모듈(720)로 입력되고, 다시점 스케일러블 계층 추출 모듈(720)은 스케일러블 계층 추출 정보를 이용하여 스케일러블 계층별 비트스트림을 추출할 수 있다. 일실시예에 다른 스케일러블 계층 추출 정보는 공간적 계층, 화질적 계층, 시간적 계층 등의 스케일러블 계층 식별 번호 정보, 공간적 해상도, 프레임율 또는 비트레이트와 같은 디코딩 단말의 동작 환경에 대한 정보 등을 포함할 수 있다. Per-view bitstreams extracted from the view extraction module 710 according to an embodiment are input back to the scalable layer extraction module 720, and the multiview scalable layer extraction module 720 uses the scalable layer extraction information. In this way, a bitstream for each scalable layer may be extracted. In another embodiment, the scalable layer extraction information includes scalable layer identification number information such as a spatial layer, an image quality layer, and a temporal layer, and information about an operating environment of a decoding terminal such as spatial resolution, frame rate, or bit rate. can do.

일실시예에 따른 스케일러블 계층 추출 모듈(720)은, 비트스트림에 기록된 스케일러블 계층 식별 번호에 기초하여 추출 대상인 스케일러블 계층의 비트스트림을 선택할 수 있다. The scalable layer extraction module 720 according to an embodiment may select a bitstream of the scalable layer to be extracted based on the scalable layer identification number recorded in the bitstream.

또한, 일실시예에 따른 스케일러블 계층 추출 모듈(720)은, 공간적 해상도, 프레임율, 비트레이트와 같은 디코딩 단말의 동작 환경에 대한 정보를 수록한 외부 입력 정보를, 비트스트림에 삽입되어 있는 스케일러블 계층 요약 정보와 비교하여, 비트스트림에 기록된 스케일러블 계층 요약 정보 중 추출 대상 계층과 가장 근접한 계층을 검색하여 추출할 수 있다. In addition, the scalable layer extraction module 720 according to an embodiment includes a scale in which external input information including information about an operating environment of a decoding terminal, such as spatial resolution, frame rate, and bit rate, is inserted into a bitstream. In comparison with the scalable layer summary information, the layer closest to the extraction target layer may be searched for and extracted from the scalable layer summary information recorded in the bitstream.

일실시예에 따른 스케일러블 계층 추출 모듈(720)은, 추출된 시점별 비트스트림마다 독립적으로 스케일러블 계층별 비트스트림을 추출 할 수 있다. According to an embodiment, the scalable layer extraction module 720 may independently extract the scalable layer bitstream for each extracted time-point bitstream.

일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 모듈(700)은 시점별로 각각 다른 종류의 스케일러블 계층의 비트스트림을 추출할 수 있다. 예를 들어, 제1 시점 비트스트림으로부터는 화질적 계층의 비트스트림이 추출되고, 제2 시점 비트스트림으로부터는 다른 공간적 계층의 비트스트림을 추출될 수 있다. 또한, 시점별 비트스트림으로부터 각각 다른 화질적(공간적, 시간적) 계층의 비트스트림이 추출될 수도 있다. 또한, 추출된 시점별 비트스트림으로부터 모두 동일한 스케일러블 계층의 비트스트림이 추출될 수도 있다.The multiview scalable video bitstream extraction module 700 according to an embodiment may extract bitstreams of different types of scalable layers for respective views. For example, a bitstream of an image quality layer may be extracted from the first view bitstream, and a bitstream of another spatial layer may be extracted from the second view bitstream. In addition, bitstreams of different image quality (spatial and temporal) layers may be extracted from the view point bitstreams. In addition, bitstreams of the same scalable layer may be extracted from the extracted view-point bitstreams.

도 8은 다른 실시예에 따라 시점 추출 정보 및 스케일러블 계층 추출 정보의 이용례를 도시한다.8 illustrates an example of using view extraction information and scalable layer extraction information according to another embodiment.

일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 모듈(800)은, 시점 추출 모듈(810), 추출 정보 분석 모듈(820) 및 스케일러블 계층 추출 모듈(830)을 포함한다. 스케일러블 계층 추출 모듈(830)은 M개의 영상별 비트스트림 각각으로부터 스케일러블 계층별 비트스트림을 추출하기 위하여, M개의 서브-스케일러블 계층 추출 모듈들(832, 834, 836, 838)을 포함할 수 있다. The multiview scalable video bitstream extraction module 800 according to an embodiment includes a viewpoint extraction module 810, an extraction information analysis module 820, and a scalable layer extraction module 830. The scalable layer extraction module 830 may include M sub-scalable layer extraction modules 832, 834, 836, and 838 to extract the scalable layer bitstream from each of the M image bitstreams. Can be.

일실시예에 따른 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 모듈(800)에 입력된 다시점 스케일러블 비디오 비트스트림은 먼저 시점 추출 모듈(810)로 입력되고 다시점 스케일러블 비디오 비트스트림으로부터 추출하고자 하는 시점별 비트스트림이 추출될 수 있다.A multiview scalable video bitstream input to the multiview scalable video bitstream extraction module 800 according to an embodiment is first input to a view extraction module 810 and then a multiview scalable video bitstream A time-specific bitstream to be extracted from the B-s may be extracted.

일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 모듈(800)은, 입력된 다시점 스케일러블 계층의 비트스트림 중 원하는 비트스트림을 검색하여 추출할 수 있다 The multiview scalable video bitstream extraction module 800 according to an embodiment may search for and extract a desired bitstream from a bitstream of an input multiview scalable layer.

일실시예에 따른 시점 추출 모듈(810)은 다시점 스케일로블 비디오 비트스트림을 입력받고, 입력된 다시점 스케일러블 비디오 비트스트림으로부터 시점별 비트스트림을 선택적으로 추출할 수 있다. 또한, 일실시예에 따른 시점 추출 모듈(810)은 다시점 스케일러블 비디오 비트스트림으로부터 시점별 비트스트림을 개별적으로 추출하는 대신에, 모든 시점 비트스트림을 그대로 스케일러블 계층 추출 모듈(830)로 출력할 수 있다. The view extraction module 810 according to an embodiment may receive a multiview scalable video bitstream and selectively extract a viewpoint bitstream from the input multiview scalable video bitstream. Also, the view extraction module 810 according to an embodiment outputs all view bitstreams to the scalable layer extraction module 830 as it is, instead of separately extracting the view point bitstreams from the multiview scalable video bitstream. can do.

일실시예에 따른 시점 추출 모듈(810)로부터 추출된 시점별 비트스트림은 각각의 시점별로 M개의 스케일러블 계층 추출 모듈들(832, 834, 836, 838)로 입력되고, 시점별 비트스트림으로부터 스케일러블 계층별 비트스트림이 추출될 수 있다.Per-view bitstreams extracted from the view extraction module 810 according to an embodiment are input to M scalable layer extraction modules 832, 834, 836, and 838 for each view, and are scaled from the view-point bitstream. A bitstream for each flexible layer may be extracted.

일실시예에 따른 각각의 스케일러블 계층 추출 모듈(832, 834, 836, 838)은, 입력된 시점별 비트스트림으로부터 모두 동일한 스케일러블 계층의 비트스트림을 추출할 수 있다. 또한, 시점별 비트스트림으로부터 별개의 스케일러블 계층의 비트스트림이 각각 추출될 수도 있다. 시점 추출 과정과 스케일러블 계층 추출 과정을 통해 추출된 비트스트림은 다중화 모듈(840)을 통해 조합되고, 다시점 스케일러블 비디오 비트스트림이 생성되어 출력된다.Each of the scalable layer extraction modules 832, 834, 836, and 838 according to an embodiment may extract bitstreams of the same scalable layer from input bitstreams. In addition, a bitstream of a separate scalable layer may be extracted from the bitstream for each view. The bitstreams extracted through the view extraction process and the scalable layer extraction process are combined through the multiplexing module 840, and a multiview scalable video bitstream is generated and output.

다시점 스케일러블 비디오 비트스트림은 액세스 유닛 구조를 따르고, 다시점 스케일러블 비디오 비트스트림 중 소정 시점 및 스케일러블 계층별 비트스트림이 순차적으로 삽입되어 있을 경우, 일실시예에 따른 다중화 모듈(840)은 입력된 제1 다시점 스케일러블 비디오 비트스트림으로부터 시점 및 스케일러블 계층별 비트스트림을 순차적으로 추출하여 조합함으로써 제2 다시점 스케일러블 비디오 비트스트림을 생성할 수 있다. The multiview scalable video bitstream follows an access unit structure, and when a predetermined time point and a scalable layer bitstream of the multiview scalable video bitstream are sequentially inserted, the multiplexing module 840 according to an embodiment may include A second multiview scalable video bitstream may be generated by sequentially extracting and combining a viewpoint and a scalable layer bitstream from the input first multiview scalable video bitstream.

이상 전술된 다시점 스케일러블 비디오 비트스트림 추출 모듈(600, 700, 800)은, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300) 중 비트스트림 검색부(320) 및 비트스트림 추출부(330)를 구현하기 위한 실시예들에 해당한다. The multi-view scalable video bitstream extraction module 600, 700, and 800 described above may extract the bitstream search unit 320 and the bitstream of the multiview scalable video bitstream extraction apparatus 300 according to an embodiment. Corresponds to embodiments for implementing the unit 330.

이하, 도 9 내지 11을 참조하여 다양한 실시예들에 따른 다시점 스케일러블 비디오 비트스트림의 구조에 대해 상술된다. 제1 다시점 스케일러블 비디오 비트스트림은, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성 장치(400)에 의해 생성되고, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300), 다시점 스케일러블 비디오 비트스트림 추출 모듈(600, 700, 800)로 입력되어 제2 다시점 스케일러블 비디오 비트스트림의 형태로 재구성될 수 있다.Hereinafter, a structure of a multiview scalable video bitstream according to various embodiments will be described in detail with reference to FIGS. 9 through 11. The first multiview scalable video bitstream is generated by the multiview scalable video bitstream generating apparatus 400 according to an embodiment, and the multiview scalable video bitstream extracting apparatus 300 according to an embodiment. The multiview scalable video bitstream extraction module 600, 700, and 800 may be input to the multiview scalable video bitstream extraction module 600, 700, and 800 to reconstruct a second multiview scalable video bitstream.

도 9는 일실시예에 따른 시점별 비디오 비트스트림의 구조를 도시한다.9 illustrates a structure of a video bitstream for each view, according to an exemplary embodiment.

일실시예에 따른 다시점 스케일러블 비디오 비트스트림은 복수개의 시점들에 대한 시점별 비트스트림이 조합된 구조이다.A multiview scalable video bitstream according to an embodiment is a structure in which a per-view bitstream for a plurality of views is combined.

일실시예에 따른 다시점 스케일러블 비디오 인코딩부(410)는, 다시점 비디오 인코딩 후 시점별 비트스트림을 생성할 수 있다. 일실시예에 따른 다시점 스케일러블 비디오 인코딩부(410)는 서로 다른 카메라에서 입력 받은 3개의 시점의 영상을 시점 0, 시점 2, 시점 1의 순서로 코딩하고, 각각의 시점은 2개의 공간적 계층(DId 0, DId 1)으로 구성되며, 각각의 공간적 계층은 다시 2개의 화질적 계층(QId 0, QId 1)으로 구성된 3개의 시점별 비트스트림을 시점 0 비트스트림(900), 시점 2 비트스트림(960), 시점 1 비트스트림(930)의 순서로 출력한다. The multiview scalable video encoding unit 410 according to an embodiment may generate a viewpoint-specific bitstream after multiview video encoding. The multi-view scalable video encoder 410 according to an embodiment codes the images of three viewpoints received from different cameras in the order of viewpoint 0, viewpoint 2, and viewpoint 1, and each viewpoint is two spatial hierarchies. Each spatial layer is composed of (DId 0, DId 1), and each spatial layer further includes three viewpoint-specific bitstreams composed of two image quality layers (QId 0 and QId 1). 960, which is output in the order of the time point 1 bitstream 930.

다시점 스케일러블 비디오 비트스트림 생성부(420)가 비트스트림들(900, 960, 930)을 입력받았을 때 다시점 스케일러블 비디오 비트스트림을 구성하는 방법이 도 10를 참조하여 후술된다.A method of configuring a multiview scalable video bitstream when the multiview scalable video bitstream generator 420 receives the bitstreams 900, 960, and 930 is described below with reference to FIG. 10.

도 9의 하나의 블록은 날 유닛을 나타내며, 하나의 날 유닛은 하나의 화면을 나타내는 픽처 또는 슬라이스로 구성되며, 하나의 온전한 화면 또는 하위 계층의 화질을 향상시키기 위한 잔여 신호 또는 공간적 해상도를 높이기 위한 잔여 신호들이 포함되어 있을 수 있다. 각각의 시점별 비트스트림은 시점 별로 구분하기 위해 VId 0, VId 1, VId 2로 표기되며, 가로 방향은 시간 순서를 나타내며 T0, T1, T2..., TX로 표기된다. 세로 방향은 동일한 시간의 공간적, 화질적 계층을 나타내며, 공간적 기본 계층은 DId 0, 공간적 향상 계층은 DId 1로 표기되고, 화질적 기본 계층은 QId 0, 화질적 향상 계층은 QId 1로 표기된다.One block of FIG. 9 represents a raw unit, and one raw unit is composed of a picture or slice representing one screen, and is used to increase the residual signal or spatial resolution to improve the quality of one intact screen or lower layer. Residual signals may be included. The bitstreams for each view point are represented as VId 0, VId 1, and VId 2 to distinguish them by view point, and the horizontal direction indicates a time sequence and is denoted as T0, T1, T2 ..., TX. The vertical direction represents a spatial and image quality layer of the same time, the spatial base layer is denoted as DId 0, the spatial enhancement layer is denoted as DId 1, the image quality base layer is denoted as QId 0, and the image quality enhancement layer is denoted as QId 1.

각각의 시점별 비트스트림(900, 960, 930)은 시간별로 접근이 가능한 서브-액세스 유닛으로 구성이 되어 있는데, 서브-액세스 유닛은 동일한 시간의 공간적 계층 및 화질적 계층을 포함한 날 유닛으로 구성된다. 일 예로 시간 T0의 DId 0 및 QId 0의 날 유닛(1216), T0의 DId 0 및 QId 1의 날 유닛(1211), T0의 DId 1 및 QId 0의 날 유닛(1206), T0의 DId 1 및 QId 1의 날 유닛(1201)이 시간 T0에 대한 서브-액세스 유닛이 되며, 시간 T1의 DId 0 및 QId 0(1217), T1의 DId 0 및 QId 1(1212), T1의 DId 1 및 QId 0(1207), T1의 DId 1 및 QId 1(1202)의 날 유닛이 시간 T1에 대한 서브-액세스 유닛이 된다.Each of the time-specific bitstreams 900, 960, and 930 is composed of sub-access units that are accessible by time, and each sub-access unit is composed of raw units including a spatial layer and an image quality layer at the same time. . For example, the day unit 1216 of DId 0 and QId 0 of time T0, the day unit 1211 of DId 0 and QId 1 of T0, the day unit 1206 of DId 1 and QId 0 of T0, and the DId 1 of T0 and Day unit 1201 of QId 1 becomes the sub-access unit for time T0, DId 0 and QId 0 1217 of time T1, DId 0 and QId 1 1212 of T1, DId 1 and QId 0 of T1. 1207, the day unit of DId 1 and QId 1 1202 of T1 becomes the sub-access unit for time T1.

일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300), 다시점 스케일러블 비디오 비트스트림 추출 모듈(600, 700, 800) 중 시점 추출 과정을 통해 시점별 비트스트림들(900, 930, 960)이 선택적으로 추출될 수 있다. The multi-view scalable video bitstream extracting apparatus 300 and the multi-view scalable video bitstream extracting module 600, 700, and 800 according to an embodiment may perform bitstreams 900, 930, 960 may optionally be extracted.

도 10은 일실시예에 따른 다시점 스케일러블 비디오 비트스트림의 구조를 도시한다.10 illustrates a structure of a multiview scalable video bitstream, according to an embodiment.

일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성부(430)는, 각각의 시점별 비트스트림에서 획득한 서브-액세스 유닛을 동일한 시간 T의 다른 시점의 서브-액세스 유닛과 조합하여, 다시점 스케일러블 비디오 비트스트림의 액세스 유닛으로 구성한다.The multi-view scalable video bitstream generator 430 according to an embodiment combines the sub-access units obtained from the respective bitstreams of each view with the sub-access units of different views at the same time T, It consists of an access unit of a scalable video bitstream.

일 예로 시간 T0의 액세스 유닛(1010)은 VId 0의 T0의 서브-액세스 유닛들(916, 911, 906, 901), VId1의 T0의 서브-액세스 유닛들(946, 941, 936, 931), VId 2의 T0의 서브-액세스 유닛들(976, 971, 966, 961)로 구성될 수 있다. 서브-액세스 유닛들을 액세스 유닛으로 조합하는 순서의 일 예는, 시점 번호 순서인 VId 0의 T0의 서브-액세스 유닛들(946, 941, 936, 931), VId 1의 T0의 서브-액세스 유닛들(946, 941, 936, 931), VId 2의 T0의 서브-액세스 유닛들(976, 971, 966, 961)의 순서로 구성될 수 있다. 또 다른 일 예로, 비트스트림이 코딩된 순서인 VId 0의 T0의 서브-액세스 유닛들(946, 941, 936, 931), VId 2의 T0의 서브-액세스 유닛들(976, 971, 966, 961), VId 1의 T0의 서브-액세스 유닛들(946, 941, 936, 931)의 순서로 구성할 수 있다.As an example the access unit 1010 at time T0 may include sub-access units 916, 911, 906, 901 at T0 of VId 0, sub-access units 946, 941, 936, 931 of T0 at VId1, It may consist of sub-access units 976, 971, 966, 961 of T0 of VId 2. An example of the order of combining sub-access units into an access unit is sub-access units 946, 941, 936, 931 of T0 of VId 0, which is a view number order, sub-access units of T0 of VId 1. 946, 941, 936, 931, sub-access units 976, 971, 966, 961 of T0 of VId 2. As another example, the sub-access units 946, 941, 936, 931 of T0 of VId 0, in which the bitstream is coded, and the sub-access units 976, 971, 966, 961 of T0 of VId 2. , Sub-access units 946, 941, 936, 931 of T0 of VId 1.

시간 T1의 액세스 유닛(1020)은 VId 0의 T1의 서브-액세스 유닛들(917, 912, 907, 902), VId 1의 T1의 서브-액세스 유닛들(947, 942, 937, 932), VId 2의 T1의 서브-액세스 유닛들(977, 972, 967, 962)으로 구성 될 수 있다.Access unit 1020 at time T1 is sub-access units 917, 912, 907, 902 of T1 of VId 0, sub-access units 947, 942, 937, 932 of T1 of VId 1, VId. Two sub-access units 971, 972, 967, 962.

시간 T2의 액세스 유닛(1030)은 VId 0의 T2의 서브-액세스 유닛들(918, 913, 908, 903), VId 1의 T2의 서브-액세스 유닛들(948, 943, 938, 933), VId 2의 T2의 서브-액세스 유닛들(978, 973, 968, 963)으로 구성 될 수 있다.Access unit 1030 at time T2 is sub-access units 918, 913, 908, 903 of T2 of VId 0, sub-access units 948, 943, 938, 933 of T2 of VId 1, VId. Two sub-access units (978, 973, 968, 963) of T2.

시간 T3의 액세스 유닛(1040)은 VId 0의 T3의 서브-액세스 유닛들(919, 914, 909, 904), VId 1의 T3의 서브-액세스 유닛들(949, 944, 939, 934), VId 2의 T3의 서브-액세스 유닛들(979, 974, 969, 964)으로 구성 될 수 있다.Access unit 1040 at time T3 is sub-access units 919, 914, 909, 904 at Td of VId 0, sub-access units 949, 944, 939, 934 at T3 of VId 1, VId. Two sub-access units 979, 974, 969, 964.

시간 TX의 액세스 유닛(1050)은 VId 0의 TX의 서브-액세스 유닛들(920, 915, 910, 905), VId 1의 TX의 서브-액세스 유닛들(950, 945, 940, 935), VId 2의 TX의 서브-액세스 유닛들(980, 975, 970, 965)으로 구성 될 수 있다.Access unit 1050 of time TX includes sub-access units 920, 915, 910, 905 of TX of VId 0, sub-access units 950, 945, 940, 935 of TX of VId 1, VId. Two sub-access units 980, 975, 970, 965.

일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성부(430)는, 구성된 액세스 유닛들(1020, 1030, 1040, 1050)을 시간 순서대로 다시 배치하여 다시점 스케일러블 비디오 비트스트림(1000)을 구성한다. 따라서, 다시점 스케일러블 비디오 비트스트림(1000)은 2개의 공간적 계층들과 각각의 공간적 계층별로 2개의 화질적 계층들, 그리고 3개의 시점들에 대한 비트스트림을 포함할 수 있다. The multi-view scalable video bitstream generator 430 according to an embodiment rearranges the configured access units 1020, 1030, 1040, and 1050 in time order to arrange the multi-view scalable video bitstream 1000. Configure. Accordingly, the multiview scalable video bitstream 1000 may include two spatial layers, two quality layers for each spatial layer, and a bitstream for three views.

일실시예에 따른 다시점 스케일러블 비디오 비트스트림(1000)는, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300), 다시점 스케일러블 비디오 비트스트림 추출 모듈(600, 700, 800)에 제1 다시점 스케일러블 비디오 비트스트림으로서 입력될 수 있다. 다시점 스케일러블 비디오 비트스트림(1000)으로부터 원하는 시점 및 스케일러블 계층의 비트스트림을 선택적으로 추출될 수 있다. The multiview scalable video bitstream 1000 according to an embodiment may include a multiview scalable video bitstream extraction apparatus 300 and a multiview scalable video bitstream extraction module 600, 700, and 800 according to an embodiment. ) May be input as a first multiview scalable video bitstream. A multi-view scalable video bitstream 1000 may selectively extract a desired view and a bitstream of the scalable layer.

도 11은 일실시예에 따라 재구성된 다시점 스케일러블 비디오 비트스트림의 구조를 도시한다.11 illustrates a structure of a reconstructed multiview scalable video bitstream according to an embodiment.

일실시예에 따른 제2 다시점 스케일러블 비디오 비트스트림 재구성부 장치(300), 다시점 스케일러블 비디오 비트스트림 추출 모듈(600, 700, 800) 중 다시점 스케일러블 비디오 비트스트림 재구성 과정은, 입력된 제1 다시점 스케일러블 비디오 비트스트림으로부터 원하는 시점 및 스케일러블 계층의 비트스트림을 선택적으로 추출하여 조합하여 제2 다시점 스케일러블 비디오 비트스트림으로 재구성할 수 있다.The multiview scalable video bitstream reconstruction process of the second multiview scalable video bitstream reconstruction unit 300 and the multiview scalable video bitstream extraction module 600, 700, and 800 according to an embodiment may include: A bitstream of a desired view point and a scalable layer may be selectively extracted from the first multiview scalable video bitstream and combined to be reconstructed into a second multiview scalable video bitstream.

제1 다시점 스케일러블 비디오 비트스트림으로서 다시점 스케일러블 비디오비트스트림(1000)이 입력되는 경우, 다시점 스케일러블 비디오 비트스트림(1000)으로부터 2개의 시점(VId 0, VId 1) 및 공간적 기본 계층(DId 0)에서 1개의 화질적 계층(QId 0), 공간적 향상 계층(DId 1)에서 1개의 화질적 계층(QId 0)을 추출하여 재구성한 제2 다시점 스케일러블 비디오 비트스트림으로서 다시점 스케일러블 비디오 비트스트림(1100)을 출력할 수 있다. When a multiview scalable video bitstream 1000 is input as the first multiview scalable video bitstream, two viewpoints VId 0 and VId 1 and a spatial base layer are provided from the multiview scalable video bitstream 1000. A multiview scale as a second multiview scalable video bitstream obtained by reconstructing and extracting one quality layer QId 0 from (DId 0) and one quality layer (QId 0) from the spatial enhancement layer (DId 1). The flexible video bitstream 1100 may be output.

즉, 다시점 스케일러블 비디오 비트스트림(1100)은 추출된 시점 및 스케일러블 계층의 비트스트림이 시간 순서에 따라 시간 T0, T1, T2, T3, ..., TX의 액세스 유닛들(1110, 1120, 1130, 1140, 1150)로 구성된 구조이다. That is, the multi-view scalable video bitstream 1100 includes access units 1110 and 1120 of time T0, T1, T2, T3, ..., TX according to a time sequence of the extracted view and the bitstream of the scalable layer. , 1130, 1140, and 1150.

구체적으로 보면, 시간 T0의 액세스 유닛(1110)은 VId 0의 T0의 서브-액세스 유닛들(916, 906), VId 1의 T0의 서브-액세스 유닛들(946, 936)로 재구성되어 있다. 마찬가지로, 시간 T1의 액세스 유닛(1120)은 VId 0의 T1의 서브-액세스 유닛들(917, 907), VId 1의 T1의 서브-액세스 유닛들(947, 937)로 재구성되고, 시간 T2의 액세스 유닛(1130)은 VId 0의 T2의 서브-액세스 유닛들(918, 908), VId 1의 T2의 서브-액세스 유닛들(948, 938)로 재구성되고, 시간 T3의 액세스 유닛(1140)은 VId 0의 T3의 서브-액세스 유닛들(919, 909), VId 1의 T3의 서브-액세스 유닛들(949, 939)로 재구성되고, 시간 TX의 액세스 유닛(1140)은 VId 0의 TX의 서브-액세스 유닛들(920, 910), VId 1의 TX의 서브-액세스 유닛들(950, 940)로 재구성될 수 있다.Specifically, the access unit 1110 at time T0 is reconstructed into sub-access units 916 and 906 of T0 of VId 0 and sub-access units 946 and 936 of T0 of VId 1. Similarly, the access unit 1120 of time T1 is reconfigured into sub-access units 917, 907 of T1 of VId 0, sub-access units 947, 937 of T1 of VId 1, and access of time T2. Unit 1130 is reconfigured into sub-access units 918, 908 of T2 of VId 0, sub-access units 948, 938 of T2 of VId 1, and access unit 1140 of time T3 is VId Sub-access units 919, 909 of T3 of 0, sub-access units 949, 939 of T3 of VId 1, and access unit 1140 of time TX is sub- of TX of VId 0 The access units 920, 910 may be reconfigured into sub-access units 950, 940 of the TX of VId 1.

도 9 내지 11을 참조하여, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300)의 비트스트림 추출 과정을 요약하면, 제1 다시점 스케일러블 비디오 비트스트림 수신부(310)에서 다시점 스케일러블 비디오 비트스트림(1000)이 수신되고, 비트스트림 검색부(320)는 다시점 스케일러블 비디오 비트스트림(1000) 중 2개의 시점(VId 0, VId 1) 및 공간적 기본 계층(DId 0)에서 1개의 화질적 계층(QId 0), 공간적 향상 계층(DId 1)에서 1개의 화질적 계층(QId 0)의 비트스트림을 검색한다. 9 to 11, a process of extracting a bitstream of a multiview scalable video bitstream extraction apparatus 300 according to an embodiment may be described. The scalable video bitstream 1000 is received, and the bitstream search unit 320 at two views of the multiview scalable video bitstream 1000 VId 0 and VId 1 and the spatial base layer DId 0. A bitstream of one image quality layer QId 0 is searched for in one image quality layer QId 0 and a spatial enhancement layer DId 1.

비트스트림 추출부(330)는 시점별 비트스트림들(900, 930, 960)이 추출되고 시점별 비트스트림들(900, 930, 960)로부터 2개의 시점별 비트스트림(900, 930) 중 공간적 기본 계층(DId 0) 및 화질 기본 계층(QId 0)의 비트스트림들(906, 907, 908, 909, 910, 936, 937, 938, 939, 940), 공간적 향상 계층(DId 1) 및 화질 기본 계층(QId 0)의 비트스트림들(916, 917, 918, 919, 920, 946, 947, 948, 949, 950)을 검색한다. The bitstream extractor 330 extracts the view-point bitstreams 900, 930, and 960 and spatially bases the two view-point bitstreams 900, 930, and 960 from the view-point bitstreams 900, 930, and 960. Bitstreams 906, 907, 908, 909, 910, 936, 937, 938, 939, 940 of the layer (DId 0) and the image quality base layer (QId 0), the spatial enhancement layer (DId 1), and the image quality base layer Search for bitstreams 916, 917, 918, 919, 920, 946, 947, 948, 949, 950 of (QId 0).

제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)는 검색된 비트스트림들(906, 907, 908, 909, 910, 916, 917, 918, 919, 920, 936, 937, 938, 939, 940, 946, 947, 948, 949, 950)을 조합하여 시간별 액세스 유닛들(1110, 1120, 1130, 1140, 1150)로 구성하고, 시간대별 액세스 유닛들(1110, 1120, 1130, 1140, 1150)을 시간 순서대로 나열함으로써, 제2 다시점 스케일러블 비디오 비트스트림(1100)을 재구성한다.The second multi-view scalable video bitstream reconstruction unit 340 may search the searched bitstreams 906, 907, 908, 909, 910, 916, 917, 918, 919, 920, 936, 937, 938, 939, 940, 946, 947, 948, 949, and 950 in combination to form hourly access units 1110, 1120, 1130, 1140, and 1150, and time-based access units 1110, 1120, 1130, 1140, and 1150 to be timed. By listing in order, the second multiview scalable video bitstream 1100 is reconstructed.

비트스트림 추출 정보에 기초하여 다시점 스케일러블 비디오 비트스트림으로부터 원하는 포맷의 비트스트림을 추출하는 경우, 일실시예에 따른 비트스트림 추출 정보는 추출기에 입력된 외부 추출 정보는, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300)가 시점별 비트스트림 및 스케일러블 계층별 비트스트림을 추출하기 위해 사용될 수 있도록 변경된 형태의 정보일 수 있다. When extracting a bitstream of a desired format from a multiview scalable video bitstream based on the bitstream extraction information, the bitstream extraction information according to an embodiment may include external extraction information input to the extractor. The point scalable video bitstream extracting apparatus 300 may be information in a modified form so that the apparatus 300 for extracting the point scalable video bitstream may be used to extract the view-point bitstream and the scalable layer bitstream.

예를 들어 추출하고자 하는 해상도, 프레임율, 추출 대상 시점 개수에 대한 정보가 추출 정보로서 입력되었다면, 비트스트림 검색부(320)는 현재 다시점 스케일러블 비디오 비트스트림으로부터 추출 가능한 해상도, 프레임율, 추출 대상 시점 개수를 확인하여 입력된 추출 정보에 가장 근접하는 최적의 설정에 적합한 스케일러블 계층 및 시점의 식별 번호를 검색하고, 추출하고자 하는 스케일러블 계층 및 시점의 식별 번호에 대한 정보를 비트스트림 추출부(330)로 출력할 수 있다. For example, if information on the resolution, frame rate, and the number of time points of extraction to be extracted are input as the extraction information, the bitstream search unit 320 may extract the resolution, frame rate, and extraction that are possible to extract from the current multiview scalable video bitstream. The number of target viewpoints is checked to search for an identification number of a scalable layer and a viewpoint suitable for an optimal setting closest to the input extraction information, and the bitstream extracting unit extracts information about the identification number of the scalable layer and the viewpoint to be extracted. And output to 330.

구체적인 일실시예로서, 해상도 320ㅧ240 및 해상도 640ㅧ480의 공간적 해상도 및 4개의 시점을 지원하는 실감형 비트스트림들이 입력되고, 이로부터 CIF(Common Intermediate Format)급 영상(352ㅧ288) 및 2개의 시점에 해당하는 비트스트림을 추출하고자 하는 경우를 가정한다. 총 4개의 시점들 중 2개의 시점들로 구성된 시점 집합은 6개(₄C₂ = 6)이므로, 비트스트림 검색부(320)는 추출 가능한 6개의 시점 집합 중 소정 시점 집합의 비트스트림을 추출하기로 선택하고, 선택된 시점 집합에 포함된 시점의 식별 번호에 대한 정보는 비트스트림 추출부(330)로 출력될 수 있다. As a specific embodiment, immersive bitstreams supporting spatial resolution and four viewpoints of resolution 320 ㅧ 240 and resolution 640 ㅧ 480 are input, and from this, CIF (Common Intermediate Format) image (352 ㅧ 288) and 2 It is assumed that a bitstream corresponding to two views is to be extracted. Since the viewpoint set composed of two viewpoints among the four viewpoints is six ( ₄ C ₂ = 6), the bitstream search unit 320 extracts a bitstream of a predetermined viewpoint set from the six extractable viewpoint sets. The information on the identification number of the view included in the selected view set may be output to the bitstream extractor 330.

또한, 비트스트림 검색부(320)는 2가지의 공간적 해상도 중 해상도 320ㅧ240가 추출하고자 하는 해상도에 가장 적합하다고 선택할 수 있으며, 해상도 320ㅧ240의 공간적 계층의 식별 번호에 대한 정보를 비트스트림 추출부(330)로 출력될 수 있다. In addition, the bitstream search unit 320 may select that the resolution 320 ㅧ 240 is most suitable for the resolution to be extracted from the two spatial resolutions, and extract the information on the identification number of the spatial layer having the resolution 320 ㅧ 240 It may be output to the unit 330.

비트스트림 추출부(330)는 입력된 시점 식별 번호에 대한 정보 및 스케일러블 계층 식별 번호에 대한 정보에 기초하여, 현재 다시점 스케일러블 비디오 비트스트림으로부터 선택된 2개의 시점의 해상도 320ㅧ240 영상에 대응하는 비트스트림들을 추출할 수 있다. The bitstream extractor 330 corresponds to the resolution 320 영상 240 image of the two viewpoints selected from the current multiview scalable video bitstream based on the information on the input view ID and the scalable layer ID. Bitstreams can be extracted.

이하 도 12 내지 16을 참조하여, 다양한 실시예들에 따라 비트스트림 추출 정보를 이용하는 비트스트림 추출 방법에 대해 상술된다. Hereinafter, a bitstream extraction method using bitstream extraction information according to various embodiments will be described with reference to FIGS. 12 through 16.

도 12는 일실시예에 따른 비트스트림 추출 방법의 흐름도(1200)를 도시한다.12 is a flowchart 1200 of a bitstream extraction method, according to an embodiment.

단계 1210에서, 입력된 추출 정보에 기초하여 비트스트림 추출 정보가 설정된다. 단계 1220에서는, 설정된 비트스트림 추출 정보를 이용하여 시점 추출 동작이 수행된다. 단계 1230에서는, 설정된 비트스트림 추출 정보를 이용하여 스케일러블 계층 추출 동작이 수행된다. 단계 1230의 동작은, 시점 단위로 추출된 비트스트림에 포함된 시점의 개수만큼 반복된다. 시점 단위로 추출된 비트스트림으로부터 모두 동일한 스케일러블 계층의 비트스트림들이 추출될 수 있으며, 시점 단위로 추출된 비트스트림의 각각 시점마다 독립적으로 선택된 스케일러블 계층의 비트스트림들이 추출될 수도 있다.In step 1210, bitstream extraction information is set based on the extracted extraction information. In operation 1220, a viewpoint extraction operation is performed using the set bitstream extraction information. In operation 1230, a scalable layer extraction operation is performed using the set bitstream extraction information. The operation of step 1230 is repeated by the number of viewpoints included in the bitstream extracted in units of viewpoints. Bitstreams of the same scalable layer may be extracted from the bitstreams extracted in view units, and bitstreams of the scalable layer independently selected for each view of the bitstream extracted in view units may be extracted.

도 13은 다른 실시예에 따른 비트스트림 추출 방법의 흐름도(1300)를 도시한다.13 is a flowchart 1300 of a bitstream extraction method according to another embodiment.

일실시예에 따라 비트스트림 추출 정보는, 입력된 추출 정보와 비트스트림 요약 정보를 비교하여 가장 근사한 값을 설정될 수 있다. 예를 들어, 비트스트림 요약 정보와 입력된 추출 정보를 비교하여, 비트스트림 요약 정보 중 입력된 추출 정보보다 크지 않은 최대값이 선택되거나 또는 동일한 값이 선택될 수 있다. According to an embodiment, the bitstream extraction information may be set to the nearest value by comparing the extracted extraction information with the bitstream summary information. For example, by comparing the bitstream summary information with the input extraction information, a maximum value not greater than the input extraction information among the bitstream summary information may be selected or the same value may be selected.

단계 1310에서, 비트스트림 추출 정보가 입력된다. 일실시예에 따른 비트스트림 추출 정보는 디코딩 가능한 해상도, 프레임율 또는 비트레이트 등의 디코딩 단말의 디코딩 능력에 대한 정보, 전송 채널의 전송률(bandwidth) 등의 전송 네트워크의 상태에 대한 정보를 포함할 수 있다. In step 1310, bitstream extraction information is input. The bitstream extraction information according to an embodiment may include information about a decoding network's decoding capability such as a decodable resolution, a frame rate or a bitrate, and information about a state of a transport network such as a bandwidth of a transmission channel. have.

단계 1320에서, 현재 추출하고자 하는 비트스트림에 대한 요약 정보가 존재 하는지 확인하고, 만약 비트스트림 요약 정보가 존재한다면 단계 1340으로 진행하고, 비트스트림 요약 정보가 존재하지 않는다면 단계 1330으로 진행한다. In step 1320, it is checked whether there is summary information on the current bitstream to be extracted. If the bitstream summary information exists, the process proceeds to step 1340, and if the bitstream summary information does not exist, the process proceeds to step 1330.

일실시예에 따른 비트스트림 요약 정보는 인코딩단에서 다시점 스케일러블 비디오 비트스트림에 삽입되어 전송되거나, 다시점 스케일러블 비디오 비트스트림과 별개의 비트스트림으로 전송될 수도 있다. 또한 일실시예에 따른 비트스트림 요약 정보는, 추출 가능한 시점 집합의 개수, 공간적 계층, 시간적 계층, 화질적 계층별로 추출 가능한 스케일러블 계층 집합에 대한 정보를 포함할 수 있다. Bitstream summary information according to an embodiment may be inserted and transmitted in a multiview scalable video bitstream at an encoding stage, or may be transmitted in a bitstream separate from the multiview scalable video bitstream. In addition, the bitstream summary information according to an embodiment may include information about a scalable layer set that can be extracted for each number of extractable view sets, a spatial layer, a temporal layer, and an image quality layer.

단계 1330에서, 추출하고자 하는 비트스트림 요약 정보가 생성된다. 비트스트림 요약 정보는, 다시점 스케일러블 비디오 비트스트림의 신택스에 기초하여 생성될 수 있다. 예를 들어, 다시점 스케일러블 비디오 비트스트림의 신택스를 분석하여 획득된 추출 가능한 시점 집합, 스케일러블 계층에 대한 정보가 비트스트림 요약 정보로 설정될 수 있다. 또한, 비트스트림 요약 정보는 외부 입력에 의해 생성될 수 있다.In step 1330, bitstream summary information to be extracted is generated. The bitstream summary information may be generated based on the syntax of the multiview scalable video bitstream. For example, information about an extractable view set and a scalable layer obtained by analyzing a syntax of a multiview scalable video bitstream may be set as bitstream summary information. In addition, the bitstream summary information may be generated by an external input.

단계 1340에서, 비트스트림 요약 정보와 입력된 추출 정보의 비교에 기초하여 시점 추출 정보가 설정된다. 단계 1350에서, 비트스트림 요약 정보와 입력된 추출 정보의 비교에 기초하여 스케일러블 계층 추출 정보가 설정한다. 일실시예에 따른 스케일러블 계층 추출 정보는, 추출된 모든 시점별 비트스트림에 대해서 동일하게 설정되거나, 각각의 시점별 비트스트림마다 독립적으로 설정될 수도 있다.In operation 1340, viewpoint extraction information is set based on a comparison between the bitstream summary information and the input extraction information. In operation 1350, scalable layer extraction information is set based on a comparison between the bitstream summary information and the input extraction information. According to an embodiment, scalable layer extraction information may be identically set for all extracted view-point bitstreams, or may be set independently for each view-point bitstream.

일실시예에 따른 비트스트림 추출 정보는 비트스트림에 대한 고유한 식별 정보를 포함할 수 있다. 예를 들어, 비트스트림에 삽입된 시점에 대한 식별 번호, 공간적 또는 화질적 또는 시간적 스케일러블 계층에 대한 식별 정보 등이 비트스트림 추출 정보로서 설정될 수 있다. Bitstream extraction information according to an embodiment may include unique identification information for the bitstream. For example, an identification number for a viewpoint inserted into a bitstream, identification information for a spatial or image quality, or temporal scalable layer may be set as bitstream extraction information.

구체적으로, 비트스트림 추출 정보로서, 날 유닛 헤더에 각각의 비트스트림 내에서 서브-액세스 유닛을 식별하기 위해서 공간적 계층을 나타내는 정보 'dependency_id', 화질적 계층을 나타내는 정보 'quality_id', 시간적 계층을 나타내는 정보 'temporal_id', 여러 시점의 시점들 중에서 현재 시점의 식별 정보 'view_id'가 설정될 수 있다.
Specifically, as bitstream extraction information, information 'dependency_id' representing a spatial layer, information 'quality_id' representing a quality layer, and a temporal layer, indicating a spatial layer in order to identify a sub-access unit within each bitstream in the raw unit header. The information 'temporal_id' and the identification information 'view_id' of the current view may be set among the viewpoints of various views.

일실시예에 따른 비트스트림 추출 정보는 네트워크 환경에 따라 갱신될 수 있다. 예를 들어, 비트스트림 추출 정보 설정 과정에서 전송 채널의 전송률과 같은 네트워크 환경 정보에 기초하여, 스케일러블 계층 추출 정보를 현재 네트워크 상태를 고려하여 갱신될 수 있다. 비트스트림 추출 과정에 네트워크 상태를 실시간으로 반영함으로써 QoS(Quality of Service) 솔루션이 지원될 수 있다. Bitstream extraction information according to an embodiment may be updated according to a network environment. For example, in the process of setting the bitstream extraction information, the scalable layer extraction information may be updated in consideration of the current network state based on network environment information such as a transmission rate of a transport channel. Quality of service (QoS) solutions can be supported by reflecting network conditions in real time in the bitstream extraction process.

도 14는 네트워크 상황을 고려하여 스케일러블 계층 추출 정보를 설정하는 일실시예를 도시한다.14 illustrates an embodiment of setting scalable layer extraction information in consideration of network conditions.

비트스트림 추출 정보는 현재 서비스에서 사용가능한 네트워크 대역폭을 고려하여 갱신될 수 있다. 예를 들어, 비트스트림 검색부(320)는, 추출될 스케일러블 계층 정보 중 각각의 스케일러블 계층의 비트레이트 정보를 현재 서비스에서 사용 가능한 네트워크 대역폭에 대응시켜, 가능한 최대의 비트레이트를 갖는 스케일러블 계층이 선택되도록 비트스트림 추출 정보를 갱신하여 설정할 수 있다.The bitstream extraction information may be updated in consideration of the network bandwidth available in the current service. For example, the bitstream search unit 320 maps bitrate information of each scalable layer among extracted scalable layer information to a network bandwidth available in a current service, and thus has a scalable bit rate. The bitstream extraction information may be updated and set so that the layer is selected.

비트스트림 검색부(320)는, 시점 0(view#0)의 비트스트림 및 시점 2(view#2)의 비트스트림 각각에 대한 스케일러블 계층 정보(Scalable information) SEI 테이블들(1410, 1420)을 생성한다. 각각의 스케일러블 계층 정보 SEI 테이블은, 계층(Layer), 해상도(Resolution), 프레임율(Frame rate), 비트레이트(Bit-rate), 스케일러블 계층 식별 번호(DTQ)의 대응 관계에 대한 정보를 수록하고 있다. The bitstream search unit 320 may generate scalable layer information SEI tables 1410 and 1420 for each of the bitstream of view 0 (view # 0) and the bitstream of view 2 (view # 2). Create Each scalable layer information SEI table includes information on a correspondence relationship between a layer, a resolution, a frame rate, a bit rate, and a scalable layer identification number (DTQ). I record it.

일실시예에 따른 비트스트림 검색부(320)는, 네트워크 전송 대역폭에 대응하는 스케일러블 계층 정보의 추출 정보를 설정하기 위해, 먼저 추출될 비트스트림 요약 정보의 스케일러블 계층 정보 중 동일한 스케일러블 계층 정보를 갖는 계층(Layer)에 대한 평균 비트레이트를 결정한다. According to an embodiment, the bitstream search unit 320 may set the same scalable layer information among the scalable layer information of the bitstream summary information to be extracted first in order to set the extraction information of the scalable layer information corresponding to the network transmission bandwidth. Determine an average bitrate for the layer with.

시점별 비트스트림으로부터 스케일러블 계층의 비트스트림을 추출하기 위해, 평균 비트레이트가 각각의 스케일러블 계층의 대표값으로 사용된다. 스케일러블 계층 추출 과정에서는 평균 비트레이트 정보들을 현재 사용가능한 네트워크 대역폭에 대응시켜, 실제로 추출될 화질적 계층이 결정될 수 있다. To extract the bitstream of the scalable layer from the point-in-time bitstream, the average bitrate is used as the representative value of each scalable layer. In the scalable layer extraction process, the image quality layer to be actually extracted may be determined by mapping the average bitrate information to the currently available network bandwidth.

구체적으로, 스케일러블 계층 정보 SEI 테이블들(1410, 1420)은, 4개의 시점과 2개의 공간적 계층(176x144, 352x288), 3개의 시간적 계층(7.5Hz, 15Hz, 30Hz), 3개의 화질적 계층을 갖는 다시점 스케일러블 비디오 비트스트림 중 2개의 시점 0과 시점 2에 대한 스케일러블 계층 정보를 예로 들어 설명한다. DTQ는 각각 공간적 계층의 식별 정보 'dependency_id', 시간적 계층의 식별 정보 'temporal_id', 및 화질 계층의 식별 정보 'quality_id'를 나타낸다.In detail, the scalable layer information SEI tables 1410 and 1420 may include four viewpoints and two spatial layers (176x144 and 352x288), three temporal layers (7.5 Hz, 15 Hz, and 30 Hz), and three image quality layers. An example of scalable layer information of two views 0 and 2 of a multiview scalable video bitstream having the same will be described. The DTQ represents identification information 'dependency_id' of the spatial layer, identification information 'temporal_id' of the temporal layer, and identification information 'quality_id' of the quality layer, respectively.

스케일러블 계층 정보 SEI 테이블들(1410, 1420) 중 동일한 스케일러블 계층 정보를 갖는 계층에 대한 평균 비트레이트가 결정된다. 예를 들어, 서비스를 제공받고자 하는 단말기의 디코딩 성능이 해상도(Resolution) 352x288 및 프레임율(Frame rate) 15Hz인 경우, 화질적 계층 및 평균 비트레이트 테이블(1430)은 스케일러블 계층의 대표값으로 사용될 수 있는 평균 비트레이트 및 화질 계층에 관한 스케일러블 계층 정보를 수록하고 있다. The average bitrate for the layer having the same scalable layer information among the scalable layer information SEI tables 1410 and 1420 is determined. For example, if the decoding performance of a terminal to be provided with a service has a resolution of 352x288 and a frame rate of 15 Hz, the image quality layer and the average bitrate table 1430 may be used as representative values of the scalable layer. It contains scalable layer information about average bitrate and quality layer.

화질적 계층 및 평균 비트레이트 테이블(1430)에 기초하여, 사용 가능한 네트워크 대역폭이 791bps 내지 1135bps인 경우에는 스케일러블 계층 식별 정보 'quality_id'를 0으로 하고, 사용 가능한 네트워크 대역폭이 1135bps 내지 1731bps인 경우에는 스케일러블 계층 식별 정보 'quality_id'를 1로, 사용 가능한 네트워크 대역폭이 1731bps 이상인 경우는 스케일러블 계층 식별 정보 'quality_id'를 2로 결정할 수 있다. Based on the quality layer and the average bitrate table 1430, the scalable layer identification information 'quality_id' is set to 0 when the available network bandwidth is 791bps to 1135bps, and when the available network bandwidth is 1135bps to 1731bps. When the scalable layer identification information 'quality_id' is 1 and the available network bandwidth is 1731bps or more, the scalable layer identification information 'quality_id' may be determined as 2.

추출될 시점들의 스케일러블 계층별 비트레이트 대표값이 수록된 테이블을 생성하기 위해, 일실시예에 따른 비트스트림 검색부(320)는 추출될 시점마다 각각의 스케일러블 계층의 비트레이트의 평균값을 사용하거나, 각각이 시점마다 발생되는 비트레이트의 크기에 따른 가중치를 부가하여, 보다 최적의 화질 계층을 추출하도록 결정할 수도 있다.In order to generate a table in which a bitrate representative value of each scalable layer of extracted points is included, the bitstream search unit 320 according to an embodiment uses an average value of the bitrate of each scalable layer for each extracted time point. It may be determined to extract a more optimal picture quality layer by adding weights according to the sizes of bitrates generated at each time point.

도 14를 참조하여 설명된 비트스트림 요약 정보는 다시점 스케일러블 비디오 비트스트림에 삽입되어 있는 실시예이며, 비트스트림 요약 정보 중 시점 추출 방법 정보와 스케일러블 계층 추출 방법 정보는 독립적으로 설정될 수 있다. 또한, 시점 추출 방법 정보와 스케일러블 계층 추출 방법 정보가 하나의 정보로 조합되어 설정될 수도 있다.The bitstream summary information described with reference to FIG. 14 is an embodiment inserted into a multiview scalable video bitstream, and the viewpoint extraction method information and the scalable layer extraction method information among the bitstream summary information may be independently set. . In addition, the view extraction method information and the scalable layer extraction method information may be combined and set as one piece of information.

일실시예에 따라 시점 추출 방법 정보 및 스케일러블 계층 추출 방법 정보가 독립적으로 존재할 경우, 일실시예에 따른 시점 추출 요약 정보는 아래 표 1과 같은 신택스로 기술될 수 있다. If the view extraction method information and the scalable layer extraction method information exist independently according to an embodiment, the view extraction summary information according to an embodiment may be described in syntax as shown in Table 1 below.

image_information( ){image_information () { image_numberimage_number for(i=0; i<image_number; i++){   for (i = 0; i <image_number; i ++) { 시점별 정보Viewpoint Information }   } 시점 추출 방법 정보About extracting viewpoints }}

일실시예에 따른 시점 추출 요약 정보 'image_information'는 코딩된 영상의 시점 개수 정보 'image_number', 시점별 정보, 시점 추출 방법 정보를 포함한다. 코딩된 영상의 시점 개수 정보는 현재 다시점 스케일러블 비디오 비트스트림에 포함된 시점의 개수를 나타내며, 각각의 시점마다 시점별 정보가 설정될 수 있다. 일실시예에 따른 시점별 정보는 시점별 예측 관계에 대한 정보, 시점별 코딩 순서에 대한 정보를 포함할 수 있다. 또한, 다시점 스케일러블 비디오 비트스트림 중 현재 신택스 위치에, 다른 신택스 위치에 삽입된 시점 추출 정보인 시점간 예측 정보가 중복적으로 삽입될 수도 있다.The view extraction summary information 'image_information' according to an embodiment includes view number information ' image_number ' of the coded image, view information, and view extraction method information. The view number information of the coded image indicates the number of views included in the current multiview scalable video bitstream, and view information may be set for each view. The view-by-view information according to an embodiment may include information about a view-by-view prediction relationship and information about a view-by-view coding order. In addition, inter-view prediction information, which is view extraction information inserted into another syntax position, may be repeatedly inserted into a current syntax position in the multiview scalable video bitstream.

일실시예에 따른 시점 추출 방법 정보는, 추출하고자 하는 시점의 개수에 대응하여 현재 비트스트림으로부터 추출 가능한 시점 집합의 시점 식별 번호들 될 수 있다. The viewpoint extraction method information according to an embodiment may be viewpoint identification numbers of a viewpoint set that may be extracted from a current bitstream, corresponding to the number of viewpoints to be extracted.

구체적인 실시일예로, 4개의 시점들 중 2개의 시점들의 비트스트림을 추출하려면 시점 0 및 시점 1의 비트스트림이 추출되고, 3개의 시점들의 비트스트림을 추출하려면 시점 0, 시점 1, 시점 2의 비트스트림이 추출되도록 하는 시점 집합에 대한 정보가 시점 추출 방법 정보로서 설정될 수 있다. According to a specific embodiment, the bitstreams of view 0 and view 1 are extracted to extract a bitstream of two views of four view points, and the bits of view 0, view 1, and view 2 are extracted to extract a bitstream of three views. Information on a set of viewpoints for allowing the stream to be extracted may be set as the viewpoint extraction method information.

또한 일실시예에 따른 시점 집합 정보는, 추출 가능한 모든 시점 집합 방법에 대한 정보 및 추출 가능하더라도 디코딩 후 디스플레이를 수행할지 여부를 나타내는 정보를 포함할 수도 있다. 예를 들어, 4개의 시점들 중에서 2개의 시점들의 비트스트림을 추출하려면 시점 0, 시점 1의 영상 집합의 비트스트림이 추출 가능하다는 정보가 설정될 수 있고, 3개의 시점의 비트스트림을 추출하기 위해 시점 0, 시점 1 및 시점 2의 비트스트림만 추출 가능하다는 정보가 설정될 수 있다.Also, the viewpoint set information according to an embodiment may include information on all extractable viewpoint set methods and information indicating whether to perform display after decoding even if extractable. For example, in order to extract a bitstream of two viewpoints among four viewpoints, information indicating that a bitstream of an image set of viewpoint 0 and viewpoint 1 can be extracted may be set, and to extract bitstreams of three viewpoints. Information that only bitstreams of the time point 0, the time point 1 and the time point 2 can be extracted may be set.

또한 일실시예에 따라 시점 추출 방법 정보 및 스케일러블 계층 추출 방법 정보가 독립적으로 존재할 경우, 일실시예에 따른 스케일러블 계층 요약 정보는 아래 표 2과 같은 신택스로 기술될 수 있다. In addition, when the view extraction method information and the scalable layer extraction method information exist independently according to an embodiment, the scalable layer summary information according to an embodiment may be described in the syntax shown in Table 2 below.

scalable_information(){scalable_information () { image_idimage_id scalable_number   scalable_number for(i=0; i<scalable_number; i++)   for (i = 0; i <scalable_number; i ++) 스케일러블 계층 정보      Scalable layer information }   } }}

일실시예에 따른 스케일러블 계층 요약 정보의 신택스 'scalable_information'는, 해당 스케일러블 계층 요약 정보의 식별 정보 'image_id', 스케일러블 계층 개수 정보 'scalable_number', 스케일러블 계층 정보를 포함한다. 시점 식별 정보는, 현재 스케일러블 계층 정보가 어느 시점에 대한 스케일러블 계층인지 나타내며, 스케일러블 계층 개수 정보는 현재 스케일러블 계층이 지원할 수 있는 계층의 총 개수를 나타낸다. 스케일러블 계층 정보는 스케일러블 계층 총 개수만큼 반복하여 설정될 수 있다. The syntax 'scalable_information' of the scalable layer summary information according to an embodiment includes identification information 'image_id', scalable layer number information 'scalable_number', and scalable layer information of the scalable layer summary information. The viewpoint identification information indicates which scalable layer information the current scalable layer information is for, and the scalable layer number information indicates the total number of layers that the current scalable layer can support. The scalable layer information may be repeatedly set by the total number of scalable layers.

일실시예에 따른 시점 식별 정보는, 시점의 식별 번호 정보 또는 분할된 시점 중 어느 부분의 시점인지를 나타내는 위치 정보로 설정될 수 있다. 일실시예에 따른 스케일러블 계층 정보는 스케일러블 계층에 대한 해상도, 프레임율, 비트레이트 등에 대한 정보가 설정될 수 있다. The viewpoint identification information according to an embodiment may be set as position number indicating which part of the viewpoint or identification number information of the viewpoint or the divided viewpoint. In the scalable layer information, information on a resolution, a frame rate, a bit rate, and the like of the scalable layer may be set.

도 15는 일실시예에 따라 영상에 대응하는 날 유닛의 비트스트림 추출 방법의 흐름도(1500)를 도시한다.15 is a flowchart 1500 of a method of extracting a bitstream of a raw unit corresponding to an image, according to an exemplary embodiment.

일실시예에 따른 비트스트림 추출부(330)은, 다시점 스케일러블 비디오 비트스트림을 날 유닛별로 확인하여 현재 날 유닛이 추출하고자 하는 시점에 대응하는 비트스트림인지 확인함으로써 추출 대상인 시점의 비트스트림만 추출할 수 있다. 날 유닛 단위의 비트스트림 추출 방법의 흐름도(1500)는 아래와 같다.The bitstream extractor 330 according to an embodiment may check the multiview scalable video bitstream for each unit to determine whether the current raw unit is a bitstream corresponding to the point in time to be extracted, thereby extracting only the bitstream at the point of time to be extracted. Can be extracted. A flowchart 1500 of a method of extracting a bitstream in units of raw units is as follows.

단계 1510에서, 현재 날 유닛이 추출하고자 하는 시점의 날 유닛이면 단계 1520으로 진행하고, 만약 그렇지 않다면 단계 1530으로 진행한다.In step 1510, if the current day unit is the day unit to be extracted, go to step 1520; otherwise, go to step 1530.

단계 1520에서, 현재 날 유닛이 추출하고자 하는 시점들이 참조로 하는 시점의 날 유닛이면 단계 1540으로 진행한다. 만약 그렇지 않다면 단계 1530으로 진행한다. In step 1520, if the current day unit is a day unit of a view point to which the time points to be extracted are referred, the flow proceeds to step 1540. If not, go to step 1530.

단계 1530에서, 현재 날 유닛이 추출되지 않고 다음 날 유닛으로 추출 동작이 진행한다.In operation 1530, the extraction operation proceeds to the next day unit without extracting the current day unit.

단계 1540에서, 현재 날 유닛이 추출되어 저장되고 다음 날 유닛으로 추출 동작이 진행한다.In operation 1540, the current day unit is extracted and stored, and the extraction operation proceeds to the next day unit.

도 16은 다른 실시예에 따라 스케일러블 계층별 정보에 대응하는 날 유닛의 비트스트림 추출 방법의 흐름도를 도시한다.16 is a flowchart of a method of extracting a bitstream of a raw unit corresponding to scalable layer-specific information according to another embodiment.

일실시예에 따른 비트스트림 추출부(330)은, 스케일러블 계층 추출 정보에 기초하여 추출 설정된 스케일러블 계층 및 현재 비트스트림의 스케일러블 계층 간의 상하를 비교하여 현재 비트스트림의 추출 여부를 결정할 수 있다. 예를 들어, 추출되도록 설정된 스케일러블 계층보다 현재 비트스트림의 스케일러블 계층이 하위 계층인지 판단하고, 만약 현재 비트스트림의 스케일러블 계층이 하위 계층이라면, 현재 날 유닛이 추출되고 그렇지 않다면 추출되지 않을 수 있다. The bitstream extractor 330 according to an embodiment may determine whether to extract the current bitstream by comparing the up and down between the scalable layer and the scalable layer of the current bitstream based on the scalable layer extraction information. . For example, it is determined whether the scalable layer of the current bitstream is a lower layer than the scalable layer set to be extracted, and if the scalable layer of the current bitstream is a lower layer, the current raw unit is extracted, otherwise it may not be extracted. have.

전술된 실시예에 따른 날 유닛 단위의 스케일러블 계층별 비트스트림 추출 방법의 흐름도(1600)는 아래와 같다.A flowchart 1600 of a method for extracting a bitstream for each scalable layer according to an embodiment described above is as follows.

단계 1610 에서, 현재 날 유닛이 추출 설정된 스케일러블 계층보다 하위 계층이거나 동일한 계층의 날 유닛이라면 단계 1620으로 진행한다. 만약 그렇지 않다면 단계 1630으로 진행한다.In operation 1610, if the current raw unit is a lower layer or a raw unit of the same layer as the extracted scalable layer, the flow proceeds to step 1620. If not, go to step 1630.

단계 1620에서, 현재 유닛이 추출되어 저장되고 다음 날 유닛으로 추출 동작이 진행한다.In operation 1620, the current unit is extracted and stored, and the extraction operation is performed to the next day unit.

단계 1630에서, 현재 날 유닛이 추출되지 않고 다음 날 유닛으로 추출 동작이 진행한다.
In operation 1630, the extraction operation proceeds to the next day unit without extracting the current day unit.

일실시예에 따라, 다시점 스케일러블 비디오 비트스트림으로부터 비트스트림을 선택적으로 추출하는 방법을 검증하기 위해서 다시점 비디오 부호화의 공식 실험 영상 'flamenco2'를 이용한 결과가 후술된다. According to an embodiment, a result of using the official experimental image 'flamenco2' of multiview video encoding to verify a method of selectively extracting a bitstream from a multiview scalable video bitstream is described below.

VGA, QVGA 급 공간적 해상도의 2개의 공간적 계층, 30Hz, 15Hz 시간적 해상도의 2개의 시간적 계층, 및 기본 양자화 파라미터(Quantization Parameter; QP)를 37, MGS 계층 QP는 32로 하여 3개의 화질 계층을 갖도록 설정된 스케일러블 계층 및 4개의 영상 시점을 지원하는 실감형 다시점 스케일러블 비디오 인코딩이 일실시예에 따라 수행되었다. VGA, two spatial layers with QVGA-class spatial resolution, two temporal layers with 30Hz and 15Hz temporal resolution, and a basic quantization parameter (QP) of 37 and MGS layer QP of 32. An immersive multiview scalable video encoding supporting a scalable layer and four image viewpoints was performed according to an embodiment.

일실시예에 따라 생성된 제1 다시점 스케일러블 비디오 비트스트림으로부터, 고화질 입체 단말, 고화질 2D 단말, 고성능 이동형 단말, 저성능 이동형 단말에 적합한 제2 다시점 스케일러블 비디오 비트스트림이 추출되었다. 실험의 결과는 아래 표 3과 같다. From the first multiview scalable video bitstream generated according to an embodiment, a second multiview scalable video bitstream suitable for a high definition stereoscopic terminal, a high definition 2D terminal, a high performance mobile terminal, and a low performance mobile terminal has been extracted. The results of the experiment are shown in Table 3 below.

서비스 종류Type of service 해상도resolution 화면율
(Hz)Refresh rate
(Hz) 화질계층Quality layer 시점 수Number of viewpoints 비트율
(Kbps)Bit rate
(Kbps) Universal
BitstreamUniversal
Bitstream 640x480640 x 480 3030 33 44 15071.0015071.00 고화질 입체Definition stereoscopic 640x480640 x 480 3030 33 22 7841.537841.53 고화질 2DDefinition 2D 640x480640 x 480 3030 33 1One 3796.083796.08 이동형 단말 (고성능)Mobile terminal (high performance) 320x240320 x 240 1515 22 1One 483.00483.00 이동형 단말 (저성능)Mobile terminal (low performance) 320x240320 x 240 1515 1One 1One 252.40252.40

유니버설 비트스트림(Universal Bitstream)은, 일실시예에 따른 다시점 스케일러블 비디오 인코딩을 이용하여 생성된 모든 계층 정보가 포함되어 있는 비트스트림을 의미한다.The universal bitstream refers to a bitstream including all hierarchical information generated using multi-view scalable video encoding according to an embodiment.

일실시예에 따라 다시점 스케일러블 비디오 비트스트림으로부터 비트스트림을 선택적으로 추출하는 방법을 이용한 결과, 약 비트레이트 15071 Kbps을 갖는 유니버셜 비트스트림으로부터 디코딩 단말의 성능(공간적 해상도, 시간적 해상도, 화질, 시점)과 네트워크 전송 환경에 적합한 비트스트림이 추출되었다. As a result of using a method of selectively extracting a bitstream from a multiview scalable video bitstream according to an embodiment, the performance (spatial resolution, temporal resolution, image quality, viewpoint, spatial resolution, temporal resolution, quality, viewpoint, etc.) of the decoding terminal from the universal bitstream having a bit rate of about 15071 Kbps ) And a bitstream suitable for network transmission environment.

일실시예로 저성능의 이동형 단말에 대해 다시점 스케일러블 비디오 컨텐츠를 서비스하는 경우에, 일실시예에 따른 비트스트림의 선택적 추출 방법을 통해 추출된 비트스트림이 약 252 Kbps의 비트레이트로 전송되므로, 일실시예에 따른 비트스트림의 선택적 추출 방법을 채택하지 않은 경우에 비하여 약 14819 Kbps(15071 Kbps - 252 Kbps = 14819 Kbps)의 네트워크 대역폭을 절약하면서 해당 단말의 성능에 적합한 서비스가 제공될 수 있다.In one embodiment, when serving multi-view scalable video content for a low-performance mobile terminal, the extracted bitstream is transmitted at a bit rate of about 252 Kbps through the selective extraction method of the bitstream according to the embodiment. In comparison with the case where the selective extraction method of the bitstream according to an embodiment is not adopted, a service suitable for the performance of the corresponding terminal may be provided while saving network bandwidth of about 14819 Kbps (15071 Kbps-252 Kbps = 14819 Kbps). .

도 17 내지 19를 참조하여, 다양한 실시예들에 따른 비트스트림의 재구성에 대해 상술된다. 일실시예에 따른 비트스트림 추출부(330) 및 제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)의 동작이 관련된다. 17-19, reconstruction of a bitstream in accordance with various embodiments is described in detail. Operation of the bitstream extractor 330 and the second multiview scalable video bitstream reconstructor 340 according to an embodiment is related.

일실시예에 따른 비트스트림 추출부(330)에 의해 추출되어 제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)에 의해 재구성된 비트스트림은, i) H.264 비디오 코딩 표준, ii) SVC(Scalable Video Coding) 비디오 코딩 표준, iii) MVC(Multi-view Video Coding) 비디오 코딩 표준, 및 iv) 일실시예에 따른 다시점 스케일러블 비디오 디코딩 방법 중 하나에 따르는 디코더에서 디코딩될 수 있다. 재구성된 비트스트림은 조합 과정을 통해 하나의 비트스트림으로 출력되거나, 시점별로 별개의 비트스트림들로 출력될 수 있다. The bitstream extracted by the bitstream extractor 330 and reconstructed by the second multiview scalable video bitstream reconstructor 340 may include: i) H.264 video coding standard, ii) SVC (Scalable Video Coding) video coding standard, iii) Multi-view Video Coding (MVC) video coding standard, and iv) a multi-view scalable video decoding method according to one embodiment. The reconstructed bitstream may be output as one bitstream through a combining process or may be output as separate bitstreams for each view.

일실시예에 따라 M개의 시점에 대한 다시점 스케일러블 비디오 비트스트림은 추출 과정을 통해 N개(1≤N≤M)의 시점별 비트스트림으로 추출된 후, 제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)는 시점별 비트스트림들을 코딩 순서대로 조합하여 하나의 비트스트림으로 재구성할 수 있다. 또한, 제2 다시점 스케일러블 비디오 비트스트림 재구성부(340)는 추출된 시점별 비트스트림들을 조합하여 N개의 비트스트림으로 재구성할 수 있다. According to an embodiment, a multiview scalable video bitstream for M views is extracted into N (1≤N≤M) viewpoint bitstreams through an extraction process, and then a second multiview scalable video bitstream The reconstructor 340 may reconstruct the view bitstreams into one bitstream by combining the bitstreams for each view in coding order. Also, the second multiview scalable video bitstream reconstruction unit 340 may reconstruct the extracted N-bitstreams by combining the extracted bitstreams for each view.

도 17 및 18은 다시점 스케일러블 비디오 비트스트림으로부터 비트스트림을 선택적으로 추출하는 일실시예에 따라, 시점 및 공간적 계층, 시간적 계층, 화질적 계층에 대하여 각각의 시점별로 추출된 액세스 유닛을 조합하여 제2 다시점 스케일러블 비디오 비트스트림을 재구성하는 재구성 모듈이 포함된 실시예들을 도시하고 있다.17 and 18 illustrate a combination of access units extracted for each view for a view and a spatial layer, a temporal layer, and a quality layer, according to an embodiment for selectively extracting a bitstream from a multiview scalable video bitstream. Embodiments in which a reconstruction module that reconstructs a second multiview scalable video bitstream are included.

도 17은 일실시예에 따른 비트스트림 추출부 및 비트스트림 재구성부의 구조를 도시한다. 일실시예에 따라, 비트스트림 추출 모듈(1710)은 다시점 스케일러블 비디오 비트스트림을 입력받아, 시점 및 공간적, 시간적, 화질적 계층별 비트스트림의 날 유닛들로 구성된 시점별 비트스트림 0, 1, ..., N의 액세스 유닛들을 추출하여 재구성 모듈(1720)로 출력할 수 있다. 재구성 모듈(1720)은 추출된 액세스 유닛들을 디코딩될 순서대로 조합하여 하나의 다시점 스케일러블 비디오 비트스트림으로 재구성하여 출력할 수 있다.17 illustrates structures of a bitstream extractor and a bitstream reconstruction unit, according to an embodiment. According to an embodiment, the bitstream extraction module 1710 receives a multiview scalable video bitstream, and includes a viewpoint and a bitstream 0, 1 composed of day units of the spatial and temporal, temporal, and quality layer-specific bitstreams. N, ..., N may be extracted and output to the reconfiguration module 1720. The reconstruction module 1720 may reconstruct and output the extracted access units into one multiview scalable video bitstream by combining the extracted access units in the order to be decoded.

도 18은 다른 실시예에 따른 비트스트림 추출부 및 비트스트림 재구성부의 구조를 도시한다. 다른 실시예에 따라, 비트스트림 추출 모듈(1710)은 다시점 스케일러블 비디오 비트스트림을 입력받아, 시점 및 공간적, 시간적, 화질적 계층별 비트스트림의 날 유닛들로 구성된 시점별 비트스트림 0, 1, ..., N의 액세스 유닛들을 추출하여 재구성 모듈(1820)로 출력할 수 있다.18 illustrates structures of a bitstream extractor and a bitstream reconstruction unit according to another embodiment. According to another exemplary embodiment, the bitstream extraction module 1710 receives a multiview scalable video bitstream, and includes a viewpoint and a bitstream 0, 1 composed of day units of a spatial, temporal, and quality layer-specific bitstream. The access units of ..., N may be extracted and output to the reconstruction module 1820.

재구성 모듈(1820)은 다수의 서브-재구성 모듈들(1822, 1824, 1826)로 구성된다. 추출된 시점별 비트스트림 0, 1, ..., N의 액세스 유닛들 각각은, 서브-재구성 모듈 0(1822), 서브-재구성 모듈 1(1824), ..., 서브-재구성 모듈 N(1826)로 입력된다. 각각의 서브-재구성 모듈(1822, 1824, 1826)은 입력된 시점별 비트스트림의 액세스 유닛을 재구성된 영상별 다시점 스케일러블 비디오 비트스트림으로서 출력할 수 있다. Reconstruction module 1820 is composed of a number of sub-reconstruction modules 1822, 1824, 1826. Each of the access points of the extracted time-point bitstreams 0, 1, ..., N may include sub-reconstruction module 0 1822, sub-reconstruction module 1 1824, ..., sub-reconstruction module N ( 1826). Each sub-reconstruction module 1822, 1824, 1826 may output the access unit of the input per-view bitstream as a reconstructed per-view scalable video bitstream.

도 19는 일실시예에 따른 비트스트림 추출 및 비트스트림 재구성 방법의 흐름도(1900)를 도시한다.19 illustrates a flowchart 1900 of a method of bitstream extraction and bitstream reconstruction according to an embodiment.

단계 1910 에서, 시점 및 공간적, 시간적, 화질적 스케일러블 계층에 대하여 시점별로 추출된 액세스 유닛이 입력된다. In operation 1910, an access unit extracted for each view is input to the view and the spatial, temporal, and image quality scalable layers.

단계 1920에서는, 입력된 액세스 유닛이 시점들의 디코딩 순서에 따라 하나의 다시점 스케일러블 비디오 비트스트림으로 재구성되어 다시점 스케일러블 비디오 비트스트림이 출력된다. In step 1920, the input access unit is reconstructed into one multiview scalable video bitstream according to the decoding order of viewpoints, and a multiview scalable video bitstream is output.

단계 1930에서, 입력된 액세스 유닛이 각각의 시점별 다시점 스케일러블 비디오 비트스트림으로서 그대로 출력된다.In step 1930, the input access unit is output as it is as a multiview scalable video bitstream for each view.

비트스트림 재구성 과정을 통해 생성된 다시점 스케일러블 비디오 비트스트림은, 비트스트림에 포함되어 있는 시점별 스케일러블 계층으로 나누어 디코딩된다. 시점별 스케일러블 계층은, 공간적 계층, 시간적 계층 및 화질적 계층 등일 수 있다.The multiview scalable video bitstream generated through the bitstream reconstruction process is divided into viewable scalable layers included in the bitstream and decoded. The viewable scalable layer may be a spatial layer, a temporal layer, an image quality layer, or the like.

예를 들어, 다시점 스케일러블 비디오 비트스트림 생성 장치(400)에 의해 2개의 시점과 2개의 공간적 스케일러블 계층(QVGA, VGA)을 지원하는 비트스트림이 생성되고, 일실시예에 따른 다시점 스케일러블 비디오 추출 장치(300)는 2개의 시점과 VGA급 공간적 해상도의 영상으로 디코딩될 수 있는 하나의 비트스트림을 추출할 수 있다. 디코더는 2개의 시점과 VGA급 공간적 해상도의 비트스트림을 입력받아 2개의 시점별 스케일러블 계층으로 나누고 디코딩하고, 두 개의 VGA 크기 시점 영상을 복원할 수 있다. For example, a multi-view scalable video bitstream generating apparatus 400 generates a bitstream supporting two viewpoints and two spatial scalable layers (QVGA, VGA), and according to an embodiment, The flexible video extraction apparatus 300 may extract one bitstream that may be decoded into two views and a video having a VGA-level spatial resolution. The decoder receives two view points and a bitstream having VGA-level spatial resolution, divides them into two scalable layers per view, decodes them, and restores two VGA size view images.

도 20은 일실시예에 따른 다시점 스케일러블 비디오 디코딩의 일 방식을 도시한다.20 illustrates one scheme of multiview scalable video decoding according to an embodiment.

일실시예에 따른 다시점 스케일러블 비디오 비트스트림 디코딩 모듈(2000)은 역다중화(Demultiplexing) 모듈(2040) 및 M개의 서브-디코딩 모듈들(2022, 2024, 2026, 2028 등)을 포함한다.The multi-view scalable video bitstream decoding module 2000 according to an embodiment includes a demultiplexing module 2040 and M sub-decoding modules 2022, 2024, 2026, 2028, and the like.

역다중화 모듈(2040)은 하나의 다시점 스케일러블 비트스트림 또는 디코딩 대상인 시점 개수만큼의 시점별 스케일러블 비디오 비트스트림을 입력받을 수 있다. 역다중화 모듈(2040)이 하나의 비트스트림을 입력받는 경우, 입력된 하나의 비트스트림을 시점별 비트스트림들로 분해하여 각각의 시점별 비트스트림들을 서브-디코딩 모듈(2022, 2024, 2026, 2028)로 출력한다. 각각의 서브-디코딩 모듈(2022, 2024, 2026, 2028)은 입력된 각각의 시점별 비트스트림에 대해 스케일러블 비디오 디코딩을 수행할 수 있다. The demultiplexing module 2040 may receive one multiview scalable bitstream or a scalable video bitstream for each view as many as the number of views that are decoding targets. When the demultiplexing module 2040 receives one bitstream, the sub-decoding module 2022, 2024, 2026, 2028 decomposes the input one bitstream into view-point bitstreams. ) Each sub-decoding module 2022, 2024, 2026, 2028 may perform scalable video decoding on each input view-point bitstream.

또한 역다중화 모듈(2040)의 입력이 여러 개의 시점별 비트스트림인 경우에는, 별도의 비트스트림 분해 과정 없이, 각각의 시점별 비트스트림이 각각의 서브-디코딩 모듈(2022, 2024, 2026, 2028))에 전달되어 디코딩이 수행될 수 있다.In addition, when the input of the demultiplexing module 2040 is a plurality of view-point bitstreams, each view-point bitstream is a sub-decoding module 2022, 2024, 2026, 2028 without a separate bitstream decomposition process. ) And decoding may be performed.

도 21은 일실시예에 따른 다시점 스케일러블 비디오 인코딩의 일 방식을 도시한다.21 illustrates one scheme of multiview scalable video encoding according to an embodiment.

일실시예에 따른 다시점 스케일러블 비디오 비트스트림으로부터 비트스트림을 선택적으로 추출하기 위해, 비트스트림 추출 정보와 비트스트림 요약 정보를 이용할 수 있다. 비트스트림 요약 정보는 외부로부터 입력될 수도 있으며, 일실시예에 따른 다시점 스케일러블 비디오 추출 장치(300)에서 비트스트림 요약 정보가 생성될 수도 있다. 또한, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성 장치(400)는 비트스트림 요약 정보를 생성하여 다시점 스케일러블 비디오 비트스트림에 삽입하여 전송할 수도 있다.In order to selectively extract a bitstream from a multi-view scalable video bitstream according to an embodiment, bitstream extraction information and bitstream summary information may be used. The bitstream summary information may be input from the outside, and the bitstream summary information may be generated in the multiview scalable video extraction apparatus 300 according to an embodiment. Also, the apparatus for generating a multiview scalable video bitstream 400 according to an embodiment may generate bitstream summary information and insert the bitstream summary information into a multiview scalable video bitstream.

비트스트림 요약 정보는 시점 추출에 관한 정보와 스케일러블 계층 정보로, 시점 추출에 관련하여 해당 비트스트림이 제공될 때 가장 적합한 시점 정보를 추출하기 위한 방법 정보와 해당 비트스트림이 제공될 때 디코딩이 가능하도록 하기 위해 시점들의 의존성을 기록한 시점별 정보 그리고 비트스트림 내의 영상들마다 가지고 있는 스케일러블 계층 정보가 있을 수 있다. The bitstream summary information is information about view extraction and scalable layer information, and method information for extracting view information most suitable when a corresponding bitstream is provided in relation to view extraction and decoding when the corresponding bitstream is provided can be decoded. To this end, there may be view-by-view information that records the dependencies of viewpoints and scalable layer information that is included for each image in the bitstream.

일실시예에 따른 비트스트림 요약 정보는, 코딩된 비트스트림 내에 포함될 수도 있고 또 다른 일 예로 추출기에서 비트스트림 요약 정보를 생성할 수 있고, 외부에서 정의될 수 있다. The bitstream summary information according to an embodiment may be included in the coded bitstream or as another example, the extractor may generate the bitstream summary information and may be externally defined.

일실시예에 따른 다시점 스케일러블 비디오 인코더(2100)는 시점 추출 정보 생성 모듈(2110), 서브-인코딩 모듈들(2122, 2124, 2126, 2128) 및 다중화 모듈(2130)을 포함한다. The multi-view scalable video encoder 2100 according to an embodiment includes a view extraction information generation module 2110, sub-encoding modules 2122, 2124, 2126, and 2128, and a multiplexing module 2130.

시점 추출 정보 생성 모듈(2110)은 시점 추출 방법 정보 및 시점별 정보를 이용하여 비트스트림 요약 정보로서 시점 추출 요약 정보를 생성할 수 있다. 각각의 서브-인코딩 모듈들(2122, 2124, 2126, 2128)에서는 각각의 코딩된 스케일러블 계층 정보를 포함하는 스케일러블 계층 요약 정보를 비트스트림 요약 정보로서 생성할 수 있다. The viewpoint extraction information generation module 2110 may generate viewpoint extraction summary information as bitstream summary information by using viewpoint extraction method information and viewpoint information. Respective sub-encoding modules 2122, 2124, 2126, and 2128 may generate scalable layer summary information including respective coded scalable layer information as bitstream summary information.

시점 추출 정보 생성 모듈(2110)에 의해 생성된 비트스트림 요약 정보는, 다중화 모듈(2130)을 통해, 각각의 서브-인코딩 모듈(2122, 2124, 2126, 2128)에서 인코딩이 수행된 후 출력 데이터들에 삽입되어, 하나의 통합된 다시점 스케일러블 비디오 비트스트림이 출력될 수 있다. The bitstream summary information generated by the viewpoint extraction information generation module 2110 is output data after encoding is performed in each sub-encoding module 2122, 2124, 2126, and 2128 through the multiplexing module 2130. Inserted in, one integrated multiview scalable video bitstream may be output.

일실시예에 따른 비트스트림 요약 정보로는 시점 추출 방법 정보와 각각의 시점별 스케일러블 계층 정보가 있다. 일실시예에 따른 비트스트림 요약 정보는, 실제 비트스트림의 디코딩에는 영향을 주지 않는 부가적인 정보로써 보충적 개선 정보(Supplemental Enhancement Information; SEI) 형태로 다시점 스케일러블 비디오 비트스트림 내부에 포함되어 제공될 수 있다. Bitstream summary information according to an embodiment includes view extraction method information and scalable layer information for each view. Bitstream summary information according to an embodiment may be included in a multiview scalable video bitstream in the form of Supplemental Enhancement Information (SEI) as additional information that does not affect the decoding of the actual bitstream. Can be.

또한 일실시예에 따른 비트스트림 요약 정보는, 다시점 스케일러블 비디오 비트스트림과는 별개의 비트스트림으로 제공될 수도 있다. In addition, the bitstream summary information may be provided as a bitstream separate from the multiview scalable video bitstream.

일실시예에 따른 비트스트림 요약 정보 중 시점 요약 정보는 시점 추출 방법 정보 및 시점별 정보를 포함한다. 일실시예에 따른 시점 추출 방법 정보는, 비트스트림을 이용한 서비스 제공시 서비스에 가장 적합한 시점 집합을 인코딩단에서 미리 설정해놓은 정보를 포함할 수 있다. 일실시예에 따른 시점별 정보는, 시점간 자유로운 변경을 지원하기 위하여 디코딩에 필요한 경우 각각의 시점이 필요로 하는 의존성 정보를 포함할 수 있다. The viewpoint summary information of the bitstream summary information according to an embodiment includes viewpoint extraction method information and viewpoint information. The viewpoint extracting method information according to an embodiment may include information previously set in the encoding stage of a viewpoint set most suitable for a service when providing a service using a bitstream. The viewpoint-specific information according to an embodiment may include dependency information required for each viewpoint when necessary for decoding in order to support free change between viewpoints.

일실시예에 따라 SEI 형태로 제공되는 시점 추출 정보에 대한 신택스가 표 4에 기술되어 있다.In accordance with an embodiment, the syntax for the view extraction information provided in the SEI form is described in Table 4.

MVSC_multiview_SEI( ){MVSC_multiview_SEI () { view_numberview_number for(i=0; i<view_number; i++){   for (i = 0; i <view_number; i ++) { 시점별 의존성 정보Perspective dependency information }   } View_set_number  View_set_number for(j=0; j<view_set_number; j++){for (j = 0; j <view_set_number; j ++) { view_set을 이용한 시점 추출 방법 정보View point extraction method using view_set }} }}

다시점 스케일러블 비디오 코딩의 SEI 신택스 'MVSC_mulitview_SEI'는 코딩된 시점의 개수 'view_number', 시점별 의존성 정보 및 시점 집합 정보의 개수 정보 "view_set_number와 시점 집합 정보 'view_set'을 이용한 시점 추출 방법 정보를 포함한다.The SEI syntax 'MVSC_mulitview_SEI' of multi-view scalable video coding includes information about a view extraction method using the number of coded views 'view_number', view dependency information and view set information, "view_set_number and view set information 'view_set'. do.

일실시예에 따른 시점별 의존성 정보는, 임의의 시점이 선택된 경우, 현재 시점을 디코딩하기 위해 참조할 다른 시점에 대한 정보를 포함할 수 있다. 시점별 의존성 정보는, 자유로운 시점 변경을 지원하기 위해 필요하다. The viewpoint-dependent dependency information according to an embodiment may include information about another viewpoint to be referred to for decoding the current viewpoint, when an arbitrary viewpoint is selected. Per-point dependency information is needed to support free point-in-time changes.

시점 집합 정보 'view_set'은, 시점 추출을 지원하기 위해 인코딩단에서 미리 지정해놓는 시점 집합에 관한 정보로서, 시점 집합 개수 정보'view_set_number'는 필요에 따라 자유롭게 지정될 수 있는 시점 집합의 개수를 나타낸다. 입력된 시점 추출 방법에 관한 매개 변수를 통해, 필요한 시점 개수가 다른 각각의 어플리케이션들에게 적합한 시점 집합에 관한 정보이다. 'view set[n]'은 개념 적으로 최적의 서비스의 제공을 위해 필요한 시점에 대응하여 권고되는 n개의 시점 집합 중 하나를 의미하며, 코딩을 수행하는 측에서 입력 영상의 주관적인 특징을 확인 후 서비스에 가장 적합하다고 판단한 시점들의 집합이다. 다시점 비디오 코딩의 자유로운 시점 예측 구조에 따라 제공될 서비스 - 3d 입체 혹은 2시점 이상의 다시점 컨텐츠- 에 대응하는 시점 집합이 복수로 존재할 수 있으며, 따라서 시점 집합 정보 'view_set[n]은 시점 집합 정보의 개수 'view_set_number' 만큼 존재할 수 있다. 여기서 n은 view_set_number의 값임을 명기한다. 시점 집합 정보의 개수 'view_set_number'가 코딩된 시점의 개수 'view_number'와 같다면 제공될 서비스에 대응하는 시점 집합이 일대일로 대응됨을 나타내고, 시점 집합 정보의 개수 'view_set_number'가 코딩된 시점의 개수 'view_number' 보다 크다면 제공될 서비스에 대응하는 시점 집합이 하나 이상이 될 수 있음을 의미한다. 이하 시점 집합의 사용에 관한 구체적인 실시일예를 도 27에 도시하였다. The viewpoint set information 'view_set' is information about a viewpoint set previously designated by the encoding stage to support viewpoint extraction, and the viewpoint set number information 'view_set_number' indicates the number of viewpoint sets that can be freely designated as necessary. Information about a viewpoint set suitable for each application having a different required number of viewpoints through a parameter regarding an input viewpoint extraction method. 'view set [n]' conceptually means one of the n set of viewpoints recommended to correspond to the time points needed to provide the optimal service, and the service that performs the service after checking the subjective characteristics of the input image from the coding side. Is the set of time points that we determine are the most appropriate for. There may be a plurality of viewpoint sets corresponding to a service to be provided according to a free viewpoint prediction structure of multiview video coding-3D stereoscopic or multiview contents of two or more viewpoints, and thus, the viewpoint set information 'view_set [n] As many as 'view_set_number' may exist. Where n is the value of view_set_number. If the number of view set information 'view_set_number' is the same as the number of coded views' view_number ', this indicates that the view set corresponding to the service to be provided corresponds one-to-one, and the number of views set with the number of view set information' view_set_number 'is coded' If greater than view_number ', it means that there may be more than one view set corresponding to a service to be provided. 27 illustrates a specific embodiment of the use of a set of viewpoints.

도 27은 시점 0, 1, 2의 3개 시점들을 지원하는 코딩된 시점 영상들에 대해 인코더(2100)측에서 시점 조합 정보 'view_set'을 지정한 일예이다. 도 27에서 코딩된 시점의 개수 'view_number'는 3이며 각각의 시점 집합 'view set[X]'은 '(X % view number)+1'개의 필요 시점에 대응하는 시점 집합을 나타내며, 시점 집합 'view set[X]'는 적합한 시점들을 지정할 수도 있으며, 지정되지 않는 경우는 정보가 없음을 나타낼 수도 있다.FIG. 27 is an example of specifying view combination information 'view_set' at the encoder 2100 for coded view images that support three views of views 0, 1, and 2. FIG. The number of viewpoints' view_number 'coded in FIG. 27 is 3, and each viewpoint set' view set [X] 'represents a viewpoint set corresponding to' (X% view number) +1 'required viewpoints, and the viewpoint set' view set [X] 'may specify appropriate views, or if not specified, may indicate that there is no information.

예를 들어, 단일 시점 디스플레이의 지원을 위하여 필요한 시점의 개수는 1개 이다. 도 27에 예시된 시점 집합 정보 'view set[X]' 가운데 X가 0이거나 3인 경우 1개의 필요 시점에 대응하는 시점 집합을 나타낼 수 있으며, 추출시 시점 집합 {view#0},{non} 으로 지정될 수 있다. 여기서 non은 값을 지정해 주지 않은 경우로 실제 추출 과정에서는 값으로 지정된 시점 0 만을 추출할 수 있다. 또한 3차원 입체 영상 서비스를 지원하기 위하여 2개의 시점이 필요한 경우, 이에 대응하는 시점 집합은 X가 1 또는 4일 때 이며, 추출될 필요 시점들에 대응하는 시점 집합으로 {view#0-view#1},{view#0-view#2} 가운데 선택적으로 추출할 수도 있다. 또한 3시점 디스플레이를 지원에 대응하는 시점 집합의 경우는 X가 2 혹은 5일 경우이며, 추출시 필요 시점에 대응하는 시점 집합으로 {view#0- view #1- view #2},{ view #0- view #1- view #2} 가운데 선택적으로 추출하여 사용할 수 있다. 일실시예에 따른 비트스트림 요약 정보 중 스케일러블 계층 요약 정보가 SEI 형태로 제공되는 경우의 신택스가 아래 표 5에서 기술된다.  For example, the number of viewpoints required for supporting a single viewpoint display is one. In the view set information 'view set [X]' illustrated in FIG. 27, when X is 0 or 3, a view set corresponding to one required view may be indicated, and a view set {view # 0} and {non} during extraction Can be specified. Here, non is a value that is not specified. In the actual extraction process, only a time point 0 specified as a value can be extracted. In addition, when two viewpoints are required to support the 3D stereoscopic image service, a corresponding view set is when X is 1 or 4, and a view set corresponding to the required view points to be extracted is {view # 0-view # 1}, {view # 0-view # 2} can be extracted selectively. In the case of a viewpoint set that supports 3 viewpoint display, X is 2 or 5, and a set of viewpoints corresponding to a required time point when extracting {view # 0- view # 1- view # 2}, {view # 0- view # 1- view # 2} can be selectively extracted and used. A syntax when scalable layer summary information is provided in SEI form among bitstream summary information according to an embodiment is described in Table 5 below.

MVSC_scalable_SEI(){MVSC_scalable_SEI () { view_idview_id scalable_number   scalable_number for(i=0; i<scalable_number; i++)   for (i = 0; i <scalable_number; i ++) 스케일러블 계층 정보      Scalable layer information }   } }}

표 5의 SEI 신택스는 표 3의 스케일러블 계층 요약 정보 신택스 'scalable information SEI'에 'view_id'가 추가된 형태이다. 따라서 다수의 시점 영상들에 대해 스케일러블 비디오 코딩을 수행하는 경우 다수의 스케일러블 계층 정보가 생성되더라도, 스케일러블 계층 요약 정보에 시점 식별 정보 'view_id'를 추가함으로써, 해당 스케일러블 계층 정보가 어느 시점 영상에 관한 정보인지 식별될 수 있다. The SEI syntax of Table 5 is a form in which 'view_id' is added to the scalable layer summary information syntax 'scalable information SEI' of Table 3. Therefore, when scalable video coding is performed on a plurality of view images, even when a plurality of scalable layer information is generated, by adding the view identification information 'view_id' to the scalable layer summary information, the corresponding scalable layer information may be viewed at a certain point in time. It may be identified whether the information is about the image.

전술된 비트스트림 요약 정보 또는 SEI 형태의 비트스트림 요약정보를 이용하여 최종적인 추출 정보를 결정하는 구체적인 실시일예가 도 13 및 도 28, 도29를 이용하여 후술된다. 도 13은 전술된 내용과 같이, 사용자를 통해 추출기로 입력된 간단한 형태의 비트스트림 추출 정보(1310)와 존재하거나 혹은 존재하지 않는 경우 생성된 비트스트림 요약 정보(1320,1330)를 이용하여 시점 추출 정보 설정(1340)과 스케일러블 계층 추출 정보 설정(1350)을 수행하는 비트스트림 추출 방법의 흐름도이다. 추출될 시점이 결정 되지 않으면, 그에 대응하는 스케일러블 계층 추출 정보를 결정할 수 없고 따라서 이를 이용한 이용한 제어정보 결정을 수행할 수 없기 때문에 시점 추출 정보 설정(1340) 모듈이 먼저 수행되며, 시점 추출 정보 설정(1340)의 수행에 관한 실시일예를 도 28을 참조하여 상술한다.Specific embodiments of determining final extraction information using the above-described bitstream summary information or the SEI-type bitstream summary information will be described below with reference to FIGS. 13, 28, and 29. FIG. 13 illustrates a point-of-view extraction using bitstream extraction information 1310 in a simple form input to an extractor through a user and bitstream summary information 1320 and 1330 generated when there is or does not exist as described above. FIG. 1 is a flowchart illustrating a bitstream extraction method for performing information setting 1340 and scalable layer extraction information setting 1350. If the time point to be extracted is not determined, the scalable layer extraction information corresponding to the extracted time cannot be determined, and thus the control information using the same cannot be determined. An embodiment of performing 1340 will be described in detail with reference to FIG. 28.

단계 2810에서는 추출기로 입력된 비트스트림 추출 정보를 검색을 통해 필요한 시점 선택에 관한 간단한 정보를 입력받는다. In step 2810, the bitstream extraction information input to the extractor is searched to receive simple information on selecting a required time point.

단계 2820에서는 단계 2810에서 입력받은 필요한 시점 선택에 관한 정보가 필요 시점의 수이면 단계 2860으로 진행하고, 만약 그렇지 않다면 입력받은 정보가 필요한 시점의 번호로 판단하여 단계 2830으로 진행한다.In step 2820, if the information on the required time point input received in step 2810 is the number of required time points, the process proceeds to step 2860.

단계 2830에서는 추출될 시점을 결정하기 위하여 필요한 시점 번호를 입력받는다.In step 2830, a time point number necessary for determining a time point to be extracted is received.

단계 2840에서는 시점 추출에 관한 비트스트림 요약 정보 중 시점간의 예측관계 정보를 읽는다.In operation 2840, prediction relationship information between viewpoints is read from bitstream summary information regarding viewpoint extraction.

단계 2850에서는 단계 2830에서 입력된 필요 시점 번호와 단계 2840에서 입력된 시점간 예측관계 정보를 이용하여 추출될 시점을 결정한다. 추출될 시점으로는 단계 2830에서 입력된 필요한 시점 번호에 해당하는 시점과 선택된 시점을 디코딩하는 데 필요로 하는, 예측관계에 있는 모든 시점들을 포함한다. In operation 2850, a time point to be extracted is determined using the required viewpoint number input in step 2830 and the prediction relationship information between the viewpoints input in step 2840. The time point to be extracted includes a time point corresponding to the required time point input in step 2830 and all time points in a predictive relationship required to decode the selected time point.

단계 2860에서는 추출될 시점을 결정하기 위하여 필요한 시점의 개수를 입력 받는다.In step 2860, the number of viewpoints necessary for determining the timing to be extracted is input.

단계 2870에서는 시점 추출에 관한 비트스트림 요약 정보 중 시점 집합에 관한 정보를 읽고, 단계 2860에서 입력된 필요한 시점의 개수에 대응하는 시점 집합을 읽는다. 필요한 시점 개수에 대응하는 시점 집합은 하나 또는 복수개가 존재할 수 있으며 이를 선택적으로 이용할 수 있다. 시점 집합을 이용한 추출 시점 결정(2870)에 관한 구체적인 실시일예는 도 27의 시점 집합 정보 'view set'에 전술한 내용을 참조한다.In operation 2870, the information on the viewpoint set is read from the bitstream summary information regarding the viewpoint extraction, and the viewpoint set corresponding to the required number of viewpoints input in operation 2860 is read. There may be one or a plurality of viewpoint sets corresponding to the required number of viewpoints, which may be selectively used. For a specific embodiment of the extraction point determination 2870 using the viewpoint set, refer to the above-described contents in the viewpoint set information 'view set' of FIG. 27.

도 28의 과정을 통해 추출될 시점을 명확히 결정한 경우, 도 13의 스케일러블 계층 추출 정보 설정(1350) 모듈을 수행할 수 있다. 도 29에서는 실시일예로 스케일러블 계층 추출 정보 설정(1350) 모듈을 통해 화질적 계층의 선택을 자동적으로 결정하기 위한 흐름도를 도시하고 있다.When the timing to be extracted is clearly determined through the process of FIG. 28, the scalable layer extraction information setting 1350 module of FIG. 13 may be performed. FIG. 29 is a flowchart for automatically determining selection of an image quality layer through the scalable layer extraction information setting module 1350 according to an embodiment.

단계 2910에서는 추출기로 입력된 비트스트림 추출 정보를 검색한다.In operation 2910, bitstream extraction information input to the extractor is retrieved.

단계 2920에서는 단계 2910에서 입력된 간단한 추출 정보 중 목표 비트율을 입력으로 받는다.In step 2920, the target bit rate is received as the input from the simple extraction information input in step 2910.

단계 2930에서는 전술된 도 28의 과정을 통해 결정된 추출될 시점 정보를 읽고 이에 해당하는 스케일러블 계층 정보만을 입력으로 받는다.In operation 2930, time point information to be extracted determined through the above-described process of FIG. 28 is read, and only scalable layer information corresponding thereto is received as an input.

단계 2940에서는 스케일러블 계층 정보들을 읽고 이 가운데 탐색을 하기 위해 선택될 계층의 정보들을 모두 읽는다. 실시일예로 만약 3개의 스케일러블 계층 정보들이 입력되었고, 탐색을 위해 선택될 계층이 1이라면 3개의 스케일러블 계층 정보들의 계층 1에 관한 스케일러블 정보들을 모두 탐색할 수 있다. 단계 2940이 최초로 수행될 경우 탐색될 계층은 0이며, 그렇지 않을 경우는 단계 2960을 통해 결정된 계층의 번호를 따른다. 이와 같은 탐색을 통해 해당 계층의 해상도와 프레임 율을 읽고 이 정보가 추출에 해당하는 범위인지 확인 한다. 만약 해당 범위라면 단계 2950으로 진행하고 그렇지 않을 경우는 단계 2960으로 진행한다. In operation 2940, the scalable layer information is read and all the information of the layer to be selected for searching among them is read. According to an embodiment, if three scalable layer information are input and a layer to be selected for searching is 1, all scalable information about layer 1 of the three scalable layer information may be searched. If step 2940 is performed for the first time, the layer to be searched is 0, otherwise it follows the number of the layer determined through step 2960. This search reads the resolution and frame rate of the layer and checks whether this information is within the range of extraction. If yes, go to step 2950; otherwise, go to step 2960.

단계 2950에서는 탐색된 스케일러블 계층의 해상도와 프레임 율이 추출 범위에 해당할 때 수행되며, 각각의 스케일러블 계층 정보의 탐색된 계층의 정보 중 발생된 비트량에 관한 정보들의 평균값을 구해 '계층별 평균 비트레이트 테이블'을 갱신한다. 단계 2950의 구체적인 실시일예는 전술된 도 14의 설명을 참조 한다.In operation 2950, the resolution and frame rate of the found scalable layer correspond to an extraction range. The average value of bits generated from the information of the searched layer of each scalable layer information is calculated to obtain 'average by layer'. Update the average bitrate table. For a specific embodiment of step 2950 refer to the description of FIG. 14 described above.

단계 2960은 탐색을 위해, 현재 선택된 계층의 다음 계층을 탐색의 대상으로 선택한다. Step 2960 selects the next layer of the currently selected layer as a target of the search for the search.

단계 2970은 스케일러블 계층 정보에 포함되어 있는 모든 계층에 대해 단계 2950의 '계층별 평균 비트레이트 테이블'의 갱신 과정이 수행되었는지 확인하고 모든 계층에 대해 갱신 과정이 수행된 경우는 단계 2980으로 진행하고 그렇지 않을 경우는 단계 2960으로 진행한다.Step 2970 checks whether an update process of the 'average bitrate table per layer' of step 2950 has been performed for all layers included in the scalable layer information, and if the update process is performed for all layers, the process proceeds to step 2980. Otherwise proceed to step 2960.

단계 2980은 단계 2940,2950,2960,2970을 통하여 결정된 '계층별 평균 비트레이트 테이블'을 이용하여, 테이블 중에 목표 비트율에 가장 근접하는 화질 계층을 자동적으로 결정한다.Step 2980 automatically determines the image quality layer that is closest to the target bit rate in the table using the 'layered average bitrate table' determined through steps 2940, 2950, 2960, and 2970.

도 22 내지 24를 참조하여, 일실시예에 따른 다시점 스케일러블 비디오 추출 장치를 이용한 서비스 구조가 이하 상술된다.22 to 24, a service structure using a multiview scalable video extraction apparatus according to an embodiment is described in detail below.

도 22는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림을 제공하는 서비스 구조를 도시한다.22 illustrates a service structure for providing a multiview scalable video bitstream, according to an embodiment.

일실시예에 따른 다시점 스케일러블 비디오 코딩, 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300), 및 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성 장치(400)를 통해, 실감형 다시점 스케일러블 비디오 비트스트림을 각 단말의 디코딩 환경에 적합하도록 다시점 스케일러블 비디오 비트스트림으로부터 필요한 정보를 선택적으로 추출하는 방법을 통해 생성된 비트스트림을 이용한 서비스가 제공될 수 있다. Through multi-view scalable video coding according to an embodiment, multi-view scalable video bitstream extracting apparatus 300 according to an embodiment, and multi-view scalable video bitstream generating apparatus 400 according to an embodiment In addition, a service using a bitstream generated through a method of selectively extracting necessary information from a multiview scalable video bitstream to be suitable for a decoding environment of each terminal may be provided.

실감형 다시점 스케일러블 비디오 비트스트림 제공 서비스 구조(2200)는, 컨텐츠 서버(2210), 네트워크 1(2220), 네트워크 2(2250), 네트워크 3(2280)로 구성되어 있다. 컨텐츠 서버(2210)는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 생성 장치(400)에 의해 생성된 다시점 스케일러블 비디오 비트스트림을 네트워크 1(2220), 네트워크 2(2250), 네트워크 3(2280)로 제공한다. The realistic multiview scalable video bitstream providing service structure 2200 includes a content server 2210, a network 1 2220, a network 2 2250, and a network 3 2280. The content server 2210 may generate a multiview scalable video bitstream generated by the multiview scalable video bitstream generating apparatus 400 according to an embodiment of the network 1 2220, the network 2 2250, and the network 3 ( 2280).

네트워크 1, 2, 3(2220, 2250, 2280)은 각각 일 실시에에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(300)에 따르는 비트스트림 추출기 1, 2, 3를 포함한다. 네트워크 1(2220), 네트워크 2(2250), 네트워크 3(2280)는 각각 허브(2225), 라우터(2255), 유/무선 중계기(2285)와 같은 네트워크 장비를 통해, 다시점 스케일러블 비디오 비트스트림으로부터 원하는 정보를 선택적으로 추출하여 단말들(2230, 2232, 2234, 2262, 2264, 2292, 2294, 2296)에게 전송한다.The networks 1, 2, and 3 (2220, 2250, 2280) each include bitstream extractors 1, 2, and 3 according to the multi-view scalable video bitstream extraction apparatus 300 according to one embodiment. Network 1 (2220), Network 2 (2250), and Network 3 (2280) are multi-view scalable video bitstreams through network equipment such as hub 2225, router 2255, wired / wireless repeater 2285, respectively. Optionally extract the desired information from the terminal 2230, 2232, 2234, 2262, 2264, 2292, 2294, 2296 and transmits.

네트워크 1(2220)을 거쳐, 컨텐트 서버(2210)로부터 제공된 다시점 스케일러블 비디오(Multi-view Scalable Video Coding; MSVC) 비트스트림으로부터 단일 시점 컨텐츠의 비트스트림이 추출되어 2차원 디스플레이들(2230, 2232, 2234)에게로 전송될 수 있다.Via network 1 2220, a bitstream of single-view content is extracted from a multi-view scalable video coding (MSVC) bitstream provided from content server 2210 to display two-dimensional displays 2230, 2232. , 2234).

네트워크 2(2250)를 거쳐, 컨텐트 서버(2210)로부터 제공된 MSVC 비트스트림으로부터 2시점 컨텐츠의 비트스트림이 추출되어 스테레오스코픽 디스플레이들(2262, 2264)에게로 전송될 수 있다.Via network 2250, a bitstream of 2-view content may be extracted from the MSVC bitstream provided from content server 2210 and transmitted to stereoscopic displays 2262 and 2264.

네트워크 3(2280)를 거쳐, 컨텐트 서버(2210)로부터 제공된 MSVC 비트스트림으로부터 스케일러블 계층에 따라 하위 계층 컨텐츠의 비트스트림이 추출되어 모바일 기기들(2292, 2294, 2296)에게로 전송될 수 있다.Via network 3280, a bitstream of lower layer content may be extracted from the MSVC bitstream provided from content server 2210 according to the scalable layer and transmitted to mobile devices 2292, 2294, and 2296.

실감형 다시점 스케일러블 비디오 비트스트림 서비스 구조(2200)는, 다양한 공간적 해상도(QVGA, VGA, SD, HD, Full HD), 다양한 시점(기존 2차원 디스플레이, 스테레오스코픽 디스플레이, 다시점 디스플레이), 다양한 시간적 해상도(5Hz, 15Hz, 30Hz, 60Hz 등), 다양한 화질(VCD, DVD, HDTV 등)이 요구되는 여러 단말이 혼재되어 있는 유비쿼터스 환경에서, 컨텐츠 서버(2210)를 통해 실감형 다시점 스케일러블 비디오 컨텐츠에 대한 서비스 구조이다. The immersive multiview scalable video bitstream service structure 2200 includes various spatial resolutions (QVGA, VGA, SD, HD, Full HD), various viewpoints (traditional two-dimensional display, stereoscopic display, multiview display), In a ubiquitous environment where multiple terminals that require temporal resolution (5Hz, 15Hz, 30Hz, 60Hz, etc.) and various image quality (VCD, DVD, HDTV, etc.) are mixed, the realistic multi-view scalable video through the content server 2210 Service structure for content.

일실시예에 따른 서비스 구조(2200)에 따르면, 컨텐츠 서버(2210)는 컨텐츠를 요청하는 단말에게 다양한 시점(2D 지원 단말, 스테레오스코픽 3D 입체 단말, 다시점 3D 입체 단말), 다양한 공간적 해상도(QVGA급, VGA급, SD급, HD급, Full HD급), 다양한 시간적 해상도(5Hz, 15Hz, 30Hz, 60Hz), 다양한 화질(5Hz, 15Hz, 30Hz, 60Hz)을 지원하는 실감형 다시점 스케일러블 비디오 컨텐츠의 비트스트림을 전송한다. 다양한 네트워크 환경에서 전송되는 컨텐츠는 그대로 요청 단말에게 전송됨으로써 실감형 다시점 스케일러블 비디오 컨텐츠 제공 서비스가 제공될 수 있다. According to the service structure 2200 according to an embodiment, the content server 2210 may provide various viewpoints (2D support terminal, stereoscopic 3D stereoscopic terminal, multiview 3D stereoscopic terminal), and various spatial resolutions (QVGA) to a terminal requesting content. Realistic multi-view scalable video that supports video, VGA, SD, HD, Full HD, various temporal resolutions (5Hz, 15Hz, 30Hz, 60Hz), and various image quality (5Hz, 15Hz, 30Hz, 60Hz) Send a bitstream of content. Content transmitted in various network environments may be transmitted to the requesting terminal as it is, thereby providing a realistic multiview scalable video content providing service.

다른 실시예로, 컨텐츠 서버(2210)는 다양한 시점, 공간적 계층, 시간적 계층, 화질 계층을 지원하는 다시점 스케일러블 비디오 비트스트림을 제공할 수 있더라도, 본 발명에서 제안한 실감형 다시점 스케일러블 비디오 코딩의 비트스트림에서 필요한 정보를 선택적으로 추출하는 방법과 장치를 이용하여, 요청 단말의 성능에 적합하게 선택되어 추출된 시점, 공간적 해상도, 시간적 해상도, 화질만을 지원하는 다시점 스케일러블 비디오 비트스트림을 전송할 수 있다. In another embodiment, although the content server 2210 may provide a multi-view scalable video bitstream that supports various viewpoints, spatial layers, temporal layers, and image quality layers, the realistic multi-view scalable video coding proposed by the present invention. By using a method and apparatus for selectively extracting necessary information from a bitstream of a multi-view scalable video bitstream supporting only the extracted viewpoint, spatial resolution, temporal resolution, and image quality, the method is selected according to the performance of the requesting terminal. Can be.

또 다른 실시예로 컨텐츠를 요청한 단말의 요구 사항을 고려하여, 해당 요구사항에 적합하게 선택되어 추출된 실감형 다시점 스케일러블 비디오 비트스트림만이 전송되어 실감형 다시점 스케일러블 비디오 컨텐츠 서비스가 제공될 수 있다. In another embodiment, only the realistic multiview scalable video bitstream selected and extracted according to the requirements is transmitted in consideration of the requirements of the terminal requesting the content, thereby providing the realistic multiview scalable video content service. Can be.

또 다른 실시예로, 컨텐츠를 요청한 단말의 네트워크 대역폭과 전송 환경 정보를 이용하여, 해당 정보에 적합하게 선택되어 추출된 실감형 다시점 스케일러블 비디오 비트스트림이 선택적으로 추출되어 전송되도록 서비스가 제공될 수 있다. In another embodiment, a service may be provided to selectively extract and transmit a realistic multiview scalable video bitstream, which is selected and extracted appropriately for the corresponding information, using the network bandwidth and the transmission environment information of the terminal requesting the content. Can be.

일실시예에 따른 서비스 구조(2200) 중에서, 실감형 다시점 스케일러블 비디오 비트스트림에서 필요한 정보를 선택적으로 추출하는 추출기는 컨텐츠가 서비스되는 네트워크 환경 어느 곳에서나 위치할 수 있다. 일실시예에 따른 추출기는 컨텐츠 서버(2210)와 동일한 서버에 위치하여 동작할 수 있다. 또한, 추출기가 컨텐츠가 전송되는 경로에 위치한 허브(2225), 라우터(2255), 유/무선 중계기(2285)와 같은 네트워크 장비와 연동 또는 일체하여 동작할 수 있다. 또한 추출기는 독립적인 서버에서 동작될 수 있다. Among the service structures 2200 according to an embodiment, an extractor for selectively extracting necessary information from a realistic multiview scalable video bitstream may be located anywhere in a network environment where content is served. The extractor according to an embodiment may be located in the same server as the content server 2210 and operate. Also, the extractor may operate in conjunction with or integrally with network equipment such as a hub 2225, a router 2255, and a wired / wireless repeater 2285 located in a path through which content is transmitted. The extractor can also be run on an independent server.

도 23은 다른 실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치의 블록도를 도시한다.23 is a block diagram of an apparatus for extracting a multiview scalable video bitstream according to another embodiment.

다른 실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치(2300)는 실감형 다시점 스케일러블 비디오 비트스트림을 입력받을 수 있다. 입력된 비트스트림은 선택 또는 추출 정보 설정부(2310)에 입력되거나 비트스트림 추출부(2320)로 입력될 수 있다.The multiview scalable video bitstream extractor 2300 according to another embodiment may receive an immersive multiview scalable video bitstream. The input bitstream may be input to the selection or extraction information setting unit 2310 or may be input to the bitstream extraction unit 2320.

선택 또는 추출 정보 설정부(2310)는 비트스트림 추출 정보, 비트스트림 선택 정보 그리고 다시점 스케일러블 비디오 비트스트림을 입력받을 수 있다. 입력된 비트스트림 선택 정보 또는 비트스트림 추출 정보와 일실시예에 따라 생성된 비트스트림 요약 정보를 이용하여, 적합한 추출 또는 선택을 위해 변환된 추출 정보가 생성되고 비트스트림 추출부(2320)로 출력된다.The selection or extraction information setting unit 2310 may receive bitstream extraction information, bitstream selection information, and a multiview scalable video bitstream. Using the input bitstream selection information or the bitstream extraction information and the bitstream summary information generated according to an embodiment, the extracted extraction information for proper extraction or selection is generated and output to the bitstream extraction unit 2320. .

비트스트림 추출부(2320)에서는 추출 또는 선택 정보 설정부(2310)에 의해 변환된 추출 정보와 다시점 스케일러블 비디오 비트스트림을 입력받아, 일실시예에 따른 필요 시점 및 스케일러블 계층을 고려하여 선택적으로 비트스트림을 추출하고, 추출된 비트스트림들은 비트스트림 조합부(2330)로 출력된다.The bitstream extractor 2320 receives the extracted information and the multiview scalable video bitstream converted by the extraction or selection information setting unit 2310, and selectively selects the viewable time and the scalable layer according to an embodiment. The bitstream is extracted, and the extracted bitstreams are output to the bitstream combination unit 2330.

비트스트림 조합부(2330)는 추출된 비트스트림들을 일실시예에 따라 다시점 스케일러블 비디오 비트스트림 재구성 과정을 수행하여, 재구성된 비트스트림을 생성한다.The bitstream combiner 2330 performs a multiview scalable video bitstream reconstruction process on the extracted bitstreams to generate a reconstructed bitstream.

도 24는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 장치가 적용된 디코딩 장치의 블록도를 도시한다.24 is a block diagram of a decoding apparatus to which a multiview scalable video bitstream extraction apparatus is applied, according to an embodiment.

일실시예에 따른 디코딩 장치(2400)에 입력된 다시점 스케일러블 비디오 비트스트림은 비트스트림 선택부(2410)에 입력되거나 비트스트림 분해부(2420)로 입력될 수 있다. The multiview scalable video bitstream input to the decoding apparatus 2400 according to an embodiment may be input to the bitstream selector 2410 or the bitstream decomposer 2420.

비트스트림 선택부(2410)는 비트스트림 선택 정보와 다시점 스케일러블 비디오 비트스트림을 입력받아, 비트스트림 선택 정보 중 시점 정보 및 공간적, 시간적, 화질적 스케일러블 계층 정보를 이용하여, 일실시예에 따라 다시점 스케일러블 비디오 비트스트림으로부터 일부의 비트스트림을 선택하여 출력할 수 있다. 비트스트림 선택 정보는 일실시예에 따른 추출 정보 및 비트스트림 추출 정보에 상응한다.The bitstream selector 2410 receives the bitstream selection information and the multiview scalable video bitstream, and uses the viewpoint information and the spatial, temporal, and image quality scalable layer information among the bitstream selection information. Accordingly, some bitstreams may be selected and output from the multiview scalable video bitstream. The bitstream selection information corresponds to extraction information and bitstream extraction information according to an embodiment.

비트스트림 선택부(2410)에 의해 선택된 비트스트림 또는 디코딩 장치(2400) 입력된 비트스트림은 비트스트림 분해부(2420)로 입력되거나 디코딩부(230)로 입력될 수 있다. The bitstream selected by the bitstream selecting unit 2410 or the bitstream input by the decoding apparatus 2400 may be input to the bitstream decomposing unit 2420 or the decoding unit 230.

비트스트림 분해부(2420)는 비트스트림과 비트스트림 분해 정보를 입력받고, 일실시예에 따라 비트스트림 분해 정보를 이용하여 다시점 스케일러블 비디오 비트스트림으로부터 원하는 비트스트림을 선택적으로 추출함으로써 비트스트림을 분해해서 디코딩부(2430)에게로 출력한다. The bitstream decomposition unit 2420 receives the bitstream and the bitstream decomposition information, and selectively extracts the desired bitstream from the multiview scalable video bitstream using the bitstream decomposition information according to an embodiment. It decomposes and outputs it to the decoding unit 2430.

디코딩부(2430)는 출력할 시점 개수에 따라서 물리적/논리적으로 별개인 서브-디코더들로 구성될 수 있고, 물리적/논리적으로 하나로 구성될 수도 있다. 하나의 디코더로 구성된 디코딩부(2430)의 경우에는 각각의 시점이 디코딩되는 순서에 따라서 순차적으로 각각의 시점별 비트스트림에 대해 디코딩을 수행할 수 있다. 또한 출력되는 시점 개수에 따라 서브-디코더들이 물리적/논리적으로 별개로 존재하는 경우, 서브-디코더들의 디코딩 과정을 병렬로 수행될 수 있다. The decoding unit 2430 may be configured as physically / logically separate sub-decoders according to the number of views to be output, or may be configured physically or logically as one. In the case of the decoder 2430 configured as one decoder, the decoding unit 2430 may sequentially decode the respective bitstreams for each view in the order in which the respective views are decoded. In addition, when the sub-decoders are physically / logically separate according to the number of output points, the decoding process of the sub-decoders may be performed in parallel.

다른 실시예로 디코딩부(2430)이 비트스트림 추출기까지 포함하는 경우, 하나의 독립된 디코더로 구성된 디코딩부(2430)는 비트스트림 선택부(2410)로부터 입력된 '분해되지 않은 비트스트림'을 입력받을 수 있고, 여러 개의 서브-디코더로 구성된 디코딩부(2430)은 비트스트림 분해부(220)에 의해서 '분해된 비트스트림'들을 각각 입력받을 수 있다. In another embodiment, when the decoder 2430 includes a bitstream extractor, the decoder 2430 configured as one independent decoder may receive an 'unresolved bitstream' input from the bitstream selector 2410. The decoding unit 2430 including a plurality of sub-decoders may receive 'resolved bitstreams' by the bitstream decomposition unit 220, respectively.

디코딩부(2430)는 시점 및 스케일러블 계층별로 '분해된 비트스트림'과, 다른 시점 정보, 하위 계층 정보, 계층 간 예측 정보를 입력받을 수 있으며, 입력된 비트스트림에 따라서 다양한 방법의 디코딩을 수행할 수 있다. The decoder 2430 may receive a 'decomposed bitstream', different viewpoint information, lower layer information, and inter-layer prediction information for each view and scalable layer, and decode various methods according to the input bit stream. can do.

만약 H.264 비디오 디코딩 표준에 따르는 디코딩이 수행되는 경우, 비트스트림 이외에 다른 시점 정보, 하위 계층 정보, 계층간 예측 정보는 사용되지 않는다. 또한 SVC 비디오 디코딩 표준에 따르는 디코딩이 수행되는 경우, 하위 계층 정보를 이용한 디코딩이 수행될 수 있으며, MVC 비디오 디코딩 표준에 따르는 디코딩이 수행되는 경우에는 다른 시점 정보를 이용하여 디코딩이 수행될 수 있다. 그리고 MSVC 비디오 디코딩 방식에 따르는 디코딩이 수행되는 경우에는 다른 시점 정보, 하위 계층 정보 그리고 계층 간 예측 정보를 이용하여 디코딩이 수행될 수 있다. If decoding according to the H.264 video decoding standard is performed, other view information, lower layer information, and inter-layer prediction information other than the bitstream are not used. In addition, when decoding according to the SVC video decoding standard is performed, decoding using lower layer information may be performed. When decoding according to the MVC video decoding standard is performed, decoding may be performed using other viewpoint information. When decoding according to the MSVC video decoding scheme is performed, decoding may be performed using different viewpoint information, lower layer information, and inter-layer prediction information.

디코딩부(2430)에 의해 디코딩된 정보는 다른 계층 또는 다른 시점을 디코딩하는데 사용하기 위해서 현재 디코딩 정보(현재 스케일러블 계층의 디코딩 정보, 또는 디코딩된 영상)가 다른 시점을 위한 디코딩부에서 사용될 수 있도록 출력될 수 있다. The information decoded by the decoding unit 2430 may be used so that the current decoding information (decoding information of the current scalable layer, or the decoded image) can be used in the decoding unit for another time point for use in decoding another layer or another time point. Can be output.

만약 디코딩부(2430)가 독립적으로 구성된 경우에는, 출력된 디코딩 정보가 다시 현재 디코딩부(2430)에 입력될 수 있으며, 만약 그렇지 않고 여러 개의 시점별 디코딩부로 구성된 경우에는 출력된 디코딩 정보가 다른 디코딩부로 입력될 수도 있다.If the decoding unit 2430 is configured independently, the output decoding information may be input again to the current decoding unit 2430. Otherwise, if the decoding unit 2430 is configured with a plurality of viewpoint decoding units, the output decoding information may have different decoding. It may also be entered as negative.

도 25는 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 추출 방법의 흐름도를 도시한다.25 is a flowchart of a multiview scalable video bitstream extraction method, according to an embodiment.

단계 2510에서, 적어도 하나의 코딩된 시점별 영상들에 대한 제1 다시점 스케일러블 비디오 비트스트림이 수신된다.In step 2510, a first multiview scalable video bitstream for at least one coded per-view images is received.

단계 2520에서, 제1 다시점 스케일러블 비디오 비트스트림 중, 추출하고자하는 시점 및 스케일러블 계층의 코딩된 시점 영상에 대응하는 적어도 하나의 비트스트림이 검색된다. 추출하고자 하는 비트스트림의 시점 및 스케일러블 계층에 대한 비트스트림 추출 정보 및 다시점 스케일러블 비디오 비트스트림 중 시점 및 스케일러블 계층에 대한 비트스트림 요약 정보를 이용하여, 추출하고자 하는 시점 및 스케일러블 계층의 비트스트림이 결정될 수 있다.In operation 2520, at least one bitstream corresponding to a view to be extracted and a coded view image of the scalable layer is searched among the first multiview scalable video bitstreams. By using bitstream extraction information on the view and scalable layer of the bitstream to be extracted and the bitstream summary information on the view and the scalable layer of the multiview scalable video bitstream, the view of the view and the scalable layer to be extracted The bitstream can be determined.

단계 2530에서, 제1 다시점 스케일러블 비디오 비트스트림으로부터 시점 및 스케일러블 계층을 고려한 디코딩 순서에 기초하여, 추출하기 위해 검색된 적어도 하나의 비트스트림이 추출된다. 각각의 시점 및 스케일러블 계층의 비트스트림은 날 유닛으로 추출될 수 있다. In step 2530, at least one bitstream retrieved for extraction is extracted from the first multiview scalable video bitstream based on the decoding order considering the viewpoint and the scalable layer. The bitstream of each view and scalable layer may be extracted in a raw unit.

단계 2540에서, 추출된 적어도 하나의 비트스트림이 조합되어, 제2 다시점 스케일러블 비디오 비트스트림이 재구성된다. 동일 시간대의 시점 및 스케일러블 계층의 날 유닛의 비트스트림들은 하나의 액세스 유닛으로 조합될 수 있다. In step 2540, the extracted at least one bitstream is combined to reconstruct the second multiview scalable video bitstream. The bitstreams of the time unit of the same time zone and the day unit of the scalable layer may be combined into one access unit.

재구성된 제2 다시점 스케일러블 비디오 비트스트림은 디코더로 출력되어 디코딩되고, 단말이 요구하는 시점, 해상도, 화질의 영상들로 복원될 수 있다. The reconstructed second multiview scalable video bitstream may be output to the decoder and decoded, and may be reconstructed with images of a viewpoint, resolution, and quality required by the terminal.

도 26은 일실시예에 따른 다시점 스케일러블 비디오 비트스트림 인코딩 방법의 흐름도를 도시한다.26 is a flowchart of a multiview scalable video bitstream encoding method, according to an embodiment.

단계 2610에서, 적어도 하나의 코딩된 시점별 영상들에 대해, 시점 및 스케일러블 계층을 고려한 다시점 스케일러블 비디오 인코딩이 수행된다. In operation 2610, multi-view scalable video encoding is performed on at least one coded view-by-view images in consideration of a view and a scalable layer.

단계 2620에서, 각각의 시점 및 스케일러블 계층의 에 대한 해당 시점 및 해당 스케일러블 계층에 대한 정보를 포함하는 비트스트림 요약 정보가 생성된다. 비트스트림 요약 정보는 시점 추출 방법 정보 및 스케일러블 계층 정보를 포함할 수 있다. In operation 2620, bitstream summary information including information on the corresponding view and the scalable layer for each view and the scalable layer is generated. The bitstream summary information may include view extraction method information and scalable layer information.

단계 2630에서, 다시점 스케일러블 비디오 인코딩에 의해 생성된 각각의 시점 및 스케일러블 계층의 비트스트림들을, 시점 및 계층을 고려한 순서에 따라 조합하여 다시점 스케일러블 비디오 비트스트림이 생성된다. 각각의 시점 및 스케일러블 계층의 비트스트림은 날 유닛 형태로, 동일 시간대의 날 유닛들이 조합되어 액세스 유닛 형태의 비트스트림을 구성하고, 액세스 유닛들이 시간 순서대로 조합됨으로써 다시점 스케일러블 비디오 비트스트림이 생성될 수 있다.In step 2630, a multiview scalable video bitstream is generated by combining the bitstreams of each view and scalable layer generated by multiview scalable video encoding according to the order considering the view and the layer. The bitstream of each view and scalable layer is in the form of a raw unit, and the day units of the same time zone are combined to form a bitstream in the form of an access unit, and the access units are combined in chronological order so that a multiview scalable video bitstream is obtained. Can be generated.

단계 2640에서, 다시점 스케일러블 비디오 비트스트림 및 비트스트림 요약 정보가 출력된다. 비트스트림 요약 정보는 다시점 스케일러블 비디오 비트스트림에 삽입되어 출력되거나, 별개의 비트스트림으로 출력되어 전송될 수 있다.In step 2640, the multi-view scalable video bitstream and the bitstream summary information are output. The bitstream summary information may be inserted into the multiview scalable video bitstream and output, or may be output as a separate bitstream and transmitted.

일실시예에 따른, 다시점 스케일러블 비디오 비트스트림 생성 방법 및 그 장치는, HD급 해상도의 다시점 영상 컨텐트를 한번의 인코딩을 수행하여 비트스트림을 생성할 수 있다. 일실시예 따르면, 기존 2차원 디스플레이, 스테레오스코픽 디스플레이, 다시점 영상 디스플레이 장치, 자유로운 시점 선택형 디스플레이 등을 포함하는 다양한 시점, QVGA, SD, HD, Full HD 등을 포함하는 다양한 화면 크기, VCD, DVD, HDTV 등을 포함하는 다양한 화질, 5Hz, 15Hz, 30Hz, 60Hz 등을 포함하는 다양한 시간적 해상도 등의 다양한 포맷의 컨텐트가 인코딩되어 비트스트림으로 전송될 수도 있다. 또한, 다시점 스케일러블 비디오 비트스트림으로부터 정확한 포맷의 컨텐츠를 추출하기 위하여 필요한 정보들이 함께 코딩되어 전송된다.According to an embodiment, a multiview scalable video bitstream generation method and apparatus thereof may generate a bitstream by performing encoding on multiview video content having HD resolution once. According to one embodiment, various screen sizes including QVGA, SD, HD, Full HD, VCD, DVD, various viewpoints including existing 2D display, stereoscopic display, multi-view video display device, free view selectable display, etc. Content of various formats, including various image quality, including HDTV, and various temporal resolutions including 5 Hz, 15 Hz, 30 Hz, 60 Hz, and the like, may be encoded and transmitted as a bitstream. In addition, information necessary for extracting content of a correct format from a multiview scalable video bitstream is coded and transmitted together.

또한, 일실시예에 따른, 다시점 스케일러블 비디오 비트스트림 추출 방법 및 그 장치는, 수신된 비트스트림들로부터 원하는 포맷의 컨텐트에 해당하는 비트스트림을 선택하여 컨텐트를 추출하여 디스플레이 장치들로 전송할 수 있다. 이에 따라, 다양한 시점, 다양한 화면 크기, 다양한 화질, 다양한 시간적 해상도를 지원할 수 있는 디스플레이 장치들에게 각각의 환경에 맞는 컨텐트가 제공될 수 있다.In addition, the multi-view scalable video bitstream extraction method and apparatus according to an embodiment may select a bitstream corresponding to the content of the desired format from the received bitstreams to extract the content and transmit the content to the display devices have. Accordingly, content suitable for each environment may be provided to display devices capable of supporting various viewpoints, various screen sizes, various image quality, and various temporal resolutions.

따라서 일실시예에 따른 다시점 스케일러블 비디오 코딩에 의해, 실감형 비디오 컨텐트가 다양한 전송환경과 다양한 단말들에게 효율적으로 전달할 수 있다.Therefore, by using multi-view scalable video coding according to an embodiment, realistic video content can be efficiently delivered to various transmission environments and various terminals.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다.As described above, although the present invention has been described by way of limited embodiments and drawings, the present invention is not limited to the above-described embodiments, which can be variously modified and modified by those skilled in the art to which the present invention pertains. Modifications are possible. Therefore, the idea should be understood only by the claims set forth below, and all equivalent or equivalent modifications will fall within the scope of the present invention.

또한, 본 발명에 따른 시스템은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.In addition, the system according to the present invention can be embodied as computer readable codes on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of the recording medium include those implemented in the form of a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

Claims (24)

(a) 제1 다시점 스케일러블 비디오 비트스트림을 수신하는 단계;
(b) 상기 제1 다시점 스케일러블 비디오 비트스트림 중, 추출 대상 시점에 대응하는 적어도 하나의 비트스트림을 검색하는 단계;
(c) 상기 제1 다시점 스케일러블 비디오 비트스트림으로부터 시점 및 스케일러블 계층을 고려한 디코딩 순서에 기초하여 상기 검색된 적어도 하나의 비트스트림을 추출하는 단계; 및
(d) 상기 추출된 적어도 하나의 비트스트림을 조합하여, 제2 다시점 스케일러블 비디오 비트스트림을 재구성하는 단계를 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.(a) receiving a first multiview scalable video bitstream;
(b) searching for at least one bitstream of the first multiview scalable video bitstream corresponding to an extraction target time point;
(c) extracting the retrieved at least one bitstream from the first multi-view scalable video bitstream based on a decoding order considering a view and a scalable layer; And
(d) combining the extracted at least one bitstream to reconstruct a second multiview scalable video bitstream. 제1항에 있어서, 상기 (b) 단계는,
상기 추출 대상 시점의 비트스트림에 대한 비트스트림 추출 정보를 설정하는 단계를 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.According to claim 1, wherein step (b),
And setting bitstream extraction information on the bitstream at the time point of extraction. 제2항에 있어서, 상기 비트스트림 추출 정보를 설정하는 단계는,
입력 정보에 기초하여 상기 비트스트림 추출 정보 중 시점 추출 정보 및 스케일러블 계층 추출 정보를 설정하는 단계를 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.The method of claim 2, wherein the setting of the bitstream extraction information comprises:
And setting the viewpoint extraction information and the scalable layer extraction information among the bitstream extraction information based on the input information. 제3항에 있어서, 상기 시점 추출 정보 및 스케일러블 계층 추출 정보를 설정 단계는,
상기 제1 다시점 스케일러블 비디오 비트스트림에 대한 비트스트림 요약 정보를 획득하는 단계; 및
상기 비트스트림 요약 정보에 기초하여, 상기 제1 다시점 스케일러블 비디오 비트스트림에 대한 정보로서 상기 입력 정보에 대응하는 시점 추출 정보 및 스케일러블 계층 추출 정보를 설정하는 단계를 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.The method of claim 3, wherein the setting of the view extraction information and the scalable layer extraction information comprises:
Obtaining bitstream summary information for the first multiview scalable video bitstream; And
And based on the bitstream summary information, setting view extraction information and scalable layer extraction information corresponding to the input information as information on the first multiview scalable video bitstream. Point scalable video bitstream extraction method. 제4항에 있어서, 상기 시점 추출 정보 및 스케일러블 계층 추출 정보는,
상기 비트스트림 요약 정보의 시점 및 스케일러블 계층에 대한 식별 정보 중, 상기 입력 정보에 가장 근사한 값으로 설정되는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.The method of claim 4, wherein the view extraction information and the scalable layer extraction information are:
A multi-view scalable video bitstream extraction method according to claim 1, wherein the bitstream summary information is set to a value closest to the input information among the identification information of the start point of the bitstream summary information and the scalable layer. 제2항에 있어서, 상기 비트스트림 추출 정보는,
디코딩 가능한 시점 수, 공간적 해상도, 시간적 해상도, 화질을 포함하는 디코딩 성능에 관한 정보, 네트워크 상태에 관한 정보, 해당 시점 추출에 관한 정보 및 스케일러블 계층에 관한 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.The method of claim 2, wherein the bitstream extraction information,
And at least one of information on decoding performance including a number of decodeable views, spatial resolution, temporal resolution, and image quality, information on a network state, information on extracting a corresponding view, and information on a scalable layer. Multiview Scalable Video Bitstream Extraction Method. 제3항에 있어서, 상기 입력 정보는,
시점, 공간적 해상도, 시간적 해상도, 화질 중 적어도 하나에 대하여 상기 제2 다시점 스케일러블 비디오 비트스트림을 제공받는 단말기의 성능에 관한 정보인 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.The method of claim 3, wherein the input information,
The multi-view scalable video bitstream extraction method of claim 1, wherein the information is about performance of the terminal receiving the second multiview scalable video bitstream with respect to at least one of a viewpoint, a spatial resolution, a temporal resolution, and an image quality. 제4항에 있어서, 상기 비트스트림 요약 정보를 획득하는 단계는,
상기 제1 다시점 스케일러블 비디오 비트스트림 또는 상기 제1 다시점 스케일러블 비디오 비트스트림과는 별개의 비트스트림으로부터 상기 비트스트림 요약 정보를 추출하는 단계를 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.The method of claim 4, wherein obtaining the bitstream summary information comprises:
Extracting the bitstream summary information from the first multiview scalable video bitstream or a bitstream separate from the first multiview scalable video bitstream. Stream extraction method. 제 4항에 있어서, 상기 비트스트림 요약 정보는
시점 추출 방법 정보 및 스케일러블 계층 추출 방법 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.The method of claim 4, wherein the bitstream summary information is
A multiview scalable video bitstream extraction method comprising at least one of viewpoint extraction method information and scalable layer extraction method information. 제1항에 있어서, 상기 (d) 단계는,
상기 추출된 적어도 하나의 비트스트림을, 시점들의 디코딩 순서에 따라 조합하여 하나의 비트스트림으로 재구성하거나, 적어도 하나의 시점 집합별 비트스트림으로 재구성하는 단계를 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.The method of claim 1, wherein step (d)
And reconstructing the extracted at least one bitstream into one bitstream by combining the extracted at least one bitstream according to the decoding order of the viewpoints, or reconstructing the at least one bitstream for each set of viewpoints. Bitstream Extraction Method. 제1항에 있어서,
상기 제2 다시점 스케일러블 비디오 비트스트림을 적어도 하나의 디코더로 전송하는 단계를 더 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.The method of claim 1,
And transmitting the second multiview scalable video bitstream to at least one decoder. 제11항에 있어서,
상기 제2 다시점 스케일러블 비디오 비트스트림을 복호화하여 적어도 하나의 시점 및 적어도 하나의 스케일러블 계층에 대한 시점 영상들을 복원하는 단계를 더 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 방법.The method of claim 11,
And decoding the second multiview scalable video bitstream to reconstruct view images for at least one viewpoint and at least one scalable layer. 제1항에 있어서,
단말 네트워크가 상기 다시점 스케일러블 비디오 비트스트림 추출 방법을 구현하는 적어도 하나의 비트스트림 추출기 및 적어도 하나의 디코더를 포함하는 경우, 컨텐츠 서버로부터 상기 제1 다시점 스케일러블 비디오 비트스트림을 제공받는 적어도 하나의 단말 네트워크를 통해 다시점 스케일러블 비디오 비트스트림 제공 서비스가 구현되는 것을 특징으로 하는 다시점 스케일러블 비트스트림 추출 방법.The method of claim 1,
At least one receiving the first multiview scalable video bitstream from a content server when the terminal network includes at least one bitstream extractor and at least one decoder for implementing the multiview scalable video bitstream extraction method A multi-view scalable video bitstream providing service is implemented through a terminal network of the multi-view scalable bitstream extraction method. 제13항에 있어서,
상기 비트스트림 추출기는, 상기 디코더에 포함되거나, 상기 컨텐츠 서버에 포함되거나, 상기 컨텐츠 서버와 상기 적어도 하나의 디코더 간의 네트워크 내에 위치하거나, 독립적인 비트스트림 추출 서버로 구동하는 것을 특징으로 하는 다시점 스케일러블 비트스트림 추출 방법.The method of claim 13,
The bitstream extractor may be included in the decoder, included in the content server, located in a network between the content server and the at least one decoder, or operated as an independent bitstream extraction server. Flexible bitstream extraction method. 삭제delete 삭제delete 삭제delete 삭제delete 적어도 하나의 코딩된 영상들에 대한 제1 다시점 스케일러블 비디오 비트스트림을 수신하는 제1 다시점 스케일러블 비디오 비트스트림 수신부;
상기 제1 다시점 스케일러블 비디오 비트스트림 중, 추출 대상 시점에 대응하는 적어도 하나의 비트스트림을 검색하는 비트스트림 검색부;
상기 제1 다시점 스케일러블 비디오 비트스트림으로부터 시점 및 스케일러블 계층을 고려한 디코딩 순서에 기초하여 상기 검색된 적어도 하나의 비트스트림을 추출하는 비트스트림 추출부; 및
상기 추출된 적어도 하나의 비트스트림을 조합하여 제2 다시점 스케일러블 비디오 비트스트림을 재구성하는 제2 다시점 스케일러블 비트스트림 재구성부를 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 장치.A first multiview scalable video bitstream receiver configured to receive a first multiview scalable video bitstream for at least one coded image;
A bitstream searching unit searching for at least one bitstream corresponding to an extraction target time point in the first multiview scalable video bitstream;
A bitstream extracting unit configured to extract the at least one searched bitstream from the first multiview scalable video bitstream based on a decoding order considering a viewpoint and a scalable layer; And
And a second multi-view scalable scalable bitstream reconstruction unit for combining the extracted at least one bitstream to reconstruct a second multi-view scalable video bitstream. 제19항에 있어서, 상기 다시점 스케일러블 비디오 비트스트림 추출 장치는,
상기 제2 다시점 스케일러블 비디오 비트스트림을 적어도 하나의 디코딩 단말기로 전송하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 장치.The apparatus of claim 19, wherein the multi-view scalable video bitstream extraction apparatus comprises:
And extracting the second multiview scalable video bitstream to at least one decoding terminal. 제19항에 있어서,
상기 제2 다시점 스케일러블 비디오 비트스트림을 복호화하여 적어도 하나의 시점 및 스케일러블 계층에 대한 디코딩 된 영상들로 복원하는 다시점 스케일러블 비디오 복원부를 더 포함하는 것을 특징으로 하는 다시점 스케일러블 비디오 비트스트림 추출 장치.20. The method of claim 19,
A multi-view scalable video bit reconstruction unit for decoding the second multi-view scalable video bitstream and reconstructing the decoded images of at least one view and the scalable layer is further included. Stream Extraction Unit. 삭제delete 제1항 내지 제14항 중 어느 한 항의 다시점 스케일러블 비디오 비트스트림 추출 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.A computer-readable recording medium having recorded thereon a program for implementing the multi-view scalable video bitstream extraction method according to any one of claims 1 to 14. 삭제delete

Images