KR20080034752A

KR20080034752A - Method for encoding and decoding a multi-view video and apparatus therefor

Info

Publication number: KR20080034752A
Application number: KR1020070031080A
Authority: KR
Inventors: 박광훈; 최원준; 서덕영
Original assignee: 경희대학교 산학협력단
Priority date: 2006-10-17
Filing date: 2007-03-29
Publication date: 2008-04-22
Also published as: KR100941608B1

Abstract

A method for encoding and decoding multi-view images and an apparatus for the same are provided to reduce information amount of a motion vector differential value and a disparity differential value and to improve the prediction encoding efficiency of the apparatus by using a prediction mode judging part and a predictor generating part. An apparatus for calculating an image information predictor in multi-view image video coding comprises a prediction mode judging part(110), and a predictor generating part(350). The prediction mode judging part discriminates the prediction mode of the present frame on the basis of the direction and the number of a reference frame. The predictor generating part calculates the predictor of the image information of the present block. The predictor generating part has a motion vector prediction part(120), and a disparity prediction part(30). The motion vector prediction part calculates a motion vector predictor of the present block. The disparity prediction part calculates the disparity predictor of the present block.

Description

다시점 영상의 부호화 및 복호화 방법과 그를 위한 장치{Method for encoding and decoding a multi-view video and apparatus therefor}Method for encoding and decoding a multi-view image and apparatus therefor {Method for encoding and decoding a multi-view video and apparatus therefor}

도 1은 다시점 비디오 코딩에서의 예측 구조의 일례를 보여주는 도면이다.1 is a diagram illustrating an example of a prediction structure in multiview video coding.

도 2는 H.264/AVC 표준에 따라서 주변 블록의 움직임 벡터(MV_N)를 이용하여 움직임 벡터 예측값(MV_P)을 구하는 방법을 설명하기 위한 도면이다.FIG. 2 is a diagram for describing a method of obtaining a motion vector prediction value MV _P using the motion vector MV _N of neighboring blocks according to the H.264 / AVC standard.

도 3은 주변 블록이 여러 가지 모양의 파티션 블록으로 분할되어 있는 경우에, H.264/AVC 표준에 따라서 움직임 벡터 예측값(MV_P)을 구하는 방법을 설명하기 위한 도면이다.3 is a diagram for describing a method of obtaining a motion vector prediction value MV _P according to the H.264 / AVC standard when a neighboring block is divided into partition blocks having various shapes.

도 4는 H.264/AVC 표준에 따라서 주변 블록의 움직임 벡터(MV_N)를 이용하여 움직임 벡터 예측값(MV_P)을 구하는 다른 방법을 설명하기 위한 도면이다.FIG. 4 is a diagram for describing another method of obtaining a motion vector prediction value MV _P using the motion vector MV _N of neighboring blocks according to the H.264 / AVC standard.

도 5a 및 도 5b는 각각 현재 블록이 8×16 블록 및 16×8 블록 모드인 경우에 움직임 벡터 예측값(MV_P)을 구하는 방법을 설명하기 위한 도면이다.5A and 5B are diagrams for describing a method of obtaining a motion vector prediction value MV _P when the current block is an 8x16 block and a 16x8 block mode, respectively.

도 6a 및 도 6b는 다시점 비디오 코딩에서 각 뷰의 영상 간의 휘도 차이를 보여주기 위한 도면으로서, 각각 테스트 영상 시퀀스인 Uli 영상의 같은 시간대에 서 4번째 뷰의 영상과 5번째 뷰의 영상이다.6A and 6B are diagrams for showing luminance differences between images of respective views in multiview video coding, and are images of a fourth view and a fifth view in the same time zone of a Uli image, which is a test image sequence, respectively.

도 7은 도 1의 예측 구조에서 각 프레임에 대하여 일련번호(Picture Of Count, POC)를 부여하는 일례를 보여주는 도면이다.FIG. 7 is a diagram illustrating an example of assigning a serial number (Picture Of Count, POC) to each frame in the prediction structure of FIG. 1.

도 8은 본 발명의 실시예에 따른 제1 예측 모드를 보여주는 블록도이다.8 is a block diagram illustrating a first prediction mode according to an embodiment of the present invention.

도 9는 도 1의 예측 구조와 도 7의 POC를 사용할 경우에, 제1 예측 모드에 해당되는 프레임의 일례를 보여주는 도면이다.FIG. 9 illustrates an example of a frame corresponding to a first prediction mode when the prediction structure of FIG. 1 and the POC of FIG. 7 are used.

도 10은 본 발명의 실시예에 따른 제2 예측 모드를 보여주는 블록도이다.10 is a block diagram illustrating a second prediction mode according to an embodiment of the present invention.

도 11은 도 1의 예측 구조와 도 7의 POC를 사용할 경우에, 상기 제2 예측 모드에 해당되는 프레임의 일례를 보여주는 도면이다.FIG. 11 illustrates an example of a frame corresponding to the second prediction mode when the prediction structure of FIG. 1 and the POC of FIG. 7 are used.

도 12는 본 발명의 실시예에 따른 제3 예측 모드를 보여주는 블록도이다.12 is a block diagram illustrating a third prediction mode according to an embodiment of the present invention.

도 13은 도 1의 예측 구조와 도 7의 POC를 사용할 경우에, 상기 제3 예측 모드에 해당되는 프레임의 일례를 보여주는 도면이다.FIG. 13 is a diagram illustrating an example of a frame corresponding to the third prediction mode when the prediction structure of FIG. 1 and the POC of FIG. 7 are used.

도 14는 본 발명의 실시예에 따른 제4 예측 모드를 보여주는 블록도이다.14 is a block diagram illustrating a fourth prediction mode according to an embodiment of the present invention.

도 15는 도 1의 예측 구조와 도 7의 POC를 사용할 경우에, 상기 제4 예측 모드에 해당되는 프레임의 일례를 보여주는 도면이다.FIG. 15 illustrates an example of a frame corresponding to the fourth prediction mode when the prediction structure of FIG. 1 and the POC of FIG. 7 are used.

도 16은 본 발명의 실시예에 따른 제5 예측 모드를 보여주는 블록도이다.16 is a block diagram illustrating a fifth prediction mode according to an embodiment of the present invention.

도 17은 도 1의 예측 구조와 도 7의 POC를 사용할 경우에, 상기 제5 예측 모드에 해당되는 프레임의 일례를 보여주는 도면이다.17 illustrates an example of a frame corresponding to the fifth prediction mode when the prediction structure of FIG. 1 and the POC of FIG. 7 are used.

도 18은 다시점 비디오 코딩에서 상기 제1 예측 모드 내지 제5 예측 모드를 함께 보여주는 블록도이다.18 is a block diagram illustrating the first to fifth prediction modes together in multiview video coding.

도 19는 현재 프레임의 예측 모드를 판별하는 알고리즘의 일례를 보여주는 흐름도이다.19 is a flowchart illustrating an example of an algorithm for determining a prediction mode of a current frame.

도 20은 본 발명의 일 실시예에 따른 이미지 정보 예측값을 구하는 방법에서 이용될 수 있는 블록을 보여주는 블록도이다.20 is a block diagram illustrating a block that may be used in a method for obtaining image information prediction values according to an embodiment of the present invention.

도 21은 제1 예측 모드인 경우에 이미지 정보 예측값을 구하는 방법을 설명하기 위한 도면이다.21 is a diagram for describing a method of obtaining image information prediction values in the first prediction mode.

도 22a 내지 도 22c는 매크로블록이 다양한 크기의 블록들로 나누어지는 경우에, 본 발명의 실시예에 따라서 움직임 벡터 예측값을 구하는 방법을 설명하기 위한 도면이다.22A to 22C are diagrams for describing a method of obtaining a motion vector prediction value according to an embodiment of the present invention when a macroblock is divided into blocks of various sizes.

도 23은 제2 예측 모드인 경우에 이미지 정보 예측값을 구하는 방법을 설명하기 위한 도면이다.FIG. 23 is a diagram for describing a method of obtaining image information prediction values in the second prediction mode.

도 24는 현재 블록의 주변 블록이 다양한 크기의 블록들로 나누어지는 경우에, 본 발명의 실시예에 따라서 움직임 벡터 예측값을 구하는 방법을 설명하기 위한 도면이다.FIG. 24 is a diagram for describing a method of obtaining a motion vector prediction value according to an embodiment of the present invention when a neighboring block of the current block is divided into blocks of various sizes.

도 25는 주변 블록들 중에서 현재 블록이 참조하는 뷰의 방향과 동일한 방향의 뷰를 참조하는 주변 블록만을 이용하여 MV_P를 구하는 방법을 보여주는 알고리즘의 일례이다.FIG. 25 is an example of an algorithm illustrating a method of obtaining MV _P using only neighboring blocks referring to a view in the same direction as a view of a current block among neighboring blocks.

도 26a, 도 26b, 및 도 26c는 본 발명의 실시예에 따른 예측 방법에서의 예측 효율을 보이기 위한 일례로서, 도 26a는 예측 모드를, 도 26b는 현재 블록과 그 주변 블록의 매크로블록 모드를, 도 26c는 실험 데이터를 보여주는 도면이다.26A, 26B, and 26C are examples for showing prediction efficiency in a prediction method according to an embodiment of the present invention. FIG. 26A is a prediction mode, and FIG. 26B is a macroblock mode of a current block and its neighboring blocks. 26C is a diagram showing experimental data.

도 27a, 도 27b, 및 도 27c는 본 발명의 실시예에 따른 예측 방법에서의 예측 효율을 보이기 위한 다른 예로서, 도 27a는 예측 모드를, 도 27b는 현재 블록과 그 주변 블록의 매크로블록 모드를, 도 27c는 실험 데이터를 보여주는 도면이다.27A, 27B, and 27C illustrate another example of prediction efficiency in a prediction method according to an embodiment of the present invention. FIG. 27A illustrates a prediction mode, and FIG. 27B illustrates a macroblock mode of a current block and neighboring blocks. 27C is a diagram showing experimental data.

도 28은 제3 예측 모드인 경우에 이미지 정보 예측값을 구하는 방법을 설명하기 위한 도면이다.FIG. 28 is a diagram for describing a method of obtaining image information prediction values in a third prediction mode.

도 29는 제4 예측 모드인 경우에 이미지 정보 예측값을 구하는 방법을 설명하기 위한 도면이다.29 is a diagram for describing a method of obtaining image information prediction values in the fourth prediction mode.

도 30은 제3 또는 제4 예측 모드인 경우에 이미지 정보 예측값을 구하는데 이용할 수 있는 블록들을 보여주는 도면이다.FIG. 30 is a diagram illustrating blocks that can be used to obtain image information prediction values in a third or fourth prediction mode.

도 31은 현재 블록의 주변 블록들과 시간 방향 대응 블록 및 그 주변 블록들 중에서 현재 블록이 참조하는 뷰의 방향과 동일한 방향의 뷰를 참조하는 블록들만을 이용하여 MV_P를 구하는 방법을 보여주는 알고리즘의 일례이다.FIG. 31 is a diagram illustrating a method of obtaining MV _P using only blocks that are adjacent to a current block in a direction corresponding to the direction of a view referenced by a current block corresponding to a time direction corresponding block and blocks thereof; FIG. It is an example.

도 32a, 도 32b, 도 32c, 도 32d, 도 32e, 도 32f, 및 도 32g는 본 발명의 실시예에 따른 예측 방법에서의 예측 효율을 보이기 위한 다른 예로서, 도 32a는 예측 모드를, 도 32b 및 도 32c는 현재 블록과 그 주변 블록의 매크로블록 모드와 실험 데이터를, 도 32d 및 도 32e는 전방 시간 방향 대응 블록과 그 주변 블록의 매크로블록 모드와 실험 데이터를, 도 32f 및 도 32g는 후방 시간 방향 대응 블록과 그 주변 블록의 매크로블록 모드와 실험 데이터를 보여주는 도면이다.32A, 32B, 32C, 32D, 32E, 32F, and 32G are other examples for showing the prediction efficiency in the prediction method according to an embodiment of the present invention. FIG. 32A illustrates a prediction mode. 32b and 32c show the macroblock mode and the experimental data of the current block and its neighboring blocks, and FIGS. 32d and 32e show the macroblock mode and the experimental data of the forward temporal corresponding block and its neighboring blocks, and FIGS. 32f and 32g A diagram showing macroblock mode and experimental data of a backward temporal corresponding block and its neighboring blocks.

도 33은 본 발명의 일 실시예에 따라서 휘도 변경 예측값을 구하는 방법을 보여주는 알고리즘의 일례이다.33 is an example of an algorithm showing a method of obtaining a brightness change prediction value according to an embodiment of the present invention.

도 34는 제5 예측 모드인 경우에 이미지 정보 예측값을 구하는 방법을 설명하기 위한 도면이다.34 is a diagram for describing a method of obtaining image information prediction values in the fifth prediction mode.

도 35는 본 발명의 일 실시예에 따른 움직임 벡터 및 휘도 변경값 예측 장치에 대한 구성을 보여주는 블록도이다.35 is a block diagram illustrating a configuration of an apparatus for predicting a motion vector and a luminance change value according to an embodiment of the present invention.

도 36은 본 발명의 일 실시예에 따른 다시점 영상의 부호화 장치의 구성을 보여주는 블록도이다.36 is a block diagram illustrating a configuration of an apparatus for encoding a multiview image, according to an embodiment of the present invention.

도 37은 본 발명의 일 실시예에 따른 다시점 영상의 복호화 장치의 구성을 보여주는 블록도이다.37 is a block diagram illustrating a configuration of an apparatus for decoding a multiview image according to an embodiment of the present invention.

본 발명은 다시점 비디오 코딩(Multi-view Video Coding, MVC)에 관한 것으로, 보다 구체적으로 다시점 비디오 코딩에서 이미지 정보에 대한 움직임 벡터 예측값 및/또는 변이 예측값을 구하는 방법과 이를 이용한 다시점 영상의 부호화/복호화 방법과 장치에 관한 것이다.The present invention relates to multi-view video coding (MVC), and more particularly, to a method of obtaining a motion vector prediction value and / or a disparity prediction value for image information in multiview video coding, and The present invention relates to a method and apparatus for encoding / decoding.

다시점 비디오 코딩(MVC)은 복수의 카메라로부터 획득한 각 뷰의 영상들, 즉 다시점 영상을 처리하는 것이다. 복수의 카메라들은 동일한 객체(object)에 대하여 거리 및/또는 대향 방향에 있어서 일정한 규칙에 따라 서로 이격되어 배치된다. 그 결과 다시점 영상은 이를 구성하는 각 뷰의 영상 사이에 높은 상관관계가 존재한다. 각 뷰의 영상 간의 높은 상관관계를 적절히 이용하면, MVC에서 부호화 효율을 현저히 향상시킬 수 있다. 다만, 동일한 피사체에서 반사되는 빛은 방향에 따라서 다를 수 있기 때문에, 부호화 효율을 극대화시키기 위해서는 이를 고려하는 것이 바람직하다.Multi-view video coding (MVC) processes images of each view acquired from a plurality of cameras, that is, multi-view images. The plurality of cameras are spaced apart from each other according to a predetermined rule in the distance and / or the opposite direction with respect to the same object. As a result, a multiview image has a high correlation between the images of each view constituting it. By properly using high correlation between images of each view, coding efficiency can be significantly improved in MVC. However, since the light reflected from the same subject may vary depending on the direction, it is preferable to consider this in order to maximize the coding efficiency.

현재 표준화 작업이 활발하게 진행 중인 MVC에서는, 기존의 동영상 코딩에 관한 국제 표준인 H.264/MPEG-4 part 10 Advanced Video Coding (이하, H.264/AVC라 한다)을 기반으로 하면서, 전술한 다시점 영상의 특성을 고려하여 부호화 효율을 향상시키는 방법을 모색하고 있다. 예를 들어, H.264/AVC에 규정되어 있는 조인트 스케일러블 비디오 코딩(Joint Scalable Video Coding, JSVC)에서 시간적 스케일러빌리티(Temporal scalability)를 지원하기 위해 수행되는 방법인 계층적인 B-영상(hierarchical B-pictures) 코딩 처리를 뷰내(intra-view) 예측 코딩에도 적용하고 있다. 그리고 MVC에서는 뷰간(inter-View) 예측 처리도 병행해서 수행하여 부호화 효율의 향상을 이루고자 한다.In MVC, which is currently being actively standardized, the above-described H.264 / MPEG-4 part 10 Advanced Video Coding (hereinafter referred to as H.264 / AVC), which is an international standard for video coding, has been described above. Considering the characteristics of a multiview image, a method of improving the coding efficiency is sought. For example, hierarchical B, a method performed to support temporal scalability in Joint Scalable Video Coding (JSVC) as defined in H.264 / AVC. The coding process is also applied to intra-view predictive coding. In MVC, inter-view prediction is also performed in parallel to improve encoding efficiency.

도 1은 현재 표준화가 진행 중인 MVC에서의 뷰내 예측 및 뷰간 예측 관계를 보여주는 예측 구조의 일례를 도시한 도면이다. 도 1은 8개의 뷰가 존재할 경우의 예로써, 시간 방향의 영상 그룹(Group of Pictures, GOP)의 크기가 8인 경우이다. 도 1에서 S0, S1, S2, S3,…, S7은 각각 하나의 뷰를 나타내며, T0, T1, T2, T3,…, T100은 시간 방향을 나타낸다.1 is a diagram showing an example of a prediction structure showing the inter-view prediction and inter-view prediction relationship in MVC which is currently being standardized. FIG. 1 illustrates an example of eight views, in which a size of a group of pictures (GOP) in a time direction is eight. 1, S0, S1, S2, S3,... , S7 each represents one view, T0, T1, T2, T3,... , T100 represents the time direction.

도 1을 참조하면, 각 뷰 내에서는 H.264/AVC에 규정되어 있는 계층적인 B-영상 구조가 사용되어 시간 방향으로의 예측 부호화를 수행하고 있는 것을 알 수 있다.Referring to FIG. 1, it can be seen that hierarchical B-picture structures defined in H.264 / AVC are used in each view to perform prediction encoding in the time direction.

그리고 각 뷰의 첫 번째 시간(T0)의 영상들과 그 이후로 시간 방향으로 8 프레임씩 떨어있는 영상 즉, 시간 방향의 영상 그룹(GOP)의 크기만큼 떨어져 있는 영상들(T8, T16, T24,… 에서의 영상)은 이웃하는 뷰로부터의 예측(뷰간 예측, inter-view prediction)만을 수행하고 있다. 예컨대, 시간 T0, T8, T16, T24, … 에서, S2 뷰는 S0 뷰로부터, S1 뷰는 S0 뷰와 S2 뷰로부터, S4 뷰는 S2 뷰로부터, S3 뷰는 S2 뷰와 S4 뷰로부터, S6 뷰는 S4 뷰로부터, S5 뷰는 S4 뷰와 S6 뷰로부터, S7 뷰는 마지막 뷰이기 때문에 S6 뷰로부터 예측을 수행한다.The images of the first time T0 of each view and the images spaced apart by 8 frames in the time direction thereafter, that is, the images T8, T16, and T24 separated by the size of the image group GOP in the time direction. The image at… only performs prediction (inter-view prediction) from neighboring views. For example, time T0, T8, T16, T24,... In S2 view from S0 view, S1 view from S0 and S2 view, S4 view from S2 view, S3 view from S2 and S4 view, S6 view from S4 view, S5 view from S4 view and S6 From the view, the S7 view performs the prediction from the S6 view because it is the last view.

또한, 매 두 번째 뷰(즉, S1, S3, S5, S7)에서는 그 이외의 시간(T1, T2, T3,…, T7, T9, T10,…)에서도 시간 방향의 뷰내 예측(Temporal inter-view prediction)과 함께 뷰간 예측도 수행한다. 즉, 시간 방향의 뷰내 예측 외에도 S1 뷰는 S0 뷰와 S2 뷰로부터, S3 뷰는 S2 뷰와 S4 뷰로부터, S5 뷰는 S4 뷰와 S6 뷰로부터 뷰간 예측을 수행한다.In addition, in every second view (i.e., S1, S3, S5, S7), the temporal inter-view also at other times (T1, T2, T3, ..., T7, T9, T10, ...). inter-view prediction is performed along with the prediction. That is, in addition to the intra-view prediction in the temporal direction, the S1 view performs the inter-view prediction from the S0 and S2 views, the S3 view from the S2 and S4 views, and the S5 view from the S4 and S6 views.

도 1에 도시된 예측 구조는 MVC에서의 움직임 보상 및 변이 보상에 적용된다. 이하에서는 종래 기술에 따른 MVC에서의 이미지 정보에 대한 움직임 벡터 예측값(Motion Vector Predictor, MV_P)과 변이 예측값(Disparity Predictor, D_P)을 구하는 방법에 대하여 설명한다.The prediction structure shown in FIG. 1 is applied to motion compensation and disparity compensation in MVC. Hereinafter, a method of obtaining a motion vector predictor MV _P and a disparity predictor D _P for image information in MVC according to the prior art will be described.

움직임 벡터 예측값(MV_P )을 구하는 방법 How to get the motion vector prediction ( MV _P )

현재 표준화가 진행 중인 MVC에서는 MV_P를 구하는 방법으로서 H.264/AVC에 규정되어 있는 것과 같은 방법을 사용할 것을 제안하고 있다. H.264/AVC에 규정되어 있는 방법은, 현재 블록의 움직임 벡터(MV_C, Motion Vector of Current Block)는 그 주변 블록의 움직임 벡터(MV_N, Motion Vector of Neighboring Block)와 유사하다는 가정에 기초하고 있다. 보다 구체적으로, H.264/AVC에서는 MV_N들을 이용하여 MV_P를 구한다.MVC, which is currently being standardized, proposes to use the same method as defined in H.264 / AVC as a method of obtaining MV _P. The method specified in H.264 / AVC is based on the assumption that the motion vector of the current block (MV _C ) is similar to the motion vector of the neighboring block (MV _N ). Doing. More specifically, in H.264 / AVC, MV _P is obtained using MV _Ns .

그리고 이렇게 구해진 MV_P는 현재 블록의 움직임 벡터 차분값(MV_D, Motion Vector Difference)을 구하는데 이용되며, 이렇게 구해진 MV_D가 복호화기(Decoder)로 전송된다. 부호화기에서 MV_D를 구하는 식은 아래의 수학식 1과 같이 표현할 수 있다.The MV _P thus obtained is used to calculate a motion vector difference (MV _D ) of the current block, and the MV _D thus obtained is transmitted to a decoder. The equation for obtaining MV _D in the encoder may be expressed as Equation 1 below.

그리고 복호화기에서는 우선 부호화기에서와 동일한 방법으로 MV_P를 구한다. 그리고 부호화기로부터 전송되는 MV_D와 상기 MV_P를 더하여, MV_C를 구한다. 복호화 기에서 MV_C를 구하는 식은 다음의 수학식 2와 같이 표현할 수 있다.The decoder first obtains MV _P in the same manner as in the encoder. MV _D transmitted from the encoder is added to MV _P to obtain MV _C. The equation for obtaining MV _C in the decoder can be expressed as Equation 2 below.

그리고 H.264/AVC에 의하면, 현재 블록의 주변 블록이 여러 개가 존재하는 경우에 이 주변 블록의 움직임 벡터(MV_N)들의 중간값(Median)을 구한 다음, 이 중간값을 MV_P로 사용한다. 또한, H.264/AVC에는 주변 블록의 크기가 매크로블록(Macroblock)인 16×16 픽셀인 경우만이 아니라, 16×8 픽셀, 8×16 픽셀, 8×8 픽셀, 8×4 픽셀, 4×8 픽셀, 또는 4×4 픽셀 등으로 가변적인 경우와 현재 블록의 크기가 16×8 픽셀이거나 8×16 픽셀인 경우에 대해서도 각각 규정되어 있다. 이러한 경우 각각의 경우에 MV_P를 구하는 구체적인 방법은 상당히 복잡하고 다양하다. 이하에서는 이에 대하여 간략히 설명한다.According to H.264 / AVC, when there are several neighboring blocks of the current block, the median of the motion vectors MV _N of the neighboring block is obtained, and then the intermediate value is used as MV _P. . In addition, in H.264 / AVC, not only the size of the neighboring block is 16x16 pixels, which are macroblocks, but also 16x8 pixels, 8x16 pixels, 8x8 pixels, 8x4 pixels, and 4x. The case where it is variable to 8 pixels, 4x4 pixels, etc., and the case where the size of the current block is 16x8 pixel or 8x16 pixel, is also prescribed, respectively. In this case, the specific method of obtaining MV _P in each case is quite complicated and diverse. This is briefly described below.

도 2에는 H.264/AVC에서 MV_N을 이용하여 MV_P를 구하는 방법을 설명하기 위한 도면이다. FIG. 2 is a diagram for describing a method of obtaining MV _P using MV _N in H.264 / AVC.

도 2를 참조하면, MV_P를 구하는데 이용되는 주변 블록은 원칙적으로 블록 'A', 'B', 및 'C'가 된다. 이 경우에, MV_P는, 수학식 3과 같이, 블록 'A', 'B', 및 'C'의 MV들의 중간값이 된다. Referring to FIG. 2, peripheral blocks used to obtain MV _P are in principle blocks 'A', 'B', and 'C'. In this case, MV _P becomes an intermediate value of the MVs of blocks 'A', 'B', and 'C', as shown in Equation (3).

여기서, MV(A)는 블록 'A'의 움직임 벡터(MV), MV(B)는 블록 'B'의 움직임 벡터(MV), MV(C)는 블록 'C'의 움직임 벡터(MV), MV_P는 현재 블록의 움직임 벡터 예측값이다.Here, MV (A) is a motion vector (MV) of block 'A', MV (B) is a motion vector (MV) of block 'B', MV (C) is a motion vector (MV) of block 'C', MV _P is a motion vector prediction value of the current block.

그리고 x, y, 및 z의 중간값(Median)을 구하는 방법을 수학적 함수로 나타내면 수학식 4와 같다.A method of obtaining the median of x, y, and z is represented by Equation 4 as a mathematical function.

여기서, Min(x, y)는 x, y 중에서 작거나 같은 값을 나타내고, Max(x, y)는 x, y 중에서 크거나 같은 값을 나타낸다.Here, Min (x, y) represents a smaller or equal value among x and y, and Max (x, y) represents a greater or equal value among x and y.

도 3은 주변 블록이 여러 가지 모양의 파티션 블록으로 분할되어 있는 경우에 H.264/AVC에 따라서 MV_P를 구하는 방법을 설명하기 위한 도면이다.3 is a diagram for describing a method of obtaining MV _P according to H.264 / AVC when a neighboring block is divided into partition blocks having various shapes.

도 3을 참조하면, 현재 블록의 왼쪽으로 인접하는 주변 블록의 경우에는 그 주변 블록 내의 최우상측에 있는 파티션 블록이 블록 'A'로 선택된다. 그리고 현재 블록의 위쪽으로 인접하는 주변 블록의 경우에는 그 주변 블록 내의 최좌하측에 있는 파티션 블록이 블록 'B'로 선택되며, 현재 블록의 우상쪽으로 인접하는 주변 블록의 경우에는 그 주변 블록 내의 최좌하측에 있는 파티션 블록이 블록 'C'로 선택 된다. 그리고 선택된 파티션 블록 'A', 'B', 및 'C'의 MV들에 대한 중간값 연산으로 구해진 값이 MV_P가 된다. Referring to FIG. 3, in the case of a neighboring block adjacent to the left of the current block, the partition block at the top right side in the neighboring block is selected as the block 'A'. In the case of the neighboring block adjacent to the upper side of the current block, the partition block at the bottom left side of the neighboring block is selected as the block 'B', and in the case of the neighboring block adjacent to the upper right side of the current block, the neighboring block in the neighboring block is selected. The partition block on the lower left is selected as the block 'C'. The MV _P is obtained by performing an intermediate operation on the MVs of the selected partition blocks 'A', 'B', and 'C'.

도 4는 H.264/AVC에 따라서 MV_N을 이용하여 MV_P를 구하는 다른 방법을 설명하기 위한 도면으로서, 도 2와 도 3의 예에서 블록 'C'의 움직임 벡터를 이용할 수 없는 경우이다.FIG. 4 is a diagram for describing another method of obtaining MV _P using MV _N according to H.264 / AVC. In this case, the motion vector of the block 'C' is not available in the examples of FIGS. 2 and 3.

도 4를 참조하면, 블록 'C'의 움직임 벡터를 이용할 수 없는 경우에는 블록 'C' 대신에 블록 'D'의 움직임 벡터를 이용하여 MV_P를 구한다. 즉, 블록 'A', 'B', 및 'D'의 MV들에 대한 중간값 연산으로 구해진 값이 MV_P가 된다.Referring to FIG. 4, when the motion vector of the block 'C' is not available, MV _P is obtained using the motion vector of the block 'D' instead of the block 'C'. That is, the value obtained by the intermediate value operation on the MVs of blocks 'A', 'B', and 'D' becomes MV _P.

그리고 앞에서 설명한 각각의 주변 블록(블록 'A', 'B', 'C', 및/또는 'D')의 움직임 벡터(MV_N)를 이용할 수 없는 경우이거나, 상기 주변 블록이 인트라 예측 모드의 블록이거나, 또는 시간 방향의 예측을 사용하지 않는 블록 등인 경우라면, 그 주변 블록의 MV는 (0.0, 0.0)으로 설정하고 참조 영상 번호는 '-1'로 설정하여 MV_P를 구할 수도 있다.And when the motion vector MV _N of each of the neighboring blocks (blocks 'A', 'B', 'C', and / or 'D') described above is not available, or the neighboring blocks are in the intra prediction mode. In the case of a block or a block which does not use the prediction in the time direction, the MV _P of the neighboring block may be set to (0.0, 0.0) and the reference picture number is set to '-1'.

도 5a 및 도 5b는 각각 현재 블록이 8×16 블록 및 16×8 블록 모드인 경우에 각 블록의 MV_P를 구하는 방법을 설명하기 위한 도면이다.5A and 5B are diagrams for describing a method of obtaining MV _P of each block when the current block is an 8x16 block and a 16x8 block mode, respectively.

먼저 도 5a에 참조하면, 현재 블록이 8×16 블록 모드인 경우에, 좌측에 위치한 8×16 블록의 MV_P는 블록 'A'의 움직임 벡터(MV)만을 이용하여 구하고, 우측에 위치한 8×16 블록의 MV_P는 블록 'C'의 움직임 벡터(MV)만을 이용하여 구한다. 그리고 도 5b를 참조하면, 현재 블록이 16×8 블록 모드인 경우에, 상측에 위치한 16×8 블록의 MV_P는 블록 'B'의 움직임 벡터(MV)만을 이용하여 구하고, 하측에 위치한 16×8 블록의 MV_P는 블록 'A'의 움직임 벡터(MV)만을 이용하여 구한다.First, referring to FIG. 5A, when the current block is in 8 × 16 block mode, the MV _P of the 8 × 16 block located on the left side is obtained using only the motion vector (MV) of the block 'A', and the 8 × located on the right side. The MV _P of 16 blocks is obtained using only the motion vector (MV) of the block 'C'. Referring to FIG. 5B, when the current block is in 16 × 8 block mode, the MV _P of the 16 × 8 block located above is obtained using only the motion vector (MV) of the block 'B', and the 16 × located below. MV _P of 8 blocks is obtained using only the motion vector (MV) of block 'A'.

또한, 전술한 예들에서 현재 블록이 현재 영상 또는 슬라이스의 최상측에 위치하는 경우에는 그 상부에 위치하는 블록 'B' 및 'C'는 영상 또는 슬라이스의 경계 밖에 위치한다. 이 경우에는 블록 'B'와 'C'는 이용할 수 없기 때문에, 블록 'A'의 움직임 벡터(MV)를 MV_P로 한다.In addition, in the above-described examples, when the current block is located at the top of the current image or slice, blocks 'B' and 'C' positioned at the top thereof are located outside the boundary of the image or slice. In this case, since the blocks 'B' and 'C' are not available, the motion vector MV of the block 'A' is set to MV _P.

또한, H.264/AVC에서는 매크로블록 정보를 전혀 보내지 않고 움직임 보상(Motion Compensation, MC)을 수행하는 스킵 매크로블록 모드(Skip Macroblock Mode)가 존재하는데, 여기서도 움직임 벡터 예측값(MV_P)을 구하여 부호화를 수행한다. 그리고 H.264/AVC에서는 공간 직접 모드(Spatial Direct Mode)가 존재하는데, 여기서도 주변 블록의 움직임 벡터 예측값(MV_P)을 이용하여 현재 블록의 움직임 벡터 예측값(MV_P)을 구한다.In addition, in H.264 / AVC, there is a skip macroblock mode for performing motion compensation (MC) without transmitting macroblock information at all. Here, the motion vector prediction value (MV _P ) is obtained and encoded. Perform And H.264 / AVC, to the spatial direct mode (Direct Mode Spatial) is present, here too by using a motion vector prediction value (MV _P) in the neighboring blocks calculate the current block in the motion vector prediction value (MV _P).

변이 예측값을 구하는 방법 How to get variation prediction

도 6a 및 도 6b는 각 뷰의 영상 간의 휘도 차이를 보여주기 위한 도면으로서, 도 6a 및 도 6b는 각각 다시점 비디오 코딩의 테스트 영상 시퀀스인 영상 'Uli'의 같은 시간대에서 4번째 뷰의 영상과 5번째 뷰의 영상이다.6A and 6B are diagrams for showing luminance differences between images of each view, and FIGS. 6A and 6B are images of a fourth view in the same time zone of the image 'Uli', which is a test image sequence of multiview video coding, respectively. This is the video of the fifth view.

도 6a 및 도 6b를 참조하면, 상기 두 영상 사이에는 동일한 위치에서 밝기(illumination) 또는 휘도(luminance) 등과 같은 픽셀값의 차이, 즉 변이(Disparity)가 존재한다는 것을 쉽게 확인할 수 있다. 이것은 전술한 바와 같이 카메라의 위치에 따라서 피사체에 대한 대향 방향 및/또는 거리에 다소 차이가 존재하기 때문이다. 따라서 도 1에 도시한 것과 같은 뷰간 예측을 수행하는 MVC에서는 각 뷰의 영상 사이에 존재하는 변이에 대하여 고려하면 부호화 효율을 향상시킬 수 있다.Referring to FIGS. 6A and 6B, it is easy to confirm that there is a difference, that is, a disparity, between pixel values such as brightness or luminance at the same position between the two images. This is because, as described above, there is a slight difference in the opposite direction and / or distance to the subject depending on the position of the camera. Therefore, in MVC performing inter-view prediction as shown in FIG. 1, coding efficiency can be improved by considering the variation existing between images of each view.

MVC에서 이러한 변이를 보상하기 위하여 여러 가지 방법이 제안되고 있다. 그 중의 하나의 방법은 픽쳐, 슬라이스, 또는 블록 등의 단위로 현재 뷰의 영상과 참조 뷰의 영상의 픽셀값(휘도, 색차, 및/또는 RGB값)의 평균값을 구하고, 픽쳐, 슬라이스 또는 블록 등의 단위로 변이를 보상하는 방법이다. 예를 들어, 각 뷰의 영상 사이에 휘도 차이가 존재하는 경우에, 현재 뷰의 영상을 구성하는 매크로블록과 참조되는 뷰의 영상을 구성하는 매크로블록의 휘도의 평균값을 각각 구한 다음, 그 평균값의 차이를 휘도 변이값(Luminance Disparity Value) 또는 밝기 변경값(Illumination Change Value)으로 하여 뷰간 휘도 변이를 보상한다.Various methods have been proposed to compensate for this variation in MVC. One method is to obtain an average value of pixel values (luminance, chrominance, and / or RGB values) of the image of the current view and the image of the reference view in units of a picture, slice, or block, and the like. How to compensate for mutations in units of. For example, when there is a luminance difference between the images of each view, the average value of the luminance of the macroblocks constituting the image of the current view and the macroblocks constituting the image of the referenced view is obtained, respectively, and then the Compensation for the luminance variation between views is performed by using the difference as a luminance disparity value or an illumination change value.

변이도 움직임 보상과 마찬가지로 변이 추정을 통한 차분 펄스 모드 변조(Differential Pulse Code Modulation, DPCM)에 기초하여 부호화될 수 있다. 그리고 DPCM 부호화의 효율을 향상시키기 위하여, 예측 밝기 변경값(Predictive Illumination Change Value, IC_P) 등과 같은 예측 변이값 또는 변이 예측값(D_P)을 구하는 방법이 이용될 수 있다. 그런데 종래에는 상기 IC_P를 구하는데 있어서, MV_p를 구하는 것과 마찬가지로, 현재 블록에 인접한 주변 블록의 휘도 변경값을 이용하였다.Like the motion compensation, the variance may be encoded based on differential pulse code modulation (DPCM) through variance estimation. In order to improve the efficiency of DPCM encoding, a method of obtaining a predicted variation value or a variation prediction value D _P such as a predicted illumination change value (IC _P ) may be used. By the way, in the conventional IC _P , the luminance change value of the neighboring block adjacent to the current block is used, similarly to the MV _p .

이러한 종래의 방법에 따라서 IC_P를 구하는데 이용되는 주변 매크로블록은, 예컨대 도 4에 도시되어 있는 매크로블록 A, B, C, 및/또는 D일 수 있다. 도 4를 참조하면, 현재 매크로블록의 좌측 및 상측에 위치하는 매크로블록 A, B, C, 및/또는 D의 IC를 이용하여 현재 블록의 IC_P를 구한다. 예를 들어, 상기 매크로블록 A, B, C, 및/또는 D의 IC의 중간값 또는 평균값 등이 IC_P가 된다.The peripheral macroblocks used to obtain IC _P according to this conventional method may be, for example, macroblocks A, B, C, and / or D shown in FIG. Referring to FIG. 4, the IC _P of the current block is obtained by using the ICs of macroblocks A, B, C, and / or D located on the left side and the upper side of the current macroblock. For example, the median or average value of the ICs of the macroblocks A, B, C, and / or D becomes IC _P.

이와 같이, H.264/AVC에 규정되어 있는 기존의MV_P를 구하는 방법과 현재 제안되고 있는 D_P(예컨대, IC_P)을 구하는 방법은 모두 현재 블록에 인접한 주변 블록들의 MV와 IC만을 이용한다. 그런데, 이러한 기존의 예측 방법을 MVC에 그대로 적용하는 것은 어느 정도 한계가 있다. 왜냐하면, MVC에서 압축해야 하는 다시점 영상은 단일 시점 영상에 비하여 압축해야할 데이터의 양이 훨씬 많기 때문이다. 따라서 MVC에서 부호화 효율을 더욱 높일 수 있는 새로운 부호화 방법이 요구되고 있다.As described above, both the conventional MV _P and the currently proposed D _P (eg, IC _P ) method of H.264 / AVC use only MV and IC of neighboring blocks adjacent to the current block. However, there are some limitations in applying the existing prediction method to MVC as it is. This is because a multiview image to be compressed in MVC has a much larger amount of data to be compressed than a single view image. Therefore, there is a need for a new coding method that can further improve coding efficiency in MVC.

본 발명이 이루고자 하는 기술적 과제는 MVC에서 부호화 효율을 향상시킬 수 있는 움직임 벡터 예측값을 구하는 방법 및 장치와 이를 이용하는 다시점 영상의 부호화/복호화 방법 및 장치를 제공하는 것이다.An object of the present invention is to provide a method and apparatus for obtaining a motion vector prediction value capable of improving coding efficiency in MVC, and a method and apparatus for encoding / decoding a multiview image using the same.

본 발명이 이루고자 하는 다른 기술적 과제는 MVC에서 부호화 효율을 향상시킬 수 있는 변이 예측값을 구하는 방법 및 장치와 이를 이용하는 다시점 영상의 부호화/복호화 방법 및 장치를 제공하는 것이다.Another object of the present invention is to provide a method and apparatus for obtaining a disparity prediction value for improving coding efficiency in MVC, and a method and apparatus for encoding / decoding a multiview image using the same.

상기한 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 MVC에서 이미지 정보 예측값을 구하는 방법은 참조 프레임의 방향과 그 방향에서의 상기 참조 프레임의 개수에 기초하여 현재 프레임의 예측 모드를 판별하는 단계, 및 판별된 상기 예측 모드에 따라서 적응적으로 현재 블록의 이미지 정보에 대한 예측값을 구하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method of obtaining image information prediction values in MVC, which determines a prediction mode of a current frame based on a direction of a reference frame and the number of the reference frames in the direction. And adaptively obtaining a prediction value for image information of the current block according to the determined prediction mode.

상기 실시예의 일 측면에 의하면, 상기 이미지 정보에 대한 예측값은 상기 현재 블록의 MV_P 또는 D_P일 수 있다. According to an aspect of the embodiment, the prediction value for the image information may be MV _P or D _P of the current block.

상기 실시예의 다른 측면에 의하면, 상기 참조 프레임의 방향은 상기 현재 프레임과 시간은 동일하지만 뷰가 다른 프레임을 참조하는 뷰 방향 및 상기 현재 프레임과 뷰는 동일하지만 시간이 다른 프레임을 참조하는 시간 방향을 포함하고, 상기 참조 프레임의 개수는 1개 또는 2개일 수 있다. 이 경우에, 상기 예측 모드는 하나의 뷰 참조 프레임을 갖는 제1 예측 모드, 서로 다른 두 개의 뷰 참조 프레임을 갖는 제2 예측 모드, 서로 다른 두 개의 뷰 참조 프레임과 서로 다른 두 개의 시간 참조 프레임을 갖는 제3 예측 모드, 하나의 뷰 참조 프레임과 서로 다른 두 개의 시간 참조 프레임을 갖는 제4 예측 모드, 및 서로 다른 두 개의 시간 참조 프레임을 갖는 제5 예측 모드를 포함할 수 있다. According to another aspect of the embodiment, the direction of the reference frame is a view direction that refers to a frame that is the same time as the current frame but the view is different and a time direction that refers to a frame that is the same as the current frame but the time is different And the number of reference frames may be one or two. In this case, the prediction mode includes a first prediction mode having one view reference frame, a second prediction mode having two different view reference frames, two different view reference frames, and two different time reference frames. It may include a third prediction mode having, a fourth prediction mode having one view reference frame and two different temporal reference frames, and a fifth prediction mode having two different temporal reference frames.

그리고 상기 현재 프레임이 제1 예측 모드, 제2 예측 모드, 또는 제5 예측 모드에 해당되는 것으로 판별되는 경우에, 상기 예측값을 구하는 단계에서는 상기 현재 블록의 주변 블록의 이미지 정보값을 이용하고, 상기 현재 프레임이 제3 예측 모드 또는 제4 예측 모드에 해당되는 것으로 판별되는 경우에, 상기 예측값을 구하는 단계에서는 상기 현재 블록의 주변 블록의 이미지 정보값 및/또는 상기 두 개의 시간 방향 참조 프레임에서 상기 현재 블록과 대응하는 위치에 있는 대응 블록 및 상기 대응 블록의 주변 블록들의 이미지 정보값을 이용할 수 있다. 이 경우에, 상기 현재 블록의 참조 영상이 뷰 방향 참조 프레임을 포함할 경우에만 상기 예측값을 구하는 단계에서 상기 대응 블록과 그 주변 블록의 이미지 정보값을 이용할 수 있다. 또한, 상기 현재 프레임이 제3 예측 모드이고, 상기 예측값을 구하는 단계에서는, 상기 대응 블록과 그 주변 블록 중에서 그 참조 영상이, 상기 현재 블록의 참조 영상에 포함되는 뷰 방향 참조 프레임과 동일한 뷰 방향을 참조하는 블록을 이용할 수 있다.And when it is determined that the current frame corresponds to a first prediction mode, a second prediction mode, or a fifth prediction mode, the obtaining of the prediction value uses image information of the neighboring blocks of the current block. When it is determined that the current frame corresponds to the third prediction mode or the fourth prediction mode, the obtaining of the prediction value may include image information values of neighboring blocks of the current block and / or the current frame in the two temporal reference frames. Image information values of a corresponding block at a position corresponding to the block and neighboring blocks of the corresponding block may be used. In this case, the image information value of the corresponding block and its neighboring blocks may be used to obtain the prediction value only when the reference image of the current block includes the view direction reference frame. Further, when the current frame is in the third prediction mode and the prediction value is obtained, the reference image among the corresponding block and the neighboring blocks has the same view direction as the view direction reference frame included in the reference image of the current block. A reference block can be used.

상기 실시예의 다른 측면에 의하면, 상기 예측 모드를 판별하는 단계에서는 상기 현재 프레임의 참조 프레임 리스트를 이용할 수 있다. 이 경우에, 상기 참조 프레임 리스트에 기록되어 있는 일련번호(Picture of Count, POC)로부터 상기 참조 프레임의 시간 인덱스와 뷰 인덱스를 구하여 상기 예측 모드를 판별할 수 있다. According to another aspect of the embodiment, the step of determining the prediction mode may use a reference frame list of the current frame. In this case, the prediction mode may be determined by obtaining a time index and a view index of the reference frame from a sequence number (POC) recorded in the reference frame list.

상기한 기술적 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 MVC에서의 이미지 정보 예측값을 구하기 위한 장치는 참조 프레임의 방향과 그 방향에서의 상기 참조 프레임의 개수에 기초하여 현재 프레임의 예측 모드를 판별하기 위한 예측 모드 판별부 및 상기 예측 모드 판별부에서 판별된 상기 예측 모드에 따라서 적응적으로 현재 블록의 이미지 정보에 대한 예측값을 구하기 위한 예측값 생성부를 포함한다. 그리고 상기 예측값 생성부는 상기 현재 블록의 움직임 벡터 예측값(Motion Vector Predictor, MV_P)을 구하기 위한 움직임 벡터 예측부, 및 상기 현재 블록의 변이 예측값(Disparity Predictor, D_P)을 구하기 위한 변이 예측부를 포함할 수 있다. An apparatus for obtaining image information prediction values in MVC according to another embodiment of the present invention for achieving the above technical problem is based on the direction of the reference frame and the number of the reference frame in the direction of the prediction mode of the current frame. And a prediction value generator for adaptively obtaining a prediction value for image information of the current block according to the prediction mode determined by the prediction mode determination unit. The prediction value generator may include a motion vector predictor for obtaining a motion vector predictor (MV _P ) of the current block, and a variation predictor for obtaining a disparity predictor (D _P ) of the current block. Can be.

상기한 기술적 과제를 달성하기 위한 본 발명의 실시예에 따른 다시점 영상의 부호화 방법은 참조 프레임의 방향과 그 방향에서의 상기 참조 프레임의 개수에 기초하여 현재 프레임의 예측 모드를 판별하는 단계, 판별된 상기 예측 모드에 따라서 적응적으로 현재 블록의 이미지 정보에 대한 예측값을 구하는 단계, 및 상기 예측값과 상기 현재 블록의 이미지 정보를 차분하여 이미지 정보 차분값을 구하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of encoding a multiview image, determining a prediction mode of a current frame based on a direction of a reference frame and the number of the reference frames in the direction. And adaptively obtaining a prediction value for image information of the current block according to the predicted mode, and obtaining an image information difference value by differentiating the prediction value and the image information of the current block.

상기한 기술적 과제를 달성하기 위한 본 발명의 실시예에 따른 다시점 영상 의 복호화 방법은 참조 프레임의 방향과 그 방향에서의 상기 참조 프레임의 개수에 기초하여 현재 프레임의 예측 모드를 판별하는 단계, 판별된 상기 예측 모드에 따라서 적응적으로 현재 블록의 이미지 정보에 대한 예측값을 구하는 단계, 및 상기 예측값과 상기 현재 블록의 이미지 정보 차분값을 합산하여 상기 현재 블록의 이미지 정보를 구하는 단계를 포함한다.The decoding method of a multi-view image according to an embodiment of the present invention for achieving the above technical problem is to determine the prediction mode of the current frame based on the direction of the reference frame and the number of the reference frame in the direction, determination And adaptively obtaining a prediction value for the image information of the current block according to the predicted mode, and obtaining the image information of the current block by summing the prediction value and the image information difference value of the current block.

상기한 기술적 과제를 달성하기 위한 다시점 비디오 코딩에서 현재 블록의 이미지 정보 예측값을 구하는 방법은 (a) 현재 프레임의 참조 프레임이 하나의 뷰 참조 프레임, 서로 다른 두 개의 뷰 참조 프레임, 또는 서로 다른 두 개의 시간 참조 프레임을 갖는 경우에는 상기 현재 블록의 주변 블록의 이미지 정보를 이용하여 상기 이미지 정보 예측값을 구하고, (b) 현재 프레임의 참조 프레임이 서로 다른 두 개의 뷰 참조 프레임과 서로 다른 두 개의 시간 참조 프레임을 갖거나 또는 하나의 뷰 참조 프레임과 서로 다른 두 개의 시간 참조 프레임을 갖는 경우에는 상기 현재 블록의 주변 블록 및/또는 상기 시간 참조 프레임에서 상기 현재 블록의 위치에 대응하는 대응 블록과 그 주변 블록의 이미지 정보를 이용하여 상기 이미지 정보 예측값을 구한다.In order to achieve the above technical problem, a method of obtaining image information prediction values of a current block in multi-view video coding includes: (a) one view reference frame, two different view reference frames, or two different reference frames of the current frame; If there are three temporal reference frames, the image information prediction value is obtained by using image information of neighboring blocks of the current block, and (b) two view reference frames having different reference frames and two different temporal references of the current frame are obtained. In the case of having a frame or having two different time reference frames from one view reference frame, the neighboring block of the current block and / or the corresponding block corresponding to the position of the current block in the temporal reference frame and the neighboring block thereof The image information prediction value is obtained by using the image information of.

이하에서는, 첨부 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다. 이하의 실시예의 설명에서 각 구성 요소의 명칭은 당업계에서 다른 명칭으로 호칭될 수 있는데, 이들이 기능적 유사성과 동일성이 있다면 비록 다른 명칭을 사용하더라도 본 발명의 실시예와 균등한 구성이라고 볼 수 있다. 그리 고 명세서 전체에 걸쳐서 동일한 참조 부호는 동일한 구성 요소를 나타낸다.Hereinafter, with reference to the accompanying drawings will be described in detail a preferred embodiment of the present invention. In the description of the following embodiments, the names of each component may be referred to by other names in the art, and if they have functional similarity and identity, they may be regarded as equivalent to the embodiments of the present invention even though other names are used. And like reference numerals denote like elements throughout the specification.

예측 모드의 결정 및 참조 프레임 리스트의 작성Determination of prediction mode and creation of reference frame list

MVC에서 현재 프레임의 영상을 예측하는데 이용되는 참조 프레임의 방향과 그 방향으로의 참조 프레임의 개수 등에 기초하여, 본 발명의 실시예에 따른 MVC에서의 예측 모드는 몇 가지로 분류할 수 있다. 여기서 참조 프레임의 방향이란 예측 방향이 뷰 방향인지 또는 시간 방향인지를 나타낸다. 예를 들어, 도 1과 같은 예측 구조에서는 예측 모드는 아래의 5가지로 분류할 수 있다. 하지만, 이러한 5가지 예측 모드는 확정된 것은 아니며, 픽쳐 그룹의 크기, 각 픽쳐 그룹의 크기에서 예측 구조, 및/또는 뷰의 개수 등에 따라서 달라질 수도 있다.Based on the direction of a reference frame used to predict an image of a current frame in MVC, the number of reference frames in the direction, and the like, prediction modes in MVC according to an embodiment of the present invention may be classified into several types. Here, the direction of the reference frame indicates whether the prediction direction is the view direction or the time direction. For example, in the prediction structure as shown in FIG. 1, the prediction modes may be classified into the following five types. However, these five prediction modes are not fixed and may vary depending on the size of the picture group, the prediction structure in the size of each picture group, and / or the number of views.

① 한 장의 뷰 참조 프레임(View Reference Frame)을 사용하는 경우로서, 이하에서는 이 경우에 해당하는 예측 모드를'제1 예측 모드'라고 한다.① When a view reference frame is used, a prediction mode corresponding to this case is referred to as a 'first prediction mode'.

② 두 장의 뷰 참조 프레임을 사용하는 경우로서, 이하에서는 이 경우에 해당하는 예측 모드를'제2 예측 모드'라고 한다.2) When two view reference frames are used, a prediction mode corresponding to this case will be referred to as a 'second prediction mode' below.

③ 두 장의 뷰 참조 프레임과 두 장의 시간 참조 프레임(Temporal Reference Frame)을 사용하는 경우로서, 이하에서는 이 경우에 해당하는 예측 모드를'제3 예측 모드'라고 한다.In the case where two view reference frames and two temporal reference frames are used, a prediction mode corresponding to this case will be referred to as a 'third prediction mode'.

④ 한 장의 뷰 참조 프레임과 두 장의 시간 참조 프레임을 사용하는 경우로서, 이하에서는 이 경우에 해당하는 예측 모드를'제4 예측 모드'라고 한다.(4) A case where one view reference frame and two temporal reference frames are used. Hereinafter, a prediction mode corresponding to this case is referred to as a 'fourth prediction mode'.

⑤ 두 장의 시간 참조 프레임을 사용하는 경우로서, 이하에서는 이 경우에 해당하는 예측 모드를'제5 예측 모드'라고 한다.In the case of using two temporal reference frames, a prediction mode corresponding to this case will be referred to as a fifth prediction mode.

도 1에서 화살표는 프레임간의 예측 관계를 나타내고 있는 것으로서, 상기 화살표의 시작 지점에 위치한 프레임이 뷰 참조 프레임 또는 시간 참조 프레임이 된다. 그리고 수직 방향의 화살표는 뷰 방향 예측을 나타내고, 수평 방향의 화살표는 시간 방향 예측을 나타낸다. 예를 들어, 뷰 S1의 시간 T2에 위치(이하에서는 이를 '프레임 S1T2'라고 표시하며 나머지도 동일한 방식으로 표시하기로 한다. 그리고 '프레임 S1T2'에서 S1은 뷰 인덱스를 나타내고 T2는 시간 인덱스를 나타낸다)하는 영상은 B₃ 프레임으로서, 두 장의 뷰 참조 프레임(즉, 위치 S1T0의 B₁ 프레임과 위치 S1T4의 B₂ 프레임)과 두 장의 시간 참조 프레임(즉, 위치 S0T2의 B₂ 프레임과 위치 S2T2의 B₂ 프레임)을 참조 프레임으로 사용하므로, 상기 제3 예측 모드에 해당된다. 이와 같이, 인트라 코딩되는 프레임인 프레임 S0T0와 프레임 S0T8 등과 같은 인트라 코딩되는 프레임(I₀로 표시)을 제외하고, 인터 코딩되는 다른 모든 프레임은 상기 제1 예측 모드 내지 제5 예측 모드 중의 하나에 해당된다.In FIG. 1, an arrow indicates a prediction relationship between frames, and a frame located at the start of the arrow becomes a view reference frame or a time reference frame. The vertical arrow indicates the view direction prediction, and the horizontal arrow indicates the time direction prediction. For example, a position at time T2 of view S1 (hereinafter referred to as 'frame S1T2' and the rest will be represented in the same way. In frame S1T2, S1 represents a view index and T2 represents a time index. The image is a B ₃ frame, which is composed of two view reference frames (that is, a B ₁ frame at position S1T0 and a B ₂ frame at position S1T4) and two temporal reference frames (that is, a B ₂ frame at position S0T2 and a position S2T2 B ₂ frame) is used as a reference frame, and thus corresponds to the third prediction mode. As such, except for intra-coded frames (denoted as I ₀ ) such as frames S0T0 and frames S0T8, which are intra-coded frames, all other frames that are inter coded correspond to one of the first prediction mode to the fifth prediction mode. do.

이러한 5가지 예측 모드를 포함하는 도 1과 같은 예측 구조에서, 각 프레임에 대한 참조 프레임이 어떤 것인지는 각 프레임에 대한 메타데이터 중의 하나로 포함되는 참조 프레임에 관한 리스트로 관리할 수 있다. 참조 프레임은 하나 이상의 리스트로 관리할 수 있는데, 몇 개의 리스트를 사용하는가 하는 것은 특별한 제 한이 없다. 이하에서는 두 개의 리스트, 즉 리스트_0(LIST_0)과 리스트_1(LIST_1)을 사용하는 경우에 대하여 설명한다. 그리고 상기 제1 예측 모드 내지 제5 예측 모드 중에서, 제3 예측 모드의 참조 프레임이 4개로서 최대이므로, 상기 LIST_0 및 LIST_1은 각각 2개 또는 그 이상의 참조 위치를 가질 수 있다. 이하에서는 상기 LIST_0 및 LIST_1이 각각 2개의 참조 위치를 가지는 경우에 대하여 설명한다.In the prediction structure as shown in FIG. 1 including these five prediction modes, which reference frame is for each frame may be managed as a list of reference frames included as one of metadata for each frame. Reference frames can be managed by more than one list. There is no particular limit on how many lists are used. Hereinafter, a case of using two lists, namely, list_0 (LIST_0) and list_1 (LIST_1), will be described. Since the number of reference frames of the third prediction mode is maximum as four among the first to fifth prediction modes, the LIST_0 and the LIST_1 may have two or more reference positions, respectively. Hereinafter, the case where the LIST_0 and the LIST_1 have two reference positions will be described.

그리고 상기 리스트를 어떤 방식으로 작성하는가 하는 것도 특별한 제한이 없다. 예를 들어, 도 1의 예측 구조에서 각 프레임에 대하여 일련번호(Picture Of Count, POC)를 부여한 다음, 참조 프레임의 POC를 기록하는 방식으로 상기 리스트를 작성할 수 있다.There is no particular limitation as to how the list is prepared. For example, in the prediction structure of FIG. 1, a serial number (Picture Of Count, POC) may be assigned to each frame, and then the list may be created by recording the POC of the reference frame.

도 7은 도 1에 도시된 예측 구조에서 각 프레임에 대하여 POC를 부여하는 일례를 보여주는 도면이다. FIG. 7 is a diagram illustrating an example of assigning a POC to each frame in the prediction structure shown in FIG. 1.

도 7을 참조하면, 각 프레임의 POC는 소정의 규칙에 따라 부여될 수 있다. 예를 들어, 우선 시간 T0에서의 프레임에 대하여 뷰 순서에 따라 순차적으로 POC를 부여한다. 그리고 다른 시간에서의 프레임에 대해서는 우선 영상 그룹의 크기(GOP_SIZE)인 8프레임 단위로 동일 뷰 내에서 시간 순서에 따라 순차적으로 POC를 부여할 수 있다. 보다 구체적으로, 먼저 뷰 S0 내에서 시간 T0부터 시간 순서에 따라 8프레임 단위로 순차적으로 POC를 부여하고, 다음으로 영상 그룹의 크기 단위로 뷰 S1 내에서 순차적으로 POC를 부여한다. 그리고 뷰 S2 내지 뷰 S7의 프레임도 동일한 방법으로 순차적으로 POC를 부여한다.Referring to FIG. 7, the POC of each frame may be given according to a predetermined rule. For example, first, POCs are sequentially assigned to frames at time T0 according to the view order. For frames at different times, POCs may be sequentially assigned in the same view in units of 8 frames, which is the size (GOP_SIZE) of the image group, in the same view. More specifically, first, POCs are sequentially assigned in 8-frame units in the order of time from time T0 in view S0, and then POCs are sequentially assigned in view S1 in units of sizes of the image group. The frames of views S2 through S7 are also sequentially assigned POCs in the same manner.

이하에서는 도 7에 개시된 것과 같이 부여된 POC와 각각 2개의 참조 위치를 갖는 2개의 리스트인 LIST_0 및 LIST_1을 이용하여 예측 모드 및 이에 따른 리스트의 작성례에 대하여 설명한다. Hereinafter, a prediction mode and a preparation example of the list will be described using POCs assigned as shown in FIG. 7 and two lists having two reference positions, LIST_0 and LIST_1, respectively.

① 제1 예측 모드① first prediction mode

제1 예측 모드는 현재 영상이 동일한 시간대에서 다른 뷰에 속하는 하나의 프레임을 참조 프레임으로 사용하는 경우이다. 도 8은 이러한 제1 예측 모드를 보여주는 블록도이다. 도 8에서 가로 방향은 시간 방향(Temporal Direction)을 나타내고, 세로 방향은 뷰 방향(View Direction)을 나타낸다. 도 8을 참조하면, 세 번째 뷰(V₂)의 시간 T₀에 위치하는 프레임 V₂T₀을 부호화함에 있어서, 첫 번째 뷰(V₀)의 시간 T₀에 위치하는 프레임 V₀T₀를 참조 프레임으로 사용한다.The first prediction mode is a case where a current frame uses one frame belonging to another view in the same time zone as a reference frame. 8 is a block diagram illustrating this first prediction mode. In FIG. 8, the horizontal direction represents a temporal direction, and the vertical direction represents a view direction. 8, the third view (V ₂₎ time according as coding a V ₂ T ₀ which is located on the T _0, the first view (V ₀₎ time frame V ₀ T ₀ which is located on the T ₀ of the Used as a reference frame.

도 9는 도 1의 예측 구조에서 도 7의 POC를 사용할 경우에, 상기 제1 예측 모드의 일례를 보여주는 도면이다. 도 1의 예측 구조에 의하면, 시간 T0 및 이와 영상 그룹 크기 간격만큼 떨어져 있는 시간 T8, T16, T24 등에서 뷰 S2, S4, S6, 및 S7에 속하는 프레임들이 상기 제1 예측 모드에 해당된다. 그리고 도 9는 이 중에서 프레임 S4T0를 보여주는 것으로서, 참조 프레임이 프레임 S2T0, 즉 POC가 2인 프레임이다. 9 is a diagram illustrating an example of the first prediction mode when the POC of FIG. 7 is used in the prediction structure of FIG. 1. According to the prediction structure of FIG. 1, frames belonging to the views S2, S4, S6, and S7 at the time T0 and the time T8, T16, and T24 spaced apart by the image group size interval correspond to the first prediction mode. 9 shows a frame S4T0 among which a reference frame is a frame S2T0, that is, a frame having a POC of 2. FIG.

표 1은 도 9의 프레임 S4T0의 참조 프레임에 대한 리스트의 작성례를 보여주기 위한 것이다. 표 1을 참조하면, LIST_0의 참조 위치1에는 뷰 참조 프레임의 POC인 '2'가 기록되며, LIST_0의 참조 위치2와 LIST_1의 참조 위치 1 및 2에는 아무 것도 기록되지 않는다.Table 1 shows an example of creating a list of reference frames of frame S4T0 of FIG. 9. Referring to Table 1, '2', which is the POC of the view reference frame, is recorded in the reference position 1 of the LIST_0, and nothing is recorded in the reference positions 2 of the LIST_0 and the reference positions 1 and 2 of the LIST_1.

리스트를 작성하는 실시예는 여기에만 한정되는 것은 아니다. 예를 들어, 표 1과는 달리 LIST_0에 시간 참조 프레임이 기록되고, LIST_1에 뷰 참조 프레임이 기록될 수도 있다. 또는, LIST_0 및 LIST_1 각각에 대하여 참조 위치1에는 시간 참조 프레임이 기록되고, 참조 위치2에는 뷰 참조 프레임이 기록되거나 또는 반대의 경우도 될 수가 있다. 또는, 실시예에 따라서는 각 리스트의 각 참조 위치에 기록될 참조 프레임이 아무것도 없는 경우에, 해당 리스트에는 아무것도 기록되지 않거나 또는 다른 리스트 및/또는 다른 참조 위치에 기록된 POC를 반복하여 기록할 수도 있다.The embodiment for creating the list is not limited to this. For example, unlike Table 1, a time reference frame may be recorded in LIST_0 and a view reference frame may be recorded in LIST_1. Alternatively, a temporal reference frame is recorded at reference position 1 and a view reference frame is recorded at reference position 2 or vice versa for each of LIST_0 and LIST_1. Alternatively, when there is no reference frame to be recorded in each reference position of each list, according to the embodiment, nothing is recorded in the corresponding list or POC recorded in another list and / or another reference position may be repeatedly recorded. have.

제1 예측 모드는 리스트의 전체 크기(참조 프레임의 전체 개수)가 1인 경우이다. 그리고 표 1과 같이 리스트를 작성한 경우에는 LIST_0의 크기는 1이 되고, LIST_1의 크기는 0이 된다. 본 명세서에서 'LIST_x의 크기'란 LIST_x에 기록되는 참조 프레임의 개수를 나타내는데, 이 경우에 각 참조 위치에 기록되는 POC는 같거나 다를 수 있다. 그리고 '리스트의 전체 크기'는 상기 LIST_x의 크기를 더한 값에서 중복되는 POC를 뺀 개수를 나타낸다.The first prediction mode is a case where the total size (the total number of reference frames) of the list is one. When the list is created as shown in Table 1, the size of LIST_0 is 1, and the size of LIST_1 is 0. In the present specification, the 'size of LIST_x' indicates the number of reference frames recorded in the LIST_x. In this case, the POCs recorded at the respective reference positions may be the same or different. The total size of the list indicates the number of subtracted duplicate POCs from the sum of the sizes of the LIST_x.

② 제2 예측 모드② second prediction mode

제2 예측 모드는 현재 영상과 동일한 시간대이지만 다른 뷰에 속하는 프레임 2개를 참조 프레임으로 사용하는 경우이다. 도 10은 이러한 제2 예측 모드를 보여주는 블록도이다. 도 10에서도 가로 방향은 시간 방향(Temporal Direction)을 나타내고, 세로 방향은 뷰 방향(View Direction)을 나타낸다. 도 10을 참조하면, 두 번째 뷰(V₁)의 시간 T₀에 위치하는 프레임 V₁T₀을 부호화함에 있어서, 첫 번째 뷰(V₀)의 시간 T₀에 위치하는 프레임 V₀T₀와 세 번째 뷰(V₂)의 시간 T₀에 위치하는 프레임 V₂T₀를 참조 프레임으로 사용한다.The second prediction mode is a case where two frames belonging to the same view but in different views are used as reference frames. 10 is a block diagram illustrating this second prediction mode. Also in FIG. 10, the horizontal direction represents a temporal direction, and the vertical direction represents a view direction. 10, the second method as the view (V ₁₎ encoding the frame V ₁ T ₀ which is located at the time T ₀ of the first view (V ₀₎ frame V ₀ T ₀ which is located at the time T ₀ of The frame V ₂ T ₀ located at time T ₀ of the third view V ₂ is used as the reference frame.

도 11은 도 1의 예측 구조에서 도 7의 POC를 사용할 경우에, 상기 제2 예측 모드의 일례를 보여주는 도면이다. 도 1의 예측 구조에서 시간 T0 및 이와 영상 그룹 크기 간격만큼 떨어져 있는 시간 T8, T16, T24 등에서 뷰S1, 뷰S3, 및 뷰S5에 속하는 프레임들이 제2 예측 모드에 해당된다. 그리고 도 11은 이 중에서 프레임 S1T0를 보여주는 것으로서, 참조 프레임이 프레임 S0T0, 즉 POC가 0인 프레임과 프레임 S2T0, 즉 POC가 2인 프레임이다.FIG. 11 is a diagram illustrating an example of the second prediction mode when the POC of FIG. 7 is used in the prediction structure of FIG. 1. In the prediction structure of FIG. 1, the frames belonging to the views S1, S3, and S5 are included in the second prediction mode at the time T0 and the time T8, T16, T24, which are separated by the image group size interval. 11 shows a frame S1T0, wherein the reference frame is a frame S0T0, that is, a frame having a POC of 0 and a frame S2T0, that is, a frame having a POC of 2. FIG.

이와 같은 제2 예측 모드에서 리스트를 작성하는 방법은 여러 가지가 있을 수 있다. 예를 들어, LIST_0에 뷰 참조 프레임을 기록하는 경우에, LIST_0의 참조 위치1에는 위쪽 뷰의 POC를 기록하고 LIST_0의 참조 위치2에는 아래쪽 뷰의 POC를 기록할 수 있으며, 반대의 경우도 가능하다. 이것을 도 11과 관련하여 설명하면, LIST_0의 참조 위치1에는 '0'을 기록하고 LIST_0의 참조 위치2에 '2'를 기록한다. 이 경우, LIST_0의 크기는 2가 된다. 그리고 LIST_1에는 아무것도 기록하지 않거나 또는 LIST_0에 기록된 내용을 그대로 반복하거나 순서를 바꾸어서 기록할 수도 있다. 이 경우 LIST_1의 크기는 0 또는 2가 된다. 그리고 제2 예측 모드의 리스트의 전체 크기는 2가 된다.There may be a variety of methods for creating a list in the second prediction mode. For example, in the case of recording a view reference frame in LIST_0, the POC of the upper view may be recorded in reference position 1 of LIST_0, and the POC of the lower view may be recorded in reference position 2 of LIST_0, and vice versa. . Referring to FIG. 11, '0' is recorded at the reference position 1 of LIST_0 and '2' is recorded at the reference position 2 of LIST_0. In this case, the size of LIST_0 is 2. In addition, nothing may be recorded in the LIST_1, or the contents recorded in the LIST_0 may be repeated as it is or changed in order. In this case, the size of LIST_1 is 0 or 2. The total size of the list of the second prediction modes is two.

또는, LIST_1에 뷰 참조 프레임을 기록하는 경우에 LIST_1의 참조 위치1에는 아래쪽 뷰의 POC를 기록하고 LIST_1의 참조 위치2에는 위쪽 뷰의 POC를 기록할 수 있으며, 반대의 경우도 가능하다. 이것을 도 11과 관련하여 설명하면, LIST_1의 참조 위치1에는 '2'를 기록하고 LIST_1의 참조 위치2에 '0'을 기록한다. 이 경우, LIST_1의 크기는 2가 된다. 그리고 LIST_0에는 아무것도 기록하지 않거나 또는 LIST_1에 기록된 내용을 그대로 반복하거나 순서를 바꾸어서 기록할 수도 있다. 이 경우 LIST_0의 크기는 0 또는 2가 된다. 그리고 제2 예측 모드의 리스트의 전체 크기는 2가 된다.Alternatively, when the view reference frame is recorded in the LIST_1, the POC of the lower view may be recorded in the reference position 1 of the LIST_1, and the POC of the upper view may be recorded in the reference position 2 of the LIST_1, and vice versa. Referring to FIG. 11, '2' is recorded in the reference position 1 of the LIST_1 and '0' is recorded in the reference position 2 of the LIST_1. In this case, the size of LIST_1 is two. In addition, nothing may be recorded in the LIST_0, or the contents recorded in the LIST_1 may be repeated as it is or changed in order. In this case, the size of LIST_0 is 0 or 2. The total size of the list of the second prediction modes is two.

아래의 표 2는 도 11의 프레임 S1T0에 대한 리스트 작성의 일례로서, LIST_0 및 LIST_1에 모두 뷰 참조 프레임을 기록하고, 또한 LIST_0 및 LIST_1의 참조 위치1과 참조 위치2에 각각 서로 다른 POC를 기록하는 경우이다.Table 2 below shows an example of creating a list for frame S1T0 of FIG. 11, in which a view reference frame is recorded in both LIST_0 and LIST_1, and different POCs are recorded in reference positions 1 and 2 respectively of LIST_0 and LIST_1. If it is.

③ 제3 예측 모드Third prediction mode

제3 예측 모드는 현재 영상과 동일한 시간대이지만 뷰가 다른 두 개의 프레임과 현재 영상과 동일한 뷰에 속하지만 시간대가 다른 두 개의 프레임을 참조 프레임으로 사용하는 경우이다. 도 12는 상기 제3 예측 모드를 보여주는 블록도이다. 도 12에서도 가로 방향은 시간 방향(Temporal Direction)을 나타내고, 세로 방향은 뷰 방향(View Direction)을 나타낸다. 도 12를 참조하면, 두 번째 뷰(V₁)의 시간 T₁에 위치하는 프레임 V₁T₁을 부호화함에 있어서, 첫 번째 뷰(V₀)의 시간 T₁에 위치하는 프레임 V₀T₁, 세 번째 뷰(V₂)의 시간 T₁에 위치하는 프레임 V₂T₀, 두 번째 뷰(V₁)의 시간 T₀에 위치하는 프레임 V₁T₀, 및 두 번째 뷰(V₁)의 시간 T₂에 위치하는 프레임 V₁T₂를 참조 프레임으로 사용한다. 그리고 이 경우에, 도 12의 양쪽 옆에 도시된 바와 같이, 상기 참조 프레임인 두 번째 뷰(V₁)의 시간 T₀에 위치하는 프레임 V₁T₀와 두 번째 뷰(V₁)의 시간 T₂에 위치하는 프레임 V₁T₂는 상기 제2 예측 모드에 해당되는 프레임일 수 있는데, 여기에만 한정되는 것은 아니다.The third prediction mode is a case in which two frames belonging to the same view as the current image but having different views in the same time zone as the current image are used as reference frames. 12 is a block diagram illustrating the third prediction mode. Also in FIG. 12, the horizontal direction represents a temporal direction, and the vertical direction represents a view direction. 12, a second view according As (V ₁₎ time coding a V ₁ T ₁ which is located on the T ₁ of the first view (V ₀₎ of time T frame V ₀ T ₁ which is located on _one of, time of the third view (V ₂₎ the temporal position in the T ₁ frame V ₂ T _0, of the second view (V ₁₎ time frame, which is located in the T _₀ V ₁ T _0, and a second view (V ₁₎ of It uses a frame V ₁ T ₂ T ₂ which is located in a reference frame. And in this case, as shown on either side of Fig. 12, the time of the reference frame is a second view (V ₁₎ time frame, which is located in the T _₀ V ₁ T ₀ and a second view of a (V ₁₎ T _The frame V ₁ T ₂ positioned in ₂ may be a frame corresponding to the second prediction mode, but is not limited thereto.

도 13은 도 1의 예측 구조에서 도 7의 POC를 사용할 경우에, 상기 제3 예측 모드의 일례를 보여주는 도면이다. 도 1의 예측 구조에서 상기 제3 예측 모드에는 시간 T0 및 이와 영상 그룹 크기 간격만큼 떨어져 있는 시간 T8, T16, T24 등을 제외한 나머지 시간, 예컨대 시간 T1, T2, …, T7, T9, T10 등에서 뷰 S1, S3, 및 S5에 속하는 프레임들이 해당된다. 즉, 뷰 S1, S3, S5에서 시간 방향으로 양방향 예측을 수행하는 프레임들이다. 그리고 도 13은 이 중에서 프레임 S1T3을 보여주고 있는 것으로서, 참조 프레임이 프레임 S0T3, 즉 POC가 10인 프레임, 프레임 S2T3, 즉 POC가 26인 프레임, 프레임 S1T0, 즉 POC가 1인 프레임, 및 프레임 S1T6, 즉 POC가 21인 프레임이다. FIG. 13 is a diagram illustrating an example of the third prediction mode when the POC of FIG. 7 is used in the prediction structure of FIG. 1. In the prediction structure of FIG. 1, the third prediction mode has a remaining time except for the time T0 and the time T8, T16, T24, and the like separated from the image group size interval, for example, the time T1, T2,... The frames belonging to the views S1, S3, and S5 in, T7, T9, and T10 correspond to each other. That is, the frames perform bidirectional prediction in the time direction in the views S1, S3, and S5. 13 shows a frame S1T3, in which the reference frame is frame S0T3, that is, a frame having a POC of 10, a frame S2T3, that is, a frame having a POC of 26, a frame S1T0, that is, a frame having a POC of 1, and a frame S1T6. That is, the frame has a POC of 21.

이와 같은 제3 예측 모드에서도 리스트를 작성하는 방법은 여러 가지가 있을 수 있다. 예를 들어, LIST_0에 뷰 참조 프레임을 기록하고 LIST_1에 시간 참조 프레임을 기록하는 경우에, LIST_0의 참조 위치1에 '10'을 기록하고 LIST_0의 참조 위치2에 '26'을 기록하며, LIST_1의 참조 위치1에 '1'을 기록하고 LIST_1의 참조 위치2에 '21'을 기록할 수 있으며, 참조 위치1과 참조 위치2에 기록되는 POC의 위치가 각각 바뀔 수도 있다. 이 경우 LIST_0의 크기는 2가 되고, LIST_1의 크기도 2가 되며, 제3 예측 모드의 리스트의 전체 크기는 4가 된다.In the third prediction mode, there may be various ways of creating a list. For example, if a view reference frame is recorded in LIST_0 and a time reference frame in LIST_1, '10' is recorded in reference position 1 of LIST_0 and '26' in reference position 2 of LIST_0, and '1' may be recorded in the reference position 1 and '21' may be recorded in the reference position 2 of the LIST_1, and the positions of the POCs recorded in the reference position 1 and the reference position 2 may be changed. In this case, the size of LIST_0 is 2, the size of LIST_1 is 2, and the total size of the list of the third prediction mode is 4.

그리고 LIST_0에 시간 참조 프레임을 기록하고 LIST_1에 뷰 참조 프레임을 기록하는 경우에, LIST_0의 참조 위치1에 '1'을 기록하고 LIST_0의 참조 위치2에 '21'을 기록하며, LIST_1의 참조 위치1에 '10'을 기록하고 LIST_1의 참조 위치2에 '26'를 기록을 할 수 있으며, 참조 위치1과 참조 위치2에 기록되는 POC의 위치도 각각 바뀔 수도 있다. 이 경우에도 LIST_0의 크기는 2가 되고, LIST_1의 크기도 2가 되며, 제3 예측 모드의 리스트의 전체 크기는 4가 된다.When recording a time reference frame in LIST_0 and a view reference frame in LIST_1, record '1' in reference position 1 of LIST_0 and '21' in reference position 2 of LIST_0, and reference position 1 in LIST_1. It is possible to record '10' at '26' and '26' at reference position 2 of the LIST_1, and the positions of the POCs recorded at the reference position 1 and the reference position 2 may be changed. Also in this case, the size of LIST_0 is 2, the size of LIST_1 is 2, and the total size of the list of the third prediction mode is 4.

또한, 각 리스트에 대하여 참조 위치1에 시간 참조 프레임을 기록하고 참조 위치2에 뷰 참조 프레임을 기록할 수도 있으며, 반대의 경우도 가능하다. 예를 들어, 표 3과 같이, LIST_0의 참조 위치1에 '1'을 기록하고 LIST_1의 참조 위치1에는 '21'을 기록하며, LIST_0의 참조 위치2에 '10'을 기록하고 LIST_1의 참조 위치2에는 '26'을 기록할 수 있다.It is also possible to record a temporal reference frame at reference position 1 and a view reference frame at reference position 2 for each list, and vice versa. For example, as shown in Table 3, '1' is recorded in the reference position 1 of the LIST_0, '21' is recorded in the reference position 1 of the LIST_1, '10' is recorded in the reference position 2 of the LIST_0, and the reference position of the LIST_1. You can record 26 on 2.

④ 제4 예측 모드④ fourth prediction mode

제4 예측 모드는 현재 영상과 동일한 시간대이지만 뷰가 다른 하나의 프레임과 현재 영상과 동일한 뷰에 속하지만 시간대가 다른 두 개의 프레임을 참조 프레임으로 사용하는 경우이다. 도 14는 상기 제4 예측 모드를 보여주는 블록도이다. 도 14에서도 가로 방향은 시간 방향(Temporal Direction)을 나타내고, 세로 방향은 뷰 방향(View Direction)을 나타낸다. 도 15를 참조하면, 세 번째 뷰(V₂)의 시간 T₁에 위치하는 프레임 V₂T₁을 부호화함에 있어서, 두 번째 뷰(V₁)의 시간 T₁에 위치하는 프레임 V₁T₁, 세 번째 뷰(V₂)의 시간 T₀에 위치하는 프레임 V₂T₀, 및 세 번째 뷰(V₂)의 시간 T₂에 위치하는 프레임 V₂T₂를 참조 프레임으로 사용한다. 그리고 이 경우에, 도 14의 양쪽 옆에 도시된 바와 같이, 상기 참조 프레임인 세 번째 뷰(V₂)의 시간 T₀에 위치하는 프레임 V₂T₀와 세 번째 뷰(V₂)의 시간 T₂에 위치하는 프레임 V₂T₂는 상기 제1 예측 모드에 해당되는 프레임이거나 또는 제4 예측 모드에 해당되는 프레임일 수 있는데, 여기에만 한정되는 것은 아니다.The fourth prediction mode is a case where two frames belonging to the same view as the current image but having different views in the same time zone as the current image are used as reference frames. 14 is a block diagram illustrating the fourth prediction mode. Also in FIG. 14, the horizontal direction represents a temporal direction, and the vertical direction represents a view direction. 15, the three in as the second view (V ₂₎ time coding a V ₂ T ₁ which is located on the T ₁ of the second view (V ₁₎ frame V ₁ T which is located at the time T ₁ of the _first, three uses a second view (V ₂₎ which is located in a time frame of T ₀ ₂ V T _0, and the third frame view V ₂ T ₂ which is located at the time T ₂ of the (V ₂₎ as a reference frame. And in this case, as shown on either side of 14, the time of the reference frame is a third view (V ₂₎ the time T ₀ frame V ₂ T ₀ and the third view (V ₂₎ which is located on the T _The frame V ₂ T ₂ positioned at ₂ may be a frame corresponding to the first prediction mode or a frame corresponding to the fourth prediction mode, but is not limited thereto.

도 15는 도 1의 예측 구조에서 도 7의 POC를 사용할 경우에, 상기 제4 예측 모드의 일례를 보여주는 도면이다. 도 1의 예측 구조에서 상기 제4 예측 모드에는 시간 T0 및 이와 영상 그룹 크기 간격만큼 떨어져 있는 시간 T8, T16, T24 등을 제외한 나머지 시간, 예컨대 시간 T1, T2, …, T7, T9, T10 등에서 뷰 S7에 속하는 프레임들이 해당된다. 즉, 뷰 S7에서 시간 방향으로 양방향 예측을 수행하는 프레임들이다. 그리고 도 15는 이 중에서 프레임 S7T3를 보여주는 것으로서, 참조 프레임이 프레임 S6T3, 즉 POC가 58인 프레임, 프레임 S7T0, 즉 POC가 7인 프레임, 및 프레임 S7T6, 즉 POC가 69인 프레임이다. FIG. 15 is a diagram illustrating an example of the fourth prediction mode when the POC of FIG. 7 is used in the prediction structure of FIG. 1. In the prediction structure of FIG. 1, the fourth prediction mode has a time other than time T0 and time T8, T16, T24, and the like separated from the image group size interval, for example, time T1, T2,... The frames belonging to the view S7 in, T7, T9, and T10 correspond to them. That is, the frames perform bidirectional prediction in the time direction in view S7. 15 shows a frame S7T3, in which the reference frame is frame S6T3, that is, a frame having a POC of 58, a frame S7T0, that is, a frame having a POC of 7, and a frame S7T6, that is, a frame having a POC of 69. FIG.

이와 같은 제4 예측 모드에서도 리스트를 작성하는 방법은 여러 가지가 있을 수 있다. There may be various ways of creating a list even in the fourth prediction mode.

예를 들어, LIST_0에 뷰 참조 프레임을 기록하고 LIST_1에 시간 참조 프레임을 기록하는 경우에, LIST_0의 참조 위치1에 '58'을 기록하고 LIST_0의 참조 위치2에는 같은'58'을 기록하거나 또는 아무것도 기록하지 않을 수도 있으며, LIST_1의 참조 위치1에 '7'을 기록하고 LIST_1의 참조 위치2에 '69'를 기록할 수 있다. 그리고 상기 참조 위치1과 참조 위치2에 기록되는 POC의 값은 서로 바뀔 수도 있다. 이 경우, 상기 LIST_1의 크기는 2이고, 상기 참조 위치2에 '58'이 기록되는 경우에 상기 LIST_0의 크기는 2가 되지만 상기 참조 위치2에 아무것도 기록되지 않는 경우에 상기 LIST_0의 크기는 1이 된다. 그리고 어떠한 경우이든 제4 예측 모드의 리스트의 전체 크기는 3이 된다.For example, if you write a view reference frame to LIST_0 and a time reference frame to LIST_1, record '58' in reference position 1 of LIST_0 and the same '58' in reference position 2 of LIST_0, or nothing. It may not be recorded, and may record '7' in the reference position 1 of the LIST_1 and '69' in the reference position 2 of the LIST_1. The POC values recorded in the reference position 1 and the reference position 2 may be interchanged with each other. In this case, the size of the LIST_1 is 2 and the size of the LIST_0 becomes 2 when '58' is recorded in the reference position 2, but the size of the LIST_0 becomes 1 when nothing is recorded in the reference position 2. do. In any case, the total size of the list of the fourth prediction mode is three.

그리고 LIST_0에 시간 참조 프레임을 기록하고 LIST_1에 뷰 참조 프레임을 기록하는 경우에, LIST_0의 참조 위치1에 '7'을 기록하고 LIST_0의 참조 위치2에 '69'를 기록한다. 그리고 LIST_1의 참조 위치1에 '58'을 기록하고 LIST_1의 참조 위치2에 같은'58'을 기록하거나 아무것도 기록하지 않을 수 있다.그리고 이 경우에도 참조 위치1과 참조 위치2에 기록되는 POC의 번호는 바뀔 수 있다. 이 경우, 상기 LIST_0의 크기는 2이고, 상기 참조 위치2에 '58'이 기록되는 경우에 상기 LIST_1의 크기는 2가 되지만 상기 참조 위치2에 아무것도 기록되지 않는 경우에 상기 LIST_1의 크기는 1이 된다. 그리고 어떠한 경우이든 제4 예측 모드의 리스트의 전체 크기는 3이 된다.When a temporal reference frame is recorded in LIST_0 and a view reference frame in LIST_1, '7' is recorded in reference position 1 of LIST_0 and '69' is recorded in reference position 2 of LIST_0. In addition, '58' may be recorded in the reference position 1 of the LIST_1, and the same '58' may be recorded in the reference position 2 of the LIST_1, or nothing may be recorded. Can be changed. In this case, when the size of the LIST_0 is 2 and '58' is recorded in the reference position 2, the size of the LIST_1 becomes 2, but when nothing is recorded in the reference position 2, the size of the LIST_1 is 1 do. In any case, the total size of the list of the fourth prediction mode is three.

또한, 각 리스트에 대하여 참조 위치1에 시간 참조 프레임을 기록하고 참조 위치2에 뷰 참조 프레임을 기록할 수도 있으며, 반대의 경우도 가능하다. 예를 들어, 표 4와 같이, LIST_0의 참조 위치1에 '7'을 기록하고 LIST_1의 참조 위치1에는 '69'를 기록하며, LIST_0의 참조 위치2에 '58'을 기록하고 LIST_1의 참조 위치2에는 같은'58'을 기록하거나 또는 아무것도 기록하지 않을 수 있다.It is also possible to record a temporal reference frame at reference position 1 and a view reference frame at reference position 2 for each list, and vice versa. For example, as shown in Table 4, '7' is recorded in the reference position 1 of the LIST_0, '69' is recorded in the reference position 1 of the LIST_1, '58' is recorded in the reference position 2 of the LIST_0, and the reference position of the LIST_1. 2 may record the same '58' or nothing at all.

⑤ 제5 예측 모드⑤ fifth prediction mode

제5 예측 모드는 현재 영상과 동일한 뷰에 속하지만 시간대가 다른 두 개의 프레임을 참조 프레임으로 사용하는 경우이다. 도 16은 상기 제5 예측 모드를 보여주는 블록도이다. 도 16에서도 가로 방향은 시간 방향(Temporal Direction)을 나타내고, 세로 방향은 뷰 방향(View Direction)을 나타낸다. 도 16을 참조하면, 첫 번째 뷰(V₀)의 시간 T₁에 위치하는 프레임 V₀T₁을 부호화함에 있어서, 첫 번째 뷰(V₀)의 시간 T₀에 위치하는 프레임 V₀T₀와 첫 번째 뷰(V₀)의 시간 T₂에 위치하는 프레임 V₀T₂를 참조 프레임으로 사용한다.The fifth prediction mode uses two frames belonging to the same view as the current video but having different time zones as reference frames. 16 is a block diagram illustrating the fifth prediction mode. Also in FIG. 16, the horizontal direction represents a temporal direction, and the vertical direction represents a view direction. 16, the first view (V ₀₎ of time according as coding a V ₀ T ₁ which is located on T _1, the first view of the frame which is located at the time T ₀ of (V ₀₎ V ₀ T ₀ of Frame V ₀ T ₂ located at time T ₂ of the first view (V ₀ ) is used as the reference frame.

도 17은 도 1의 예측 구조에서 도 7의 POC를 사용할 경우에, 상기 제5 예측 모드의 일례를 보여주는 도면이다. 도 1의 예측 구조에서 상기 제5 예측 모드에는 시간 T0 및 이와 영상 그룹 크기 간격만큼 떨어져 있는 시간 T8, T16, T24 등을 제외한 나머지 시간, 예컨대 시간 T1, T2, …, T7, T9, T10, 등에서 뷰 S0, S2, S4, S6에 속하는 프레임들이 해당된다. 즉, 뷰 S0, S2, S4, S6에서 시간 방향으로 양방향 예측을 수행하는 프레임들이다. 그리고 도 17은 이 중에서 프레임 S2T3을 보여주는 것으로서, 참조 프레임이 프레임 S2T2, 즉 POC가 25인 프레임과 프레임 S2T4, 즉 POC가 27인 프레임이다. FIG. 17 illustrates an example of the fifth prediction mode when the POC of FIG. 7 is used in the prediction structure of FIG. 1. In the prediction structure of FIG. 1, the fifth prediction mode has a remaining time except for time T8 and time T8, T16, T24, and the like, spaced apart from the image group size interval, for example, time T1, T2,. Frames belonging to views S0, S2, S4, and S6 in, T7, T9, T10, and so on. That is, the frames perform bidirectional prediction in the time direction in the views S0, S2, S4, and S6. 17 shows a frame S2T3, wherein the reference frame is a frame S2T2, that is, a frame having a POC of 25 and a frame S2T4, that is, a frame having a POC of 27. FIG.

이와 같은 제5 예측 모드에서도 리스트를 작성하는 방법은 여러 가지가 있을 수 있다. There may be various ways of creating a list even in the fifth prediction mode.

예를 들어, LIST_0에 시간 참조 프레임을 기록하는 경우에, LIST_0의 참조 위치1에는 시간적 전방 프레임의 POC를 기록하고 LIST_0의 참조 위치2에는 시간적 후방 프레임의 POC를 기록할 수 있으며, 반대의 경우도 가능하다. 이것을 도 18과 관련하여 설명하면, LIST_0의 참조 위치1에는 '25'를 기록하고 LIST_0의 참조 위치2에 '27'을 기록한다. 그리고 LIST_1에는 아무것도 기록하지 않거나 또는 LIST_0에 기록된 내용이 그대로 반복되도록 하거나 순서를 바꾸어서 기록할 수도 있다. 이 경우 LIST_0의 크기는 2이며, LIST_1의 크기는 0 또는 2이다. 그리고 어떠한 경우이든 제5 예측 모드의 리스트의 전체 크기는 2이다.For example, in the case of recording a time reference frame in LIST_0, the POC of the temporal forward frame may be recorded in the reference position 1 of LIST_0 and the POC of the temporal backward frame in the reference position 2 of the LIST_0, and vice versa. It is possible. Referring to FIG. 18, '25' is recorded at the reference position 1 of LIST_0 and '27' is recorded at the reference position 2 of LIST_0. In addition, nothing may be recorded in the LIST_1, or the contents recorded in the LIST_0 may be repeated as it is or changed in the order of recording. In this case, the size of LIST_0 is 2, and the size of LIST_1 is 0 or 2. And in any case, the total size of the list of the fifth prediction modes is two.

또는, LIST_1에 시간 참조 프레임을 기록하는 경우에 LIST_1의 참조 위치1에는 시간적 후방 프레임의 POC를 기록하고 LIST_1의 참조 위치2에는 시간적 전방 프레임의 POC를 기록할 수 있으며, 반대의 경우도 가능하다. 이것을 도 12와 관련하여 설명하면, LIST_1의 참조 위치1에는 '27'을 기록하고 LIST_1의 참조 위치2에 '25'를 기록한다. 이 경우, LIST_0에는 아무것도 기록하지 않거나 또는 LIST_1에 기록된 내용이 그대로 반복되도록 기록하거나 또는 순서를 바꾸어서 기록할 수도 있다. 이 경우 LIST_1의 크기는 2이며, LIST_0의 크기는 0 또는 2이다. 그리고 어떠한 경우이든 제5 예측 모드의 리스트의 전체 크기는 2이다.Alternatively, when a temporal reference frame is recorded in LIST_1, the POC of the temporal backward frame may be recorded in the reference position 1 of the LIST_1, and the POC of the temporal forward frame may be recorded in the reference position 2 of the LIST_1, and vice versa. Referring to FIG. 12, '27' is recorded in the reference position 1 of the LIST_1 and '25' is recorded in the reference position 2 of the LIST_1. In this case, nothing may be recorded in the LIST_0, or the contents recorded in the LIST_1 may be recorded so as to be repeated as it is, or may be recorded in reverse order. In this case, the size of LIST_1 is 2, and the size of LIST_0 is 0 or 2. And in any case, the total size of the list of the fifth prediction modes is two.

아래의 표 5는 도 17의 위치 S2T3 프레임에 대한 리스트 작성의 일례로서, LIST_0 및 LIST_1에 모두 시간 참조 프레임을 기록하고, 또한 LIST_0 및 LIST_1의 참조 위치1과 참조 위치2에 각각 서로 다른 POC를 기록하는 경우이다. Table 5 below shows an example of creating a list for the position S2T3 frame of FIG. 17, in which both time reference frames are recorded in LIST_0 and LIST_1, and different POCs are recorded in reference positions 1 and 2 of LIST_0 and LIST_1, respectively. This is the case.

도 18은 MVC에서 상기 제1 예측 모드 내지 제5 예측 모드를 함께 보여주는 블록도이다. 즉, 도 18은 상기 도 8, 도 10, 도 12, 도 14, 및 도 16을 함께 도시한 도면이다. 도 18을 참조하면, 프레임 V₃T₀는 제1 예측 모드에 해당되고, 프레임 V₁T₀는 제2 예측 모드에 해당되고, 프레임 V₁T₂는 제3 예측 모드에 해당되고, 프레임 V₃T₂는 제4 예측 모드에 해당되고, 그리고 프레임 V₀T₂는 제5 예측 모드에 해당된다. 그리고 비록 도면에는 도시하지 않았지만, 인트라 코딩되는 프레임 예컨데, 프레임 V₀T₀를 제외한 나머지 프레임들도 모두 상기 제1 예측 모드 내지 제5 예측 모드 중의 하나에 해당된다.18 is a block diagram illustrating the first to fifth prediction modes together in MVC. That is, FIG. 18 is a diagram illustrating the above FIGS. 8, 10, 12, 14, and 16 together. Referring to FIG. 18, frame V ₃ T ₀ corresponds to a first prediction mode, frame V ₁ T ₀ corresponds to a second prediction mode, frame V ₁ T ₂ corresponds to a third prediction mode, and frame V ₃ T ₂ corresponds to the fourth prediction mode, and frame V ₀ T ₂ corresponds to the fifth prediction mode. Although not shown in the drawings, the frames that are intra-coded, for example, all the frames other than the frame V ₀ T ₀ may correspond to one of the first to fifth prediction modes.

예측 모드의 판별 방법How to Determine Prediction Mode

이상에서 설명한 바와 같이, MVC의 예측 구조에서 각 예측 모드에 따라 참조 프레임의 리스트를 작성할 수 있다. 이하에서는 이렇게 작성된 참조 프레임의 리스트를 이용하여 예측 모드를 판별하는 방법에 대하여 설명한다. 예측 모드를 판별할 경우에 우선 픽쳐 그룹의 크기(GOP_SIZE)와 MVC를 구성하는 뷰의 전체 개수를 우선 고려하여야 한다. 왜냐하면, 픽쳐 그룹의 크기와 뷰의 전체 개수에 따라 MVC에서 각 프레임의 예측 구조가 달라질 수 있기 때문이다. As described above, a list of reference frames may be created according to each prediction mode in the prediction structure of the MVC. Hereinafter, a method of determining a prediction mode using the list of reference frames thus created will be described. In determining the prediction mode, first, the size of the picture group (GOP_SIZE) and the total number of views constituting the MVC should be considered first. This is because the prediction structure of each frame may vary in MVC according to the size of the picture group and the total number of views.

이하에서는 본 발명의 일 실시예로써 도 1의 예측 구조일 경우에 대하여 예측 모드를 판별하는 방법에 대하여 설명한다. 본 발명의 일 실시예에 의하면, 예측 모드를 판별하는데 있어서 참조 프레임의 리스트(전술한 예에서는 LIST_0 및 LIST_1) 정보를 이용한다. Hereinafter, a method of determining a prediction mode with respect to the case of the prediction structure of FIG. 1 will be described as an embodiment of the present invention. According to an embodiment of the present invention, the list of reference frames (LIST_0 and LIST_1 in the above-described example) is used to determine the prediction mode.

첫 번째 방법은 상기 리스트 정보로 우선 리스트의 전체 크기와 상기 리스트에 기록되어 있는 POC에 해당되는 프레임의 시간 인덱스 또는 뷰 인덱스를 이용하는 방법이다.The first method is to use the time index or view index of the frame corresponding to the total size of the list and the POC recorded in the list as the list information.

전술한 예에서, 상기 LIST_0 및 LIST_1의 전체 크기가 1이면, 제1 예측 모드로 판별된다. 그리고 상기 LIST_0 및 LIST_1의 전체 크기가 3이면 제4 예측 모드로 판별되며, 상기 LIST_0 및 LIST_1의 전체 크기가 4이면 제3 예측 모드로 판별될 수 있다. 또한, 상기 LIST_0 및 LIST_1의 전체 크기가 2이면 제2 예측 모드 또는 제5 예측 모드로 판별되는데, 이 경우에 제2 예측 모드와 제5 예측 모드를 구별하기 위해서는 참조 프레임 POC의 시간 인덱스 또는 뷰 인덱스와 같은 부가 정보가 더 필요하다.In the above example, if the total size of the LIST_0 and LIST_1 is 1, it is determined as the first prediction mode. If the total size of the LIST_0 and LIST_1 is 3, it may be determined as the fourth prediction mode. If the total size of the LIST_0 and LIST_1 is 4, it may be determined as the third prediction mode. In addition, if the total size of the LIST_0 and LIST_1 is 2, it is determined as a second prediction mode or a fifth prediction mode. In this case, in order to distinguish between the second prediction mode and the fifth prediction mode, the temporal index or view index of the reference frame POC is used. Additional information such as

예를 들어, 참조 프레임의 시간 인덱스를 계산하여 현재 프레임의 시간 인덱스와 일치하면 현재 프레임은 제5 예측 모드로 판별하지만, 만일 현재 프레임의 시간 인덱스와 일치하지 않는 경우에는 현재 프레임은 제2 예측 모드로 판별할 수 있다. 또한, 시간 인덱스 대신에 참조 프레임의 뷰 인덱스를 계산하여 비교함으로써, 현재 프레임이 제2 예측 모드에 해당되는지 또는 제5 예측 모드에 해당되는지를 판별할 수도 있다.For example, if the time index of the reference frame is calculated to match the time index of the current frame, the current frame is determined as the fifth prediction mode. If the time frame of the reference frame does not match the current index, the current frame is the second prediction mode. Can be determined by In addition, by calculating and comparing the view indexes of the reference frames instead of the time indexes, it may be determined whether the current frame corresponds to the second prediction mode or the fifth prediction mode.

예측 모드를 판별하는데 이용될 수 있는 두 번째 방법은 각 리스트의 크기와 각 리스트에 기록되어 있는 POC, 그리고 POC에 해당하는 프레임의 시간 인덱스 및/또는 뷰 인덱스를 이용하는 방법이다. A second method that can be used to determine the prediction mode is to use the size of each list, the POC recorded in each list, and the time index and / or view index of the frame corresponding to the POC.

우선, 현재 프레임의 LIST_0의 크기가 0이고 LIST_1의 크기가 1이거나 또는 LIST_0의 크기가 1이고 LIST_1의 크기가 0인 경우에 제1 예측 모드로 판별한다. First, when the size of LIST_0 of the current frame is 0 and the size of LIST_1 is 1 or the size of LIST_0 is 1 and the size of LIST_1 is 0, it is determined as the first prediction mode.

그리고 현재 프레임의 LIST_0 및 LIST_1의 크기가 모두 2인 경우에는, 상기 LIST_0 및 LIST_1에 기록되어 있는 POC를 비교하여 서로 다른 POC가 몇 개 인지를 판단한다. 판단 결과, 서로 다른 POC가 2개 존재하는 경우에는 상기 현재 프레임은 제2 예측 모드 또는 제5 예측 모드에 해당될 수 있는데, 이 경우에는 상기 서로 다른 2개의 POC 중에서 하나의 POC에 대응하는 프레임의 시간 인덱스 또는 뷰 인덱스를 계산한다. 시간 인덱스를 계산한 경우에, 계산된 시간 인덱스가 현재 프레임의 시간 인덱스와 같으면 제5 예측 모드로 판별하지만, 상기 시간 인덱스가 다르면 제2 예측 모드로 판별한다. 그리고 서로 다른 POC가 3개 존재하는 경우에는 상기 현재 프레임은 제4 예측 모드로 판별하고, 서로 다른 POC가 4개 존재하는 경우에는 상기 현재 프레임은 제3 예측 모드로 판별한다. When the sizes of LIST_0 and LIST_1 of the current frame are both 2, the POCs recorded in the LIST_0 and LIST_1 are compared to determine how many different POCs are present. As a result of determination, when two different POCs exist, the current frame may correspond to a second prediction mode or a fifth prediction mode. In this case, the frame corresponding to one POC of the two different POCs may be determined. Compute the time index or view index. When the time index is calculated, if the calculated time index is the same as the time index of the current frame, it is determined as the fifth prediction mode. If the time index is different, it is determined as the second prediction mode. If there are three different POCs, the current frame is determined as a fourth prediction mode, and if there are four different POCs, the current frame is determined as a third prediction mode.

또는, 현재 프레임의 LIST_0 및 LIST_1의 크기가 모두 2인 경우에는, 상기 LIST_0 및 LIST_1에 기록되어 있는 POC를 비교하여 서로 다른 POC가 2개인지 여부를 판단할 수도 있다. 판단 결과, 서로 다른 POC가 2개 존재하는 경우에는 상기 현재 프레임은 제2 예측 모드 또는 제5 예측 모드에 해당될 수 있는데, 이 경우에는 상기 서로 다른 2개의 POC에 해당하는 프레임의 시간 인덱스 또는 2개 중에서 하나의 POC에 해당하는 프레임의 시간 인덱스 또는 뷰 인덱스를 계산한다. 시간 인덱스를 계산한 경우에, 계산된 시간 인덱스가 현재 프레임의 시간 인덱스와 같으면 제5 예측 모드로 판별하지만, 상기 시간 인덱스가 다르면 제2 예측 모드로 판별한다. 그리고 서로 다른 POC가 2개 보다 많은 경우에, 각 POC의 뷰 인덱스를 계산하여 뷰 참조 프레임의 개수가 2개인지 여부를 판단한다. 판단 결과, 뷰 참조 프레임의 개수가 2개이면 제3 예측 모드로 판별하고, 2개가 아닌 경우에는 제1 예측 모드로 판별한다.Alternatively, when the sizes of LIST_0 and LIST_1 of the current frame are both 2, it may be determined whether two different POCs are compared by comparing the POCs recorded in the LIST_0 and LIST_1. As a result of determination, when there are two different POCs, the current frame may correspond to a second prediction mode or a fifth prediction mode. In this case, a time index or 2 of a frame corresponding to the two different POCs is determined. Compute a time index or view index of a frame corresponding to one POC among the dogs. When the time index is calculated, if the calculated time index is the same as the time index of the current frame, it is determined as the fifth prediction mode. If the time index is different, it is determined as the second prediction mode. When there are more than two different POCs, the view index of each POC is calculated to determine whether the number of view reference frames is two. As a result of the determination, if the number of view reference frames is two, it is determined as the third prediction mode, and if not, it is determined as the first prediction mode.

예측 모드를 판별하기 위한 세 번째 방법은 각 참조 프레임 리스트의 참조 위치1 및 참조 위치2에 기록될 참조 프레임의 유형을 미리 지정하여 참조 프레임 리스트를 작성한 다음, 어떤 참조 프레임의 어떤 참조 위치에 POC가 기록되어 있는가를 확인하는 방법이다. 예를 들어, 참조 프레임이 현재 프레임과 같은 시간대에서 위쪽 뷰 방향에 있는 프레임인 경우에는 LIST_0의 참조 위치1에 기록하고, 아래쪽 뷰 방향에 있는 프레임인 경우에는 LIST_0의 참조 위치2에 기록하며, 참조 프레임이 현재 프레임과 같은 뷰에서 앞선 시간에 있는 프레임인 경우에는 LIST_1의 참조 위치1에 기록하고, 늦은 시간에 있는 프레임인 경우에는 LIST_1의 참조 위치2에 기록하는 등의 방법으로 미리 규칙을 정해 두는 경우이다. 이와 같은 경우에는, POC가 기록되어 있는 참조 위치가 몇 개이고 및/또는 어떤 리스트의 어떤 참조 위치에 POC가 기록되어 있는지 만을 확인하면, 제1 예측 모드 내지 제5 예측 모드 중에서 어떤 예측 모드에 해당되는지를 쉽게 판별할 수 있다.The third method for determining the prediction mode is to create a reference frame list by specifying the types of reference frames to be recorded in reference position 1 and reference position 2 of each reference frame list, and then a POC is placed at a certain reference position of a reference frame. How to check if it is recorded. For example, if the reference frame is a frame in the upper view direction in the same time frame as the current frame, the reference frame is recorded in reference position 1 of LIST_0; if the frame is in the lower view direction, it is recorded in reference position 2 of LIST_0. If the frame is a frame at a time earlier in the same view as the current frame, the rule is pre-determined by recording in reference position 1 of LIST_1, and in the case of a frame in late time, by recording in reference position 2 of LIST_1. If it is. In such a case, if only the number of reference positions in which POCs are recorded and / or which reference position in which list is recorded is determined, which prediction mode corresponds to which of the first to fifth prediction modes is included. Can be easily determined.

도 19는 전술한 두 번째 방법에 따라서 현재 프레임의 예측 모드를 판별하는 알고리즘의 일례를 보여주는 흐름도이다.19 is a flowchart illustrating an example of an algorithm for determining a prediction mode of a current frame according to the second method described above.

먼저, 현재 프레임의 참조 프레임 리스트 중에서 LIST_0의 크기가 1이고 LIST_0의 크기가 0 (또는 LIST_0의 크기가 1이고 LIST_0의 크기가 0)인지 여부를 판단한다(S11). 판단 결과, 이에 해당하면 현재 프레임을 제1 예측 모드로 판별하고, 이에 해당되지 않으면 단계 S12로 분기한다.First, it is determined whether the size of LIST_0 is 1 and the size of LIST_0 is 0 (or the size of LIST_0 is 1 and the size of LIST_0 is 0) in the reference frame list of the current frame (S11). As a result of the determination, the current frame is determined as the first prediction mode, and if not, the flow branches to step S12.

그리고 단계 S12에서는 LIST_0 및 LIST_1의 모든 POC 중에서 서로 다른 POC가 2개인지 여부를 판단한다(S12). 판단 결과, 이에 해당되면 단계 S13으로 분기하고, 이에 해당되지 않으면 단계 S14로 분기한다.In step S12, it is determined whether two different POCs are present among all POCs of LIST_0 and LIST_1 (S12). If it is determined that this is the case, the flow branches to step S13, and if not, the flow branches to step S14.

그리고 단계 S13에서는 상기 서로 다른 2개의 POC 중에서 적어도 하나의 POC로부터 참조 프레임의 시간 인덱스를 계산한 다음, 계산 결과가 현재 프레임의 시간 인덱스와 일치하는지 여부를 판단한다(S13). 판단 결과, 이에 해당하면 현재 프레임을 제2 예측 모드로 판별하고, 이에 해당되지 않으면 제5 예측 모드로 판별한다. 제2 예측 모드와 제5 예측 모드를 판별하기 위한 본 실시예의 변형예에 의하면, 참조 프레임의 뷰 인덱스를 계산하여 현재 프레임이 뷰 인덱스와 일치하는지 여부를 판단하거나 또는 참조 프레임 2개 모두의 시간 인덱스 또는 뷰 인덱스를 계산하여 그 값이 일치하는지 여부를 판단하는 것도 가능하다. In operation S13, a time index of a reference frame is calculated from at least one POC among the two different POCs, and then it is determined whether the calculation result corresponds to the time index of the current frame (S13). As a result of the determination, the current frame is determined as the second prediction mode, and if not, the current frame is determined as the fifth prediction mode. According to a variation of this embodiment for determining the second prediction mode and the fifth prediction mode, the view index of the reference frame is calculated to determine whether the current frame matches the view index, or the time indexes of both reference frames. Alternatively, the view index can be calculated to determine whether the values match.

또한 단계 S14에서는 LIST_0 및 LIST_1에 기록된 모든 참조 프레임 중에서 뷰 참조 프레임의 개수가 2개인지 여부를 판단한다(S14). 판단 결과, 이에 해당하면 현재 프레임을 제3 예측 모드로 판별하고, 이에 해당되지 않으면 제4 예측 모드로 판별한다.In operation S14, it is determined whether the number of view reference frames is two among all reference frames recorded in LIST_0 and LIST_1 (S14). As a result of the determination, the current frame is determined as the third prediction mode, and if not, the fourth frame is determined as the fourth prediction mode.

이상에서 상세하게 설명한 방법에 따라서 현재 영상의 예측 모드가 판별되면, 본 발명에 따른 다시점 영상의 부호화 방법에서는 판별된 예측 모드에 기초하여 현재 블록의 이미지 정보에 대한 예측값, 예컨대 MV_P 및/또는 IC_P를 구한다. 이를 위하여, 우선 예측 모드에 기초하여 결정되는 후보 참조 블록 집합에서 현재 블록에 대한 MV_P 또는 IC_P를 구하는데 이용되는 참조 블록을 결정한다. 그리고 상기 결정된 참조 블록들의 MV 또는 IC를 이용하여 현재 블록에 대한 MV_P 또는 IC_P를 구한다. 이하에서는 이러한 과정에 대하여 상세하게 설명한다.When the prediction mode of the current image is determined according to the method described in detail above, in the method of encoding a multiview image according to the present invention, a prediction value for image information of the current block, for example, MV _P and / or based on the determined prediction mode, is determined. Find IC _P. To this end, first, a reference block used to obtain an MV _P or IC _P for a current block in a candidate reference block set determined based on a prediction mode is determined. Then, MV _P or IC _P for the current block is obtained using the determined MV or IC of the reference blocks. Hereinafter, this process will be described in detail.

예측 모드에 따른 후보 참조 블록 집합Candidate Reference Block Set by Prediction Mode

본 발명에 의하면, 움직임 벡터 예측값과 변이 예측값을 구하는데 있어서 현재 블록의 주변 블록만을 이용하는 것이 아니다. 본 발명에 의하면, 예측 모드에 따라서는 현재 프레임의 시간 참조 프레임에서 현재 블록의 위치에 대응하는 위치의 블록(이하, '대응 블록'이라 한다) 및 그 주변 블록들도 현재 블록의 주변 블록들과 함께 이용한다. 즉, 본 발명에 따른 예측 방법에서는 예측 모드에 따라서 ⓐ 현재 블록의 주변 블록들만을 이용하거나 또는 상기 ⓐ와 함께 ⓑ 현재 영상보다 시간적으로 앞선 참조 프레임의 대응 블록 및 그 주변 블록들 및 ⓒ 현재 영상보다 시간적으로 늦은 참조 프레임의 대응 블록 및 그 주변 블록들을 이용하여, MV_P 및/또는 D_P를 구한다.According to the present invention, not only the neighboring blocks of the current block are used to obtain the motion vector prediction value and the disparity prediction value. According to the present invention, according to the prediction mode, a block of a position corresponding to the position of the current block in the temporal reference frame of the current frame (hereinafter referred to as a 'corresponding block') and its neighboring blocks may also be separated from the neighboring blocks of the current block. Use together. That is, in the prediction method according to the present invention, according to the prediction mode, only the neighboring blocks of the current block are used or the corresponding block and the neighboring blocks of the reference frame temporally ahead of the current image together with the current image, MV _P and / or D _P are found using the corresponding block of the temporally late reference frame and its neighboring blocks.

도 20은 이러한 본 발명의 따른 MV_P 및/또는 D_P를 구하는 방법에서, 상기 예측값을 구하는데 이용될 수 있는 블록, 즉 후보 참조 블록을 보여주는 블록도이다. 도 20에서 프레임 (1)은 현재 프레임이고, 프레임 (2)는 현재 프레임보다 시간적으로 앞선 참조 프레임(전방 시간 참조 프레임)을 나타내며, 프레임 (3)은 현재 프레임보다 시간적으로 늦은 참조 프레임(후방 시간 참조 프레임)을 나타낸다. 20 is a block diagram showing a block, that is, a candidate reference block, that can be used to obtain the prediction value in the method for obtaining MV _P and / or D _P according to the present invention. In FIG. 20, frame 1 is the current frame, frame 2 represents a reference frame (front time reference frame) that is temporally ahead of the current frame, and frame 3 is a reference frame (rear time) that is later in time than the current frame. Reference frame).

도 20을 참조하면, 상기 ⓐ에 해당하는 블록은 현재 블록의 주변 블록들로서, 좌측 블록인 블록 A, 상측 블록인 블록 B, 우상측 블록인 블록 C, 및 좌상측 블록인 블록 D이다. 그리고 상기 ⓑ에 해당하는 블록은 현재 블록의 대응 블록인 블록 TF0과 그 주변 블록으로서 좌측 블록인 블록 TF1, 우측 블록인 블록 TF2, 상측 블록인 블록 TF3, 하측 블록인 블록 TF4, 좌상측 블록인 블록 TF5, 우상측 블록인 블록 TF6, 좌하측 블록인 TF7, 및 우하측 블록인 블록 TF8이고, 상기 ⓒ에 해당하는 블록은 현재 블록의 대응 블록인 블록 TB0과 그 주변 블록으로서 좌측 블록인 블록 TB1, 우측 블록인 블록 TB2, 상측 블록인 블록 TB3, 하측 블록인 블록 TB4, 좌상측 블록인 블록 TB5, 우상측 블록인 블록 TB6, 좌하측 블록인 TB7, 및 우하측 블록인 블록 TB8이다. Referring to FIG. 20, the blocks corresponding to ⓐ are neighboring blocks of the current block, which is a block A that is a left block, a block B that is an upper block, a block C that is an upper right block, and a block D that is an upper left block. The block corresponding to ⓑ is a block TF0, which is a corresponding block of the current block, a block TF1 that is a left block, a block TF2 that is a right block, a block TF3 that is an upper block, a block TF4 that is a lower block, and a block that is an upper left block. TF5, the right upper block TF6, the lower left block TF7, and the lower right block TF8, and the block corresponding to ⓒ is a block TB0 which is a corresponding block of the current block and a block TB1 which is a left block as its peripheral block; The block TB2 is the right block, the block TB3 is the upper block, the block TB4 is the lower block, the block TB5 is the upper left block, the block TB6 is the upper right block, the TB7 is the lower left block, and the block TB8 is the right lower block.

여기서, 현재 블록 및/또는 후보 참조 블록의 크기에는 특별한 제한이 없다. 예컨대, 현재 블록과 후보 참조 블록은 각각 매크로블록이거나 8×8 블록, 4×4 블록일 수 있다. 또한 현재 블록과 후보 참조 블록은 H.264/AVC에서 이용되고 있는 임의의 크기(16×8, 8×16, 8×4, 또는 4×8 등)를 갖는 블록일 수도 있다. 이 경우, 상기 현재 블록과 후보 참조 블록은 같은 크기의 블록이거나 서로 다른 크기의 블록일 수 있다.Here, there is no particular limitation on the size of the current block and / or candidate reference block. For example, the current block and the candidate reference block may be macroblocks, 8x8 blocks, and 4x4 blocks, respectively. Also, the current block and the candidate reference block may be blocks having any size (16 × 8, 8 × 16, 8 × 4, 4 × 8, etc.) used in H.264 / AVC. In this case, the current block and the candidate reference block may be blocks of the same size or blocks of different sizes.

본 실시예에 의하면, 상기 후보 참조 블록의 전부 또는 일부를 이용하여 상기 예측값을 구하는데, 예측 모드에 따라서 후보 참조 블록 집합이 적응적으로 정해지게 된다. 여기서 '후보 참조 블록 집합'이란 현재 블록의 MV_P 또는 D_P를 구하는데 이용될 수 있는 모든 후보 참조 블록들의 집합을 지칭한다. 본 발명의 일 실시예에 의하면, 예측 모드에 따라서 후보 참조 블록 집합은 다음과 같이 정해질 수 있다.According to the present embodiment, the prediction value is obtained using all or part of the candidate reference blocks, and the candidate reference block set is adaptively determined according to the prediction mode. Here, the 'candidate reference block set' refers to a set of all candidate reference blocks that can be used to obtain the MV _P or D _P of the current block. According to an embodiment of the present invention, a candidate reference block set may be determined as follows according to a prediction mode.

첫째, 제1, 2, 및 5 예측 모드의 경우에, 상기 예측 후보 블록 집합은 상기 ⓐ에 해당하는 블록들의 전부 또는 일부로 구성된다.First, in case of the first, second, and fifth prediction modes, the prediction candidate block set is composed of all or part of blocks corresponding to ⓐ.

둘째, 제3 및 4 예측 모드의 경우에, 상기 예측 후보 블록 집합은 상기 ⓐ, ⓑ 및 ⓒ에 해당하는 블록들의 전부 또는 일부로 구성된다.Secondly, in case of the third and fourth prediction modes, the prediction candidate block set includes all or part of blocks corresponding to ⓐ, ⓑ and ⓒ.

다음으로, 예측 모드에 따라서 상기 후보 참조 블록 집합에 속하는 블록의 MV 또는 변이값을 이용하여 각각 MV_p 또는 D_P를 구하는 과정에 대하여 설명한다. 이하에서는 변이값의 일례로서 휘도 변경값(IC)에 대하여 설명하지만, 상기 변이값은 휘도 변경값에 한정되지 않으며, 색차 변경값이나 또는 RGB로 표현되는 이미지 정보에 대한 변이값이 될 수도 있다.Next, a process of obtaining MV _p or D _P respectively using MV or variation values of blocks belonging to the candidate reference block set according to the prediction mode will be described. Hereinafter, the luminance change value IC will be described as an example of the variation value. However, the variation value is not limited to the luminance change value but may be a variation value for the color difference change value or image information expressed in RGB.

MVMV _PP 또는 IC Or IC _PP 를 구하는 방법How to get

① 제1 예측 모드① first prediction mode

도 21은 제1 예측 모드인 경우에 상기 MV_P 및 IC_P를 구하는 방법을 설명하기 위한 도면이다. 도 21을 참조하면, 현재 블록은 프레임 V2T0에 속하며, 상기 프레임은 하나의 뷰 참조 프레임을 갖는다. 그리고 상기 뷰 참조 프레임은 프레임 V0T0이다. 21 is a diagram for describing a method of obtaining the MV _P and IC _P in the first prediction mode. Referring to FIG. 21, the current block belongs to frame V2T0, and the frame has one view reference frame. And the view reference frame is frame V0T0.

이러한 제1 예측 모드의 경우에는 현재 블록의 주변 블록만을 이용하여 MV_P 또는 IC_P를 구한다. 즉, 도 21에서 현재 블록의 주변 블록인 블록 A, B, C, 및/또는 D의 움직임 벡터 또는 휘도 변경값을 이용하여, 현재 블록의 MV_P 또는 IC_P를 구한다.In the first prediction mode, MV _P or IC _P is obtained using only neighboring blocks of the current block. That is, in FIG. 21, MV _P or IC _P of the current block is obtained using the motion vector or the luminance change value of blocks A, B, C, and / or D which are neighboring blocks of the current block.

(가) MV_P를 구하는 방법(A) How to find MV _P

제1 예측 모드인 경우에, H.264/AVC에 규정된 것과 동일한 방법으로 MV_P를 구할 수 있다. 예컨대, 상기 블록 A, B, C, 및 D의 MV들의 전부 또는 일부의 중간값 연산을 통하여 MV_P를 구할 수 있다. 또는, 상기 블록 A, B, C, 및 D의 MV들의 전부 또는 일부의 평균값 연산을 통하여 MV_P를 구할 수도 있다.In the case of the first prediction mode, MV _P can be obtained in the same manner as defined in H.264 / AVC. For example, MV _P may be obtained through an intermediate operation of all or some of the MVs of the blocks A, B, C, and D. Alternatively, MV _P may be obtained by calculating an average value of all or some of the MVs of the blocks A, B, C, and D.

그리고 상기 블록 A, B, C, D가 다양한 크기의 블록으로 구성되는 경우에는 상기 블록 A, B, C, D를 구성하는 모든 블록의 MV를 이용할 수 있다. 다만, 이 경우에는 MV의 개수가 너무 많을 수도 있으므로, 이용되는 MV의 개수를 줄이기 위하여 다른 여러 가지 방법을 적용하여 MV_P를 구할 수도 있다. 이하, 도 22a 내지 도 22c 참조하여 이를 보다 구체적으로 설명한다.When blocks A, B, C, and D are composed of blocks of various sizes, MVs of all blocks constituting the blocks A, B, C, and D may be used. However, in this case, since the number of MVs may be too large, MV _P may be obtained by applying various methods in order to reduce the number of MVs used. Hereinafter, this will be described in more detail with reference to FIGS. 22A to 22C.

도 22a 및 도 22b는 현재 블록과 같은 크기(즉, 주변 블록의 MV가 현재 블록과 같은 크기의 블록에 대한 것인 경우)를 갖는 주변 블록을 이용하여 MV_P를 구하는 방법을 설명하기 위한 블록도이다. 22A and 22B are block diagrams illustrating a method of obtaining MV _P using neighboring blocks having the same size as the current block (that is, when the MV of the neighboring block is for a block of the same size as the current block). to be.

도 22a를 참조하면, 현재 블록은 16×16 크기의 매크로블록이고, 그 주변 블록 중에서 블록 A 및 C는 16×16 크기를 갖지만, 블록 B는 4개의 8×8 블록으로 구성되고 블록 D는 2개의 16×8 블록으로 구성되어 있다. 이 경우에 본 실시예에 의하면, 현재 블록의 MV_P는 블록 A 및 C의 MV만을 이용하여 구할 수 있다. 그리고 도 22b를 참조하면, 현재 블록은 2개의 8×16 블록으로 구성되고, 블록 A, B도 각각 2개의 8×16 블록으로 구성되어 있다. 그러나 블록 C는 16×16 크기의 매크로블록이고 블록 D는 2개의 16×8 블록으로 구성되어 있다. 이 경우에 본 실시예에 의하면, 현재 블록의 좌측 8×16 블록과 우측 8×16 블록의 MV_P는 블록 A, B를 구성하는 4개의 8×16 블록의 MV를 이용하여 구할 수 있다. 또한, 필요에 따라서는 우측 8×16 블록의 MV_P를 구하는데 있어서는 상기 좌측 8×16 블록의 MV도 함께 이용할 수도 있다.Referring to FIG. 22A, the current block is a macroblock of size 16 × 16, and among the neighboring blocks, blocks A and C have a size of 16 × 16, but block B is composed of four 8 × 8 blocks and block D is 2 It consists of 16 16 blocks. In this case, according to the present embodiment, the MV _P of the current block can be obtained using only the MVs of the blocks A and C. 22B, the current block is composed of two 8 × 16 blocks, and blocks A and B are each composed of two 8 × 16 blocks. However, block C is a 16 × 16 macroblock and block D is composed of two 16 × 8 blocks. In this case, according to this embodiment, the MV _P of the left 8x16 block and the right 8x16 block of the current block can be obtained using the MVs of four 8x16 blocks constituting blocks A and B. If necessary, in order to obtain the MV _P of the right 8x16 block, the MV of the left 8x16 block may be used together.

도 22c는 상기 여러 가지 방법 중의 다른 한 가지 방법으로서 현재 블록에 대하여 소정의 허용 범위 내에 위치하는 주변 블록의 움직임 벡터(MV_N)를 이용하여 MV_P를 구하는 경우이다. 예를 들어, 도 22c에 도시된 바와 같이 현재 블록의 경계면에서 소정의 픽셀(8픽셀) 간격 내에 위치하는 블록(즉, 블록 A, B, C, D에서 빗금이 있는 블록)의 MV만을 이용하여 MV_P를 구할 수 있다.FIG. 22C illustrates a method of obtaining MV _P using another motion vector MV _N of a neighboring block located within a predetermined allowable range with respect to the current block. For example, as shown in FIG. 22C, only the MV of a block (that is, a hatched block in blocks A, B, C, and D) located within a predetermined pixel (8 pixels) interval at the boundary of the current block is used. MV _P can be found.

상기 여러 가지 방법 중의 또 다른 한 가지 방법으로, 주변 블록 A, B, C, D 및 이를 구성하는 블록의 크기와 현재 부호화의 대상이 되는 현재 블록의 크기를 비교하여, 그 크기가 상기 현재 블록의 크기 이상인 블록만을 이용할 수도 있다.In yet another method among the various methods, the size of the neighboring blocks A, B, C, D and the blocks constituting the same is compared with the size of the current block to be encoded, and the size of the current block Only blocks larger than size may be used.

(나) IC_P를 구하는 방법(B) How to get IC _P

제1 예측 모드인 경우에, 현재 블록의 IC_P도 그 주변 블록들의 휘도 변경값(IC_N)만을 이용하여 구한다. 예를 들어, 상기 주변 블록 중에서 일부의 블록에만 IC가 존재하는 경우에는 그 블록의 IC만을 이용하여 IC_P를 구할 수 있다. 그리고 상기 주변 블록 중에서 IC가 존재하는 블록이 하나도 없는 경우에는 현재 블록의 IC_P를 0으로 설정할 수 있다.In the case of the first prediction mode, the IC _P of the current block is also obtained using only the luminance change value IC _N of the neighboring blocks. For example, when an IC exists only in some of the neighboring blocks, IC _P can be obtained using only the IC of the block. If there is no block in which the IC exists among the neighboring blocks, the IC _P of the current block may be set to zero.

② 제2 예측 모드② second prediction mode

도 23은 제2 예측 모드인 경우에 MV_P 또는 IC_P를 구하는 방법을 설명하기 위한 도면이다. 도 23을 참조하면, 현재 블록은 프레임 V1T0에 속하며, 상기 프레임은 두 개의 뷰 참조 프레임을 갖는데, 프레임 V0T0 및 V2T0이 프레임 V1T0의 뷰 참조 프레임이다. FIG. 23 is a diagram for describing a method of obtaining MV _P or IC _P in the second prediction mode. Referring to FIG. 23, the current block belongs to frame V1T0, and the frame has two view reference frames, in which frames V0T0 and V2T0 are view reference frames of frame V1T0.

이러한 제2 예측 모드의 경우에도 현재 블록의 주변 블록만을 이용하여 MV_P 또는 IC_P를 구할 수 있다. 즉, 도 23에서 현재 블록의 주변 블록인 블록 A, B, C, 및/또는 D의 움직임 벡터(MV_N) 또는 휘도 변경값(IC_N)을 이용하여, 현재 블록의 MV_P 또는 IC_P를 구한다.Even in this second prediction mode, MV _P or IC _P may be obtained using only neighboring blocks of the current block. That is, in FIG. 23, MV _P or IC _P of the current block is determined using the motion vector MV _N or the luminance change value IC _N of blocks A, B, C, and / or D, which are neighboring blocks of the current block. Obtain

(가) MV_P를 구하는 방법(A) How to find MV _P

제2 예측 모드인 경우에도 H.264/AVC에 규정된 것과 동일한 방법으로 움직임 벡터 예측값(MV_P)을 구할 수 있다. 예컨대, 상기 블록 A, B, C, 및 D의 MV들의 전부 또는 일부의 중간값 연산 또는 평균값 연산을 통하여 MV_P를 구할 수 있다.Even in the second prediction mode, the motion vector prediction value MV _P can be obtained in the same manner as that specified in H.264 / AVC. For example, MV _P may be obtained through an intermediate value calculation or an average value calculation of all or some of the MVs of the blocks A, B, C, and D.

그리고 본 실시예의 일 측면에 의하면, 상기 주변 블록들 중에서 현재 블록이 참조하는 뷰의 방향과 동일한 방향의 뷰를 참조하는 주변 블록만을 이용하여 MV_P를 구할 수도 있다. 이 경우에 MV_P를 구하는데 이용되는 주변 블록의 범위를 보다 줄이기 위하여, 도 22a 내지 도 22c를 참조하여 전술한 방법이 함께 적용될 수도 있다.According to an aspect of the present embodiment, MV _P may be obtained using only the neighboring blocks referring to the view in the same direction as the view of the current block among the neighboring blocks. In this case, the method described above with reference to FIGS. 22A to 22C may be applied together to further reduce the range of neighboring blocks used to obtain MV _P.

도 24는 이러한 본 실시예를 설명하기 위한 도면이다. 도 24를 참조하면, 주변 블록 A, B, C, 및 D 중에서 매크로블록 A, 매크로블록 B의 우하측 8×8 블록, 및 매크로블록 D의 상측 16×8 블록이 현재 블록이 참조하는 뷰의 방향과 동일한 방향의 뷰를 참조하는 주변 블록들이다. 그리고 본 실시예에 의하면, 상기 주변 블록 A, B, C, 및 D 중에서 이들 3개의 주변 블록의 MV를 이용하여 MV_P를 구한다.24 is a diagram for explaining this present embodiment. Referring to FIG. 24, among the neighboring blocks A, B, C, and D, macroblock A, the lower right 8x8 block of macroblock B, and the upper 16x8 block of macroblock D are views of a view to which the current block refers. Peripheral blocks that reference views in the same direction as the direction. According to the present embodiment, MV _P is obtained using the MVs of these three peripheral blocks among the peripheral blocks A, B, C, and D.

도 25는 주변 블록들 중에서 현재 블록이 참조하는 뷰의 방향과 동일한 방향의 뷰를 참조하는 주변 블록만을 이용하여 MV_P를 구하는 방법을 보여주는 알고리즘의 일례이다. 여기서 현재 블록과 주변 블록의 크기는 한정되지 않으며, 각각 매크로블록, 8×8 블록, 4×4 블록, 16×8 블록, 8×16 블록, 8×4 블록, 및/또는 4×8 블록 등일 수 있다.FIG. 25 is an example of an algorithm illustrating a method of obtaining MV _P using only neighboring blocks referring to a view in the same direction as a view of a current block among neighboring blocks. The size of the current block and the neighboring block is not limited, and may be a macroblock, an 8x8 block, a 4x4 block, a 16x8 block, an 8x16 block, an 8x4 block, and / or a 4x8 block, respectively. Can be.

도 25를 참조하면, 우선 주변 블록들 중에서 현재 블록의 뷰 참조 방향과 동일한 뷰 참조 방향인 블록의 개수를 계산하여 그 개수가 1이상인지를 판단한다(S21). 판단 결과, 1이상이면 단계 S22로 분기하고, 그렇지 않은 경우에는 단계 S23으로 분기한다.Referring to FIG. 25, first, a number of blocks that are the same as the view reference direction of the current block among the neighboring blocks is calculated to determine whether the number is one or more (S21). As a result of the determination, if it is 1 or more, the flow branches to step S22, otherwise, the flow branches to step S23.

단계 S22, 즉 주변 블록들 중에서 현재 블록의 뷰 참조 방향과 동일한 뷰 참조 방향인 블록의 개수가 1이상인 경우에는, 해당되는 블록들의 움직임 벡터를 이용하여 MV_P를 구한다(S22). 이 경우에, 해당되는 주변 블록의 수가 많은 경우에는 그 일부만을 이용할 수도 있다.In operation S22, that is, when the number of blocks having the same view reference direction as that of the current block among the neighboring blocks is one or more, MV _P is obtained using the motion vectors of the corresponding blocks (S22). In this case, only a part of the number of neighboring blocks may be used.

그리고 단계 S23, 즉 주변 블록들 중에서 현재 블록의 뷰 참조 방향과 동일한 뷰 참조 방향인 블록이 하나도 없는 경우에는, H.264/AVC에 규정되어 있는 기존의 방법과 동일한 방법을 이용하여 MV_P를 구할 수 있다.In step S23, i.e., when none of the neighboring blocks have the same view reference direction as the view reference direction of the current block, MV _P is obtained using the same method as the existing method specified in H.264 / AVC. Can be.

다음으로 본 발명의 실시예에 따른 예측 방법에서의 예측 효율을 종래의 방법과 비교하여 설명한다. Next, the prediction efficiency in the prediction method according to the embodiment of the present invention will be described in comparison with the conventional method.

도 26a는 현재 프레임이 제2 예측 모드에 해당되는 것을 도식적으로 보여주는 도면이다. 도 26a를 참조하면, 현재 프레임의 POC는 3으로서 POC가 2 및 4인 두 개의 뷰 참조 프레임을 갖는다.FIG. 26A is a diagram schematically illustrating that a current frame corresponds to a second prediction mode. Referring to FIG. 26A, the POC of the current frame is 3 and has two view reference frames having POCs of 2 and 4.

도 26b는 도 26a에 도시된 현재 프레임(POC=3)의 현재 블록과 그 주변 블록들(블록 A, B, C, 및 D)의 움직임 추정에서의 매크로블록 모드를 보여주는 도면이다. 도 26b에서 현재 블록은 양방향 16×16 블록 모드이고, 매크로블록 A 및 B는 단방향 16×16 블록 모드이고, 매크로블록 C 및 D는 스킵 모드(Skip Mode)인 경우를 나타낸다.FIG. 26B illustrates a macroblock mode in motion estimation of the current block of the current frame (POC = 3) and its neighboring blocks (blocks A, B, C, and D) shown in FIG. 26A. In FIG. 26B, a current block is a bidirectional 16 × 16 block mode, macroblocks A and B are a unidirectional 16 × 16 block mode, and macroblocks C and D are a skip mode.

도 26c는 도 26b에 도시된 현재 블록과 그 주변 블록들 각각에 대한 참조 영상 리스트와 기존의 H.264/AVC에 규정되어 있는 예측 방법에 따른 해당 참조 프레임의 MV, MV_P, 및 MV_D를 보여주는 도면이다. 도 26c를 참조하면, 현재 블록의 리스트0 참조 영상의 경우에는 MV_P는 매크로블록 A, B, 및 C의 리스트0 참조 영상의 MV값의 중간값으로서 (-23, 1)이 되고, 그 결과 MV_D는 (-3, -1)이 된다. 그리고 현재 블록의 리스트1 참조 영상의 경우에는 주변 블록 A, B, 및 C의 어디에도 리스트1 참조 프레임이 존재하지 않는 경우이므로, MV_P는 (0, 0)이 되고, 그 결과 MV_D는 (23, 0)이 된다.FIG. 26C illustrates MV, MV _P , and MV _D of a reference picture list according to the current block and neighboring blocks shown in FIG. 26B and corresponding reference frames according to a prediction method defined in the existing H.264 / AVC. Figure showing. Referring to FIG. 26C, in the case of the list 0 reference image of the current block, MV _P becomes (-23, 1) as an intermediate value of the MV values of the list 0 reference image of the macroblocks A, B, and C, and as a result, MV _D becomes (-3, -1). In the case of List1 reference picture of the current block, since List1 reference frame does not exist anywhere in neighboring blocks A, B, and C, MV _P becomes (0, 0), and as a result, MV _D becomes (23). , 0).

그런데, 본 발명의 실시예에 의하면, 리스트0 및 리스트1 참조 영상에 대한 현재 블록의 MV_P는 각각 주변 매크로블록 A, B, C, 및 D 중에서 참조 영상의 POC가 현재 블록의 리스트0 참조 영상의 POC와 같은 매크로블록, 즉 현재 블록의 참조 방향과 동일한 뷰 방향을 참조하는 주변 블록들의 MV값을 이용하여 구한다. 따라서 본 발명의 실시예에 의하면, 리스트0 참조 영상인 경우에는 매크로블록 B의 MV인 (-23, 3)이 MV_P가 되고, 리스트1 참조 영상의 경우에는 매크로블록 A의 MV인 (25, 0)이 MV_P가 된다.However, according to an exemplary embodiment of the present invention, the MV _P of the current block with respect to the list 0 and the list 1 reference picture is the POC of the reference picture among the neighboring macroblocks A, B, C, and D, respectively. It is obtained by using MV values of neighboring blocks that refer to the same view direction as the reference direction of the current block. Therefore, according to the embodiment of the present invention, in the case of the list 0 reference image, (-23, 3), which is the MV of the macroblock B, becomes MV _P , and in the case of the list 1 reference image, the MV of the macroblock A (25, 0) becomes MV _P.

표 6은 도 26a 내지 도 26c를 참조하여 전술한 내용을 정리한 표이다. 표 6을 참조하면, 본 발명의 실시예에 의할 경우에 리스트0 참조 영상의 경우에는 MV_D가 (-3, 3)으로서 종래의 방법에 의할 경우보다 약간 그 값이 증가하지만, 리스트1 참조 영상의 경우에는 (23, 0)에서 (-2, 0)으로 MV_D가 급격하게 작아졌다는 것을 알 수 있다. 따라서 본 발명의 실시예에 의할 경우에는 예측 효율을 향상시키는 것이 가능하다.Table 6 is a table summarizing the foregoing contents with reference to FIGS. 26A to 26C. Referring to Table 6, in the case of the list 0 reference image according to the embodiment of the present invention, the value of MV _D is (-3, 3) slightly higher than that of the conventional method. In the case of the reference image, it can be seen that the MV _D rapidly decreased from (23, 0) to (-2, 0). Therefore, according to the embodiment of the present invention, it is possible to improve the prediction efficiency.

도 27a는 현재 프레임이 제2 예측 모드에 해당되는 것을 도식적으로 보여주는 도면이다. 도 27a를 참조하면, 현재 프레임의 POC는 3으로서 POC가 2 및 4인 두 개의 뷰 참조 프레임을 갖는다.27A is a diagram schematically showing that a current frame corresponds to a second prediction mode. Referring to FIG. 27A, the POC of the current frame is 3 and has two view reference frames having POCs of 2 and 4.

도 27b는 도 27a에 도시된 현재 프레임의 현재 블록과 그 주변 블록들(블록 A, B, C, 및 D)의 움직임 추정에서의 매크로블록 모드를 보여주는 도면이다. 도 27b에서 현재 블록은 양방향 8×16 블록 모드이고, 매크로블록 A는 양방향 16×16 블록 모드, 매크로블록 B 및 D는 단방향 16×16 블록 모드이고, 매크로블록 C는 스킵 모드(Skip Mode)인 경우를 나타낸다. FIG. 27B is a diagram illustrating a macroblock mode in motion estimation of the current block and its neighboring blocks (blocks A, B, C, and D) of the current frame shown in FIG. 27A. In FIG. 27B, the current block is a bidirectional 8x16 block mode, macroblock A is a bidirectional 16x16 block mode, macroblocks B and D are a unidirectional 16x16 block mode, and macroblock C is a skip mode. The case is shown.

도 27c는 도 27b에 도시된 현재 블록과 그 주변 블록들 각각에 대한 참조 영상 리스트와 기존의 H.264/AVC에 규정되어 있는 예측 방법에 따른 해당 참조 프레임의 MV, MV_P, 및 MV_D를 보여주는 도면이다. 도 27c를 참조하면, 현재 블록의 좌측 리스트0 참조 영상의 경우에는 MV_P가 매크로블록 A의 리스트0 참조 영상의 MV값인 (-31, 0)이 되고, 그 결과 MV_D는 (14, 1)이 된다. 그리고 현재 블록의 우측 리스트0 참조 영상의 경우에는 MV_P가 매크로블록 C의 MV값인 (-16, 1)이 되고, 그 결과 MV_D는 (42, 0)이 된다.FIG. 27C illustrates MV, MV _P , and MV _D of a reference picture list according to the current block and neighboring blocks shown in FIG. 27B and corresponding reference frames according to a prediction method defined in the existing H.264 / AVC. Figure showing. Referring to FIG. 27C, in the case of the left list0 reference image of the current block, MV _P becomes (-31, 0) which is the MV value of the list0 reference image of the macroblock A, and as a result, MV _D is (14, 1). Becomes In the case of the reference list 0 right picture of the current block, MV _P becomes (-16, 1) which is the MV value of the macroblock C, and as a result, MV _D becomes (42, 0).

그런데, 본 발명의 실시예에 의하면, 리스트0 참조 영상인 경우에 좌측 8×16 블록과 우측 8×16 블록의 MV_P는 각각 주변 매크로블록 A, B, C, 및 D 중에서 참조 영상의 POC가 현재 블록의 POC와 같은 블록의 MV값을 이용하여 구한다. 따라서 본 발명의 실시예에 의하면, 참조 영상의 POC가 4인 좌측 8×16 블록의 경우에는 매크로블록 A, B, 및 D에서 참조 영상의 POC가 4인 블록의 MV값의 중간값인 (-16, 1)이 MV_P가 되고, 참조 영상의 POC가 2인 우측 8×16 블록의 경우에는 주변 블록들 중에서 참조 영상의 POC가 2인 매크로블록 A의 MV인 (28, 0)이 MV_P가 된다.However, according to an exemplary embodiment of the present invention, in the case of the list 0 reference image, the MV _P of the left 8x16 block and the right 8x16 block has a POC of the reference image among the neighboring macroblocks A, B, C, and D, respectively. Obtained using the MV value of the same block as the POC of the current block. Therefore, according to the embodiment of the present invention, in the case of the left 8x16 block in which the POC of the reference picture is 4, the median value of the MV value of the block having the POC of 4 in the macroblocks A, B, and D is (- In the case of the right 8x16 block in which 16, 1) becomes MV _P and the POC of the reference picture is 2, (28, 0) which is the MV of macroblock A having the POC of the reference picture of 2 among the neighboring blocks is MV _P Becomes

표 7은 도 27a 내지 도 27c를 참조하여 전술한 내용을 정리한 표이다. 표 7을 참조하면, 본 발명의 실시예에 의할 경우에 좌측 8×16 블록의 경우에는 MV_D가 (-2, 0)이고 우측 8×16 블록의 경우에는 MV_D가 (-2, 1)로서, 각각 종래의 방법에 의할 경우보다 MV_D가 작아졌다는 것을 알 수 있다. 따라서 본 발명의 실시예에 의할 경우에는 예측 효율을 향상시키는 것이 가능하다.Table 7 is a table summarizing the foregoing contents with reference to FIGS. 27A to 27C. Referring to Table 7, according to an embodiment of the present invention, MV _D is (-2, 0) for the left 8 × 16 block and MV _D is (-2, 1) for the right 8 × 16 block. ), It can be seen that the MV _D is smaller than that in the conventional method, respectively. Therefore, according to the embodiment of the present invention, it is possible to improve the prediction efficiency.

(나) IC_P를 구하는 방법(B) How to get IC _P

제2 예측 모드인 경우에, 현재 블록의 IC_P도 그 주변 블록들의 IC가 존재하는 경우에는 이 블록들의 IC값을 이용하여 구한다. 이 경우, 상기 주변 블록 중에서 일부의 블록들의 IC만을 이용하거나 또는 참조 영상의 POC가 현재 블록의 POC와 같은 블록만을 이용하여 IC_P를 구할 수 있다. 그리고 상기 주변 블록 중에서 휘도 변경값이 존재하는 블록이 하나도 없는 경우에는 현재 블록의 IC_P를 0으로 설정할 수 있다.In the second prediction mode, the IC _P of the current block is also obtained by using the IC values of these blocks when there are ICs in the neighboring blocks. In this case, IC _P may be obtained using only ICs of some blocks among the neighboring blocks or using only blocks in which the POC of the reference picture is the same as the POC of the current block. If none of the neighboring blocks has a luminance change value, the IC _P of the current block may be set to zero.

③ 제3 예측 모드 또는 제4 예측 모드③ third prediction mode or fourth prediction mode

도 28 및 도 29는 각각 제3 예측 모드 및 제4 예측 모드인 경우에 MV_P 또는 IC_P를 구하는 방법을 설명하기 위한 도면이다. 도 28을 참조하면, 제3 예측 모드에 해당하는 현재 블록은 프레임 V1T1에 속하며, 프레임 V1T1은 두 개의 뷰 참조 프레임(V0T1 및 V2T1)과 두 개의 시간 참조 프레임(V1T0 및 V1T2)을 갖는다. 그리고 도 29를 참조하면, 제4 예측 모드에 해당하는 현재 블록은 프레임 V2T1에 속하며, 프레임 V2T1은 한 개의 뷰 참조 프레임(V1T1)과 두 개의 시간 참조 프레임(V2T0 및 V2T2)을 갖는다.28 and 29 are diagrams for describing a method of obtaining MV _P or IC _P in the third prediction mode and the fourth prediction mode, respectively. Referring to FIG. 28, the current block corresponding to the third prediction mode belongs to frame V1T1, and frame V1T1 has two view reference frames V0T1 and V2T1 and two temporal reference frames V1T0 and V1T2. Referring to FIG. 29, the current block corresponding to the fourth prediction mode belongs to frame V2T1, and frame V2T1 has one view reference frame V1T1 and two temporal reference frames V2T0 and V2T2.

이러한 제3 예측 모드 또는 (4)의 경우에는, 현재 블록의 주변 블록들의 움직임 벡터(MV_N) 또는 휘도 변경값(IC_N)과 시간 참조 프레임에서 현재 블록에 대응하는 위치의 블록(대응 블록)과 그 주변 블록들의 움직임 벡터(MV_T) 또는 휘도 변경값(IC_T)값을 이용하여, 현재 블록의 MV_P 또는 IC_P를 구할 수 있다. 즉, 도 28 및 도 29에서, 현재 블록의 주변 블록(블록 A, B, C, D), 전방 시간 방향 대응 블록(블록 TF0) 및 그 주변 블록(블록 TF1, TF2, TF3, TF4, TF5, TF6, TF7, TF8), 및 후방 시간 방향 대응 블록(블록 TB0) 및 그 주변 블록(블록 TB1, TB2, TB3, TB4, TB5, TB6, TB7, TB8)을 이용하여, 현재 블록의 MV_P 또는 IC_P를 구한다.In this third prediction mode or (4), the motion vector MV _N or the luminance change value IC _N of the neighboring blocks of the current block and the block of the position corresponding to the current block in the temporal reference frame (corresponding block) MV _P or IC _P of the current block may be obtained using the motion vector MV _T or the luminance change value IC _T of the neighboring blocks. That is, in FIGS. 28 and 29, the neighboring blocks (blocks A, B, C, D) of the current block, the forward temporal corresponding block (block TF0), and the neighboring blocks thereof (blocks TF1, TF2, TF3, TF4, TF5, MV _P or IC of the current block, using TF6, TF7, TF8), and backward temporal correspondence block (block TB0) and its surrounding blocks (blocks TB1, TB2, TB3, TB4, TB5, TB6, TB7, TB8) Find _P

(가) MV_P를 구하는 방법(A) How to find MV _P

본 발명의 일 실시예에 의하면, 현재 블록의 MV의 참조가 뷰 방향인 경우에 현재 블록의 주변 블록 및 현재 블록의 시간 방향 대응 블록과 그 주변 블록 중에서 현재 블록의 MV가 참조하는 뷰 방향과 동일한 뷰 방향을 참조하는 블록들의 전부 또는 일부를 이용하여 MV_P를 구할 수 있다. 예를 들어, 도 30에서 매크로블록 A, B, C, D, TF0, TF1, TF2, TF3, TF4, TF5, TF6, TF7, TF8, TB0, TB1, TB2, TB3, TB4, TB5, TB6, TB7, 및 TB8 또는 상기 매크로블록의 구성 블록(예컨대, 매크로블록 TF5의 경우에 이를 구성하는 4개의 8×8 블록)들 중에서, 그 MV가 참조하는 방향이 현재 블록의 MV가 참조하는 뷰 방향과 동일한 뷰 방향인 블록들(도 30에서 점선 원으로 표시된 블록들)의 전부 또는 일부를 이용하여 MV_P를 구할 수 있다.According to an embodiment of the present invention, when the reference of the MV of the current block is the view direction, the neighboring block of the current block and the time direction corresponding block of the current block and the view direction referenced by the MV of the current block among the neighboring blocks are the same. MV _P may be obtained using all or part of blocks referring to the view direction. For example, macroblocks A, B, C, D, TF0, TF1, TF2, TF3, TF4, TF5, TF6, TF7, TF8, TB0, TB1, TB2, TB3, TB4, TB5, TB6, TB7 in FIG. And among the constituent blocks of TB8 or the macroblock (for example, 4 8x8 blocks constituting it in the case of macroblock TF5), the direction referenced by the MV is the same as the view direction referenced by the MV of the current block. MV _P may be obtained using all or a portion of the blocks in the view direction (blocks indicated by dotted circles in FIG. 30).

본 실시예의 일 측면에 의하면, MV_P를 구하는데 이용되는 MV의 범위를 줄이기 위하여 현재 블록과 동일한 크기를 갖는 블록들로 참조 블록을 한정할 수도 있다. 예를 들어, 도 30에서 그 MV가 현재 블록과 동일한 뷰 방향의 참조에 해당하는 블록들(도 30에서 점선 원으로 표시된 블록들) 중에서, 움직임 추정에서의 매크로블록 모드가 매크로블록 단위인 현재 블록과 그 매크로블록 모드가 같은 블록 TF0와 블록 TF4의 MV만을 이용하여 MV_P를 구할 수 있다.According to an aspect of the present embodiment, the reference block may be limited to blocks having the same size as the current block in order to reduce the range of MV used to obtain MV _P. For example, among the blocks whose MV corresponds to the same view direction reference as the current block in FIG. 30 (blocks indicated by dotted circles in FIG. 30), the current block in which the macroblock mode in motion estimation is in macroblock units. MV _P can be obtained using only MVs of blocks TF0 and TF4 having the same macroblock mode.

본 실시예의 다른 측면에 의하면, MV_P를 구하는데 이용되는 MV의 범위를 줄이기 위하여 각 참조 블록들에 우선순위를 할당해서, 그 우선순위에 따라서 소정의 개수(예컨대, 2개 또는 3개 등)의 블록으로 참조 블록을 한정할 수도 있다.According to another aspect of the present embodiment, in order to reduce the range of MV used to obtain MV _P , priority is assigned to each reference block, and a predetermined number (eg, 2 or 3, etc.) according to the priority is given. Reference blocks may be limited to blocks of.

도 31은 이러한 본 발명의 실시예에 따라서 현재 블록의 주변 블록들과 시간 방향 대응 블록 및 그 주변 블록들 중에서 현재 블록이 참조하는 뷰의 방향과 동일한 방향의 뷰를 참조하는 블록들만을 이용하여 MV_P를 구하는 방법을 보여주는 알고리즘의 일례이다. 여기서 현재 블록과 주변 블록의 크기는 한정되지 않으며, 각각 매크로블록, 8×8 블록, 4×4 블록, 16×8 블록, 8×16 블록, 8×4 블록, 및/또는 4×8 블록 등일 수 있다.FIG. 31 illustrates the MV using only blocks that reference the view in the same direction as the direction of the view referenced by the current block among the neighboring blocks and the temporal direction corresponding block and the neighboring blocks of the current block according to the embodiment of the present invention. An example of an algorithm showing how to find _P. The size of the current block and the neighboring block is not limited, and may be a macroblock, an 8x8 block, a 4x4 block, a 16x8 block, an 8x16 block, an 8x4 block, and / or a 4x8 block, respectively. Can be.

도 31을 참조하면, 우선 현재 블록의 움직임 벡터(MV_C)의 참조가 뷰 방향인지 여부를 판단한다(S31). 판단 결과, MV_C의 참조가 뷰 방향인 경우에는 단계 S32로 분기하고, 시간 방향인 경우에는 단계 S34로 분기한다.Referring to FIG. 31, first, it is determined whether the reference of the motion vector MV _C of the current block is the view direction (S31). As a result of the determination, if the reference of the MV _C is in the view direction, it branches to step S32, and if it is in the time direction, branches to step S34.

그리고 MV_C의 참조가 뷰 방향인 경우에는 참조 블록들(매크로블록 A, B, C, D, TF0, TF1, TF2, TF3, TF4, TF5, TF6, TF7, TF8, TB0, TB1, TB2, TB3, TB4, TB5, TB6, TB7, 및 TB8 및/또는 상기 매크로블록의 구성 블록들)의 MV, 즉 MV_N 및 MV_T 중에서 현재 블록의 참조 방향과 동일한 방향의 뷰를 참조하는 블록의 개수를 계산하여 그 수가 1이상인지를 판단한다(S32). 판단 결과, 1이상이면 단계 S33로 분기하고, 그렇지 않은 경우에는 단계 S34로 분기한다.When the reference of MV _C is the view direction, reference blocks (macroblocks A, B, C, D, TF0, TF1, TF2, TF3, TF4, TF5, TF6, TF7, TF8, TB0, TB1, TB2, TB3). , TB4, TB5, TB6, TB7, and TB8 and / or the number of blocks referring to the view in the same direction as the reference direction of the current block among MVs, ie, MV _N and MV _T) It is determined whether the number is 1 or more (S32). If it is determined that the value is 1 or more, the flow branches to step S33, and if not, the flow branches to step S34.

단계 S33, 즉 참조 블록들 중에서 현재 블록의 뷰 참조 방향과 동일한 뷰 참조 방향인 블록의 수가 1이상인 경우에는, 그 블록들의 움직임 벡터를 이용하여 MV_P를 구한다(S33). 이 경우에, 해당되는 주변 블록의 수가 많은 경우에는 그 일부만을 이용할 수도 있다. In step S33, that is, when the number of blocks that are the same view reference direction as that of the current block among the reference blocks is one or more, MV _P is obtained using the motion vectors of the blocks (S33). In this case, only a part of the number of neighboring blocks may be used.

그리고 단계 S34, 즉 상기 참조 블록들 중에서 현재 블록의 뷰 참조 방향과 동일한 뷰 참조 방향인 블록이 하나도 없는 경우이거나 또는 현재 블록의 MV의 참조가 시간 방향인 경우에는, H.264/AVC에 규정되어 있는 기존의 방법과 동일한 방법을 이용하여 MV_P를 구할 수 있다(S34).In step S34, that is, if none of the reference blocks are the same view reference direction as the view reference direction of the current block, or if the MV reference of the current block is the time direction, it is defined in H.264 / AVC. MV _P may be obtained using the same method as the existing method (S34).

도 32a는 GOP의 크기(GOP_SIZE)가 12인 경우로서 현재 프레임이 제3 예측 모드에 해당되는 것을 도식적으로 보여주는 도면이다. 도 32a를 참조하면, 현재 프레임의 POC는 22로서 POC가 10 및 34인 두 개의 뷰 참조 프레임과 POC가 1 및 25인 두 개의 시간 참조 프레임을 가진다.32A is a diagram illustrating a case where a size (GOP_SIZE) of a GOP is 12 and a current frame corresponds to a third prediction mode. Referring to FIG. 32A, the POC of the current frame is 22, which has two view reference frames having POCs 10 and 34 and two temporal reference frames having POCs 1 and 25.

도 32b는 도 32a에 도시된 현재 프레임의 현재 블록과 그 주변 블록들(블록 A, B, C, 및 D)의 움직임 추정에 따른 매크로블록 모드를 보여주는 도면이다. 그리고 도 32c는 도 32b에 도시된 현재 블록과 그 주변 블록들 각각에 대한 기존의 H.264/AVC에 규정되어 있는 예측 방법에 따른 MV, MV_P, 및 MV_D를 보여주는 도면이다.32B is a diagram illustrating a macroblock mode according to the motion estimation of the current block and neighboring blocks (blocks A, B, C, and D) of the current frame shown in FIG. 32A. 32C is a diagram illustrating MV, MV _P , and MV _D according to a prediction method defined in the existing H.264 / AVC for each of the current block and neighboring blocks shown in FIG. 32B.

도 32b 및 도 32c를 참조하면, 현재 블록은 양방향 16×16 블록 모드로서 두 개의 참조 프레임 리스트, 즉 LIST_0의 참조 인덱스2(위쪽 뷰 방향 참조 : POC는 10)와 LIST_1의 참조 인덱스2(아래쪽 뷰 방향 참조 : POC는 34)에서 각각 움직임 벡터를 추정하였다. 기존의 H.264/AVC에 규정되어 있는 예측 방법에 따라 리스트0 참조 영상 또는 리스트1 참조 영상에서 움직임 추정을 한 경우, MV_P는 현재 블록의 주변 블록들 중에서 동일한 리스트의 동일한 참조 인덱스의 MV를 이용하여 결정되므로, 리스트0 참조 영상에 대한 현재 블록의 MV_P는 (0, 0)이 되어서 예측 효과가 전혀 나타나지 않는다. 그리고 리스트1 참조 영상에 대한 현재 블록의 MV_P는 (-32, 2)로서, 그 결과 MV_D는 (7, 0)이 된다. 32B and 32C, the current block is a bidirectional 16x16 block mode, in which two reference frame lists, that is, reference index 2 of LIST_0 (see top view direction: POC is 10) and reference index 2 of LIST_1 (bottom view) Directional reference: POC estimated motion vectors in 34). When motion estimation is performed on the List 0 reference image or the List 1 reference image according to the prediction method specified in the existing H.264 / AVC, MV _P is the MV of the same reference index of the same list among neighboring blocks of the current block. Since the MV _P of the current block for the list 0 reference picture is (0, 0), the prediction effect is not shown at all. The MV _P of the current block for the list-1 reference picture is (-32, 2), and as a result, MV _D becomes (7, 0).

하지만 본 발명의 실시예에 의하면, MV_P에 대한 예측의 정확도를 높임으로써 예측 효율을 향상시킬 수가 있다. 이하, 도 32d 내지 도 32g를 참조하여 이를 보다 구체적으로 설명한다. However, according to the embodiment of the present invention, the prediction efficiency can be improved by increasing the accuracy of the prediction for the MV _P. Hereinafter, this will be described in more detail with reference to FIGS. 32D to 32G.

도 32d는 도 32a에 도시되어 있는 현재 프레임의 전방 시간 참조 프레임(POC가 1)의 현재 블록에 대한 대응 블록 및 그 주변 블록의 매크로블록 모드를 보여주는 도면이고, 도 32e는 도 32d에 도시된 대응 블록과 그 주변 블록들 각각에 대한 MV, MV_P, 및 MV_D를 보여주는 도면이다. 또한, 도 32f는 도 32a에 도시되어 있는 현재 프레임의 후방 시간 참조 프레임(POC가 25)의 현재 블록에 대한 대응 블록 및 그 주변 블록의 매크로블록 모드를 보여주는 도면이고, 도 32g는 도 32f에 도시된 대응 블록과 그 주변 블록들 각각에 대한 MV, MV_P, 및 MV_D를 보여주는 도면이다.FIG. 32D is a diagram showing a macroblock mode of a corresponding block and a neighboring block of the current block of a forward temporal reference frame (POC 1) of the current frame shown in FIG. 32A, and FIG. 32E is a corresponding block shown in FIG. 32D. A diagram showing MV, MV _P , and MV _D for each block and its neighboring blocks. 32F is a diagram illustrating a macroblock mode of a corresponding block and a neighboring block of a current block of a backward temporal reference frame (POC 25) of the current frame shown in FIG. 32A, and FIG. 32G is illustrated in FIG. 32F. Is a diagram showing MV, MV _P , and MV _D for each corresponding block and its neighboring blocks.

본 발명의 실시예에 의하면, 현재 프레임이 예측 구조(3) 또는 (4)에 해당되고 또한 현재 블록의 MV가 뷰 방향 참조인 경우에는, 현재 블록의 주변 블록인 블록 A, B, C, 및 D, 전방 시간 참조 프레임의 대응 블록 TF0과 그 주변 블록 TF1, TF2, TF3, TF4, TF5, TF6, TF7, 및 TF8 그리고 후방 시간 참조 프레임의 대응 블록 TB0과 그 주변 블록 TB1, TB2, TB3, TB4, TB5, TB6, TB7, 및 TB8 중에서, 현재 블록의 MV와 동일한 뷰 방향을 참조하는 블록들의 전부 또는 일부의 MV를 이용하여 MV_P를 구한다. 이와 같은 본 발명의 실시예에 의하면, 현재 블록의 주변 블록들의 경우에는 참조 프레임의 POC가 10 또는 34인 블록, 전방 시간 참조 프레임의 대응 블록과 그 주변 블록들의 경우에는 참조 프레임의 POC가 0 또는 2, 그리고 후방 시간 참조 프레임의 대응 블록과 그 주변 블록들의 경우에는 참조 프레임의 POC가 13 또는 37인 블록이 MV_P를 구하기 위한 후보 참조 블록이 될 수 있다. According to an embodiment of the present invention, when the current frame corresponds to the prediction structure (3) or (4) and the MV of the current block is a view direction reference, blocks A, B, C, and neighboring blocks of the current block, and D, corresponding block TF0 of the forward temporal reference frame and its neighboring blocks TF1, TF2, TF3, TF4, TF5, TF6, TF7, and TF8 and corresponding block TB0 of the backward temporal reference frame and its neighboring blocks TB1, TB2, TB3, TB4 From among TB5, TB6, TB7, and TB8, MV _P is obtained using the MV of all or some of the blocks referring to the same view direction as the MV of the current block. According to the embodiment of the present invention, in the case of neighboring blocks of the current block, the POC of the reference frame is 10 or 34, in the case of the corresponding block of the forward temporal reference frame and the neighboring blocks, the POC of the reference frame is 0 or 2 and, in the case of the corresponding block and the neighboring blocks of the backward temporal reference frame, a block having a POC of 13 or 37 of the reference frame may be a candidate reference block for obtaining MV _P.

도 32c, 도 32e, 및 도 32g를 참조하여 현재 블록의 주변 블록인 블록들 A, B, C, 및 D, 전방 시간 참조 프레임의 대응 블록 TF0과 그 주변 블록들 TF1, TF2, TF3, TF4, TF5, TF6, TF7, 및 TF8 그리고 후방 시간 참조 프레임의 대응 블록 TB0과 그 주변 블록들 TB1, TB2, TB3, TB4, TB5, TB6, TB7, 및 TB8 각각에서 현재 블록과 참조 방향이 같은 블록들의 MV값을 정리하면, 각각 표 8 및 표 9와 같다. 여기서 표 8은 현재 블록의 MV가 위쪽 뷰 방향 참조(POC가 10)인 경우이고, 표 9는 현재 블록의 MV가 아래쪽 뷰 방향 참조(POC가 34)인 경우이다. 그리고 표 8 및 표 9에서 MV가 기재되어 있지 않은 것은 현재 블록과 참조 방향이 다른 경우이며, MV가 2개 이상 기재되어 있는 것은 해당 블록에서 현재 블록과 참조 방향이 같은 블록이 2개 이상인 경우이다.32C, 32E, and 32G, blocks A, B, C, and D which are neighboring blocks of the current block, corresponding block TF0 of the forward temporal reference frame and its neighboring blocks TF1, TF2, TF3, TF4, MV of blocks with the same reference direction as the current block in TF5, TF6, TF7, and TF8, and corresponding blocks TB0 and its neighboring blocks TB1, TB2, TB3, TB4, TB5, TB6, TB7, and TB8 in the backward temporal reference frame, respectively. In summary, the values are shown in Tables 8 and 9, respectively. Here, Table 8 shows a case in which the MV of the current block is the top view direction reference (POC is 10), and Table 9 shows a case in which the MV of the current block is the bottom view direction reference (POC is 34). In Tables 8 and 9, the MV is not described when the current block and the reference direction are different, and when two or more MVs are described, the same block and the same reference direction are two or more blocks in the block. .

표 10은 도 32a 내지 도 32g를 참조하여 설명한 전술한 내용을 정리한 것으로서, 본 발명의 실시예에 따른 MV_P값은 각각 표 8 및 표 9에 개시되어 있는 MV값들의 중간값 연산을 통해서 구하였다. 표 10을 참조하면, 본 발명의 실시예에 의할 경우에 LIST_0 참조 영상의 경우에는 MV_D가 (2, 0)이고 LIST_1 참조 영상의 경우에는 MV_D가 (-3, 0)으로서, 각각 종래의 방법에 의할 경우보다 MV_D가 작아졌다는 것을 알 수 있다. 따라서 본 발명의 실시예에 의할 경우에는 예측 효율을 향상시키는 것이 가능하다.Table 10 summarizes the above-described contents with reference to FIGS. 32A to 32G. The MV _P values according to the embodiment of the present invention are obtained by calculating an intermediate value of the MV values disclosed in Tables 8 and 9, respectively. It was. Referring to Table 10, MV _D is (2, 0) for the LIST_0 reference picture and MV _D is (-3, 0) for the LIST_1 reference picture according to the embodiment of the present invention. It can be seen that MV _D is smaller than in the case of. Therefore, according to the embodiment of the present invention, it is possible to improve the prediction efficiency.

(나) IC_P를 구하는 방법(B) How to get IC _P

제3 예측 모드 또는 (4)인 경우에, 본 실시예의 일 측면에 의하면 현재 블록의 IC_P도 전술한 MV_P를 구하는 방법과 동일한 방법을 적용하여 구할 수 있다. In the third prediction mode or (4), according to an aspect of the present embodiment, the IC _P of the current block can also be obtained by applying the same method as the above-described method of obtaining MV _P.

예를 들어, 현재 블록의 IC_P를 구하는 경우에, 우선 현재 블록의 주변 블록들 중에서 휘도 변경값이 존재하는 블록들에 가장 높은 우선순위를 부여하여, 이들 주변 블록들의 휘도 변경값(IC_N)만을 이용하여 IC_P를 구할 수 있다. 그리고 현재 블록의 주변 블록들 중에서 IC값이 존재하는 블록이 없는 경우에는, 현재 프레임의 시간 참조 프레임을 구성하는 블록들(대응 블록 및 그 주변 블록들)의 휘도 변경값(IC_T)을 이용하여 IC_P를 구한다. 특히 후자의 경우에 상기 시간 참조 프레임을 구성하는 블록들 중에서 그 MV가 현재 블록의 MV와 동일한 뷰 참조 방향을 가지는 블록들만을 선택하여, 이들 선택된 블록들의 IC값에 대한 중간값 연산이나 또는 소정의 우선순위에 따라서 IC_P를 구할 수 있다. For example, in the case of obtaining the IC _P of the current block, first, the highest priority is given to the blocks in which the luminance change value exists among the neighboring blocks of the current block, and thus the luminance change value IC _N of these neighboring blocks. IC _P can be found using only. If there is no block having an IC value among neighboring blocks of the current block, the luminance change value IC _T of blocks (corresponding block and neighboring blocks) constituting the temporal reference frame of the current frame is used. Find IC _P. In particular, in the latter case, among the blocks constituting the temporal reference frame, only those blocks whose MVs have the same view reference direction as the MV of the current block are selected, and an intermediate value calculation or IC _P can be obtained according to the priority.

도 33은 이러한 본 발명의 실시예에 따라서 현재 블록의 주변 블록들에 가장 높은 우선순위를 부여하고, 상기 현재 블록의 주변 블록들과 그 시간 방향 대응 블록 및 그 주변 블록들 중에서 현재 블록이 참조하는 뷰의 방향과 동일한 방향의 뷰를 참조하는 블록들만을 이용하여 IC_P를 구하는 방법을 보여주는 알고리즘의 일례이다. 여기서 현재 블록과 주변 블록의 크기는 한정되지 않으며, 각각 매크로블록, 8×8 블록, 4×4 블록, 16×8 블록, 8×16 블록, 8×4 블록, 및/또는 4×8 블록 등일 수 있다.33 gives the highest priority to the neighboring blocks of the current block according to this embodiment of the present invention, and refers to the current block among the neighboring blocks of the current block, its time direction corresponding block, and its neighboring blocks. An example of an algorithm showing how to obtain IC _P using only blocks that reference the view in the same direction as the direction of the view. The size of the current block and the neighboring block is not limited, and may be a macroblock, an 8x8 block, a 4x4 block, a 16x8 block, an 8x16 block, an 8x4 block, and / or a 4x8 block, respectively. Can be.

도 33을 참조하면, 우선 현재 블록의 주변 블록들 중에서 IC가 존재하는 블록이 있는지 여부, 즉 IC_N이 존재하는지 여부를 판단한다(S41). 판단 결과, IC가 존재하는 주변 블록 또는 IC_N이 하나 이상 존재하는 경우에는 S46으로 분기하고, IC가 존재하는 주변 블록 또는 IC_N이 하나도 없는 경우에는 S42로 분기한다.Referring to FIG. 33, it is first determined whether there is a block in which IC exists among neighboring blocks of the current block, that is, whether IC _N exists (S41). It determined that, when the IC if any peripheral block or IC _N is present one or more of S46 has a branch, and a neighboring block, or IC, which IC is present _N none has branches to S42.

그리고 현재 블록의 주변 블록들 중에서 IC가 존재하는 블록이 하나도 없는 경우에는, 현재 프레임의 시간 참조 프레임의 대응 블록 및 그 주변 블록 들 중에서 휘도 변경값이 존재하는 블록의 개수가 있는지 여부, 즉 IC_T의 개수가 1이상인지 여부를 판단한다(S42). 판단 결과, IC_T가 1개 이상 존재하는 경우에는 S43으로 분기하고, IC_T가 하나도 없는 경우에는 S45로 분기한다.If none of the neighboring blocks of the current block has an IC, whether there is a corresponding block of the temporal reference frame of the current frame and the number of blocks having a luminance change value among the neighboring blocks, that is, IC _T. It is determined whether the number of times is 1 or more (S42). If it is determined that at least one IC _T exists, the process branches to S43, and when there is no IC _T , the process branches to S45.

계속해서, IC_T가 1개 이상인 경우에는 해당되는 블록들, 즉 IC가 존재하는 대응 블록 및 그 주변 블록들 중에서 그 MV가 참조하는 방향이 현재 블록의 MV가 참조하는 뷰 방향과 동일한 블록이 존재하는지 여부를 조사한다(S43). 조사 결과, 이에 해당되는 블록이 하나 이상 존재하는 경우에는 단계 S44로 분기하고 하나도 존재하지 않는 경우에는 S45로 분기한다.Subsequently, when there is more than one IC _T , among the corresponding blocks, that is, corresponding blocks in which the IC exists and neighboring blocks, the direction that the MV refers to is the same as the view direction that the MV of the current block refers to. It is examined whether or not (S43). As a result of the investigation, if more than one block exists, the process branches to step S44, and if none exist, branch to step S45.

다음으로, 단계 S44 즉, 현재 블록의 주변 블록들 중에는 IC가 존재하는 블록이 없지만, 시간 참조 프레임의 대응 블록 및 그 주변 블록들에는 현재 블록의 MV와 동일한 뷰 참조 방향을 가지면서 또는 IC가 존재하는 블록이 있는 경우에는, 이들 블록들에 대한 중간값 또는 평균값 연산 등의 방법을 이용하여 IC_P를 구한다(S44). 그리고 S45, 즉 즉, 현재 블록의 주변 블록들 중에도 IC가 존재하는 블록이 없고, 시간 참조 프레임의 대응 블록 및 그 주변 블록들 중에도 현재 블록의 MV와 동일한 뷰 참조 방향을 가지는 블록이 없거나 또는 이들 중에서 IC가 존재하는 블록이 없는 경우에는, IC_P를 '0'으로 설정한다(S45).Next, in step S44, that is, there is no block in which the IC exists among the neighboring blocks of the current block, but the corresponding block and the neighboring blocks of the temporal reference frame have the same view reference direction as the MV of the current block or the IC exists. If there are blocks to be obtained, IC _P is obtained using a method such as an intermediate value or an average value calculation for these blocks (S44). And S45, i.e., no blocks exist in the neighboring blocks of the current block, and none of the corresponding blocks of the temporal reference frame and the neighboring blocks have the same view reference direction as the MV of the current block or among them. If there is no block in which IC exists, IC _P is set to '0' (S45).

마지막으로, 단계 S46 즉, 현재 블록의 주변 블록들 중에서 IC가 존재하는 블록이 있는 경우에는 현재 블록의 주변 블록에서 동일한 리스트의 동일한 참조 인덱스를 갖는 블록들의 휘도 변경값, 즉 IC_N를 이용하여 IC_P를 구한다(S46). Finally, in step S46, that is, when there is a block in which the IC exists among the neighboring blocks of the current block, the IC is changed using the luminance change value of the blocks having the same reference index of the same list in the neighboring block of the current block, that is, IC _N. _P is found (S46).

표 11은 현재 블록의 IC가 3이고, MV가 위쪽 및 아래쪽 뷰 방향을 참조하는 경우에, 상기 현재 블록의 주변 블록과 시간 참조 프레임의 대응 블록 및 그 주변 블록들의 IC 및 MV의 방향을 나타낸 것이다. 전술한 실시예에서는 IC값이 존재하지 않는 블록은 MV의 방향을 고려함이 없이 IC_P를 구하는데 이용되지 않으므로, 표 11에서 해당 블록에 대한 IC값과 MV 방향은 모두 표시하지 않았다.Table 11 shows the direction of the IC and MV of the neighboring block of the current block and the corresponding block of the temporal reference frame and the neighboring blocks of the current block when the IC of the current block is 3 and the MV refers to the upper and lower view directions. . In the above-described embodiment, since a block without an IC value is not used to calculate IC _P without considering the direction of MV, neither the IC value nor the MV direction for the corresponding block is shown in Table 11.

도 33에 도시된 흐름도를 상기 표 11의 경우에 적용하면, 우선 현재 프레임의 주변 블록들(A, B, C, 및 D) 중에서 IC값이 존재하는 블록이 있는지를 조사한다. 표 11에 의하면, 현재 프레임의 주변 블록들 중에는 어떤 블록도 IC값이 존재하지 않는다. 이 경우에, 종래의 방법에 의하면, IC_P가 0이 되므로, IC_D는 3(3-0=3)이 된다. 그러나 본 실시예에 의하면, 대응 블록 및 그 주변 블록들 중에서 IC값이 존재하는 블록이 있는지 여부를 판단하고, 해당되는 블록이 있는 경우에는 그 MV가 참조하는 방향이 현재 블록의 MV가 참조하는 뷰 방향이 같은 블록들, 예컨대 블록 TF0, TB0, 및 TB1을 이용하여 IC_P를 구한다. 예를 들어, 상기 블록 TF0, TB0, 및 TB1의 IC값의 중간값인 4가 IC_P가 되고, 그 결과 IC_D는 -1(3-4=-1)이 된다. 따라서 본 발명의 실시예에 의할 경우에는 휘도 변경값의 예측 효율을 향상시키는 것이 가능하다.When the flowchart shown in FIG. 33 is applied to the case of Table 11, first, it is checked whether there is a block in which the IC value exists among the neighboring blocks A, B, C, and D of the current frame. According to Table 11, none of the neighboring blocks of the current frame has an IC value. In this case, according to the conventional method, since IC _P becomes 0, IC _D becomes 3 (3-0 = 3). However, according to the present embodiment, it is determined whether there is a block having an IC value among the corresponding block and its neighboring blocks, and if there is a corresponding block, the view referred to by the MV of the current block is the direction referenced by the MV. IC _P is obtained using blocks in the same direction, such as blocks TF0, TB0, and TB1. For example, 4, which is an intermediate value of the IC values of the blocks TF0, TB0, and TB1, becomes IC _P , and, as a result, IC _D becomes -1 (3-4 = -1). Therefore, according to the embodiment of the present invention, it is possible to improve the prediction efficiency of the luminance change value.

④ 제5 예측 모드④ fifth prediction mode

도 34는 제5 예측 모드인 경우에 MV_P 또는 IC_P를 구하는 방법을 설명하기 위한 도면이다. 도 34를 참조하면, 현재 블록은 프레임 V0T1에 속하며, 상기 프레임은 두 개의 시간 참조 프레임을 갖는데, 프레임 V0T0 및 V0T2이 프레임 V0T1의 뷰 참조 프레임이다. 34 is a diagram for describing a method of obtaining MV _P or IC _P in the fifth prediction mode. Referring to FIG. 34, the current block belongs to frame V0T1, which has two temporal reference frames, in which frames V0T0 and V0T2 are view reference frames of frame V0T1.

이러한 제5 예측 모드의 경우에는 현재 블록의 주변 블록만을 이용하여 MV_P 또는 IC_P를 구할 수 있다. 즉, 도 34에서 현재 블록의 주변 블록인 블록 A, B, C, 및/또는 D의 움직임 벡터 또는 휘도 변경값을 이용하여, 현재 블록의 MV_P 또는 IC_P를 구한다.In the fifth prediction mode, MV _P or IC _P may be obtained using only neighboring blocks of the current block. That is, in FIG. 34, MV _P or IC _P of the current block is obtained using the motion vector or the luminance change value of blocks A, B, C, and / or D which are neighboring blocks of the current block.

(가) MV_P를 구하는 방법(A) How to find MV _P

제5 예측 모드인 경우에도 H.264/AVC에 규정된 것과 동일한 방법으로 움직임 벡터 예측값(MV_P)을 구할 수 있다. 예컨대, 상기 블록 A, B, C, 및 D의 움직임 벡터들의 전부 또는 일부의 중간값 연산 또는 평균값 연산을 통하여 MV_P를 구할 수 있다.Even in the fifth prediction mode, the motion vector prediction value MV _P can be obtained in the same manner as that specified in H.264 / AVC. For example, MV _P may be obtained through an intermediate value calculation or an average value calculation of all or some of the motion vectors of the blocks A, B, C, and D.

(나) IC_P를 구하는 방법(B) How to get IC _P

제5 예측 모드인 경우에, 현재 블록의 IC_P도 그 주변 블록들의 휘도 변경값이 존재하는 경우에는 이 블록들의 IC값을 이용하여 구한다. 이 경우, 상기 주변 블록 중에서 일부의 블록들의 휘도 변경값만을 이용하거나 또는 참조 영상의 POC가 같은 블록만을 이용하여 IC_P를 구할 수 있다. 그리고 상기 주변 블록 중에서 휘도 변경값이 존재하는 블록이 하나도 없는 경우에는 현재 블록의 IC_P를 0으로 설정할 수 있다.In the fifth prediction mode, the IC _P of the current block is also obtained by using the IC values of these blocks when there is a luminance change value of the neighboring blocks. In this case, IC _P may be obtained using only luminance change values of some blocks among the neighboring blocks or only blocks having the same POC of the reference picture. If none of the neighboring blocks has a luminance change value, the IC _P of the current block may be set to zero.

MVMV _PP 및/또는 IC And / or IC _PP 를 구하기 위한 장치 및 방법Apparatus and method for obtaining the

전술한 내용들을 조합하면, MVC에서 예측 모드를 판별한 다음, 판별된 예측 모드에 따라 움직임 벡터 예측값(MV_P) 및/또는 변이 예측값(예컨대, IC_P)을 구하는 본 발명은 여러 가지 형태의 실시예로 구현이 가능하다. 이하에서는 H.264/AVC 기반 MVC에 적용될 수 있는 이러한 본 발명의 일 실시예에 따라서 MV_P 및/또는 IC_P를 구하기 위한 장치 및 이를 이용하여 MV_P와 IC_P를 구하는 방법에 대하여 설명한다.Combining the above, the present invention determines the prediction mode in MVC and then obtains the motion vector prediction value MV _P and / or the disparity prediction value (eg, IC _P ) according to the determined prediction mode. An example is possible. Hereinafter, H.264 / AVC-based according to such embodiment of the present invention which can be applied to MVC MV _P and / or devices and use this for determining the IC _P will be described how to obtain the MV _P and _P IC.

도 35는 본 발명의 일 실시예에 따른 MV_P 및 IC_P를 구하기 위한 장치, 즉 움직임 벡터 및 휘도 변경값 예측 장치에 대한 구성을 보여주는 블록도이다. 도 35를 참조하면, 움직임 벡터 및 휘도 변경값 예측 장치(100)는 예측 모드 판별부(110), 움직임 벡터 예측부(120), 및 휘도 변경값 예측부(130)를 포함한다.FIG. 35 is a block diagram illustrating a configuration of an apparatus for obtaining MV _P and IC _P , that is, a motion vector and a luminance change value predicting apparatus, according to an embodiment of the present invention. Referring to FIG. 35, the motion vector and brightness change value predicting apparatus 100 may include a prediction mode determiner 110, a motion vector predictor 120, and a brightness change value predictor 130.

예측 모드 판별부(110)는 현재 블록에 대한 예측 모드를 판별하기 위한 수단이다. 이를 위하여, 입력 영상에 대한 각종 정보(예컨대, 현재 프레임의 POC, 현재 블록의 MV 및/또는 IC 등)와 현재 블록 이전에 부호화되어 다시 복호화된 현재 프레임의 블록에 대한 정보(즉, 현재 블록의 주변 블록들에 대한 정보), 그리고 참조 영상의 리스트 정보 등이 예측 모드 판별부(110)로 입력된다. 상기 참조 영상의 리스트 정보는 예컨대, 리스트0 참조 영상(LIST_0)과 리스트1 참조 영상(LIST_1)일 수 있다. 이러한 예측 모드 판별부(110)에서 예측 모드를 판별하는 구체적인 절차는 상기 '예측 모드의 판별 방법'에서 상세하게 설명하였으므로, 여기서 이에 대한 상세한 설명은 생략한다. The prediction mode determination unit 110 is a means for determining a prediction mode for the current block. To this end, various types of information on the input image (for example, POC of the current frame, MV and / or IC of the current block, etc.) and information on blocks of the current frame encoded and decoded before the current block (that is, of the current block) Information about neighboring blocks) and list information of a reference image are input to the prediction mode determiner 110. The list information of the reference picture may be, for example, a list0 reference picture LIST_0 and a list1 reference picture LIST_1. Since the detailed procedure of determining the prediction mode in the prediction mode determination unit 110 has been described in detail in the method of determining the prediction mode, a detailed description thereof will be omitted.

이러한 예측 모드 판별부(110)에서의 판별 결과, 즉 현재 블록의 예측 모드 정보는 움직임 벡터 예측부(120)와 휘도 변경값 예측부(130)로 입력된다. 움직임 벡터 예측부(120)는 현재 블록에 대한 MV_P를 구하기 위한 수단이며, 휘도 변경값 예측부(130)는 현재 블록에 대한 IC_P값을 구하기 위한 수단이다. 여기서 휘도 변경값 예측부(130)는 변이값 예측부의 일례로서, 색차 변경값 예측부, RGB값 예측부 등을 더 포함하거나 또는 이것에 의해 대체될 수도 있다. 그리고 예측 모드 판별부(110)에서 움직임 벡터 예측부(120)와 휘도 변경값 예측부(130)로 입력되는 예측 모드 정보는 현재 프레임이 예측 모드1 내지 예측 모드5 중의 어느 하나에 해당된다는 정보이며, 움직임 벡터 예측부(120)와 휘도 변경값 예측부(130)는 각각 입력된 예측 모드 정보에 기초하여 적응적으로 현재 블록에 대한 MV_P 또는 IC_P를 구한다. The result of the determination by the prediction mode determination unit 110, that is, the prediction mode information of the current block, is input to the motion vector predictor 120 and the brightness change value predictor 130. The motion vector predictor 120 is a means for obtaining an MV _P for the current block, and the brightness change value predictor 130 is a means for obtaining an IC _P value for the current block. In this case, the luminance change value predictor 130 may further include or be replaced by a color difference change value predictor, an RGB value predictor, and the like as an example of the shift value predictor. The prediction mode information input from the prediction mode determiner 110 to the motion vector predictor 120 and the brightness change value predictor 130 is information indicating that the current frame corresponds to any one of the prediction modes 1 to 5. The motion vector predictor 120 and the brightness change value predictor 130 adaptively obtain MV _P or IC _P for the current block based on the input prediction mode information.

먼저 움직임 벡터 예측부(120)에서 MV_P를 구하는 과정에 대하여 설명한다.First, a process of obtaining MV _P in the motion vector predictor 120 will be described.

만일 현재 프레임의 예측 모드가 제1 예측 모드 또는 제5 예측 모드에 해당된다는 정보가 입력되면, 움직임 벡터 예측부(120)는 현재 블록의 주변 블록들만을 이용하여 MV_P를 구한다.If information indicating that the prediction mode of the current frame corresponds to the first prediction mode or the fifth prediction mode is input, the motion vector predictor 120 obtains MV _P using only neighboring blocks of the current block.

그리고 현재 프레임이 제2 예측 모드, 제3 예측 모드, 또는 제4 예측 모드에 해당된다는 정보가 입력되면, 현재 블록의 MV가 뷰 방향을 참조하는지 여부를 판단한다. 판단 결과, 현재 블록의 MV가 뷰 방향을 참조하지 않는 경우에는, 전술한 제1 예측 모드 또는 제5 예측 모드와 마찬가지로 현재 블록의 주변 블록들만을 이용하여 MV_P를 구한다. 반대로 현재 블록의 MV가 뷰 방향을 참조하는 경우에는, 현재 블록의 주변 블록과 현재 프레임의 시간 참조 프레임 중에서 대응 블록 및 그 주변 블록들 중에서 그 MV가 현재 블록의 MV와 동일한 뷰 방향을 참조하는 블록들이 있는지 여부를 다시 판단한다. 상기 판단 결과, 현재 블록의 MV와 동일한 뷰 방향을 참조하는 블록이 하나 이상 존재하는 경우에는 상기 블록들의 전부 또는 일부를 이용하여 MV_P를 구하고, 현재 블록의 MV와 동일한 뷰 방향을 참조하는 블록이 하나도 존재하지 않는 경우에는 역시 현재 블록의 주변 블록들만을 이용하여 MV_P를 구한다. 전자의 경우에, 현재 블록의 MV와 동일한 뷰 방향을 참조하는 블록이 2개 이상인 경우에는, 상기 블록들의 중간값 또는 평균값 연산을 통하여 MV_P를 구할 수 있다.If information indicating that the current frame corresponds to the second prediction mode, the third prediction mode, or the fourth prediction mode is input, it is determined whether the MV of the current block refers to the view direction. As a result of the determination, when the MV of the current block does not refer to the view direction, MV _P is obtained using only the neighboring blocks of the current block as in the first prediction mode or the fifth prediction mode. On the contrary, when the MV of the current block refers to the view direction, a block in which the MV of the neighboring blocks of the current block and the temporal reference frame of the current frame refers to the same view direction as the MV of the current block. Determine if there are any As a result of the determination, when at least one block referring to the same view direction as the MV of the current block exists, MV _P is obtained using all or part of the blocks, and a block referring to the same view direction as the MV of the current block is determined. If none exists, MV _P is obtained using only neighboring blocks of the current block. In the former case, when two or more blocks refer to the same view direction as the MV of the current block, the MV _P may be obtained by calculating an intermediate value or an average value of the blocks.

다음으로 휘도 변경값 예측부(130)에서 IC_P를 구하기 위한 본 발명의 실시예에 대하여 설명한다.Next, an embodiment of the present invention for obtaining IC _P in the luminance change value predicting unit 130 will be described.

예측 모드에 대한 정보가 예측 모드 판별부(110)로부터 입력되면, 현재 블록이 변이(예컨대, 휘도 변이)에 대한 보상을 적용하는 지 여부를 판단한다(제1단계). 판단 결과, 변이에 대한 보상을 적용하지 않는 경우에는 IC_P를 구할 필요가 없으므로, 여기서 절차가 종료된다. 반대로, 현재 블록이 변이에 대한 보상을 수행하는 블록인 경우에는 계속해서 절차가 진행된다.When the information about the prediction mode is input from the prediction mode determination unit 110, it is determined whether the current block applies compensation for variation (eg, luminance variation) (step 1). As a result of the determination, if the compensation for the variation is not applied, the IC _P need not be obtained, so the procedure is terminated here. In contrast, if the current block is a block that compensates for the variation, the procedure continues.

계속해서, 현재 블록의 주변 블록들 중에서 변이에 대한 보상이 적용된 블록이 있는지 여부, 즉 현재 블록의 주변 블록들 중에서 휘도 변경값(IC_N)값이 존재하는 블록들이 존재하는지 여부를 판단한다(제2단계). 판단 결과, 상기 주변 블록들 중에서 IC값이 존재하는 블록이 하나도 없는 경우에, 현재 블록이 제1 예측 모드, 제2 예측 모드, 또는 제5 예측 모드에 해당되는 경우에는 IC_P값을 0으로 결정하고 절차를 종료한다. 반면, 현재 블록이 제3 예측 모드 또는 제4 예측 모드에 해당되는 경우에는 현재 블록의 MV가 뷰 방향을 참조하는지 여부를 판단한다(제3단계).Subsequently, it is determined whether there is a block to which the compensation for the variation is applied among the neighboring blocks of the current block, that is, whether or not there are blocks in which the luminance change value IC _N exists among the neighboring blocks of the current block. Step 2). As a result of determination, when none of the neighboring blocks have an IC value, the IC _P value is determined as 0 when the current block corresponds to the first prediction mode, the second prediction mode, or the fifth prediction mode. And terminate the procedure. In contrast, when the current block corresponds to the third prediction mode or the fourth prediction mode, it is determined whether the MV of the current block refers to the view direction (step 3).

상기 제3단계에서의 판단 결과, 현재 블록의 MV가 뷰 방향을 참조하지 않는 경우에는 IC_P를 0으로 결정하고 절차를 종료한다. 반대로, 현재 블록의 MV가 뷰 방향을 참조하는 경우에는 현재 프레임의 시간 참조 프레임 중에서 대응 블록 및 그 주변 블록들 중에서 그 MV가 현재 블록의 MV와 동일한 뷰 방향을 참조하고 또한 IC값이 존재하는 블록들이 있는지 여부를 다시 판단한다(제4단계). 상기 제4단계에서의 판단 결과, 해당되는 블록이 하나 이상 존재하는 경우에는 상기 블록들의 전부 또는 일부를 이용하여 IC_P를 구하고, 해당되는 블록이 하나도 존재하지 않는 경우에는 역시 IC_P를 0으로 결정하고 절차를 종료한다.As a result of the determination in the third step, if the MV of the current block does not refer to the view direction, the IC _P is determined to be 0 and the procedure ends. On the contrary, when the MV of the current block refers to the view direction, the block in which the MV refers to the same view direction as the MV of the current block among the corresponding blocks and neighboring blocks in the temporal reference frame of the current frame, and the IC value exists. It is judged again whether there is a presence (step 4). As a result of the determination in the fourth step, when one or more blocks are present, IC _P is obtained by using all or part of the blocks, and when there is no corresponding block, IC _P is also determined as 0. And terminate the procedure.

다음으로 상기 제2단계에서의 판단 결과, 현재 블록의 주변 블록들 중에서 IC값이 존재하는 블록이 하나 이상 존재하는 판단되는 경우에는, 다시 현재 블록의 주변 블록들 중에서 IC값이 존재하는 블록이 2개 이하인지 여부를 판단한다(제5단계). 제5단계에서의 판단 결과, 만일 현재 블록의 주변 블록들 중에서 IC값이 존재하는 블록이 2개인 이하인 경우에는 상기 주변 블록들의 우선순위에 따라서 IC값이 존재하는 블록의 IC값을 IC_P값으로 결정한다. 반면, 제5단계에서의 판단 결과, 현재 블록의 주변 블록들 중에서 IC값이 존재하는 블록이 3개 이상인 경우에는 예컨대, 상기 해당되는 주변 블록의 IC값들이 중간값 연산을 통하여 IC_P값을 구할 수 있다.Next, when it is determined in the second step that at least one block having an IC value exists among the neighboring blocks of the current block, the block having the IC value again exists among the neighboring blocks of the current block. It is determined whether or not the dog (step 5). As a result of the determination in the fifth step, if there are two or less blocks in which the IC value exists among the neighboring blocks of the current block, the IC value of the block in which the IC value exists according to the priority of the neighboring blocks is set as the IC _P value. Decide On the other hand, when the determination result in the fifth step, if there are three or more blocks with IC values among the neighboring blocks of the current block, for example, IC values of the corresponding neighboring block to obtain the IC _P value through the intermediate value calculation Can be.

다시점 영상의 부호화 장치Multiview Image Coding Device

다음으로 본 발명의 실시예에 따른 다시점 영상의 부호화 장치에 대하여 설명한다. 도 36에는 본 발명의 일 실시예에 따른 다시점 영상의 부호화 장치의 구성을 보여주는 블록도가 도시되어 있다.Next, a multiview image encoding apparatus according to an embodiment of the present invention will be described. 36 is a block diagram illustrating a configuration of an apparatus for encoding a multiview image according to an embodiment of the present invention.

도 36을 참조하면, 부호화 장치(200)는 움직임 추정부(210), 움직임 보상부(220), 변환 및 양자화부(230), 엔트로피 부호화부(235), 역양자화 및 역변화부(240), 및 움직임 벡터 및 휘도 변경값 예측부(250)와 제1, 제2, 제3, 및 제4 가산기(202, 204, 206, 및 208)를 포함하여 구성된다. 이하에서는 도 36을 참조하여, 상기 부호화 장치(200)의 구성 및 동작에 대하여 구체적으로 설명한다.Referring to FIG. 36, the encoding apparatus 200 may include a motion estimator 210, a motion compensator 220, a transform and quantizer 230, an entropy encoder 235, an inverse quantization and inverse transform unit 240. And a motion vector and luminance change value predictor 250 and first, second, third, and fourth adders 202, 204, 206, and 208. Hereinafter, the configuration and operation of the encoding apparatus 200 will be described in detail with reference to FIG. 36.

움직임 추정부(210)는, 인터 영상으로 부호화될 현재 영상(입력 영상)에 관한 데이터가 부호화 장치로 입력되면, 블록 단위로 움직임 추정 및/또는 휘도 변경 추정을 수행하여 현재 블록의 움직임 벡터(MV) 및/또는 휘도 변경값(IC)을 생성한다. 여기서 휘도 변경 추정은 변이 추정의 일례이다. 상기 움직임 추정과 휘도 변경 추정에서는 리스트0(list0)의 참조 영상 및/또는 리스트1(list1)의 참조 영상을 참조한다. 다시점 영상의 부호화에서는 각 블록의 참조 프레임이 시간 참조 프레임 및/또는 뷰 참조 프레임일 수 있으므로, 리스트0(list0)의 참조 영상은 현재 영상보다 앞선 시간에서의 프레임 및/또는 현재 영상이 속한 뷰 보다 앞쪽 뷰에서의 프레임이고, 리스트1(list1)의 참조 영상은 현재 영상보다 늦은 시간에서의 프레임 및/또는 현재 영상이 속한 뷰보다 뒤쪽 뷰에서의 프레임일 수 있다.When data regarding a current image (input image) to be encoded as an inter image is input to the encoding apparatus, the motion estimation unit 210 performs motion estimation and / or luminance change estimation on a block basis to perform motion vector (MV) of the current block. And / or a luminance change value (IC). The luminance change estimation here is an example of the variation estimation. In the motion estimation and the luminance change estimation, the reference picture of list0 and / or the reference picture of list1 is referred to. In the encoding of a multiview image, the reference frame of each block may be a temporal reference frame and / or a view reference frame, so that the reference image in list0 is a view to which the frame and / or the current image belong to at a time earlier than the current image. It is a frame in the front view, and the reference picture of list 1 may be a frame at a later time than the current picture and / or a frame in a view behind the view to which the current picture belongs.

움직임 보상부(220)는 움직임 추정부(210)에서 생성된 움직임 벡터(MV) 및/또는 휘도 변경값(IC)을 이용하여 움직임이 보상되고 및/또는 휘도 변경이 보상된 예측 영상을 생성한다. 그리고 제1 가산기(202)는 움직임 보상부(220)로부터 입력되는 예측 영상과 현재 영상을 차분하여 블록 단위로 차분 영상을 생성한다. 제1 가산기(202)로부터 출력되는 차분 영상은 변환 및 양자화부(230)에서 변환 및 양자화 과정을 거치면, 변환 및 양자화부(230)는 양자화 계수를 출력한다. 그리고 양자화 계수는 엔트로피 부호화부(235)에서 엔트로피 부호화되며, 엔트로피 부호화된 영상 정보는 다른 부가 정보와 함께 비트스트림으로 만들어져서 복호화 장치로 전송되거나 저장 매체에 기록된다. 그리고 변환 및 양자화부(230)로부터 출력되는 양자화 계수는 역양자화 및 역변화부(240)에서 역양자화 및 역변환 과정을 거쳐서 차분 영상으로 복원되며, 복원된 차분 영상은 제2 가산기(204)에서 움직임 보상부(220)로부터 출력되는 예측 영상과 합해져서 재구성된 현재 영상을 생성한다. 이러한 움직임 보상부(220)에서 제2 가산기(204)까지의 일련의 과정은 기존의 영상 부호화 장치에서의 과정과 동일하므로, 여기에서 이에 대한 자세한 설명은 생략한다.The motion compensator 220 generates a predicted image in which the motion is compensated and / or the luminance change is compensated using the motion vector MV and / or the brightness change value IC generated by the motion estimator 210. . The first adder 202 generates a differential image in units of blocks by dividing the predicted image input from the motion compensator 220 and the current image. The difference image output from the first adder 202 undergoes a transform and quantization process in the transform and quantizer 230, and the transform and quantizer 230 outputs a quantization coefficient. The quantization coefficients are entropy encoded by the entropy encoder 235, and the entropy-encoded image information is formed into a bitstream along with other additional information and transmitted to a decoding apparatus or recorded in a storage medium. The quantization coefficients output from the transform and quantization unit 230 are reconstructed into differential images through inverse quantization and inverse transformation in the inverse quantization and inverse transform unit 240, and the reconstructed differential images are moved in the second adder 204. The reconstructed current image is generated by adding the predicted image output from the compensator 220. Since a series of processes from the motion compensator 220 to the second adder 204 are the same as those of the conventional video encoding apparatus, a detailed description thereof will be omitted herein.

그리고 움직임 벡터 및 휘도 변경값 예측부(250)에서는 현재 블록에 대한 예측 모드를 판별한 다음 적응적으로 MV_P 및/또는 IC_P값을 구한다. 이를 위하여 움직임 벡터 및 휘도 변경값 예측부(250)는 예측 모드 판별부(252), 움직임 벡터 예측부(254), 및 휘도 변경값 예측부(256)를 포함한다. 이러한 움직임 벡터 및 휘도 변경값 예측부(250)의 구체적인 동작은 도 35를 참조하여 설명한 움직임 벡터 및 휘도 변경값 예측 장치(100)와 동일하므로, 여기서 이에 대한 상세한 설명은 생략한다.The motion vector and luminance change value predictor 250 determines a prediction mode for the current block and then adaptively obtains an MV _P and / or IC _P value. To this end, the motion vector and brightness change value predictor 250 includes a prediction mode determiner 252, a motion vector predictor 254, and a brightness change value predictor 256. Since the detailed operation of the motion vector and the brightness change value predicting unit 250 is the same as the motion vector and the brightness change value predicting apparatus 100 described with reference to FIG. 35, a detailed description thereof will be omitted.

움직임 벡터 및 휘도 변경값 예측부(250)로부터 출력되는 움직임 벡터 예측값(MV_P)과 변이 예측값(IC_P)은 각각 제3 가산기(206) 및 제4 가산기(208)로 입력된다. 그리고 상기 제3 가산기(206)와 상기 제4 가산기(208)에서는 움직임 추정부(210)로부터 출력되는 현재 블록에 대한 움직임 벡터와 휘도 변경값이 각각 입력되어 그 차분값인 움직임 벡터 차분값(MV_D) 및 휘도 변경 차분값(IC_D)이 출력된다. 여기서 휘도 변경 차분값(IC_D)은 변이 차분값의 일례로서, 색차 변이 차분값 및/또는 RGB값으로 표현되는 이미지 정보에 대한 차분값일 수 있다.The motion vector prediction value MV _P and the shift prediction value IC _P output from the motion vector and the brightness change value predictor 250 are input to the third adder 206 and the fourth adder 208, respectively. In the third adder 206 and the fourth adder 208, a motion vector and a luminance change value for the current block output from the motion estimation unit 210 are input, respectively, and the motion vector difference value MV, which is the difference value. _D ) and the brightness change differential value IC _D are output. The luminance change difference value IC _D may be an example of a shift difference value, and may be a difference value with respect to image information represented by a color shift value and / or an RGB value.

그리고 이와 같이 제3 가산기(206) 및 제4 가산기(208)로부터 출력되는 움직임 벡터 차분값(MV_D) 및 휘도 변경 차분값(IC_D)은 부호화되어 복호화 장치로 전송되거나 저장 매체 등에 저장된다.In this way, the motion vector difference value MV _D and the brightness change difference value IC _D output from the third adder 206 and the fourth adder 208 are encoded and transmitted to the decoding apparatus or stored in a storage medium or the like.

다시점 영상의 복호화 장치Multiview Image Decoding Device

도 37에는 본 발명의 일 실시예에 따른 다시점 영상의 복호화 장치의 구성을 보여주는 블록도가 도시되어 있다. 도 37의 복호화 장치는 앞에서 설명한 도 36의 부호화 장치에 대응하는 복호화 장치이다. 37 is a block diagram illustrating a configuration of an apparatus for decoding a multiview image according to an embodiment of the present invention. The decoding apparatus of FIG. 37 is a decoding apparatus corresponding to the encoding apparatus of FIG. 36 described above.

도 37을 참조하면, 다시점 영상의 복호화 장치는 움직임 보상부(320), 엔트로피 복호화부(335), 역양자화 및 역변화부(340), 및 움직임 벡터 및 휘도 변경값 예측부(350)와 제1 및 제2 가산기(304, 306)를 포함하여 구성된다. 이하에서는 도 37을 참조하여, 상기 복호화 장치의 구성 및 동작에 대하여 구체적으로 설명한다.Referring to FIG. 37, an apparatus for decoding a multiview image includes a motion compensator 320, an entropy decoder 335, an inverse quantization and inverse changer 340, and a motion vector and luminance change value predictor 350. And first and second adders 304 and 306. Hereinafter, the configuration and operation of the decoding apparatus will be described in detail with reference to FIG. 37.

엔트로피 복호화부(335)는 입력되는 비트스트림에 대한 엔트로피 복호화 처리를 수행하여 복원하고자 하는 현재 영상의 차분 영상에 대한 양자화 계수를 블록 단위로 생성한다. 그리고 역양자화 및 역변환부(340)는 상기 양자화 계수에 대한 역양자화 및 역변환 처리를 수행하여 상기 현재 영상의 차분 영상을 복원하여 출력하며, 복원된 차분 영상은 제1 가산기(304)로 입력된다.The entropy decoder 335 performs an entropy decoding process on the input bitstream to generate quantization coefficients for the differential image of the current image to be reconstructed in block units. The inverse quantization and inverse transform unit 340 restores and outputs the difference image of the current image by performing inverse quantization and inverse transformation on the quantization coefficients, and the restored difference image is input to the first adder 304.

한편, 예측 모드 판별부(352), 움직임 벡터 예측부(354), 및 휘도 변경값 예측부(356)를 포함하는 움직임 벡터 및 휘도 변경값 예측부(350)는 MV_P 및/또는 IC_P를 구하기 위한 수단으로서, 도 35를 참조하여 설명한 움직임 벡터 및 휘도 변경값 예측 장치(100)의 일례이다. 그리고 상기 움직임 벡터 및 휘도 변경값 예측부(350)는 도 36을 참조하여 설명한 이미지 정보 예측부(250)와 그 구성 및 기능이 동일하므로, 여기서는 이에 대한 상세한 설명은 생략한다. 이미지 정보 예측부(350)에서는 MV_P 및/또는 IC_P 출력되어 제2 가산기(306)으로 제공된다.Meanwhile, the motion vector and the brightness change value predictor 350 including the prediction mode determiner 352, the motion vector predictor 354, and the brightness change value predictor 356 may store MV _P and / or IC _P. As a means for obtaining, it is an example of the motion vector and the brightness change value prediction apparatus 100 described with reference to FIG. Since the motion vector and the brightness change value predictor 350 have the same structure and function as the image information predictor 250 described with reference to FIG. 36, a detailed description thereof will be omitted. The image information predictor 350 outputs the MV _P and / or IC _P and provides the output to the second adder 306.

제2 가산기(306)는 움직임 벡터 및 휘도 변경값 예측부(350)로부터 출력되는 MV_P 및/또는 IC_P와 수신된 MV_D 및/또는 IC_D을 이용하여 현재 블록에 대한 MV 및/또는 IC값을 구한다. 따라서 제2 가산기(306)는 MV를 구하기 위한 가산기와 IC를 구하기 위한 가산기가 별도로 분리되어 존재할 수도 있다. 그리고 이렇게 구해진 MV 및/또는 IC값은 움직임 보상부(320)로 출력된다. 그리고 움직임 보상부(320)는 리스트0의 참조 영상 및/또는 리스트1의 참조 영상의 정보와 제2 가산기(306)로부터 입력되는 움직임 벡터(MV) 및/또는 휘도 변경값(IC)을 이용하여 예측 영상을 생성한다. 그리고 제1 가산기(304)는 움직임 보상부(320)로부터 입력되는 예측 영상과 역양자화 및 역변환부(340)로부터 입력되는 차분 영상을 합산하여 현재 영상을 복원한다.The second adder 306 uses the MV _P and / or IC _P output from the motion vector and luminance change value predictor 350 and the received MV _D and / or IC _D for the MV and / or IC for the current block. Find the value. Therefore, the second adder 306 may exist separately from the adder for obtaining the MV and the adder for obtaining the IC. The MV and / or IC values thus obtained are output to the motion compensation unit 320. The motion compensator 320 may use information of the reference image of List 0 and / or the reference image of List 1 and the motion vector MV and / or the luminance change value IC input from the second adder 306. Generate a predictive image. The first adder 304 reconstructs the current image by adding the predicted image input from the motion compensator 320 and the differential image input from the inverse quantization and inverse transform unit 340.

이상에서 상세하게 설명한 본 발명에 따른 다시점 영상의 부호화/복호화 방법을 적용하기 위해서는, 기존의 부호화/복호화 방법에서는 필요가 없는 여러 가지 새로운 정보들을 부호화 장치에서 복호화 장치로 전송해주어야 한다. 그리고 이를 위해서는 상기 새로운 정보들에 대하여 MVC을 위한 신텍스(Syntax)로서 추가로 정의하여 줄 필요가 있다. 표 12는 이러한 필요성에 따라서 시퀀스 파라미터 셋(Sequence Parameter Set, SPS)에 추가로 정의될 수 있는 정보들을 포함하는 신텍스의 일례를 보여주는 것으로서, 각 신텍스에 대한 구체적인 정의는 다음과 같다.In order to apply the multi-view video encoding / decoding method according to the present invention described above in detail, various new information that is not necessary in the existing encoding / decoding method should be transmitted from the encoding device to the decoding device. To this end, it is necessary to further define the new information as a syntax for MVC. Table 12 shows an example of a syntax including information that may be additionally defined in a sequence parameter set (SPS) according to this need, and specific definitions of each syntax are as follows.

- max_number_of_view : 다시점 비디오 시퀀스의 뷰의 개수이다. 이 정보는 프레임의 뷰 위치(view_id)와 시간적 위치(temporal_id)를 계산하기 위하여 사용된다.max_number_of_view: Number of views of a multiview video sequence. This information is used to calculate the view position (view_id) and the temporal position (temporal_id) of the frame.

- gop_size_general : 하나의 뷰에서 마지막 GOP(Group Of Picture)를 제외한 GOP의 크기이다. 이 정보도 프레임의 뷰 위치(view_id)와 시간적 위치(temporal_id)를 계산하기 위하여 사용된다.gop_size_general: The size of a GOP excluding the last GOP (Group Of Picture) in one view. This information is also used to calculate the view position (view_id) and the temporal position (temporal_id) of the frame.

- gop_size_last : 다시점 비디오 시퀀스의 마지막 GOP의 크기이다. 마지막 GOP 내 프레임의 뷰 위치(view_id)와 시간적 위치(temporal_id)를 계산하기 위하여 사용된다.gop_size_last: The size of the last GOP of a multiview video sequence. Used to calculate the view position (view_id) and temporal position (temporal_id) of the frame in the last GOP.

- max_poc_number : 다시점 비디오 시퀀스에서 총 프레임 번호를 의미한다. 프레임이 마지막 GOP에 해당하는지를 계산하기 위하여 사용된다.max_poc_number: Total frame number in a multiview video sequence. Used to calculate if the frame corresponds to the last GOP.

- ic_prediction_enable_flag : 인코딩시에 휘도 변경 예측의 수행 여부를 결정한다. 예를 들어, 이 flag가 1일 경우에 휘도 변경 예측을 수행하는 것으로 약속할 수 있다.ic_prediction_enable_flag: Determine whether to perform luminance change prediction at the time of encoding. For example, when this flag is 1, it may be promised to perform luminance change prediction.

- interview_mv_predictor_enable_flag : 움직임 벡터 예측값을 결정하는데 있어서, 부호화하고자 하는 현재 블록의 주변 블록 및/또는 현재 프레임의 시간 참조 프레임에서 대응 블록 및 그 주변 블록들을 고려하는지 여부를 나타내기 위하여 사용한다. 예를 들어, 상기 플래그의 값이 '1'인 경우에 본 발명에 따라서 상기 대응 블록 및 그 주변 블록들도 고려하고, 상기 플래그의 값이 '0'인 경우에는 기존의 방법에 따라서 현재 블록의 주변 블록들만을 고려한다.interview_mv_predictor_enable_flag: In determining the motion vector prediction value, it is used to indicate whether the neighboring block of the current block to be encoded and / or the corresponding block and the neighboring blocks are considered in the temporal reference frame of the current frame. For example, when the value of the flag is '1', the corresponding block and its neighboring blocks are also considered according to the present invention, and when the value of the flag is '0', the current block is determined according to the existing method. Consider only the neighboring blocks.

실험예Experimental Example

다음으로 본 발명에 따른 다시점 영상의 부호화 장치 및 방법을 이용한 경우와 기존의 다시점 영상의 부호화 장치 및 방법을 이용한 경우의 부호화 효율에 대한 실험예를 비교하여 설명한다. 본 실험에서는 MVC의 테스트 시퀀스인 영상 'Ballroom', 영상 'Race1', 영상 'Flamenco2', 및 영상'Rena'를 사용하였다. 그리고 기존의 다시점 영상의 부호화 방법으로서는 ISO/IEC/JTC 1/SC29/WG11 MPEG과 ITU-T VCEG의 JVT(Joint Video Team)에서 MVC로 표준화가 진행 중인 JMVM(Joint Multi-View Video Model) 1.0 Reference S/W를 사용하였으며, 본 발명의 실시예에 따른 부호화 방법은 상기 JMVM 1.0을 토대로 구현된 S/W를 사용하였다.Next, an experimental example of the encoding efficiency of the case of using the apparatus and method for encoding a multiview image according to the present invention and the case of using the apparatus and method for encoding an existing multiview image will be described. In this experiment, MVC test sequence 'Ballroom', 'Race1', 'Flamenco2' and 'Rena' were used. In addition, JMVM (Joint Multi-View Video Model) 1.0, which is being standardized as MVC by JVT (Joint Video Team) of ISO / IEC / JTC 1 / SC29 / WG11 MPEG and ITU-T VCEG Reference S / W was used, and the encoding method according to the embodiment of the present invention used S / W implemented based on the JMVM 1.0.

도 38 내지 도 41은 각각 이러한 실험 결과를 비교해서 보여주는 그래프들로서, 도 38 내지 도 41은 각각 테스트 영상 시퀀스로서 영상 'Ballroom', 영상 'Race1', 영상 'Flamenco2', 및 영상'Rena'를 사용한 경우이다. 도 38 내지 도 41을 참조하면, 본 발명에 따른 부호화 방법에 의하면, 기존의 부호화 방법에 비하여 생성되는 비트스트림의 크기가 최대 8.5% 감소하고 최대 0.6dB의 화질 개선이 이루어진다는 것을 알 수 있다.38 to 41 are graphs showing the results of these experiments, respectively, and FIGS. 38 to 41 show the images 'Ballroom', 'Race1', 'Flamenco2' and 'Rena' as the test image sequences, respectively. If it is. 38 to 41, it can be seen that according to the encoding method according to the present invention, the size of the generated bitstream is reduced by up to 8.5% and the image quality is improved by up to 0.6 dB, compared to the existing encoding method.

본 발명에 따른 다시점 영상의 부호화 방법에서는 현재 블록에 대한 예측 모드를 먼저 판단한 다음, 판단된 예측 모드에 따라 적응적으로 상기 현재 블록에 대한 움직임 벡터 예측값 및/또는 변이 예측값을 구한다. 보다 구체적으로, 현재 블록의 예측 모드가 전술한 제1 예측 모드, 제2 예측 모드, 또는 제5 예측 모드에 해 당되는 경우에는, 현재 블록의 주변 블록들의 움직임 벡터 또는 변이값만을 가지고 예측값을 구한다. 반면, 현재 블록의 예측 모드가 전술한 제3 예측 모드 또는 제4 예측 모드에 해당되는 경우에는, 현재 블록의 주변 블록들과 함께 시간 참조 프레임의 대응 블록 및 그 주변 블록들의 움직임 벡터 또는 변이값을 가지고 예측값을 구한다. In the multi-view image encoding method according to the present invention, the prediction mode for the current block is first determined, and then a motion vector prediction value and / or a disparity prediction value for the current block are adaptively calculated according to the determined prediction mode. More specifically, when the prediction mode of the current block corresponds to the first prediction mode, the second prediction mode, or the fifth prediction mode, the prediction value is obtained using only motion vectors or variance values of neighboring blocks of the current block. . On the other hand, when the prediction mode of the current block corresponds to the third prediction mode or the fourth prediction mode described above, the motion vector or the variation value of the corresponding block and the neighboring blocks of the temporal reference frame together with the neighboring blocks of the current block are included. To get the predicted value.

이러한 본 발명에 의하면, MVC에서 보다 정확한 움직임 벡터 예측값(MV_P) 및 변이값(예컨대, IC_P)을 구할 수 있으며, 그 결과 움직임 벡터 차분값(MV_D) 및 변이 차분값(IC_D)의 정보량(엔트로피)를 감소시켜 예측 부호화 효율을 향상시킬 수가 있다. 즉, 본 발명에 의하면 MVC에서 여러 개의 카메라로부터 입력되는 영상간의 유사성을 효율적으로 활용함으로써, 예측 부호화 효율을 향상시키는 것이 가능하다.According to the present invention, a more accurate motion vector prediction value MV _P and a variation value (for example, IC _P ) can be obtained in MVC, and as a result, the motion vector difference value MV _D and the variation difference value IC _D can be obtained. The amount of information (entropy) can be reduced to improve the predictive coding efficiency. That is, according to the present invention, it is possible to improve the predictive coding efficiency by effectively utilizing the similarity between images input from multiple cameras in MVC.

Claims

참조 프레임의 방향과 그 방향에서의 상기 참조 프레임의 개수에 기초하여 현재 프레임의 예측 모드를 판별하는 단계; 및Determining a prediction mode of a current frame based on a direction of a reference frame and the number of the reference frames in the direction; And

판별된 상기 예측 모드에 따라서 적응적으로 현재 블록의 이미지 정보에 대한 예측값을 구하는 단계를 포함하는 다시점 비디오 코딩에서의 이미지 정보 예측값을 구하는 방법.And adaptively obtaining a prediction value for the image information of the current block according to the determined prediction mode.

제1항에 있어서, 상기 이미지 정보에 대한 예측값은 상기 현재 블록의 움직임 벡터 예측값(Motion Vector Predictor, MV_P) 또는 변이 예측값(Disparity Predictor, D_P)인 것을 특징으로 하는 다시점 비디오 코딩에서의 이미지 정보 예측값을 구하는 방법.The image of multi-view video coding according to claim 1, wherein the predicted value for the image information is a motion vector predictor (MV _P ) or a disparity predictor (D _P ) of the current block. How to get information predictions.

제1항에 있어서, 상기 참조 프레임의 방향은 상기 현재 프레임과 시간은 동일하지만 뷰가 다른 프레임을 참조하는 뷰 방향 및 상기 현재 프레임과 뷰는 동일하지만 시간이 다른 프레임을 참조하는 시간 방향을 포함하고, 상기 참조 프레임의 개수는 1개 또는 2개인 것을 특징으로 하는 다시점 비디오 코딩에서의 이미지 정보 예측값을 구하는 방법.The method of claim 1, wherein a direction of the reference frame includes a view direction that refers to a frame that is the same time as the current frame but the view is different, and a time direction that refers to a frame that is the same as the current frame but the time is different. And obtaining a predicted value of the image information in the multi-view video coding, wherein the number of reference frames is one or two.

제3항에 있어서, 상기 예측 모드는 The method of claim 3, wherein the prediction mode

하나의 뷰 참조 프레임을 갖는 제1 예측 모드;A first prediction mode having one view reference frame;

서로 다른 두 개의 뷰 참조 프레임을 갖는 제2 예측 모드;A second prediction mode having two different view reference frames;

서로 다른 두 개의 뷰 참조 프레임과 서로 다른 두 개의 시간 참조 프레임을 갖는 제3 예측 모드;A third prediction mode having two different view reference frames and two different temporal reference frames;

하나의 뷰 참조 프레임과 서로 다른 두 개의 시간 참조 프레임을 갖는 제4 예측 모드; 및A fourth prediction mode having one view reference frame and two different temporal reference frames; And

서로 다른 두 개의 시간 참조 프레임을 갖는 제5 예측 모드를 포함하는 것을 특징으로 하는 다시점 비디오 코딩에서의 이미지 정보 예측값을 구하는 방법.And a fifth prediction mode having two different temporal reference frames.

제4항에 있어서, 상기 현재 프레임이 제1 예측 모드, 제2 예측 모드, 또는 제5 예측 모드에 해당되는 것으로 판별되는 경우에, The method of claim 4, wherein when it is determined that the current frame corresponds to a first prediction mode, a second prediction mode, or a fifth prediction mode,

상기 예측값을 구하는 단계에서는 상기 현재 블록의 주변 블록의 이미지 정보값을 이용하는 것을 특징으로 하는 다시점 비디오 코딩에서의 이미지 정보 예측값을 구하는 방법.And obtaining the predicted value using the image information value of the neighboring block of the current block.

제4항에 있어서, 상기 현재 프레임이 제3 예측 모드 또는 제4 예측 모드에 해당되는 것으로 판별되는 경우에, The method of claim 4, wherein when it is determined that the current frame corresponds to a third prediction mode or a fourth prediction mode,

상기 예측값을 구하는 단계에서는 상기 현재 블록의 주변 블록의 이미지 정보값 및/또는 상기 두 개의 시간 방향 참조 프레임에서 상기 현재 블록과 대응하는 위치에 있는 대응 블록 및 상기 대응 블록의 주변 블록들의 이미지 정보값을 이용하는 것을 특징으로 하는 다시점 비디오 코딩에서의 이미지 정보 예측값을 구하는 방법.In the obtaining of the prediction value, image information values of neighboring blocks of the current block and / or image information values of corresponding blocks at positions corresponding to the current blocks in the two temporal reference frames and the neighboring blocks of the corresponding blocks are determined. A method for obtaining image information prediction values in multi-view video coding, characterized in that it is used.

제6항에 있어서, 상기 현재 블록의 참조 영상이 뷰 방향 참조 프레임을 포함할 경우에만 상기 예측값을 구하는 단계에서 상기 대응 블록과 그 주변 블록의 이미지 정보값을 이용하는 것을 특징으로 하는 다시점 비디오 코딩에서의 이미지 정보 예측값을 구하는 방법.The multi-view video coding of claim 6, wherein the image information values of the corresponding block and neighboring blocks are used to obtain the prediction value only when the reference picture of the current block includes a view direction reference frame. To obtain a predicted value of the image information.

제7항에 있어서, 상기 현재 프레임이 제3 예측 모드이고,The method of claim 7, wherein the current frame is a third prediction mode,

상기 예측값을 구하는 단계에서는, 상기 대응 블록과 그 주변 블록 중에서 그 참조 영상이, 상기 현재 블록의 참조 영상에 포함되는 뷰 방향 참조 프레임과 동일한 뷰 방향을 참조하는 블록을 이용하는 것을 특징으로 하는 다시점 비디오 코딩에서의 이미지 정보 예측값을 구하는 방법.In the calculating of the prediction value, the multiview video, wherein the reference picture among the corresponding block and the neighboring block uses a block that refers to the same view direction as the view direction reference frame included in the reference picture of the current block. A method of obtaining image information predictions in coding.

제1항에 있어서, 상기 예측 모드를 판별하는 단계에서는 상기 현재 프레임의 참조 프레임 리스트를 이용하는 것을 특징으로 하는 다시점 비디오 코딩에서의 이미지 정보 예측값을 구하는 방법.The method of claim 1, wherein the determining of the prediction mode comprises using a reference frame list of the current frame.

제9항에 있어서, 상기 참조 프레임 리스트에 기록되어 있는 일련번 호(Picture of Count, POC)로부터 상기 참조 프레임의 시간 인덱스와 뷰 인덱스를 구하여 상기 예측 모드를 판별하는 것을 특징으로 다시점 비디오 코딩에서의 이미지 정보 예측값을 구하는 방법.10. The method of claim 9, wherein the prediction mode is determined by obtaining a time index and a view index of the reference frame from a picture of count (POC) recorded in the reference frame list. To obtain a predicted value of the image information.

참조 프레임의 방향과 그 방향에서의 상기 참조 프레임의 개수에 기초하여 현재 프레임의 예측 모드를 판별하기 위한 예측 모드 판별부; 및A prediction mode determination unit for determining a prediction mode of a current frame based on a direction of a reference frame and the number of the reference frames in the direction; And

상기 예측 모드 판별부에서 판별된 상기 예측 모드에 따라서 적응적으로 현재 블록의 이미지 정보에 대한 예측값을 구하기 위한 예측값 생성부를 포함하는 다시점 비디오 코딩에서의 이미지 정보 예측값을 구하기 위한 장치.And a prediction value generator for adaptively obtaining a prediction value for the image information of the current block according to the prediction mode determined by the prediction mode determination unit.

제11항에 있어서, 상기 예측값 생성부는 The method of claim 11, wherein the prediction value generating unit

상기 현재 블록의 움직임 벡터 예측값(Motion Vector Predictor, MV_P)을 구하기 위한 움직임 벡터 예측부; 및 A motion vector predictor for obtaining a motion vector predictor (MV _P ) of the current block; And

상기 현재 블록의 변이 예측값(Disparity Predictor, D_P)을 구하기 위한 변이 예측부를 포함하는 것을 특징으로 하는 다시점 비디오 코딩에서의 이미지 정보 예측값을 구하기 위한 장치.And a disparity predictor for obtaining a disparity predictor (D _P ) of the current block.

제11항에 있어서, 상기 참조 프레임의 방향은 상기 현재 프레임과 시간은 동일하지만 뷰가 다른 프레임을 참조하는 뷰 방향 및 상기 현재 프레임과 뷰는 동일 하지만 시간이 다른 프레임을 참조하는 시간 방향을 포함하고, 상기 참조 프레임의 개수는 1개 또는 2개인 것을 특징으로 하는 다시점 비디오 코딩에서의 이미지 정보 예측값을 구하기 위한 장치.12. The method of claim 11, wherein the reference frame comprises a view direction in which the current frame is the same time as the current frame but the view is different, and a time direction in which the current frame and the view are the same but the time is different. And the number of reference frames is one or two.

제13항에 있어서, 상기 예측 모드는 The method of claim 13, wherein the prediction mode

서로 다른 두 개의 시간 참조 프레임을 갖는 제5 예측 모드를 포함하는 것을 특징으로 하는 다시점 비디오 코딩에서의 이미지 정보 예측값을 구하기 위한 장치.And a fifth prediction mode having two different temporal reference frames.

제14항에 있어서, 상기 예측 모드 판별부에서 상기 현재 프레임이 제1 예측 모드, 제2 예측 모드, 또는 제5 예측 모드에 해당되는 것으로 판별하는 경우에, 상기 예측값 생성부는 상기 현재 블록의 주변 블록의 이미지 정보값을 이용하여 상기 예측값을 구하고, The neighboring block of the current block according to claim 14, wherein when the prediction mode determiner determines that the current frame corresponds to a first prediction mode, a second prediction mode, or a fifth prediction mode, the prediction value generator is a neighboring block of the current block. Obtaining the prediction value using the image information value of,

상기 예측 모드 판별부에서 상기 현재 프레임이 제3 예측 모드 또는 제4 예측 모드에 해당하는 것으로 판별하는 경우에, 상기 예측값 생성부는 상기 현재 블 록의 주변 블록의 이미지 정보값 및/또는 상기 두 개의 시간 방향 참조 프레임에서 상기 현재 블록과 대응하는 위치에 있는 대응 블록 및 상기 대응 블록의 주변 블록들의 이미지 정보값을 이용하여 상기 예측값을 구하는 것을 특징으로 하는 다시점 비디오 코딩에서의 이미지 정보 예측값을 구하기 위한 장치.When the prediction mode determiner determines that the current frame corresponds to a third prediction mode or a fourth prediction mode, the prediction value generation unit generates image information values and / or the two times of neighboring blocks of the current block. An apparatus for obtaining image information prediction values in multi-view video coding, wherein the prediction value is obtained using image information values of a corresponding block at a position corresponding to the current block in a directional reference frame and neighboring blocks of the corresponding block. .

참조 프레임의 방향과 그 방향에서의 상기 참조 프레임의 개수에 기초하여 현재 프레임의 예측 모드를 판별하는 단계;Determining a prediction mode of a current frame based on a direction of a reference frame and the number of the reference frames in the direction;

판별된 상기 예측 모드에 따라서 적응적으로 현재 블록의 이미지 정보에 대한 예측값을 구하는 단계; 및Adaptively obtaining a prediction value for image information of a current block according to the determined prediction mode; And

상기 예측값과 상기 현재 블록의 이미지 정보를 차분하여 이미지 정보 차분값을 구하는 단계를 포함하는 다시점 영상의 부호화 방법.And obtaining an image information difference value by differentiating the prediction value and the image information of the current block.

제16항에 있어서, 상기 이미지 정보에 대한 예측값은 상기 현재 블록의 움직임 벡터 예측값(Motion Vector Predictor, MV_P) 또는 변이 예측값(Disparity Predictor, D_P)이고, 상기 이미지 정보 차분값은 움직임 벡터 차분값 또는 변이 차분값인 것을 특징으로 하는 다시점 영상의 부호화 방법.The method of claim 16, wherein the predicted value for the image information is a motion vector predictor (MV _P ) or a disparity predictor (D _P ) of the current block, and the image information difference value is a motion vector difference value. Or a variance difference value.

제16항에 있어서, 상기 참조 프레임의 방향은 상기 현재 프레임과 시간은 동일하지만 뷰가 다른 프레임을 참조하는 뷰 방향 및 상기 현재 프레임과 뷰는 동일 하지만 시간이 다른 프레임을 참조하는 시간 방향을 포함하고, 상기 참조 프레임의 개수는 1개 또는 2개인 것을 특징으로 하는 다시점 영상의 부호화 방법.17. The method of claim 16, wherein the reference frame comprises a view direction that refers to a frame that has the same time as the current frame but the view is different, and a time direction that refers to a frame that has the same view as the current frame but different time. And the number of the reference frames is one or two.

상기 예측값과 상기 현재 블록의 이미지 정보 차분값을 합산하여 상기 현재 블록의 이미지 정보를 구하는 단계를 포함하는 다시점 영상의 복호화 방법.And obtaining image information of the current block by adding the predicted value and the image information difference value of the current block.

제19항에 있어서, 상기 이미지 정보에 대한 예측값은 상기 현재 블록의 움직임 벡터 예측값(Motion Vector Predictor, MV_P) 또는 변이 예측값(Disparity Predictor, D_P)이고, 상기 이미지 정보 차분값은 움직임 벡터 차분값 또는 변이 차분값인 것을 특징으로 하는 다시점 영상의 복호화 방법.The method of claim 19, wherein the predicted value for the image information is a motion vector predictor (MV _P ) or a disparity predictor (D _P ) of the current block, and the image information difference value is a motion vector difference value. Or a variance difference value.

제19항에 있어서, 상기 참조 프레임의 방향은 상기 현재 프레임과 시간은 동일하지만 뷰가 다른 프레임을 참조하는 뷰 방향 및 상기 현재 프레임과 뷰는 동일하지만 시간이 다른 프레임을 참조하는 시간 방향을 포함하고, 상기 참조 프레임의 개수는 1개 또는 2개인 것을 특징으로 하는 다시점 영상의 복호화 방법.20. The method of claim 19, wherein a direction of the reference frame includes a view direction that refers to a frame that is the same time as the current frame but the view is different, and a time direction that refers to a frame that is the same as the current frame but the time is different. And the number of the reference frames is one or two.

다시점 비디오 코딩에서 현재 블록의 이미지 정보 예측값을 구하는 방법으로서, A method of obtaining image information prediction values of a current block in multiview video coding,

(a) 현재 프레임의 참조 프레임이 하나의 뷰 참조 프레임, 서로 다른 두 개의 뷰 참조 프레임, 또는 서로 다른 두 개의 시간 참조 프레임을 갖는 경우에는 상기 현재 블록의 주변 블록의 이미지 정보를 이용하여 상기 이미지 정보 예측값을 구하고,(a) when the reference frame of the current frame has one view reference frame, two different view reference frames, or two different temporal reference frames, the image information using image information of neighboring blocks of the current block; To get predictions,

(b) 현재 프레임의 참조 프레임이 서로 다른 두 개의 뷰 참조 프레임과 서로 다른 두 개의 시간 참조 프레임을 갖거나 또는 하나의 뷰 참조 프레임과 서로 다른 두 개의 시간 참조 프레임을 갖는 경우에는 상기 현재 블록의 주변 블록 및/또는 상기 시간 참조 프레임에서 상기 현재 블록의 위치에 대응하는 대응 블록과 그 주변 블록의 이미지 정보를 이용하여 상기 이미지 정보 예측값을 구하는 것을 특징으로 하는 이미지 정보 예측값을 구하는 방법.(b) if the reference frame of the current frame has two different view reference frames and two different temporal reference frames, or one view reference frame and two different temporal reference frames, the periphery of the current block And obtaining the image information prediction value using image information of a corresponding block corresponding to the position of the current block and its neighboring blocks in the block and / or the temporal reference frame.

제22항에 있어서, 상기 (b)에서 상기 현재 블록의 움직임 벡터가 참조하는 프레임이 뷰 참조 프레임일 경우에만 상기 대응 블록과 그 주변 블록의 이미지 정보를 이용하여 상기 이미지 정보 예측값을 구하는 것을 특징으로 하는 이미지 정보 예측값을 구하는 방법.23. The method of claim 22, wherein the image information prediction value is obtained by using image information of the corresponding block and neighboring blocks only when the frame referenced by the motion vector of the current block is a view reference frame in (b). To obtain predicted image information.

제23항에 있어서, 상기 이미지 정보 예측값은 움직임 벡터 예측값 또는 변이 예측값인 것을 특징으로 하는 이미지 정보 예측값을 구하는 방법.24. The method of claim 23, wherein the image information prediction value is a motion vector prediction value or a disparity prediction value.