KR20130105402A - Method of multi-view video coding and decoding based on local illumination and contrast compensation of reference frames without extra bitrate overhead - Google Patents
Method of multi-view video coding and decoding based on local illumination and contrast compensation of reference frames without extra bitrate overhead Download PDFInfo
- Publication number
- KR20130105402A KR20130105402A KR1020130025130A KR20130025130A KR20130105402A KR 20130105402 A KR20130105402 A KR 20130105402A KR 1020130025130 A KR1020130025130 A KR 1020130025130A KR 20130025130 A KR20130025130 A KR 20130025130A KR 20130105402 A KR20130105402 A KR 20130105402A
- Authority
- KR
- South Korea
- Prior art keywords
- value
- reference block
- pixel
- block
- illumination
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/57—Control of contrast or brightness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
이하의 실시예들은 멀티 뷰 비디오 시퀀스(multi-view video sequence)를 포함하는 프레임에 적용되는 조명 및 콘트라스트 보상(illumination and contrast compensation) 방법에 관한 것으로, 더 구체적으로, 멀티 뷰 비디오 코딩을 위한 조명 및 콘트라스트 보상 방법에 관한 것이다.The following embodiments relate to an illumination and contrast compensation method applied to a frame including a multi-view video sequence, and more specifically, to an illumination and multi-view video coding method. A contrast compensation method.
멀티 뷰 비디오 코딩 방법 중 하나는 예측 코딩(predictive coding)을 위하여 인접한 뷰(adjacent view)로부터의 프레임 또는 인접한 뷰(view)로부터 합성된 프레임을 참조 프레임(reference frame)으로 사용한다. 예측 코딩에서, 현재 코딩 되는 프레임(currently coding frame) 및 참조 프레임들 중 하나 사이의 오브젝트의 변위(displacement)가 보상된다. "변위(displacement)"는 현재 코딩된 뷰를 위하여 합성된 프레임 또는 인접한 뷰로부터의 프레임에 있는 오브젝트의 위치의 차이 또는 오브젝트의 모션(motion)을 말한다. 상기 차이는 이어지는 인코딩 단계에서 코딩 된다(예를 들어, 차이는 엔트로피 코더(entropy coder)에 의하여 코딩되고, 양자화되고(quantized), 변환(transformed)된다).One of the multi-view video coding methods uses a frame from an adjacent view or a frame synthesized from an adjacent view as a reference frame for predictive coding. In predictive coding, the displacement of an object between a currently coded frame and one of the reference frames is compensated. "Displacement" refers to the motion of an object or the difference in position of an object in a frame synthesized for a current coded view or a frame from an adjacent view. The difference is coded in subsequent encoding steps (e.g., the difference is coded, quantized and transformed by an entropy coder).
특정 카메라에 의하여 등록되는 광속(light flux)에서의 차이 및 멀티 뷰 비디오 시퀀스 캡쳐(multi-view video sequences capturing)에 사용되는 카메라의 파라미터에서의 차이가 있다. 이러한 차이들의 존재는 인접한 뷰로부터의 프레임들 간에 조명 및 콘트라스트 차이를 가져온다. 더욱이, 이러한 조명 및 콘트라스트 차이는 합성된 프레임(synthesized frames)의 특성에 영향을 미친다. 이는 멀티 뷰 비디오 시퀀스의 예측 코딩의 압축 효율(compression efficiency)을 심각하게 떨어뜨릴 수 있다.There is a difference in the light flux registered by a particular camera and in the parameters of the camera used for multi-view video sequences capturing. The presence of these differences results in lighting and contrast differences between frames from adjacent views. Moreover, this illumination and contrast difference affects the properties of the synthesized frames. This can seriously degrade the compression efficiency of the predictive coding of multi-view video sequences.
이러한 문제점을 해결하기 위하여, H.264 표준은 가중 예측 기술(weighted prediction technique)을 사용한다. 상기 가중 예측 기술은 원래 싱글 비디오 시퀀스 코딩에 있어서 페이드 업(fade-up), 페이드 다운(fade-down), 플릭커링(flickering), 또는 장면 변화 효과(scene change effects)를 보상하기 위하여 개발된 것이다. 이 가중 예측 기술은 코딩 프레임 및 참조 프레임 간의 조명 변화(illumination chages)를 억제한다. 가중 예측은 매크로 블록(macroblock) 레벨에서 모션 및 변위 보상(motion and displacement compensation)에 적용된다. 가중 팩터(weighting factors)는 특정 슬라이스(slice)의 모든 매크로 블록에 대해 동일하고, 따라서 이들은 글로벌(global)한 것으로 생각될 수 있다. 가중 팩터는 비트 스트림으로 결정되고 저장되거나("명시" 가중 예측(explicit weighted prediction)), 또는 디코딩 중에 계산될 수 있다("암묵" 가중 예측(implicit weighted prediction)). 그러나, 멀티 뷰 비디오 시퀀스의 경우, 이 기술이 효율적이지 못하게 하는 지역 조명 및 콘트라스트 변화(local illumination and contrast changes)가 있다.To solve this problem, the H.264 standard uses a weighted prediction technique. The weighted prediction technique was originally developed to compensate for fade-up, fade-down, flickering, or scene change effects in single video sequence coding. . This weighted prediction technique suppresses illumination chages between the coding frame and the reference frame. Weighted prediction is applied to motion and displacement compensation at the macroblock level. The weighting factors are the same for all macroblocks of a particular slice, so they can be thought of as global. The weight factor can be determined and stored as a bit stream ("explicit" weighted prediction) or calculated during decoding ("implicit" weighted prediction). However, for multi-view video sequences, there are local illumination and contrast changes that make this technique inefficient.
이 문제를 해결하기 위한 다른 접근은 적응형 블록 단위 조명 보상 기술(adaptive block-wise illumination compensation technique)이다. 이러한 기술 중 멀티 뷰 비디오 코딩에 적용된 한 변형이 MOSAIC(Multi view One-Step Affine Illumination Compensation)으로 불린다. 이 방법은 H.264 표준에 설명된 인터 예측 기술(inter prediction techniques) 및 블록 단위 조명 보상 기술을 결합한 것이다. 변형된 인터 예측 절차의 각 단계에서, 현재 코딩되는 블록 및 참조 블록에 대한 평균 값이 계산된다. 그 다음, 블록에 대해 민-제거된 버전(mean-removed versions for mentioned above blocks)이 구성된다. 그 다음, 민-제거된 블록(mean-removed blocks)에 대한 절대 차의 합(MRSAD: Mean-Removed Sum of Absolute Difference)이 계산된다. 인터 예측의 결과는 인코딩 비용(encoding cost)의 값을 최소로 하는 참조 블록의 상대 좌표(relative coordinates)(변위 벡터(displacement vector))이다. 인코딩 비용의 계산은, 추가의 디코딩을 위하여 전송되어야 하는 사이드 정보(side information)의 추정(estimation) 및 MRSAD 값에 기초한다. 변위 벡터(displacement vector) 이외에, 사이드 정보는 또한 현재 및 참조 블록의 평균 값(mean values) 간의 차이(DVIC(Difference Value of Illumination Compensation)라고 불림)를 포함한다. 소위 "P Skip" 코딩 모드(본 코딩 방법을 실현하기 위하여 사용되는 모드 중 하나이고 인코딩에서 사용되는 모드 중 하나이다)에서, DVIC 값은 어떤 추가적인 정보의 전송 없이 이미 인코드 된 인접 매크로 블록의 DVIC 값으로부터 얻을 수 있다. 그럼에도, 이 방법은 디코딩을 위하여 추가적인 사이드 정보(DVIC)의 전송을 피할 수 없다.Another approach to solving this problem is the adaptive block-wise illumination compensation technique. One variation of these techniques applied to multi-view video coding is called Multi view One-Step Affine Illumination Compensation (MOSAIC). This method combines inter prediction techniques and block-by-block illumination compensation techniques described in the H.264 standard. In each step of the modified inter prediction procedure, an average value for the block currently being coded and the reference block is calculated. Then, mean-removed versions for mentioned above blocks are constructed. Next, the sum of absolute differences (MRSAD) for mean-removed blocks is calculated. The result of the inter prediction is the relative coordinates (displacement vector) of the reference block that minimizes the value of the encoding cost. The calculation of the encoding cost is based on the MRSAD value and the estimation of side information that must be transmitted for further decoding. In addition to the displacement vector, the side information also includes the difference between the mean and mean values of the current and reference block (called DVIC (Difference Value of Illumination Compensation)). In the so-called "P Skip" coding mode (one of the modes used to realize this coding method and one of the modes used for encoding), the DVIC value is the DVIC value of an adjacent macroblock already encoded without any additional information. Can be obtained from Nevertheless, this method cannot avoid transmitting additional side information (DVIC) for decoding.
조명 및 콘트라스트 보상의 파라미터는 프레임의 복구된(restored)(이미 인코드되고 디코드 된) 영역(areas)으로부터 얻어질 수 있다. 이는 인코드 되고 비트 스트림으로 명시적으로 전송되는 사이드 정보(side information)의 양을 줄일 수 있다. 이러한 기술은 WPNP(Weighted Prediction using Neighboring Pixels)의 방법으로 실현되었다. 이 방법은 픽셀 단위 조명 변화(pixel-wise illumination changes)를 추정하기 위하여 참조 블록을 둘러싸는 픽셀 및 현재 블록을 둘러싸는 픽셀을 이용한다. 이 경우, 2개의 이웃 픽셀(neighbor pixels)의 조명 변화는 가중치가 주어지고, 현재 및 참조 블록의 픽셀을 위한 추정된 조명 변화에 가산된다. 가중치 계수(weighted coefficients)는 현재 블록의 각 픽셀에 대해 정의된다. 가중치 계수의 값은 현재 블록(current block)의 픽셀 및 이웃 픽셀 간의 거리에 따른다(depend on). 이 방법의 주요한 단점은 사이드 정보의 감축이 조명 변화 예측 품질의 잠재적 저하에 의하여 달성된다는 것이다. 품질 저하(quality reduction)의 이유는 이웃 픽셀에 대한 조명 변화가 현재 및 참조 블록의 픽셀에 대한 조명 변화와 다를 수 있기 때문이다.The parameters of illumination and contrast compensation can be obtained from the restored (already encoded and decoded) areas of the frame. This can reduce the amount of side information that is encoded and explicitly transmitted in the bit stream. This technique is realized by the method of Weighted Prediction using Neighboring Pixels (WPNP). This method uses pixels surrounding the reference block and pixels surrounding the current block to estimate pixel-wise illumination changes. In this case, the illumination change of two neighbor pixels is weighted and added to the estimated illumination change for the pixels of the current and reference block. Weighted coefficients are defined for each pixel of the current block. The value of the weighting coefficient depends on the distance between the pixels of the current block and the neighboring pixels. The main disadvantage of this method is that the reduction of side information is achieved by the potential degradation of the illumination change prediction quality. The reason for the quality reduction is that the illumination change for the neighboring pixels may be different than the illumination change for the pixels of the current and reference block.
프레임의 복구된(restored)(이미 코드/디코드된(already coded/decoded)) 영역을 분석함으로써 조명 및 콘트라스트 파라미터 추정을 실현한 다른 방법이 미국 특허출원 US 2011/0286678에 설명되어 있다. 멀티 뷰 비디오 시퀀스를 코딩하는 방법은 예측 코딩(predictive coding) 중에 조명 보상 단계를 포함한다. 조명 보상(compensation)(보정(correction)) 파라미터는 참조 영역(블록) 및 현재 코딩된 인접 영역으로부터 추정된다. 인접 영역은 디코딩 측에서 획득될 수 있기 때문에, 조명 보상 파라미터를 인코드 할 필요가 없다. 얻어진 파라미터는 참조 영역(블록)의 조명 보상에 적용된다. 조명 변화 추정(illumination change estimation)의 신뢰성은, 추정된 조명 보상 파라미터를 이용하여, 참조 영역의 인접 영역을 보정(correcting)하고, 이를 현재 코딩된 영역(블록)의 이미 코딩된/디코드된 이웃 영역과 비교함으로써 예측된다. 이 방법의 단점은 신뢰성(reliability)이 단지 인접 영역의 분석에 의해서만 결정된다는 것이다. 참조 영역에 포함된 정보가 조명 보상 신뢰성(illumination compensation reliability)의 분석에 사용되지 않는다. 따라서, 조명 보상 중 에러가 발생할 수 있다.Another method of realizing illumination and contrast parameter estimation by analyzing a restored (already coded / decoded) region of a frame is described in US patent application US 2011/0286678. The method of coding a multi-view video sequence includes an illumination compensation step during predictive coding. The illumination compensation (correction) parameter is estimated from the reference region (block) and the currently coded adjacent region. Since adjacent regions can be obtained at the decoding side, there is no need to encode the illumination compensation parameters. The obtained parameter is applied to the illumination compensation of the reference area (block). The reliability of illumination change estimation, using the estimated illumination compensation parameters, corrects adjacent regions of the reference region, which are already coded / decoded neighboring regions of the current coded region (block). Is predicted by comparison with The disadvantage of this method is that reliability is determined only by analysis of adjacent areas. The information contained in the reference area is not used for the analysis of illumination compensation reliability. Therefore, an error may occur during lighting compensation.
다른 예가 미국 특허출원 US 2008/0304760에 설명되어 있다. 여기서, 참조 블록의 조명 및 콘트라스트를 보상하는 방법은, 참조 블록에 이웃하는 픽셀의 복구된 값 및 현재 블록에 이웃하는 픽셀의 복구된 값의 입력을 수신하는 단계; 상기 참조 블록에 이웃하는 픽셀의 입력 복구된 값 및 상기 현재 블록에 이웃하는 픽셀의 입력 복구된 값에 기초하여 상기 참조 블록 및 현재 블록의 픽셀의 평균 값을 예측하는 단계; 상기 현재 블록의 픽셀의 예측된 평균 값(predicted mean value), 상기 참조 블록의 픽셀의 예측된 평균 값, 및 상기 참조 블록 및 상기 현재 블록의 픽셀의 값에 기초하여, 상기 참조 블록의 조명 보상을 위한 조명 보상 파라미터를 결정하는 단계; 및 상기 결정된 조명 보상 파라미터를 이용하여 상기 참조 블록의 조명 보상을 수행하는 단계를 포함한다.Another example is described in US patent application US 2008/0304760. Here, a method for compensating illumination and contrast of a reference block includes receiving an input of a recovered value of a pixel neighboring a reference block and a recovered value of a pixel neighboring a current block; Predicting an average value of pixels of the reference block and the current block based on an input recovered value of a pixel neighboring the reference block and an input recovered value of a pixel neighboring the current block; Based on a predicted mean value of pixels of the current block, a predicted mean value of pixels of the reference block, and values of pixels of the reference block and the current block, lighting compensation of the reference block is performed. Determining an illumination compensation parameter for the; And performing illumination compensation of the reference block by using the determined illumination compensation parameter.
이 프로토타입의 단점은 다음과 같다. 참조 블록 및 현재 블록에 이웃하는 픽셀의 복구된 값이 평균 값의 예측만을 위하여 사용된다. 이러한 제한 때문에 이웃하는 영역에 포함된 정보를 사용할 수 없다. 더욱이, 참조 블록에 이웃하는 픽셀의 값 및 참조 블록으로부터의 픽셀의 값 간의 관계의 분석이 수행되지 않는다. 이처럼, 이 프로토타입에서는 이웃하는 영역 및 현재 코딩된 블록 간의 조명 및 콘트라스트 파라미터에서의 가능한 차이가 고려되지 않는다. 이는 조명 변화 보상의 신뢰성을 떨어뜨리고, 예측 코딩의 압축 효율에 부정적인 영향을 미치게 된다.The disadvantages of this prototype are: The recovered values of the reference block and the pixels neighboring the current block are used only for prediction of the mean value. Because of this restriction, information contained in neighboring areas cannot be used. Moreover, no analysis of the relationship between the value of the pixel neighboring the reference block and the value of the pixel from the reference block is performed. As such, this prototype does not take into account possible differences in lighting and contrast parameters between neighboring regions and currently coded blocks. This degrades the reliability of the lighting change compensation and adversely affects the compression efficiency of the predictive coding.
상기 프로토타입에 따라 조명 보상에 기초하여 영상을 인코딩하는 방법은, 현재 블록의 예측 블록(predicted block)을 생성하는 데 사용할 참조 블록을 결정하는 단계; 상기 결정된 참조 블록의 조명 보상을 위한 조명 보상 파라미터를 결정하는 단계; 상기 결정된 조명 보상 파라미터를 이용하여 상기 결정된 참조 블록의 조명 보상을 수행하는 단계; 상기 조명 보상된(illumination-compensated) 참조 블록을 사용함으로써 상기 현재 블록의 예측 블록을 생성하고, 상기 현재 블록 및 상기 생성된 예측 블록 간의 차이 값을 인코딩함으로써 비트 스트림을 생성하는 단계; 및 상기 생성된 비트 스트림의 결정된 영역에 상기 결정된 조명 보상 파라미터에 관한 정보를 저장하는 단계를 포함한다. 이 방법의 단점은 비트 스트림을 생성할 때 조명 보상 파라미터를 저장할 필요가 있다는 점이다.According to the prototype, a method of encoding an image based on lighting compensation includes: determining a reference block to be used to generate a predicted block of a current block; Determining an illumination compensation parameter for illumination compensation of the determined reference block; Performing illumination compensation of the determined reference block using the determined illumination compensation parameter; Generating a prediction block of the current block by using the illumination-compensated reference block and generating a bit stream by encoding a difference value between the current block and the generated prediction block; And storing information about the determined illumination compensation parameter in the determined region of the generated bit stream. The disadvantage of this method is the need to store the illumination compensation parameters when generating the bit stream.
일 실시예에 따르면, 조명 및 콘트라스트 파라미터 추정 및 보상의 단계를 더 신뢰성 있게 처리할 수 있고 하이브리드 접근을 사용하여 멀티 뷰 코딩의 향상을 위한 방법 및 장치가 제공될 수 있다. 이러한 향상은 조명 및 콘트라스트 변화 파라미터의 추정을 위해 더 많은 정보를 사용함으로써 이루어질 수 있다. 더 구체적으로, 실시예들은 참조 블록에 이웃하는 픽셀의 복구된 값 및 참조 블록의 픽셀의 값 사이의 관계 및 현재 및 참조 블록에 각각 이웃하는 픽셀의 복구된 값들 사이의 관계를 이용할 수 있다.According to one embodiment, the steps of lighting and contrast parameter estimation and compensation can be more reliably processed and a method and apparatus for improving multi-view coding using a hybrid approach can be provided. This improvement can be achieved by using more information for the estimation of the illumination and contrast change parameters. More specifically, embodiments may use the relationship between the recovered value of a pixel neighboring a reference block and the value of a pixel of the reference block and the relationship between the recovered values of pixels neighboring a current and reference block, respectively.
일 실시예에 따르는 조명 및 콘트라스트 보상(illumination and contrast compensation)에 기초한 멀티 뷰 비디오 인코딩 및 디코딩을 위한 방법은, 조명 변화 추정이 디코딩 측 뿐 아니라 인코딩 측에서도 사용 가능한 영역으로부터의 픽셀의 값을 이용하고, 조명 보상 파라미터에 관한 별도의 정보를 정보를 전송하지 않고서도 조명 보상 파라미터가 정확하게 재구성될 수 있기 때문에, 압축 효율을 향상시킬 수 있다.A method for multi-view video encoding and decoding based on illumination and contrast compensation according to one embodiment uses a value of a pixel from an area where illumination change estimation is available on the encoding side as well as on the decoding side, Since the illumination compensation parameters can be accurately reconstructed without transmitting information on the separate information about the illumination compensation parameters, the compression efficiency can be improved.
일 실시예에 따르면, 멀티 뷰 코딩(multi-view coding) 프로세스의 예측 단계(predicting stage)에서 참조 블록(reference block) 및 인코드된 블록(encoded block) 간의 조명(illumination) 및 콘트라스트(contrast) 차이(discrepancy)의 로컬 보상 방법(method for local compensating)은,According to one embodiment, illumination and contrast differences between a reference block and an encoded block in a predicting stage of a multi-view coding process The method for local compensating of (discrepancy)
참조 프레임 내 참조 블록의 픽셀의 값 및 인코드된 프레임 내 현재 블록의 픽셀의 값을 수신하는 단계; Receiving a value of a pixel of a reference block in a reference frame and a value of a pixel of a current block in an encoded frame;
상기 참조 프레임의 상기 참조 블록에 이웃하는 픽셀의 값 및 현재 코드된 프레임(currently coded frame)의 현재 블록에 이웃하는 픽셀의 이미 디코드(decoded)되고 복구된(restored) 값을 수신하는 단계; Receiving a value of a pixel neighboring the reference block of the reference frame and an already decoded and restored value of a pixel neighboring a current block of a currently coded frame;
상기 참조 블록에 이웃하는 픽셀의 값 및 상기 현재 블록에 이웃하는 픽셀의 복구된 값 간의 관계 및 상기 참조 블록에 이웃하는 픽셀의 값 및 상기 참조 블록의 픽셀의 값 간의 관계를 결정하는 단계; Determining a relationship between a value of a pixel neighboring the reference block and a recovered value of a pixel neighboring the current block and a relationship between a value of a pixel neighboring the reference block and a value of a pixel of the reference block;
상기 참조 블록에 이웃하는 픽셀의 값, 상기 현재 블록에 이웃하는 픽셀의 복구된 값, 상기 참조 블록의 픽셀의 값, 및 상기 결정된 관계들에 기초하여, 참조 블록 및 인코드된 블록 간의 차이(불일치) 보상(discrepancy(mismatch) compensation)의 조명 및 콘트라스트 보상을 위한 조명 및 콘트라스트 보상 파라미터(illumination and contrast compensaton parameters)를 결정하는 단계; 및Based on the value of the pixel neighboring the reference block, the recovered value of the pixel neighboring the current block, the value of the pixel of the reference block, and the determined relationships, the difference between the reference block and the encoded block Determining illumination and contrast compensaton parameters for illumination and contrast compensation of discretion (mismatch) compensation; And
상기 결정된 조명 및 콘트라스트 보상 파라미터를 이용하여, 참조 블록 및 인코드된 블록 간의 차이(불일치)의 조명 및 콘트라스트 보상을 수행하는 단계를 포함할 수 있다. The method may include performing lighting and contrast compensation of a difference (mismatch) between the reference block and the encoded block by using the determined illumination and contrast compensation parameter.
일 실시예에 따르면, 상기 참조 프레임 및 상기 현재 코드된 프레임의 픽셀에 대한 관계를 결정하는 단계 및 상기 조명 및 콘트라스트 보상 파라미터를 결정하는 단계는, According to one embodiment, determining the relationship to the pixel of the reference frame and the current coded frame and determining the illumination and contrast compensation parameters,
상기 현재 블록에 이웃하는 상기 복구된 픽셀의 값의 통계적 특징, 상기 참조 블록의 픽셀의 값의 통계적 특징, 및 상기 참조 블록에 이웃하는 픽셀의 값의 통계적 특징을 계산하는 단계; Calculating statistical characteristics of the value of the recovered pixel neighboring the current block, statistical characteristics of the value of the pixel of the reference block, and statistical characteristics of the value of the pixel neighboring the reference block;
상기 참조 블록에 이웃하는 픽셀의 상기 복구된 값 및 상기 참조 블록의 픽셀의 값에 대한 통계적 특징 간의 관계를 결정하는 단계; 및 Determining a relationship between the recovered value of a pixel neighboring the reference block and a statistical feature on the value of the pixel of the reference block; And
상기 관계 및 계산된 통계적 특징에 기초하여 상기 참조 블록의 조명 및 콘트라스트 보상에 대한 조명 및 콘트라스트 보상 파라미터를 결정하는 단계를 포함할 수 있다.Determining an illumination and contrast compensation parameter for illumination and contrast compensation of the reference block based on the relationship and the calculated statistical feature.
일 실시예에 따르면, 상기 통계적 특징을 계산하는 단계, 상기 통계적 특징들에 대한 관계를 결정하는 단계, 및 조명 및 콘트라스트 보상 파라미터를 결정하는 단계는, According to one embodiment, calculating the statistical feature, determining a relationship to the statistical features, and determining an illumination and contrast compensation parameter,
상기 현재 블록의 왼쪽에 위치하고 상기 현재 블록에 이웃하는 복구된 픽셀에 대한 평균 값(mean value), 상기 현재 블록의 위에 위치하고 상기 현재 블록에 이웃하는 복구된 픽셀에 대한 평균 값, 상기 참조 블록의 픽셀에 대한 평균 값, 상기 참조 블록의 왼쪽에 위치하고 상기 참조 블록에 이웃하는 픽셀의 평균 값, 및 상기 참조 블록의 위에 위치하고 상기 참조 블록에 이웃하는 픽셀의 평균 값을 계산하는 단계; A mean value for a recovered pixel located to the left of the current block and neighboring the current block, a mean value for a recovered pixel located above the current block and neighboring the current block, a pixel of the reference block Calculating an average value for, an average value of pixels located to the left of the reference block and neighboring the reference block, and an average value of pixels located above the reference block and neighboring the reference block;
상기 현재 블록의 왼쪽에 위치하고 상기 현재 블록에 이웃하는 복구된(restored) 픽셀이 존재하고 상기 참조 블록의 왼쪽에 위치하고 상기 참조 블록에 이웃하는 픽셀이 존재하는 경우, 상기 참조 블록의 왼쪽에 위치하고 상기 참조 블록에 이웃하는 픽셀의 평균 값 및 상기 참조 블록의 픽셀의 평균 값 간의 비율 값(ratio value)을 계산하고, 상기 현재 블록의 왼쪽에 위치하고 상기 현재 블록에 이웃하는 복구된 픽셀의 평균 값 및 상기 비율 값의 곱을 계산하고, 상기 계산된 곱 및 상기 참조 블록의 픽셀에 대한 평균 값 간의 비율로써 상기 조명 및 콘트라스트 보상 파라미터를 결정하는 단계; If there is a restored pixel located to the left of the current block and neighboring the current block and there is a pixel located to the left of the reference block and neighboring to the reference block, located to the left of the reference block and the reference Compute a ratio value between an average value of pixels neighboring a block and an average value of pixels of the reference block, and calculate an average value of the recovered pixels located to the left of the current block and neighbor the current block and the ratio Calculating a product of the values and determining the illumination and contrast compensation parameter as a ratio between the calculated product and an average value for the pixels of the reference block;
상기 현재 블록의 위에 위치하고 상기 현재 블록에 이웃하는 복구된 픽셀이 존재하고 상기 참조 블록의 위에 위치하고 상기 참조 블록에 이웃하는 픽셀이 존재하는 경우, 상기 참조 블록의 픽셀의 평균 값 및 상기 참조 블록의 위에 위치하고 상기 참조 블록에 이웃하는 픽셀의 평균 값 간의 비율 값을 계산하고, 상기 현재 블록의 위에 위치하고 상기 현재 블록에 이웃하는 상기 복구된 픽셀의 평균 값 및 상기 비율 값의 곱을 계산하고, 상기 계산된 곱 및 상기 참조 블록의 픽셀에 대한 평균 값 간의 비율로써 상기 조명 및 콘트라스트 보상 파라미터를 결정하는 단계; 및If there is a recovered pixel located above the current block and neighboring the current block and there is a pixel located above the reference block and neighboring the reference block, the average value of the pixels of the reference block and above the reference block Calculate a ratio value between an average value of pixels located and neighboring the reference block, calculate a product of the average value and the ratio value of the recovered pixels located above the current block and neighboring the current block, and calculate the calculated product Determining the illumination and contrast compensation parameter as a ratio between an average value for pixels of the reference block; And
그렇지 않은 경우, MAP(median adaptive prediction)을 사용하여 상기 현재 블록의 평균 값에 대한 추정(estimation)을 계산하고, 상기 현재 블록의 픽셀의 상기 추정된 평균 값(estimated mean value) 및 상기 참조 블록의 픽셀에 대한 평균 값 간의 비율로써 상기 조명 및 콘트라스트 보상 파라미터를 결정하는 단계를 포함할 수 있다.Otherwise, calculate an estimate for the mean value of the current block using median adaptive prediction (MAP), and estimate the estimated mean value of pixels of the current block and the reference block. Determining the illumination and contrast compensation parameter as a ratio between the mean values for the pixels.
일 실시예에 따르면, 멀티 뷰 코딩 중 참조 블록의 조명 및 콘트라스트를 보상하는 방법은, According to one embodiment, a method for compensating lighting and contrast of a reference block during multi-view coding,
참조 프레임의 참조 블록의 픽셀의 값 및 현재 코딩된 프레임의 현재 블록의 픽셀의 값의 입력을 수신하는 단계; Receiving an input of a value of a pixel of a reference block of a reference frame and a value of a pixel of a current block of a current coded frame;
상기 참조 프레임의 상기 참조 블록에 이웃하는 픽셀의 값 및 현재 코드된 프레임의 상기 현재 블록에 이웃하는 픽셀의 복구된(restored)(인코드 되고 그 후 디코드 된(encoded and then decoded)) 값의 입력을 수신하는 단계; Input of a value of a pixel neighboring the reference block of the reference frame and a restored (encoded and then decoded) value of a pixel neighboring the current block of the current coded frame Receiving;
상기 참조 블록 내 각 픽셀 위치 (i, j)에 대해 제1 추정 값 을 계산하는 단계 - 상기 제1 추정 값 은 상기 현재 블록에 이웃하는 픽셀의 복구된 값 의 선형 결합(linear combination)의 함수이고, k = 0, ..., N-1이고, N은 상기 참조 블록 및 상기 현재 블록에 이웃하는 픽셀의 총수(amount)임 -; A first estimated value for each pixel position (i, j) in the reference block To calculate the first estimated value Is the recovered value of the pixel neighboring the current block Is a function of a linear combination of k, 0, ..., N-1, where N is the total number of pixels neighboring the reference block and the current block;
상기 참조 블록 내 각 픽셀 위치 (i, j)에 대해 제2 추정 값 을 계산하는 단계 - 상기 제2 추정 값 은 상기 참조 블록에 이웃하는 픽셀의 값 의 선형 결합(linear combination)의 함수이고, k = 0, ..., N-1임 -; A second estimated value for each pixel position (i, j) in the reference block To calculate the second estimated value Is the value of the pixel neighboring the reference block Is a function of the linear combination of k = 0, ..., N-1-;
상기 제1 추정 값 , 상기 제2 추정 값 , 상기 참조 블록의 픽셀의 값 , 상기 현재 블록에 이웃하는 픽셀의 복구된 값 및 상기 참조 블록에 이웃하는 픽셀의 값 에 기초하여 상기 참조 블록 내 각 픽셀 위치에 대한 조명 및 콘트라스트 보상을 위한 상기 조명 및 콘트라스트 보상 파라미터로 결정하는 단계; 및 The first estimated value , The second estimated value The pixel value of the reference block A recovered value of a pixel neighboring the current block And a value of a pixel neighboring the reference block Determining based on the illumination and contrast compensation parameters for illumination and contrast compensation for each pixel position in the reference block based on; And
상기 결정된 조명 및 콘트라스트 보상 파라미터를 이용하여, 상기 참조 블록 내 각 픽셀 위치에 대한 조명 및 콘트라스트 보상을 수행하는 단계를 포함할 수 있다.And performing illumination and contrast compensation for each pixel position in the reference block by using the determined illumination and contrast compensation parameter.
일 실시예에 따르면, 상기 참조 블록 내 각 픽셀 위치에 대해 상기 제1 추정 값 및 상기 제2 추정 값을 계산하는 단계, 및 상기 참조 블록 내 각 픽셀 위치에 대해 상기 조명 및 콘트라스트 보상 파라미터로 결정하는 단계는, According to an embodiment, the method may further include calculating the first estimate value and the second estimate value for each pixel position in the reference block, and determining the illumination and contrast compensation parameter for each pixel position in the reference block. The steps are,
상기 제1 추정 값 을 수학식 1로 계산하는 단계 - 는 미리 정해진 가중치 계수(weighted coefficients)이고, 은 현재 블록에 이웃하는 픽셀의 복구된 값이고, N은 상기 참조 블록 및 상기 현재 블록에 이웃하는 픽셀의 총수임 -; The first estimated value To Equation 1 Steps to calculate- Is predetermined weighted coefficients, Is a recovered value of a pixel neighboring a current block, and N is a total number of pixels neighboring the reference block and the current block;
상기 제2 추정 값 을 수학식 2로 계산하는 단계 - 는 미리 정해진 가중치 계수(weighted coefficients)이고, 은 참조 블록에 이웃하는 픽셀의 값이고, N은 상기 참조 블록 및 상기 현재 블록에 이웃하는 픽셀의 총수임 -; 및 The second estimated value To calculate to the equation (2)- Is predetermined weighted coefficients, Is a value of a pixel neighboring a reference block, and N is a total number of pixels neighboring the reference block and the current block; And
상기 참조 블록 내 각 픽셀 위치에 대한 조명 및 콘트라스트 보상을 위한 상기 조명 및 콘트라스트 보상 파라미터를 의 비율로 결정하는 단계를 포함할 수 있다.
The illumination and contrast compensation parameter for illumination and contrast compensation for each pixel position in the reference block To Determining the ratio of may include.
일 실시예에 따르면, 상기 참조 블록 내 각 픽셀 위치에 대해 상기 제1 추정 값 및 상기 제2 추정 값을 계산하는 단계는, 상기 제1 추정 값 및 상기 제2 추정 값 에 대한 가중치 계수 를 계산하는 단계를 포함할 수 있다. 상기 참조 블록 내 각 픽셀 위치 (i, j)에 대하여, 상기 가중치 계수 는 대응하는 절대차 의 감소/증가에 따라 가 역비례(inverse proportional) 증가/감소하는 절대차 의 비증가 함수(non-increasing function)일 수 있다. 여기서, 는 상기 참조 블록의 픽셀의 값이고, 은 상기 참조 블록에 이웃하는 픽셀의 값이고, N은 상기 참조 블록 및 상기 현재 블록에 이웃하는 픽셀의 총수(amount)일 수 있다.According to an embodiment, the calculating of the first estimated value and the second estimated value for each pixel position in the reference block may include: the first estimated value And the second estimated value Weighting factor for And a step of calculating For each pixel position (i, j) in the reference block, the weighting coefficient Corresponds to the absolute difference On decrease / increase in Absolute difference in inverse proportional increase / decrease It may be a non-increasing function of. here, Is the value of the pixel of the reference block, Is a value of a pixel neighboring the reference block, and N may be a total number of pixels neighboring the reference block and the current block.
일 실시예에 따르면, 상기 참조 블록 내 픽셀의 각 위치에 대한 상기 제1 추정 값 및 상기 제2 추정 값을 계산하는 단계는, 상기 제1 추정 값 및 상기 제2 추정 값 에 대한 가중치 계수 를 계산하는 단계를 포함할 수 있다. 상기 참조 블록 내 각 픽셀 위치 (i, j)에 대하여, 상기 가중치 계수 는, 인 경우, 대응하는 절대차 의 감소/증가에 따라 가 역비례(inverse proportional) 증가/감소하는 절대차 의 비증가 함수(non-increasing function)일 수 있고, 그 외의 경우, 는 0일 수 있다. 여기서, Thr은 미리 정해진 스레시홀드(threshold)이고, 는 상기 참조 블록의 픽셀의 값이고, 은 상기 참조 블록에 이웃하는 픽셀의 값일 수 있다.According to an embodiment, the calculating of the first estimated value and the second estimated value for each position of the pixel in the reference block may include: the first estimated value And the second estimated value Weighting factor for And a step of calculating For each pixel position (i, j) in the reference block, the weighting coefficient Quot; If, the corresponding absolute difference On decrease / increase in Absolute difference in inverse proportional increase / decrease May be a non-increasing function of, otherwise, May be zero. Where Thr is a predetermined threshold, Is the value of the pixel of the reference block, May be a value of a pixel neighboring the reference block.
일 실시예에 따르면, 상기 참조 블록 내 픽셀의 각 위치에 대한 상기 제1 추정 값 및 상기 제2 추정 값을 계산하는 단계는, 상기 제1 추정 값 및 상기 제2 추정 값 에 대한 가중치 계수 를 계산하는 단계를 포함할 수 있다. 상기 참조 블록 내 각 픽셀 위치 (i, j)에 대하여, 상기 가중치 계수 는,According to an embodiment, the calculating of the first estimated value and the second estimated value for each position of the pixel in the reference block may include: the first estimated value And the second estimated value Weighting factor for And a step of calculating For each pixel position (i, j) in the reference block, the weighting coefficient Quot;
및 And
인 경우, Quot;
대응하는 절대차 의 감소/증가에 따라 가 역비례(inverse proportional) 증가/감소하는 절대차 의 비증가 함수(non-increasing function)이고, The corresponding absolute difference On decrease / increase in Absolute difference in inverse proportional increase / decrease Is a non-increasing function of,
은 상기 현재 블록에 이웃하는 픽셀의 값이고, Thr1은 제1 미리 정해진 스레시홀드이고, Thr2는 제2 미리 정해진 스레시홀드이고, Is a value of a pixel neighboring the current block, Thr1 is a first predetermined threshold, Thr2 is a second predetermined threshold,
그 외의 경우, 는 0이고, Otherwise, Is 0,
는 상기 참조 블록의 픽셀의 값이고, 은 상기 참조 블록에 이웃하는 픽셀의 값이고, N은 상기 참조 블록 및 상기 현재 블록에 이웃하는 픽셀의 총수(amount)일 수 있다. Is the value of the pixel of the reference block, Is a value of a pixel neighboring the reference block, and N may be a total number of pixels neighboring the reference block and the current block.
일 실시예에 따르면, 상기 참조 블록 내 픽셀의 각 위치에 대한 상기 제1 추정 값 및 상기 제2 추정 값을 계산하는 단계는, 상기 제1 추정 값 및 상기 제2 추정 값 에 대해 가중치 계수 를 계산하는 단계를 포함할 수 있다.According to an embodiment, the calculating of the first estimated value and the second estimated value for each position of the pixel in the reference block may include: the first estimated value And the second estimated value Weighting factor for And a step of calculating
상기 참조 블록 내 각 픽셀 위치 (i, j)에 대하여,For each pixel position (i, j) in the reference block,
인 경우, Quot;
상기 가중치 계수 는The weighting factor The
이고,ego,
C는 0보다 큰 미리 정해진 상수이고,C is a predetermined constant greater than zero,
이고,ego,
그 외의 경우, 는 0이고, Otherwise, Is 0,
Thr은 미리 정해진 스레시홀드(threshold)이고, 는 상기 참조 블록의 픽셀의 값이고, 은 상기 참조 블록에 이웃하는 픽셀의 값일 수 있다.Thr is a predetermined threshold, Is the value of the pixel of the reference block, May be a value of a pixel neighboring the reference block.
일 실시예에 따르면, 상기 참조 블록 내 픽셀의 각 위치에 대한 상기 제1 추정 값 및 상기 제2 추정 값을 계산하는 단계는, 상기 제1 추정 값 및 상기 제2 추정 값 에 대한 미리 정해진 가중치 계수 를 계산하는 단계를 포함할 수 있다.According to an embodiment, the calculating of the first estimated value and the second estimated value for each position of the pixel in the reference block may include: the first estimated value And the second estimated value Predetermined weighting factor for And a step of calculating
상기 참조 블록 내 각 픽셀 위치 (i, j)에 대하여,For each pixel position (i, j) in the reference block,
및 And
인 경우, Quot;
상기 가중치 계수 는The weighting factor The
이고,ego,
그 외의 경우, 는 0이고, Otherwise, Is 0,
C는 0보다 큰 미리 정해진 상수이고,C is a predetermined constant greater than zero,
이고,ego,
는 상기 참조 블록의 픽셀의 값이고, Is the value of the pixel of the reference block,
은 상기 참조 블록에 이웃하는 픽셀의 값이고, Is a value of a pixel neighboring the reference block,
은 상기 현재 블록에 이웃하는 픽셀의 값이고, Is a value of a pixel neighboring the current block,
Thr1은 제1 미리 정해진 스레시홀드이고,Thr1 is the first predetermined threshold,
Thr2는 제2 미리 정해진 스레시홀드일 수 있다.Thr2 may be a second predetermined threshold.
일 실시예에 따르면, 상기 참조 블록에 이웃하는 픽셀의 위치 값 및 상기 현재 블록에 이웃하는 픽셀의 복구된 값의 위치(position)를 결정하는 단계를 포함할 수 있다. 이러한 위치는, 대응 픽셀이 참조 프레임의 참조 블록에 미리 세트된(preset) 이웃을 갖는 대신에, 적응적으로 결정될 수 있다.According to an embodiment, the method may include determining a position value of a pixel neighboring the reference block and a position of a recovered value of the pixel neighboring the current block. This position may be adaptively determined instead of the corresponding pixel having a preset neighbor in the reference block of the reference frame.
일 실시예에 따르면, 조명 및 콘트라스트 보상에 기초하여 멀티 뷰 비디오 인코딩 방법은,According to one embodiment, a multi-view video encoding method based on lighting and contrast compensation,
현재 블록에 대한 예측 블록(predicted block)을 생성하기 위하여 사용되는 참조 블록을 결정하는 단계;Determining a reference block used to generate a predicted block for the current block;
상기 참조 블록을 결정하는 동안 또는 상기 참조 블록을 결정한 후 상기 참조 블록 간 차이(discrepancy)(불일치(mismatch))의 조명 및 콘트라스트 보상을 위한 조명 및 콘트라스트 보상 파라미터를 결정하는 단계;Determining an illumination and contrast compensation parameter for illumination and contrast compensation of the discrepancy (mismatch) between the reference blocks during or after determining the reference block;
상기 결정된 조명 및 콘트라스트 파라미터를 이용하여 상기 결정된 참조 블록의 조명 및 콘트라스트 보상을 수행하는 단계;Performing illumination and contrast compensation of the determined reference block using the determined illumination and contrast parameters;
상기 조명 및 콘트라스트 보상된 참조 블록을 이용하여 상기 현재 블록에 대한 상기 예측 블록을 생성하는 단계; 및Generating the prediction block for the current block using the illumination and contrast compensated reference block; And
상기 결정된 조명 및 콘트라스트 보상 파라미터의 인코딩 없이 상기 생성된 예측 블록을 이용하여 상기 현재 블록을 인코딩 하는 단계 - 디코딩시 필요한 경우에는 상기 참조 블록의 위치에 대한 정보도 인코딩 함 - 를 포함할 수 있다.Encoding the current block by using the generated prediction block without encoding the determined illumination and contrast compensation parameter, and encoding information on the position of the reference block when necessary for decoding.
일 실시예에 따르면, 상기 조명 및 콘트라스트 보상 파라미터를 결정하는 단계는,According to one embodiment, the step of determining the illumination and contrast compensation parameters,
상기 참조 블록에 이웃하는 픽셀의 값 및 상기 현재 블록에 이웃하는 픽셀의 재구성된(reconstructured)(즉, 인코딩되고 디코딩된(encoded and decoded)) 값을 수신하는 단계;Receiving a value of a pixel neighboring the reference block and a reconstructed (ie, encoded and decoded) value of a pixel neighboring the current block;
상기 참조 블록의 픽셀의 값 및 상기 참조 블록에 이웃하는 픽셀의 값 간의 관계(relations) 및 상기 참조 블록에 이웃하는 픽셀의 값 및 상기 현재 블록에 이웃하는 픽셀의 복구된(restored) 값 간의 관계(relations)를 결정하는 단계; 및A relationship between a value of a pixel of the reference block and a value of a pixel neighboring the reference block and a relationship between a value of a pixel neighboring the reference block and a restored value of a pixel neighboring the current block ( determining relations; And
상기 결정된 관계, 상기 참조 블록의 픽셀의 값, 상기 현재 블록에 이웃하는 픽셀의 복구된 값, 및 상기 참조 블록에 이웃하는 픽셀의 값에 기초하여 상기 참조 블록의 조명 및 콘트라스트 보상을 위한 조명 및 콘트라스트 보상 파라미터를 결정하는 단계를 포함할 수 있다.Illumination and contrast for illumination and contrast compensation of the reference block based on the determined relationship, a value of a pixel of the reference block, a recovered value of a pixel neighboring the current block, and a value of a pixel neighboring the reference block Determining a compensation parameter.
일 실시예에 따르면, 조명 및 콘트라스트 보상에 기초한 멀티 뷰 비디오 디코딩 방법은,According to one embodiment, a multi-view video decoding method based on lighting and contrast compensation,
참조 블록을 결정하는 단계 - 현재 블록의 상기 참조 블록 결정에 필요한 경우 기 참조 블록에 관한 정보를 디코딩 함 -;Determining a reference block, decoding information about an existing reference block as necessary for determining the reference block of the current block;
상기 결정된 참조 블록의 조명 및 콘트라스트 보상을 위한 조명 및 콘트라스트 보상 파라미터를 결정하는 단계;Determining an illumination and contrast compensation parameter for illumination and contrast compensation of the determined reference block;
상기 결정된 조명 및 콘트라스트 보상 파라미터를 이용하여 상기 결정된 참조 블록의 조명 및 콘트라스트 보상을 수행하는 단계;Performing illumination and contrast compensation of the determined reference block using the determined illumination and contrast compensation parameter;
상기 조명 및 콘트라스트 보상된 참조 블록을 이용하여 상기 현재 블록에 대한 예측 블록을 생성하는 단계;Generating a prediction block for the current block using the illumination and contrast compensated reference block;
상기 결정된 조명 및 콘트라스트 보상 파라미터 및 상기 생성된 예측 블록을 이용하여 상기 현재 블록을 디코딩 하는 단계를 포함할 수 있다.And decoding the current block by using the determined illumination and contrast compensation parameter and the generated prediction block.
일 실시예에 따르면, 상기 조명 및 콘트라스트 보상 파라미터를 결정하는 단계는,According to one embodiment, the step of determining the illumination and contrast compensation parameters,
상기 참조 블록에 이웃하는 픽셀의 값 및 상기 현재 블록에 이웃하는 픽셀의 재구성된(reconstructured)(이미 디코딩된(already decoded)) 값을 수신하는 단계;Receiving a value of a pixel neighboring the reference block and a reconstructed (already decoded) value of a pixel neighboring the current block;
상기 참조 블록의 픽셀의 값 및 상기 참조 블록에 이웃하는 픽셀의 값 간의 관계(relations) 및 상기 참조 블록에 이웃하는 픽셀의 값 및 상기 현재 블록에 이웃하는 픽셀의 복구된(restored) 값 간의 관계(relations)를 결정하는 단계; 및A relationship between a value of a pixel of the reference block and a value of a pixel neighboring the reference block and a relationship between a value of a pixel neighboring the reference block and a restored value of a pixel neighboring the current block ( determining relations; And
상기 결정된 관계, 상기 참조 블록의 픽셀의 값, 상기 현재 블록에 이웃하는 픽셀의 복구된 값, 및 상기 참조 블록에 이웃하는 픽셀의 값에 기초하여 상기 참조 블록의 조명 및 콘트라스트 보상을 위한 조명 및 콘트라스트 보상 파라미터를 결정하는 단계를 포함할 수 있다.Illumination and contrast for illumination and contrast compensation of the reference block based on the determined relationship, a value of a pixel of the reference block, a recovered value of a pixel neighboring the current block, and a value of a pixel neighboring the reference block Determining a compensation parameter.
도 1은 일실시예에 따른 하이브리드 멀티 뷰 코딩 환경(hybrid multi-view coding environment)의 하이 레벨 구조(high-level structure) 및 멀티 뷰 코딩 환경에서의 구성을 도시한 도면이다.
도 2는 예측 코딩에 포함되는 실시예를 구현한 하이브리드 비디오 인코더(hybrid video encoder)의 부분 개념도이다.
도 3은 일 실시예에 따른 참조 블록의 조명 및 콘트라스트의 보상 방법을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 참조 블록의 조명 및 콘트라스트의 보상 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따라, 조명 및 콘트라스트 보상 파라미터의 계산 중 현재 프레임에서 입력 블록 선택의 과정을 설명하기 위한 도면이다.
도 6은 일 실시예에 따라, 참조 블록의 조명 및 콘트라스트 보상 방법을 설명하기 위한 도면이다.
도 7은 일 실시예에 따라 픽셀 단위(pixel-wise) 참조 블록의 조명 및 콘트라스트 보상 방법을 설명하기 위한 흐름도이다.
도 8은 일 실시예에 따라 참조 블록의 조명 및 콘트라스트 보상 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 조명 및 콘트라스트 보상에 기초한 멀티 뷰 비디오 인코딩 방법을 설명하기 위한 흐름도이다.
도 10은 일 실시예에 따른 조명 및 콘트라스트 보상에 기초한 멀티 뷰 비디오 디코딩 방법을 설명하기 위한 흐름도이다.1 illustrates a configuration of a high-level structure and a multi-view coding environment of a hybrid multi-view coding environment according to an embodiment.
2 is a partial conceptual diagram of a hybrid video encoder implementing an embodiment included in predictive coding.
3 is a diagram for describing a method of compensating for lighting and contrast of a reference block, according to an exemplary embodiment.
4 is a flowchart illustrating a method of compensating lighting and contrast of a reference block according to an embodiment.
5 is a diagram for describing a process of selecting an input block in a current frame during calculation of an illumination and contrast compensation parameter, according to an exemplary embodiment.
6 is a diagram for describing a lighting and contrast compensation method of a reference block, according to an embodiment.
7 is a flowchart illustrating a method of compensating illumination and contrast of a pixel-wise reference block according to an embodiment.
8 is a diagram for describing a lighting and contrast compensation method of a reference block, according to an exemplary embodiment.
9 is a flowchart illustrating a multi-view video encoding method based on lighting and contrast compensation, according to an exemplary embodiment.
10 is a flowchart for describing a multi-view video decoding method based on lighting and contrast compensation, according to an exemplary embodiment.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.
도 1은 하이브리드 멀티 뷰 코딩 장치(hybrid multi-view coding device)의 구조를 도시한다. 하이브리드 멀티 뷰 비디오 인코더(hybrid multi-view video encoder)(105)의 입력 데이터는, 인코드된 멀티 뷰 비디오 데이터인 이미 코드된/디코드된(already coded/decoded) 뷰(views)(102) 및 원본 뷰(original view)(101)를 포함한다. 이미 코드된/디코드된 뷰(102) 및 이미 코드된/디코드된 깊이 시퀀스(already coded/decoded depth sequences)(103)는 뷰 합성(view synthesis)(104)에 의하여 원본 뷰를 위한 합성된 뷰(synthesized view)의 생성에 사용된다. 생성된 합성된 뷰 비디오 시퀀스(generated synthesized view video sequence)는 또한 하이브리드 멀티 뷰 비디오 인코더(105)를 위한 입력 데이터가 된다.1 shows a structure of a hybrid multi-view coding device. The input data of the hybrid
하이브리드 멀티 뷰 비디오 인코더(105)는 원본 뷰의 인코딩에 사용될 수 있는 아래의 도구들을 포함한다: 참조 화상 관리(reference picture management)(106), 인터 프레임 예측(inter-frame prediction)(107), 인트라 프레임 예측(intra-frame prediction)(108), 인터 및 인트라 프레임 보상(inter and intra-frame compensation)(109), 공간 변환(spatial transform)(110), 율 왜곡 최적화(rate-distortion optimization)(111), 및 엔트로피 코딩(entropy coding)(112). 이상의 도구들에 대한 더 상세한 정보는 Richardson I.E.의 "The H.264 Advanced Video Compression Standard. Second Edition. 2010"에 기재되어 있다. 실시예들은 인터 프레임 예측(107)의 내부에 구현될 수 있다.The hybrid multi
도 2는 예측 코딩(predictive coding)에 포함되는 실시예들에 구현하는 하이브리드 비디오 인코더의 부분 개념도를 도시한다. 하이브리드 인코더는 감산 유닛(subtraction unit)(201), 변환 및 양자화 유닛(transform and quantization unit)(202), 엔트로피 인코딩 유닛(entropy encoding unit)(203), 역 변환 및 역 양자화 유닛(inverse transform and inverse quantization unit)(204), 변위 및 조명/콘트라스트 변화 보상 유닛(displacement and illumination/contrast change compensation unit)(205), 뷰 합성 유닛(view synthesis unit)(206), 가산 유닛(addition unit)(207), 참조 화상 및 깊이 버퍼 유닛(reference pictures and depths buffer unit)(208), 보상 파라미터 예측 유닛(prediction of compensation parameters unit(209), 변위 및 조명/콘트라스트 변화 추정 유닛(displacement and illumination/contrast change estimation unit)(210), 및 매크로블록 모드 결정 유닛(macroblock mode decision unit)(211)를 포함한다. 유닛(201-204, 207-209, 및 211)은 Richardson I.E.의 "The H.264 Advanced Video Compression Standard. Second Edition. 2010의 기본적인 하이브리드 코딩 방법에 사용된 표준 인코딩 유닛이다. 뷰 합성 유닛(view synthesis unit)(206)은 멀티 뷰 코딩에 대해 특유한 유닛(specific unit)이다. 뷰 합성 유닛(206)는 이미 인코딩된/디코딩된 프레임 및 깊이 데이터로부터 추가의 참조 프레임을 합성(synthesize)한다.2 shows a partial conceptual diagram of a hybrid video encoder implementing in embodiments included in predictive coding. The hybrid encoder includes a
상기 방법은 유닛(205 및 210)의 내부에 구현될 수 있다. 이러한 유닛은 아래의 단계들을 포함하는 블록 별 예측 코딩 기술(block-wise predictive coding technique)을 실현한다.The method may be implemented inside of
현재 코딩된 프레임(currently coded frame)의 현재 블록(current block)에 대해, 수학식 3을 최소화하는 참조 블록에 대한 검색(search)이 수행된다.
For a current block of a currently coded frame, a search for a reference block that minimizes Equation 3 is performed.
여기서, I(m,n)은 M x N 크기를 가지는 현재 블록의 위치 (m, n)에서의 픽셀의 조명 값(luminance value)을 나타낸다. (i, j)는 미리 정해진 검색 영역(search area) 내에서 참조 블록 R을 가리키는 변위 벡터(displacement vector)를 명시한다. 는 참조 블록 및 현재 블록 간의 조명 및 콘트라스트 변화를 어느 정도 보상하는 함수를 의미한다. 이 기술은 유닛(210)에서 실현된다. 얻어진 DV와 함께 조명 및 콘트라스트 보상의 결정된 파라미터는 유닛(205) 및 유닛(209)에 전송된다.Here, I (m, n) represents the illumination value of the pixel at the position (m, n) of the current block having M × N size. (i, j) specifies a displacement vector that points to the reference block R within a predetermined search area. Denotes a function that compensates to some extent the illumination and contrast change between the reference block and the current block. This technique is realized in
선택된 참조 블록은 결정된 조명 및 콘트라스트 보상 파라미터에 따라 수정된다(유닛(205)). 그 다음, 유닛(201)에 의하여 잔여 블록(residual block)이 생성된다. 그 다음, 잔여 블록(residual block)은 DCT(Discrete Cosine Transform)에 의하여 변환(transform)되고, 양자화 되고(quantized)(유닛(202)), 엔트로피 인코더(entropy encoder)에 의하여 인코드 된다(유닛(203)). 디코딩에 필요한 사이드 정보(SI: side information)도 또한 엔트로피 인코더에 의하여 인코드 된다(유닛(203)).The selected reference block is modified according to the determined illumination and contrast compensation parameters (unit 205). Then, a residual block is generated by the
도 3은 일 실시예에 따른 참조 블록의 조명 및 콘트라스트 보상 방법을 설명하기 위한 도면이다. 도 3에 따르면, 참조 블록에 대한 검색이 진행되는 동안, 변위 벡터(DV: displacement vector)(320)는 반복적으로 현재 인코드 되는 프레임(currently encoded frame)(310)의 현재 블록(311)에 지정(assign)된다. 변위 벡터(DV)는 참조 프레임(reference frame)(300)의 참조 블록(301)을 가리킨다. 조명 및 콘트라스트 보상 함수 는 다음과 같이 정의된다.
3 is a diagram for describing a lighting and contrast compensation method of a reference block, according to an exemplary embodiment. According to FIG. 3, while a search for a reference block is in progress, a displacement vector (DV) 320 is assigned to the
조명 및 콘트라스트 보상 파라미터(illumination and contrast compensation paramer) α는 수학식 5로 표현된다.
The illumination and contrast compensation parameter α is expressed by Equation 5.
refMX는 왼쪽-꼭대기(left-top) 코너(corner) (i, j)의 좌표를 가진 참조 블록(301)의 평균 값(mean value)이다. S는 참조 프레임(300)을 의미한다. estMX로 표시된 값은 참조 블록(311)에 대한 평균 값의 추정(estimation)(근사(approximation))이다.refMX is the mean value of the
도 4는 일 실시예에 따라 참조 블록의 조명 및 콘트라스트를 보상하기 위한 방법을 설명하는 흐름도이다. 본 방법은 아래의 단계들을 포함한다.4 is a flowchart illustrating a method for compensating for lighting and contrast of a reference block according to one embodiment. The method includes the following steps.
1. 블록(301, 302, 303, 311, 312, 313, 314)의 픽셀 값의 입력을 수신하는 단계(도 4, 401)1. Receiving input of pixel values of
2. 아래의 평균 값을 계산하는 단계 (도 4, 402):2. Step of calculating the average value below (FIGS. 4, 402):
- 블록(312)의 평균 값 encMX_L을 계산하는 단계;
Calculating an average value encMX_L of
여기서, DI(p,q)는 블록(312)의 위치 (p, q)에서의 픽셀의 복구된(restored)(이미 디코드된(already decoded)) 조명 값(luminance value)을 나타낸다. 블록(312)의 크기는 P x Q이다.Where DI (p, q) represents the restored (already decoded) illumination value of the pixel at position (p, q) of
- 블록(313)의 평균 값(mean value) encMX_A를 계산하는 단계;
Calculating a mean value encMX_A of
여기서, DI(u, v)는 블록(313)의 위치 (u, v)에서의 픽셀의 복구된(restored)(인코드 되고 그 다음 디코드된(encoded and then decoded)) 조명 값(luminance value)를 나타낸다. 블록(313)의 크기는 U x V이다.Where DI (u, v) is the restored (encoded and then decoded) illumination value of the pixel at position (u, v) of
- 참조 블록(301)의 평균 값 refMX를 계산하는 단계;Calculating an average value refMX of the
- 블록(302)의 평균 값 refMX_L을 계산하는 단계;
Calculating an average value refMX_L of
블록(302)의 크기는 블록(312)의 크기와 같다.The size of
- 블록(303)의 평균 값 refMX_A를 계산하는 단계;
Calculating an average value refMX_A of
블록(303)의 크기는 블록(313)의 크기와 같다.The size of
3. 조건 1을 체크하는 단계(도 4, 403): 만약 블록(302) 및 블록(312)이 사용 가능하면(즉, 블록(302 및 312)이 프레임 경계(frame boundaries) 안쪽에 위치하고, 그리고 참조 블록이 합성된 프레임(synthesized frame)이면 블록(302)에 속하는 모든 픽셀이 사용 가능하다(가려지지 않음(not occluded)), 수학식 10에 따른 estMX 값의 추정(estimation)(도 4, 405)으로 진행한다.
3. Checking condition 1 (FIGS. 4, 403): If
그렇지 않으면, 조건 2의 체크 단계로 진행한다(도 4, 404).Otherwise, proceed to the check step of condition 2 (FIGS. 4, 404).
4. 조건 2를 체크하는 단계(도 4, 404): 만약 블록(303) 및 블록(313)이 사용 가능하면(즉, 블록(303 및 313)이 프레임 경계(frame boundaries) 안쪽에 위치하고, 그리고 참조 블록이 합성된 프레임(synthesized frame)이면 블록(303)에 속하는 모든 픽셀이 사용 가능하다(가려지지 않음(not occluded)), 수학식 11에 따른 estMX 값의 추정(estimation)(도 4, 407)으로 진행한다.
4. Checking condition 2 (FIG. 4, 404): If
그렇지 않으면, 수학식 12에 따른 estMX 값의 추정(estimation)(도 4, 406)으로 진행한다.
Otherwise, proceed to the estimation of the estMX value according to equation (12) (FIGS. 4, 406).
여기서, MAP(x, y, z)는 Martucci S.A.의 "Reversible compression of HDTV images using median adaptive prediction and arithmetic coding"(IEEE Int. Symp. on Circuits and Systems, 1990)에 설명된 MAP(Median Adaptive Predictor)이고, encMX_LA는 블록(314)의 평균 값(mean value)이다.
Here, MAP (x, y, z) is a Median Adaptive Predictor (MAP) described in Martucci SA's "Reversible compression of HDTV images using median adaptive prediction and arithmetic coding" (IEEE Int. Symp. On Circuits and Systems, 1990). EncMX_LA is the mean value of
블록(314)의 크기는 U x Q이고, 블록(312 및 313)의 대응하는 크기와 같다.The size of
5. estMX 및 refMX의 얻어진 값을 사용함으로써, 조명 및 콘트라스트 보상 파라미터 α를 계산하는 단계(도 4, 408);5. calculating the illumination and contrast compensation parameter α by using the obtained values of estMX and refMX (FIGS. 4, 408);
6. 계산된 파라미터 α를 사용함으로써, 참조 블록(301)의 조명 및 콘트라스트 보상을 수행하는 단계(도 4, 409);6. performing illumination and contrast compensation of the
블록(301, 302, 303) 및 복구된(restored)(이미 코딩된/디코드된(already coded/decoded)) 블록(312, 313, 314)을 가진 참조 프레임(300)이 인코딩 및 디코딩 동안 사용 가능하다. 도 5는 현재 프레임(current frame)(500) 내 영역들(areas) 간의 기하학적 관계(geometric relationship)을 도시한다. 현재 코딩된 블록(currently coded block)의 인코딩 및 디코딩 동안 현재 프레임(500)의 영역(501)이 사용 가능하다. 영역(501)은 블록(312, 313, 314)을 포함한다. 영역(501)은 "템플릿 영역(template area)"으로 불린다. 영역(503)은 현재 블록(502)의 디코딩 동안 존재하지 않고(not present), 블록(312, 313, 314)을 포함하지 않는다. 따라서, 상기에서 설명된 실시예들은 인코더 및 디코더 모두에 동시에 적용될 수 있으며, 추가적인 정보가 인코드 된 비트 스트림에 위치할 필요가 없다.Reference frames 300 with
일 실시예에 따르면, 예측 코딩(predictive coding) 동안 참조 블록의 픽셀 별 조명 및 콘트라스트 보상(pixel-wise illumination and contrast compensation)을 포함할 수 있다. 현재 블록에 이웃하는 픽셀의 복구된 값, 참조 프레임의 픽셀의 값, 및 이들의 유사성에 기초하여 조명 및 콘트라스트 파리미터 보상의 픽셀 별 추정(pixel-wise estimation)이 수행된다. 도 6은 일 실시예를 도시한다.According to an embodiment, the pixel may include pixel-wise illumination and contrast compensation of the reference block during predictive coding. Pixel-wise estimation of illumination and contrast parameter compensation is performed based on the recovered values of pixels neighboring the current block, the values of the pixels of the reference frame, and their similarities. 6 illustrates one embodiment.
도 6에 따르면, 참조 블록의 검색이 진행 중인 동안, 현재 인코드된 프레임(currently encoded frame)(610)에 속하는 현재 블록(611)에 대해 변위 벡터(DV)(620)가 부여(assign)될 수 있다. 변위 벡터(DV)는 참조 프레임(600)의 참조 블록(601)을 가리킨다. 현재 블록(611)은 A00~A33으로 표시된 픽셀의 값을 포함한다. 참조 블록(601)은 R00~R33으로 표시된 픽셀을 포함한다. 현재 블록에 이웃하는 픽셀(블록(612 및 613))의 복구된(restored) 값은 으로 표시된다. 현재 코드된 프레임(currently coded frame)의 복구된 픽셀에 대응하는 참조 블록에 이웃하는 픽셀(블록(602 및 603))의 값은 으로 표시된다. 블록(612, 613) 및 블록(602, 603) 내 픽셀의 총수(total amount)는 같다.According to FIG. 6, while the search of the reference block is in progress, a displacement vector (DV) 620 may be assigned to the
참조 블록(601) 내 각 픽셀 위치 (i, j)에 대하여, 조명 및 콘트라스트 보상이 수학식 14에 따라 수행된다.
For each pixel position (i, j) in
여기서 픽셀 별 조명 및 콘트라스트 보상 파라미터는 수학식 15로 나타내진다.
Here, the pixel-by-pixel illumination and contrast compensation parameter is represented by Equation 15.
여기서, 는 참조 블록 내 픽셀 위치 (i, j)에 대한 제1 추정 값(first estimation value)이다. 는 참조 블록 내 픽셀 위치 (i, j)에 대한 제2 추정 값(second estimation value)이다.here, Is a first estimation value for pixel position (i, j) in the reference block. Is a second estimation value for pixel position (i, j) in the reference block.
참조 블록의 픽셀 별 조명 및 콘트라스트 보상이 도 7에 도시되어 있다. 본 실시예는 다음의 단계들을 포함한다.Pixel-by-pixel illumination and contrast compensation of the reference block is shown in FIG. 7. This embodiment includes the following steps.
1. 현재 코딩된 프레임(currently coded frame)(610)의 템플릿 영역(template area)으로부터 블록(612, 613), 블록(611) 및 참조 프레임(600)으로부터의 블록(601, 602, 603)의 픽셀의 값의 입력을 수신하는 단계(동작(701));1. From
2. 참조 블록(601) 내 각 픽셀 위치 (i, j)에 대하여 가중치 계수(weighted coefficients) 를 계산하는 단계(동작(702)).2. Weighted coefficients for each pixel position (i, j) in
가중치 는 수학식 16으로 표현될 수 있다.
weight May be represented by Equation 16.
σ는 0보다 크고, 평탄 정도(smoothness degree)를 정의하고, 실험적으로 결정된다. 여기서, N은 블록(612, 613)(또는 블록(602, 603)) 내 픽셀의 총수(total amount)이다. 기본적으로, 가중치 계수는, 값 가 에 더 비슷할수록 조명 및 콘트라스트 파라미터에 더 많은 기여를 준다는 사실을 반영한다.[sigma] is greater than zero, defines a smoothness degree, and is determined experimentally. Where N is the total amount of pixels in
3. 수학식 17에 따라 참조 블록(601) 내 각 픽셀 위치 (i, j)에 대하여 의 값을 계산하는 단계(동작(703)).
3. For each pixel position (i, j) in the
Thr1 및 Thr2는 미리 정해진 스레시홀드 값(threshold values)이다. 스레시홀드 값은, 참조 블록 또는 현재 블록에 이웃하는 대응 픽셀(corresponding pixels)의 값과 다르고 참조 블록의 값 와 다른 참조 블록에 이웃하는 픽셀의 값을 제외(excluding)하는 데 사용된다.Thr1 and Thr2 are predetermined threshold values. The threshold value is different from the value of the corresponding pixel neighboring the reference block or the current block and is the value of the reference block. It is used to exclude values of pixels neighboring to other reference blocks.
4. 수학식 18에 따라 참조 블록(601) 내 각 픽셀 위치 (i, j)에 대하여 의 값을 계산하는 단계(동작(704)).
4. For each pixel position (i, j) in the
미리 정해진 스레시홀드 값 Thr1 및 Thr2는 의 계산에 있어서 같다.The predetermined threshold values Thr1 and Thr2 Is the same in the calculation of.
5. 및 의 얻어진 값을 사용하여 참조 블록(601) 내 각 픽셀 위치 (i, j)에 대하여 조명 및 콘트라스트 보상 파라미터(illumination and contrast compensation parameter) 을 계산하는 단계(동작(705)).5. And Illumination and contrast compensation parameter for each pixel position (i, j) in
6. 계산된 파라미터 를 사용하여, 참조 블록(601)의 조명 및 콘트라스트 보상을 수행하는 단계(동작(706)).6. Calculated Parameters To perform illumination and contrast compensation of reference block 601 (operation 706).
일 다른 실시예에 따르면, 보통 참조 블록에 이웃하는 픽셀의 값은 참조 블록에 바로 인접한 픽셀의 그룹으로 정의된다. 실제에 있어서, 변위 벡터 추정 절차(displacement vector estimation procedure)는, 참조 블록에 이웃하는 픽셀의 값이 현재 블록에 이웃하는 픽셀의 복구된 값과 비슷하지 않도록, 모션/변위 벡터(motion/displacement vector)를 선택할 수 있다. 한 예가 콘트라스트 영역(contrast areas)에 의하여 경계가 지어지는 꽤 균일(uniform)하거나 주기적(periodic)인 영역이다. 이 경우, 참조 블록에 이웃하는 픽셀은 콘트라스트 영역에 나타나는 반면, 현재 블록에 이웃하는 복구된 픽셀은 평탄한 영역(smooth area)에 위치한다. 더 복잡한 경우는, 인코드된 참조 블록에 인접하는 픽셀의 그룹으로 정의되는 인코드된 프레임 내 대응 영역에 대하여 참조 프레임 내 영역의 변위(displacement) 또는 강도(intensity)의 큰 변화를 가진 영역이다. 이 경우, 참조 프레임 및 현재 코드된 프레임의 대응 픽셀의 값이 많이 다르기 때문에, 조명 및 콘트라스트 보상은 부정확하게 동작할 수 있다.According to another embodiment, the value of a pixel, usually adjacent to a reference block, is defined as a group of pixels immediately adjacent to the reference block. In practice, the displacement vector estimation procedure uses a motion / displacement vector such that the value of the pixel neighboring the reference block is not similar to the recovered value of the pixel neighboring the current block. Can be selected. One example is a fairly uniform or periodic area bounded by contrast areas. In this case, pixels neighboring the reference block appear in the contrast area, while recovered pixels neighboring the current block are located in the smooth area. A more complex case is an area with a large change in displacement or intensity of the area in the reference frame relative to the corresponding area in the encoded frame defined by the group of pixels adjacent to the encoded reference block. In this case, since the values of the corresponding pixels of the reference frame and the currently coded frame are very different, the illumination and contrast compensation may operate incorrectly.
이 문제를 해결하기 위하여, 참조 블록에 이웃하는 픽셀의 그룹의 (참조 블록에 대한) "부동(float)" 위치의 사용이 제안된다. 도 8은 일 실시예에 따른 방법을 도시한다. 도 8을 참조하면, 참조 블록의 검색(searching) 동안, 변위 벡터(DV)(820)가 현재 코딩된 프레임(currently coded frame)(810)의 현재 블록(811)에 대해 할당(assign)된다. 변위 벡터(DV)는 참조 프레임(800)의 참조 블록(801)을 가리킨다. 부동(floating)은, 참조 프레임의 픽셀의 위치를 가리키는 추가 개량 변위 벡터(additional refinement displacement vector)(804)에 의하여 결정된다. 개량 변위 벡터(804)는 변위 추정 과정(displacement estimation procedure)의 결과이다. 추정 과정은, 각각 블록(802, 803) 및 블록(812, 813)의 유사도(similarity degree)를 정의하는 에러 함수(error function)의 최소 값을 정의하는 변위 벡터(DV)(804)를 찾는 것으로 끝난다. 기술분야에서 통상의 지식을 가진 자는, 예를 들어, MSE(Means Square Error), SAD(Sum of Absolute Differences), MRSAD(Mean Removed Sum of Absolute Differences) 등과 같은, 어떠한 유형의 유사도 함수(similarity functions)를 사용할 수도 있다. 벡터(804)는, 출력 비트 스트림에 어떠한 추가적인 정보를 전송하지 않으면서도, 인코딩 및 디코딩 프로세스 중에 암묵적으로(implicitly) 결정될 수 있다.In order to solve this problem, the use of a "float" position (relative to the reference block) of a group of pixels neighboring the reference block is proposed. 8 illustrates a method according to one embodiment. Referring to FIG. 8, during a search of a reference block, a displacement vector (DV) 820 is assigned to the
도 9는 일 실시예에 따른 조명 및 콘트라스트 보상에 기초한 멀티 뷰 비디오 인코딩을 위한 방법을 설명하기 위한 도면이다. 단계(901)에서, 예측 블록(predicted block)의 생성을 위해 사용되는 참조 블록이 결정된다. 단계(902)에서, 상기 결정된 참조 블록의 조명 및 콘트라스트 보상을 위한 조명 및 콘트라스트 보상 파라미터가 결정된다. 상기 조명 및 콘트라스트 보상 파라미터의 결정은 다음의 단계들을 포함한다.9 is a diagram for describing a method for multi-view video encoding based on lighting and contrast compensation, according to an embodiment. In
- 상기 참조 블록에 이웃하는 픽셀의 값 및 상기 현재 블록에 이웃하는 픽셀의 재구성된(reconstructured)(이미 디코드된(already decoded)) 값을 수신하는 단계;Receiving a value of a pixel neighboring the reference block and a reconstructed (already decoded) value of the pixel neighboring the current block;
- 상기 참조 블록의 픽셀의 값 및 상기 참조 블록에 이웃하는 픽셀의 값 간의 관계(relations) 및 상기 참조 블록에 이웃하는 픽셀의 값 및 상기 현재 블록에 이웃하는 픽셀의 복구된(restored) 값 간의 관계(relations)를 결정하는 단계; 및A relation between a value of a pixel of the reference block and a value of a pixel neighboring the reference block and a relationship between a value of a pixel neighboring the reference block and a restored value of a pixel neighboring the current block determining relatives; And
상기 결정된 관계(relations), 상기 참조 블록의 픽셀의 값, 상기 현재 블록에 이웃하는 픽셀의 복구된 값, 및 상기 참조 블록에 이웃하는 픽셀의 값에 기초하여 상기 참조 블록의 조명 및 콘트라스트 보상을 위한 조명 및 콘트라스트 보상 파라미터를 결정하는 단계.For illumination and contrast compensation of the reference block based on the determined relationships, a value of a pixel of the reference block, a recovered value of a pixel neighboring the current block, and a value of a pixel neighboring the reference block. Determining illumination and contrast compensation parameters.
단계(903)에서, 결정된 조명 및 콘트라스트 보상 파라미터를 이용하여, 참조 블록의 조명 및 콘트라스트 보상을 수행한다. 단계(904)에서, 조명 및 콘트라스트 보상된 참조 블록을 이용하여, 현재 블록에 대한 예측 블록(predicted block)이 생성된다. 단계(905)에서, 상기 생성된 예측 블록을 사용하여, 현재 블록을 인코드(encode)한다. 특히, 참조 블록에 관한 정보가 디코딩에 필요한 경우, 이 정보도 인코드 된다. 동시에, 결정된 조명 및 콘트라스트 보상 파라미터는 인코드 되지 않는다.In
도 10은 일 실시예에 따른 조명 및 콘트라스트 보상에 기초한 멀티 뷰 비디오 디코딩 방법을 설명하기 위한 도면이다. 도 10에 따르면, 참조 블록에 관한 정보가, 디코딩 필요가 있는 경우, 디코드 된다. 상기 디코드 된 정보는, 단계(1001)에서, 참조 브록의 결정을 위해 사용될 수 있다. 단계(1002)에서, 참조 블록의 조명 및 콘트라스트 보상을 위한 조명 및 콘트라스트 보상 파라미터가 결정된다. 상기 조명 및 콘트라스트 보상 파라미터의 결정은 다음의 단계들을 포함한다.10 is a diagram for describing a multi-view video decoding method based on lighting and contrast compensation, according to an exemplary embodiment. According to FIG. 10, information about a reference block is decoded when it is necessary to decode. The decoded information may be used at
- 상기 참조 블록에 이웃하는 픽셀의 값 및 상기 현재 블록에 이웃하는 픽셀의 재구성된(reconstructured)(이미 디코드된(already decoded)) 값을 수신하는 단계;Receiving a value of a pixel neighboring the reference block and a reconstructed (already decoded) value of the pixel neighboring the current block;
상기 참조 블록의 픽셀의 값 및 상기 참조 블록에 이웃하는 픽셀의 값 간의 관계(relations) 및 상기 참조 블록에 이웃하는 픽셀의 값 및 상기 현재 블록에 이웃하는 픽셀의 복구된(restored) 값 간의 관계(relations)를 결정하는 단계; 및A relationship between a value of a pixel of the reference block and a value of a pixel neighboring the reference block and a relationship between a value of a pixel neighboring the reference block and a restored value of a pixel neighboring the current block ( determining relations; And
상기 결정된 관계(relations), 상기 참조 블록의 픽셀의 값, 상기 현재 블록에 이웃하는 픽셀의 복구된 값, 및 상기 참조 블록에 이웃하는 픽셀의 값에 기초하여 상기 참조 블록의 조명 및 콘트라스트 보상을 위한 조명 및 콘트라스트 보상 파라미터를 결정하는 단계.For illumination and contrast compensation of the reference block based on the determined relationships, a value of a pixel of the reference block, a recovered value of a pixel neighboring the current block, and a value of a pixel neighboring the reference block. Determining illumination and contrast compensation parameters.
단계(1003)에서, 상기 결정된 조명 및 콘트라스트 보상 파라미터를 이용하여, 상기 참조 블록의 조명 및 콘트라스트 보상을 수행한다. 단계(1004)에서, 상기 조명 및 콘트라스트 보상된 참조 블록을 사용함으로써, 상기 현재 블록을 위한 예측 블록이 생성된다. 단계(1005)에서, 상기 생성된 예측 블록을 사용하여, 상기 현재 블록을 디코드 한다.In
실시예들은 멀티 뷰 비디오 시퀀스(multi-view video sequences)를 인코딩하고 디코딩하는 데 구현될 수 있다.Embodiments may be implemented to encode and decode multi-view video sequences.
실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to embodiments may be implemented in the form of a program instruction that may be executed through various computer means and recorded in a computer-readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the media may be those specially designed and constructed for the purposes of the embodiments, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (16)
참조 프레임 내 참조 블록의 픽셀의 값 및 인코드된 프레임 내 현재 블록의 픽셀의 값을 수신하는 단계;
상기 참조 프레임의 상기 참조 블록에 이웃하는 픽셀의 값 및 현재 인코드 된 프레임의 현재 블록에 이웃하는 픽셀의 이미 디코드되고 복구된 값을 수신하는 단계;
상기 참조 블록에 이웃하는 픽셀의 값 및 상기 현재 블록에 이웃하는 픽셀의 복구된 값 간의 관계 및 상기 참조 블록에 이웃하는 픽셀의 값 및 상기 참조 블록의 픽셀의 값 간의 관계를 결정하는 단계;
상기 참조 블록에 이웃하는 픽셀의 값, 상기 현재 블록에 이웃하는 픽셀의 복구된 값, 상기 참조 블록의 픽셀의 값, 및 상기 결정된 관계들에 기초하여, 참조 블록 및 인코드된 블록 간의 차이 보상(discrepancy(mismatch) compensation)의 조명 및 콘트라스트 보상을 위한 조명 및 콘트라스트 보상 파라미터를 결정하는 단계; 및
상기 결정된 조명 및 콘트라스트 보상 파라미터를 이용하여, 참조 블록 및 인코드된 블록 간의 차이의 조명 및 콘트라스트 보상을 수행하는 단계
를 포함하는 멀티 뷰 코딩 프로세스의 예측 단계에서 참조 블록 및 인코드된 블록 간의 조명 및 콘트라스트 차이의 로컬 보상 방법.In the local compensation method of the lighting and contrast difference between the reference block and the encoded block in the prediction step of the multi-view coding process,
Receiving a value of a pixel of a reference block in a reference frame and a value of a pixel of a current block in an encoded frame;
Receiving a value of a pixel neighboring the reference block of the reference frame and an already decoded and recovered value of a pixel neighboring the current block of a currently encoded frame;
Determining a relationship between a value of a pixel neighboring the reference block and a recovered value of a pixel neighboring the current block and a relationship between a value of a pixel neighboring the reference block and a value of a pixel of the reference block;
Based on the value of the pixel neighboring the reference block, the recovered value of the pixel neighboring the current block, the value of the pixel of the reference block, and the determined relationships, the difference compensation between the reference block and the encoded block ( determining an illumination and contrast compensation parameter for illumination and contrast compensation of discrepancy (mismatch) compensation; And
Performing illumination and contrast compensation of the difference between the reference block and the encoded block using the determined illumination and contrast compensation parameter.
And a local compensation method of illumination and contrast differences between the reference block and the encoded block in the prediction step of the multi-view coding process comprising a.
상기 관계를 결정하는 단계 및 상기 조명 및 콘트라스트 보상 파라미터를 결정하는 단계는,
상기 현재 블록에 이웃하는 상기 복구된 픽셀의 값의 통계적 특징, 상기 참조 블록의 픽셀의 값의 통계적 특징, 및 상기 참조 블록에 이웃하는 픽셀의 값의 통계적 특징을 계산하는 단계;
상기 참조 블록에 이웃하는 픽셀의 상기 복구된 값 및 상기 참조 블록의 픽셀의 값에 대한 통계적 특징 간의 관계를 결정하는 단계; 및
상기 참조 블록의 상기 통계적 특징 및 상기 현재 블록에 대한 상기 수신된 통계적 특징에 기초하여 상기 참조 블록의 조명 및 콘트라스트 보상에 대한 조명 및 콘트라스트 보상 파라미터를 계산하는 단계
를 포함하는 멀티 뷰 코딩 프로세스의 예측 단계에서 참조 블록 및 인코드된 블록 간의 조명 및 콘트라스트 차이의 로컬 보상 방법.The method of claim 1,
Determining the relationship and determining the illumination and contrast compensation parameters include:
Calculating statistical characteristics of the value of the recovered pixel neighboring the current block, statistical characteristics of the value of the pixel of the reference block, and statistical characteristics of the value of the pixel neighboring the reference block;
Determining a relationship between the recovered value of a pixel neighboring the reference block and a statistical feature on the value of the pixel of the reference block; And
Calculating an illumination and contrast compensation parameter for illumination and contrast compensation of the reference block based on the statistical feature of the reference block and the received statistical feature for the current block.
And a local compensation method of illumination and contrast differences between the reference block and the encoded block in the prediction step of the multi-view coding process comprising a.
상기 관계를 결정하는 단계 및 상기 조명 및 콘트라스트 보상 파라미터를 결정하는 단계는,
상기 현재 블록의 왼쪽에 위치하고 상기 현재 블록에 이웃하는 복구된 픽셀에 대한 평균 값, 상기 현재 블록의 위에 위치하고 상기 현재 블록에 이웃하는 복구된 픽셀에 대한 평균 값, 상기 참조 블록의 픽셀에 대한 평균 값, 상기 참조 블록의 왼쪽에 위치하고 상기 참조 블록에 이웃하는 픽셀의 평균 값, 및 상기 참조 블록의 위에 위치하고 상기 참조 블록에 이웃하는 픽셀의 평균 값을 계산하는 단계;
상기 현재 블록의 왼쪽에 위치하고 상기 현재 블록에 이웃하는 복구된 픽셀이 존재하고 상기 참조 블록의 왼쪽에 위치하고 상기 참조 블록에 이웃하는 픽셀이 존재하는 경우, 상기 참조 블록의 왼쪽에 위치하고 상기 참조 블록에 이웃하는 픽셀의 평균 값 및 상기 참조 블록의 픽셀의 평균 값 간의 비율 값(ratio value)을 계산하고, 상기 현재 블록의 왼쪽에 위치하고 상기 현재 블록에 이웃하는 복구된 픽셀의 평균 값 및 상기 비율 값의 곱을 계산하고, 상기 계산된 곱 및 상기 참조 블록의 픽셀에 대한 평균 값 간의 비율로써 상기 조명 및 콘트라스트 보상 파라미터를 결정하는 단계;
상기 현재 블록의 위에 위치하고 상기 현재 블록에 이웃하는 복구된 픽셀이 존재하고 상기 참조 블록의 위에 위치하고 상기 참조 블록에 이웃하는 픽셀이 존재하는 경우, 상기 참조 블록의 픽셀의 평균 값 및 상기 참조 블록의 위에 위치하고 상기 참조 블록에 이웃하는 픽셀의 평균 값 간의 비율 값을 계산하고, 상기 현재 블록의 위에 위치하고 상기 현재 블록에 이웃하는 상기 복구된 픽셀의 평균 값 및 상기 비율 값의 곱을 계산하고, 상기 계산된 곱 및 상기 참조 블록의 픽셀에 대한 평균 값 간의 비율로써 상기 조명 및 콘트라스트 보상 파라미터를 결정하는 단계; 및
그렇지 않은 경우, MAP(median adaptive prediction)을 사용하여 상기 현재 블록의 평균 값에 대한 추정(estimation)을 계산하고, 상기 현재 블록의 픽셀의 상기 추정된 평균 값 및 상기 참조 블록의 픽셀에 대한 평균 값 간의 비율로써 상기 조명 및 콘트라스트 보상 파라미터를 결정하는 단계
를 포함하는 멀티 뷰 코딩 프로세스의 예측 단계에서 참조 블록 및 인코드된 블록 간의 조명 및 콘트라스트 차이의 로컬 보상 방법.The method of claim 1,
Determining the relationship and determining the illumination and contrast compensation parameters include:
An average value for a recovered pixel located to the left of the current block and neighboring the current block, an average value for a recovered pixel located above the current block and neighboring the current block, an average value for a pixel of the reference block Calculating an average value of pixels located to the left of the reference block and neighboring the reference block, and an average value of pixels located above the reference block and neighboring the reference block;
If there is a recovered pixel located to the left of the current block and neighboring the current block and there is a pixel located to the left of the reference block and neighboring to the reference block, located to the left of the reference block and neighboring to the reference block A ratio value is calculated between an average value of a pixel and an average value of a pixel of the reference block, and a product of the average value and the ratio value of a recovered pixel located to the left of the current block and neighboring the current block is calculated. Calculating and determining the illumination and contrast compensation parameter as a ratio between the calculated product and an average value for the pixels of the reference block;
If there is a recovered pixel located above the current block and neighboring the current block and there is a pixel located above the reference block and neighboring the reference block, the average value of the pixels of the reference block and above the reference block Calculate a ratio value between an average value of pixels located and neighboring the reference block, calculate a product of the average value and the ratio value of the recovered pixels located above the current block and neighboring the current block, and calculate the calculated product Determining the illumination and contrast compensation parameter as a ratio between an average value for pixels of the reference block; And
Otherwise, median adaptive prediction (MAP) is used to calculate an estimate for the average value of the current block, and the estimated average value of the pixels of the current block and the average value for the pixels of the reference block. Determining the illumination and contrast compensation parameter as a ratio of
And a local compensation method of illumination and contrast differences between the reference block and the encoded block in the prediction step of the multi-view coding process comprising a.
상기 관계를 결정하는 단계 및 상기 조명 및 콘트라스트 보상 파라미터를 결정하는 단계는,
상기 참조 블록 내 각 픽셀 위치 (i, j)에 대해 제1 추정 값 을 계산하는 단계 - 상기 제1 추정 값 은 상기 현재 블록에 이웃하는 픽셀의 복구된 값 의 선형 결합(linear combination)의 함수이고, k = 0, ..., N-1이고, N은 상기 참조 블록 및 상기 현재 블록에 이웃하는 픽셀의 총수(amount)임 -;
상기 참조 블록 내 각 픽셀 위치 (i, j)에 대해 제2 추정 값 을 계산하는 단계 - 상기 제2 추정 값 은 상기 참조 블록에 이웃하는 픽셀의 값 의 선형 결합(linear combination)의 함수이고, k = 0, ..., N-1임 -;
상기 제1 추정 값 , 상기 제2 추정 값 , 상기 참조 블록의 픽셀의 값 , 상기 현재 블록에 이웃하는 픽셀의 복구된 값 및 상기 참조 블록에 이웃하는 픽셀의 값 에 기초하여 상기 참조 블록 내 각 픽셀 위치에 대한 조명 및 콘트라스트 보상을 위한 상기 조명 및 콘트라스트 보상 파라미터로 결정하는 단계; 및
상기 결정된 조명 및 콘트라스트 보상 파라미터를 이용하여, 상기 참조 블록 내 각 픽셀 위치에 대한 조명 및 콘트라스트 보상을 수행하는 단계
를 포함하는 멀티 뷰 코딩 프로세스의 예측 단계에서 참조 블록 및 인코드된 블록 간의 조명 및 콘트라스트 차이의 로컬 보상 방법.The method of claim 1,
Determining the relationship and determining the illumination and contrast compensation parameters include:
A first estimated value for each pixel position (i, j) in the reference block To calculate the first estimated value Is the recovered value of the pixel neighboring the current block Is a function of a linear combination of k, 0, ..., N-1, where N is the total number of pixels neighboring the reference block and the current block;
A second estimated value for each pixel position (i, j) in the reference block To calculate the second estimated value Is the value of the pixel neighboring the reference block Is a function of the linear combination of k = 0, ..., N-1-;
The first estimated value , The second estimated value The pixel value of the reference block A recovered value of a pixel neighboring the current block And a value of a pixel neighboring the reference block Determining based on the illumination and contrast compensation parameters for illumination and contrast compensation for each pixel position in the reference block based on; And
Performing illumination and contrast compensation for each pixel position in the reference block using the determined illumination and contrast compensation parameters.
And a local compensation method of illumination and contrast differences between the reference block and the encoded block in the prediction step of the multi-view coding process comprising a.
상기 관계를 결정하는 단계, 상기 조명 및 콘트라스트 보상 파라미터를 결정하는 단계, 및 상기 조명 및 콘트라스트 보상을 수행하는 단계는,
상기 제1 추정 값 을
으로 계산하는 단계 - 는 미리 정해진 가중치 계수(weighted coefficients)이고, 은 현재 블록에 이웃하는 픽셀의 복구된 값이고, N은 상기 참조 블록 및 상기 현재 블록에 이웃하는 픽셀의 총수임 -;
상기 제2 추정 값 을
으로 계산하는 단계 - 는 미리 정해진 가중치 계수(weighted coefficients)이고, 은 참조 블록에 이웃하는 픽셀의 값이고, N은 상기 참조 블록 및 상기 현재 블록에 이웃하는 픽셀의 총수임 -;
상기 제2 추정 값 가 0이 아닌 경우, 상기 참조 블록 내 각 픽셀 위치에 대한 조명 및 콘트라스트 보상을 위한 상기 조명 및 콘트라스트 보상 파라미터를 의 비율로 결정하고, 상기 제2 추정 값 가 0인 경우, 상기 조명 및 콘트라스트 보상 파라미터 는 1로 세트되는 단계; 및
상기 참조 블록의 각 픽셀의 값 에 상기 대응하는 보상 파라미터 를 곱함으로써, 상기 참조 블록의 조명 및 콘트라스트 보상을 수행하는 단계
를 포함하는 멀티 뷰 코딩 프로세스의 예측 단계에서 참조 블록 및 인코드된 블록 간의 조명 및 콘트라스트 차이의 로컬 보상 방법.5. The method of claim 4,
Determining the relationship, determining the illumination and contrast compensation parameters, and performing the illumination and contrast compensation,
The first estimated value of
Step to calculate- Is predetermined weighted coefficients, Is a recovered value of a pixel neighboring a current block, and N is a total number of pixels neighboring the reference block and the current block;
The second estimated value of
Step to calculate- Is predetermined weighted coefficients, Is a value of a pixel neighboring a reference block, and N is a total number of pixels neighboring the reference block and the current block;
The second estimated value Is not 0, the illumination and contrast compensation parameter for illumination and contrast compensation for each pixel position in the reference block To Determined by the ratio of the second estimated value Is 0, the illumination and contrast compensation parameter Is set to 1; And
The value of each pixel in the reference block The corresponding compensation parameter to Performing illumination and contrast compensation of the reference block by multiplying
And a local compensation method of illumination and contrast differences between the reference block and the encoded block in the prediction step of the multi-view coding process comprising a.
상기 참조 블록 내 픽셀의 각 위치에 대한 상기 제1 추정 값 및 상기 제2 추정 값을 계산하는 단계는,
상기 제1 추정 값 및 상기 제2 추정 값 에 대한 가중치 계수 를 계산하는 단계
- 상기 참조 블록 내 각 픽셀 위치 (i, j)에 대하여, 상기 가중치 계수 는 대응하는 절대차 의 감소/증가에 따라 가 역비례(inverse proportional) 증가/감소하는 절대차 의 비증가 함수(non-increasing function)이고,
는 상기 참조 블록의 픽셀의 값이고, 은 상기 참조 블록에 이웃하는 픽셀의 값이고, N은 상기 참조 블록 및 상기 현재 블록에 이웃하는 픽셀의 총수(amount)임 -
를 포함하는 멀티 뷰 코딩 프로세스의 예측 단계에서 참조 블록 및 인코드된 블록 간의 조명 및 콘트라스트 차이의 로컬 보상 방법.The method of claim 5,
Computing the first estimate value and the second estimate value for each position of a pixel in the reference block,
The first estimated value And the second estimated value Weighting factor for Step to calculate
For each pixel position (i, j) in the reference block, the weighting factor Corresponds to the absolute difference On decrease / increase in Absolute difference in inverse proportional increase / decrease Is a non-increasing function of,
Is the value of the pixel of the reference block, Is the value of the pixel neighboring the reference block, and N is the total number of pixels neighboring the reference block and the current block
And a local compensation method of illumination and contrast differences between the reference block and the encoded block in the prediction step of the multi-view coding process comprising a.
상기 참조 블록 내 픽셀의 각 위치에 대한 상기 제1 추정 값 및 상기 제2 추정 값을 계산하는 단계는,
상기 제1 추정 값 및 상기 제2 추정 값 에 대한 가중치 계수 를 계산하는 단계
- 상기 참조 블록 내 각 픽셀 위치 (i, j)에 대하여, 상기 가중치 계수 는, 인 경우, 대응하는 절대차 의 감소/증가에 따라 가 역비례(inverse proportional) 증가/감소하는 절대차 의 비증가 함수(non-increasing function)이고,
그 외의 경우, 는 0이고,
Thr은 미리 정해진 스레시홀드(threshold)이고, 는 상기 참조 블록의 픽셀의 값이고, 은 상기 참조 블록에 이웃하는 픽셀의 값임 -
를 포함하는 멀티 뷰 코딩 프로세스의 예측 단계에서 참조 블록 및 인코드된 블록 간의 조명 및 콘트라스트 차이의 로컬 보상 방법.The method of claim 5,
Computing the first estimate value and the second estimate value for each position of a pixel in the reference block,
The first estimated value And the second estimated value Weighting factor for Step to calculate
For each pixel position (i, j) in the reference block, the weighting factor Quot; If, the corresponding absolute difference On decrease / increase in Absolute difference in inverse proportional increase / decrease Is a non-increasing function of,
Otherwise, Is 0,
Thr is a predetermined threshold, Is the value of the pixel of the reference block, Is the value of the pixel neighboring the reference block −
And a local compensation method of illumination and contrast differences between the reference block and the encoded block in the prediction step of the multi-view coding process comprising a.
상기 참조 블록 내 픽셀의 각 위치에 대한 상기 제1 추정 값 및 상기 제2 추정 값을 계산하는 단계는,
상기 제1 추정 값 및 상기 제2 추정 값 에 대해 가중치 계수 를 계산하는 단계
- 상기 참조 블록 내 각 픽셀 위치 (i, j)에 대하여, 상기 가중치 계수 는,
및 인 경우, 대응하는 절대차 의 감소/증가에 따라 가 역비례(inverse proportional) 증가/감소하는 절대차 의 비증가 함수(non-increasing function)이고,
은 상기 현재 블록에 이웃하는 픽셀의 값이고, Thr1은 제1 미리 정해진 스레시홀드이고, Thr2는 제2 미리 정해진 스레시홀드이고,
그 외의 경우, 는 0이고,
는 상기 참조 블록의 픽셀의 값이고, 은 상기 참조 블록에 이웃하는 픽셀의 값임 -
를 포함하는 멀티 뷰 코딩 프로세스의 예측 단계에서 참조 블록 및 인코드된 블록 간의 조명 및 콘트라스트 차이의 로컬 보상 방법.The method of claim 5,
Computing the first estimate value and the second estimate value for each position of a pixel in the reference block,
The first estimated value And the second estimated value Weighting factor for Step to calculate
For each pixel position (i, j) in the reference block, the weighting factor Quot;
And If, the corresponding absolute difference On decrease / increase in Absolute difference in inverse proportional increase / decrease Is a non-increasing function of,
Is a value of a pixel neighboring the current block, Thr1 is a first predetermined threshold, Thr2 is a second predetermined threshold,
Otherwise, Is 0,
Is the value of the pixel of the reference block, Is the value of the pixel neighboring the reference block −
And a local compensation method of illumination and contrast differences between the reference block and the encoded block in the prediction step of the multi-view coding process comprising a.
상기 참조 블록 내 픽셀의 각 위치에 대한 상기 제1 추정 값 및 상기 제2 추정 값을 계산하는 단계는,
상기 제1 추정 값 및 상기 제2 추정 값 에 대한 미리 정해진 가중치 계수 를 계산하는 단계
- 상기 참조 블록 내 각 픽셀 위치 (i, j)에 대하여,
인 경우, 상기 가중치 계수 는
이고,
C는 0보다 큰 미리 정해진 상수이고,
이고,
그 외의 경우, 는 0이고,
Thr은 미리 정해진 스레시홀드(threshold)이고, 는 상기 참조 블록의 픽셀의 값이고, 은 상기 참조 블록에 이웃하는 픽셀의 값임 -
를 포함하는 멀티 뷰 코딩 프로세스의 예측 단계에서 참조 블록 및 인코드된 블록 간의 조명 및 콘트라스트 차이의 로컬 보상 방법.The method of claim 5,
Computing the first estimate value and the second estimate value for each position of a pixel in the reference block,
The first estimated value And the second estimated value Predetermined weighting factor for Step to calculate
For each pixel position (i, j) in the reference block,
If, the weighting factor The
ego,
C is a predetermined constant greater than zero,
ego,
Otherwise, Is 0,
Thr is a predetermined threshold, Is the value of the pixel of the reference block, Is the value of the pixel neighboring the reference block −
And a local compensation method of illumination and contrast differences between the reference block and the encoded block in the prediction step of the multi-view coding process comprising a.
상기 참조 블록 내 픽셀의 각 위치에 대한 상기 제1 추정 값 및 상기 제2 추정 값을 계산하는 단계는,
상기 제1 추정 값 및 상기 제2 추정 값 에 대한 미리 정해진 가중치 계수 를 계산하는 단계
- 상기 참조 블록 내 각 픽셀 위치 (i, j)에 대하여,
및 인 경우,
상기 가중치 계수 는
이고,
그 외의 경우, 는 0이고,
C는 0보다 큰 미리 정해진 상수이고,
이고,
는 상기 참조 블록의 픽셀의 값이고,
은 상기 참조 블록에 이웃하는 픽셀의 값이고,
은 상기 현재 블록에 이웃하는 픽셀의 값이고,
Thr1은 제1 미리 정해진 스레시홀드이고,
Thr2는 제2 미리 정해진 스레시홀드임 -
를 포함하는 멀티 뷰 코딩 프로세스의 예측 단계에서 참조 블록 및 인코드된 블록 간의 조명 및 콘트라스트 차이의 로컬 보상 방법.The method of claim 5,
Computing the first estimate value and the second estimate value for each position of a pixel in the reference block,
The first estimated value And the second estimated value Predetermined weighting factor for Step to calculate
For each pixel position (i, j) in the reference block,
And Quot;
The weighting factor The
ego,
Otherwise, Is 0,
C is a predetermined constant greater than zero,
ego,
Is the value of the pixel of the reference block,
Is a value of a pixel neighboring the reference block,
Is a value of a pixel neighboring the current block,
Thr1 is the first predetermined threshold,
Thr2 is the second predetermined threshold-
And a local compensation method of illumination and contrast differences between the reference block and the encoded block in the prediction step of the multi-view coding process comprising a.
상기 참조 블록에 이웃하는 픽셀의 값 및 상기 현재 인코드 되는 블록에 이웃하는 픽셀의 상기 복구된 값의 상기 위치는, 미리 정해진 위치를 점유하는 대응하는 픽셀 대신에 적응적으로 결정되는
멀티 뷰 코딩 프로세스의 예측 단계에서 참조 블록 및 인코드된 블록 간의 조명 및 콘트라스트 차이의 로컬 보상 방법.The method of claim 1,
The position of the value of the pixel neighboring the reference block and the recovered value of the pixel neighboring the currently encoded block is adaptively determined instead of the corresponding pixel occupying a predetermined position.
A method for local compensation of lighting and contrast differences between reference blocks and encoded blocks in the prediction phase of a multi-view coding process.
현재 블록에 대한 예측 블록(predicted block)을 생성하기 위하여 사용되는 참조 블록을 결정하는 단계;
상기 참조 블록을 결정하는 동안 또는 상기 참조 블록을 결정한 후 상기 참조 블록의 조명 및 콘트라스트 보상을 위한 조명 및 콘트라스트 보상 파라미터를 결정하는 단계;
상기 결정된 조명 및 콘트라스트 파라미터를 이용하여 상기 결정된 참조 블록의 조명 및 콘트라스트 보상을 수행하는 단계;
상기 조명 및 콘트라스트 보상된 참조 블록을 이용하여 상기 현재 블록에 대한 상기 예측 블록을 생성하는 단계; 및
상기 결정된 조명 및 콘트라스트 보상 파라미터의 인코딩 없이 상기 생성된 예측 블록을 이용하여 상기 현재 블록을 인코딩 하는 단계 - 디코딩시 필요한 경우에는 상기 참조 블록의 위치에 대한 정보도 인코딩 함 -
를 포함하는 조명 및 콘트라스트 보상에 기초한 멀티 뷰 비디오 인코딩 방법.In the multi-view video encoding method based on lighting and contrast compensation,
Determining a reference block used to generate a predicted block for the current block;
Determining an illumination and contrast compensation parameter for illumination and contrast compensation of the reference block during or after determining the reference block;
Performing illumination and contrast compensation of the determined reference block using the determined illumination and contrast parameters;
Generating the prediction block for the current block using the illumination and contrast compensated reference block; And
Encoding the current block using the generated prediction block without encoding the determined illumination and contrast compensation parameters, encoding information about the position of the reference block as needed for decoding
Multi-view video encoding method based on lighting and contrast compensation comprising.
상기 조명 및 콘트라스트 보상 파라미터를 결정하는 단계는,
상기 참조 블록에 이웃하는 픽셀의 값 및 상기 현재 블록에 이웃하는 픽셀의 재구성된(reconstructured) 값을 수신하는 단계;
상기 참조 블록의 픽셀의 값 및 상기 참조 블록에 이웃하는 픽셀의 값 간의 수학적 비(numerical ratios) 및 상기 참조 블록에 이웃하는 픽셀의 값 및 상기 현재 블록에 이웃하는 픽셀의 복구된(restored) 값 간의 수학적 비를 결정하는 단계; 및
상기 결정된 수학적 비, 상기 참조 블록의 픽셀의 값, 상기 현재 블록에 이웃하는 픽셀의 복구된 값, 및 상기 참조 블록에 이웃하는 픽셀의 값에 기초하여 상기 참조 블록의 조명 및 콘트라스트 보상을 위한 조명 및 콘트라스트 보상 파라미터를 결정하는 단계
를 포함하는 조명 및 콘트라스트 보상에 기초한 멀티 뷰 비디오 인코딩 방법.The method of claim 12,
Determining the illumination and contrast compensation parameters,
Receiving a value of a pixel neighboring the reference block and a reconstructed value of a pixel neighboring the current block;
Between mathematical ratios between a value of a pixel of the reference block and a value of a pixel neighboring the reference block and between a value of a pixel neighboring the reference block and a restored value of a pixel neighboring the current block Determining a mathematical ratio; And
Illumination for contrast and illumination compensation of the reference block based on the determined mathematical ratio, the value of the pixel of the reference block, the recovered value of the pixel neighboring the current block, and the value of the pixel neighboring the reference block; Determining Contrast Compensation Parameters
Multi-view video encoding method based on lighting and contrast compensation comprising.
참조 블록을 결정하는 단계 - 현재 블록의 상기 참조 블록 결정에 필요한 경우 상기 참조 블록에 관한 정보를 디코딩 함 -;
상기 결정된 참조 블록의 조명 및 콘트라스트 보상을 위한 조명 및 콘트라스트 보상 파라미터를 결정하는 단계;
상기 결정된 조명 및 콘트라스트 보상 파라미터를 이용하여 상기 결정된 참조 블록의 조명 및 콘트라스트 보상을 수행하는 단계;
상기 조명 및 콘트라스트 보상된 참조 블록을 이용하여 상기 현재 블록에 대한 예측 블록을 생성하는 단계;
상기 결정된 조명 및 콘트라스트 보상 파라미터 및 상기 생성된 예측 블록을 이용하여 상기 현재 블록을 디코딩 하는 단계
를 포함하는 조명 및 콘트라스트 보상에 기초한 멀티 뷰 비디오 디코딩 방법.A multi-view video decoding method based on lighting and contrast compensation,
Determining a reference block, decoding information about the reference block as needed to determine the reference block of a current block;
Determining an illumination and contrast compensation parameter for illumination and contrast compensation of the determined reference block;
Performing illumination and contrast compensation of the determined reference block using the determined illumination and contrast compensation parameter;
Generating a prediction block for the current block using the illumination and contrast compensated reference block;
Decoding the current block using the determined illumination and contrast compensation parameter and the generated prediction block
Multi-view video decoding method based on lighting and contrast compensation comprising a.
상기 조명 및 콘트라스트 보상 파라미터를 결정하는 단계는,
상기 참조 블록에 이웃하는 픽셀의 값 및 상기 현재 블록에 이웃하는 픽셀의 재구성된 값을 수신하는 단계;
상기 참조 블록의 픽셀의 값 및 상기 참조 블록에 이웃하는 픽셀의 값 간의 수학적 비(numerical ratios) 및 상기 참조 블록에 이웃하는 픽셀의 값 및 상기 현재 블록에 이웃하는 픽셀의 복구된(restored) 값 간의 수학적 비를 결정하는 단계; 및
상기 결정된 수학적 비, 상기 참조 블록의 픽셀의 값, 상기 현재 블록에 이웃하는 픽셀의 복구된 값, 및 상기 참조 블록에 이웃하는 픽셀의 값에 기초하여 상기 참조 블록의 조명 및 콘트라스트 보상을 위한 조명 및 콘트라스트 보상 파라미터를 결정하는 단계
를 포함하는 조명 및 콘트라스트 보상에 기초한 멀티 뷰 비디오 디코딩 방법.15. The method of claim 14,
Determining the illumination and contrast compensation parameters,
Receiving a value of a pixel neighboring the reference block and a reconstructed value of a pixel neighboring the current block;
Between mathematical ratios between a value of a pixel of the reference block and a value of a pixel neighboring the reference block and between a value of a pixel neighboring the reference block and a restored value of a pixel neighboring the current block Determining a mathematical ratio; And
Illumination for contrast and illumination compensation of the reference block based on the determined mathematical ratio, the value of the pixel of the reference block, the recovered value of the pixel neighboring the current block, and the value of the pixel neighboring the reference block; Determining Contrast Compensation Parameters
Multi-view video decoding method based on lighting and contrast compensation comprising a.
A non-transitory computer-readable recording medium having recorded thereon a program for executing the method of claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/795,301 US20130243085A1 (en) | 2012-03-15 | 2013-03-12 | Method of multi-view video coding and decoding based on local illumination and contrast compensation of reference frames without extra bitrate overhead |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2012109843/08A RU2493668C1 (en) | 2012-03-15 | 2012-03-15 | Method of encoding/decoding multi-view video sequence based on local adjustment of brightness and contract of reference frames without transmitting additional service data |
RU2012109843 | 2012-03-15 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20130105402A true KR20130105402A (en) | 2013-09-25 |
Family
ID=49183045
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130025130A KR20130105402A (en) | 2012-03-15 | 2013-03-08 | Method of multi-view video coding and decoding based on local illumination and contrast compensation of reference frames without extra bitrate overhead |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR20130105402A (en) |
RU (1) | RU2493668C1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019066449A1 (en) * | 2017-09-28 | 2019-04-04 | 삼성전자주식회사 | Video decoding method and device by means of conditionally applied local luminance compensation, and video encoding method and device by means of conditionally applied local luminance compensation |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5467637B2 (en) * | 2007-01-04 | 2014-04-09 | トムソン ライセンシング | Method and apparatus for reducing coding artifacts for illumination compensation and / or color compensation in multi-view coded video |
RU2377623C2 (en) * | 2007-04-20 | 2009-12-27 | Василий Александрович ЕЖОВ | Method of viewing stereo images with complete resolution for each aspect and device to this end |
KR101244917B1 (en) * | 2007-06-11 | 2013-03-18 | 삼성전자주식회사 | Method and apparatus for compensating illumination compensation and method and apparatus for encoding and decoding video based on illumination compensation |
KR20080114482A (en) * | 2007-06-26 | 2008-12-31 | 삼성전자주식회사 | Method and apparatus for illumination compensation of multi-view video coding |
US8532411B2 (en) * | 2009-02-12 | 2013-09-10 | Nippon Telegraph And Telephone Corporation | Multi-view image coding method, multi-view image decoding method, multi-view image coding device, multi-view image decoding device, multi-view image coding program, and multi-view image decoding program |
RU2413386C1 (en) * | 2009-06-04 | 2011-02-27 | Закрытое акционерное общество "МНИТИ"(Московский научно- исследовательский телевизионный институт) | System of multiangle television |
-
2012
- 2012-03-15 RU RU2012109843/08A patent/RU2493668C1/en active
-
2013
- 2013-03-08 KR KR1020130025130A patent/KR20130105402A/en not_active Application Discontinuation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019066449A1 (en) * | 2017-09-28 | 2019-04-04 | 삼성전자주식회사 | Video decoding method and device by means of conditionally applied local luminance compensation, and video encoding method and device by means of conditionally applied local luminance compensation |
Also Published As
Publication number | Publication date |
---|---|
RU2012109843A (en) | 2013-09-20 |
RU2493668C1 (en) | 2013-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11546627B2 (en) | Moving picture decoding method and moving picture encoding method | |
US20230117479A1 (en) | Predictive motion vector coding | |
JP5061179B2 (en) | Illumination change compensation motion prediction encoding and decoding method and apparatus | |
RU2446618C2 (en) | Method of coding and method of decoding video, devices for their implementation and storage media for programs | |
US8098731B2 (en) | Intraprediction method and apparatus using video symmetry and video encoding and decoding method and apparatus | |
KR100856411B1 (en) | Method and apparatus for compensating illumination compensation and method and apparatus for encoding moving picture based on illumination compensation, and method and apparatus for encoding moving picture based on illumination compensation | |
US8559515B2 (en) | Apparatus and method for encoding and decoding multi-view video | |
US20130243085A1 (en) | Method of multi-view video coding and decoding based on local illumination and contrast compensation of reference frames without extra bitrate overhead | |
JP5197591B2 (en) | VIDEO ENCODING METHOD AND DECODING METHOD, DEVICE THEREOF, THEIR PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM | |
WO2009084340A1 (en) | Moving image encoder and moving image decoder | |
US20090238283A1 (en) | Method and apparatus for encoding and decoding image | |
KR20090058954A (en) | Video coding method and apparatus using side matching, and video decoding method and appartus thereof | |
WO2012095466A1 (en) | Video encoding and decoding with improved error resilience | |
US20110243227A1 (en) | Moving picture decoding method and device, and moving picture encoding method and device | |
JP2006054857A (en) | Method of encoding and decoding frame sequence using 3d decomposition, usage, device and computer program | |
KR101187580B1 (en) | Method and apparatus for compensating illumination compensation and method and apparatus for encoding moving picture based on illumination compensation, and method and apparatus for encoding moving picture based on illumination compensation | |
KR101668133B1 (en) | Method for predicting a block of image data, decoding and coding devices implementing said method | |
JP2009049969A (en) | Device and method of coding moving image and device and method of decoding moving image | |
KR20130105402A (en) | Method of multi-view video coding and decoding based on local illumination and contrast compensation of reference frames without extra bitrate overhead | |
KR20130037843A (en) | Predicted pixel producing apparatus and method thereof | |
JP2022145499A (en) | Encoder and method | |
JPWO2009128208A1 (en) | Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, and moving picture decoding method | |
KR20110058677A (en) | Apparatus and method for extracting correlation parameters between color planes to make prediction image in video codec, and video encoding/decoding apparatus and method using the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WITN | Withdrawal due to no request for examination |