KR101244917B1 - 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치 - Google Patents

조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치 Download PDF

Info

Publication number
KR101244917B1
KR101244917B1 KR20070056760A KR20070056760A KR101244917B1 KR 101244917 B1 KR101244917 B1 KR 101244917B1 KR 20070056760 A KR20070056760 A KR 20070056760A KR 20070056760 A KR20070056760 A KR 20070056760A KR 101244917 B1 KR101244917 B1 KR 101244917B1
Authority
KR
South Korea
Prior art keywords
illuminance
block
reference block
pixels
current block
Prior art date
Application number
KR20070056760A
Other languages
English (en)
Other versions
KR20080108774A (ko
Inventor
이윤구
송병철
김낙훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20070056760A priority Critical patent/KR101244917B1/ko
Priority to US12/107,855 priority patent/US8295634B2/en
Priority to CN2008100913654A priority patent/CN101325715B/zh
Priority to JP2008141421A priority patent/JP5133136B2/ja
Publication of KR20080108774A publication Critical patent/KR20080108774A/ko
Application granted granted Critical
Publication of KR101244917B1 publication Critical patent/KR101244917B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

참조 블록의 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화 방법 및 장치, 복호화 방법 및 장치가 개시된다. 본 발명에 따른 참조 블록의 조도 보상 방법은 현재 블록의 복원된 주변 화소들의 화소값 및 참조 블록의 복원된 주변 화소들의 화소값에 기초하여 현재 블록 및 참조 블록의 화소들의 평균값을 예측하고, 예측된 현재 블록의 화소들의 평균값, 예측된 참조 블록의 화소들의 평균값, 현재 블록과 참조 블록의 화소값에 기초하여 조도 보상 파라미터를 결정하는 것을 특징으로 한다.

Description

조도 보상 방법 및 장치, 이를 이용한 영상의 부호화, 복호화 방법 및 장치{Method and apparatus for compensating illumination compensation and method and apparatus for encoding and decoding video based on illumination compensation}
도 1은 본 발명에 따른 조도 보상 장치를 나타낸 블록도이다.
도 2a 및 도 2b는 본 발명에 따라서 현재 블록 및 참조 블록의 화소들의 예측 평균값을 계산하는 방법 및 조도 보상 파라미터를 결정하는 방법을 설명하기 위한 도면이다.
도 3a는 8x8 모드인 경우의 부호화 순서를 나타내는 도면이며, 도 3b는 4x4 모드인 경우의 부호화 순서를 나타내는 도면이다.
도 4는 본 발명에 따른 조도 보상 방법을 나타낸 플로우 차트이다.
도 5는 본 발명에 따른 조도 보상 장치가 적용된 영상 부호화 장치의 구성을 나타낸 블록도이다.
도 6은 본 발명에 따른 조도 보상 방법을 적용한 영상 부호화 방법을 나타낸 플로우 차트이다.
도 7은 본 발명에 따른 영상 복호화 장치의 구성을 나타낸 블록도이다.
도 8은 본 발명에 따른 영상 복호화 방법을 나타낸 플로우 차트이다.
본 발명은 조도 보상(illumination compensation) 방법 및 장치에 관한 것으로서, 보다 상세하게는 영상 부호화 및 복호화를 위한 조도 보상 방법 및 그 장치에 관한 것이다.
3차원 디스플레이 애플리케이션을 위한 멀티 뷰 부호화(multi-view coding: MVC)는 인접한 뷰 간의 예측시, 불완전하게 보정(calibration)된 카메라, 상이한 원근 투영 방향(different perspective projection direction), 상이한 반사 효과(different reflection effects) 등으로 인한 인접한 뷰 간의 조도(illumination) 변화가 발생하며, 이는 부호화 효율을 떨어뜨리는 문제가 있었다. 또한, 싱글 뷰(single view)의 경우에도, 화면 전환 등의 경우 조도 변화에 따른 부호화 효율이 떨어지는 문제가 있었다.
이러한 문제를 해결하기 위해, H.264 규격에서는 가중 예측(weighted prediction) 이라는 기법을 사용한다. 이 가중 예측 기법은 슬라이스 레벨에서 움직임 보상에 적용되며, 적절한 가중 인자(weighted factor) W와 부가적인 오프셋 O에 따라 조도가 보상된다. 이러한 가중 예측 기법을 위한 개선된 방식으로서 조도 변환 적응 움직임 예측 및 보상(illumination change-adaptive motion estimation/compensation: ICA ME/MC)이 있다.
조도 변환 적응 움직임 예측 및 보상 방식에 따르면, Y 성분의 경우, 16X16 블록 단위로 ICA ME/MC가 수행되며, 각각의 매크로블록에 대해 조도 변환의 차분 값(difference value of illumination change: DVIC)이 얻어진다.
ICA ME/MC에는 2가지 모드가 존재한다. 2가지 모드 중 하나의 모드는 P 또는 B 슬라이스에서 사용되는, ICA ME/MC를 사용하는 IC-인터 16x16 모드이다. 또 다른 모드는 B 슬라이스에서만 사용되는, ICA ME를 사용하지 않는 IC-다이렉트 16x16 모드이다. 지협적인 조도 변환을 보상하기 위해서는, 각각의 인터 16x16과 각각의 다이렉트 16x16 블록 모드 당 1 비트의 플래그, 즉 mb_ic_flag가 필요하다.
현재 블록의 DVIC와 인접한 블록들의 DVIC와는 매우 높은 상관 관계가 존재하므로, 현재 블록의 DVIC는 인접한 블록들의 DVIC와의 차를 부호화해서 보내는 방식을 취한다.
이하에서는 인터 16x16 모드에 대한 매크로블록 단위의 ICA ME/MC를 설명한다.
ICA ME/MC를 위해서는 새로운 SAD (sum of absolute difference)가 정의되어야 한다. 현재 프레임의 (i,j) 위치의 화소를 f(i,j)라고 하고, 참조 프레임의 (i,j) 위치의 화소를 r(i,j)라고 하면, SxT 크기의 블록들에 대한 SAD는 아래 수학식 1과 같이 계산된다. 여기에서, SxT는 16x16, 16x8, 8x16, 8x8,8x4,4x8,4x4 등이 가능하다.
Figure 112007042174010-pat00001
여기에서 (x,y)는 후보 움직임 벡터이고, (m,n)은 현재 블록의 위치를 의미한다.
조도 변환을 보상하기 위해서는, 새로운 SAD가 필요하다. 이는 아래 수학식 2 및 3에 의해 구해진다.
Figure 112007042174010-pat00002
여기에서, Mcur은 현재 블록 내 화소들의 평균치이며, Mref는 참조 블록 내 화소들의 평균치이다. 또한, (p,q)는 참조 블록의 위치이다. 새로운 SAD, 즉 NewSAD (x,y)는 아래 수학식 3에 의해 구해진다.
Figure 112007042174010-pat00003
ICA ME/MC 방식에서는 수학식 3에 근거하여 NewSAD (x,y)가 최소가 되도록 하는 블록, 예를 들어 16x16 블록을 탐색하고, 이에 대응하는 MV를 찾는다.
NewSAD (x,y)가 최소가 되도록 하는 움직임 벡터 MV(x`, y`)가 결정되면, 조도 보상 잔차 신호 NewR(i,j)는 아래 수학식 4에 의해 결정된다.
Figure 112007042174010-pat00004
이때, 1 비트 플래그인 mb_ic_flag이 ICA ME/MC가 사용되었는지 여부를 나타내기 위해 신택스(syntax)에 저장된다. DVIC의 DPCM 값도 또한 신택스에 포함된다. 본 실시예에서는 mb_ic_flag이 0 이면 현재 블록에 대해 ICA MC가 수행되지 않은 것을 나타낸다. 또한, mb_ic_flag이 1 이면 현재 블록에 대해 ICA MC가 수행된 것을 나타낸다.
또한, mb_ic_flag이 1 이면, 복호화 장치의 ICA ME/MC부는 아래 수학식 5를 이용하여 복원 화소를 구한다.
Figure 112007042174010-pat00005
수학식 5에서 NewR``(i,j)는 복원된 조도 보상 잔차 신호이며, f`(i,j)는 복원된 현재 플레임 내의 화소를 의미한다.
이러한 종래의 ICA ME/MC 방식에서는 DVIC 정보를 전송하여야 하기 때문에 부호화 효율이 저하되는 문제점이 있었다.
이러한 조도 보상 방법을 개선하여 DVIC 정보를 생략할 수 있는 조도 보상 방법에 제안되었다. DVIC 정보를 생략하기 위하여 다음의 수학식 6을 이용하여 조도 보상된 참조 블록을 생성한다.
Figure 112007042174010-pat00006
수학식 6에서 ax ,y 및 bx ,y는 움직임 벡터 (x,y)에 따라 가변되는 값을 가지며, 각 움직임 벡터에 대해서는 상수값을 갖는다. 또한, r'x ,y(i,j)는 움직임 보상된 참조 블록을 나타내며,
Figure 112007042174010-pat00007
는 조도 보상된 참조 블록을 나타낸다. 수학식 6을 이용한 조도 보상 방식에서는 현재 블록의 주변의 복원된 화소들을 이용하여 ax,y 및 bx ,y의 값을 선형 회귀(linear aggression) 방식, 차평균 기반 예측(average of difference based prediction) 방식 및 평균차 기반 예측(difference of average based prediction) 방식을 이용하여 계산하기 때문에 DVIC 정보를 생략할 수 있는 장점이 있다. 그러나, 이러한 DVIC 정보를 생략하는 조도 보상 방식은 현재 블록의 주변의 복원된 화소들로부터 ax ,y 및 bx ,y를 계산하기 때문에 현재 블록을 이용하여 ax ,y 및 bx ,y를 계산하는 경우에 비하여 조도 변화의 예측 성능이 떨어지는 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는 가능한 현재 블록의 화소 정보를 이 용하여 조도 보상 파라미터를 결정하는 한편, 적은 조도 보상 파라미터의 전송으로도 조도 보상의 성능을 향상시키는 개선된 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화, 복호화 방법 및 장치를 제공하는 것이다.
전술한 기술적 과제를 해결하기 위하여 본 발명에 따른 참조 블록의 조도 보상 방법은 현재 블록의 복원된 주변 화소들의 화소값 및 상기 참조 블록의 복원된 주변 화소들의 화소값을 입력받는 단계; 상기 입력된 현재 블록의 복원된 주변 화소들의 화소값 및 상기 참조 블록의 복원된 주변 화소들의 화소값에 기초하여, 상기 현재 블록 및 상기 참조 블록의 화소들의 평균값을 예측하는 단계; 상기 예측된 현재 블록의 화소들의 평균값, 상기 예측된 참조 블록의 화소들의 평균값, 상기 현재 블록과 상기 참조 블록의 화소값에 기초하여 상기 참조 블록의 조도 보상을 위한 조도 보상 파라미터를 결정하는 단계; 및 상기 결정된 조도 보상 파라미터를 이용하여 상기 참조 블록에 대해 조도 보상을 수행하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 참조 블록의 조도 보상 장치는 현재 블록의 복원된 주변 화소들의 화소값 및 상기 참조 블록의 복원된 주변 화소들의 화소값에 기초하여, 상기 현재 블록 및 상기 참조 블록의 화소들의 평균값을 예측하는 평균값 예측부; 상기 예측된 현재 블록의 화소들의 평균값, 상기 예측된 참조 블록의 화소들의 평균값, 상기 현재 블록과 상기 참조 블록의 화소값에 기초하여 상기 참조 블록의 조도 보상을 위한 조도 보상 파라미터를 결정하는 조도 보상 파라미터 계산부; 및 상기 결정된 조도 보상 파라미터를 이용하여 상기 참조 블록에 대해 조도 보상을 수행하는 조도 보상 수행부를 포함하는 것을 특징으로 한다.
본 발명에 따른 조도 보상에 기반한 영상 부호화 방법은 현재 블록의 예측 블록을 생성하는데 이용되는 참조 블록을 결정하는 단계; 상기 결정된 참조 블록의 조도 보상을 위한 조도 보상 파라미터를 결정하는 단계; 상기 결정된 조도 보상 파라미터를 이용하여 상기 참조 블록에 대한 조도 보상을 수행하는 단계; 상기 조도 보상된 참조 블록을 이용하여 상기 현재 블록의 예측 블록을 생성하고, 상기 생성된 예측 블록과 상기 현재 블록의 차이값을 부호화하여 비트스트림을 생성하는 단계; 및 상기 생성된 비트스트림의 소정 영역에 상기 결정된 조도 보상 파라미터 정보를 저장하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 조도 보상에 기반한 영상 부호화 장치는 현재 블록의 예측 블록을 생성하는데 이용되는 참조 블록을 결정하는 예측부; 상기 결정된 참조 블록의 조도 보상을 위한 조도 보상 파라미터를 결정하고, 상기 결정된 조도 보상 파라미터를 이용하여 상기 참조 블록에 대한 조도 보상을 수행하는 조도 보상부; 및 상기 조도 보상된 참조 블록을 이용하여 상기 현재 블록의 예측 블록을 생성하고, 상기 생성된 예측 블록과 상기 현재 블록의 차이값을 부호화하여 비트스트림을 생성하며 상기 생성된 비트스트림의 소정 영역에 상기 결정된 조도 보상 파라미터 정보를 저장하는 부호화부를 포함하는 것을 특징으로 한다.
본 발명에 따른 조도 보상 기반 영상 복호화 방법은 수신된 비트스트림으로부터 복호화되는 현재 블록의 예측 모드 정보 및 조도 보상 파라미터를 추출하는 단계; 상기 추출된 예측 모드 정보를 이용하여 상기 현재 블록의 참조 블록을 결정하는 단계; 및 상기 추출된 조도 보상 파라미터 정보를 이용하여 상기 결정된 참조 블록에 대한 조도 보상을 수행하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 조도 보상 기반 영상 복호화 장치는 수신된 비트스트림에서 추출된 예측 모드 정보를 이용하여 복호화되는 현재 블록의 참조 블록을 결정하는 예측부; 및 상기 비트스트림에서 추출된 조도 보상 파라미터를 이용하여 상기 결정된 참조 블록에 대한 조도 보상을 수행하는 조도 보상부를 포함하는 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.
도 1은 본 발명에 따른 조도 보상 장치를 나타낸 블록도이다.
도 1을 참조하면, 본 발명에 따른 조도 보상 장치(100)는 평균값 예측부(110), 조도 보상 파라미터 계산부(120) 및 조도 보상 수행부(130)를 포함한다.
평균값 예측부(110)는 현재 블록의 복원된 주변 화소값 및 참조 블록의 복원된 주변 화소값에 기초하여 현재 블록과 참조 블록의 화소들의 평균값(DC:Direct Current)을 예측한다.
조도 보상 파라미터 계산부(120)는 현재 블록의 화소들의 예측 평균값, 참조 블록의 화소들의 예측 평균값, 현재 블록과 참조 블록의 화소값에 기초하여 참조 블록의 조도 보상을 위한 조도 보상 파라미터를 결정한다. 구체적으로, 조도 보상 파라미터 계산부(120)는 현재 블록의 화소들로부터 현재 블록의 화소들의 예측 평 균값을 뺀 값과, 참조 블록의 화소들로부터 참조 블록의 화소들의 예측 평균값을 뺀 값에 기초하여 조도 보상 파라미터를 결정한다. 즉, 조도 보상 파라미터 계산부(120)는 평균값 성분이 제거된 현재 블록과 참조 블록의 화소들에 기초하여 조도 보상 파라미터를 결정한다. 조도 보상 파라미터의 구체적인 결정 과정에 대하여는 후술한다.
조도 보상 수행부(130)는 조도 보상 파라미터, 현재 블록과 참조 블록의 예측 평균값, 참조 블록의 화소들의 화소값을 이용하여 현재 블록의 조도 보상된 참조 블록을 생성한다. 여기서, 조도 보상된 참조 블록은 현재 블록의 예측 블록에 해당된다. 또한, 참조 블록은 싱글 뷰인 경우에는 복원된 이전 프레임 내의 블록 또는 현재 프레임에서 이미 복원된 다른 컬러 성분의 프레임 내의 블록이 될 수 있으며, 멀티뷰 코딩(Multi-View Coding:MVC) 방식에서는 인접한 뷰의 복원된 프레임 중 어느 하나의 프레임 내의 블록이 될 수 있다.
이하에서는 도 2a 및 도 2b를 참조하여 본 발명에 따라서 현재 블록 및 참조 블록의 화소들의 예측 평균값을 계산하는 방법 및 조도 보상 파라미터를 결정하는 방법에 관하여 설명한다.
도 2a의 굵은 실선 블록은 참조 프레임 내 움직임 벡터(x,y)에 대응되는 16x16 크기의 복원된 참조 블록(210)을 나타낸다. 움직임 벡터 (x,y)에 대응하는 참조 블록 내 (i,j) 위치의 복원된 화소값은 r`x ,y(i,j)로 표시된다. 여기에서, 첨자 `는 복원된 값을 의미한다. 한편, 음영으로 표시된 화소들은 복원된 주변 화소 값들을 나타낸다. 도 2b의 굵은 실선 블록은 16x16 크기의 현재 블록(220)을 나타낸다. 현재 블록 내 (i,j) 위치의 원 화소 값은 f(i,j)로 표시된다. 음영으로 표시된 주변 화소들은 현재 블록의 복원된 주변 화소들을 나타낸다. 도 2a에서와 마찬가지로 첨자 `는 복원된 값을 의미한다.
평균값 예측부(110)는 블록 내부의 화소들과 주변 화소들의 조도 사이의 차이가 크지 않다는 것을 고려하여 현재 블록의 주변 화소들의 화소값의 평균값을 현재 블록의 화소들의 평균값으로 예측하고, 참조 블록의 주변 화소들의 화소값의 평균값을 참조 블록의 화소들의 평균값으로 예측한다. 도 2a 및 도 2b를 참조하면, 16x16 모드의 경우 참조 블록(210)의 주변 화소들의 평균값 DCr과 현재 블록의 주변 화소들의 평균값 DCf는 다음의 수학식 7과 같이 계산될 수 있다.
Figure 112007042174010-pat00008
Figure 112007042174010-pat00009
전술한 바와 같이 블록 내부의 화소들과 주변 화소들의 조도 사이의 차이가 크지 않다는 것을 고려하여, 평균값 예측부(110)는 계산된 참조 블록(210)의 주변 화소들의 평균값 DCr과 현재 블록의 주변 화소들의 평균값을 DCf를 각각 참조 블록과 현재 블록의 예측 평균값으로 결정한다.
한편, 본 발명에 따른 현재 블록과 참조 블록의 화소값들의 평균값을 예측하는 과정은 크게 가변 DC 모드와 고정 DC 모드로 분류될 수 있다. 가변 DC 모드에서는 16x16 크기의 블록을 16x16, 8x8 및 4x4 크기의 블록으로 분류한 다음 최적의 모드를 결정한다. 고정 DC 모드에서는 16x16, 8x8 및 4x4 크기의 블록들 중에서 한 가지 블록을 결정하여 하나의 슬라이스 또는 하나의 프레임 또는 영상 전체에 대하여 결정된 블록 크기에 따라 평균값을 예측한다. 전술한 수학식 7과 유사하게 8x8 및 4x4 크기의 블록 단위로 현재 블록과 참조 블록의 화소들의 평균값을 예측할 때, 예측 평균값은 각각 다음의 수학식 8 및 9를 이용하여 예측될 수 있다.
Figure 112007042174010-pat00010
Figure 112007042174010-pat00011
Figure 112007042174010-pat00012
Figure 112007042174010-pat00013
한편, 조도 보상 파라미터를 ax ,y, 현재 블록 및 참조 블록의 크기를 MxN(M,N 은 양의 정수), 현재 블록 내의 (i,j)(0≤i≤M, 0≤j≤N, i,j는 정수) 위치의 화소값을 f(i,j), 현재 블록의 (i,j) 위치의 화소값의 예측값을 fE(i,j), 참조 블록의 (i,j) 위치의 복원된 화소값을 r'x ,y(i,j) 라고 할 때, 조도 보상 수행부(130)는 현재 블록 내의 화소값의 예측값 fE(i,j)를 다음의 수학식 10을 이용하여 예측할 수 있다.
Figure 112007042174010-pat00014
수학식 10에서 현재 블록의 주변 화소들의 평균값인 DCf를 좌측으로 이항시키면, 현재 블록의 화소들로부터 현재 블록의 화소들의 예측 평균값을 뺀 값과, 참조 블록의 화소들로부터 참조 블록의 화소들의 예측 평균값을 뺀 값에 기초하여 조도 보상 파라미터(ax ,y)가 결정됨을 알 수 있다. 수학식 10을 통해 계산된 현재 블록의 예측 화소값(fE(i,j))은 8비트 영상의 경우 [0,255]로 클리핑된다.
다시 도 1을 참조하면, 전술한 수학식 10과 같이 조도 보상 수행부(130)에서 참조 블록의 복원된 화소들과 참조 블록의 주변 화소들의 평균값의 차이에 소정의 조도 보상 파라미터(ax ,y)를 곱한 후, 현재 블록의 주변 화소들의 평균값을 더함으로써 조도 보상된 참조 블록, 즉 현재 블록의 조도 보상된 예측 블록이 생성되면, 조도 보상 파라미터 계산부(120)는 조도 보상된 참조 블록의 화소들(fE(i,j))과 현 재 블록의 원 화소들(fE(i,j)) 사이의 차이가 최소가 되는 조도 보상 파라미터(ax ,y)를 결정한다. 이 때, 조도 보상 파라미터 계산부(120)는 미리 정의된 소정 개수의 조도 보상 파라미터들, 예를 들어 n개의 미리 정해진 조도 보상 파라미터들인 {a0, a1, ..., an}을 각각 적용하여 조도 보상된 참조 블록의 화소들(fE(i,j))과 현재 블록의 원 화소들(fE(i,j)) 사이의 차이값을 계산한 후, 차이값이 최소가 되는 조도 보상 파라미터를 결정하고 결정된 조도 보상 파라미터를 나타내는 소정의 인덱스 정보만을 복호화단에 전송할 수 있다. 이 경우 복호화단에서는 미리 정의된 인덱스 정보만을 보고서 조도 보상 파라미터를 결정할 수 있다.
한편, 조도 보상 파라미터는 16x16, 8x8, 4x4 크기 등 다양한 크기의 블록 단위로 매크로 블록을 분할하고, 각각의 블록마다 독립적인 조도 보상 파라미터를 갖도록 할 수 있다. 도 3a 및 도 3b를 참조하면, 8x8 크기 또는 4x4 크기의 블록 단위로 조도 보상 파라미터를 결정하는 경우 좌에서 우, 위에서 아래 방향의 블록 단위로 각 블록을 처리하여 조도 보상 파라미터를 결정하게 된다.
조도 보상 파라미터의 결정을 위한 모드로는 크게 가변 모드와 고정 모드가 있다. 가변 모드에는 16x16 모드, 8x8 모드, 4x4 모드 등의 세 개의 모드가 존재할 수 있으며, 각 모드에 따라 조도 보상 파라미터의 값은 변경될 수 있다. 고정모드에는 16x16 모드, 8x8 모드, 4x4 모드 등의 세 개의 모드가 존재할 수 있으나, 16x16 블록마다 한 개의 조도 보상 파라미터를 가진다. 따라서, 16x16 블록 내의 각 모드에서의 조도 보상 파라미터는 모두 고정된 한 개의 값을 사용한다. 다시 말해서, 고정 모드에서는 가변 모드처럼 슬라이스, 프레임, 영상 전체에 대해서 블록마다 다른 크기의 블록 모드(16x16 모드, 8x8 모드, 4x4 모드)를 가질 수 있다. 그러나, 가변 모드에서는 각각의 블록마다 가변적으로 다른 조도 보상 파라미터 값을 가지지만 고정 모드에서는 소정 크기의 블록 내에 구비된 서브 블록들은 모두 같은 조도 보상 파라미터를 갖는 차이점이 있다. 일 예로, 고정모드에서는 16x16 블록 내부의 서브 블록은 한 개의 조도 보상 파라미터를 공유하지만, 다른 16x16 블록과는 다른 조도 보상 파라미터를 갖을 수 있다. 이 경우 가변 모드에서는 16x16 블록 내부의 서브 블록마다 다른 조도 보상 파라미터를 갖는다.
또한, 16x16 크기의 블록을 부호화할 때, 16x16 모드, 8x8 모드, 4x4 모드를 적용하는 경우 각각 1개, 4개, 16개의 조도 보상 파라미터를 전송하여야 한다. 조도 보상 파라미터의 개수가 증가하는 경우 전송되어야 하는 데이터량이 증가할 수 있기 때문에, 부호화단과 복호화단에서 사전에 조도 보상 파라미터 세트를 정의한 다음, 조도 보상 파라미터 세트에 구비된 조도 보상 파라미터들 중 가장 적합한 조도 보상 파라미터를 결정하고 결정된 조도 보상 파라미터의 인덱스 정보만을 전송함으로써 전송되는 데이터량을 감소시킬 수 있다. 또한, 가변 모드와 고정 모드 중에서 적용되는 블록 크기가 고정된 고정 모드를 이용하는 경우에는 모드 정보량을 줄일 수 있다.
도 4는 본 발명에 따른 조도 보상 방법을 나타낸 플로우 차트이다.
단계 410에서 현재 블록의 복원된 주변 화소들의 화소값 및 참조 블록의 복원된 주변 화소들의 화소값을 입력받는다. 여기서, 참조 블록은 싱글 뷰인 경우에 는 복원된 이전 프레임 내의 블록 또는 현재 프레임에서 이미 복원된 다른 컬러 성분의 프레임 내의 블록이 될 수 있으며, 멀티뷰 코딩(Multi-View Coding:MVC) 방식에서는 인접한 뷰의 복원된 프레임 중 어느 하나의 프레임 내의 블록이 될 수 있다.
단계 420에서, 입력된 현재 블록의 복원된 주변 화소들의 화소값 및 참조 블록의 복원된 주변 화소들의 화소값에 기초하여, 현재 블록 및 참조 블록의 화소들의 평균값을 예측한다. 전술한 바와 같이, 블록 내의 화소들과 주변 화소들 사이의 조도 차이가 크지 않은 것을 고려하여 현재 블록의 주변 화소들의 화소값의 평균값을 그대로 현재 블록의 화소들의 평균값으로 예측하고, 참조 블록의 주변 화소들의 화소값의 평균값을 그대로 참조 블록의 화소들의 평균값으로 예측할 수 있다.
단계 430에서, 예측된 현재 블록의 화소들의 평균값, 예측된 참조 블록의 화소들의 평균값, 현재 블록과 참조 블록의 화소값에 기초하여 참조 블록의 조도 보상을 위한 조도 보상 파라미터를 결정한다. 전술한 수학식 10과 같이, 참조 블록의 복원된 화소들과 상기 참조 블록의 주변 화소들의 평균값의 차이에 소정의 조도 보상 파라미터를 곱한 후, 상기 현재 블록의 주변 화소들의 평균값을 더함으로써 조도 보상된 참조 블록, 즉 현재 블록의 예측 블록을 생성한 다음 조도 보상된 참조 블록의 화소들과 현재 블록의 화소들 사이의 차이가 최소가 되도록 하는 조도 보상 파라미터를 결정한다.
단계 440에서, 결정된 조도 보상 파라미터를 이용하여 참조 블록에 대해 조도 보상을 수행한다.
도 5는 본 발명에 따른 조도 보상 장치가 적용된 영상 부호화 장치의 구성을 나타낸 블록도이다.
도 5를 참조하면, 본 발명에 따른 영상 부호화 장치(500)는 변환 및 양자화부(510), 역변환 및 역양자화부(520), 프레임 저장부(530), 조도 보상부(540), 예측부(550), 감산부(560) 및 가산부(562)를 포함한다.
변환 및 양자화부(510)는 영상 데이터의 공간 중복성(spatial redundancy)을 없애기 위해, 입력된 영상 데이터를 변환(transform) 한다. 또한, 변환 부호화하여 얻어진 변환 계수값들을 소정 양자화 스텝에 따라 양자화하여 양자화된 변환 계수값들로 구성된 2차원 데이터인 N×M 데이터를 얻는다. 사용되는 영상 변환의 예로는 DCT(Discrete Cosine Transform)를 들 수 있다. 양자화는 미리 결정된 양자화 스텝에 따라 수행된다.
역변환 및 역양자화부(520)는 변환 및 양자화부(510)에서 양자화된 영상 데이터를 역양자화하고, 역양자화된 영상 데이터를 역 영상 변환, 예를 들어 역 DCT한다.
가산부(562)는 예측부(550)에서 출력된 예측 영상과 역변환 및 역양자화부(520)에서 복원된 데이터를 가산하여 복원 영상을 생성한다. 프레임 저장부(530)는 가산부(562)에서 복원된 영상을 프레임 단위로 저장한다.
예측부(550)는 부호화되는 현재 블록의 예측 블록을 생성하며, 예측 블록의 생성을 위해 참조 블록을 결정한다. 전술한 바와 같이 참조 블록은 싱글 뷰인 경우에는 복원된 이전 프레임 내의 블록 또는 현재 프레임에서 이미 복원된 다른 컬 러 성분의 프레임 내의 블록이 될 수 있으며, 멀티뷰 코딩(Multi-View Coding:MVC) 방식에서는 인접한 뷰의 복원된 프레임 중 어느 하나의 프레임 내의 블록이 될 수 있다.
조도 보상부(540)는 결정된 참조 블록의 조도 보상을 위한 조도 보상 파라미터를 결정하고, 결정된 조도 보상 파라미터를 이용하여 참조 블록에 대한 조도 보상을 수행하여 조도 보상된 참조 블록을 출력한다. 출력된 조도 보상된 참조 블록은 현재 블록의 예측 블록에 해당되며 입력된 현재 블록과의 차이인 레지듀얼 블록이 부호화된다. 한편 조도 보상부(540)에서 결정된 조도 보상 파라미터 정보는 엔트로피 부호화부(570)에서 생성된 비트스트림의 소정 영역에 저장되어 복호화단에서 참조 블록의 조도 보상을 위한 조도 보상 파라미터를 결정할 수 있도록 한다. 조도 보상부(540)는 도 1의 조도 보상 장치(100)와 동일한 기능을 수행하므로, 구체적인 설명은 생략한다.
도 6은 본 발명에 따른 조도 보상 방법을 적용한 영상 부호화 방법을 나타낸 플로우 차트이다.
도 6을 참조하면, 단계 610에서 현재 블록의 예측 블록을 생성하는데 이용되는 참조 블록을 결정한다.
단계 620에서, 결정된 참조 블록의 조도 보상을 위한 조도 보상 파라미터를 결정한다. 전술한 바와 같이, 참조 블록의 복원된 화소들과 참조 블록의 주변 화소들의 평균값의 차이에 소정의 가중치, 즉 조도 보상 파라미터를 곱한 후 현재 블록의 주변 화소들의 평균값을 더함으로써 조도 보상된 참조 블록을 생성하고, 조 도 보상된 참조 블록의 화소들과 현재 블록의 화소들 사이의 차이가 최소가 되는 가중치를 조도 보상 파라미터로 결정한다.
단계 630에서 결정된 조도 보상 파라미터를 이용하여 참조 블록에 대한 조도 보상을 수행한다.
단계 640에서 조도 보상된 참조 블록을 이용하여 현재 블록의 예측 블록을 생성하고, 생성된 예측 블록과 현재 블록의 차이값을 부호화하여 비트스트림을 생성한다.
단계 650에서 생성된 비트스트림의 소정 영역에 결정된 조도 보상 파라미터 정보를 저장한다.
도 7은 본 발명에 따른 영상 복호화 장치의 구성을 나타낸 블록도이다.
도 7을 참조하면, 본 발명에 따른 영상 복호화 장치는 엔트로피 복호화부(710), 역양자화 및 역변환부(720), 프레임 저장부(730), 예측부(740), 조도 보상부(750), 및 가산부(760)를 포함한다.
엔트로피 복호화부(710)는 부호화된 비트스트림을 엔트로피 복호화하여, 영상 데이터, 예측 모드 정보 및 조도 보상 파라미터 정보 등을 추출한다. 엔트로피 복호화된 영상 데이터는 역양자화 및 역변환부(720)로 입력되고, 예측 모드 정보는 예측부(740)로 입력되며, 조도 보상 파라미터 정보는 조도 보상부(750)로 입력된다.
역변환 및 역양자화부(720)는 엔트로피 복호화부(710)에서 추출된 영상 데이터에 대해 역변환 및 역양자화를 수행한다. 가산부(760)는 역변환 및 역양자화 부(720)에서 역양자화 및 역변환된 영상 데이터와 조도 보상부(750)에서 조도 보상된 예측 블록을 더하여 영상을 복원하며, 프레임 저장부(730)는 복원된 영상을 프레임 단위로 저장한다.
예측부(740)는 비트스트림에서 추출된 예측 모드 정보를 이용하여 복호화되는 현재 블록의 참조 블록을 결정한다.
조도 보상부(750)는 비트스트림에서 추출된 조도 보상 파라미터를 이용하여 결정된 참조 블록에 대한 조도 보상을 수행하여 조도 보상된 참조 블록을 생성한다. 조도 보상된 참조 블록은 현재 블록의 예측 블록에 해당한다.
도 8은 본 발명에 따른 영상 복호화 방법을 나타낸 플로우 차트이다.
도 8을 참조하면, 단계 810에서 수신된 비트스트림으로부터 복호화되는 현재 블록의 예측 모드 정보 및 조도 보상 파라미터를 추출한다.
단계 820에서 추출된 예측 모드 정보를 이용하여 현재 블록의 참조 블록을 결정한다.
단계 830에서, 추출된 조도 보상 파라미터 정보를 이용하여 결정된 참조 블록에 대한 조도 보상을 수행한다. 참조 블록에 대한 조도 보상 과정은 전술한 수학식 10을 이용하여 수행될 수 있다.
단계 840에서, 조도 보상된 참조 블록과 복원된 레지듀얼 데이터를 더하여 현재 블록을 복원한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스 템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
전술한 본 발명은 참조 블록의 조도 보상을 위한 조도 보상 파라미터의 일부를 현재 블록의 화소값을 이용하여 예측함으로써 주변 화소만을 이용하여 조도 보상 파라미터를 이용하는 경우에 비하여 현재 블록의 영상 특성을 효율적으로 반영할 수 있으므로 영상의 부호화 효율이 향상된다. 또한 본 발명에 따르면 적은 데이터량을 가진 조도 보상 파라미터만으로도 효율적으로 현재 블록의 화소값을 예측할 수 있으므로 부호화 효율을 향상시킬 수 있다.

Claims (23)

  1. 참조 블록의 조도 보상 방법에 있어서,
    현재 블록의 복원된 주변 화소들의 화소값 및 상기 참조 블록의 복원된 주변 화소들의 화소값을 입력받는 단계;
    상기 입력된 현재 블록의 복원된 주변 화소들의 화소값 및 상기 참조 블록의 복원된 주변 화소들의 화소값에 기초하여, 상기 현재 블록 및 상기 참조 블록의 화소들의 평균값을 예측하는 단계;
    상기 예측된 현재 블록의 화소들의 평균값, 상기 예측된 참조 블록의 화소들의 평균값, 상기 현재 블록과 상기 참조 블록의 화소값에 기초하여 상기 참조 블록의 조도 보상을 위한 조도 보상 파라미터를 결정하는 단계; 및
    상기 결정된 조도 보상 파라미터를 이용하여 상기 참조 블록에 대해 조도 보상을 수행하는 단계를 포함하는 것을 특징으로 하는 조도 보상 방법.
  2. 제 1항에 있어서,
    상기 현재 블록 및 상기 참조 블록의 화소들의 평균값을 예측하는 단계는
    상기 현재 블록의 주변 화소들의 화소값의 평균값을 상기 현재 블록의 화소들의 평균값으로 예측하고, 상기 참조 블록의 주변 화소들의 화소값의 평균값을 상기 참조 블록의 화소들의 평균값으로 예측하는 것을 특징으로 하는 조도 보상 방법.
  3. 제 1항에 있어서, 상기 조도 보상 파라미터를 결정하는 단계는
    상기 참조 블록의 복원된 화소들과 상기 참조 블록의 주변 화소들의 평균값의 차이에 소정의 조도 보상 파라미터를 곱한 후, 상기 현재 블록의 주변 화소들의 평균값을 더함으로써 생성된 상기 조도 보상된 참조 블록의 화소들과 현재 블록의 화소들 사이의 차이가 최소가 되는 상기 조도 보상 파라미터를 결정하는 단계를 더 포함하는 것을 특징으로 하는 조도 보상 방법.
  4. 제 1항에 있어서, 상기 조도 보상 파라미터를 결정하는 단계는
    상기 조도 보상 파라미터를 ax ,y, 상기 현재 블록 및 참조 블록의 크기를 MxN(M,N은 양의 정수), 상기 현재 블록 내의 (i,j)(0≤i≤M, 0≤j≤N, i,j는 정수) 위치의 화소값을 f(i,j), 상기 현재 블록의 (i,j) 위치의 화소값의 예측값을 fE(i,j), 상기 참조 블록의 (i,j) 위치의 복원된 화소값을 r'x ,y(i,j), 상기 현재 블록의 주변 화소들의 평균값을 DCf, 상기 참조 블록의 주변 화소들의 평균값을 DCr이라고 할 때,
    다음의 수학식;
    Figure 112007042174010-pat00015
    을 이용하여 상기 조도 보상된 참조 블록을 생성하는 단계;
    상기 현재 블록의 각 화소값 f(i,j)과 상기 예측값 fE(i,j) 사이의 차이의 합을 계산하여 상기 차이의 합이 최소가 되는 상기 조도 보상 파라미터 ax ,y를 결정하는 단계를 포함하는 것을 특징으로 하는 조도 보상 방법.
  5. 제 1항에 있어서, 상기 조도 보상 파라미터를 결정하는 단계는
    미리 정의된 소정 개수의 조도 보상 파라미터들 중에서 상기 조도 보상된 참조 블록과 상기 현재 블록의 화소값들의 차이가 최소가 되도록 하는 조도 보상 파라미터를 결정하는 것을 특징으로 하는 조도 보상 방법.
  6. 제 1항에 있어서, 상기 조도 보상 파라미터를 결정하는 단계는
    소정 크기의 블록마다 서로 다른 조도 보상 파라미터를 결정하는 가변 모드 및 상기 소정 크기의 블록 내에 구비된 서브 블록들에 대해서 동일한 조도 보상 파라미터를 결정하는 고정 모드 중 선택된 모드에 따라서 수행되는 것을 특징으로 하는 조도 보상 방법.
  7. 참조 블록의 조도 보상 장치에 있어서,
    현재 블록의 복원된 주변 화소들의 화소값 및 상기 참조 블록의 복원된 주변 화소들의 화소값에 기초하여, 상기 현재 블록 및 상기 참조 블록의 화소들의 평균값을 예측하는 평균값 예측부;
    상기 예측된 현재 블록의 화소들의 평균값, 상기 예측된 참조 블록의 화소들의 평균값, 상기 현재 블록과 상기 참조 블록의 화소값에 기초하여 상기 참조 블록의 조도 보상을 위한 조도 보상 파라미터를 결정하는 조도 보상 파라미터 계산부; 및
    상기 결정된 조도 보상 파라미터를 이용하여 상기 참조 블록에 대해 조도 보상을 수행하는 조도 보상 수행부를 포함하는 것을 특징으로 하는 조도 보상 장치.
  8. 제 7항에 있어서, 상기 평균값 예측부는
    상기 현재 블록의 주변 화소들의 화소값의 평균값을 상기 현재 블록의 화소들의 평균값으로 예측하고, 상기 참조 블록의 주변 화소들의 화소값의 평균값을 상기 참조 블록의 화소들의 평균값으로 예측하는 것을 특징으로 하는 조도 보상 장치.
  9. 제 7항에 있어서, 상기 조도 보상 파라미터 계산부는
    상기 참조 블록의 복원된 화소들과 상기 참조 블록의 주변 화소들의 평균값의 차이에 소정의 조도 보상 파라미터를 곱한 후, 상기 현재 블록의 주변 화소들의 평균값을 더함으로써 생성된 조도 보상된 참조 블록의 화소들과 현재 블록의 화소들 사이의 차이가 최소가 되는 상기 조도 보상 파라미터를 결정하는 것을 특징으로 하는 조도 보상 장치.
  10. 제 7항에 있어서, 상기 조도 보상 수행부는
    상기 조도 보상 파라미터를 ax ,y, 상기 현재 블록 및 참조 블록의 크기를 MxN(M,N은 양의 정수), 상기 현재 블록 내의 (i,j)(0≤i≤M, 0≤j≤N, i,j는 정수) 위치의 화소값을 f(i,j), 상기 현재 블록의 (i,j) 위치의 화소값의 예측값을 fE(i,j), 상기 참조 블록의 (i,j) 위치의 복원된 화소값을 r'x ,y(i,j), 상기 현재 블록의 주변 화소들의 평균값을 DCf, 상기 참조 블록의 주변 화소들의 평균값을 DCr이라고 할 때,
    다음의 수학식;
    Figure 112007042174010-pat00016
    을 이용하여 상기 조도 보상된 참조 블록을 생성하고,
    상기 조도 보상 파라미터 계산부는
    상기 현재 블록의 각 화소값 f(i,j)과 상기 예측값 fE(i,j) 사이의 차이의 합을 계산하여 상기 차이의 합이 최소가 되는 상기 조도 보상 파라미터 ax ,y를 결정하는 것을 특징으로 하는 조도 보상 장치.
  11. 제 7항에 있어서, 상기 조도 보상 파라미터 계산부는
    미리 정의된 소정 개수의 조도 보상 파라미터들 중에서 상기 조도 보상된 참조 블록과 상기 현재 블록의 화소값들의 차이가 최소가 되도록 하는 조도 보상 파 라미터를 결정하는 것을 특징으로 하는 조도 보상 장치.
  12. 제 7항에 있어서, 상기 조도 보상 파라미터 계산부는
    소정 크기의 블록마다 서로 다른 조도 보상 파라미터를 결정하는 가변 모드 및 상기 소정 크기의 블록 내에 구비된 서브 블록들에 대해서 동일한 조도 보상 파라미터를 결정하는 고정 모드 중 선택된 모드에 따라서 상기 조도 보상 파라미터를 결정하는 것을 특징으로 하는 조도 보상 장치.
  13. 조도 보상에 기반한 영상 부호화 방법에 있어서,
    현재 블록의 예측 블록을 생성하는데 이용되는 참조 블록을 결정하는 단계;
    상기 결정된 참조 블록의 조도 보상을 위한 조도 보상 파라미터를 결정하는 단계;
    상기 결정된 조도 보상 파라미터를 이용하여 상기 참조 블록에 대한 조도 보상을 수행하는 단계;
    상기 조도 보상된 참조 블록을 이용하여 상기 현재 블록의 예측 블록을 생성하고, 상기 생성된 예측 블록과 상기 현재 블록의 차이값을 부호화하여 비트스트림을 생성하는 단계; 및
    상기 생성된 비트스트림의 소정 영역에 상기 결정된 조도 보상 파라미터 정보를 저장하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  14. 제 13항에 있어서, 상기 조도 보상 파라미터를 결정하는 단계는
    상기 참조 블록의 복원된 화소들과 상기 참조 블록의 주변 화소들의 평균값의 차이에 소정의 가중치를 곱한 후, 상기 현재 블록의 주변 화소들의 평균값을 더함으로써 조도 보상된 참조 블록을 생성하는 단계; 및
    상기 조도 보상된 참조 블록의 화소들과 현재 블록의 화소들 사이의 차이가 최소가 되는 상기 가중치를 상기 조도 보상 파라미터로 결정하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  15. 제 13항에 있어서,
    상기 조도 보상 파라미터를 결정하는 단계는
    미리 정의된 소정 개수의 조도 보상 파라미터들 중에서 상기 조도 보상된 참조 블록과 상기 현재 블록의 화소값들의 차이가 최소가 되도록 하는 조도 보상 파라미터를 결정하며,
    상기 결정된 조도 보상 파라미터 정보를 저장하는 단계는
    상기 결정된 조도 보상 파라미터를 나타내는 소정의 인덱스 정보를 상기 비트스트림에 저장하는 것을 특징으로 하는 영상 부호화 방법.
  16. 조도 보상에 기반한 영상 부호화 장치에 있어서,
    현재 블록의 예측 블록을 생성하는데 이용되는 참조 블록을 결정하는 예측부;
    상기 결정된 참조 블록의 조도 보상을 위한 조도 보상 파라미터를 결정하고, 상기 결정된 조도 보상 파라미터를 이용하여 상기 참조 블록에 대한 조도 보상을 수행하는 조도 보상부; 및
    상기 조도 보상된 참조 블록을 이용하여 상기 현재 블록의 예측 블록을 생성하고, 상기 생성된 예측 블록과 상기 현재 블록의 차이값을 부호화하여 비트스트림을 생성하며 상기 생성된 비트스트림의 소정 영역에 상기 결정된 조도 보상 파라미터 정보를 저장하는 부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  17. 제 16항에 있어서, 상기 조도 보상부는
    상기 참조 블록의 복원된 화소들과 상기 참조 블록의 주변 화소들의 평균값의 차이에 소정의 가중치를 곱한 후, 상기 현재 블록의 주변 화소들의 평균값을 더함으로써 조도 보상된 참조 블록을 생성하고, 상기 조도 보상된 참조 블록의 화소들과 현재 블록의 화소들 사이의 차이가 최소가 되는 상기 가중치를 상기 조도 보상 파라미터로 결정하는 것을 특징으로 하는 영상 부호화 장치.
  18. 제 16항에 있어서, 상기 조도 보상부는
    미리 정의된 소정 개수의 조도 보상 파라미터들 중에서 상기 조도 보상된 참조 블록과 상기 현재 블록의 화소값들의 차이가 최소가 되도록 하는 조도 보상 파라미터를 결정하는 것을 특징으로 하는 영상 부호화 장치.
  19. 제 16항에 있어서,
    상기 조도 보상부는
    미리 정의된 소정 개수의 조도 보상 파라미터들 중에서 상기 조도 보상된 참조 블록과 상기 현재 블록의 화소값들의 차이가 최소가 되도록 하는 조도 보상 파라미터를 결정하며,
    상기 부호화부는
    상기 결정된 조도 보상 파라미터를 나타내는 소정의 인덱스 정보를 상기 비트스트림에 저장하는 것을 특징으로 하는 영상 부호화 장치.
  20. 조도 보상 기반 영상 복호화 방법에 있어서,
    수신된 비트스트림으로부터 복호화되는 현재 블록의 예측 모드 정보 및 조도 보상 파라미터를 추출하는 단계;
    상기 추출된 예측 모드 정보를 이용하여 상기 현재 블록의 참조 블록을 결정하는 단계; 및
    상기 추출된 조도 보상 파라미터 정보를 이용하여 상기 결정된 참조 블록에 대한 조도 보상을 수행하는 단계를 포함하며,
    상기 조도 보상을 수행하는 단계는
    상기 참조 블록의 복원된 화소들과 상기 참조 블록의 주변 화소들의 평균값의 차이에 상기 추출된 조도 보상 파라미터를 곱한 후, 이전에 복호화된 상기 현재 블록의 주변 화소들의 평균값을 더함으로써 조도 보상된 참조 블록을 생성하는 것을 특징으로 하는 영상 복호화 방법.
  21. 삭제
  22. 조도 보상 기반 영상 복호화 장치에 있어서,
    수신된 비트스트림에서 추출된 예측 모드 정보를 이용하여 복호화되는 현재 블록의 참조 블록을 결정하는 예측부; 및
    상기 비트스트림에서 추출된 조도 보상 파라미터를 이용하여 상기 결정된 참조 블록에 대한 조도 보상을 수행하는 조도 보상부를 포함하며,
    상기 조도 보상부는
    상기 참조 블록의 복원된 화소들과 상기 참조 블록의 주변 화소들의 평균값의 차이에 상기 추출된 조도 보상 파라미터를 곱한 후, 이전에 복호화된 상기 현재 블록의 주변 화소들의 평균값을 더함으로써 조도 보상된 참조 블록을 생성하는 것을 특징으로 하는 영상 복호화 장치.
  23. 삭제
KR20070056760A 2007-06-11 2007-06-11 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치 KR101244917B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR20070056760A KR101244917B1 (ko) 2007-06-11 2007-06-11 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
US12/107,855 US8295634B2 (en) 2007-06-11 2008-04-23 Method and apparatus for illumination compensation and method and apparatus for encoding and decoding image based on illumination compensation
CN2008100913654A CN101325715B (zh) 2007-06-11 2008-05-08 亮度补偿方法和装置及编码和解码图像的方法和装置
JP2008141421A JP5133136B2 (ja) 2007-06-11 2008-05-29 照度補償方法及び装置、これを利用した映像の符号化、復号化方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20070056760A KR101244917B1 (ko) 2007-06-11 2007-06-11 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080108774A KR20080108774A (ko) 2008-12-16
KR101244917B1 true KR101244917B1 (ko) 2013-03-18

Family

ID=40095947

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20070056760A KR101244917B1 (ko) 2007-06-11 2007-06-11 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치

Country Status (4)

Country Link
US (1) US8295634B2 (ko)
JP (1) JP5133136B2 (ko)
KR (1) KR101244917B1 (ko)
CN (1) CN101325715B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019066449A1 (ko) * 2017-09-28 2019-04-04 삼성전자주식회사 조건부 적용 로컬 휘도 보상에 의한 비디오 복호화 방법 및 장치, 조건부 적용 로컬 휘도 보상에 의한 비디오 부호화 방법 및 장치
US10321142B2 (en) 2013-07-15 2019-06-11 Samsung Electronics Co., Ltd. Method and apparatus for video encoding for adaptive illumination compensation, method and apparatus for video decoding for adaptive illumination compensation
US10334263B2 (en) 2013-04-05 2019-06-25 Samsung Electronics Co., Ltd. Interlayer video encoding method and apparatus and interlayer video decoding method and apparatus for compensating luminance difference

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101244917B1 (ko) * 2007-06-11 2013-03-18 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
FR2948845A1 (fr) 2009-07-30 2011-02-04 Thomson Licensing Procede de decodage d'un flux representatif d'une sequence d'images et procede de codage d'une sequence d'images
JP5393573B2 (ja) * 2010-04-08 2014-01-22 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラム
RU2493668C1 (ru) * 2012-03-15 2013-09-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ кодирования/декодирования многоракурсной видеопоследовательности на основе локальной коррекции яркости и контрастности опорных кадров без передачи дополнительных служебных данных
RU2510944C2 (ru) * 2012-07-03 2014-04-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ кодирования/декодирования многоракурсной видео последовательности на основе адаптивной локальной коррекции яркости опорных кадров без передачи дополнительных параметров (варианты)
US9667942B2 (en) * 2012-11-20 2017-05-30 Qualcomm Incorporated Adaptive luminance compensation in three dimensional video coding
CN102984542B (zh) * 2012-12-14 2015-06-03 深圳百科信息技术有限公司 一种图像发生光线渐变的判定方法与判定装置
RU2533852C2 (ru) * 2012-12-26 2014-11-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ кодирования/декодирования многоракурсной видеопоследовательности на основе адаптивной компенсации локальных различий яркости при межкадровом предсказании (варианты)
US9615089B2 (en) * 2012-12-26 2017-04-04 Samsung Electronics Co., Ltd. Method of encoding and decoding multiview video sequence based on adaptive compensation of local illumination mismatch in inter-frame prediction
WO2014109594A1 (ko) 2013-01-10 2014-07-17 삼성전자 주식회사 휘도차를 보상하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
WO2014166360A1 (en) * 2013-04-10 2014-10-16 Mediatek Inc. Method and apparatus for bi-prediction of illumination compensation
WO2014166104A1 (en) * 2013-04-12 2014-10-16 Mediatek Singapore Pte. Ltd. Removal of parsing dependency for illumination compensation
CN105122796B (zh) * 2013-04-12 2019-03-29 寰发股份有限公司 三维或多视图编码及解码***中照度补偿的方法
JP6360053B2 (ja) * 2013-06-18 2018-07-18 シャープ株式会社 照度補償装置、画像復号装置、画像符号化装置
CN104021773B (zh) 2014-05-30 2015-09-09 京东方科技集团股份有限公司 一种显示器件的亮度补偿方法、亮度补偿装置及显示器件
CN104021761B (zh) 2014-05-30 2016-03-09 京东方科技集团股份有限公司 一种显示器件的亮度补偿方法、装置及显示器件
CN104656263B (zh) 2015-03-17 2017-07-04 京东方科技集团股份有限公司 三维显示方法和装置
KR101713293B1 (ko) * 2015-06-03 2017-03-07 중원대학교 산학협력단 컬러 얼굴인식을 위한 컬러 보상장치
US10356416B2 (en) 2015-06-09 2019-07-16 Qualcomm Incorporated Systems and methods of determining illumination compensation status for video coding
US10887597B2 (en) * 2015-06-09 2021-01-05 Qualcomm Incorporated Systems and methods of determining illumination compensation parameters for video coding
EP3313072B1 (en) * 2015-06-16 2021-04-07 LG Electronics Inc. Method for predicting block on basis of illumination compensation in image coding system
CN114584765A (zh) 2016-04-29 2022-06-03 英迪股份有限公司 解码和编码视频的方法以及传送比特流的方法
ES2699748B2 (es) * 2016-07-05 2021-05-13 Kt Corp Metodo y aparato para procesar senal de video
US10880570B2 (en) * 2016-10-05 2020-12-29 Qualcomm Incorporated Systems and methods of adaptively determining template size for illumination compensation
BR122021021179B1 (pt) * 2016-10-11 2022-06-14 Lg Electronics Inc Métodos de decodificação/codificação de vídeo realizado por um dispositivo de decodificação/codificação, e mídia de armazenamento legível por computador
US10848758B2 (en) * 2016-11-22 2020-11-24 Electronics And Telecommunications Research Institute Image encoding/decoding image method and device, and recording medium storing bit stream
KR20180074000A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 비디오 디코딩 방법, 이를 수행하는 비디오 디코더, 비디오 인코딩 방법, 및 이를 수행하는 비디오 인코더
EP3468198A1 (en) * 2017-10-05 2019-04-10 Thomson Licensing Method and apparatus for video encoding and decoding based on illumination compensation
WO2020085235A1 (ja) 2018-10-22 2020-04-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN116248891A (zh) * 2019-03-14 2023-06-09 华为技术有限公司 帧间预测的方法及相关装置
EP3751853A1 (en) * 2019-06-12 2020-12-16 InterDigital VC Holdings, Inc. Method and apparatus for encoding a block and decoding based on illumination compensation
CN112950484B (zh) * 2019-12-11 2023-06-16 鸣医(上海)生物科技有限公司 一种对摄影影像进行颜色污染祛除的方法
CN113014825B (zh) * 2021-01-22 2022-11-22 浙江大华技术股份有限公司 图像亮度调整方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040105964A (ko) * 2003-06-10 2004-12-17 삼성전자주식회사 동화상 내 구획별로 휘도 변화를 검출하고 보상하는 장치및 방법
KR20060060350A (ko) * 2004-11-30 2006-06-05 주식회사 휴맥스 조명 변화에 대한 적응적 움직임 예측 장치 및 방법
KR20060083054A (ko) * 2005-01-14 2006-07-20 주식회사 휴맥스 조명 변화에 대한 적응적 움직임 예측/보상 장치 및 방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
JP2000134630A (ja) 1998-10-23 2000-05-12 Canon Inc 画像符号化装置、方法、画像入力装置及びコンピュータ読み取り可能な記憶媒体
CN1165183C (zh) * 2000-05-15 2004-09-01 北京北达华彩科技有限公司 自适应色度补偿法及其补偿装置
JP2002204353A (ja) * 2000-12-28 2002-07-19 Fujitsu Ltd 画像状態推定方法、画像補正方法および補正装置
US7266247B2 (en) * 2002-09-30 2007-09-04 Samsung Electronics Co., Ltd. Image coding method and apparatus using spatial predictive coding of chrominance and image decoding method and apparatus
JP4214480B2 (ja) 2004-04-21 2009-01-28 ソニー株式会社 画像処理装置および方法、並びにプログラム
US8442108B2 (en) * 2004-07-12 2013-05-14 Microsoft Corporation Adaptive updates in motion-compensated temporal filtering
US7924923B2 (en) * 2004-11-30 2011-04-12 Humax Co., Ltd. Motion estimation and compensation method and device adaptive to change in illumination
JP2006235158A (ja) 2005-02-24 2006-09-07 Seiko Epson Corp プロジェクションシステム、プロジェクタ、プロジェクション方法、およびプロジェクションシステムに用いられるプログラム
US20070201551A1 (en) * 2006-01-09 2007-08-30 Nokia Corporation System and apparatus for low-complexity fine granularity scalable video coding with motion compensation
KR101200535B1 (ko) * 2006-01-12 2012-11-27 (주)휴맥스 매크로블록 기반의 조명 변화에 대한 적응적 움직임예측/보상 장치 및 방법
US7856148B2 (en) * 2006-01-12 2010-12-21 Lg Electronics Inc. Processing multiview video
WO2007108661A1 (en) * 2006-03-22 2007-09-27 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding the compensated illumination change
KR100934674B1 (ko) * 2006-03-30 2009-12-31 엘지전자 주식회사 비디오 신호를 디코딩/인코딩하기 위한 방법 및 장치
BRPI0719860B1 (pt) * 2006-10-18 2021-09-08 Interdigital Vc Holdings, Inc. Aparelhos, métodos e meio de armazenamento não transitório para compensação de iluminação e cor local sem sinalização explícita
KR100856411B1 (ko) 2006-12-01 2008-09-04 삼성전자주식회사 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
KR101490534B1 (ko) * 2007-01-04 2015-02-05 톰슨 라이센싱 멀티 뷰 코딩된 비디오에서 조도 보상 및/또는 컬러 보상에 대한 코딩 아티팩트 감소 방법 및 장치
WO2008084996A1 (en) * 2007-01-11 2008-07-17 Samsung Electronics Co, . Ltd. Method and apparatus for deblocking-filtering video data
US8644379B2 (en) * 2007-03-07 2014-02-04 Himax Technologies Limited De-interlacing method and method of compensating a de-interlaced pixel
KR101244917B1 (ko) * 2007-06-11 2013-03-18 삼성전자주식회사 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
KR20080114482A (ko) * 2007-06-26 2008-12-31 삼성전자주식회사 다시점 비디오 코딩에서 휘도 보상 방법 및 장치
EP2269378A2 (en) * 2008-04-25 2011-01-05 Thomson Licensing Multi-view video coding with disparity estimation based on depth information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040105964A (ko) * 2003-06-10 2004-12-17 삼성전자주식회사 동화상 내 구획별로 휘도 변화를 검출하고 보상하는 장치및 방법
KR20060060350A (ko) * 2004-11-30 2006-06-05 주식회사 휴맥스 조명 변화에 대한 적응적 움직임 예측 장치 및 방법
KR20060083054A (ko) * 2005-01-14 2006-07-20 주식회사 휴맥스 조명 변화에 대한 적응적 움직임 예측/보상 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10334263B2 (en) 2013-04-05 2019-06-25 Samsung Electronics Co., Ltd. Interlayer video encoding method and apparatus and interlayer video decoding method and apparatus for compensating luminance difference
US10321142B2 (en) 2013-07-15 2019-06-11 Samsung Electronics Co., Ltd. Method and apparatus for video encoding for adaptive illumination compensation, method and apparatus for video decoding for adaptive illumination compensation
WO2019066449A1 (ko) * 2017-09-28 2019-04-04 삼성전자주식회사 조건부 적용 로컬 휘도 보상에 의한 비디오 복호화 방법 및 장치, 조건부 적용 로컬 휘도 보상에 의한 비디오 부호화 방법 및 장치

Also Published As

Publication number Publication date
JP2008306720A (ja) 2008-12-18
CN101325715A (zh) 2008-12-17
JP5133136B2 (ja) 2013-01-30
US20080304760A1 (en) 2008-12-11
US8295634B2 (en) 2012-10-23
KR20080108774A (ko) 2008-12-16
CN101325715B (zh) 2012-04-25

Similar Documents

Publication Publication Date Title
KR101244917B1 (ko) 조도 보상 방법 및 장치, 이를 이용한 영상의 부호화,복호화 방법 및 장치
KR100856411B1 (ko) 조도 보상 방법 및 그 장치와 그 방법을 기록한 컴퓨터로 읽을 수 있는 기록매체
KR101228020B1 (ko) 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
US8315309B2 (en) Method and apparatus for encoding and decoding an image by using consecutive motion estimation
KR101408698B1 (ko) 가중치 예측을 이용한 영상 부호화, 복호화 방법 및 장치
KR101830352B1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
KR101365575B1 (ko) 인터 예측 부호화, 복호화 방법 및 장치
JP5061179B2 (ja) 照明変化補償動き予測符号化および復号化方法とその装置
KR101369224B1 (ko) 움직임 보상 필터링을 이용한 영상 부호화, 복호화 방법 및장치
US20070171970A1 (en) Method and apparatus for video encoding/decoding based on orthogonal transform and vector quantization
KR20090097688A (ko) 영상의 인트라 예측 부호화/복호화 방법 및 장치
US9571851B2 (en) Inter prediction method and apparatus using adjacent pixels, and image encoding/decoding method and apparatus using same
KR20080088040A (ko) 영상의 부호화, 복호화 방법 및 장치
KR20130085838A (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
KR101456491B1 (ko) 복수의 참조 픽처에 기초한 영상 부호화, 복호화 방법 및장치
WO2012006304A2 (en) Motion compensation using vector quantized interpolation filters
EP3471418A1 (en) Method and apparatus for adaptive transform in video encoding and decoding
KR20090098214A (ko) 영상의 부호화, 복호화 방법 및 장치
KR101187580B1 (ko) 조도 보상 방법 및 그 장치와 이를 이용한 동영상 부호화방법 및 그 장치
JP2004215275A (ja) 動き補償に基づいた改善されたノイズ予測方法及びその装置とそれを使用した動画符号化方法及びその装置
KR20130046377A (ko) 화소 블록 코딩 및 재구성 방법 및 대응 장치
JP5358485B2 (ja) 画像符号化装置
KR20190052022A (ko) 인트라 기반의 로컬 인터-계층 예측을 위한 방법
Park et al. Adaptive lossless video compression
KR100728032B1 (ko) 워핑 기반의 인트라 예측 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180227

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee