KR101979634B1 - 화질 개선을 위한 영상 처리 장치 및 그 방법 - Google Patents

화질 개선을 위한 영상 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR101979634B1
KR101979634B1 KR1020120145117A KR20120145117A KR101979634B1 KR 101979634 B1 KR101979634 B1 KR 101979634B1 KR 1020120145117 A KR1020120145117 A KR 1020120145117A KR 20120145117 A KR20120145117 A KR 20120145117A KR 101979634 B1 KR101979634 B1 KR 101979634B1
Authority
KR
South Korea
Prior art keywords
image data
transform coefficient
representative
representative transform
blocks
Prior art date
Application number
KR1020120145117A
Other languages
English (en)
Other versions
KR20140076749A (ko
Inventor
이현승
김재현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120145117A priority Critical patent/KR101979634B1/ko
Priority to US14/102,557 priority patent/US9171354B2/en
Publication of KR20140076749A publication Critical patent/KR20140076749A/ko
Application granted granted Critical
Publication of KR101979634B1 publication Critical patent/KR101979634B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20052—Discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 데이터의 화질을 개선하기 위한 영상 처리 장치에 있어서, 소스 영상 데이터를 부호화하여 압축된 영상 데이터를 출력하는 부호기와, 상기 소스 영상 데이터를 주파수 특성으로 변환하여 제1 대표 변환 계수를 계산하는 제1대표 변환 계수 계산기와, 상기 압축된 영상 데이터를 복호하여 복호 영상 데이터를 출력하는 복호기와, 상기 복호 영상 데이터를 주파수 특성으로 변환하여 제2 대표 변환 계수를 계산하는 제2대표 변환 계수 계산기와, 상기 제1 및 제2 대표 변환 계수로부터 열화 모델 함수를 계산하는 열화 모델 함수 계산기와, 상기 복호 영상 데이터에 상기 열화 모델 함수를 적용하여 상기 복호 영상 데이터의 화질을 개선하는 화질 개선기를 포함한다.

Description

화질 개선을 위한 영상 처리 장치 및 그 방법 {IMAGE PROCESSING APPARATUS FOR IMAGE ENHANCEMENT AND METHOD THEREOF}
본 발명은 영상 데이터 전송에 관한 것으로, 특히 영상 데이터를 압축하여 전송할 때 수반되는 잡음을 제거하여 영상의 화질을 개선하기 위한 영상 처리 장치 및 그 방법에 관한 것이다.
영상 데이터는 텍스트 데이터에 비해 데이터 양이 방대하므로 메모리 공간의 부족, 중앙 처리 장치(CPU: Central Processing Unit, 이하 'CPU'라 함)의 계산 속도, 데이터 전송 속도 면에 있어 상당한 문제가 발생한다. 이러한 문제들을 해결하기 위한 방안으로 영상 데이터를 압축하는 기술이 등장하였으며, 영상 데이터를 압축함으로써 메모리 공간을 효율적으로 활용할 수 있고, CPU 계산 속도와 데이터 전송 속도 측면에서도 탁월한 효과를 얻을 수 있다. 압축 기술들에 대한 표준으로는 정지 화상용(still image)인 JPEG(Joint Photographic Experts Group), 음성용인 MPEG(Moving Picture Experts Group), 동화상용(dynamic image)인 H.261 등이 있다.
대부분의 영상 데이터는 디지털 신호 처리되며 디지털 영상 데이터에 대한 압축 기술들은 정지 영상의 경우는 주로 공간상에서의 중복성을 제거하기 위한 이산 코사인 변환(DCT: Discrete Cosine Transform, 이하 'DCT'라 함) 등을 이용한 변환 부호화를 기반으로 하고 있으며, 동영상의 경우는 DCT와 더불어 화면간 물체들의 움직임 보상을 이용한 예측 부호화를 기반으로 하고 있다.
그러나 압축 기술을 이용하여 압축률에 의해 데이터 양이 감소하고 저장 및 전송에 대한 편의성이 증대될수록, 영상 데이터의 화질을 악화시키는 여러 가지 잡음(noise)이 수반된다는 문제점이 발생한다. 이에 압축 기술을 이용하여 사용자로 하여금 저장 및 전송의 편의성을 증대시키면서도 잡음을 제거하여 사용자에게 제공되는 영상의 화질을 개선할 수 있는 방안이 요구된다.
본 발명은 압축하여 전송되는 영상 데이터의 잡음을 제거하여 화질을 개선하기 위한 영상 처리 장치 및 방법을 제공한다.
본 발명은 소스 영상 데이터 정보를 기반으로 열화 모델 함수를 추정하여 화질을 개선하기 위한 영상 처리 장치 및 방법을 제공한다.
본 발명의 일 실시예에 따른 장치는; 영상 데이터의 화질을 개선하기 위한 영상 처리 장치에 있어서, 소스 영상 데이터를 부호화하여 압축된 영상 데이터를 출력하는 부호기와, 상기 소스 영상 데이터를 주파수 특성으로 변환하여 제1 대표 변환 계수를 계산하는 제1대표 변환 계수 계산기와, 상기 압축된 영상 데이터를 복호하여 복호 영상 데이터를 출력하는 복호기와, 상기 복호 영상 데이터를 주파수 특성으로 변환하여 제2 대표 변환 계수를 계산하는 제2대표 변환 계수 계산기와, 상기 제1 및 제2 대표 변환 계수를 이용하여 상기 복호 영상 데이터의 화질을 개선하는 화질 개선기를 포함한다.
본 발명의 일 실시예에 따른 방법은; 영상 처리 장치에서 영상 데이터의 화질을 개선하기 위한 영상 처리 방법에 있어서, 부호기가 소스 영상 데이터를 부호화하여 압축된 영상 데이터를 출력하는 과정과, 제1대표 변환 계수 계산기가 상기 소스 영상 데이터를 주파수 특성으로 변환하여 제1 대표 변환 계수를 계산하는 과정과, 복호기가 상기 압축된 영상 데이터를 복호하여 복호 영상 데이터를 출력하는 과정과, 제2대표 변환 계수 계산기가 상기 복호 영상 데이터를 주파수 특성으로 변환하여 제2 대표 변환 계수를 계산하는 과정과, 화질 개선기가 상기 제1 및 제2 대표 변환 계수를 이용하여 상기 복호 영상 데이터의 화질을 개선하는 과정을 포함한다.
본 발명은 소스 영상 데이터 정보를 바탕으로 영상 데이터의 열화를 정확히 추정함으로써 영상의 화질을 보다 탁월하게 개선할 수 있다.
도 1은 일반적인 영상 처리 장치 구조를 도시한 도면,
도 2는 본 발명의 실시예에 따른 영상 처리 장치에서 영상 압축부 구성을 도시한 도면,
도 3은 본 발명의 실시예에 따른 영상 처리 장치에서 영상 재생부 구성을 도시한 도면,
도 4는 본 발명의 실시예에 따른 영상 처리 장치에서 영상 데이터의 화질을 개선하는 과정을 도시한 순서도,
도 5는 본 발명의 실시예에 따른 영상 처리 장치에서 열화 모델 함수 추정에 사용되는 제1 대표 변환 계수를 계산하는 과정을 도시한 순서도,
도 6은 본 발명의 실시예에 따른 영상 처리 장치에서 열화 모델 함수 추정에 사용되는 제2 대표 변환 계수를 계산하는 과정을 도시한 순서도.
이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 일반적인 영상 처리 장치 구조를 도시한 도면이다.
도 1을 참조하면, 영상 처리 장치(150)는 영상 압축부(110)와 영상 재생부(130)를 포함한다.
소스 영상 데이터(100)는 영상 압축부(110)에 입력되고, 영상 압축부(110)는 입력된 소스 영상 데이터(100)를 미리 정해진 압축 기술에 따라 압축하고 압축된 영상 데이터(또는 압축 영상 데이터)(120)를 출력한다.
압축 영상 데이터(120)는 영상 재생부(130)에 입력되고, 영상 재생부(130)는 입력된 압축 영상 데이터(120)를 복호하고 복호된 영상 데이터(또는 복호 영상 데이터)(140)를 출력한다.
그러나 소스 영상 데이터(100)가 영상 압축부(110)와 영상 재생부(130)를 통해 복호 영상 데이터(140)를 출력하기 까지 영상의 화질을 악화시키는 여러가지 잡음이 수반될 수 있으며, 이러한 잡음은 복호 영상 데이터(140)의 화질을 크게 손상시키는 요인이 된다.
이하에서는 복호 영상 데이터(140)에서 이러한 잡음을 제거하여 화질을 개선시킬 수 있는 방안에 대해 설명하며, 특히 소스 영상 데이터 정보를 바탕으로 영상 데이터의 열화를 정확히 추정함으로써 영상 데이터 화질을 보다 효과적으로 개선시킬 수 있는 방안을 설명하도록 한다.
도 2는 본 발명의 실시예에 따른 영상 처리 장치에서 영상 압축부 구성을 도시한 도면이다.
도 2를 참조하면, 영상 압축부(200)는 부호기(203), 스트림 생성기(205), 제1 대표 변환 계수(transform unit) 계산기(209)를 포함한다.
소스 영상 데이터(201)는 부호기(203)에 입력되고, 부호기(203)는 입력된 소스 영상 데이터(201)를 미리 정해진 압축 기술에 따라 압축하고 압축된 영상 데이터, 일례로 압축된 비트스트림(bitstream)(215)을 출력한다.
또한 부호기(203)는 상기 소스 영상 데이터(201)의 대표 변환 계수(이하 '제1 대표 변환 계수'라 칭함)(211)를 계산하기 위한 변환 계수(207), 일례로 i,j를 출력한다. 상기 변환 계수(207)는 도시하지는 않았으나 변환 계수 계산기로부터 계산될 수 있으며, 상기 변환 계수 계산기는 부호기(203) 내부 또는 외부에 별도의 구성부로서 추가될 수 있다. 여기서 상기 i는 상기 소스 영상 데이터(201)가 NⅹN 블록(block)들로 구성된다고 가정할 때, 상기 NⅹN 블록 행렬의 행을 나타내는 인덱스이고, 상기 j는 상기 NⅹN 블록 행렬의 열을 나타내는 인덱스이다.
변환 계수(207) i,j는 제1 대표 변환 계수 계산기(209)에 입력되고, 제1 대표 변환 계수 계산기(209)는 소스 영상 데이터(201)에 대해서 NⅹN 블록 단위로 변환을 수행하고 그 결과값, 즉 NⅹN 블록 단위의 변환 값에 대해 절대값을 취해준다. 상기 변환 방법으로는 영상 데이터를 주파수 특성으로 나타내는 다양한 방법이 사용될 수 있으며 대표적으로는 DCT를 이용한 변환 부호화가 사용된다. 이러한 과정을 블록 단위 또는 상기 블록들을 구성하는 픽셀(pixel) 단위로 소스 영상 데이터(201) 전체에 대해 수행하며 최종적으로 소스 영상 데이터(201) 전체에 대해 구한 NⅹN 블록 단위의 변환 값에 평균을 계산하여 소스 영상 데이터(201)에 대한 대표 변환 계수, 즉 제1 대표 변환 계수(211)를 계산한다.
상기 제1 대표 변환 계수(211)는 소스 영상 데이터(201)의 국부적인 주파수 특성을 나타내며, 하기 수학식 1을 통해 계산될 수 있다.
Figure 112012103642700-pat00001
수학식 1에서,
Figure 112012103642700-pat00002
는 소스 영상 데이터에 대한 제1 대표 변환 계수를 나타내고, k는 영상 데이터 전체를 구성하는 총 블록 수,
Figure 112012103642700-pat00003
는 소스 영상 데이터에 대해서 NⅹN 블록 단위의 변환 값의 절대값을 나타낸다.
압축된 비트스트림(215)과 제1 대표 변환 계수(211)은 스트림 생성기(205)에 입력되고, 스트림 생성기(205)는 상기 압축된 비트스트림(215)에 상기 제1 대표 변환 계수(211)를 부가하여 확장된 비트스트림(213)을 생성하여 출력한다. 일례로 상기 제1 대표 변환 계수(211)는 부가 향상 정보(SEI: Supplement enhancement information) 헤더의 사용자 지정 공간에 삽입되며, 하나의 프레임마다 SEI 메시지를 보낼 수도 있고 상기 제1 대표 변환 계수(211)의 정보량에 따라 시퀀스(sequence)마다 SEI 메시지를 보낼 수도 있다.
도 3은 본 발명의 실시예에 따른 영상 처리 장치에서 영상 재생부 구성을 도시한 도면이다.
도 3을 참조하면, 영상 재생부(300)는 파서기(303), 복호기(305), 제2 대표 변환 계수 계산기(315), 열화 모델 함수 계산기(317), 화질 개선기(313)를 포함한다.
영상 압축부로부터 출력되는 확장된 비트스트림(301)은 파서기(303)에 입력되고, 파서기(303)는 상기 확장된 비트스트림(301)을 압축된 비트스트림(304)과 제1 대표 변환 계수(307)로 분리하여 각각 출력한다.
압축된 비트스트림(304)은 복호기(305)에 입력되고, 복호기(305)는 압축된 비트스트림(304)을 복호하여 복호 영상 데이터(311)를 출력한다. 또한 복호기는 상기 복호 영상 데이터(311)의 대표 변환 계수(이하 '제2 대표 변환 계수'라 칭함)(316)를 계산하기 위한 변환 계수(309), 일례로 i,j를 출력한다. 상기 변환 계수(309)는 도시하지는 않았으나 변환 계수 계산기로부터 계산될 수 있으며, 상기 변환 계수 계산기는 복호기(305) 내부 또는 외부에 별도의 구성부로서 추가될 수 있다.
변환 계수(309) i,j는 제2 대표 변환 계수 생성기(315)에 입력되고, 제2 대표 변환 계수 생성기(315)는 복호 영상 데이터(311)에 대해서 NⅹN 블록 단위로 변환을 수행하고 그 결과값, 즉 NⅹN 블록 단위의 변환 값에 대해 절대값을 취해준다. 상기 변환 방법으로는 영상 데이터를 주파수 특성으로 나타내는 다양한 방법이 사용될 수 있으며 대표적으로는 DCT를 이용한 변환 부호화가 사용된다. 이러한 과정을 블록 단위 또는 상기 블록들을 구성하는 픽셀 단위로 복호 영상 데이터(311) 전체에 수행하며 최종적으로 복호 영상 데이터(311) 전체에 대해 구한 NⅹN 블록 단위의 변환 값에 평균을 계산하여 복호 영상 데이터(311)에 대한 대표 변환 계수, 즉 제2 대표 변환 계수(316)를 계산한다.
상기 제2 대표 변환 계수(211)는 복호 영상 데이터(311)의 국부적인 주파수 특성을 나타내며, 하기 수학식 2를 통해 계산될 수 있다.
Figure 112012103642700-pat00004
수학식 2에서,
Figure 112012103642700-pat00005
는 복호 영상 데이터에 대한 제2 대표 변환 계수를 나타내고, k는 영상 데이터 전체를 구성하는 총 블록 수,
Figure 112012103642700-pat00006
는 복호 영상 데이터에 대해서 NⅹN 블록 단위의 변환 값의 절대값을 나타낸다.
앞서 설명한 수학식 1,2 각각에 의해 계산된 제1 대표 변환 계수(307)와 제2 대표 변환 계수(316)는 열화 모델 함수 계산기(317)에 입력되고, 열화 모델 함수 계산기(317)는 영상 처리 장치의 열화 모델 함수(319)를 계산한다.
열화 모델 함수(319)는 제2 대표 변환 계수(316)를 제1 대표 변환 계수(307)로 변환 계수마다 나누어 계산하며, 상기 열화 모델 함수(319)를 계산하는 식은 하기 수학식 3과 같이 나타낼 수 있다.
Figure 112012103642700-pat00007
수학식 3에서,
Figure 112012103642700-pat00008
는 NⅹN 블록 행렬 형태의 열화 모델 함수를 나타내고,
Figure 112012103642700-pat00009
는 복호 영상 데이터에 대한 제2 대표 변환 계수를 나타내고,
Figure 112012103642700-pat00010
는 소스 영상 데이터에 대한 제1 대표 변환 계수를 나타낸다.
일례로 영상 데이터가 8ⅹ8 블록들로 구성된다고 가정할 때, 제1 대표 변환 계수(307)와 제2 대표 변환 계수(316)는 하기 표 1 및 표 2와 같이 나타낼 수 있다. 표1은 소스 영상 데이터에 대한 제1 대표 변환 계수(307)를 나타내고, 표 2는 복호 영상 데이터에 대한 제2 대표 변환 계수(316)를 나타낸다.
Figure 112012103642700-pat00011
Figure 112012103642700-pat00012
또한 상기 표 1 및 표 2에 도시한 제1 및 제2 대표 변환 계수(307,316)에 따른 열화 모델 함수(319)는 하기 표 3과 같이 나타낼 수 있다. 열화 모델 함수(319) 역시 8ⅹ8 블록 행렬 형태로 구성되고, 각 블록에 해당되는 계수는 0에서 1 사이의 값을 가지게 되며 각 계수는 주파수 성분들의 열화 정도를 나타낸다.
즉 계수가 1인 경우는 해당하는 주파수 성분이 전혀 손상되지 않은 것이며 계수가 0인 경우는 해당하는 주파수 성분이 완전히 손상된 것으로 추정할 수 있다. 대부분의 압축 영상 데이터에서는 낮은 주파수(DC)에 해당되는 계수, 일례로 g(1,1)의 계수는 손상이 일어나지 않으므로 1의 값을 가지며, 높은 주파수(AC) 쪽으로 갈수록 손상이 심해지기 때문에 높은 주파수에 해당되는 계수, 일례로 g(8,8)의 계수는 0에 가까워진다.
이와 같이 열화 모델 함수(319)는 영상 데이터의 압축으로 인한 화질의 손상 정도를 나타낸다. 따라서 1에 가까운 값들이 많을수록 영상 데이터는 손실 없이 압축된 것이며, 0에 가까운 값들이 많을수록 영상 데이터는 압축으로 인해 손상이 일어났음을 알 수 있다.
Figure 112012103642700-pat00013
한편, 열화 모델 함수(319)는 화질 개선기(313)에 입력되고, 화질 개선기(313)는 복호 영상 데이터에 상기 열화 모델 함수(319)를 적용하여 화질 개선된 복호 영상 데이터(321)를 출력한다. 화질 개선을 위해서는 기존의 다양한 열화 모델 기반 영상 복원 기법들을 사용할 수 있으며 대표적으로 역 필터링(incerse filtering) 기법 및 위너 필터링(wiener filtering) 기법 등이 있다. 상기 역 필터링 기법 및 위너 필터링 기법은 본 발명과 밀접한 관계가 없으므로 여기서는 그 설명을 생략하도록 한다.
도 4는 본 발명의 실시예에 따른 영상 처리 장치에서 영상 데이터의 화질을 개선하는 과정을 도시한 순서도이다.
도 4를 참조하면, 영상 처리 장치의 영상 압축부는 401단계에서 입력된 소스 영상 데이터를 압축하고, 403단계로 진행하여 상기 소스 영상 데이터에 대한 제1 대표 변환 계수를 계산한다.
영상 처리 장치의 영상 재생부는 405단계에서 압축된 영상 데이터를 복호하고 407단계로 진행하여 복호 영상 데이터에 대한 제2 대표 변환 계수를 계산한다. 또한 409단계로 진행하여 상기 제1 및 제2 대표 변환 계수로부터 열화 모델 함수를 계산한다.
상기 영상 처리 장치의 영상 재생부는 411단계에서 복호 영상 데이터에 상기 열화 모델 함수를 적용하고, 413단계로 진행하여 화질 개선된 복호 영상 데이터를 출력한다.
도 5는 본 발명의 실시예에 따른 영상 처리 장치에서 열화 모델 함수 추정에 사용되는 제1 대표 변환 계수를 계산하는 과정을 도시한 순서도이다.
도 5를 참조하면, 영상 처리 장치의 영상 압축부에 포함되는 제1 대표 변환 계수 계산기는 501단계에서 소스 영상 데이터에 대한 변환 계수 i,j를 결정하고 503단계로 진행한다. 여기서 변환 계수 i,j는 각각 상기 소스 영상 데이터를 구성하는 블록 행렬의 행과 열을 나타내는 인덱스이다.
503단계에서 제1 대표 변환 계수 계산기는 상기 소스 영상 데이터의 NⅹN 블록 단위의 변환 값의 절대값
Figure 112012103642700-pat00014
를 결정하고 505단계로 진행한다. 여기서의 변환이라 함은 영상 데이터를 주파수 특성으로 나타내는 변환을 의미한다.
505단계에서 제1 대표 변환 계수 계산기는 소스 영상 데이터 전체, 즉 소스 영상 데이터를 구성하는 블록들 각각에 대한 상기
Figure 112012103642700-pat00015
값의 평균을 계산하여 열화 모델 함수 추정에 사용되는 제1 대표 변환 계수를 획득한다.
도 6은 본 발명의 실시예에 따른 영상 처리 장치에서 열화 모델 함수 추정에 사용되는 제2 대표 변환 계수를 계산하는 과정을 도시한 순서도이다.
도 6을 참조하면, 영상 처리 장치의 영상 재생부에 포함되는 제2 대표 변환 계수 계산기는 601단계에서 압축된 영상을 복호한 복호 영상 데이터에 대한 변환 계수 i,j를 결정하고 603단계로 진행한다. 여기서 변환 계수 i,j는 각각 상기 복호 영상 데이터를 구성하는 블록 행렬의 행과 열을 나타내는 인덱스이다.
603단계에서 제2 대표 변환 계수 계산기는 상기 복호 영상 데이터의 NⅹN 블록 단위의 변환 값의 절대값
Figure 112012103642700-pat00016
를 결정하고 605단계로 진행한다. 여기서의 변환이라 함은 영상 데이터를 주파수 특성으로 나타내는 변환을 의미한다.
605단계에서 제2 대표 변환 계수 계산기는 복호 영상 데이터 전체, 즉 복호 영상 데이터를 구성하는 블록들 각각에 대한 상기
Figure 112012103642700-pat00017
값의 평균을 계산하여 열화 모델 함수 추정에 사용되는 제2 대표 변환 계수를 획득한다.
이와 같이 본 발명의 실시예에 따른 영상 처리 장치는 소스 영상 데이터에 대한 제1 대표 변환 계수 및 복호 영상 데이터에 대한 제2 대표 변환 계수로부터 열화 모델 함수를 추정함으로써 영상 데이터의 열화를 보다 정확히 추정할 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
또한 본 발명의 실시예에 따른 영상 데이터의 화질 개선 방법 및 장치는 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 발명의 그래픽 화면 갱신 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 상기 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다.
따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
또한 본 발명의 실시예에 따른 영상 데이터의 화질 개선 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 그래픽 처리 장치가 기설정된 컨텐츠 보호 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 컨텐츠 보호 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 그래픽 처리 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 그래픽 처리 장치의 요청 또는 자동으로 해당 프로그램을 상기 송수신 장치로 전송하는 제어부를 포함할 수 있다.

Claims (22)

  1. 영상 데이터의 화질을 개선하기 위한 영상 처리 장치에 있어서,
    소스 영상 데이터를 부호화하여 압축된 영상 데이터를 출력하는 부호기와,
    상기 소스 영상 데이터를 주파수 특성으로 변환하여 제1 대표 변환 계수를 계산하는 제1대표 변환 계수 계산기와,
    상기 압축된 영상 데이터를 복호하여 복호 영상 데이터를 출력하는 복호기와,
    상기 복호 영상 데이터를 주파수 특성으로 변환하여 제2 대표 변환 계수를 계산하는 제2대표 변환 계수 계산기와,
    각각의 변환 계수에 대하여, 상기 제2 대표 변환 계수를 제1 대표 변환 계수로 나눔으로써, 열화 모델 함수를 계산하는 열화 모델 함수 계산기와,
    상기 복호 영상 데이터에 상기 열화 모델 함수를 적용하여 상기 복호 영상 데이터의 화질을 개선하는 화질 개선기를 포함하는 영상 처리 장치.
  2. 삭제
  3. 제1항에 있어서,
    제1대표 변환 계수 계산기는 상기 소스 영상 데이터에 대한 변환 계수를 결정하고, 상기 소스 영상 데이터의 NⅹN 블록 단위의 변환 값의 절대값을 결정하고, 상기 소스 영상 데이터를 구성하는 블록들 각각에 대해 상기 NⅹN 블록 단위의 변환 값의 절대값의 평균을 계산하여 상기 제1 대표 변환 계수를 계산함을 특징으로 하는 영상 처리 장치.
  4. 제3항에 있어서,
    상기 제1 대표 변환 계수는 하기 수학식에 의해 계산됨을 특징으로 하는 영상 처리 장치.
    Figure 112012103642700-pat00018

    상기
    Figure 112012103642700-pat00019
    는 상기 제1 대표 변환 계수를 나타내고, 상기 k는 상기 소스 영상 데이터를 구성하는 총 블록 수를 나타내고, 상기
    Figure 112012103642700-pat00020
    는 상기 소스 영상 데이터의 NⅹN 블록 단위의 변환 값의 절대값을 나타냄.
  5. 제1항에 있어서,
    제2대표 변환 계수 계산기는 상기 복호 영상 데이터에 대한 변환 계수를 결정하고, 상기 복호 영상 데이터의 NⅹN 블록 단위의 변환 값의 절대값을 결정하고, 상기 복호 영상 데이터를 구성하는 블록들 각각에 대해 상기 NⅹN 블록 단위의 변환 값의 절대값의 평균을 계산하여 상기 제2 대표 변환 계수를 계산함을 특징으로 하는 영상 처리 장치.
  6. 제5항에 있어서,
    상기 제2 대표 변환 계수는 하기 수학식에 의해 계산됨을 특징으로 하는 영상 처리 장치.
    Figure 112012103642700-pat00021

    상기
    Figure 112012103642700-pat00022
    는 상기 제2대표 변환 계수를 나타내고, 상기 k는 상기 복호 영상 데이터를 구성하는 총 블록 수를 나타내고, 상기
    Figure 112012103642700-pat00023
    는 상기 복호 영상 데이터의 NⅹN 블록 단위의 변환 값의 절대값을 나타냄.
  7. 삭제
  8. 제1항에 있어서,
    상기 열화 모델 함수는 하기 수학식에 의해 계산됨을 특징으로 하는 영상 처리 장치.
    Figure 112018110470499-pat00024

    상기
    Figure 112018110470499-pat00025
    는 NⅹN 블록 행렬 형태의 열화 모델 함수를 나타내고, 상기
    Figure 112018110470499-pat00026
    는 상기 제2 대표 변환 계수를 나타내고, 상기
    Figure 112018110470499-pat00027
    는 상기 제1 대표 변환 계수를 나타냄.
  9. 제1항에 있어서,
    상기 압축된 영상 데이터의 비트스트림에 상기 제1대표 변환 계수를 부가하여 확장된 비트스트림을 출력하는 스트림 생성기를 더 포함하는 영상 처리 장치.
  10. 제9항에 있어서,
    상기 확장된 비트스트림을 상기 압축된 비트스트림과 상기 제1대표 변환 계수로 분리하는 파서기를 더 포함하는 영상 처리 장치.
  11. 영상 처리 장치에서 영상 데이터의 화질을 개선하기 위한 영상 처리 방법에 있어서,
    부호기가 소스 영상 데이터를 부호화하여 압축된 영상 데이터를 출력하는 과정과,
    제1대표 변환 계수 계산기가 상기 소스 영상 데이터를 주파수 특성으로 변환하여 제1 대표 변환 계수를 계산하는 과정과,
    복호기가 상기 압축된 영상 데이터를 복호하여 복호 영상 데이터를 출력하는 과정과,
    제2대표 변환 계수 계산기가 상기 복호 영상 데이터를 주파수 특성으로 변환하여 제2 대표 변환 계수를 계산하는 과정과,
    열화 모델 함수 계산기에 의하여, 각각의 변환 계수에 대하여, 상기 제2 대표 변환 계수를 제1 대표 변환 계수로 나눔으로써, 열화 모델 함수를 계산하는 과정과,
    화질 개선기가 상기 복호 영상 데이터에 상기 열화 모델 함수를 적용하여 상기 복호 영상 데이터의 화질을 개선하는 과정을 포함하는 영상 처리 방법.
  12. 삭제
  13. 제11항에 있어서,
    상기 제1 대표 변환 계수를 계산하는 과정은,
    상기 소스 영상 데이터에 대한 변환 계수를 결정하는 과정과,
    상기 소스 영상 데이터의 NⅹN 블록 단위의 변환 값의 절대값을 결정하는 과정과,
    상기 소스 영상 데이터를 구성하는 블록들 각각에 대해 상기 NⅹN 블록 단위의 변환 값의 절대값의 평균을 계산하는 과정을 포함함을 특징으로 하는 영상 처리 방법.
  14. 제13항에 있어서,
    상기 제1 대표 변환 계수는 하기 수학식에 의해 계산됨을 특징으로 하는 영상 처리 방법.
    Figure 112012103642700-pat00028

    상기
    Figure 112012103642700-pat00029
    는 상기 제1 대표 변환 계수를 나타내고, 상기 k는 상기 소스 영상 데이터를 구성하는 총 블록 수를 나타내고, 상기
    Figure 112012103642700-pat00030
    는 상기 소스 영상 데이터의 NⅹN 블록 단위의 변환 값의 절대값을 나타냄.
  15. 제11항에 있어서,
    상기 제2 대표 변환 계수를 계산하는 과정은,
    상기 복호 영상 데이터에 대한 변환 계수를 결정하는 과정과,
    상기 복호 영상 데이터의 NⅹN 블록 단위의 변환 값의 절대값을 결정하는 과정과,
    상기 복호 영상 데이터를 구성하는 블록들 각각에 대해 상기 NⅹN 블록 단위의 변환 값의 절대값의 평균을 계산하는 과정을 포함함을 특징으로 하는 영상 처리 방법.
  16. 제15항에 있어서,
    상기 제2 대표 변환 계수는 하기 수학식에 의해 계산됨을 특징으로 하는 영상 처리 방법.
    Figure 112012103642700-pat00031

    상기
    Figure 112012103642700-pat00032
    는 상기 제2대표 변환 계수를 나타내고, 상기 k는 상기 복호 영상 데이터를 구성하는 총 블록 수를 나타내고, 상기
    Figure 112012103642700-pat00033
    는 상기 복호 영상 데이터의 NⅹN 블록 단위의 변환 값의 절대값을 나타냄.
  17. 삭제
  18. 제11항에 있어서,
    상기 열화 모델 함수는 하기 수학식에 의해 계산됨을 특징으로 하는 영상 처리 방법.
    Figure 112018110470499-pat00034

    상기
    Figure 112018110470499-pat00035
    는 NⅹN 블록 행렬 형태의 열화 모델 함수를 나타내고, 상기
    Figure 112018110470499-pat00036
    는 상기 제2 대표 변환 계수를 나타내고, 상기
    Figure 112018110470499-pat00037
    는 상기 제1 대표 변환 계수를 나타냄.
  19. 제11항에 있어서,
    스트림 생성기가 상기 압축된 영상 데이터의 비트스트림에 상기 제1대표 변환 계수를 부가하여 확장된 비트스트림을 출력하는 과정을 더 포함하는 영상 처리 방법.
  20. 제19항에 있어서,
    파서기가 상기 확장된 비트스트림을 상기 압축된 비트스트림과 상기 제1대표 변환 계수로 분리하는 과정을 더 포함하는 영상 처리 방법.
  21. 삭제
  22. 삭제
KR1020120145117A 2012-12-13 2012-12-13 화질 개선을 위한 영상 처리 장치 및 그 방법 KR101979634B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120145117A KR101979634B1 (ko) 2012-12-13 2012-12-13 화질 개선을 위한 영상 처리 장치 및 그 방법
US14/102,557 US9171354B2 (en) 2012-12-13 2013-12-11 Image processing apparatus and method for enhancing the quality of an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120145117A KR101979634B1 (ko) 2012-12-13 2012-12-13 화질 개선을 위한 영상 처리 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20140076749A KR20140076749A (ko) 2014-06-23
KR101979634B1 true KR101979634B1 (ko) 2019-05-20

Family

ID=50930951

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120145117A KR101979634B1 (ko) 2012-12-13 2012-12-13 화질 개선을 위한 영상 처리 장치 및 그 방법

Country Status (2)

Country Link
US (1) US9171354B2 (ko)
KR (1) KR101979634B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11107191B2 (en) * 2019-02-18 2021-08-31 Samsung Electronics Co., Ltd. Apparatus and method for detail enhancement in super-resolution imaging using mobile electronic device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010026770A1 (ja) * 2008-09-04 2010-03-11 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、システム、プログラム、及び集積回路

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4920426A (en) * 1986-11-10 1990-04-24 Kokusai Denshin Denwa Co., Ltd. Image coding system coding digital image signals by forming a histogram of a coefficient signal sequence to estimate an amount of information
JP3166291B2 (ja) * 1992-04-03 2001-05-14 ソニー株式会社 量子化コントロール回路
US5461422A (en) * 1994-05-23 1995-10-24 Industrial Technology Research Institute Quantizer with automatic pre-threshold
US6512775B1 (en) * 1996-11-08 2003-01-28 The Trustees Of Columbia University In The City Of New York Method and apparatus for a programmable bitstream parser for audiovisual and generic decoding systems
JP3901287B2 (ja) * 1997-02-27 2007-04-04 松下電器産業株式会社 映像信号変換装置、映像信号変換方法及び映像提供システム
US6618442B1 (en) * 1998-12-29 2003-09-09 Intel Corporation Method and apparatus for transcoding digital video signals
GB2352350B (en) 1999-07-19 2003-11-05 Nokia Mobile Phones Ltd Video coding
US6480547B1 (en) * 1999-10-15 2002-11-12 Koninklijke Philips Electronics N.V. System and method for encoding and decoding the residual signal for fine granular scalable video
US7831990B2 (en) 2002-04-29 2010-11-09 Sony Corporation Generic adaptation layer for JVT video
FR2851397B1 (fr) * 2003-02-14 2005-05-13 Canon Europa Nv Procede et dispositif d'analyse de sequences video dans un reseau de communication
JP4723483B2 (ja) 2003-04-10 2011-07-13 トムソン ライセンシング 符号化ビデオに於いてフィルム粒子をシミュレートする技術
WO2005027045A1 (en) 2003-08-29 2005-03-24 Thomson Licensing S.A. Method and apparatus for modeling film grain patterns in the frequency domain
US7889939B2 (en) 2003-09-23 2011-02-15 Thomson Licensing Technique for simulating film grain using frequency filtering
US7650036B2 (en) 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
KR101044935B1 (ko) 2004-01-14 2011-06-28 삼성전자주식회사 전송 에러가 발생한 지점을 탐지하여 바르게 디코딩된데이터를 복원하는 디코딩 방법 및 그 디코딩 장치
US7692817B2 (en) * 2004-06-23 2010-04-06 Sharp Kabushiki Kaisha Image processing method, image processing apparatus, image forming apparatus, computer program product and computer memory product for carrying out image processing by transforming image data to image data having spatial frequency components
US7515759B2 (en) 2004-07-14 2009-04-07 Sharp Laboratories Of America, Inc. 3D video coding using sub-sequences
CN101044511A (zh) 2004-10-18 2007-09-26 汤姆森特许公司 胶片颗粒模拟的方法、装置及***
KR101295221B1 (ko) 2004-11-16 2013-08-12 톰슨 라이센싱 비디오 시스템에서 사용되는 의사-랜덤 숫자 생성기를 위한 비트－어큐레이트 시드 초기화
JP4808634B2 (ja) * 2004-11-19 2011-11-02 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、および集積回路
US7826536B2 (en) 2005-12-29 2010-11-02 Nokia Corporation Tune in time reduction
US7535383B2 (en) 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
US7890556B2 (en) 2007-04-04 2011-02-15 Sony Corporation Content recording apparatus, content playback apparatus, content playback system, image capturing apparatus, processing method for the content recording apparatus, the content playback apparatus, the content playback system, and the image capturing apparatus, and program
US20080298702A1 (en) * 2007-06-04 2008-12-04 Aricent Inc. Fixed rate JPEG encoding
GB2480224B (en) * 2010-01-29 2014-08-20 Canon Kk Decoding a sequence of digital images with error concealment

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010026770A1 (ja) * 2008-09-04 2010-03-11 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、システム、プログラム、及び集積回路

Also Published As

Publication number Publication date
KR20140076749A (ko) 2014-06-23
US20140169691A1 (en) 2014-06-19
US9171354B2 (en) 2015-10-27

Similar Documents

Publication Publication Date Title
US9313499B2 (en) Image processing method and image processing apparatus
JP4847890B2 (ja) 符号化方式変換装置
KR101213704B1 (ko) 가변 컬러 포맷 기반 동영상 부호화 방법 및 장치, 그복호화 방법 및 장치
JP6245888B2 (ja) エンコーダおよび符号化方法
JP4352110B2 (ja) データ圧縮伸張方法、プログラム及び装置
JP4245576B2 (ja) 画像圧縮伸張法、画像圧縮装置及び画像伸張装置
WO2007111292A1 (ja) 画像符号化装置および画像復号化装置
JP2014039257A (ja) デコーダおよび復号方法
KR20160057311A (ko) 픽처 부호화 프로그램, 픽처 부호화 방법 및 픽처 부호화 장치 및 픽처 복호화 프로그램
US20130114684A1 (en) Electronic devices for selective run-level coding and decoding
US20180048892A1 (en) High dynamic range color conversion correction
JP5800362B2 (ja) 動画像送出装置、動画像受信装置、動画像伝送システム、動画像送出方法、動画像受信方法、およびプログラム
JP6457248B2 (ja) 画像復号装置、画像符号化装置および画像復号方法
CN113068025A (zh) 解码预测方法、装置及计算机存储介质
KR101703330B1 (ko) 이미지 재부호화 방법 및 그 장치
KR101979634B1 (ko) 화질 개선을 위한 영상 처리 장치 및 그 방법
TWI517673B (zh) Dynamic image predictive coding device, dynamic image predictive coding method, dynamic image predictive coding program, dynamic image prediction decoding device, dynamic image prediction decoding method and dynamic image prediction decoding program
CN111903124A (zh) 图像处理装置和图像处理方法
KR20150096353A (ko) 이미지 인코딩 시스템, 디코딩 시스템 및 그 제공방법
KR101583870B1 (ko) 이미지 인코딩 시스템, 디코딩 시스템 및 그 제공방법
US20180124376A1 (en) Video decoding device and image display device
KR20200004348A (ko) 타겟 영역 수정을 통해 비디오 신호를 처리하는 방법 및 장치
JP4250553B2 (ja) 画像データ処理方法及び装置
KR20230157975A (ko) 딥러닝 기반 yuv 비디오 압축을 위한 모션 흐름 코딩
Garg MPEG Video Transcoding in Compress Domain: By Ankit Garg

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant