KR20010112626A - 화상 데이터 처리 장치 및 화상 데이터 처리 방법 - Google Patents

화상 데이터 처리 장치 및 화상 데이터 처리 방법 Download PDF

Info

Publication number
KR20010112626A
KR20010112626A KR1020010032784A KR20010032784A KR20010112626A KR 20010112626 A KR20010112626 A KR 20010112626A KR 1020010032784 A KR1020010032784 A KR 1020010032784A KR 20010032784 A KR20010032784 A KR 20010032784A KR 20010112626 A KR20010112626 A KR 20010112626A
Authority
KR
South Korea
Prior art keywords
image data
encoding
difficulty
calculating
data
Prior art date
Application number
KR1020010032784A
Other languages
English (en)
Other versions
KR100823371B1 (ko
Inventor
고바야시히로시
후꾸다교꼬
도미따마사미
미야따가쯔나리
Original Assignee
이데이 노부유끼
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이데이 노부유끼, 소니 가부시끼 가이샤 filed Critical 이데이 노부유끼
Publication of KR20010112626A publication Critical patent/KR20010112626A/ko
Application granted granted Critical
Publication of KR100823371B1 publication Critical patent/KR100823371B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/78—Television signal recording using magnetic recording
    • H04N5/781—Television signal recording using magnetic recording on disks or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

화상 데이터의 화질을 향상한다.
부호화 시에 화상 데이터를 화상의 부호화 난이도에 따라 적응형 프리 필터(35)에 의해 적응적으로 필터링 처리를 수행하여, 복호 후에 화상 데이터를 화상의 부호화 난이도에 따라 적응형 화질 보정 회로(50)에 의해 적응적으로 보상 처리를 수행함으로써, 부호화 잡음을 저감시킴과 함께 적절한 화질 보정을 행한다.

Description

화상 데이터 처리 장치 및 화상 데이터 처리 방법{VIDEO DATA PROCESSING APPARATUS AND METHOD THEREOF}
본 발명은 화상 데이터 처리 장치 및 화상 데이터 처리 방법에 관한 것으로, 예를 들면, 입력되는 화상 데이터를 압축 부호화하여 광 디스크에 기록하는 기록 재생 장치에 적용하는 데 있어서 적합한 것이다.
종래, 화상 데이터를 압축 부호화하는 방식으로서, MPEG(Moving Picture Experts Group) 규격에 기초한 부호화 방식이 있다. 이 MPEG 규격에 기초한 부호화 방식은 동일 프레임 내에서의 공간적인 상관 관계나 다른 프레임 사이에서의 시간적인 상관 관계를 이용하여 화상 데이터의 정보량을 삭감하도록 이루어져 있다.
따라서, 이 MPEG 규격에 기초한 부호화 방식을 채택한 기록 재생 장치는 입력되는 화상 데이터를 MPEG 규격에 기초하여 압축 부호화해서 압축 화상 데이터를 생성하여, 이를 광 디스크에 기록한다. 그리고, 기록 재생 장치는 재생 시, 광 디스크로부터 압축 화상 데이터를 재생하여 이를 압축 해제 복호화함으로써 원래의 화상 데이터를 복원한다. 이와 같이, 기록 재생 장치는 MPEG 규격에 기초한 부호화 방식을 이용하여 방대한 정보량의 화상 데이터를 효율적으로 광 디스크에 기록하도록 이루어져 있다.
그런데, 이러한 구성의 기록 재생 장치에서는 화상 데이터를 압축 부호화하기 전에 화상 데이터에 대하여 적응적으로 필터링 처리를 수행함으로써, 압축 화상 데이터의 정보량을 일정하게 유지하는 것을 생각할 수 있다. 즉, 기록 재생 장치는 화상 데이터를 구성하는 각 프레임 중 시간적인 상관 관계가 낮은 프레임에 대해서는 해당 프레임의 고주파 성분의 정보량을 삭감한 후 압축 부호화하는 반면, 시간적인 상관 관계가 높은 프레임에 대해서는 해당 프레임의 정보량을 삭감하지 않고 압축 부호화한다.
이와 같이, 기록 재생 장치는 프레임 사이의 시간적인 상관 관계가 낮기 때문에 압축 화상 데이터의 정보량 증대가 예측되는 경우에는 인간의 시각에 있어서 화질의 열화가 눈에 띄지 않은 고주파 성분의 정보량을 삭감한 후 화상 데이터의 압축 부호화 처리를 행함으로써, 압축 화상 데이터의 정보량을 일정하게 한다.
그런데, 화상의 압축율이 높은 경우에는 부호화 잡음에 의한 화질 열화를 적게 하기 위해, 시각 상, 화상의 선예도 저하가 눈에 뛸 정도로 고주파 성분의 정보량을 삭감시키는 경우가 있다. 고주파 성분의 정보 삭감 처리는 부호화 전 처리 또는 부호화 처리 시에 행해진다. 그리고, 이 고주파 성분의 정보 삭감에 대한 보상 처리가 복호 처리 후에 행해진다.
그러나, 압축 부호화하기 전의 필터링 처리를 적응적으로 수행한 경우에는 화상의 도안에 의해 필터링 처리의 강도가 다르기 때문에 복호 처리 후에 고주파 성분의 정보 삭감에 대한 보상 처리를 일률적으로 수행하면, 보상 처리가 화상의 도안에 의해 부적절하게 되는 경우가 있었다.
본 발명은 이상의 점을 고려하여 이루어진 것으로, 종래에 비하여 한층 더 화상 데이터의 화질을 향상시킬 수 있는 화상 데이터 처리 장치 및 그 화상 데이터 처리 방법을 제안하고자 하는 것이다.
도 1은 본 발명을 적용한 기록 재생 장치의 구성을 나타내는 블럭도.
도 2는 상기 기록 재생 장치에 설치된 노이즈 저감 회로의 구성을 나타내는 블럭도.
도 3은 상기 노이즈 저감 회로에 설치된 이동 보상 필드 순회형 노이즈 저감 회로의 구성을 나타내는 블럭도.
도 4는 상기 이동 보상 필드 순회형 노이즈 저감 회로에서의 V 필터에 의한 위상 보상을 설명하기 위해 제공되는 개략선도.
도 5는 상기 노이즈 저감 회로에 설치된 부호화 난이도 산출 회로의 구성을 나타내는 블럭도.
도 6은 상기 이동 보상 필드 순회형 노이즈 저감 회로에서의 수평 및 수직 방향의 필터링 처리를 설명하기 위해 제공되는 개략선도.
도 7은 상기 노이즈 저감 회로에서의 다중화 처리를 설명하기 위해 제공되는 개략선도.
도 8은 상기 노이즈 저감 회로에서의 필드 메모리에 대한 각 데이터의 기록 및 판독 타이밍을 설명하기 위해 제공되는 개략선도.
도 9는 상기 기록 재생 장치에 설치된 적응형 프리 필터에 있어서의 전달 함수 G에 의한 필터링 처리를 설명하기 위해 제공되는 개략선도.
도 10은 상기 적응형 프리 필터에 있어서의 전달 함수 H에 의한 필터링 처리를 설명하기 위해 제공되는 개략선도.
도 11은 프레임 메모리에 대한 각 데이터의 기록 및 판독 타이밍을 설명하기 위해 제공되는 개략선도.
도 12는 필터 계수와 블럭 부호화 난이도 데이터의 관계를 나타내는 도면.
도 13은 상기 필터 계수를 설정하기 위한 테이블과 필드 부호화 난이도 데이터의 관계를 나타내는 도면.
도 14는 필드별 부호화 난이도의 산출 과정에서, 정지 화상 검출, 장면 변경 검출, 시간 축 필터 처리를 수행하는 경우의 처리 순서를 나타내는 플로우차트.
도 15는 부호화 난이도 감쇠치의 변화를 나타내는 타이밍차트.
도 16은 장면 변경 처리 후의 부호화 난이도의 변화를 나타내는 타이밍차트.
<도면의 주요 부분에 대한 부호의 설명>
1 : 기록 재생 장치
4 : 노이즈 저감 회로
5 : 장면 변경 검출 회로
6 : 이동 보상 필드 순회형 노이즈 저감 회로
7 : 부호화 난이도 산출 회로
8 : 멀티플렉서 회로
9 : 필드 메모리
14 : 이동 보상 회로
21 : H 블럭 필터 회로
22 : V 블럭 필터 회로
23 : 멀티플렉서 회로
24 : 직렬 병렬 변환 회로
25 : 병렬 직렬 변환 회로
26 : 셀렉터 회로
27 : 메모리
28 : 가산 평균 회로
29, 30 : 시간 필터
31 : 시프트 레지스터 회로
35 : 적응형 프리 필터
36 : MPEG 인코더
41 : 광 디스크
48 : MPEG 디코더
49 : 노이즈 저감 회로
50 : 적응형 화질 보정 회로
이러한 과제를 해결하기 위해, 본 발명에 있어서는 부호화 시에 화상 데이터를 화상의 부호화 난이도에 따라 적응적으로 필터링 처리를 수행하여, 복호 후에 화상 데이터를 화상의 부호화 난이도에 따라 적응적으로 보상 처리를 수행함으로써, 부호화 잡음을 저감시킴과 함께 적절한 화질 보정을 행한다.
즉, 본 발명에 따른 화상 데이터 처리 장치는, 입력 화상 데이터로부터 부호화 난이도를 계산하는 부호화 난이도 계산 수단; 상기 입력 화상 데이터로부터 산출된 부호화 난이도에 기초하여 상기 입력 화상 데이터에 적응적으로 필터링 처리를 수행하는 필터링 수단; 상기 필터링 처리가 수행된 입력 화상 데이터에 압축 부호화 처리를 수행하는 압축 부호화 수단; 상기 압축 부호화 처리가 수행된 화상 데이터에 복호 처리를 수행하는 복호 수단; 상기 복호 처리가 수행된 복호 화상 데이터로부터 부호화 난이도를 계산하는 부호화 난이도 계산 수단; 및 상기 복호 화상 데이터로부터 산출된 부호화 난이도에 기초하여 상기 복호 화상 데이터에 적응적으로 화질 보정 처리를 수행하는 화질 보정 수단을 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 화상 데이터 처리 방법은, 입력 화상 데이터로부터 부호화 난이도를 계산하는 부호화 난이도 계산 공정; 상기 입력 화상 데이터로부터 산출된 부호화 난이도에 기초하여 상기 입력 화상 데이터에 적응적으로 필터링 처리를 수행하는 필터링 공정; 상기 필터링 처리가 수행된 입력 화상 데이터에 압축 부호화 처리를 수행하는 압축 부호화 공정; 상기 압축 부호화 처리가 수행된 화상 데이터에 복호 처리를 수행하는 복호 공정; 상기 복호 처리가 수행된 복호 화상 데이터로부터 부호화 난이도를 계산하는 부호화 난이도 계산 공정; 및 상기 복호 화상 데이터로부터 산출된 부호화 난이도에 기초하여 상기 복호 화상 데이터에 적응적으로 화질 보정 처리를 수행하는 화질 보정 공정을 포함하는 것을 특징으로 한다.
<실시예>
이하, 도면을 참조하여 본 발명의 실시예를 설명한다.
본 발명은, 예를 들면, 도 1에 도시된 바와 같은 구성의 기록 재생 장치(1)에 적용된다.
이 기록 재생 장치(1)에서는 외부로부터 NTSC(National Television System Commmittee) 방식의 화상 신호 S1을 아날로그/디지털(A/D) 변환 회로(2)에 입력하고, A/D변환 회로(2)에 있어서 아날로그 디지털 변환을 수행하여 얻은 화상 데이터 D2를 NTSC 디코더(3)로 송출한다. NTSC 디코더(3)는 이 NTSC 방식의 화상 데이터 D2를 휘도 신호 및 색 신호로 분리하고, 분리된 휘도 신호 및 색 신호인 화상 데이터 D3을 노이즈 저감 회로(4) 및 장면 변경 검출 회로(5)로 송출한다.
노이즈 저감 회로(4)는 도 2에 도시된 바와 같이 이동 보상 필드 순회형 노이즈 저감 회로(6), 부호화 난이도 산출 회로(7), 멀티플렉서 회로(8), 및 필드 메모리(9)로 이루어진다. 이 노이즈 저감 회로(4)는 NTSC 디코더(3)로부터 화상 데이터 D3이 이동 보상 필드 순회형 노이즈 저감 회로(6)에 공급됨과 함께, 장면 변경 검출 회로(5)로부터 예를 들면, 영화나 드라마 등의 화상 데이터 D3 중에 장면 변경이 있는 지의 여부를 나타내는 장면 변경 데이터 D26이 부호화 난이도 산출 회로(7)에 공급된다.
이동 보상 필드 순회형 노이즈 저감 회로(6)는 도 3에 도시된 바와 같이 화상 데이터 D3이 감산기(10) 및 V 필터(11)에 입력된다. 또한, 이동 보상 필드 순회형 노이즈 저감 회로(6)는 노이즈 저감 회로(4)(도 2)의 필드 메모리(9)로부터 화상 데이터 D3을 1 필드 지연시킨 필드 지연 화상 데이터 D5가 V 필터(13)에 입력된다.
V 필터(11)는 인터레이스 주사 방식의 화상 데이터 D3에 대하여 수직 방향에서의 필드 지연 화상 데이터 D5와의 사이의 위상 보상을 수행하고, 그 결과로 얻은 화상 데이터 D6을 이동 보상 회로(14)로 송출한다. 마찬가지로 하여, V 필터(13)는 인터레이스 주사 방식의 필드 지연 화상 데이터 D5에 대하여 수직 방향에서의 화상 데이터 D3과의 사이의 위상 보상을 수행하고, 그 결과로 얻은 필드 지연 화상 데이터 D7을 이동 보상 회로(14)로 송출한다.
즉, 도 4에 도시된 바와 같이, V 필터(11)는 화상 데이터 D3의 짝수 필드에 있어서, 수평 방향의 위상이 동일하고, 또한 인접하는 짝수 라인 상에 존재하는 두 개 화소의 화소치에 기초하여 각 화소를 수직 방향에 대하여 소정의 비 (예를 들면, 3:1)로 분할한 위상의 화소의 화소치를 산출한다. 이와 함께, V 필터(13)는 필드 지연 화상 데이터 D5의 홀수 필드에 있어서, 수평 방향의 위상이 동일하고, 또한 인접하는 홀수 라인 상에 존재하는 두 개 화소의 화소치에 기초하여 각 화소를 수직 방향에 대하여 소정의 비 (예를 들면, 1:3)로 분할한 위상의 화소의 화소치를 산출한다. 이에 따라, 화상 데이터 D3 및 필드 지연 화상 데이터 D5의 수직 방향의 위상이 일치하여, 위상 보상이 행해진다.
상관도 산출 수단으로서의 이동 보상 회로(14)는 우선 화상 데이터 D6을 소정의 크기의 블럭으로 분할한다. 그리고, 이동 보상 회로(14)는 이들 각 블럭 중에서 하나의 참조 블럭을 추출하여, 필드 지연 화상 데이터 D7의 소정의 검색 영역 내에 존재하는 후보 블럭 중에서 해당 참조 블럭에 가장 유사한 유사 후보 블럭을 탐색하고, 탐색된 유사 후보 블럭과의 차분 즉, 노이즈를 산출한다. 그리고, 이동 보상 회로(14)는 화상 데이터 D6 내의 모든 블럭에 대하여 유사 후보 블럭과의 차분을 산출하여, 이를 이동 보상 잔차(殘差) 데이터 D8로서 아다마르 변환 회로(15) 및 부호화 난이도 산출 회로(7)(도 2)로 송출한다.
아다마르 변환 회로(15)는 이동 보상 회로(14)로부터 송출되는 이동 보상 잔차 데이터 D8을, 예를 들면 8개의 수평 주파수 성분으로 분리하여, 각 수평 주파수 성분의 이동 보상 잔차 데이터 D9를 비선형 회로(16)로 송출한다. 비선형 회로(16)는 비선형 리미터 회로로서, 각 수평 주파수 성분의 이동 보상 잔차 데이터 D9에 적용되는 각 리미터 값을 각 수평 주파수의 주파수 대역에 따라 적응적으로 변화시켜, 각 이동 보상 잔차 데이터 D9의 상한치를 각각 제한함으로써, 각 수평 주파수 성분의 노이즈 데이터 D10을 생성하여 역 아다마르 변환 회로(17)로 송출한다. 즉, 수평 주파수 성분이 저역의 이동 보상 잔차 데이터 D9는 노이즈로서 눈에 띄기 때문에 리미터 값을 높게 설정하는 반면, 수평 주파수 성분이 고역의 이동 보상 잔차 데이터 D9는 노이즈로서 눈에 띄지 않기 때문에 리미터 값을 낮게 설정한다.
역 아다마르 변환 회로(17)는 각 수평 주파수 성분의 노이즈 데이터 D10을시간 축 노이즈 데이터 D11로 변환하여, 이를 감산기(10)로 송출한다. 감산기(10)는 NTSC 디코더(3)(도 1)로부터 공급되는 화상 데이터 D3으로부터 노이즈 데이터 D11을 감산함으로써, 다른 필드 사이에서 시간적인 상관 관계가 없는 노이즈가 저감된 노이즈 저감 화상 데이터 D12를 생성하여, 이를 멀티플렉서 회로(8)(도 2)로 송출한다.
이와 같이, 이동 보상 필드 순회형 노이즈 저감 회로(6)는 화상 데이터 D3의 노이즈를 미리 저감함으로써, 압축 부호화 처리나 압축 해제 복호화 처리를 실행할 때 동작한다. 각 블럭의 경계가 불연속적이 되는 블럭 왜곡이나 엣지 주변에 나타나는 링킹형 모스키토 노이즈(mosquito noise)를 저감하도록 이루어져 있다.
부호화 난이도 산출 회로(7)는 도 5에 도시된 바와 같이 이동 보상 필드 순회형 노이즈 저감 회로(6)(도 2)로부터 공급되는 이동 보상 잔차 데이터 D8을 가산 평균 회로(28)에 입력한다. 가산 평균 회로(28)는 이동 보상 잔차 데이터 D8을 1 필드분 가산함으로써, 1 필드별 필드 부호화 난이도 데이터 D29를 산출한다. 1 필드별 필드 부호화 난이도 데이터 D29는 시간 필터 회로(29)에 입력되어, 시간 축 방향의 필터링 처리가 수행된다. 다음 수학식 1에 도시된 바와 같은 전달 함수 F를 이용하여 시간 축 방향의 필터링 처리를 수행함으로써 필드 부호화 난이도 데이터 D28을 생성한다.
또, K는 0<K<1의 상수로 필터의 시상수를 결정한다. Z-F는 1 필터 지연을 나타낸다.
또한, 이동 보상 잔차 데이터 D8은 H 블럭 필터 회로(21)에도 공급된다. H 블럭 필터 회로(21)는 도 6의 (A)에 도시된 바와 같이 이동 보상 잔차 데이터 D8을 구성하는 각 블럭 데이터 dmc[m,n] 각각에 대하여, 수학식 2에 도시된 바와 같은 수평 방향의 블럭 사이에서의 필터링 처리를 수행함으로써, 수평 방향의 평활화가 행해진 블럭 데이터 dmc_hfil[m,n]으로 이루어진 이동 보상 잔차 데이터 D15를 V 블럭 필터 회로(22) 및 멀티플렉서 회로(23)로 송출한다.
여기서, m은 각 블럭의 수평 방향의 어드레스를 나타내고, n은 수직 방향의 어드레스를 나타낸다.
V 블럭 필터 회로(22)는 도 6의 (B)에 도시된 바와 같이 H 블럭 필터 회로(21)로부터 공급되는 이동 보상 잔차 데이터 D15의 각 블럭 데이터 dmc_hfil[m, n] 각각에 대하여, 직렬 병렬 변환 회로(24)로부터 공급되는 이동 보상 잔차 다중화 데이터 D16에 포함되는 블럭 데이터 dmc_hfil[m,n-1]을 이용하여, 수학식 3에 도시된 바와 같은 수직 방향의 블럭 사이에서의 필터링 처리를 수행함으로써, 다음 수학식 4에 도시된 바와 같은 수평 및 수직 방향의 평활화가 행해진 블럭 데이터 dmc_hvfil[m,n]으로 이루어진 이동 보상 잔차 데이터 D17을 생성하여,이를 멀티플렉서 회로(23)로 송출한다.
따라서, 이동 보상 잔차 데이터 D17은 도 6의 (C)에 도시된 바와 같이 이동 보상 잔차 데이터 D8을 구성하는 각 블럭 데이터 dmc[m,n]에 대하여 공간적인 평활화를 행함으로써 생성된 데이터이다.
멀티플렉서 회로(23)는 도 7에 도시된 바와 같이 수평 방향의 평활화가 행해진 이동 보상 잔차 데이터 D15와 수평 및 수직 방향의 평활화가 행해진 이동 보상 잔차 데이터 D17을 블럭별로 다중화하고, 그 결과로 얻은 이동 보상 잔차 다중화 데이터 D18을 병렬 직렬 변환 회로(25)로 송출한다. 병렬 직렬 변환 회로(25)는 4 비트의 이동 보상 잔차 다중화 데이터 D18을 병렬 직렬 변환하고, 그 결과로 얻은 1 비트의 이동 보상 잔차 다중화 데이터 D19를 셀렉터 회로(26)로 송출한다.
셀렉터 회로(26)는 병렬 직렬 변환 회로(25)로부터 공급되는 이동 보상 잔차 다중화 데이터 D19와 메모리(27)로부터 판독된 이동 보상 잔차 다중화 데이터 D20을 전환하고, 전환된 어느 한 데이터를 이동 보상 잔차 다중화 데이터 D21로 하여 메모리(27)로 송출하여 기억한다. 메모리(27)는 기록한 이동 보상 잔차 다중화 데이터 D21을 소정의 타이밍에서 판독하여, 이를 이동 보상 잔차 다중화 데이터 D20으로 하여 셀렉터 회로(26) 및 직렬 병렬 변환 회로(24)로 송출한다. 직렬 병렬 변환 회로(24)는 1 비트의 이동 보상 잔차 다중화 데이터 D21을 직렬 병렬 변환하고, 그 결과로 얻은 4 비트의 이동 보상 잔차 다중화 데이터 D16을 V 블럭 필터 회로(22) 및 시간 필터 회로(30)로 송출한다.
상관도 평활화 수단으로서의 시간 필터 회로(30)는, 직렬 병렬 변환 회로(24)로부터 공급되는 이동 보상 잔차 다중화 데이터 D16 중 수평 및 수직 방향의 평활화가 행해진 이동 보상 잔차 데이터를 dfc_in으로 함과 함께, 필드 메모리(9)(도 2)로부터 공급되는 이동 보상 잔차 데이터 dfc_in을 1 필드 지연시킨 이동 보상 잔차 데이터가 되는 필드 지연 부호화 난이도 데이터 D25를 이동 보상 잔차 데이터 dfc_fd로 하여 시간 축 방향의 필터링 처리를 수행함으로써, 부호화 난이도 산출 회로(7)에 입력된 이동 보상 잔차 데이터 D8에 대하여 수평 및 수직 및 시간 축 방향의 평활화를 수행하여, 이를 블럭별 블럭 부호화 난이도 데이터로 정의한다.
구체적으로, 시간 필터 회로(30)는 수평 및 수직 방향의 평활화가 행해진 이동 보상 잔차 데이터 dfc_in 및 해당 이동 보상 잔차 데이터 dfc_in을 1 필드 지연시킨 이동 보상 잔차 데이터 dfc_fd에 기초하여, 다음 수학식 5에 도시된 바와 같은 시간 축 방향의 필터링 처리를 수행함으로써, 블럭 부호화 난이도 데이터 tfil을 생성한다.
여기서, dif_fd는 이동 보상 잔차 데이터 dfc_in과 이동 보상 잔차 데이터 dfc_fd와의 차분 데이터를 나타내고, adif_fd는 차분 데이터 dif_fd의 절대치를 나타낸다. s_dif_fd는 차분 데이터 dif_fd의 부호 비트를 나타내고, 부호 비트 s_ dif_fd가 0일 때는 차분 데이터 dif_fd가 플러스임을 나타내고, 부호 비트 s_dif_fd가 1일 때는 차분 데이터 dif_fd가 마이너스임을 나타낸다. c_tmp_fil_ h, c_tmp_fil_1은 상수를 나타낸다.
즉, 시간 필터 회로(30)는 수평 및 수직 방향의 평활화가 행해진 이동 보상 잔차 데이터 dfc_in과 이동 보상 잔차 데이터 dfc_in을 1 필드 지연시킨 이동 보상잔차 데이터 dfc_fd와의 차분 데이터 dif_fd가 소정의 범위 내에 존재하는 경우에는 이동 보상 잔차 데이터 dfc_in 및 dfc_fd의 평균치를 블럭 부호화 난이도 데이터 tfil로 하는 한편, 소정의 범위 외에 존재하는 경우에는 이동 보상 잔차 데이터 dfc_fd에 대하여 소정의 상수를 가산 또는 감산한 결과를 블럭 부호화 난이도 데이터 tfil로 한다.
그런데, 부호화 난이도 산출 회로(7)(도 2)는 장면 변경 검출 회로(5)(도 1)로부터, 예를 들면, 영화나 드라마 등의 화상 데이터 D3 중에 장면 변경이 있는 지의 여부를 나타내는 장면 변경 데이터 D26이 공급되어 있으며, 공급된 장면 변경 데이터 D26을 시간 필터 회로(30)에 입력하도록 이루어져 있다. 이 경우, 장면 변경 검출 회로(5)는 장면 변경을 검출했을 때는 장면 변경 데이터 D26으로서 1을 출력하고, 그 외에는 0을 출력한다.
그래서, 시간 필터 회로(30)는 상술한 블럭 부호화 난이도 데이터 tfi1을 블럭 부호화 난이도 데이터 D27로서 시프트 레지스터(31)로 송출할 때, 블럭 부호화 난이도 데이터 D27의 수직 귀선 소거 기간에 장면 변경 데이터 D26을 시분할로 시프트 레지스터(31)로 송출한다. 시프트 레지스터(31)는 장면 변경 데이터 D26 및 블럭 부호화 난이도 데이터 D27을 일단 유지하여, 소정의 타이밍에서 노이즈 저감 회로(4)의 멀티플렉서 회로(8)로 송출한다.
멀티플렉서 회로(8)는 이동 보상 필드 순회형 노이즈 저감 회로(6)로부터 공급되는 노이즈 저감 화상 데이터 D12를 출력할 때, 노이즈 저감 화상 데이터 D12의 수평 귀선 소거 기간을 이용하여 장면 변경 데이터 D26, 블럭 부호화 난이도 데이터 D27, 및 필드 부호화 난이도 데이터 D28을 출력함으로써 노이즈 저감 화상 데이터 D12, 장면 변경 데이터 D26, 블럭 부호화 난이도 데이터 D27, 및 필드 부호화 난이도 데이터 D28을 다중화하고, 다중화된 노이즈 저감 화상 데이터 D12, 장면 변경 데이터 D26, 블럭 부호화 난이도 데이터 D27, 및 필드 부호화 난이도 데이터 D28을 필드 메모리(9)로 송출하여 기록한다.
필드 메모리(9)는 NTSC 디코더(3)로부터 공급된 화상 데이터 D3을 1 필드 지연시켜, 그 필드 지연 화상 데이터 D5를 이동 보상 필드 순회형 노이즈 저감 회로(6) 및 장면 변경 검출 회로(5)로 송출하고, 블럭 부호화 난이도 데이터 D27을 1 필드 지연시켜, 그 필드 지연 블럭 부호화 난이도 데이터 D25를 부호화 난이도 산출 회로(7)로 송출하며, 필드 지연 블럭 부호화 난이도 데이터 D25, 필드 지연 부호화 난이도 데이터 D28, 및 장면 변경 데이터 D26을 적응형 프리 필터(35)(도 1)로 송출하고, 노이즈 저감 화상 데이터 D12를 1 필드 지연시켜, 그 필드 지연 노이즈 저감 화상 데이터 D30을 적응형 프리 필터(35)로 송출한다.
여기서, 이 필드 메모리(9)에 대한 각 데이터의 기록 및 판독 타이밍을 도 8의 (A)∼(H)에 나타낸다.
도 8의 (A)는 노이즈 저감 화상 데이터 D12가 필드 메모리(9)에 기록되는 타이밍을 나타내고, 도 8의 (B)는 블럭 부호화 난이도 데이터 D27이 필드 메모리(9)에 기록되는 타이밍을 나타내며, 도 8의 (C)는 필드 부호화 난이도 데이터 D28이 필드 메모리(9)에 기록되는 타이밍을 나타내고, 도 8의 (D)는 장면 변경 데이터 D26이 필드 메모리(9)에 기록되는 타이밍을 나타낸다. 도 8의 (E)는 필드 지연 노이즈 저감 화상 데이터 D30을 필드 메모리(9)로부터 판독하는 타이밍을 나타내고, 도 8의 (F)는 필드 지연 부호화 난이도 데이터 D25를 필드 메모리(9)로부터 판독하는 타이밍을 나타내며, 도 8의 (G)는 필드 부호화 난이도 데이터 D28을 필드 메모리(9)로부터 판독하는 타이밍을 나타내고, 도 8의 (H)는 장면 변경 데이터 D26을 필드 메모리(9)로부터 판독하는 타이밍을 나타낸다.
적응형 프리 필터(35)는, 필드 지연 블럭 부호화 난이도 데이터 D25, 필드 부호화 난이도 데이터 D28, 및 장면 변경 데이터 D26에 기초하여, 필드 지연 노이즈 저감 화상 데이터 D30에 대하여, 수학식 6에 도시된 바와 같은 전달 함수 H를 이용하여 적응적으로 필터링 처리를 수행함으로써, 필드 지연 노이즈 저감 화상 데이터 D30을 구성하는 각 필드의 시간적인 상관 관계에 따라 필드 지연 노이즈 저감 화상 데이터 D30의 정보량을 삭감하고, 그 결과로 얻은 노이즈 저감 화상 데이터 D31을 MPEG 인코더(36)로 송출한다.
또, 전달 함수 G는, 도 9에 도시된 바와 같이, 주목하는 화소의 화소치에 대하여 화소의 주위에 존재하는 화소의 화소치에 소정의 계수를 승산한 것을 가산함으로써 가중치 부여 연산을 행하도록 이루어져 있다.
여기서, 필터 계수 α는 필드 지연 블럭 부호화 난이도 데이터 D25, 필드 부호화 난이도 데이터 D28, 및 장면 변경 데이터 D26의 값에 따라 0∼1의 범위 내에서 결정되는 값이다. 즉, 필터 계수 α는 필드 메모리 지연 블럭 부호화 난이도 데이터 D25 및 필드 부호화 난이도 데이터 D28의 값이 소정 레벨 이상이고 또한 장면 변경 데이터 D26의 값이 0인 경우에는 1에 가까운 값이 설정되고, 필드 지연 블럭 부호화 난이도 데이터 D25 및 필드 부호화 난이도 데이터 D28의 값이 소정 레벨 이하이고 또한 장면 변경 데이터 D26의 값이 0인 경우에는 0이 설정되지만, 장면 변경 데이터 D26의 값이 1인 경우에는 필드 지연 블럭 부호화 난이도 데이터 D25 및 필드 부호화 난이도 데이터 D28의 값에 관계없이 강제적으로 0이 설정된다.
여기서, 필터 계수 α와 블럭 부호화 난이도 데이터 D25와의 관계를 구체예로서 도 12에 도시한다. 즉, 필터 계수 α는 블럭 단위로 얻은 블럭 부호화 난이도 데이터 값에 따라 도 12에 도시된 바와 같이 제어된다. 도 12 중의 테이블 번호 (Tab. No)는 화상 전송 속도마다, 도 13에 나타내는 필드 부호화 난이도 데이터 D28의 값에 따라 최적의 설정 테이블이 선택된다. 예를 들면, 화상 전송 속도가 4Mbps일 때, 필드별로 얻은 필드 부호화 난이도 데이터 D28의 값이 14였다고 하면, 테이블 번호 (Tab. No) 15가 선택된다. 그리고, 테이블 번호 (Tab. No) 15의 설정에 따라 필터 계수 α가 화면 내의 블럭별로 얻은 블럭 부호화 난이도 데이터 D25에 의해 제어된다.
이와 같이, 적응형 프리 필터(35)는 도 10에 도시된 바와 같이 시간적인 상관 관계가 낮은 필드 및 영역에 대해서는 필터 계수 α에 1에 가까운 값을 설정하여 필드의 고주파 성분의 정보량을 삭감하는 반면, 시간적인 상관 관계가 높은 필드 및 영역에 대해서는 필터 계수 α에 0에 가까운 값을 설정하여 필드의 정보량의 삭감을 행하지 않도록 함으로써, 필드 지연 노이즈 저감 화상 데이터 D30에 대하여 적응적으로 필터링 처리를 수행하여, 후단의 MPEG 인코더(36)에 의해 획득된 압축 화상 데이터 D36의 정보량을 거의 일정하게 유지한다.
이에 따라, 적응형 프리 필터(35)는 필드 사이의 시간적인 상관 관계가 낮기 때문에 압축 화상 데이터 D36의 정보량 증대가 예측되는 경우에는 인간의 시각에 있어서 화질의 열화가 눈에 띄지 않는 고주파 성분의 정보량을 삭감한 후 필드 지연 노이즈 저감 화상 데이터 D30의 압축 부호화 처리를 행함으로써, 압축 화상 데이터 D36의 정보량을 거의 일정하게 한다.
그 때, 적응형 프리 필터(35)는 장면 변경이 발생한 필드 즉, 직전의 필드와 시간적인 상관 관계가 전혀 없는 필드에 대해서는 필터 계수 α에 강제적으로 0을 설정하여 필드의 정보량의 삭감을 행하지 않도록 한다. 이에 따라, 기록 재생 장치(1)에서는 적응형 프리 필터(35)에 의해 얻은 노이즈 저감 화상 데이터 D31을 압축 부호화 및 해제 복호화할 때, 장면 변경 직후의 화상 데이터가 열화하지 않는다.
MPEG 인코더(36)는 DCT(Discrete Cosine Tranform: 이산 코사인 변환) 부호화 방식에 기초하여 노이즈 저감 화상 데이터 D31을 압축 부호화함으로써, 화상 데이터에, 예를 들면, 양자화 스케일 등의 부호화 정보가 부가되어 이루어지는 압축 화상 데이터 D32를 ECC(Error Correcting Circuit) 인코더(37)로 송출한다.
ECC 인코더(37)는 압축 화상 데이터 D32에 대하여 오류 정정 부호를 부가하고, 그 결과로 얻은 압축 화상 데이터 D33을 8-14 변조 회로(38)로 송출한다. 8-14 변조 회로(38)는 소정의 8-14 변조 방식에 기초하여 압축 화상 데이터 D33에 대하여 변조 처리를 수행하고, 그 결과로 얻은 압축 화상 데이터 D34를 RF 증폭기(39)로 송출한다. RF 증폭기(39)는 압축 화상 데이터 D34를 소정 레벨로 증폭하고, 그 결과로 얻은 압축 화상 데이터 D35를 광 픽업(40)을 통해 광 디스크(41)에 기록한다.
이에 대하여, 재생 시, 기록 재생 장치(1)는 광 디스크(41)로부터 광 픽업(40)을 통해 압축 화상 데이터 D40을 재생하여, 이를 RF 증폭기(45)로 송출한다. RF 증폭기(45)는 압축 화상 데이터 D40을 소정의 레벨로 증폭하고, 그 결과로 얻은 압축 화상 데이터 D41을 8-14 복조 회로(46)로 송출한다. 8-14 복조 회로(46)는 소정의 8-14 복조 방식에 기초하여 압축 화상 데이터 D41을 복조하고, 그 결과로 얻은 압축 화상 데이터 D42를 ECC 디코더(47)로 송출한다.
ECC 디코더(47)는 ECC 인코더(37)에서 부가된 오류 정정 부호를 이용하여 오류 정정을 행하고, 그 결과로 얻은 압축 화상 데이터 D43을 MPEG 디코더(48)로 송출한다. MPEG 디코더(48)는 압축 화상 데이터 D43을 압축 해제 복호화함으로써 원래의 화상 데이터 D44를 복원하여, 이를 노이즈 저감 회로(49)로 송출한다. 그 때, MPEG 디코더(48)는 양자화 스케일 등의 부호화 정보 데이터 D45를 추출하여, 부호화 정보 데이터 D45도 노이즈 저감 회로(49)로 송출한다.
노이즈 저감 회로(49)는 부호화 정보 데이터 D45를 이용하여 화상 데이터D44에 대하여 필터링 처리를 수행함으로써, 화상 데이터 D44에 생긴 블럭 왜곡이나 모스키토 노이즈를 저감하고, 그 결과로 얻은 화상 데이터 D46을 화질 보정 회로(50)로 송출한다. 또한, 기록계의 노이즈 저감 회로(4)와 마찬가지로 재생계의 노이즈 저감 회로(49)에 있어서도, 블럭 부호화 난이도 데이터 D50을 블럭별로 산출함과 함께 필드 부호화 난이도 데이터 D51을 필드별로 산출하여 적응형 화질 보정 회로(50)에 공급한다.
적응형 화질 보정 회로(50)는 블럭 부호화 난이도 데이터 D50 및 필드 부호화 난이도 데이터 D51에 기초하여 화상 데이터 D46에 대하여, 수학식 7에 도시된 바와 같은 전달 함수 H를 이용하여 적응적으로 화질 보정 처리를 수행한다.
여기서, 필터 계수 α와 블럭 부호화 난이도 데이터 D50의 관계는 기록계와 마찬가지로 도 12 및 도 13에 도시된다. 즉, 필터 계수 α는 블럭 단위로 얻은 블럭 부호화 난이도 데이터의 값에 따라 도 12에 도시된 바와 같이 제어된다. 도 12 중의 테이블 번호 (Tab. No)는 화상 전송 속도마다, 도 13에 도시된 필드 부호화 난이도 데이터 D28의 값에 따라 최적의 설정 테이블이 선택된다. 예를 들면, 화상 전송 속도가 4Mbps일 때, 필드별로 얻은 필드 부호화 난이도 데이터 D51의 값이 14였다고 하면, 테이블 번호 (Tab. No) 15가 선택된다. 그리고, 테이블 번호 (Tab. No) 15의 설정에 따라, 필터 계수 α는 화면 내의 블럭별로 얻은 블럭 부호화 난이도 데이터 D50에 의해 제어된다. 또, 재생계에서 이용하는 테이블은 기록계에서 이용한 도 12 및 도 13에 도시된 테이블과 특성이 다르더라도 좋다. 또한, 화질 보정 처리에 있어서 부호화 난이도로 제어하는 파라미터는 필터 계수 α만큼 한정되는 것이 아니라, 예를 들면, 필터의 주파수 특성이나 코어링의 레벨 등에 대해서 적용하여도 좋다.
적응형 화질 보정 회로(50)는 적응적으로 화질 보정 처리를 수행한 화상 데이터 D47을 NTSC 인코더(51)로 송출한다. NTSC 인코더(51)는 화상 데이터 D47을 NTSC 방식의 화상 데이터 D48로 변환하여, 이를 디지털 아날로그(D/A) 변환 회로(52)로 송출한다. D/A 변환 회로(52)는 NTSC 방식의 화상 데이터 D48을 디지털 아날로그 변환하고, 그 결과로 얻은 화상 신호 S49를 외부로 출력한다.
그런데, 조작 입력부(55)는 블럭 왜곡의 저감을 행하는 지의 여부를 선택하기 위한 스위치나 화질 보정을 제어하기 위한 스위치가 설치되고, 사용자의 입력 조작에 따른 입력 데이터 D55를 생성하여, 이를 제어 회로(56)로 송출한다. 제어 회로(56)는 조작 입력부(55)로부터 공급되는 입력 데이터 D55에 기초하여 제어 데이터 D56을 생성하여, 이를 노이즈 저감 회로(49) 및 화질 보정 회로(50)로 송출하여 노이즈 저감 회로(49) 및 화질 보정 회로(50)의 동작을 제어한다.
이상의 구성에 있어서, 장면 변경 검출 회로(5)는 NTSC 디코더(3)로부터 공급되는 화상 데이터 D3과 화상 데이터 D3을 1 필드 지연시킨 필드 지연 화상 데이터 D5 사이의 상관 관계를 해석함으로써, 화상 데이터 D3에 포함되는 장면 변경을 검출하여, 장면 변경의 유무를 나타내는 장면 변경 D26을 적응형 프리 필터(35)로 송출한다.
또한, 노이즈 저감 회로(4)는 화상 데이터 D3과 필드 지연 화상 데이터 D5 사이의 상관 관계를 해석하여 이동 보상 잔차 데이터 D8을 생성한 후, 이동 보상 잔차 데이터 D8에 대하여 수평 및 수직 및 시간 축 방향의 평활화 처리를 수행함으로써 필드 지연 부호화 난이도 데이터 D25를 생성하여, 이를 적응형 프리 필터(35)로 송출한다.
적응형 프리 필터(35)는 공급되는 필드 지연 부호화 난이도 데이터 D25 및 장면 변경 데이터 D26에 기초하여 노이즈 저감 회로(4)로부터 순차 공급되는 필드 지연 노이즈 저감 화상 데이터 D30의 각 필드 화상 중, 1 필드 전의 필드 화상 과의 사이의 상관 관계가 낮은 필드 화상에 대해서는 불필요한 주파수 성분을 제거하는 대역 제한의 정도를 강하게 하는 반면, 상관 관계가 높은 필드 화상에 대해서는 대역 제한의 정도를 약하게 하지만, 장면 변경이 발생하여 1 필드 전의 필드 화상과의 사이의 상관 관계가 전혀 없는 필드 화상에 대해서는 강제적으로 대역 제한의 정도를 약하게 함으로써, 필드 지연 노이즈 저감 화상 데이터 D30을 구성하는 각 필드 화상의 정보량을 필요에 따라 삭감한다.
또, 상술한 실시예에 있어서는, 필드 메모리(9)를 이용하여 장면 변경 검출 회로(5), 이동 보상 필드 순회형 노이즈 저감 회로(6), 부호화 난이도 산출 회로(7), 및 적응형 프리 필터(35) 각각에 공급하는 데이터의 판독 타이밍을 제어하는 경우에 대하여 진술하였지만, 본 발명은 이에 한하지 않고, 프레임 메모리를 이용하여 각 회로에 공급하는 데이터의 판독 타이밍을 제어하여도 좋다.
이 경우의 프레임 메모리에 있어서의 각 데이터의 기록 및 판독 타이밍을 도 11의 (A)∼(H)에 나타낸다. 도 11의 (A)는 노이즈 저감 화상 데이터 D12가 프레임 메모리에 기록되는 타이밍을 나타내고, 도 11의 (B)는 블럭 부호화 난이도 데이터 D27이 프레임 메모리에 기록되는 타이밍을 나타내며, 도 11의 (C)는 프레임 부호화 난이도 데이터 D28이 프레임 메모리에 기록되는 타이밍을 나타내고, 도 11의 (D)는 장면 변경 데이터 D26이 프레임 메모리에 기록되는 타이밍을 나타낸다. 도 11의 (E)는 프레임 지연 노이즈 저감 화상 데이터를 프레임 메모리로부터 판독하는 타이밍을 나타내고, 도 11의 (F)는 프레임 지연 블럭 부호화 난이도 데이터를 프레임 메모리로부터 판독하는 타이밍을 나타내며, 도 11의 (G)는 프레임 지연 부호화 난이도 데이터를 프레임 메모리로부터 판독하는 타이밍을 나타내고, 도 11의 (H)는 장면 변경 데이터 D26을 프레임 메모리로부터 판독하는 타이밍을 나타낸다.
또한, 상술한 실시예에 있어서는, 부호화 난이도 데이터를 이동 보상 잔차 데이터로부터 산출하였지만, 이웃한 블럭에 있어서의 이동 벡터들로부터 이동 벡터의 차분 값을 구하고, 이 이동 벡터 차분 값과 상기 이동 보상 잔차 값과의 합성을 행하여 부호화 난이도 데이터를 산출하여도 좋다.
또한, 상술한 실시예에 있어서는, 기록계와 재생계에서 독립적으로 노이즈 저감 회로 적응형 프리 필터 회로와 적응형 화질 보정 회로를 설치하였지만, 기록 (부호화)과 재생 (복호화)을 동시에 행하지 않은 경우에는 상기 회로를 겸용할 수있다.
또한, 상술한 실시예에 있어서는, 본 발명을 기록 재생 장치(1)에 적용한 경우에 대해 진술하였지만, 본 발명은 이에 한하지 않고, 화상 데이터를 압축 부호화하기 전에 화상 데이터에 대하여 적응적으로 필터링 처리를 수행하여, 화상 데이터를 압축 해제 복호화한 후에 화상 데이터에 대하여 적응적인 화질 보정 처리를 수행하는 화상 데이터 처리 장치에 본 발명을 넓게 적용할 수 있다.
여기서, 도 14, 도 15, 및 도 16을 참조하여 필드별 부호화 난이도 Kp_Fi의 산출 과정에서, 상기 시간 축 방향의 필터링 처리를 수행하기 전에 정지 화상 검출, 장면 변경 검출, 시간 축 필터 처리를 수행하는 예를 설명한다.
즉, 이 예에 있어서, 단계 S1에서는 입력 화상이 정지 화상인 지의 여부를 판정한다. 예를 들면, 부호화 난이도 Kp_Fi의 값이 복수 필드간 동일 값 또는 근사 값으로 연속하는 경우에 정지 화상이라고 판정한다.
상기 단계 S1에 있어서, 입력 화상이 정지 화상이라고 판정된 경우에는 단계 S2로 진행하여, 부호화 난이도 감쇠치 d에, 예를 들면, 상수 2를 가산한다. 또한, 입력 화상이 정지 화상이 아니라고 판정된 경우에는 단계 S3으로 진행하여, 부호화 난이도 감쇠치 d에 상수 2를 감산한다.
도 15의 타이밍차트에 도시된 예에서는, 필드별 부호화 난이도 Kp_Fi 값이 16 필드 연속한 경우에 정지 화상이라고 판정하고 있어, 정지 화상이 필드 번호 [n+1]∼필드 번호 [n+23]까지 연속하였다고 하면, 필드 번호 [n+16]으로부터 부호화 난이도 감쇠치 d가 상수 2씩 카운트 업된다. 이 예에서는, 간략화하기 위해 부호화 난이도 Kp_Fi[0] 값이 항상 10이었다고 하면, 부호화 난이도 감쇠치 d는 필드 번호 [n+20]으로부터 필드 번호 [n+23]까지 10이 된다. 그리고, 필드 번호 [n+24]로부터 정지 화상이 아니라고 판정된 결과, 부호화 난이도 감쇠치 d는 카운트 다운된다.
다음 단계 S4에서는, 필드별 부호화 난이도 Kp_Fi로부터 부호화 난이도 감쇠치 d를 감산한다.
그리고, 단계 S5, 단계 S6에서는, 상기 단계 S4에서의 감산 결과 Kp_Fi_stl이 마이너스가 되지 않도록 제한한다. 즉, 단계 S5에서는 단계 S4에서의 감산 결과 Kp_Fi _stl[0]이 0보다도 작은 지의 여부를 판정하여, 감산 결과 Kp_Fi_stl[0]이 0보다도 작은 경우에는 단계 S6에서 Kp_Fi_stl[0]=0, d=Kp_Fi[0]으로 한다. 또한, 단계 S5에서는, 단계 S4에서의 감산 결과 Kp_Fi_stl[0]이 부호화 난이도 Kp_Fi[0]보다도 큰 지의 여부를 판정하여, 감산 결과 Kp_Fi_stl[0]이 0보다도 부호화 난이도 Kp_Fi [0]보다도 큰 경우에는, 단계 S6에서 Kp_Fi_stl[0]= KpFi[0], d=0으로 한다.
다음 단계 S7에서는 장면 변경 시점인 지의 여부를 판정한다. 장면 변경 시점의 판정 결과를 나타내는 플래그 xsc[0]은 도 16의 타이밍차트에 도시된 바와 같이 장면 변경 시점의 후 1 필드 사이가 로우 레벨이 된다. 그리고, 플래그 xsc[0]은 1 필드 전의 플래그 xsc[F] 및 2 필드 전의 플래그 xsc[2F]와의 논리곱 연산에 의해, 시간 축 상에서 압축 해제되어, 장면 변경 시점의 후 3 필드 사이를 로우 레벨로 나타내는 장면 변경 신호 xsc[0]&xsc[F]&xsc[2F]라고 된다.
상기 장면 변경 신호 xsc[0]&xsc[F]&xsc[2F]가 로우 레벨일 때 즉, 상기 단계 S7에 있어서의 판정 결과가 예인 경우에, 장면 변경 처리를 행하여, 단계 S8에서 1 필드 전의 장면 변경 부호화 난이도 Kp_Fi_sc[F]를 유지한다. 한편, 상기 장면 변경 신호 xsc[0]&xsc[F]&xsc[2F]가 하이 레벨일 때 즉, 상기 단계 S7에 있어서의 판정 결과가 아니오인 경우에는, 단계 S9로 진행하여 정지 화상 처리를 행한 부호화 난이도 Kp_Fi_stl[0]을 장면 변경 처리 후의 부호화 난이도 Kp_Fi_sc [0]으로 한다.
그리고, 다음 단계 S10에서는, 상기 장면 변경 부호화 난이도 Kp_Fi_sc [0], Kp_Fi_sc[F]를 이용하여, 상기 수학식 1에 도시된 전달 함수 F를 이용하여 시간 축 방향의 필터링 처리를 수행한다.
이상의 도 12, 도 13은 실시간 전송의 예이고, 화상 전송 속도에 따른 적응 처리에 대하여 설명하였지만, 실시간 전송에 있어서는 화상 전송 속도와 화상 압축율은 일정한 관계에 있기 때문에 화상 압축율에 따라 적응적으로 제어하여도 좋은 것은 물론이다.
또한, 비 실시간 전송에 있어서는 화상 전송 속도 대신에 화상 압축율에 따른 적응 제어를 행한다.
예를 들면, 도 1에 도시된 기록 재생 장치(1)에서는 광 디스크를 이용한 광 디스크 드라이브의 예이지만, 하드디스크 드라이브로 하여 MPEG 인코더 및 MPEG 디코더에서의 MPEG 압축율이 하드디스크의 기록/재생 속도와 다르고, MPEG 인코더나 변조 회로 및 복조 회로나 MPEG 디코더 내의 버퍼 메모리에서 압축율과 기록/재생속도의 차이를 흡수하는 경우 등이 비 실시간 전송의 예로 들 수 있다. 이 경우, 하드디스크 유닛과 MPEG 인코더 및 MPEG 디코더와의 사이를 디지털 전송계를 통해 접속하거나, 하드디스크 유닛 대신에 반도체 메모리를 이용하는 등의 변형예도 생각할 수 있다.
이상과 같이 본 발명에 의하면, 부호화 시에 화상 데이터를 화상의 부호화 난이도에 따라 적응적으로 필터링 처리를 수행함으로써 부호화 잡음을 저감시킬 수 있어, 복호 후에 화상 데이터를 화상의 부호화 난이도에 따라 적응적으로 보상 처리를 수행함으로써 적절한 화질 보정을 행할 수 있다. 또, 화면 전체의 부호화 난이도와 화면 내의 국소적인 부호화 난이도를 이용하여 적응적인 필터링 처리를 수행함으로써, 보다 효과적으로 정보량을 삭감할 수 있다.
따라서, 본 발명에 따르면, 종래에 비하여 한층 더 화상 데이터의 화질을 향상시킨 화상 데이터 처리 장치 및 그 화상 데이터 처리 방법을 제공할 수 있다.

Claims (20)

  1. 화상 데이터 처리 장치에 있어서,
    입력 화상 데이터로부터 부호화 난이도를 계산하는 부호화 난이도 계산 수단;
    상기 입력 화상 데이터로부터 산출된 부호화 난이도에 기초하여 상기 입력 화상 데이터에 적응적으로 필터링 처리를 수행하는 필터링 수단;
    상기 필터링 처리가 수행된 입력 화상 데이터에 압축 부호화 처리를 수행하는 압축 부호화 수단;
    상기 압축 부호화 처리가 수행된 화상 데이터에 복호 처리를 수행하는 복호 수단;
    상기 복호 처리가 수행된 복호 화상 데이터로부터 부호화 난이도를 계산하는 부호화 난이도 계산 수단; 및
    상기 복호 화상 데이터로부터 산출된 부호화 난이도에 기초하여 상기 복호 화상 데이터에 적응적으로 화질 보정 처리를 수행하는 화질 보정 수단
    을 포함하는 것을 특징으로 하는 화상 데이터 처리 장치.
  2. 제1항에 있어서,
    상기 부호화 난이도 계산 수단은,
    화상 데이터로부터 이동 보상 잔차(殘差)를 산출하는 이동 보상 잔차 산출수단
    을 포함하고, 상기 이동 보상 잔차 산출 수단에 의해 산출된 이동 보상 잔차에 기초하여 부호화 난이도를 계산하는 것을 특징으로 하는 화상 데이터 처리 장치.
  3. 제1항에 있어서,
    상기 부호화 난이도 계산 수단은,
    이웃한 블럭에 있어서의 이동 벡터들로부터 이동 벡터의 차분을 산출하는 이동 벡터 차분 산출 수단
    을 포함하고, 상기 이동 벡터 차분 산출 수단에 의해 산출된 이동 벡터 차분에 기초하여 부호화 난이도를 계산하는 것을 특징으로 하는 화상 데이터 처리 장치.
  4. 제1항에 있어서,
    상기 부호화 난이도 계산 수단은,
    이동 보상 잔차를 산출하는 이동 보상 잔차 산출 수단; 및
    이웃한 블럭에 있어서의 이동 벡터들로부터 이동 벡터의 차분을 산출하는 이동 벡터 차분 산출 수단
    을 포함하고, 상기 이동 보상 잔차 산출 수단에 의해 산출된 이동 보상 잔차와 상기 이동 벡터 차분 산출 수단에 의해 산출된 이동 벡터 차분에 기초하여 부호화 난이도를 계산하는 것을 특징으로 하는 화상 데이터 처리 장치.
  5. 제2항에 있어서,
    상기 이동 보상 잔차 산출 수단은 블럭 단위의 이동 보상 잔차를 산출하는 것을 특징으로 하는 화상 데이터 처리 장치.
  6. 제2항에 있어서,
    상기 이동 보상 잔차 산출 수단은 화면 단위의 이동 보상 잔차를 산출하는 것을 특징으로 하는 화상 데이터 처리 장치.
  7. 제2항에 있어서,
    상기 이동 보상 잔차 산출 수단은,
    블럭 단위의 이동 보상 잔차를 산출하는 수단; 및
    화면 단위의 이동 보상 잔차를 산출하는 수단
    을 포함하는 것을 특징으로 하는 화상 데이터 처리 장치.
  8. 제3항에 있어서,
    상기 이동 벡터 차분 산출 수단은 블럭 단위의 이동 벡터의 차분을 산출하는 것을 특징으로 하는 화상 데이터 처리 장치.
  9. 제3항에 있어서,
    상기 이동 벡터 차분 산출 수단은 화면 단위의 이동 벡터의 차분을 산출하는 것을 특징으로 하는 화상 데이터 처리 장치.
  10. 제3항에 있어서,
    상기 이동 벡터 차분 산출 수단은,
    블럭 단위의 이동 벡터의 차분을 산출하는 수단; 및
    화면 단위의 이동 벡터의 차분을 산출하는 수단
    을 포함하는 것을 특징으로 하는 화상 데이터 처리 장치.
  11. 제1항에 있어서,
    상기 필터링 수단은 부호화의 압축율과 상기 입력 화상 데이터로부터 산출된 부호화 난이도에 기초하여 상기 입력 화상 데이터에 적응적으로 필터링 처리를 수행하는 것을 특징으로 하는 화상 데이터 처리 장치.
  12. 제1항에 있어서,
    상기 압축 부호화 처리가 수행된 화상 데이터를 기록 매체를 통해 기록/재생하는 기록/재생 수단
    을 포함하고,
    상기 복호 수단은 상기 기록/재생 수단에 의해 기록 매체로부터 재생된 화상데이터에 복호 처리를 수행하는 것을 특징으로 하는 화상 데이터 처리 장치.
  13. 화상 데이터 처리 방법에 있어서,
    입력 화상 데이터로부터 부호화 난이도를 계산하는 부호화 난이도 계산 공정;
    상기 입력 화상 데이터로부터 산출된 부호화 난이도에 기초하여 상기 입력 화상 데이터에 적응적으로 필터링 처리를 수행하는 필터링 공정;
    상기 필터링 처리가 수행된 입력 화상 데이터에 압축 부호화 처리를 수행하는 압축 부호화 공정;
    상기 압축 부호화 처리가 수행된 된 화상 데이터에 복호 처리를 수행하는 복호 공정;
    상기 복호 처리가 수행된 복호 화상 데이터로부터 부호화 난이도를 계산하는 부호화 난이도 계산 공정; 및
    상기 복호 화상 데이터로부터 산출된 부호화 난이도에 기초하여 상기 복호 화상 데이터에 적응적으로 화질 보정 처리를 수행하는 화질 보정 공정
    을 포함하는 것을 특징으로 하는 화상 데이터 처리 방법.
  14. 제13항에 있어서,
    상기 부호화 난이도 계산 공정에서는 화상 데이터로부터 이동 보상 잔차를 산출하고, 산출된 이동 보상 잔차에 기초하여 부호화 난이도를 계산하는 것을 특징으로 하는 화상 데이터 처리 방법.
  15. 제13항에 있어서,
    상기 부호화 난이도 계산 공정에서는 화상 데이터로부터 이웃한 블럭에 있어서의 이동 벡터들로부터 이동 벡터의 차분을 산출하고, 산출된 이동 벡터 차분에 기초하여 부호화 난이도를 계산하는 것을 특징으로 하는 화상 데이터 처리 방법.
  16. 제13항에 있어서,
    상기 부호화 난이도 계산 공정에서는 화상 데이터로부터 이동 보상 잔차와 이웃한 블럭에 있어서의 이동 벡터들로부터 이동 벡터의 차분을 산출하고, 산출된 이동 보상 잔차와 이동 벡터 차분에 기초하여 부호화 난이도를 계산하는 것을 특징으로 하는 화상 데이터 처리 방법.
  17. 제13항에 있어서,
    상기 필터링 공정에서는 부호화의 압축율과 상기 입력 화상 데이터로부터 산출된 부호화 난이도에 기초하여 상기 입력 화상 데이터에 적응적으로 필터링 처리를 수행하는 것을 특징으로 하는 화상 데이터 처리 방법.
  18. 제13항에 있어서,
    상기 압축 부호화 처리가 수행된 화상 데이터를 기록 매체를 통해 기록/재생하는 기록/재생 공정
    을 더 포함하고,
    상기 복호 공정에서는 상기 기록/재생 공정에 의해 기록 매체로부터 재생된 화상 데이터에 복호 처리를 수행하는 것을 특징으로 하는 화상 데이터 처리 방법.
  19. 화상 데이터 처리 장치에 있어서,
    입력 화상 데이터로부터 부호화 난이도를 계산하는 부호화 난이도 계산 수단;
    상기 입력 화상 데이터로부터 산출된 부호화 난이도와 화상 압축율에 기초하여 상기 입력 화상 데이터에 적응적으로 필터링 처리를 수행하는 필터링 수단;
    상기 필터링 처리가 수행된 입력 화상 데이터에 압축 부호화 처리를 수행하는 압축 부호화 수단;
    상기 압축 부호화 처리가 수행된 화상 데이터에 복호 처리를 수행하는 복호 수단;
    상기 복호 처리가 수행된 복호 화상 데이터로부터 부호화 난이도를 계산하는 부호화 난이도 계산 수단; 및
    상기 복호 화상 데이터로부터 산출된 부호화 난이도와 화상 압축율에 기초하여 상기 복호 화상 데이터에 적응적으로 화질 보정 처리를 수행하는 화질 보정 수단
    을 포함하는 것을 특징으로 하는 화상 데이터 처리 장치.
  20. 화상 데이터 처리 방법에 있어서,
    입력 화상 데이터로부터 부호화 난이도를 계산하는 부호화 난이도 계산 공정;
    상기 입력 화상 데이터로부터 산출된 부호화 난이도와 화상 압축율에 기초하여 상기 입력 화상 데이터에 적응적으로 필터링 처리를 수행하는 필터링 공정;
    상기 필터링 처리가 수행된 입력 화상 데이터에 압축 부호화 처리를 수행하는 압축 부호화 공정;
    상기 압축 부호화 처리가 수행된 화상 데이터에 복호 처리를 수행하는 복호 공정;
    상기 복호 처리가 수행된 복호 화상 데이터로부터 부호화 난이도를 계산하는 부호화 난이도 계산 수단; 및
    상기 복호 화상 데이터로부터 산출된 부호화 난이도와 화상 압축율에 기초하여 상기 복호 화상 데이터에 적응적으로 화질 보정 처리를 수행하는 화질 보정 공정
    을 포함하는 것을 특징으로 하는 화상 데이터 처리 방법.
KR1020010032784A 2000-06-13 2001-06-12 화상 데이터 처리 장치 및 화상 데이터 처리 방법 KR100823371B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2000-177647 2000-06-13
JP2000177647 2000-06-13
JP2000-208936 2000-07-10
JP2000208936A JP2002077917A (ja) 2000-06-13 2000-07-10 画像データ処理装置及び画像データ処理方法

Publications (2)

Publication Number Publication Date
KR20010112626A true KR20010112626A (ko) 2001-12-20
KR100823371B1 KR100823371B1 (ko) 2008-04-18

Family

ID=26593880

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020010032784A KR100823371B1 (ko) 2000-06-13 2001-06-12 화상 데이터 처리 장치 및 화상 데이터 처리 방법

Country Status (4)

Country Link
US (1) US6904096B2 (ko)
JP (1) JP2002077917A (ko)
KR (1) KR100823371B1 (ko)
CN (1) CN1180633C (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3789836B2 (ja) * 2002-03-19 2006-06-28 三洋電機株式会社 画像符号化装置および方法
US7330596B2 (en) * 2002-07-17 2008-02-12 Ricoh Company, Ltd. Image decoding technique for suppressing tile boundary distortion
JP2005026747A (ja) * 2003-06-30 2005-01-27 Matsushita Electric Ind Co Ltd フィルタ処理装置、画像符号化装置及び方法
JP4618676B2 (ja) 2005-04-28 2011-01-26 株式会社リコー 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体
JP4528694B2 (ja) * 2005-08-12 2010-08-18 株式会社東芝 動画像符号化装置
US7865035B2 (en) * 2005-10-06 2011-01-04 Samsung Electronics Co., Ltd. Video quality adaptive coding artifact reduction
FR2898757A1 (fr) * 2006-03-14 2007-09-21 Canon Kk Procede et dispositif d'adaptation d'une frequence temporelle d'une sequence d'images video
US8831111B2 (en) * 2006-05-19 2014-09-09 The Hong Kong University Of Science And Technology Decoding with embedded denoising
US8369417B2 (en) * 2006-05-19 2013-02-05 The Hong Kong University Of Science And Technology Optimal denoising for video coding
JP5055078B2 (ja) * 2007-10-01 2012-10-24 キヤノン株式会社 画像処理装置及びその方法
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
US8792564B2 (en) * 2008-10-28 2014-07-29 Sony Corporation Adaptive preprocessing method using feature-extracted video maps
KR101680915B1 (ko) * 2008-11-25 2016-11-29 톰슨 라이센싱 비디오 인코딩 및 디코딩을 위한 희소성-기반 아티팩트 제거 필터링 방법 및 장치
TWI415479B (zh) * 2010-01-27 2013-11-11 Sunplus Technology Co Ltd Ｃｖｂｓ信號的解碼及反交錯系統及方法
US8503528B2 (en) * 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
JP2014075708A (ja) * 2012-10-04 2014-04-24 Canon Inc 動画像符号化装置及び動画像符号化方法
US9924200B2 (en) 2013-01-24 2018-03-20 Microsoft Technology Licensing, Llc Adaptive noise reduction engine for streaming video
US9252823B2 (en) * 2013-08-06 2016-02-02 Purdue Research Foundation Phase compensation filtering for multipath wireless systems
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0113514B1 (en) * 1982-11-30 1988-05-11 BRITISH TELECOMMUNICATIONS public limited company Television signal transmission
JPH07121120B2 (ja) * 1990-03-19 1995-12-20 日本ビクター株式会社 データ圧縮装置
US5231484A (en) * 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
KR100229795B1 (ko) * 1996-08-30 1999-11-15 전주범 개선된 영상 복호화 시스템
JP3588970B2 (ja) * 1997-04-30 2004-11-17 ソニー株式会社 信号符号化方法、信号符号化装置、信号記録媒体及び信号伝送方法
JP4186242B2 (ja) * 1997-12-26 2008-11-26 ソニー株式会社 画像信号処理装置及び画像信号処理方法
JP3611461B2 (ja) * 1998-10-06 2005-01-19 松下電器産業株式会社 映像信号符号化装置

Also Published As

Publication number Publication date
US20020097335A1 (en) 2002-07-25
US6904096B2 (en) 2005-06-07
CN1180633C (zh) 2004-12-15
CN1336765A (zh) 2002-02-20
JP2002077917A (ja) 2002-03-15
KR100823371B1 (ko) 2008-04-18

Similar Documents

Publication Publication Date Title
KR100823371B1 (ko) 화상 데이터 처리 장치 및 화상 데이터 처리 방법
KR100299202B1 (ko) 디지털 화상 신호 처리장치 및 처리방법
US8903222B2 (en) Image reproducing apparatus, image reproducing method, image capturing apparatus, and control method therefor
US6167157A (en) Method of reducing quantization noise generated during a decoding process of image data and device for decoding image data
US20090059031A1 (en) Image-Capturing Apparatus and Method, Recording Apparatus and Method, and Reproducing Apparatus and Method
US5537215A (en) Apparatus for processing band-compressed signals having inter-frame and intra-frame signals
US20080310516A1 (en) Image processing apparatus and method
EP0588668A2 (en) Coding and decoding digital video signals having duplicate pictures and frames with fields originating from different film source frames
JPH08237669A (ja) 画像信号処理装置、画像信号処理方法および画像信号復号化装置
US6343097B2 (en) Noise reducer, noise reducing thereof, picture signal processing apparatus, and motion detecting method
CN1608378A (zh) 在视频清晰度增强中改善时间一致性
KR100904329B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 기록 매체
US6463182B1 (en) Image processing apparatus and method for removing noise near an edge of an image
JP2900810B2 (ja) 変換符号化された画像データの復号化時に生じる量子化ノイズの低減方法及び変換符号化された画像データの復号化装置
JP2001069507A (ja) 画像データ処理装置及びその方法
JP2004282780A (ja) 撮像装置
JP3127629B2 (ja) ディジタル画像信号のエラー修整装置
JP3149662B2 (ja) 映像符号化装置及び映像復号化装置及び光ディスク
JP2900815B2 (ja) 適応コアリング方法及び適応コアリング装置
CN1235409C (zh) 压缩编码视频的解压缩
JP2897585B2 (ja) 画像符号化記録再生装置
GB2393060A (en) Manipulation of video compression
JP3309474B2 (ja) ディジタルビデオ信号の符号化装置
JP2001112002A (ja) 画像サイズ変換可能なデジタル動画像復号装置
JP2001359098A (ja) 画像信号処理装置及び画像信号処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee