KR20030005219A - 비디오 개선을 위한 코딩 정보에 기초한 유용성 메트릭제공 방법 및 장치 - Google Patents

비디오 개선을 위한 코딩 정보에 기초한 유용성 메트릭제공 방법 및 장치 Download PDF

Info

Publication number
KR20030005219A
KR20030005219A KR1020027011859A KR20027011859A KR20030005219A KR 20030005219 A KR20030005219 A KR 20030005219A KR 1020027011859 A KR1020027011859 A KR 1020027011859A KR 20027011859 A KR20027011859 A KR 20027011859A KR 20030005219 A KR20030005219 A KR 20030005219A
Authority
KR
South Korea
Prior art keywords
digital video
pixel
coding
video
usability metric
Prior art date
Application number
KR1020027011859A
Other languages
English (en)
Inventor
보로크즈키리라
얀센조안
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20030005219A publication Critical patent/KR20030005219A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)

Abstract

코딩 정보를 사용하여 디지털 비디오 신호의 품질을 개선시키기 위한 장치 및 방법이 개시되어 있다. 이미 인코딩된 또는 트랜스코딩된 디지털 비디오 이미지들의 선명도는 인코딩 아티팩트들을 강화시키지 않고 개선된다. 본 발명은 멀티미디어 디바이스들에 사용된 공간적 도메인 선명도 개선 알고리즘들과 연계하여 사용될 수 있다. 상기 장치는 코딩 아티팩트들을 강화시키지 않고 이미지들의 시퀀스를 나타내는 이미 코딩된 디지털 비디오 에 적용될 수 있는 이미지의 선명도 개선의 한계를 식별하는 유용성 메트릭 생성기(215)를 포함한다. 유용성 메트릭 생성기는 하나 이상의 선명도 개선 알고리즘에 유용성 메트릭을 적용한다. 이 유용성 메트릭 및 선명도 개선 알고리즘은 분리되며, 그래서, 유용성 메트릭이 다양한 비디오 개선 알고리즘들과 함께 사용될 수 있다.

Description

비디오 개선을 위한 코딩 정보에 기초한 유용성 메트릭 제공 방법 및 장치{Apparatus and method for providing a usefulness metric based on coding information for video enhancement}
셋-톱 박스들, 첨단(high-end) 텔레비젼들, 퍼스널 텔레비젼들, 저장 제품들, 개인 휴대 정보 단말기들(PDA들), 무선 인터넷 디바이스들 등 같은 고품질 멀티미디어 디바이스들의 개발은 이들 디바이스들을 위한 새로운 특성을 향한 보다 큰 개방성 및 아키텍쳐들의 다양성을 선도한다. 이들 신규 제품들 및 소정 포맷의 비디오 데이터를 디스플레이하기 위한 그 기능의 개발은 비디오 처리 및 비디오 개선 알고리즘들에 대한 새로운 요구사항들 및 기회들을 초래한다. 대부분의 이들 디바이스들은 MPEG-2 포맷의 비디오를 수신 및/또는 저장한다. 이들 MPEG 소스들의 화상 품질은 최상과 최악 사이에서 변화할 수 있다.
블루 레이저 기반 디지털 비디오 레코더 같은 차세대 저장 디바이스들은 소정 범위로 고해상도(HD) 기능을 가진다. 디지털 비디오 레코더(DVR)는 새로운 비디오 이미지 개선 방법이 유용한 디바이스 유형의 적절한 예이다. HD 프로그램은 통상적으로 초당 2000만 비트(20Mb/s)로 방송되며, MPEG-2 비디오 표준에 따라 인코딩된다. 디지털 비디오 레코더의 저장 용량은 약 20 내지 25 기가바이트(20GB 내지 25GB)의 범위이내 이다. 이는 비디오 디스크당 약 두(2) 시간의 HD 비디오 기록 시간을 나타낸다.
비디오 디스크당 기록 시간의 양을 증가시키기 위해서, 롱 플레이 모드(long play mode)가 정의될 수 있다. 예로서, 롱 플레이(LP) 모드에서, 초당 2000만 비트(20Mb/s)의 방송 비트레이트는 초당 1000만 비트(10Mb/s)의 저장 비트레이트로 기록될 수 있다. 이는 비디오 디스크당 약 네(4) 시간의 기록 시간을 제공한다. 확장 롱 플레이(ELP) 모드에서, 초당 2000만 비트(20Mb/s)의 방송 비트레이트는 초당500만 비트(5Mb/s)의 저장 비트레이트로 기록될 수 있다. 이는 비디오 디스크당 약 여덟(8) 시간의 기록 시간을 제공한다.
고 비트레이트 비트스트림(bitrate bitstream)을 보다 낮은 비트레이트 비트스트림으로 변환하는 프로세스는 "비트레이트 트랜스코딩(bit rate transcoding)"이라 지칭된다. 고 비트레이트 비트스트림을 보다 낮은 비트레이트 비트스트림으로 트랜스코딩하는 한가지 방법은 MPEG-2 디코더로 고 레이트 비트스트림을 디코딩하고, 그후, 이렇게 얻어진 비트스트림을 보다 낮은 비트레이트로 인코딩하는 단계들을 수반한다. 고 비트레이트 비트스트림을 트랜스코딩하는 다른 방법은 비디오를 완전히 디코딩하고 다시 인코딩하지 않고, 비트스트림을 보다 낮은 비트레이트로 직접적으로 트랜스코딩하는 것을 포함한다. 이 방법은 직접 비트레이트 트랜스코딩(Direct Bitrate Transcoding:DBT)이라 공지되어 있다.
MPEG-2 트랜스코딩의 프로세스는 정보의 손실로 인해 비디오 시퀀스의 화상 품질(예로서, 선명도)을 감소시킬 수 있다. 그러나, 화상 품질은 너무 많이 손상되지 않는 것이 바람직하다. 이는 롱 플레이(LP) 모드에서 특히 중요하다. 따라서, 트랜스코딩된 비디오 신호들의 후처리(post-processing)가 인지된 화상 품질을 향상시키는데 중요한 역할을 한다.
종래 기술의 선명도 개선 알고리즘들의 대부분은 NTSC, PAL 및 SECAM 같은 아날로그 비디오 전송 표준들을 위해 개발되었으며, 이들에 대해 최적화되어 있다. 통상적으로, 이미지 개선 알고리즘들은 화상의 임의의 원하지 않은 특성들을 감소(예로서, 노이즈 감소)시키거나, 이미지의 임의의 원하는 특성들을 향상(예로서, 선명도 강조)시킨다. 새롭게 출현한 디지털 저장 디바이스들, 디지털 텔레비젼들, 셋톱 박스들 및 기타 유사 디바이스들에 대하여, 전통적인 선명도 개선 알고리즘들은 이들 소스들의 상이한 특성들로 인하여, MPEG 인코딩 또는 트랜스코딩된 비디오상에 부분최적화를 수행할 수 있다. 저장 시스템의 폐쇄 비디오 처리 체인에서, 인코딩된 소스의 품질을 결정하는 정보는 MPEG 스트림으로부터 유도될 수 있다. 이 정보는 비디오 개선 알고리즘들의 성능을 향상시키기 위해 사용될 수 있다.
이미지 품질이 첨단 비디오 제품들을 위한 식별 벡터(distinguishing factor)를 남기기 때문에, 특히, 이들 디지털 소스들과 함께 사용하도록 적응된 이미지 개선을 수행하기 위한 신규한 접근법이 유리하다. 1999년 10월 25-28일, 일본 코베에서의 IEEE, ICIP'99 회보의 C. J. 츠사이(Tsai), P. 카루나라트네(Karunaratne), N. P. 갈라트사노스(Galatsanos) 및 A. K. 카차그겔로스(Katsaggelos)의 제목이 "압축 비디오 개선 알고리즘(A Compressed Video Enhancement Algorithm)"인 논문에서, 저자들은 낮은 비트레이트로 인코딩된 비디오 시퀀스들을 개선하기 위한 반복 알고리즘을 제안한다. MPEG 소스들에 대하여, 화상 품질의 열화는 대부분 양자화 함수로부터 발생한다. 따라서, 이 저자들에 의해 사용된 반복 구배 투영 알고리즘(iterative gradient-projection algorithm)은 그 비용 함수(cost function)내의 전진 움직임 벡터들, 양자화 단차 크기 및 매크로블록 유형들 같은 코딩 정보를 사용한다. 이 알고리즘은 저 비트레이트 비디오에 대하여 약속한 결과들을 나타낸다. 그러나, 그 주된 단점은 그 높은 연산적 복잡성이다.
2000년 9월 7-12일, 네덜란드 암스테르담의 IBC 2000 회보 109-115쪽의 B. 마틴스(Martins) 및 S. 포챔머(Forchammer)의 제목이 "MPEG-2 코딩된 비디오의 개선된 디코딩 방법(Improved Decoding of MPEG-2 Coded Video""인 논문에서, 저자는 MPEG-2 코딩된 비디오의 디코딩을 개선시키는 새로운 개념을 설명한다. 특히, 디코딩 프로세스에 통합된, 디인터레이싱(deinteracing) 및 포맷 변환을 위한 일원화된 접근법이 제안되어 있다. 이 기술은 통상적인 디코딩에 의해 획득되는 것 보다 현저히 높은 화상 품질을 초래한다. 그러나, 그 연산적 복잡성은 현재까지 소비자 어플리케이션들에 이를 구현하지 못하게 하고 있다.
양자 모두의 논문들은 MPEG 코딩 정보를 사용하는 비디오 개선 알고리즘들을 설명한다. 그러나, 이들 시나리오들 양자 모두는 비실용적인 것에 부가하여, 개선 및 비용 함수(cost function)를 조합한다. 비용 함수는 비용 함수는 얼마나 많이 그리고, 화소내의 어느 위치에서 개선이 적용되어야하는지를 판정한다. 이 비용 및 개선 함수들의 조합으로부터 초래되는 문제점은 단 하나의 알고리즘이 그 비용함수와 함께 사용될 수 있다는 것이다.
따라서, 인코딩 및 트랜스코딩된 비디오 소스들을 효과적으로 개선시킬 수 있는 비디오 개선 방법 및 장치가 필요하다.
본 발명은 일반적으로 코딩 정보를 사용하여 디지털 비디오 신호의 품질을 개선시키는 방법 및 장치를 포함한다. 본 발명은 코딩 아티팩트들을 증가시키지 않고, 각 개별 화소가 얼마나 개선될 수 있는지를 계산하는 유용성 메트릭을 포함한다.
이 장치는 코딩 아티팩트들을 강화시키지 않고, 이미지들의 시퀀스를 나타내는 이미 코딩된 디지털 비디오에 적용될 수 있는 이미지의 선명도 개선량에 대한 한계를 결정할 수 있는 유용성 메트릭 생성기를 포함한다. 이 유용성 메트릭 생성기는 하나 이상의 선명도 개선 알고리즘에 이 유용성 메트릭을 적용한다. 유용성 메트릭 및 선명도 개선 알고리즘은 유용성 메트릭이 다양한 비디오 개선 알고리즘들과 함께 사용될 수 있도록 분리되어 있다.
본 특허 출원은 2001년 1월 10일자로 출원된 임시 특허 출원 번호 제 60/260,843 호의 급부 및 우선권을 참조 및 주장한다.
본 특허 출원은 2001년 10월 12일자로 출원된 브로즈키(Broczky) 등의 발명의 명칭이 "코딩된 비디오를 위한 선명도 개선 방법 및 장치(Method and Apparatus for Sharpness Enhancement for Coded Video)"인 동시 계류 중인 미국 특허 출원 번호 제 09/976340호에 관련된 것이다. 관련 특허 출원은 본 발명의 양수인에게 공동으로 양도된 것이다. 관련 특허 출원의 내용들은 본 명세서에 완전히 기술되어 있는 것 처럼 본 출원에서 참조하고 있다.
본 발명은 코딩 정보를 사용하여 디지털 비디오 신호의 품질을 개선하기 위한 장치 및 방법에 관한 것이다. 본 발명의 장치 및 방법은 인코딩 아티팩트들(artifacts)을 강화시키지 않고 인코딩 또는 트랜스코딩된 디지털 비디오의 선명도(sharpness)를 개선한다. 본 발명은 멀티미디어 디바이스들에 사용된 공간 도메인(spatial domain) 선명도 개선 알고리즘들과 연계하여 사용될 수 있다.
도 1은 본 발명의 방법 및 장치를 포함하는 예시적 디지털 텔레비젼 세트의 블록도.
도 2는 본 발명의 코딩 이득 제어 블록 및 유용도 메트릭 생성기를 포함하는 적응성 피킹 유니트(adaptive peaking unit)의 양호한 실시예를 예시하는 블록도.
도 3은 양자화 파라미터(quantization parameter)에 대한 본 발명의 유용성 메트릭을 나타내는 함수의 그래프를 예시하는 도면.
도 4는 본 발명의 코딩 이득 제어 블록과 유용성 메트릭 생성기를 포함하는 적응성 피킹 유니트의 대안적인 양호한 실시예를 예시하는 블록도.
도 5는 본 발명의 작동 방법의 양호한 실시예를 예시하는 흐름도.
본 발명의 주 목적은 디지털 비디오에 대한 비디오 개선 알고리즘의 적용을 규제하기 위해 유용성 메트릭을 사용하는 방법 및 장치를 제공하는 것이다.
본 발명의 다른 목적은 다양한 상이한 비디오 개선 알고리즘들이 유용성 메트릭과 결부하여 사용될 수 있도록 비디오 개선 알고리즘으로부터 분리된 유용성 메트릭을 제공하는 것이다.
본 발명의 또 다른 목적은 성능과 장치의 복잡성 사이의 최적의 절충을 보증하도록 유용성 메트릭이 장치의 제한들에 대해 조율될 수 있는 방법 및 장치를 제공하는 것이다.
본 발명의 다른 목적은 인코딩 및 트랜스코딩된 비디오 소스들과 함께 최적으로 동작하는 디지털 비디오 개선 방법 및 장치를 제공하는 것이다.
상술한 바는, 본 기술 분야의 숙련자들이 하기의 발명의 상세한 설명을 보다 양호하게 이해할 수 있도록 본 발명의 기술적 장점들 및 특징들을 광범위하게 개요설명한 것이다. 본 발명의 부가적인 특징들 및 장점들이 하기에 설명되어 있으며,이들은 본 발명의 청구 범위의 주제를 형성한다. 본 기술 분야의 숙련자들은 그들이 본 발명의 동일 목적을 수행하기 위한 다른 구조들을 설계 또는 변형하는 것에 기초하여 설명된 특정 실시예 및 개념들을 용이하게 활용할 수 있다는 것을 인지하여야만 한다. 이들 본 기술 분야의 숙련자들은 또한 그 가장 넓은 형태의 본 발명의 개념 및 범주로부터 벗어나지 않고, 이런 등가의 구조들을 실현할 수 있다.
하기의 발명의 상세한 설명에 들어가기에 앞서, 본 명세서 전반에 걸쳐 사용되는 특정 단어 및 어구의 정의를 하기와 같이 기술한다. 용어 "포함하는"과 "구성되는" 및 그 파생어들은 제한적이지 않은 포함을 의미하고, 용어 "또는"은 및/또는의 의미를 포함하며, 어구 "무엇에 연계된", "어디에 연계된" 및 그 파생어들은 포함하거나, 포함되거나, 상호연결되거나, 내포하거나, 내포되거나, 무엇에 또는 무엇과 연결하거나, 무엇에 또는 무엇과 결합하거나, 함께 통신하거나, 상호협력하거나, 간삽되거나, 병치되거나, 인접하거나, 무엇에 또는 무엇과 접합되거나, 갖거나, 특성을 갖거나 등등의 의미일 수 있으며, 용어 "콘트롤러", "프로세서", 또는 "장치"는 하나 이상의 작업을 제어하는 소정의 디바이스, 시스템 또는 그 일부를 의미하고, 이런 디바이스는 하드웨어, 펌웨어나 소프트웨어, 또는 이들의 둘 이상의 소정의 조합으로 구현될 수 있다. 소정의 특정 콘트롤러와 연계된 기능성은 로컬식으로 또는 원격식으로, 중앙집중 또는 이산 배치될 수 있다. 특정 단어들 및 어구들에 대한 정의들은 본 특허 문서 전반에 걸쳐 제공된다. 본 기술분야의 숙련자들은 대부분은 아니더라도 다수가, 실제 이런 정의들이 이런 정의된 단어들 및 어구들이 기존의 용도들 및 미래의 용도들에 적용된다는 것을 이해하여야 한다.
본 발명 및 그 장점들의 보다 완전한 이해를 위해, 유사 참조 번호들이 유사 목적물들을 지시하고 있는 첨부 도면과 결부하여 하기의 상세한 설명을 참조한다.
본 발명의 방법 및 장치의 원리를 설명하기 위해 본 명세서에 기술된 다양한 실시예들과, 하기에 설명된 도 1 내지 도 5는 단지 예시일 뿐이며, 어떠한 방식으로도 본 발명의 범주를 제한하여서는 안된다. 본 발명의 방법 및 장치는 디지털 텔레비젼 세트의 비디오 신호를 개선하기 위한 방법 및 장치로서 설명될 것이다. 본 발명의 방법 및 장치는 디지털 텔레비젼 세트들에 제한되지 않는다는 것을 이해하는 것이 중요하다. 본 기술 분야의 숙련자들은 본 발명의 원리들이 텔레비젼 수상기들, 셋톱 박스들, 저장 디바이스들, 컴퓨터 비디오 디스플레이 시스템들 및 디지털 비디오 신호들을 활용 또는 처리하는 소정의 유형의 전자 장비를 포함하는, 그러나, 이에 제한되지 않는, 소정의 유형의 디지털 비디오 시스템에 성공적으로 적용될 수도 있다는 것을 쉽게 이해할 것이다. 용어 "디지털 비디오 시스템"은 이들 장비의 유형들을 지칭하기 위해 사용된다. 하기의 설명에서, 디지털 텔레비젼 세트는 디지털 비디오 시스템의 예로서 사용된다.
도 1은 본 발명의 방법 및 장치를 사용하는 디지털 텔레비젼 세트(100)의 블록도이다. 디지털 텔레비젼 세트(100)는 텔레비젼 수상기(110)와 디스플레이 유니트(115)를 포함한다. 디스플레이 유니트(115)는 음극선관이나 평판 패널 디스플레이 또는 비디오 이미지들을 디스플레이하기 위한 소정의 유형의 장비일 수 있다. 텔레비젼 수상기(110)는 텔레비젼 신호들을 수신하기 위한 안테나(105)를 포함한다. 안테나(105)는 튜너(120)에 결합된다. 튜너(120)는 중간 주파수("IF") 프로세서(125)에 연결된다. IF 프로세서(125)는 MPEG 디코더(130)에 연결된다.
보다 자세히 설명될 바와 같이, 본 발명은 비디오 신호 품질 개선을 위해 개선 유용성 메트릭(UME)을 계산한다. MPEG 디코더(130)의 출력은 후처리 회로들(135)에 연결된다. 후처리 회로들(135)은 본 발명의 유용성 메트릭(UME)을 포함하는 적응성 피킹 유니트(140)를 포함한다. 적응성 피킹 유니트(140)는 후처리 회로들(135)내의 적절한 위치에 위치될 수 있다. 후처리 회로들(135)의 출력은 디스플레이 유니트(115)에 입력된다.
적응성 피킹 유니트(140)는 MPEG 디코더(130)로부터 수신한 비디오 신호들을처리한다. 적응성 피킹 유니트(140)는 적응성 피킹 프로세스에 사용하기 위한 코딩 이득의 값을 생성하기 위해 유용성 메트릭(UME)을 사용한다. 적응성 피킹의 프로세스는 예시적이며, 본 발명의 유용성 메트릭(UME)이 사용될 수 있는 방식을 보여준다. 본 발명의 장치 및 방법은 적응성 피킹에 제한되지 않는다는 것을 이해하여야 한다. 유용성 메트릭(UME)은 하나 이상의 유형의 비디오 개선 알고리즘과 함께 사용될 수 있다.
적응성 피킹 유니트(140)는 비디오 신호내의 코딩된 정보를 고려하는 방식으로 비디오 신호들을 처리한다. 적응성 피킹 유니트(140)의 출력은 적응성 피킹 유니트(140)가 MPEG 디코더(130)로부터 수신한 비디오 신호들을 위한 개선된 휘도 신호이다. 적응성 피킹 유니트(140)에 의해 결정된 휘도 신호는 종래 기술의 적응성 피킹 유니트들에 의해 제공된 것 보다 정확하고 시각적으로 뚜렷한 비디오 이미지를 제공한다. 적응성 피킹 유니트(140)는 후처리 회로들(135)내의 다른 회로들에 개선된 휘도 신호를 전달한다. 후처리 회로들(135)은 비디오 신호들의 품질을 개선시키기 위해 개선된 휘도 신호를 활용할 수 있다.
후처리 회로들(135)은 몇가지 상이한 유형들의 비디오 신호 처리를 수행할 수 있다. 예로서, 비디오 신호 처리 어플리케이션들 중 일부는 (a) 노이즈 레벨 적응성 노이즈 저감 알고리즘, (b) 노이즈 레벨 적응성 선명도 개선, (c) 노이즈 레벨 적응성 휘도-색차 분리, (d) 노이즈 레벨 적응성 움직임 검출, (e) 노이즈 레벨 적응성 움직임 추정 및 보상, (f) 노이즈 레벨 적응성 업-컨버전, (g) 노이즈 레벨 적응성 특징 개선 및 (h) 노이즈 레벨 적응성 물체 기반 알고리즘들을 포함한다.
도 2는 본 발명의 일 양호한 실시예에 따른 적응성 피킹 유니트(140)의 방법 및 장치를 예시하는 블록도이다. 도 2는 본 발명의 유용성 메트릭(UME)이 선명도 개선을 위한 적응성 피킹 알고리즘에 적용되는 방식을 예시한다. 적응성 피킹 알고리즘은 입력 휘도 신호(210)의 트렌지언트의 진폭을 증가시키는 것에 관한 것이다. 적응성 피킹 알고리즘은 "선험적(a priori)" 인코딩/트랜스코딩 비디오 소스를 위해 최적의 비디오 품질을 제공하는 것은 아니다. 이는 주로 MPEG 소스의 특성들이 고려되지 않는다는 사실의 결과이다.
본 발명에서, 유용성 메트릭 생성기(215)는 유용성 메트릭(UME)을 생성한다. 유용성 메트릭(UME)은 기준 숫자(220)로 표시된다. UME(220)는 MPEG 소스의 특징들을 고려한다. 원본 알고리즘은 UME(220)를 사용함으로써 확장되고, 그에 의해 알고리즘의 성능을 현저히 향상시킨다.
적응성 피킹 알고리즘들에 의해 사용되는 원리들은 종래 기술에 널리 공지되어 있다. 적응성 피킹 알고리즘의 일 예는 네(4) 제어 블록들을 사용하는 것이다. 도 2에 도시된 바와 같이, 네(4) 제어 블록들은 대비 제어 블록(225), 동적 범위 제어 블록(230), 클립핑 방지 블록(235) 및 적응성 코어링 블록(240)이다. 대비 제어 블록(225)은 이득 신호 "g1"을 생성한다. 동적 범위 제어 블록(230)은 이득 신호 "g2"를 생성한다. 클립핑 방지 블록(235)은 이득 신호 "g3"를 생성한다. 적응성 코어링 블록(240)은 이득 신호 "g4"를 생성한다.
이들 네(4) 화소 기반 제어 블록들은 대비, 동적 범위 및 노이즈 레벨 같은 비디오 신호의 특정 로컬 특성들을 고려한다. 그러나, 이들 네(4) 제어 블록들은코딩 특성들에 관련한 정보는 고려하지 않는다.
본 발명의 장치는 코딩 이득 블록(245)을 제공한다. 코딩 이득 블록(245)은 피킹의 허용량을 결정하기 위해 유용성 메트릭(UME; 220)을 사용한다. 코딩 이득 블록(245)은 이득 신호 "gcoding"를 생성한다. 동적 이득 제어 블록(250)은 최종 이득 신호 "g"를 생성하기 위해, 다섯(5) 이득 신호들(g1, g2, g3, g4, gcoding)의 최소값을 선택한다. 승산기 회로(255)는 2D 피킹 필터(260)에 의해 필터링된 고역 통과 신호에 의해 최종 이득 신호 "g"를 승산한다. 가산기(265)는 휘도 입력 신호(210)에 의해 표션된 화소의 원래 휘도값에 승산기 회로(255)로부터의 적을 가산한다. 이 방식으로, 개선된 휘도 출력 신호(270)가 생성된다.
UME(220)는 얼마나 많은 화소 또는 영역이 코딩 아티팩트들의 증가 없이 개선될 수 있는지를 계산(화소 단위 기반 또는 영역 기반으로)한다. UME(220)는 비트스트림내에 존재하는 MPEG 코딩 정보로부터 유도된다. 비트스트림내에 존재하는 코딩 정보는 디코딩 절차 동안 검색될 수 있다. UME(220)와 함께 사용될 MPEG 정보를 선택하는 것은 사소한일이 아니다. UME(220)는 반드시 비디오의 화상 품질 또는 공간-시간적 특성들의 표시(indication)를 제공하여야만 한다.
디코딩 동안 직접적으로 얻어질 수 있는 MPEG 정보의 가장 미소한 입도(granularity)는 (1) 매크로블록(MB) 양들에 기반하거나, (2) 블록 단위 기반 양들에 기반한다. 그러나, 공간적(화소) 도메인 비디오 개선을 위하여, 최고 화소 품질을 보증하기 위하여 화상의 각 화소에 대해 UME가 계산되어야만 한다.
MPEG 정보로부터 쉽게 추출된 한가지 파라미터는 양자화 파라미터이며, 그 이유는, 모든 코딩된 매크로블록(MB) 마다 존재하기 때문이다. 양자화 파라미터가 높으면 높을수록, 양자화가 보다 조립질(coarser)이 되게 되며, 그에 따라, 양자화 에러가 높아지게 된다. 높은 양자화 에러는 코딩 아티펙트들을 유발하고, 결과적으로, 높은 양자화 파라미터를 가진 매크로블록(MB)의 화소들의 개선은 반드시 보다 많이 억제되어야 한다.
정보의 다른 유용한 항목은 매크로블록(MB) 또는 블록을 코딩하기 위해 소모된 비트수이다. 소모 비트수는 특정 화상내의 블록 또는 매크로블록(MB)의 평균 소모 비트수에 비교될 수 있다. 그러나, 이 양은 또한, 장면 내용(scene content), 비트레이트, 화상 유형(I(intra), P(predicted), B(bidirectionally predicted) 화상 유형들과 같은), 움직임 추정 및 움직임 보상에도 크게 의존한다.
또한, 블록내에 존재하는 DCT 계수들의 분포를 고려하는 것도 가능하다. 또한, 개선될 비디오의 시간적 특징들의 정보를 획득하기 위해 움직임 벡터들을 사용하는 것도 가능하다. MPEG 인코딩을 위해 추정 및 사용된 움직임 벡터들이 비디오내의 진정한 움직임을 필수적으로 표현하는 것은 아니라는 사실은 널리 공지되어 있다. 그러나, 움직임 벡터들은 움직임 벡터들이 신뢰적이지 못할 때에도,움직임 벡터들은 정적 영역들을 식별하고, 프레임으로부터 프레임으로의 개선의 시간적 일관성을 향상시키기 위해 이 정적 영역들을 사용하는 것을 도울 수 있다.
양자화 파라미터 및 소모 비트수(매크로블록(MB) 또는 블록을 코딩하기 위한)는 MPEG 인코딩의 레이트 제어 계산들에 널리 사용된다. 양자화 파라미터 및 소모 비트수는 통상적으로 코딩 복잡성을 계산하기 위해 사용된다.
UME를 위한 제 1 실시예. "코딩 복잡성"은 매크로블록(MB) 또는 블록을 인코딩하기 위한 소모 비트수와 양자화 파라미터의 적으로서 정의된다. 따라서, 코딩 복잡성은 하기의 수학식에 의해 기술된다.
(1)
여기서, "mquant"는 양자화 파라미터이고, "bitsMB/block"은 매크로블록(k,h) 또는 블록(k,h)을 인코딩하기 위해 사용된 DCT 계수들의 비트수이다. 기본 가정(underlying assumption)은 프래임의 평균 복잡성에 관한 매크로블록(MB) 또는 블록의 복잡성이 높으면 높을수록, 그 매크로블록(MB) 또는 그 블록내에 코딩 아티팩트들을 가질 가능성이 높아진다는 것이다. 따라서, 개선은 비교적 높은 코딩 복잡성을 가진 블록들의 화소들에 대하여 억제되어야만 한다.
따라서, 화소(i,j)는 하기의 수학식에 의해 정의된다.
(2)
여기서, complpixel(i,j)는 화소(i,j)의 코딩 복잡성이며, complAVE는 화소의 평균 코딩 복잡성이다. complAVE의 값은 하기와 같이 추정될 수 있다.
(3)
여기서, NB는 화소내에 존재하는 블록들의 수이며, coding_complblock은 블록의 코딩 복잡성이다.
본 발명에서, complpixel(i,j)은 쌍일차 보간에 의해 매크로블록(MB) 또는 블록 복잡성 맵으로부터 추정된다. 보다 고차의 보간 같은 다른 보간법들도 가능하다.
매크로블록(MB)/블록의 복잡성 맵은 유전성 블록 구조를 가진다. 복잡성 맵의 이 특성(UME에 바람직하지 못함)을 감소시키기 위해서, 공간적 저역 통과 필터링이 맵에 적용된다. 저역 통과 필터링을 위해 사용되는 필터 커널은 하기와 같다.
(4)
다른 유형의 저역 필터링도 가능하다.
본 발명의 일 양호한 실시예에서, UME(i,j)의 값은 "영"("0")의 값으로부터 "일"("1")의 값의 범위일 수 있다. UME(i,j)를 위한 "0"의 값은 어떠한 선명도 개선도 특정 화소에 허용되지 않는다는 것을 의미하며, "1"은 화소가 소정의 코딩 아티팩트들을 강화시킬 위험 없이 자유롭게 개선될 수 있다는 것을 의미한다.
보다 강한 비트레이트 의존성을 통합시키기 위해서, 수학식 (2)는 양자화 파라미터에 직접적으로 관련된 항의 추가에 의해 확장될 수 있다. 이는 특히 저 비트레이트로 인코딩된 비디오에 유용하다.
UME를 위한 제 2 실시예. 본 실시예에서는 양자화 파라미터만이 UME 계산에 사용된다는 것을 가정한다. 보다 큰 양자화 파라미터 값은 일반적으로 증가된 코딩 아티팩트들을 유발하기 때문에, UME는 양자화 파라미터(mquant)에 역비례하여야 한다. MB(k,h)를 위한 UME의 가능한 함수는 하기의 방정식으로 주어진다.
(5)
여기서, 변수들 a, b, c와 함수 f는 실험적으로 결정될 수 있다. 수학식 (5)에 기술된 UMEMB(k,h)를 위한 함수는 도 3에 그래픽적으로 예시되어 있다. 수학식 (5)의 UMEMB(k,h)는 각 매크로블록(MB)에 대하여 계산되며, 그 이유는 인코딩 절차에서 하나의 매크로블록(MB)에 하나의 양자화 파라미터가 할당되기 때문이다. 따라서, 프레임의 각 화소를 위한 UMEMB(k,h)는 매크로블록(MB) 레벨 UME 맵을 보간함으로써 획득될 수 있다.
MPEG-2 비디오 압축 표준은 어떠한 데이터도 갖지 않은 P(predicted) 및 B(bidirectionally predicted) 화상들의 특정 매크로블록들(MB) 및 블록들의 인코딩을 허용한다. 이들 매크로블록들은 "스킵드(skipped)" 매크로블록들이라 지칭된다. 스킵드 매크로블록들(MB)은 최근 코딩된 논-스킵드 매크로블록들(MB)로부터의 코딩 정보와 기준 화상들을 사용하여 디코딩 절차에서 재구성될 수 있다. 또한, 완전히 움직임 보상된 매크로블록들(MB)에 대하여, 비트 스트림내에 어떠한 DCT 데이터도 존재하지 않거나, 매크로블록들(MB)내의 특정 블록들이 코딩되지 않는다.
스킵되거나 인코딩되지 않은 매크로블록들(MB) 또는 블록들에 대하여, 인코딩된 비트스트림은 UME 계산을 위한 필수 코딩 정보를 포함하지 않는다. 이 결핍을 교정하기 위하여, UME는 예로서, 하기의 두가지 방법들 중 하나를 사용하여 추정될 수 있다.
첫 번째 방법은 스킵된 또는 코딩되지 않은 매크로블록들(MB) 또는 블록들에 대한 UME 추정을 위해 이웃하는 비스킵 또는 코딩된 매크로블록들(MB)을 사용하는 것이다. 일 양호한 실시예에서, 삼(3) ×삼(3) 추정 윈도우가 사용된다. 이 추정 윈도우는 스킵된 또는 코딩되지 않은 매크로블록(MB)에 중심설정되어 있다. 추정 윈도우내의 모든 매크로블록들(MB)이 스킵되거나 코딩되지 않은 경우에, 이때, 스킵된 또는 코딩되지 않은 매크로블록(MB)의 복잡성은 프레임의 평균 복잡성의 절반으로 취해진다. 이 방법은 화상이 비교적 적은 수의 스킵된 매크로블록들(MB)을 가지는 경우에 양호하게 동작한다. 화상이 저 비트레이트 인코딩을 가지거나, 정적 장면들을 가지는 경우에, 이 추정 방법은 너무 조립질이되게 된다.
두 번째 방법은 움직임 보상을 사용하여 이전 프레임의 대응 매크로블록(MB)에 할당된 바와 동일한 UME를 스킵된 또는 코딩되지 않은 매크로블록(MB)에 할당하는 것이다.
UME가 코딩 특성들을 고려하여 계산되기 때문에, UME는 단지 블로킹 및 잉잉 같은 코딩 아티팩트들의 강화를 방지한다. 따라서, 너무 많은 개선을 적용하는 결과를 초래할 수 있는 코딩되지 않은 원점(origin)의 아티팩트들의 방지 또는 저감은 선명도 개선 알고리즘의 다른 부분들에 의해 관리된다.
UME는 소정의 피킹 알고리즘과 조합될 수 있다. 대안적으로, UME는 소정의 공간적 도메인 선명도 개선 알고리즘에 적용될 수 있다. 또한, 적응성 피킹 알고리즘과 조합한 코딩 정보만을 활용하는 것도 가능하다. 또한, 적응성 피킹 알고리즘과 조합한 장면 내용 관련 정보를 포함하는 코딩 정보를 활용하는 것도 가능하다.
도 4는 이런 실시예를 예시한다. 도 4에서, 도 1의 네(4) 제어 블록들(225, 230, 235 및 240)이 소거되어 있다. 코딩 이득 블록(245)만이 남아있다. 에지 정보(edge information) 같은 장면 내용 정보가 코딩 이득 계산내에 통합된다. 장면 내용 관련 정보는 UME(220)의 계산에 적용된 보간들과 이루어진 가정들로부터 발생하는 UME(220)의 계산의 불확실성을 보상한다.
도 4에 도시된 실시예에서, 화소(i,j)의 코딩 이득은 하기의 수학식에 따라 두(2) 항들의 합으로서 결정된다.
(6)
항 UME(i,j)는 위와 같이 정의되고, 수학식 (2) 또는 수학식 (5)로부터 계산될 수 있다. 항 gedge(i,j)는 에지 관련 화소 정보에 기초하며, 에지 검출의 출력에 기초하여 적응적으로 계산된다. gedge(i,j)를 계산하기 위한 예시적인 한가지 방법은 (1) p(i,j)는 공간적 위치(i,j)에 있는 에지 화소이고, (2) p(i,j)는 에지 중심에 위치되거나, p(i,j)가 에지 중심에 가장 근접한 화소라는 가정들을 수반한다. 이때, 항 gedge(i,j)는 하기와 같이 계산될 수 있다.
(7)
여기서 값 c는 실험적으로 결정된다.
에지 관련 항이 코딩 이득 계산에 사용되는 경우, 그때, 에지 검출은 저 비트레이트로 코딩된 이미지 시퀀스들에서 발생할 수 있는 링잉(ringing)의 오류 에지들 및 블로킹 아티펙트들의 블록 경계들을 배제하여야만 한다는 것을 주목하여야 한다.
소정의 주어진 화소에 대한 코딩 이득의 급준한 프레임-대-프레임 변화들은 시간적으로 일정하지 못한 선명도 개선을 초래할 수 있으며, 이는 바람직하지 못하다. 이런 변화들은 또한 시간적으로 가시적이며 성가신, 모기 잡음(mosquito noise) 같은 아티팩트들을 강화시킬 수도 있다.
이 효과를 고치기 위하여, 이전 프레임의 이득을 사용하여 코딩 이득에 시간적 필터링이 적용된다. 시간적 필터링은 단순한 시간적 무한 임펄스 응답(IIR) 필터이거나, 움직임 보상된 필터일 수 있다. 움직임 보상을 사용하지 않는 한가지 가능한 IIR 필터는 하기의 수학식에 의해 주어진다.
(8)
여기서 t는 현재 프레임을 나타내고, k는 IIR 필터 계수이다.
UME는 수학식 (2)의 코딩 복잡성에 기초하여 계산될 수 있다. 높은 연산적 복잡성 및 메모리 소요를 감소시키기 위해, 이득 맵의 필터링 대신, 매크로블록(MB) 또는 블록 기반 복잡성 맵이 무한 임펄스 응답(IIR) 필터를 사용하여 시간적으로 필터링된다. 이 프로세스는 하기의 수학식에 의해 표현된다.
(9)
여기서, (r,s)는 매크로블록(MB) 또는 블록의 공간적 좌표이고, t는 현재 화상을 나타내며, k는 무한 임펄스 응답(IIR) 필터 계수이고, "scal"은 상이한 화상유형들 사이의 복잡성을 고려한 스케일링 항이다. 이 스케일링 항 "scal"은 프레임 "t"의 평균 MB 또는 블록 복잡성과 "t-1"의 비율로서 계산된다. 보다 명확하게는 하기의 수학식과 같다.
(10)
공간적 필터의 출력은 개선된 휘도 출력 신호(270)를 생성하기 위해 원본 휘도 신호 입력 신호(210)에 가산기(265)에 의해 가산된다.
또한, 본 발명은 롱 플레이(LP)를 허용하면서 고해상도(HD) 기능들을 가지는 비디오 저장 어플리케이션에 존재할 수 있는 것 같은, 고해상도(HD) 및 표준해상도(SD) 시퀀스들에도 적용될 수 있다. 이런 비디오 시퀀스들의 대부분은 방송 MPEG-2 비트스트림들로부터 보다 낮은 저장 비트레이트로 트랜스코딩된다.이 어플리케이션의 롱 플레이(LP) 모드에 대하여, 포맷 변화는 트랜스코딩 동안 이루어질 수도 있다. 표분 해상도(SD) 또는 고 해상도(HD) 비디오 시퀀스들은 인코딩, 디코딩 및 그후, 본 발명에 따른 선명도 개선 알고리즘으로 처리되어 선험적으로 인코딩 또는 트랜스코딩된 비디오 시퀀스들에 대해 코딩 정보를 사용하지 않는 알고리즘들에 비해 우월한 비디오 품질을 제공한다.
도 5는 본 발명의 방법의 양호한 실시예를 예시하는 흐름도이다. 하나의 프레임(프레임 "t")을 처리하기 위한 코딩 이득을 계산하기 위한 방법은 일반적으로 참조 번호 500으로 표시된다. 가장 먼저, 코딩 정보가 얻어진다(스텝 505), 그후, 프레임 "t"의 복잡성 맵이 얻어진다(스텝 510). 다음에, 스킵된 또는 코딩되지 않은 매크로블록(MB)(존재시)을 위한 복잡성 추정이 결정된다(스텝 515).
스텝 520은 수학식 (4)의 필터 커널을 사용하여 저역 통과 필터로 이 복잡성 맵을 필터링하는 단계이다. 스텝 525는 수학식 (9), 수학식 (10) 및 이전 프레임(프레임 "t-1")의 복잡성 맵을 사용하여 복잡성 맵을 시간적으로 필터링하는 단계이다. 스텝 550은 이전 프레임(프레임 "t-1")의 복잡성 맵을 획득하는 단계이다. 프레임 "t-1"을 위한 복잡성 맵 정보는 스텝 525에 의해 사용된다. 스텝 530은 스텝 525의 시간적 필터링 이후 신호상에 쌍일차 보간을 수행하는 단계이다. 그후, 화소당 코딩 이득이 계산된다(스텝 535).
프레임 "t"로부터 정보가 획득되고(스텝 560) 프레임 "t"내의 화상의 에지들을 검출하기 위해 사용된다(스텝 555). 스텝 555의 에지 검출 프로세스의 결과는 스텝 535의 화소당 코딩 이득의 계산을 위해 제공된다.
화소당 코딩 이득이 스텝 535에서 계산되고난 이후에, 그후, 유용성 메트릭(UME)이 적응성 피킹 프로세스에 사용된다(스텝 540). 스텝 540의 UME 적응성 피킹 프로세스는 스텝 560에서 프레임 "t"로부터 얻어진 정보도 사용한다. 스텝 540의 UME 적응성 피킹 프로세스의 결과는 개선된 프레임 "t"로서 디스플레이된다(스텝 545).
상술된 방법은 하기와 같이 요약될 수 있다. 이 방법은 매크로블록(MB) 또는 블록 레벨 복잡성 맵이 시간 "t"에 대해 가용한 것으로 가정한다. 그후, 스킵된 또는 코딩되지 않은 매크로블록들(MB) 또는 블록들의 복잡성의 추정이 수행된다. 복잡성 맵의 블로킹 구조를 감소시키기 위해서, 수학식 (4)의 필터 커널을 사용하는저역 통과 필터링이 적용된다. 그후, 수학식 (9), 수학식 (10) 및 이전 프레임의 복잡성 맵을 사용한 복잡성 맵의 시간적 필터링이 이어진다. 각 화소의 복잡성 값은 매크로블록(MB) 또는 블록 복잡성 맵으로부터의 쌍일차 보간에 의해 추정된다. 각 화소를 위한 복잡성 값과, 에지 검출 프로세스의 결과를 사용하여, 코딩 이득이 각 화소에 대해 계산된다. UME를 사용하는 적응성 피킹은 개선된 프레임 "t"를 생성하기 위해 프레임의 각 화소에 적용된다.
알고리즘이 비월 비디오 시퀀스들에 적용되는 경우에, 계산들 중 일부가 비월 비디오의 특성들에 적응될 수 있다. 비월 비디오 시퀀스들에 대하여, MPEG 스트림이 필드 또는 프레임 구조식 화상들일 수 있다는 사실로 인해 복잡성 계산은 변화된다. 필드 구조 화상들에서, 블록들은 하나의 필드로부터만 데이터를 포함할 수 있고, 각 블록은 필드 DCT 코딩된다. 따라서, 진보적 비디오를 위한 복잡성 계산은 필드 구조 화상들을 위한 것으로서 적용될 수 있다.
그러나, 프레임 구조 화상에서, 블록들은 프레임- 또는 필드-DCT 코딩될 수 있다. 프레임-DCT의 경우에, 블록은 양 필드들로부터의 데이터로 구성된다. 따라서, 팔×팔(8×8) 블록을 위한 "필드-복잡성"만이 추정될 수 있다. 블록의 "필드-복잡성"을 계산하기 위해, 하나의 매크로블록(MB)으로부터의 두(2) 블록들을 사용하는 것이 가능하다. 이들 고려사항들로부터, 비월 비디오에서, 블록들을 위한 복잡성 계산은 매크로블록들(MB)을 위한 것 보다 쉽다는 것을 알 수 있다.
비록, 디지털 텔레비젼 세트의 예시적인 예를 포함하는 그 특정 실시예들에 관련하여 본 발명을 상세히 설명하였지만, 본 발명은 상술한 실시예들 및 그에 대한 변형들에 한정되지 않는다. 본 기술 분야의 숙련자들은 그 가장 광의저긴 형태의 본 발명의 개념 및 범주로부터 벗어나지 않고, 본 발명의 다양한 변경들, 치환들, 변형들, 대안들 및 적응형들을 구성할 수 있다.

Claims (10)

  1. 디지털 비디오 시스템내의 이미 코딩된 디지털 비디오 신호의 이미지 품질을 개선하기 위한 장치(140)에 있어서,
    상기 장치(140)는 코딩 아티팩트들(coding artifacts)을 강화시키지 않으면서 상기 이미 코딩된 디지털 비디오 신호(210)에 적용될 수 있는 비디오 개선(video enhancement)의 양을 결정하기 위해 유용성 메트릭(usefulness metric: 220)을 생성할 수 있는 상기 디지털 비디오 시스템(100)내에 유용성 메트릭 생성기(215)를 포함하는, 이미지 품질 개선 장치.
  2. 제 1 항에 있어서, 상기 비디오 시스템(100)은 상기 이미 코딩된 디지털 비디오 신호(210)에 선명도 개선 알고리즘(sharpness enhancement algorithm)을 적용할 수 있는 적어도 하나의 선명도 개선 유니트를 포함하고,
    상기 장치(140)는 상기 적어도 하나의 선명도 개선 유니트에 의해 상기 이미 코딩된 디지털 비디오 신호(210)에 적용된 선명도 개선의 허용양을 결정하기 위해 상기 유용성 메트릭(220)을 사용할 수 있는 코딩 이득 제어 블록(245)을 추가로 포함하는, 이미지 품질 개선 장치.
  3. 제 2 항에 있어서, 상기 적어도 하나의 선명도 개선 유니트는 적응성 피킹 유니트(adaptive peaking unit:260)인, 이미지 품질 개선 장치.
  4. 제 3 항에 있어서, 상기 유용성 메트릭(220)은 코딩 아티팩트들을 증가시키지 않으면서 얼마나 많은 화소가 개선될 수 있는지를 화소단위 기초로 계산하는, 이미지 품질 개선 장치.
  5. 제 4 항에 있어서, 화소의 코딩 이득은 수학식, gcoding(i,j)=UME(i,j)+gedge(i,j)에 의해 결정되고,
    여기서, i 및 j는 화소 좌표이고, gcoding은 화소 코딩 이득이고, UME는 유용성 메트릭(220)이며, gedge는 이미지로부터 유도된 에지 관련 정보에 기초하는, 이미지 품질 개선 장치.
  6. 제 5 항에 있어서, gedge(i,j)에 대한 값은 (1) 공간적 위치(i,j)에서의 에지 화소 p(i,j)에 대하여 실험적으로 결정된 값(c), 또는, (2) 공간적 위치 (i-1,j)에서의 화소 p(i-1,j)와 공간적 위치 (i+1,j)에서의 화소 p(i+1,j)에 대한 c의 1/2값, (3) 공간적 위치(i-2,j)에서의 화소 p(i-2,j)와 공간적 위치(i+2,j)의 화소 p(i+2,j)에 대한 c의 1/4값, 및 (4) 모든 다른 화소들을 위한 0의 값과 같은 gedge(i,j)의 값을 설정함으로써 계산되는, 이미지 품질 개선 장치.
  7. 제 1 항에 있어서, 상기 유용성 메트릭 생성기(215)는 상기 유용성 메트릭(220)을 생성하기 위해 단지 코딩 정보만을 사용하는, 이미 품질 개선 장치.
  8. 제 1 항에 있어서, 상기 유용성 메트릭 생성기(215)는 상기 유용성 메트릭(220)을 생성하기 위해 코딩 정보와, 장면(scene) 내용 관련 정보를 사용하는, 이미지 품질 개선 장치.
  9. 디지털 비디오 시스템(100)에 있어서,
    상기 디지털 비디오 시스템(100)내에 이미 코딩된 디지털 비디오 신호의 이미지 품질을 개선하기 위한 장치(140)를 포함하며,상기 장치(140)는 코딩 아티팩트들을 강화시키지 않으면서, 상기 이미 코딩된 디지털 비디오 신호(210)에 적용될 수 있는 비디오 이미지 개선의 양을 결정하기 위해 유용성 메트릭(220)을 생성할 수 있는 상기 디지털 비디오 시스템(100)내에 유용성 메트릭 생성기(215)를 포함하는, 디지털 비디오 시스템.
  10. 디지털 비디오 시스템(100)내의 이미 코딩된 디지털 비디오 신호(210)의 이미지 품질을 개선하기 위한 방법에 있어서, 상기 방법은
    - 상기 디지털 비디오 시스템(100)내의 유용성 메트릭 생성기에서 유용성 메트릭(220)을 생성하는 단계와,
    - 아티팩트들을 강화시키지 않으면서 상기 이미 코딩된 디지털 비디오신호(210)에 적용될 수 있는 비디오 이미지 개선의 양을 결정하기 위해 상기 유용성 메트릭(220)을 사용하는 단계를 포함하는, 이미지 품질 개선 방법.
KR1020027011859A 2001-01-10 2001-12-13 비디오 개선을 위한 코딩 정보에 기초한 유용성 메트릭제공 방법 및 장치 KR20030005219A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US26084301P 2001-01-10 2001-01-10
US60/260,843 2001-01-10
US09/976,329 US7161633B2 (en) 2001-01-10 2001-10-12 Apparatus and method for providing a usefulness metric based on coding information for video enhancement
US09/976,329 2001-10-12

Publications (1)

Publication Number Publication Date
KR20030005219A true KR20030005219A (ko) 2003-01-17

Family

ID=26948212

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027011859A KR20030005219A (ko) 2001-01-10 2001-12-13 비디오 개선을 위한 코딩 정보에 기초한 유용성 메트릭제공 방법 및 장치

Country Status (8)

Country Link
US (1) US7161633B2 (ko)
EP (1) EP1352515B1 (ko)
JP (1) JP2004518337A (ko)
KR (1) KR20030005219A (ko)
CN (1) CN1248487C (ko)
AT (1) ATE336859T1 (ko)
DE (1) DE60122382T2 (ko)
WO (1) WO2002056582A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006507775A (ja) * 2002-11-25 2006-03-02 サーノフ・コーポレーション 基準なしで圧縮ビデオシーケンスの品質を測定する方法及び装置
KR20050085554A (ko) * 2002-12-10 2005-08-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 코딩된 디지털 영상에 대한 해상도 또는 선명도 향상과아티팩트 감소의 결합
US20070139564A1 (en) * 2004-02-27 2007-06-21 Koninklijke Philips Electronics N.V. System and method for global indication of mpeg impairments in compressed digital video
US20070159556A1 (en) * 2004-03-25 2007-07-12 Koninklijke Philips Electronics N.V. Luminance transient improvemet using video encoding metric for digital video processing
JP2007531450A (ja) * 2004-03-29 2007-11-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ デジタルビデオ信号処理方法、デジタルビデオ信号処理システム
US20050273657A1 (en) * 2004-04-01 2005-12-08 Hiroshi Ichiki Information processing apparatus and method, and recording medium and program for controlling the same
KR20070029176A (ko) * 2004-05-25 2007-03-13 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 신호의 선명도를 향상하는 방법 및 시스템
CN1293745C (zh) * 2004-09-13 2007-01-03 西安交通大学 数字化电视后处理技术的视频图像自适应细节增强方法
US7653257B2 (en) * 2005-07-19 2010-01-26 Intel Corporation Enhancing video sequence sharpness by adaptive peaking
TWI401943B (zh) * 2007-05-14 2013-07-11 Novatek Microelectronics Corp 用於一影像處理系統之影像處理方法及其相關影像處理裝置
WO2009157827A1 (en) * 2008-06-25 2009-12-30 Telefonaktiebolaget L M Ericsson (Publ) Row evaluation rate control
US9113164B1 (en) * 2012-05-15 2015-08-18 Google Inc. Constant bit rate control using implicit quantization values
TW201438458A (zh) * 2013-03-22 2014-10-01 Novatek Microelectronics Corp 影像處理電路及其環狀假影消除方法
US11019349B2 (en) * 2017-01-20 2021-05-25 Snap Inc. Content-based client side video transcoding

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5031042A (en) * 1990-07-09 1991-07-09 Zenith Electronics Corporation Noise coring and peaking circuit
US5161015A (en) * 1990-12-31 1992-11-03 Zenith Electronics Corporation System for peaking a video signal with a control signal representative of the perceptual nature of blocks of video pixels
US5491514A (en) * 1993-01-28 1996-02-13 Matsushita Electric Industrial Co., Ltd. Coding apparatus, decoding apparatus, coding-decoding apparatus for video signals, and optical disks conforming thereto
DK0932398T3 (da) * 1996-06-28 2006-09-25 Ortho Mcneil Pharm Inc Anvendelse af topiramat eller derivater deraf til fremstilling af et lægemiddel til behandling af maniodepressive bipolære forstyrrelser
DE19626985C1 (de) * 1996-07-04 1998-01-02 Siemens Ag Verfahren und Anordnung zur Reduktion von Codierungsartefakten von blockbasierten Bildcodierungsverfahren und objektbasierten Bildcodierungsverfahren
US6037986A (en) * 1996-07-16 2000-03-14 Divicom Inc. Video preprocessing method and apparatus with selective filtering based on motion detection
US6038256A (en) * 1996-12-31 2000-03-14 C-Cube Microsystems Inc. Statistical multiplexed video encoding using pre-encoding a priori statistics and a priori and a posteriori statistics
US6137904A (en) * 1997-04-04 2000-10-24 Sarnoff Corporation Method and apparatus for assessing the visibility of differences between two signal sequences
JP4186242B2 (ja) * 1997-12-26 2008-11-26 ソニー株式会社 画像信号処理装置及び画像信号処理方法
US6285801B1 (en) * 1998-05-29 2001-09-04 Stmicroelectronics, Inc. Non-linear adaptive image filter for filtering noise such as blocking artifacts
US6466624B1 (en) * 1998-10-28 2002-10-15 Pixonics, Llc Video decoder with bit stream based enhancements
US6847738B1 (en) * 1999-01-15 2005-01-25 Koninklijke Philips Electronics N.V. Sharpness enhancement
KR100754154B1 (ko) * 1999-09-14 2007-09-03 코닌클리케 필립스 일렉트로닉스 엔.브이. 디지털 비디오 화상들에서 블록 아티팩트들을 식별하는 방법 및 디바이스
JP2003517785A (ja) 1999-12-17 2003-05-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 信号ピーキング
US6810082B1 (en) * 1999-12-17 2004-10-26 Koninklijke Philips Electronics N.V. Chroma based adaptive signal peaking
US6636645B1 (en) * 2000-06-29 2003-10-21 Eastman Kodak Company Image processing method for reducing noise and blocking artifact in a digital image
US6950561B2 (en) * 2001-01-10 2005-09-27 Koninklijke Philips Electronics N.V. Method and system for sharpness enhancement for coded video

Also Published As

Publication number Publication date
EP1352515B1 (en) 2006-08-16
DE60122382D1 (de) 2006-09-28
CN1248487C (zh) 2006-03-29
US20020131512A1 (en) 2002-09-19
CN1416640A (zh) 2003-05-07
JP2004518337A (ja) 2004-06-17
EP1352515A1 (en) 2003-10-15
US7161633B2 (en) 2007-01-09
DE60122382T2 (de) 2007-08-02
WO2002056582A1 (en) 2002-07-18
ATE336859T1 (de) 2006-09-15

Similar Documents

Publication Publication Date Title
US6862372B2 (en) System for and method of sharpness enhancement using coding information and local spatial features
EP0714209B1 (en) Method and device for decoding image data
US9247250B2 (en) Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
US6873657B2 (en) Method of and system for improving temporal consistency in sharpness enhancement for a video signal
EP1506525B1 (en) System for and method of sharpness enhancement for coded digital video
US6950561B2 (en) Method and system for sharpness enhancement for coded video
JP2015109662A (ja) プリプロセッサ方法および装置
US7161633B2 (en) Apparatus and method for providing a usefulness metric based on coding information for video enhancement
US8767831B2 (en) Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
US8848793B2 (en) Method and system for video compression with integrated picture rate up-conversion
Martins et al. A unified approach to restoration, deinterlacing and resolution enhancement in decoding MPEG-2 video
JP2005518728A (ja) 画像処理方法及び装置
Basavaraju et al. Modified pre and post processing methods for optimizing and improving the quality of VP8 video codec
Boroczyky et al. Sharpness enhancement for MPEG-2 encoded/transcoded video sources

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application