JP2006509437A - デジタルビデオ処理に対する統一測定基準（ｕｍｄｖｐ） - Google Patents

デジタルビデオ処理に対する統一測定基準（ｕｍｄｖｐ） Download PDF

Info

Publication number
JP2006509437A
JP2006509437A JP2004558258A JP2004558258A JP2006509437A JP 2006509437 A JP2006509437 A JP 2006509437A JP 2004558258 A JP2004558258 A JP 2004558258A JP 2004558258 A JP2004558258 A JP 2004558258A JP 2006509437 A JP2006509437 A JP 2006509437A
Authority
JP
Japan
Prior art keywords
umdvp
edge
pixel
metric
variance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2004558258A
Other languages
English (en)
Inventor
ヤン，イビン
ボロツキー，リラ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2006509437A publication Critical patent/JP2006509437A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本出願は、ビデオ処理アルゴリズムを制御するための、デジタルビデオ処理に対する統一的測定基準（UMDVP）を展開する。UMDVPは、フレームの各ピクセルについて、MPEG符号化ビデオの符号化情報に基づき定義される。UMDVP測定基準の定義は、局所空間的特徴を含む。符号化アーティファクトを増強せずにピクセルをどのくらいエンハンスできるかを決定するために、UMDVPを使用してエンハンスメントアルゴリズムを制御することができる。どこにどのくらいの低減動作が必要かをアーティファクト低減アルゴリズムに指示するためにUMDVPを使用することもできる。

Description

発明の詳細な説明
本発明のシステムと方法は、デジタルビデオ後処理を制御するための統一的測定基準に関する。その測定基準は、MPEGエンコードビデオの局所的ピクチャ品質を反映する。特に、本発明のシステムと方法は、ピクセルをどのくらいエンハンス（enhance）するか、またはアーティファクトをどのくらい低減するかを後処理システムに命令するために用いることのできる測定基準を提供する。これにより後処理の最終結果の品質を最適化することができる。
デジタル地上放送、デジタルケーブル／衛星、PVR（パーソナルビデオレコーダ）、DVD等を通じて、圧縮デジタルビデオソースが現代の家庭に入り込んでいる。新しいデジタルビデオ製品は消費者に革命的な経験をもたらしつつある。同時に、それらはビデオ処理機能に新しい挑戦をつきつけている。例えば、帯域効率を達成するため低ビットレートが選択されることが多い。ビットレートが低ければ低いほど、圧縮符号化および復号処理により入り込む品質低下はより一層不快なものとなる。
標準画質ビデオのデジタル地上テレビジョン放送では、ピクチャ品質と送信帯域幅効率を両立するという観点から、6Mbit/s程度のビットレートがよいと考えられている（P.N.Tudorによる「MPWEG-2ビデオ圧縮」IEEE Electronics & Communication Engineeringジャーナル、1995年12月、257~264ページを参照）。しかし、放送事業者は、一多重放送あたり、より多くのプログラムを放送するため、6Mbit/sよりかなり低いビットレートを選択することがある。一方、多くの処理機能ではデジタル圧縮が考慮されていない。結果として、その処理機能は圧縮されたデジタルビデオでは最適な実行ができない。
MPEG-2はデジタルビデオ圧縮の標準として広く受け入れられており、新しいデジタルテレビジョンサービスの基礎である。個々のMPEG-2後処理方法に指示するための測定基準が開発されている。例えば、Y.Yang、L.Boroczkyによる「デジタルビデオアプリケーションのための新しいエンハンスメント方法」IEEE Transactions on Consumer Electronics、Vol.48、No.3、2002年8月、435~443ページにおいて、発明者たちは復号された圧縮デジタルビデオの後処理のためのシャープネスエンハンスメント・アルゴリズムの性能を向上させるため、有用性測定基準（UME：エンハンスメントのための有用性測定基準（usefulness metric））を定義している。しかし、完全なデジタルビデオ後処理システムは、シャープネスエンハンスメントのみでなく、解像度エンハンスメントとアーティファクト低減も含まなければならない。UMEその他の測定基準はシャープネスエンハンスメントに焦点を絞っており、その有用性には限界がある。
ピクチャ品質はデジタルビデオ製品（例えば、DTV、DVD、DVDレコード等）の最も重要な側面の１つである。これらの製品はMPEG-2フォーマットのビデオ資源を受信および／または格納する。MPEG-2圧縮標準は、ブロックベースのDCT変換を利用し、ロッシー（lossy）圧縮である。ロッシー圧縮の結果、符号化アーティファクトが生じ、ピクチャ品質が低くなることがある。この符号化アーティファクトのうち最も一般的で目に付くものはブロック歪みとリンギングである。これらの製品で実行されるビデオ後処理機能の中でシャープネスエンハンスメントとMPEG-2アーティファクト低減は、品質向上のための２つのキーとなる機能である。これら２つの機能がお互いの効果を打ち消し合わないことが非常に重要である。例えば、MPEG-2ブロック歪みアーティファクト低減はピクチャをぼかす傾向があるが、一方、シャープネスエンハンスメントはピクチャをシャープにする。この２つの機能の間の相互関係を無視すると、ブロック歪みアーティファクト低減動作がブロック効果を低減しても、シャープネスエンハンスメントによりブロック歪み効果が再生されてしまう結果となることがある。
ブロック歪みは、隣接するブロックを独立に符号化するために、ブロックの境界に現れる可視的な不連続性である。リンギングは、一般にはスムースなテクスチャのエリアにおいて高いコントラストエッジに沿って最もよく現れ、そのエッジから外に向かって伸びるリップルのように見える。リンギングは高周波数のDCT成分をいきなりトランケーションすることにより生じ、エッジを表すときに重要な役割を果たす。
現行の測定基準は、後処理中にエンハンスメントおよびアーティファクト低減アルゴリズムの共同適用（joint application）を指示するようには設計されていない。
このように、品質向上機能を効果的に組み合わせて、トータル品質を向上し負の相互作用を低減するように後処理に命令するために使用できる測定基準が必要とされている。本発明のシステムと方法は、シャープネスエンハンスメント、解像度エンハンスメント、およびアーティファクト低減等の複数の後処理機能の統合と最適化を命令する測定基準を提供する。この測定基準はデジタルビデオ処理に対する統一的測定基準（UMDVP）であり、複数の後処理方法を共同制御するために使用することができる。
UMDVPはMPEG-2符号化情報に基づく測定基準として設計されている。UMDVPは符号化アーティファクトを増大せずにピクセルをどのくらいエンハンスできるかを数量化する。また、UMDVPはどこにアーティファクト低減機能を実施し、どのくらいの低減をする必要があるかに関する情報を提供する。限定としてではなく一例として、好ましい実施形態において、２つの符号化パラメータがUMDVPの基礎として用いられる：量子化パラメータ（q_scale）とルミナンスブロックを符号化するために費やしたビット数（num_bit）である。より具体的に、num_bitは、DCTブロックのAC係数を符号化するために費やしたビット数として定義される。q_scaleは、各16x16マクロブロックの量子化であり、すべてのビットストリームから容易に抽出できる。さらにまた、ビットストリームを復号している間に、少しの計算負荷だけで各8x8ブロックについてnum_bitsを計算できる。このように、符号化情報を収集するオーバーヘッドコスト全体は無視できる。
圧縮されたデジタルビデオソースのピクチャ品質と符号化情報との間の関係は周知である。すなわち、圧縮されたデジタルビデオのピクチャ品質は、それがどのように符号化されたかによって直接影響される。本発明のUMDVP測定基準はMPEG-2符号化情報に基づき、符号化アーティファクトを増強せずにどのくらいピクセルをエンハンスできるかを数量化する。また、アーティファクト低減機能をどこに実行し、どのくらい低減する必要があるのかを示す。
１． デジタルビデオ処理に対する統一的測定基準（UMDVP）
UMDVPは、量子化パラメータ（q_scale）およびルミナンスブロックを符号化するのに費やしたビット数（num_bits）等の符号化情報を使用する。q_scaleは各16x16マクロブロックの量子化スケールである。すべてのビットストリームから両方を容易に抽出することができる。
１．１ 量子化スケール（q_scale）
MPEG（MPEG-1、MPEG-2、MPEG-4）は、圧縮ステップの１つとしてDCT係数の量子化を使用する。しかし、量子化によりエラーが入ることは避けられない。すべての8x8ブロックの表現はDCTベース画像の各々を注意深くバランスさせ足し合わせたものとして考えることができる。それゆえ、大きい量子化エラーは、高周波数のDCTベース画像によるエラーである。エッジの表現では高周波数ベース画像が重要な役割を果たすので、ブロックの再構成はリンギングアーティファクト等の高周波数不規則性を含む。図１は、4Mbit/sで符号化された「カレンダー」ビデオシーケンスからのスナップショットを示す。図１ａの丸で囲った部分１０を図１ｂに拡大図１１として示した。リンギングアーティファクト１２が数字のエッジに認められる。
q_scaleの値が大きければ大きいほど、量子化エラーは大きくなる。それゆえ、q_scaleが小さくなるほど、UMDVPは大きくなるように設計されている。
１．２ ブロックを符号化するためのビット数（num_bits）
MPEG-2は、ブロックサイズが8x8のブロックベースの符号化法を用いる。一般的に、より少ないビットをブロックの符号化に使用すると、そのブロックのより多くの情報が失われ、再構成されたブロックの品質はより低くなる。しかし、この量はシーンコンテント、ビットレート、フレームタイプ（Iフレーム、Pフレーム、Bフレーム等）動き推定、および動き補償に強く依存する。
スムースでないエリアでは、イントラブロックのnum_bitsがゼロになれば、DC係数のみがあり、AC係数はないということを示唆している。復号した後、ブロック化効果はこの領域の周囲に残存することがある。図２ａは、1.5Mbit/sで符号化された「卓球」シーケンスからのスナップショットである。図２ａの丸を付けたエリア２０において、ブロック化効果は非常に明らかである。図２ｂに拡大図２１を示した。
num_bitsが小さければ小さいほど、符号化アーティファクトが存在し得る。結果として、UMDVP値はnum_bitsが減少するほど減少するように設計されている。
１．３ 局所空間的特徴（feature）
MPEGベースのシステムのピクチャ品質は、利用可能なビットレートと表示されるプログラムのコンテントの両方に依存する。２つの符号化パラメータq_scaleとnum_bitsはビットレートに関する情報だけを示す。本発明はピクチャコンテントを反映する他の量を定義する。本発明において、UMDVPの定義で使用するエッジ依存局所分散として、局所空間的特徴（feature）量を定義する。
１．３．１ エッジ検出
ピクセル(i,j)におけるこの局所分散を計算する前に、ピクセル(i,j)がエッジに属しているかどうかを決定しなければならない。属しているとき、エッジ方向を決定する。本発明では、３種類のエッジのみを考える。図３ａに示した水平エッジと、図３ｂに示した垂直エッジと、図３ｃおよび図３ｄに示した対角エッジ（45°または135°）である。図４は、エッジ検出アルゴリズムの例を示すフローチャートである。ステップ４１と４３において、h_outとv_outに基づいて２つの変数（h_absとv_abs）が計算される。h_outとv_outはステップ４０とステップ４２でそれぞれ計算される。ステップ４４において、これら２つの変数を対応する閾値HTHREDとVTHREDと比較する。h_absとv_absがそれぞれHTHREDとVTHREDより大きいとき、ステップ４７において、ピクセル(i,j)は対角エッジに属すると決定する。h_absがHTHREDより大きく、v_absがVTHREDより小さいか等しいとき、ステップ４６においてピクセル(i,j)は垂直エッジに属すると決定する。v_absがVTHREDより大きく、h_absがHTHREDより小さいか等しいとき、ステップ４９においてピクセル(i,j)は水平エッジに属すると決定する。最後に、h_absとv_absがそれぞれHTHREDとVTHREDより小さいか等しいとき、ステップ５０において、ピクセル(i,j)はエッジに属さないと決定する。限定ではなく一例として、好ましい実施形態において、２つの閾値VTHREDとHTHREDは１０に設定される。さらにまた、エッジ検出をさらにロバストにするため、孤立したエッジポイントを無くすために余分なステップを適用する：
１．ピクセル(i,j)が水平エッジピクセルであると特定され、ピクセル(i-1,j)もピクセル(i+1,j)も水平エッジに属していないとき、ピクセル(i,j)はエッジピクセルでないとされる。
２．ピクセル(i,j)が垂直エッジピクセルであると特定され、ピクセル(i,j-1)もピクセル(i,j+1)も垂直エッジに属していないとき、ピクセル(i,j)はエッジピクセルでないとされる。
３．ピクセル(i,j)が対角エッジピクセルであると特定され、ピクセル(i-1,j-1)、ピクセル(i-1,j+1)、ピクセル(i+1,j-1)もピクセル(i+1,j+1)も対角エッジに属していないとき、ピクセル(i,j)はエッジピクセルでないとされる。
１．３．２ エッジ依存局所分散
ピクセル(i,j)が水平エッジに属するとき、エッジ依存局所分散は
Figure 2006509437
 により定義される。ピクセル(i,j)が垂直エッジに属しているとき、エッジ依存局所分散は
Figure 2006509437
 により定義される。ピクセル(i,j)が対角エッジに属しているとき、エッジ依存局所分散は
Figure 2006509437
 により定義される。ピクセル(i,j)が上記のエッジのいずれにも属さないとき、エッジ依存局所分散は
Figure 2006509437
 により定義される。エッジ依存局所分散はピクチャの局所シーンコンテントを反映している。本発明では、この空間的特徴（feature）はUMDVP測定基準を調整して精密化するために使用する。
１．４ UMDVPの定義
限定としてではなく一例として、UMDVPは２つの符号化パラメータ（num_bitsとq_scale）の観測に基づいて、次の関数として定義する
Figure 2006509437
 ここで、Q_OFFSETは実験的に決定される値である。限定としてではなく一例として、Q_OFFSETはビットストリームを分析することにより決定できる。本発明の好ましい一実施形態において、Q_OFFSETの値として３を使用することができる。UMDVP値は[-1,1]の範囲に限定されている。num_bitsがゼロのとき、UMDVPはゼロとなる。局所空間的特徴（feature）を考慮に入れて、UMDVP値をさらに次のように調整する。
Figure 2006509437
 ここで、VAR_THREDは経験的に決められた所定の閾値である。限定としてではなく一例として、VAR_THREDは品質目的を考慮に入れながらビットストリームを分析することにより決定できる。
UMDVP値はエッジ依存局所分散によりさらに精密化することができる：
Figure 2006509437
 ここで再び、UMDVPは-1と1の間の範囲（両端も含む）に限定されている。UMDVP値が1であるということは、あるピクセルにシャープネスエンハンスメントを絶対的に施してもよいということを意味する。UMDVP値が-1であるということは、そのピクセルをエンハンスすることはできず、アーティファクト低減動作が必要であることを意味する。
２． MPEG-2ビデオについてのUMDVP計算
フレームがIフレームか、Pフレームか、Bフレームかにより、UMDVP測定基準の計算も異なる。UMDVPの時間的一貫性を保証するために動き推定を利用する。UMDVPの時間的一貫性は、エンハンスメントとアーティファクト低減の時間的一貫性を達成するために必須である。アルゴリズムの性能をさらに向上させるため、劇的シーン変化検出も利用する。MPEG-2ビデオに対するUMDVP計算のシステム図を図５に示した。
２．１ 動き推定（５５）
限定ではなく一例として、本発明の一実施形態において、Gerard de Haan等による「３次元再帰的動きサーチブロックマッチングを用いた真の動き推定」、IEEE Transactions on Circuits and Systems for Video Technology、Vol.3、No.5、1993年10月、368~379ページに記載された３次元再帰的動き推定モデルを利用する。この文献のすべての内容は、あたかもここにすべてを記載したように参照により援用する。ブロックベースのフルサーチ法と比較して、この３次元モデルは計算の複雑性を劇的に削減し、動きベクトルの一貫性を向上させる。
２．２ シーン変化検出（５３）
シーン変化検出はUMDVP測定基準の計算において重要なステップである。異なるシーンの間で時間的一貫性を強制すると、特に劇的なシーン変化が生じたとき、ピクチャ品質が悪化するからである。シーン変化を正確に検出すれば、ビデオ処理アルゴリズムの性能を向上させることができる。例えば、ビデオエンハンスメントアルゴリズムは異なるシーンコンテントにパラメータを調節するためにシーン変化検出を使用する。シーン変化検出はビデオ圧縮アルゴリズムでも有用である。
シーン変化検出はさらに別のステップとしてUMDVP計算に組み込んでもよい。異なるシーンの間で時間的一貫性を強制すると、特に劇的なシーン変化が生じたとき、ピクチャ品質が悪化するからである。
既知のシーン変化検出方法のどれを使用してもよい。限定ではなく一例として、連続するフレーム間の差異のヒストグラムを調べて、差異値の大部分が所定値を超えているかどうか決定してもよい。
２．３ I、P、BフレームのUMDVP計算（５４）、（５６）
図６は、IフレームのUMDVP測定基準の計算の好ましい一実施形態を示すフローチャートである。最初のステップ６１において、UMDVPの初期値を式（９）に従って計算する。ステップ６２において、劇的なシーン変化検出を適用する。シーン変化があったときは、ステップ６４で計算は終了する。さもなくば、ステップ６３において、現行の8x8ブロックについて動きベクトル(v’,h’)を見つけるために動き推定を用いる。図６において、UMDVP_prev(v’,h’)は前のフレームの(v’,h’)により示された位置のUMDVP測定基準の値である。(v’,h’)で示される位置にピクセルがない場合には、UMDVP測定基準の値を求めるために補間法を用いる必要がある。
図７に補間法の例を示した。「X」で示された位置のUMDVP値から「*」で示された位置のUMDVP値を補間する必要があるとする。左上のUMDVP値はUMDVP1（参照数字７０）、右上のUMDVP値はUMDVP2（参照数字７１）、左下のUMDVP値はUMDVP３（参照数字７２）、右下のUMDVP値はUMDVP４（参照数字７３）であると仮定する。
Figure 2006509437
 ステップ６５において、UMDVP測定基準値は、ステップ６１で計算されたUMDVP測定基準値またはUMDVP測定基準の補間値と、前のフレームの(v’,h’)により示された位置のUMDVP値とに基づき調整される。好ましい一実施形態において、UMDVP測定基準の計算値により大きな重みを付けるため、R1は0.7に設定される。
Figure 2006509437
 図８は、PまたはBフレームのUMDVP測定基準値の計算を示すフローチャートである。最初に、ステップ８１において、シーン変化があるかどうか決定する。シーン変化があれば、ステップ８２において、条件C３：（（Intra-block）and（num_bits≠0））が満たされているかどうかテストする。この条件が満たされていれば、ステップ８３において、式（９）によりUMDVP測定基準値を計算する。条件が満たされていない場合、またはステップ８１でシーン変化が検出されない場合、ステップ８４において、現行ブロックの動きベクトル(v’,h’)を見つけるために動き推定を適用する。ステップ８５において、UMDVP測定基準値は前のフレームの(v’,h’)により示されるUMDVP測定基準値に設定される。(v’,h’)により示される位置がピクセル位置でないときは、式（１２）の補間法が必要となる。
図５の最後のブロック「UMDVP微調整」５８では、式（１０）と（１１）を用いて、UMDVP値をエッジ依存局所分散だけ微調整する。
UMDVPメモリ５７は途中結果を格納するために使用される。
２．４ UMDVPスケーリング
ビデオ処理アルゴリズムが元の解像度ではなくそれより高い解像度で動作する場合、UMDVPマップをその新しい解像度に合わせるためのスケーリング機能が必要となる。UMDVPアラインメント（alignment）には垂直および水平スケーリング機能を要することがある。
２．４．１ 垂直スケーリング
図９ａにおいて、斜線を施した黒丸９０は補間するＵＭＤＶＰ値の位置を表している。ステップ９４において、a>A1（好ましい一実施形態においてA1は0.5に設定される）であるとき、この条件は補間位置が(i,j)より(i,j+1)の方に近いことを意味するが、UMDVP_new９０はUMDPVP(i,j)９１よりもUMDVP(i,j+1)９２により強く関係している。それゆえ、ステップ９５において、UMDVP_newは(1-2b)*UMDVP(i,j+1)に設定される。bの値が小さければ小さいほど、新しく補間されたUMDVP_new９０はUMDVP(i,j+1)９２に近くなる。さもなくば、ステップ９４においてa≦A1のとき、この条件は補間位置が(i,j)に近いことを意味するが、UMDVP_new９０はUMDPVP(i,j+1)よりもUMDVP(i,j)により強く関係している。それゆえ、ステップ９７において、UMDVP_newは(1-2a)*UMDVP(i,j)に設定される。しかし、ステップ９３において、UMDPVP(i,j)９１およびUMDVP(i,j+1)９２がUT（好ましい一実施形態においてUTは0.3と設定される）より大きいと決定されたとき、この条件は近傍はUMDVP値が大きい均一なエリアであることを意味するが、ステップ９６において、バイリニア補間をもちいて、UMDVP_new９０をUMDVP_new=a*UMDVP(i,j)+b*UMDVP(i,j+1)とする。
２．４．２ 水平スケーリング
図１０ａにおいて、斜線を施した黒丸１０１は補間するUMDVP値の位置を表している。ステップ１０４において、a>A1（好ましい一実施形態においてA1は0.5に設定される）であるとき、この条件は補間位置が(i,j)より(i+1,j)の方に近いことを意味するが、UMDVP_new１０１はUMDPVP(i,j)１００よりもUMDVP(i+1,j)１０２により強く関係している。それゆえ、ステップ１０５において、UMDVP_new１０１は(1-2b)*UMDVP(i+1,j)に設定される。bの値が小さければ小さいほど、新しく補間されたUMDVP_new１０１はUMDVP(i+1,j)１０２に近くなる。さもなくば、ステップ１０４においてa≦A1のとき、この条件は補間位置が(i,j)に近いことを意味するが、UMDVP_new１０１はUMDVP(i+1,j)１０２よりもUMDVP(i,j)に、より強く関係している。それゆえ、ステップ１０７において、UMDVP_newは(1-2a)*UMDVP(i,j)に設定される。しかし、UMDVP(i,j)１００およびUMDVP(i+1,j)１０２がUT（好ましい一実施形態においてUTは0.3と設定される）より大きいと決定されたとき、この条件は近傍がUMDVP値が大きい均一なエリアであることを意味するが、ステップ１０６において、バイリニア補間をもちいて、UMDVP_new=a*UMDVP(i,j)+b*UMDVP(i+1,j)とする。
３． MPEG-2符号化ビデオのUMDVPを用いたシャープネスエンハンスメント
限定としてではなく一例として、シャープネスエンハンスメント・アルゴリズムはピクチャのシャープネスの主観的知覚を増強するよう試みる。しかし、MPEG-2符号化プロセスにより符号化アーティファクトが入り込んでしまうことがある。アルゴリズムが符号化情報を考慮しない場合、符号化アーティファクトが大きくなってしまう。
対照的に、UMDVP測定基準値を用いることにより、アーティファクトを大きくすることなくどのくらいピクチャをエンハンスするかをエンハンスメントアルゴリズムに指示することができる。
３．１ システム図
図１１は、UMDVP測定基準値を用いたMPEG-2のシャープネスエンハンスメント装置を示すシステム図である。ビデオビットストリームを復号する際、MPEFG-2デコーダ１１１は、q_scaleとnum_bits等の符号化情報をUMDVP計算モジュール１１４に送る。UMDVP計算モジュール１１４の詳細は図５に示されている。UMDVP測定基準値を用いてシャープネスエンハンスメントモジュール１１６にピクチャをどのくらいエンハンスするかを指示する。
３．２ シャープネスエンハンスメント
シャープネスエンハンスメント方法はピーキングとトランジェントインプルーブメント（transient improvement）を含む。ピーキングは、好ましい一実施形態において、例えば周知の「マッハバンド」効果を用いてシャープネスの印象を向上する線形演算である。トランジェントインプルーブメント、例えばルミナンストランジェントインプルーブメント（LTI）は、エッジのグラディエントを修正する周知の非線形アプローチである。
３．２．１ UMDVP測定基準値とピーキングアルゴリズムの統一
ピーキングは、線形フィルタ方法、通常は１つまたは複数のFIRフィルタを用いて高周波数帯域および／または中周波数帯域の振幅を増強する。図１２はピーキングアルゴリズムの基本的構造を示している。制御パラメータ１２１〜１２ｎは、図示しない制御機能により生成されてもよい。この制御パラメータは各周波数帯域でピーキング量を制御する。
UMDVP測定基準１３０をピーキングアルゴリズムに適用する簡単な方法は、元の信号にどのくらいのエンハンスメントを加えるかを制御するためにUMDVP測定基準を用いることである。図１３に構造を示した。好ましい一実施形態において、UMDVP測定基準値をエンハンスメントアルゴリズムに適用する前にUMDVP測定基準値を調整するために式（１４）を利用する。
Figure 2006509437
 UMDVP測定基準値が0.3より大きいとき、UMDVP測定基準値を0.5だけ大きくする。ここでは、UMDVP測定基準値が一定の閾値（この場合0.3）より大きいとき、ピクチャ品質は十分よいので、シャープネスエンハンスメントを過剰に押さえつけるべきではないということを仮定している。
UMDVP測定基準を用いたシャープネスエンハンスメントの具体例を挙げる。
限定としてではなく一例として、G. de Haanによる「マルチメディアシステムのためのビデオ処理」、ユニバーシティプレス、アイントホーヘン、オランダ、2000年に記載されたアプローチによれば、信号スペクトルの２つの部分でピーキングが可能である。この２つの部分は、一般的にはサンプリング周波数の１／２と１／４の周波数とされる。図１４は下で説明する方法を示す図である。
Figure 2006509437
 をピクチャnのピクセル位置
Figure 2006509437
 におけるルミナンス信号とする。z変換を用いて、ピークのルミナンス信号
Figure 2006509437
 を以下のように書くことができる
Figure 2006509437
 ここで、k1（参照数字１４１）とk2（参照数字１４２）は、中間および最高周波数のそれぞれのピーク量を決定する制御変数である。
ノイズによる品質低下を防ぐための一般的な対策は、信号成分が所定の振幅閾値を超えたとき、その信号成分だけを増強することである。この方法は「コアリング」１４０として知られており、式（１５）のk1とk2の修正と見ることができる。
上に説明したピーキングアルゴリズムはシャープネスの主観的知覚をエンハンスするが、同時に符号化アーティファクトもエンハンスすることができる。この問題を防ぐために、図１５に示したように、ピーキングアルゴリズムを制御するためにUMDVP測定基準１５０を使用することができる。
圧縮デジタルビデオについて全般的に最適な結果を達成するために、エンハンスメント機能およびアーティファクト低減機能の両方が必要である。デジタルビデオにおけるエンハンスメントとアーティファクト低減の間のバランスは、アナログビデオにおけるエンハンスメントとノイズ低減の間のバランスと類似している。システム全体の最適化は自明ではない。しかし、UMDVPはエンハンスメントアルゴリズムとアーティファクト低減機能の両方に用いることができる。
上で説明し図面に示した本発明の方法とシステムは、デジタル符号化ビデオ信号のエンハンスメントとアーティファクト低減を共同制御するためのUMDVP測定基準を提供する。当業者には明らかなことだが、本発明の精神と範囲から逸脱することなく、本発明の方法とシステムを様々に修正および変形することができる。よって、本発明は添付したクレームとその均等物の範囲内にある修正や変形を含むことを意図している。
4Mbits/sで符号化された「カレンダー」ビデオシーケンスからのスナップショットを示す図である。 リンギングアーティファクトを示す、図１ａの一エリアを示す拡大図である。 1.5Mbits/sで符号化された「卓球」シーケンスからのスナップショットを示す図である。 ブロック歪みアーティファクトを示す、図２ａの一エリアを示す拡大図である。 本発明の一実施形態による、水平エッジを示す図である。 本発明の一実施形態による、垂直エッジを示す図である。 本発明の一実施形態による、45°の対角エッジを示す図である。 本発明の一実施形態による、135°の対角エッジを示す図である。 本発明の一実施形態による、エッジ検出アルゴリズムを示すフローチャートである。 本発明の一実施形態による、UMDVP測定基準の計算装置を示すシステム図である。 本発明の一実施形態による、IフレームのUMDVP測定基準の計算を示すフローチャートである。 本発明の一実施形態による、UMDVP測定基準の計算に使用する補間方法を示す図である。 本発明の一実施形態による、PまたはBフレームのUMDVP測定基準の計算のアルゴリズムを示すフローチャートである。 本発明の垂直補間スケーリング方法を示す図である。 本発明の水平補間スケーリング方法を示す図である。 本発明の一実施形態による、シャープネスエンハンスメント装置を示すシステム図である。 従来のピーキングアルゴリズムの基本的構造を示す図である。 原信号にどのくらいエンハンスメントを加えるかを制御するためのピーキングアルゴリズムへのUMDVP測定基準の適用を示す図である。 具体的なピーキングアルゴリズムを示す図である。 図１４に示した装置において符号化アーティファクトのエンハンスメントを防止するためにUMDVP測定基準の使用を示す図である。

Claims (24)

  1. ブロックベースデータの少なくとも１つのフレームのシーケンスとして符号化され、復号されたデジタルビデオ信号のピクチャ品質を向上するための後処理を命令するシステムであって、
    デジタルビデオ処理に対する統一的測定基準（UMDVP）マップを作成するために、フレームタイプに応じて前記フレームの各ピクセルについてUMDVPを計算する測定基準計算部と、
    少なくとも１つの品質向上アルゴリズムを有する後処理部とを有し、
    前記計算部は、
    前記フレームの局所空間的特徴を規定するモジュールと、
    ピクセルのブロックの動きベクトルの１つとして、および前記フレームの少なくとも１つの動きベクトルとして、ブロックベースの動きを推定する手段と、
    前記フレームにおけるシーン変化を検出するモジュールと、
    前記UMDVP測定基準マップが前記復号されたビデオの解像度と一致しないとき、前記復号されたビデオの解像度に前記UMDVP測定基準マップをスケーリングする手段と、
    前記動きベクトルにより示された位置にピクセルがないとき、前記UMDVP値を補間する手段とを有し、
    前記計算部は、前記フレームのスケールされ補間されたUMDVP測定基準マップを作成し、
    前記後処理部は、前記少なくとも１つの品質向上アルゴリズムに前記UMDVP測定基準マップに基づき前記デジタルビデオ信号の復号されたバージョンの品質を向上するよう命令し、
    前記少なくとも１つの品質向上アルゴリズムは、前記UMDVP測定基準マップに基づき前記デジタルビデオの前記復号されたバージョンを向上させ、
    前記少なくとも１つの品質向上アルゴリズムは、エンハンスメントアルゴリズムおよびアーティファクト低減アルゴリズムよりなるグループから選択されることを特徴とするシステム。
  2. 請求項１に記載のシステムであって、
    Figure 2006509437
     によりマクロブロックとブロックベースの符号化情報を分析するモジュールをさらに有し、
    UMDVP(i,j)∈[1,-1]はピクセルデータブロックのピクセル(i,j)の測定基準であり、q_scaleは前記マクロブロックの量子化スケールであり、num_bitsはルミナンスブロックを符号化するためのビット数であり、Q_OFFSETは実験的に決められた値であることを特徴とするシステム。
  3. 請求項２に記載のシステムであって、
    前記計算部が前記フレームがIフレームタイプであると判断し、前記シーン変化を検出するモジュールがシーン変化が発生しなかったと判断したとき、
    前記計算部は前記ブロックベースの動きを推定する手段を用いて前記カレントブロックについて動きベクトル(v’,h’)を取得し、
    前記動きベクトル(v’,h’)により示された位置にピクセルがないとき、前記計算部は前記動きベクトルにより示された位置のUMDVP測定基準の値を取得する補間を実行するために前記補間手段を使用し、
    前記UMDVP測定基準値は
    Figure 2006509437
     を用いて調整され、
    UMDVP_prev(v’,h’)は前のフレームの(v’,h’)により示された位置のUMDVP測定基準値であり、R1は所定の重み付け因子であることを特徴とするシステム。
  4. 請求項３に記載のシステムであって、前記UMDVP値は局所空間的特徴について
    Figure 2006509437
     により微調整され、
    var(i,j)は前記局所空間的特徴について定義された分散であり、VAR_THREDは経験的に決定された所定閾値であることを特徴とするシステム。
  5. 請求項４に記載のシステムであって、
    前記局所空間的特徴はエッジであり、前記エッジ依存局所分散は、
    ピクセル(i,j)が水平エッジに属すとき、前記エッジ依存局所分散は
    Figure 2006509437
     により定義され、
    ピクセル(i,j)が垂直エッジに属すとき、前記エッジ依存局所分散は
    Figure 2006509437
     により定義され、
    ピクセル(i,j)が対角エッジに属すとき、前記エッジ依存局所分散は
    Figure 2006509437
     により定義され、
    ピクセル(i,j)が上記のエッジのいずれにも属さないとき、前記分散は
    Figure 2006509437
     により定義されることを特徴とするシステム。
  6. 請求項３に記載のシステムであって、前記UMDVP値は局所空間的特徴について
    Figure 2006509437
     によりさらに微調整され、
    var(i,j)は前記局所空間的特徴について定義された分散であり、VAR_THREDは経験的に決定された所定閾値であることを特徴とするシステム。
  7. 請求項６に記載のシステムであって、
    前記局所空間的特徴はエッジであり、前記エッジ依存局所分散は、
    ピクセル(i,j)が水平エッジに属すとき、前記エッジ依存局所分散は
    Figure 2006509437
     により定義され、
    ピクセル(i,j)が垂直エッジに属すとき、前記エッジ依存局所分散は
    Figure 2006509437
     により定義され、
    ピクセル(i,j)が対角エッジに属すとき、前記エッジ依存局所分散は
    Figure 2006509437
     により定義され、
    ピクセル(i,j)が上記のエッジのいずれにも属さないとき、前記分散は
    Figure 2006509437
     により定義されることを特徴とするシステム。
  8. 請求項２に記載のシステムであって、
    前記フレームがPフレームタイプまたはBフレームタイプのうち１つであると前記計算部が決定し、
    シーン変化が派生しなかった、または条件（（Intra-block）and(num_bits≠0)）が満たされていないと前記シーン変化を検出するモジュールが決定したとき、
    ａ.前記計算モジュールは前記カレントブロックの動きベクトル(v’,h’)を計算するために前記動き推定手段を利用し、
    ｂ．前記動きベクトル(v’,h’)により示された位置にピクセルがないとき、前記計算部は前記動きベクトルにより示された位置のUMDVP測定基準の値を取得する補間を実行するために前記補間手段を使用し、
    ｃ．前記UMDVP測定基準値は
    UMDVP=UMDVP_prev(v’,h’)
    と設定され、
    UMDVP_prev(v’,h’)は前のフレームの(v’,h’)により示された位置のUMDVP測定基準値であるように前記計算されたUMDVP値を微調整することを特徴とするシステム。
  9. 請求項８に記載のシステムであって、前記UMDVP値は局所空間的特徴について
    Figure 2006509437
     により微調整され、
    var(i,j)は前記局所空間的特徴について定義された分散であり、VAR_THREDは経験的に決定された所定閾値であることを特徴とするシステム。
  10. 請求項９に記載のシステムであって、
    前記局所空間的特徴はエッジであり、前記エッジ依存局所分散は、
    ピクセル(i,j)が水平エッジに属すとき、前記エッジ依存局所分散は
    Figure 2006509437
     により定義され、
    ピクセル(i,j)が垂直エッジに属すとき、前記エッジ依存局所分散は
    Figure 2006509437
     により定義され、
    ピクセル(i,j)が対角エッジに属すとき、前記エッジ依存局所分散は
    Figure 2006509437
     により定義され、
    ピクセル(i,j)が上記のエッジのいずれにも属さないとき、前記分散は
    Figure 2006509437
     により定義されることを特徴とするシステム。
  11. 請求項１に記載のシステムであって、前記エンハンスメントアルゴリズムはピーキングおよびトランジェントインプルーブメントのうち１つを有するシャープネスエンハンスメントアルゴリズムであることを特徴とするシステム。
  12. 請求項１１に記載のシステムであって、前記シャープネスエンハンスメントアルゴリズムはピーキングアルゴリズムであり、
    前記UMDVP測定基準は、前記ピーキングアルゴリズムに適用される前に
    Figure 2006509437
     により調整されることを特徴とするシステム。
  13. 請求項１２に記載のシステムであって、
    前記ピーキングアルゴリズムの出力はコアリング法により制御され、
    前記UMDVP測定基準は前記コアリング法の出力に適用されることを特徴とするシステム。
  14. 復号されたデジタルビデオ信号のピクチャ品質を向上するための後処理を命令する方法であって、
    前記フレームの局所空間的特徴を規定するモジュールを備えるステップと、
    前記フレームについてブロックベースの動きを推定する手段を備えるステップと、
    前記フレームにおけるシーン変化を検出するモジュールを備えるステップと、
    前記動きベクトルにより示された位置にピクセルがないとき、前記UMDVP測定基準を補間する手段を備えるステップと、
    フレームタイプ、局所空間的特徴、ブロックベース動き推定、検出されたシーン変化に基づき、前記フレームの各ピクセルについてデジタルビデオ処理に対する統一測定基準（UMDVP）を計算するステップと、
    各ピクセルについて計算されたUMDVP測定基準のUMDVP測定基準マップを作成するステップと、
    前記UMDVP測定基準マップが前記復号された信号の解像度と一致しないとき、前記復号された信号の解像度に前記UMDVP測定基準マップを一致させるため前記測定基準マップをスケーリングするステップと、
    エンハンスメントアルゴリズムとアーティファクト低減アルゴリズムよりなるグループから選択した少なくとも１つの品質向上アルゴリズムの選択と積極性を指示するために前記UMDVP測定基準マップを適用することにより、前記フレームを後処理するステップとを有することを特徴とする方法。
  15. 請求項１４に記載の方法であって、前記計算するステップは、
    マクロブロックとブロックベースの符号化情報を分析するステップと、
    Figure 2006509437
     により前記UMDVP測定基準を計算するステップをさらに有し、
    UMDVP(i,j)∈[1,-1]はピクセルデータブロックのピクセル(i,j)の測定基準であり、q_scaleは前記マクロブロックの量子化スケールであり、num_bitsはルミナンスブロックを符号化するためのビット数であり、Q_OFFSETは実験的に決められた値であることを特徴とする方法。
  16. 請求項１５に記載の方法であって、
    前記フレームがIフレームタイプであると判断するステップと、
    シーン変化が発生せず、前記フレームがIフレームタイプであると判断されたとき、前記推定する手段により前記カレントブロックの動きベクトル(v’,h’)を推定するステップと、
    前記動きベクトル(v’,h’)により示された位置にピクセルがないとき、前記補間手段により前記動きベクトル(v’,h’)により示された位置のUMDVP測定基準の値を取得するため補間を実行するステップと、
    Figure 2006509437
     を用いて前記UMDVP測定基準の値を調整するステップとを有し、
    UMDVP_prev(v’,h’)は前のフレームの(v’,h’)により示された位置のUMDVP測定基準値であり、R1は所定の重み付け因子であることを特徴とする方法。
  17. 請求項１６に記載の方法であって、
    前記UMDVP値を局所空間的特徴によって
    Figure 2006509437
     により調整するステップをさらに有し、
    var(i,j)は前記局所空間的特徴について定義された分散であり、VAR_THREDは経験的に決定された所定閾値であることを特徴とする方法。
  18. 請求項１７に記載の方法であって、
    前記局所空間的特徴はエッジであり、前記エッジ依存局所分散は、
    ピクセル(i,j)が水平エッジに属すとき、前記エッジ依存局所分散は
    Figure 2006509437
     により定義され、
    ピクセル(i,j)が垂直エッジに属すとき、前記エッジ依存局所分散は
    Figure 2006509437
     により定義され、
    ピクセル(i,j)が対角エッジに属すとき、前記エッジ依存局所分散は
    Figure 2006509437
     により定義され、
    ピクセル(i,j)が上記のエッジのいずれにも属さないとき、前記分散は
    Figure 2006509437
     により定義されることを特徴とする方法。
  19. 請求項１５に記載の方法であって、
    前記フレームがPフレームタイプまたはBフレームタイプのうち１つであると決定するステップと、
    シーン変化が発生しなかった、または条件（（Intra-block）and(num_bits≠0)）が満たされていないとき、前記推定手段により前記カレントブロックについて動きベクトル(v’,h’)を推定するステップと、
    前記動きベクトル(v’,h’)により示された位置にピクセルがないとき、前記補間部により前記動きベクトルにより示された位置のUMDVP測定基準の値を取得するステップと、
    Figure 2006509437
     を用いて前記UMDVP測定基準の値を調整するステップとをさらに有し、
    UMDVP_prev(v’,h’)は前記前のフレームの(v’,h’)により示された位置のUMDVP測定基準値であることを特徴とする方法。
  20. 請求項１９に記載の方法であって、
    前記UMDVP値を局所空間的特徴について
    Figure 2006509437
     により調整するステップをさらに有し、
    var(i,j)は前記局所空間的特徴について定義された分散であり、VAR_THREDは経験的に決定された所定閾値であることを特徴とする方法。
  21. 請求項２０に記載の方法であって、
    前記局所空間的特徴がエッジであるとき、
    ピクセル(i,j)が水平エッジに属すとき、前記エッジ依存局所分散は
    Figure 2006509437
     により定義され、
    ピクセル(i,j)が垂直エッジに属すとき、前記エッジ依存局所分散は
    Figure 2006509437
     により定義され、
    ピクセル(i,j)が対角エッジに属すとき、前記エッジ依存局所分散は
    Figure 2006509437
     により定義され、
    ピクセル(i,j)が上記のエッジのいずれにも属さないとき、前記分散は
    Figure 2006509437
     により定義されて、前記エッジ依存局所分散を計算することを特徴とする方法。
  22. 請求項１４に記載の方法であって、前記エンハンスメントアルゴリズムは、ピーキングおよびトランジェントインプルーブメントのうち１つを有するシャープネスエンハンスメントアルゴリズムであることを特徴とする方法。
  23. 請求項２２に記載の方法であって、
    前記シャープネスエンハンスメントアルゴリズムはピーキングアルゴリズムであり、
    前記UMDVP測定基準は、前記ピーキングアルゴリズムの出力に適用される前に前記UMDVP測定基準を
    Figure 2006509437
     により調整するステップをさらに有することを特徴とする方法。
  24. 請求項２３に記載の方法であって、
    前記ピーキングアルゴリズムの出力をコアリング法により制御するステップと、
    前記UMDVP測定基準を前記コアリング法の出力に適用するステップとをさらに有することを特徴とする方法。
JP2004558258A 2002-12-10 2003-12-04 デジタルビデオ処理に対する統一測定基準（ｕｍｄｖｐ） Withdrawn JP2006509437A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US43230702P 2002-12-10 2002-12-10
PCT/IB2003/005717 WO2004054270A1 (en) 2002-12-10 2003-12-04 A unified metric for digital video processing (umdvp)

Publications (1)

Publication Number Publication Date
JP2006509437A true JP2006509437A (ja) 2006-03-16

Family

ID=32507894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004558258A Withdrawn JP2006509437A (ja) 2002-12-10 2003-12-04 デジタルビデオ処理に対する統一測定基準（ｕｍｄｖｐ）

Country Status (7)

Country Link
US (1) US20060093232A1 (ja)
EP (1) EP1574070A1 (ja)
JP (1) JP2006509437A (ja)
KR (1) KR20050084266A (ja)
CN (1) CN1723711A (ja)
AU (1) AU2003283723A1 (ja)
WO (1) WO2004054270A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010532935A (ja) * 2007-04-09 2010-10-14 テクトロニクス・インコーポレイテッド 空間的に分離したアーティファクトの詳細分析、分類及び測定用システム及び方法
JP5362723B2 (ja) * 2008-07-30 2013-12-11 日立コンシューマエレクトロニクス株式会社 圧縮画像ノイズ除去装置と再生装置

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7200278B2 (en) * 2003-03-14 2007-04-03 Huaya Microelectronics, Ltd 4×4 pixel-based edge detection and edge enhancement without line buffer overhead
US20070133896A1 (en) * 2004-02-27 2007-06-14 Koninklijke Philips Electronics N.V. Ringing artifact reduction for compressed video applications
WO2005117445A1 (en) * 2004-05-27 2005-12-08 Vividas Technologies Pty Ltd Adaptive decoding of video data
KR20070090245A (ko) * 2004-12-13 2007-09-05 코닌클리케 필립스 일렉트로닉스 엔.브이. 스케일러블 화상 인코딩
WO2006072913A1 (en) * 2005-01-10 2006-07-13 Koninklijke Philips Electronics N.V. Image processor comprising a sharpness enhancer
US8780957B2 (en) 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
MX2007011084A (es) * 2005-03-10 2007-11-15 Qualcomm Inc Clasificacion de contenido para procesamiento multimedia.
EP1921866A3 (en) * 2005-03-10 2010-07-28 QUALCOMM Incorporated Content adaptive multimedia processing
US8879856B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
US8654848B2 (en) 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
KR100809296B1 (ko) * 2006-02-22 2008-03-04 삼성전자주식회사 타입이 일치하지 않는 하위 계층의 정보를 사용하여인터레이스 비디오 신호를 인코딩/디코딩 하는 방법 및장치
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
US8897371B2 (en) 2006-04-04 2014-11-25 Qualcomm Incorporated Video decoding in a receiver
US9602838B2 (en) * 2006-12-28 2017-03-21 Thomson Licensing Method and apparatus for automatic visual artifact analysis and artifact reduction
JP5002348B2 (ja) * 2007-06-26 2012-08-15 株式会社東芝 画像処理装置、映像受信装置および画像処理方法
JP2009260940A (ja) * 2008-03-21 2009-11-05 Nippon Telegr & Teleph Corp <Ntt> 映像品質客観評価方法、映像品質客観評価装置、およびプログラム
JP2010278929A (ja) * 2009-05-29 2010-12-09 Toshiba Corp 画像処理装置
US8660174B2 (en) * 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
TWI453695B (zh) * 2010-09-07 2014-09-21 Realtek Semiconductor Corp 影像處理方法及應用其之電路
US9055305B2 (en) 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
CN102340668B (zh) * 2011-09-30 2013-07-17 上海交通大学 一种基于可重构技术的mpeg2亮度插值的实现方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6360022B1 (en) * 1997-04-04 2002-03-19 Sarnoff Corporation Method and apparatus for assessing the visibility of differences between two signal sequences
CN1723712A (zh) * 2002-12-10 2006-01-18 皇家飞利浦电子股份有限公司 对编码数字视频信号的联合进行分辨率或锐度增强和伪像减少
US20070133896A1 (en) * 2004-02-27 2007-06-14 Koninklijke Philips Electronics N.V. Ringing artifact reduction for compressed video applications
WO2005094085A1 (en) * 2004-03-29 2005-10-06 Koninklijke Philips Electronics N.V. Video quality enhancement and/or artifact reduction using coding information from a compressed bitstream

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010532935A (ja) * 2007-04-09 2010-10-14 テクトロニクス・インコーポレイテッド 空間的に分離したアーティファクトの詳細分析、分類及び測定用システム及び方法
JP5362723B2 (ja) * 2008-07-30 2013-12-11 日立コンシューマエレクトロニクス株式会社 圧縮画像ノイズ除去装置と再生装置

Also Published As

Publication number Publication date
US20060093232A1 (en) 2006-05-04
KR20050084266A (ko) 2005-08-26
WO2004054270A1 (en) 2004-06-24
AU2003283723A1 (en) 2004-06-30
EP1574070A1 (en) 2005-09-14
CN1723711A (zh) 2006-01-18

Similar Documents

Publication Publication Date Title
JP2006509437A (ja) デジタルビデオ処理に対する統一測定基準（ｕｍｄｖｐ）
JP4186242B2 (ja) 画像信号処理装置及び画像信号処理方法
US6862372B2 (en) System for and method of sharpness enhancement using coding information and local spatial features
JP4334768B2 (ja) 圧縮映像のブリージングアーチファクトを低減する方法および装置
CN100364338C (zh) 估计图像噪声的方法和设备和消除噪声的方法
JP3678481B2 (ja) 映像データ後処理方法
US20100254450A1 (en) Video coding method, video decoding method, video coding apparatus, video decoding apparatus, and corresponding program and integrated circuit
EP1506525B1 (en) System for and method of sharpness enhancement for coded digital video
JP2006513633A (ja) エラー隠蔽中に生成されるアーチファクトをスムージングするデコーダ装置及び方法
JP3778960B2 (ja) 動画像符号化方法及び装置
US6950561B2 (en) Method and system for sharpness enhancement for coded video
JP3982615B2 (ja) 符号化動画像データの方式変換装置
JP2004518337A (ja) ビデオエンハンスメントのために符号化情報に基づく有用メトリックを提供するための装置及び方法
JP2007525902A (ja) 圧縮デジタルビデオにおけるｍｐｅｇ損傷のグローバル指示に関するシステム及び方法
JP5362723B2 (ja) 圧縮画像ノイズ除去装置と再生装置
JP3800435B2 (ja) 動画像信号処理装置
JP4784618B2 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化プログラム、及び動画像復号化プログラム
KR100207392B1 (ko) 텍스쳐 영역 판단장치 및 이를 이용한 복원 영상의 화질 평가 시스템
Yang et al. Joint resolution enhancement and artifact reduction for MPEG-2 encoded digital video
Boroczky et al. Post-processing of compressed video using a unified metric for digital video processing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061201

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20070510