JP3316157B2 - ポストフィルタリング方法並びにその装置 - Google Patents
ポストフィルタリング方法並びにその装置Info
- Publication number
- JP3316157B2 JP3316157B2 JP00912597A JP912597A JP3316157B2 JP 3316157 B2 JP3316157 B2 JP 3316157B2 JP 00912597 A JP00912597 A JP 00912597A JP 912597 A JP912597 A JP 912597A JP 3316157 B2 JP3316157 B2 JP 3316157B2
- Authority
- JP
- Japan
- Prior art keywords
- post
- image
- filtering
- decoder
- video image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000001914 filtration Methods 0.000 title claims description 26
- 238000000034 method Methods 0.000 title claims description 23
- 238000004891 communication Methods 0.000 claims description 16
- 238000003780 insertion Methods 0.000 claims description 5
- 230000037431 insertion Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 description 14
- 230000015556 catabolic process Effects 0.000 description 9
- 238000006731 degradation reaction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 5
- 241000255925 Diptera Species 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 208000029632 chronic intestinal failure Diseases 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
システムに関し、特に、符号化デバイスと復号化デバイ
スとの間でカラー画像信号が送信されるような符号化方
式に関する。
ースの符号化方式は、ビデオフォン、ビデオ・オン・デ
マンド用のセットトップボックス、及びビデオ会議シス
テム等を含む最も新しい画像通信アプリケーションの中
核をなす技術である。離散コサイン変換を用いることに
よって、画像、より適切には画像コンポーネントを表現
しているサンプルよりなる矩形アレイ、が、各々n×n
個のサンプルよりなる空間的配列によって構成される複
数個の正方形画像ブロックに分割される。各々の画像ブ
ロック中の画像データサンプルは、コサイン関数を用い
た直交変換を利用して符号化される。
各々の画像ブロックの信号強度が特定の周波数成分に集
中させられる。これらの周波数成分における信号強度の
分布は、それをコサイン変換のスカラー係数の組として
表現することによって符号化される。これらの係数のみ
を符号化することによって、前述したような信号強度の
強い集中のために、元の画像を表現する目的で送信ある
いは記録されることが必要とされる情報すなわちデータ
量が著しく低減される。このようにして、画像データ情
報は伝送目的に符号化されて圧縮される。
は、離散コサイン変換によって生成された信号強度の係
数の分布が、画像符号化効率すなわち伝送されることが
必要なデータの圧縮率に直接影響することである。例え
ば、符号化されるべきビデオ画像が晴天の日の空の画像
のようなフラットなパターンからなる画像である場合に
は、離散コサイン変換係数(DCT係数)は低周波数成
分に集中させられる。その結果、画像情報は、低周波数
成分に対応する係数を符号化することによって、わずか
な個数の係数を用いて圧縮/伝送され得るようになる。
輪郭、エッジ、あるいは格子縞のパターンのようなはっ
きりした模様を有するパターンのうちのいずれかを含む
ような場合には、DCT係数は低周波数及び高周波数成
分の双方に関して広く分布し、多くの数の係数の伝送を
必要としてしまって符号化効率を低減し、低ビットレー
トチャネル上での圧縮された画像情報の送信能力を制限
してしまう。この問題を解決する目的で、DCT係数の
値の切り捨て(丸め)や高周波数成分に対応する係数の
破棄等の技法が、伝送されるべきデータ量を低減して圧
縮ビデオ画像の送信能力を増大させるために用いられて
きている。しかしながら、これらの技法は、復号化した
際に、元の画像と比較して著しく劣化した画像しか再生
出来ない。しばしば発生する劣化の一例が”モスキート
雑音”と呼称されるものであり、復号化されたビデオセ
グメントにおいてオブジェクトの周囲に近接した”蚊”
の幻影が現れたように見えることに由来する。”モスキ
ート雑音”は、元のビデオ画像中に含まれた輪郭、エッ
ジ、あるいははっきりした模様を有するパターンによっ
て生成された高周波数成分係数を粗く量子化することに
よって生成される。
目的で、図1に示されているようなポストフィルタ配置
が開発されている。図1は、従来技術に係る代表的なポ
ストフィルタ配置を示すブロック図である。画像すなわ
ちビデオ情報は、エンコーダ110において符号化さ
れ、デコーダ120において復号化される。シャープ
(株)によって製造されているようなビューカム等の従
来技術に係るビデオカメラからの入力信号は、接続線1
01を介してエンコーダ110中のエンコーダユニット
に供給される。エンコーダユニット111は入力信号を
介して受信した画像を符号化し、圧縮されたビットスト
リームを生成する。この圧縮されたビットストリーム
は、通信チャネル102を介して伝送される。通信チャ
ネルは、例えば毎秒16キロビットという低伝送レート
を有している。
ト121及びポストフィルタ122を有するデコーダ1
20が接続されている。デコーダユニット121は受信
されたビットストリームを伸長して復号化された画像を
生成するために用いられる。その後、復号化された画像
は、ポストフィルタ122によって改善される。ポスト
フィルタ122は、フィルタ強度を調節して、ビットス
トリームが伝送目的で圧縮された際にエンコーダ110
中で生成された、復号化ビデオ画像における劣化のうち
の一部を除去する目的でポストフィルタパラメータを利
用する。ポストフィルタ122を調節するために用いら
れるポストフィルタパラメータは、フレームレート及び
符号化されたビットストリームの伝送レートの組み合わ
せに基づいて決定され、デコーダ中に配置された経験的
なルックアップテーブルから獲得される。
たようなポストフィルタ配置は、元々が”クリーン”な
(すなわちほとんど劣化していない)復号化済みビデオ
画像に対しては過剰にフィルタを効かせてエッジや模様
を不必要にぼやかしたり、非常に”ノイジー”なビデオ
画像に対してはフィルタの効果が少なすぎて激しい劣化
が残存するようになる、という傾向がある。これは、ポ
ストフィルタ122等のポストフィルタの強度を制御す
るために用いられるポストフィルタパラメータが、エン
コーダによって生成されたビデオ画像のDCT係数量子
化誤差に基づいて決定されるのではなく、フレームレー
ト及び伝送されるビットストリームの伝送レートとの組
み合わせに基づいて調節されるためである。
像のDCT符号化方法に係る別の問題は、符号化の際に
発生する劣化が画像の種々の領域に平等に影響を与え
る、ということである。このような復号化ビデオ画像の
観察者は、彼らにとって興味がある領域における劣化を
より気にするという傾向がある。例えば、代表的なビデ
オ会議あるいはテレフォニーアプリケーションにおいて
は、観察者は、着ているものや背景等よりも、映し出さ
れている人物の顔に注意を向けるという傾向がある。さ
らには、符号化された画像における高速な動きが符号化
による劣化をマスクすることは知られているが、人間の
視覚システムは、ある場面における特定の動くオブジェ
クトに”固着”して”追跡”するという能力を有してい
る。図1に示されたポストフィルタ配置は、人間の顔を
含む劣化したビデオ画像に対して適用された場合には、
過剰に平滑化された、人工的な感じのする顔を再生す
る。例えば、元のビデオ画像に存在しているしわ等の顔
の細かい造作が、復号化されたビデオ画像においては消
失されてしまう。このような理由から、低ビットレート
ビデオ会議及びテレフォニーシステムのユーザ間でのコ
ミュニケーションは、顔の造作が数多くの劣化によって
失われていない場合に、観察者にとってより理解しやす
くかつ心理的に喜ばしいものとなるはずである。
フィルタの強度を制御するために用いられるポストフィ
ルタパラメータがエンコーダによって符号化の時点で計
算され、ビデオ画像ビットストリーム中のサイド情報と
してデコーダを介してポストフィルタに伝送されるよう
な、復号化されたビデオ画像の適応ポストフィルタリン
グを行なう配置が提供される。このポストフィルタリン
グプロセスにより、画像がデコーダへの伝送に際して圧
縮される際に生成されるDCT係数量子化誤差の結果と
して導かれ、信号対雑音比(SNR)及び符号化された
ビデオ画像の単一あるいは複数個の成分の計算に基づ
く、復号化されたビデオ画像における劣化が除去され
る。顔の位置の情報などの画像の内容に関する他の情報
も、画像内容に従ってポストフィルタ強度を変調する目
的で、ビデオ画像ビットストリーム中でポストフィルタ
宛に送出されるサイド情報に含められ得る。
置においては、入力ビデオ画像はエンコーダに供給され
る。エンコーダはビデオ画像を符号化し、符号化された
ビデオ画像成分(これはエンコーダにおいて利用可能で
あり、伝送チャネルにおけるエラーが無い場合にはデコ
ーダによって受信される復号化済み画像と同一である)
と元のビデオ画像成分との間の信号対雑音比(SNR)
を計算する。SNRは、デコーダに対して伝送されるべ
き、符号化された画像のDCT係数量子化誤差の強度の
指標を与える。SNRの値が高ければ高いほど、符号化
された画像の質が高いことになる。SNRの値に基づい
て、エンコーダは、ポストフィルタによって復号化され
たビデオ画像成分のフィルタリングのために用いられる
ポストフィルタパラメータの組を選択する。ビデオ画像
を符号化するために割り当てられている複数個のビット
からフレーム当たり数ビットを用いることにより、エン
コーダは、ビデオ画像ビットストリーム中のサイド情報
として、デコーダを介してポストフィルタ宛にポストフ
ィルタパラメータを送出する。このように、ポストフィ
ルタは時間的に適応させられ、ポストフィルタパラメー
タはフレーム毎に自動的に調節されて、受信されて復号
化されたビデオ画像の過剰なフィルタリングや不充分な
フィルタリングが発生することはない。
深い領域を含むビデオ画像に関しては、ポストフィルタ
に対して画像内容に従ってその強度を変調するように指
示する目的で、顔の領域と顔以外の領域とを区別するた
めにビデオ画像ビットストリーム中のサイド情報として
顔の位置のパラメータを伝送することも可能である。こ
こで、変調とは、ポストフィルタ強度パラメータを一定
量だけ減少させることを意味し得る。このように、ポス
トフィルタは画像内容に基づいて適応させられる。
ォニー装置のブロック図が図2に示されている。ビデオ
テレフォニー装置は、符号化部210と復号化部230
とを有している。符号化部210は、入力線220から
入力ビデオ画像を受信する。入力線220はエンコーダ
211に接続されており、通信チャネル215に供給さ
れる3つの出力線212、213及び214を有してい
る。出力線213は符号化されて圧縮されたビデオ画像
を供給し、出力線212は最適ポストフィルタ強度パラ
メータを供給し、出力線214は顔の位置に係るパラメ
ータを供給する。ポストフィルタパラメータ及び顔の位
置に係るパラメータの双方は、ビデオ画像ビットストリ
ーム中でサイド情報として伝送される。
介して、入力される圧縮済みビデオ画像ビットストリー
ムを受け付けるデコーダ部230に接続されている。通
信チャネル215はデコーダ231に接続されており、
デコーダ231は各々ポストフィルタ235に接続され
ている3つの出力線232、233及び234を有して
いる。デコーダ231は入力ビットストリーム中で受信
したビデオ画像を復号化し、そのビデオ画像を出力線2
32によってポストフィルタ235に供給する。デコー
ダ231は、ビデオ画像ビットストリーム中に含まれる
サイド情報として伝送されてきたポストフィルタパラメ
ータを出力線233によってポストフィルタ235に転
送する。さらに、デコーダ231は、顔の位置に係るパ
ラメータを出力線234によってポストフィルタ235
に転送する。ポストフィルタリングされたビデオ画像
は、デコーダ部230からポストフィルタリング済み出
力線236によって出力される。
な記述を踏まえて、図3及び図4を参照して本発明のコ
ンセプトが記述される。図3より明らかなように、エン
コーダ部210が、エンコーダ211をより良く記述
し、本発明のコンセプトを例示する目的で、描き直され
ている。例えばシャープ社製のビューカム等の従来技術
に係るビデオカメラからのYUVフォーマットの入力カ
ラービデオ信号は、入力線220を介してエンコーダ2
11に供給され、線302によって減算器304及びス
イッチ306へ、線303及び305によって予測メモ
リ308へ、そして線303及び307によってSNR
&表310へそれぞれ供給される。カラーのデジタル画
像は、通常、標準的なYUVカラービデオフォーマット
で得られるもので、Yが輝度成分、U及びVがカラー情
報を担うクロマ成分である。M×Nのサイズの輝度画像
に対しては、クロマ画像は水平及び垂直の双方の方向共
にM/2×N/2のサイズである(すなわち、ファクタ
2だけダウンサンプリングされている)。減算器304
は線315によってスイッチ306に、線309及び3
11によってスイッチ312へ、そして線309及び3
13によって予測メモリ308へ、それぞれ接続されて
いる。符号化制御314は、スイッチ306及び量子化
器318に接続されている。スイッチ306は、変換器
316を介して量子化器318にも接続されている。量
子化器318は、線325によって可変長符号化器32
4へ、線328によって逆量子化器320へ、それぞれ
接続されている。可変長符号化器324は、圧縮された
ビデオビットストリームを伝送する出力線213に接続
されている。逆量子化器320は、逆変換器322及び
加算器326を介して予測メモリ308に接続されてい
る。予測メモリ308は、線319によってSNR&表
310に接続されている。SNR&表310は、線21
2によってポストフィルタパラメータを可変長符号化器
324へ伝送する線325に接続されており、ポストフ
ィルタパラメータは線212の圧縮済みビットストリー
ム中のサイド情報として含められる。顔配置器323
は、線327によって入力ビデオ画像を受信し、線21
4によって顔の位置に係るパラメータを可変長符号化器
324へ伝送する線325へ接続されており、顔の位置
に係るパラメータは線212の圧縮済みビットストリー
ム中のサイド情報として含められる。
画像の符号化の際のその機能を記述することによって説
明される。図3を参照すると、ビデオ画像はソースエン
コーダ211に線220によって供給され、線302に
よってスイッチ306の第一入力に供給される。動き補
償がなされた直前の再構成済みフレームは予測メモリ3
08の出力において利用可能であり、線313及び30
9によって減算器304に供給される。動き補償がなさ
れた差分画像が減算器304の出力において生成され、
線315によってスイッチ306の第二入力に供給され
る。
々のビデオ画像に関して、符号化制御314は、画像ブ
ロックをイントラモードで符号化する−すなわち、その
イメージブロックそれ自体に関してDCT係数を計算す
る(スイッチ306が上側)−のが有利であるか、ある
いはインターモードで符号化する−すなわち、減算器3
04の出力において利用可能な動き補償済み画像残差に
関してDCT係数を計算する(スイッチ306が下側)
−のが有利であるかを決定し、それに従ってスイッチ3
06を制御する。スイッチ312はスイッチ306と同
期しており、同一の制御に従う。スイッチ306の出力
におけるデータブロックは変換器316によって変換さ
れ、変換されたブロックの係数が一様量子化器318に
よって量子化される。量子化器318における量子化段
階は、符号化制御314によって制御される。
済みDCT係数は、線313及び309上に、次の動き
補償再構成済み直前フレームを再構成するためにも用い
られる。そのフレームは、まず逆量子化器320によっ
て逆量子化され、逆変換器322によって逆変換され
る。データがイントラモードで符号化された(スイッチ
312が上側になっている)場合には、逆変換済みデー
タは再構成済みデータとして直接予測メモリ308に書
き込まれる。データがインターモードで符号化された
(スイッチ312が下側になっている)場合には、逆変
換済みデータは、まず、線313、311、317によ
って得られる直前の再構成済みフレームの動き補償済み
データと、加算器326において加算される。双方の場
合とも、現時点のフレームに関する再構成された(すな
わち符号化された)データは、加算器326の出力にお
いて利用可能である。予測メモリ308は、現時点での
元の画像に関する動きベクトルを計算し、それらの動き
ベクトルを線321及び212上のビットストリームに
書き込む。量子化器係数及び動きベクトルに対応するビ
ットストリームは、可変長符号化器324によってハフ
マン(Huffman)符号化され、線213によって
通信チャネルに伝送される。
第08/500672号(本明細書の参照文献である)
に記載されているような顔配置器323は、符号化され
るビデオ画像中に存在する人物の楕円状の頭の輪郭と、
目、鼻及び口を含む矩形の顔の領域を識別する。このよ
うにして識別された矩形の領域の左上と右下の隅が、線
214によって線325上のビットストリームに書き込
まれる。
329上の再構成されたフレームとの間の各々のビデオ
画像成分に関するSNRが計算され、SNR&表モジュ
ール310内のルックアップテーブルからポストフィル
タパラメータが導出される。エンコーダ側でのトレーニ
ングの期間に、特定の空間分解能(SQCIFの場合に
は128ピクセル/ライン、QCIFの場合には176
ピクセル/ライン、そしてCIFの場合には352ピク
セル/ライン)を有する入力カラー画像の各々の成分に
対する最適ポストフィルタパラメータよりなるルックア
ップテーブルが、符号化されたフレーム成分の信号対雑
音比(SNR)の関数として生成される。このトレーニ
ングは、全てのビデオ画像の伝送の前に複数個の代表的
なビデオシーケンスに関してオフラインで実行される。
適応ポストフィルタリングを実現するために、ポストフ
ィルタ係数は、エンコーダ側においてフレーム毎にSN
R&表モジュール310内で生成された表を検索するこ
とによって導出され、通信チャネルに沿って伝送される
圧縮済みビットストリーム中のサイド情報として図2に
示されたデコーダ231及びポストフィルタ235宛に
伝送される。
際電気通信連合電気通信標準化セクター(ITU−T)
文書”推奨H.263(狭帯域通信チャネル用ビデオ符
号化)”に従った、ビットストリーム中の付加挿入/ス
ペア情報ビット(PEI/PSPARE情報)として、
ビットストリームそれ自体に統合され得る。この”推奨
H.263”は、本明細書の参照文献である。このこと
は、エンコーダ211が、例えば図1に示されたデコー
ダ120のような非適応デコーダと共に機能することを
可能にする。エンコーダ110のようなエンコーダがデ
コーダ231に信号を伝送する場合には、ポストフィル
タ235に対するポストフィルタパラメータは、図1に
示された従来技術に係るデコーダ120の場合と同様
に、入力画像解像度、フレームレート及び伝送レートの
相異なった組み合わせに対して相異なったエントリを有
する、デコーダにおいて利用可能な経験的なルックアッ
プテーブルから獲得される。
プテーブルを生成するトレーニング期間には、元のフレ
ームと符号化されたフレームとの間のSNRのあらゆる
値に対して、ポストフィルタパラメータεの数値が与え
られる。標準的な空間解像度(例えば、SQCIF、Q
CIF、及びCIF)の各々に対して、種々の複雑さ及
び意味内容の情景(例えば、一人あるいは複数の人がい
る情景)に関するフレームを含むビデオシーケンスが、
位置(i,j)によって示される画像サンプルからなる
各画像ブロックを有するM×N個の画像ブロックアレイ
に分割される。各々の位置(i,j)における画像サン
プルは、伝送レート及びフレームレートの種々の組み合
わせを利用して、エンコーダ211によって符号化され
る。符号化されたフレームの各画像サンプルに対して、
ポストフィルタ235が、例えば1と30との間の全て
の整数値等のある範囲内のポストフィルタパラメータの
値と共に適用され、その結果得られたポストフィルタリ
ング済み画像と元の画像との間のSNRが計算されて記
録される。ポストフィルタリングされたビデオ画像成分
のSNRは、以下の式に従って測定される:
式から計算される:
像サンプルに対するピクセル値を表わしており、yi,j
はポストフィルタリングされた画像の位置(i,j)に
おける画像サンプルに対するピクセル値を表わしてい
る。この計算により、図5に示されたような曲線が得ら
れ、パラメータεの最適値εoptに対して単一の最大値
が得られる。εのこの値は、符号化済み(かつポストフ
ィルタリングされていない)画像サンプルと元の画像サ
ンプルとの間のSNRの値と共に、符号化されたシーケ
ンス全体に亘って平均化され、図6に示されたグラフの
各々のデータポイントを与える。データポイントは、例
えば相異なったビデオシーケンス、ビットレート及びフ
レームレート全てに対応して生成され得るものであり、
非常に低い品質の符号化から非常に高い品質の符号化に
亘る広い範囲をカバーしている。図6に示された曲線
は、最終的には、例えば部分毎に最小二乗法によるフィ
ッティングで得られる。
0のブロック図の一部は、デコーダ231をより詳細に
記述して本発明に係る概念を例示する目的で再描画され
たものである。通信チャネル215は、デコーダ231
への符号化済みビデオ画像及びポストフィルタパラメー
タを含む圧縮済みビットストリームを入力するように接
続さている。デコーダ231の入力において、通信チャ
ネル215は可変長復号化器402に接続されている。
可変長復号化器402は、ポストフィルタパラメータを
転送する目的で線401によってポストフィルタ235
へ、及び顔の位置に係るパラメータを転送する目的で線
410によってポストフィルタ235へ、それぞれ接続
されている。可変長復号化器402は、イントラ/イン
ター制御情報を供給する目的で線414によってスイッ
チ410へ接続されている。可変長復号化器402は、
さらに、線413によって逆量子化器403へ接続され
ており、逆量子化器403は逆変換器404に接続され
ている。逆変換器404は、加算器405と線408と
を介してフレームメモリ406に接続されている。フレ
ームメモリ406は、復号化されたビデオ画像をポスト
フィルタリング目的で供給するために、ポストフィルタ
235に接続されている。線408は、線407を介し
て、予測メモリ409、スイッチ410及び加算器40
5に接続されている。
プと非常に類似した方式で機能する。可変長デコーダ4
02は、4つの相異なったタイプの情報を復号化する:
i)線414を介してスイッチ410を制御するイン
トラ/インター符号化タイプのビット、ii)逆量子化
器403及び逆変換器404に相次いで供給され屡、線
413上に現れる量子化済み変換係数、iii)線40
1を介してポストフィルタに供給されるポストフィルタ
パラメータ、及びiv)線410を介してポストフィル
タ235に供給される顔の位置に係るパラメータ。イン
トラモード(スイッチ410が左)の場合には、逆変換
されたデータは、再構成された(すなわち復号化され
た)データとして予測メモリ406に直接書き込まれ
る。インターモード(スイッチ410が右)の場合に
は、逆変換されたデータは、加算器405によって、線
412上に現れる直前の再構成されたフレームからの動
き補償済みデータとまず加算される。フレームメモリ4
06における再構成された(すなわち復号化された)フ
レームはポストフィルタ235に入力される。適応ポス
トフィルタリング済み画像はポストフィルタ235の出
力において生成されるが、この適応は、符号化品質に従
ってフレーム毎に再導出された最適フィルタ強度を有す
る時間的に変化するものであり、かつ、顔の領域でのパ
ラメータεoptの変調を有する画像内容に依存したもの
でもある。
もので,この技術分野の当業者であれば、本発明の種々
の変形例が考え得るが、それらはいずれも本発明の技術
的範囲に包含される。
間的かつ画像内容に基づいてその強度が適応させられ得
る、画像情報符号化/伝送/復号化システムにおいて用
いられるポストフィルタ配置が提供される。
来技術に係るシステムを示す模式図。
る、本発明に従った配置を示す模式図。
に示す図。
示す図。
ビデオ画像とポストフィルタリングされたビデオ画像と
の間のSNRが変化する様子を示すグラフ。
化されたビデオ画像のSNRとの間の関係を示すグラ
フ。
Claims (16)
- 【請求項1】 低ビットレートビジュアルテレフォニー
画像をポストフィルタリングする方法において、 (A)ビデオ画像を符号化器に入力する段階と、 (B)前記符号化器において前記ビデオ画像を符号化
し、ポストフィルタパラメータを決定する段階と、 (C)前記符号化されたビデオ画像と前記ポストフィル
タパラメータを復号化器に伝送する段階と、 (D)前記復号化器において前記伝送されたビデオ画像
を復号化し、前記ポストフィルタパラメータを用いて前
記復号化されたビデオ画像のポストフィルタリングを行
なう段階と、(E)ポストフィルタされたビデオ画像を表示する段階
と を有し、 前記(B)の段階において前記ポストフィルタパラメー
タが、符号化されたビデオ画像と入力されたビデオ画像
の間で信号対雑音比(SNR)の計算に基づいて決定さ
れる ことを特徴とするポストフィルタリング方法。 - 【請求項2】 前記ポストフィルタパラメータが、Y
(輝度)カラー画像成分に関する一つのスカラーパラメ
ータからなることを特徴とする請求項第1項に記載のポ
ストフィルタリング方法。 - 【請求項3】 前記ポストフィルタパラメータが、YU
Vフォーマットのカラー画像の各々の成分に関する複数
個のスカラーパラメータからなることを特徴とする請求
項第1項に記載のポストフィルタリング方法。 - 【請求項4】 前記ポストフィルタパラメータが、前記
復号化器に対して前記符号化済みビデオ画像ビットスト
リーム中に含まれる複数個のビットとして伝送されるこ
とを特徴とする請求項第1項に記載のポストフィルタリ
ング方法。 - 【請求項5】 前記複数個のビットが、前記伝送される
ビットストリームのPEI(付加挿入情報)及びPSP
ARE(スペア情報)ビットに位置することを特徴とす
る請求項第4項に記載のポストフィルタリング方法。 - 【請求項6】 (E)前記復号化器宛に顔の位置に係る
パラメータを伝送する段階を更に有することを特徴とす
る請求項第1項に記載のポストフィルタリング方法。 - 【請求項7】 前記顔の位置に係るパラメータが、前記
復号化器宛に前記符号化されたビデオビットストリーム
中に含まれる複数個のビットとして伝送されることを特
徴とする請求項第6項に記載のポストフィルタリング方
法。 - 【請求項8】 前記複数個のビットが、PEI(付加挿
入情報)及びPSPARE(スペア情報)ビットである
ことを特徴とする請求項第7項に記載のポストフィルタ
リング方法。 - 【請求項9】 低ビットレートビジュアルテレフォニー
カラー画像のポストフィルタリングを行なう装置におい
て、入力された ビデオ画像を符号化し、かつ、ポストフィル
タパラメータを決定する符号化器と、 通信チャネルを介して伝送された前記符号化されたビデ
オ画像及び前記ポストフィルタパラメータを受信し、か
つ、前記符号化されたビデオ画像を復号化する復号化器
と、を有し、 前記符号化器は、前記ポストフィルタパラメータが、符
号化されたビデオ画像と入力されたビデオ画像の間で信
号対雑音比(SNR)の計算に基づいて決定され、 前記復号化器は、前記ポストフィルタパラメータを用い
て前記復号化されたビデオ画像のポストフィルタリング
を行なうポストフィルタを有する、 ことを特徴とするポストフィルタリング装置。 - 【請求項10】 前記ポストフィルタパラメータが、Y
(輝度)カラー画像成分に関する一つのスカラーパラメ
ータからなることを特徴とする請求項第9項に記載のポ
ストフィルタリング装置。 - 【請求項11】 前記ポストフィルタパラメータが、Y
UVフォーマッカラー画像の各々の成分に関する複数個
のスカラーパラメータからなることを特徴とする請求項
第9項に記載のポストフィルタリング装置。 - 【請求項12】 前記ポストフィルタパラメータが、前
記復号化器に対して前記符号化済みビデオ画像ビットス
トリーム中に含まれる複数個のビットとして伝送される
ことを特徴とする請求項第9項に記載のポストフィルタ
リング装置。 - 【請求項13】 前記複数個のビットが、前記伝送され
るビットストリームのPEI(付加挿入情報)及びPS
PARE(スペア情報)ビットに位置することを特徴と
する請求項第12項に記載のポストフィルタリング装
置。 - 【請求項14】 前記復号化器が、さらに、前記通信チ
ャネルを介して顔の位置に係るパラメータを受信するこ
とを特徴とする請求項第9項に記載のポストフィルタリ
ング装置。 - 【請求項15】 前記顔の位置に係るパラメータが、前
記復号化器宛に前記符号化されたビデオビットストリー
ム中に含まれる複数個のビットとして伝送されることを
特徴とする請求項第14項に記載のポストフィルタリン
グ装置。 - 【請求項16】 前記複数個のビットが、PEI(付加
挿入情報)及びPSPARE(スペア情報)ビットであ
ることを特徴とする請求項第15項に記載のポストフィ
ルタリング装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US590722 | 1996-01-24 | ||
US08/590,722 US6324301B1 (en) | 1996-01-24 | 1996-01-24 | Adaptive postfilter for low bitrate visual telephony noise removal |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09215009A JPH09215009A (ja) | 1997-08-15 |
JP3316157B2 true JP3316157B2 (ja) | 2002-08-19 |
Family
ID=24363428
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP00912597A Expired - Lifetime JP3316157B2 (ja) | 1996-01-24 | 1997-01-22 | ポストフィルタリング方法並びにその装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US6324301B1 (ja) |
EP (1) | EP0786904B1 (ja) |
JP (1) | JP3316157B2 (ja) |
DE (1) | DE69711736T2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0956703B1 (de) * | 1997-01-31 | 2001-09-19 | Siemens Aktiengesellschaft | Verfahren und anordnung zur codierung und decodierung eines digitalisierten bildes |
FR2795589B1 (fr) * | 1999-06-11 | 2001-10-05 | Centre Nat Rech Scient | Decodeur video optimal base sur les standards de type mpeg |
KR100335055B1 (ko) * | 1999-12-08 | 2002-05-02 | 구자홍 | 압축 영상신호의 블럭현상 및 링현상 제거방법 |
US8625680B2 (en) * | 2003-09-07 | 2014-01-07 | Microsoft Corporation | Bitstream-controlled post-processing filtering |
US20070140343A1 (en) * | 2004-07-06 | 2007-06-21 | Satoshi Kondo | Image encoding method, and image decoding method |
US8243820B2 (en) * | 2004-10-06 | 2012-08-14 | Microsoft Corporation | Decoding variable coded resolution video with native range/resolution post-processing operation |
US9071847B2 (en) * | 2004-10-06 | 2015-06-30 | Microsoft Technology Licensing, Llc | Variable coding resolution in video codec |
US7956930B2 (en) | 2006-01-06 | 2011-06-07 | Microsoft Corporation | Resampling and picture resizing operations for multi-resolution video coding and decoding |
EP1944974A1 (en) * | 2007-01-09 | 2008-07-16 | Matsushita Electric Industrial Co., Ltd. | Position dependent post-filter hints |
JP2007174690A (ja) * | 2007-01-26 | 2007-07-05 | Monolith Co Ltd | 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置 |
US8107571B2 (en) * | 2007-03-20 | 2012-01-31 | Microsoft Corporation | Parameterized filters and signaling techniques |
EP2003896A1 (en) * | 2007-06-12 | 2008-12-17 | Panasonic Corporation | Statistical image enhancement |
US8238675B2 (en) * | 2008-03-24 | 2012-08-07 | Microsoft Corporation | Spectral information recovery for compressed image restoration with nonlinear partial differential equation regularization |
US9729899B2 (en) | 2009-04-20 | 2017-08-08 | Dolby Laboratories Licensing Corporation | Directed interpolation and data post-processing |
US8654859B1 (en) | 2009-12-17 | 2014-02-18 | Ambarella, Inc. | Low cost rate-distortion computations for video compression |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4941043A (en) | 1988-06-14 | 1990-07-10 | Siemens Aktiengesellschaft | Method for reducing blocking artifacts in video scene coding with discrete cosine transformation (DCT) at a low data rate |
FR2661063B1 (fr) | 1990-04-13 | 1992-06-19 | Thomson Csf | Procede et dispositif de post-filtrage pour codage d'images par transformation cosinus discrete. |
US5313298A (en) * | 1992-03-05 | 1994-05-17 | Rubin, Bednarek And Associates, Inc. | Video companding method and system |
US5649031A (en) * | 1992-03-31 | 1997-07-15 | Hitachi, Ltd. | Image information processor for producing high-quality output image |
FR2690299B1 (fr) | 1992-04-17 | 1994-06-17 | Telecommunications Sa | Procede et dispositif de filtrage spatial d'images numeriques decodees par transformation par bloc. |
KR0148130B1 (ko) | 1992-05-18 | 1998-09-15 | 강진구 | 블럭킹아티팩트를 억제시키는 부호화/복호화 방법 및 그 장치 |
US5596659A (en) * | 1992-09-01 | 1997-01-21 | Apple Computer, Inc. | Preprocessing and postprocessing for vector quantization |
US5748243A (en) | 1993-11-08 | 1998-05-05 | Sony Corporation | Method for encoding and decoding motion picture as a function of its non-linear characteristic |
US5512956A (en) * | 1994-02-04 | 1996-04-30 | At&T Corp. | Adaptive spatial-temporal postprocessing for low bit-rate coded image sequences |
JP2673778B2 (ja) | 1994-02-22 | 1997-11-05 | 国際電信電話株式会社 | 動画像の復号化における雑音低減装置 |
WO1995027335A1 (fr) * | 1994-04-01 | 1995-10-12 | Sony Corporation | Methode et dispositif de codage et de decodage d'informations, methode de transmission d'informations et support d'enregistrement de l'information |
-
1996
- 1996-01-24 US US08/590,722 patent/US6324301B1/en not_active Expired - Lifetime
-
1997
- 1997-01-14 DE DE69711736T patent/DE69711736T2/de not_active Expired - Lifetime
- 1997-01-14 EP EP97300186A patent/EP0786904B1/en not_active Expired - Lifetime
- 1997-01-22 JP JP00912597A patent/JP3316157B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
DE69711736D1 (de) | 2002-05-16 |
JPH09215009A (ja) | 1997-08-15 |
EP0786904B1 (en) | 2002-04-10 |
EP0786904A2 (en) | 1997-07-30 |
US6324301B1 (en) | 2001-11-27 |
EP0786904A3 (en) | 2000-05-17 |
DE69711736T2 (de) | 2002-10-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6445739B1 (en) | Quantization matrix for still and moving picture coding | |
US4723161A (en) | Method and arrangement of coding digital image signals utilizing interframe correlation | |
US7162096B1 (en) | System and method for dynamic perceptual coding of macroblocks in a video frame | |
JP3688288B2 (ja) | 符号化装置及び復号装置 | |
JP3258840B2 (ja) | 動画像符号化装置および領域抽出装置 | |
JP3316157B2 (ja) | ポストフィルタリング方法並びにその装置 | |
JP3678481B2 (ja) | 映像データ後処理方法 | |
CA2250284C (en) | A perceptual compression and robust bit-rate control system | |
US6865229B1 (en) | Method and apparatus for reducing the “blocky picture” effect in MPEG decoded images | |
EP0680217B1 (en) | Video signal decoding apparatus capable of reducing blocking effects | |
JP2001522174A (ja) | デジタル画像の処理方法および処理装置 | |
US7280689B2 (en) | Anti-compression techniques for visual images | |
US5946421A (en) | Method and apparatus for compensating quantization errors of a decoded video image by using an adaptive filter | |
US6864909B1 (en) | System and method for static perceptual coding of macroblocks in a video frame | |
Ngan et al. | Very low bit rate video coding using H. 263 coder | |
JPH01228384A (ja) | 領域分割を用いた動画像符号化方式 | |
JPH0998421A (ja) | 画像符号化/復号化装置 | |
JP2504266B2 (ja) | 動画像信号の適応的符号化制御方式 | |
Sankur et al. | Two-layer coding for videotelephone | |
GB2316828A (en) | Compensating quantization errors of a decoded video signal by using an adaptive filter | |
KR100619685B1 (ko) | 웨이브릿 부호화를 이용한 화상통신기기의 전송속도조절방법과 장치 | |
Calvagno et al. | A performance model for the MPEG coder | |
Kweh | Improved quality block-based low bit rate video coding | |
Chu et al. | Reduction of blocking artifacts using motion-compensated spatial-temporal filtering | |
Zheng et al. | A novel video coding scheme with frequency-domain-based conditional frame replenishment algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080607 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090607 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100607 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110607 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110607 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120607 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120607 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130607 Year of fee payment: 11 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |