JP3316157B2 - ポストフィルタリング方法並びにその装置 - Google Patents
ポストフィルタリング方法並びにその装置Info
- Publication number
- JP3316157B2 JP3316157B2 JP00912597A JP912597A JP3316157B2 JP 3316157 B2 JP3316157 B2 JP 3316157B2 JP 00912597 A JP00912597 A JP 00912597A JP 912597 A JP912597 A JP 912597A JP 3316157 B2 JP3316157 B2 JP 3316157B2
- Authority
- JP
- Japan
- Prior art keywords
- post
- image
- filtering
- decoder
- video image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000001914 filtration Methods 0.000 title claims description 26
- 238000000034 method Methods 0.000 title claims description 23
- 238000004891 communication Methods 0.000 claims description 16
- 238000003780 insertion Methods 0.000 claims description 5
- 230000037431 insertion Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 description 14
- 230000015556 catabolic process Effects 0.000 description 9
- 238000006731 degradation reaction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000003044 adaptive effect Effects 0.000 description 5
- 241000255925 Diptera Species 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 208000029632 chronic intestinal failure Diseases 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Color Television Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、一般には画像処理
システムに関し、特に、符号化デバイスと復号化デバイ
スとの間でカラー画像信号が送信されるような符号化方
式に関する。
システムに関し、特に、符号化デバイスと復号化デバイ
スとの間でカラー画像信号が送信されるような符号化方
式に関する。
【０００２】
【従来の技術】離散コサイン（余弦）変換（ＤＣＴ）ベ
ースの符号化方式は、ビデオフォン、ビデオ・オン・デ
マンド用のセットトップボックス、及びビデオ会議シス
テム等を含む最も新しい画像通信アプリケーションの中
核をなす技術である。離散コサイン変換を用いることに
よって、画像、より適切には画像コンポーネントを表現
しているサンプルよりなる矩形アレイ、が、各々ｎ×ｎ
個のサンプルよりなる空間的配列によって構成される複
数個の正方形画像ブロックに分割される。各々の画像ブ
ロック中の画像データサンプルは、コサイン関数を用い
た直交変換を利用して符号化される。
ースの符号化方式は、ビデオフォン、ビデオ・オン・デ
マンド用のセットトップボックス、及びビデオ会議シス
テム等を含む最も新しい画像通信アプリケーションの中
核をなす技術である。離散コサイン変換を用いることに
よって、画像、より適切には画像コンポーネントを表現
しているサンプルよりなる矩形アレイ、が、各々ｎ×ｎ
個のサンプルよりなる空間的配列によって構成される複
数個の正方形画像ブロックに分割される。各々の画像ブ
ロック中の画像データサンプルは、コサイン関数を用い
た直交変換を利用して符号化される。
【０００３】離散コサイン変換（ＤＣＴ）においては、
各々の画像ブロックの信号強度が特定の周波数成分に集
中させられる。これらの周波数成分における信号強度の
分布は、それをコサイン変換のスカラー係数の組として
表現することによって符号化される。これらの係数のみ
を符号化することによって、前述したような信号強度の
強い集中のために、元の画像を表現する目的で送信ある
いは記録されることが必要とされる情報すなわちデータ
量が著しく低減される。このようにして、画像データ情
報は伝送目的に符号化されて圧縮される。
各々の画像ブロックの信号強度が特定の周波数成分に集
中させられる。これらの周波数成分における信号強度の
分布は、それをコサイン変換のスカラー係数の組として
表現することによって符号化される。これらの係数のみ
を符号化することによって、前述したような信号強度の
強い集中のために、元の画像を表現する目的で送信ある
いは記録されることが必要とされる情報すなわちデータ
量が著しく低減される。このようにして、画像データ情
報は伝送目的に符号化されて圧縮される。
【０００４】この画像伝送方法に関する一つの問題点
は、離散コサイン変換によって生成された信号強度の係
数の分布が、画像符号化効率すなわち伝送されることが
必要なデータの圧縮率に直接影響することである。例え
ば、符号化されるべきビデオ画像が晴天の日の空の画像
のようなフラットなパターンからなる画像である場合に
は、離散コサイン変換係数（ＤＣＴ係数）は低周波数成
分に集中させられる。その結果、画像情報は、低周波数
成分に対応する係数を符号化することによって、わずか
な個数の係数を用いて圧縮／伝送され得るようになる。
は、離散コサイン変換によって生成された信号強度の係
数の分布が、画像符号化効率すなわち伝送されることが
必要なデータの圧縮率に直接影響することである。例え
ば、符号化されるべきビデオ画像が晴天の日の空の画像
のようなフラットなパターンからなる画像である場合に
は、離散コサイン変換係数（ＤＣＴ係数）は低周波数成
分に集中させられる。その結果、画像情報は、低周波数
成分に対応する係数を符号化することによって、わずか
な個数の係数を用いて圧縮／伝送され得るようになる。
【０００５】しかしながら、符号化されるべき画像が、
輪郭、エッジ、あるいは格子縞のパターンのようなはっ
きりした模様を有するパターンのうちのいずれかを含む
ような場合には、ＤＣＴ係数は低周波数及び高周波数成
分の双方に関して広く分布し、多くの数の係数の伝送を
必要としてしまって符号化効率を低減し、低ビットレー
トチャネル上での圧縮された画像情報の送信能力を制限
してしまう。この問題を解決する目的で、ＤＣＴ係数の
値の切り捨て（丸め）や高周波数成分に対応する係数の
破棄等の技法が、伝送されるべきデータ量を低減して圧
縮ビデオ画像の送信能力を増大させるために用いられて
きている。しかしながら、これらの技法は、復号化した
際に、元の画像と比較して著しく劣化した画像しか再生
出来ない。しばしば発生する劣化の一例が”モスキート
雑音”と呼称されるものであり、復号化されたビデオセ
グメントにおいてオブジェクトの周囲に近接した”蚊”
の幻影が現れたように見えることに由来する。”モスキ
ート雑音”は、元のビデオ画像中に含まれた輪郭、エッ
ジ、あるいははっきりした模様を有するパターンによっ
て生成された高周波数成分係数を粗く量子化することに
よって生成される。
輪郭、エッジ、あるいは格子縞のパターンのようなはっ
きりした模様を有するパターンのうちのいずれかを含む
ような場合には、ＤＣＴ係数は低周波数及び高周波数成
分の双方に関して広く分布し、多くの数の係数の伝送を
必要としてしまって符号化効率を低減し、低ビットレー
トチャネル上での圧縮された画像情報の送信能力を制限
してしまう。この問題を解決する目的で、ＤＣＴ係数の
値の切り捨て（丸め）や高周波数成分に対応する係数の
破棄等の技法が、伝送されるべきデータ量を低減して圧
縮ビデオ画像の送信能力を増大させるために用いられて
きている。しかしながら、これらの技法は、復号化した
際に、元の画像と比較して著しく劣化した画像しか再生
出来ない。しばしば発生する劣化の一例が”モスキート
雑音”と呼称されるものであり、復号化されたビデオセ
グメントにおいてオブジェクトの周囲に近接した”蚊”
の幻影が現れたように見えることに由来する。”モスキ
ート雑音”は、元のビデオ画像中に含まれた輪郭、エッ
ジ、あるいははっきりした模様を有するパターンによっ
て生成された高周波数成分係数を粗く量子化することに
よって生成される。
【０００６】”モスキート雑音”を含む劣化を低減する
目的で、図１に示されているようなポストフィルタ配置
が開発されている。図１は、従来技術に係る代表的なポ
ストフィルタ配置を示すブロック図である。画像すなわ
ちビデオ情報は、エンコーダ１１０において符号化さ
れ、デコーダ１２０において復号化される。シャープ
（株）によって製造されているようなビューカム等の従
来技術に係るビデオカメラからの入力信号は、接続線１
０１を介してエンコーダ１１０中のエンコーダユニット
に供給される。エンコーダユニット１１１は入力信号を
介して受信した画像を符号化し、圧縮されたビットスト
リームを生成する。この圧縮されたビットストリーム
は、通信チャネル１０２を介して伝送される。通信チャ
ネルは、例えば毎秒１６キロビットという低伝送レート
を有している。
目的で、図１に示されているようなポストフィルタ配置
が開発されている。図１は、従来技術に係る代表的なポ
ストフィルタ配置を示すブロック図である。画像すなわ
ちビデオ情報は、エンコーダ１１０において符号化さ
れ、デコーダ１２０において復号化される。シャープ
（株）によって製造されているようなビューカム等の従
来技術に係るビデオカメラからの入力信号は、接続線１
０１を介してエンコーダ１１０中のエンコーダユニット
に供給される。エンコーダユニット１１１は入力信号を
介して受信した画像を符号化し、圧縮されたビットスト
リームを生成する。この圧縮されたビットストリーム
は、通信チャネル１０２を介して伝送される。通信チャ
ネルは、例えば毎秒１６キロビットという低伝送レート
を有している。
【０００７】通信チャネル１０２には、デコーダユニッ
ト１２１及びポストフィルタ１２２を有するデコーダ１
２０が接続されている。デコーダユニット１２１は受信
されたビットストリームを伸長して復号化された画像を
生成するために用いられる。その後、復号化された画像
は、ポストフィルタ１２２によって改善される。ポスト
フィルタ１２２は、フィルタ強度を調節して、ビットス
トリームが伝送目的で圧縮された際にエンコーダ１１０
中で生成された、復号化ビデオ画像における劣化のうち
の一部を除去する目的でポストフィルタパラメータを利
用する。ポストフィルタ１２２を調節するために用いら
れるポストフィルタパラメータは、フレームレート及び
符号化されたビットストリームの伝送レートの組み合わ
せに基づいて決定され、デコーダ中に配置された経験的
なルックアップテーブルから獲得される。
ト１２１及びポストフィルタ１２２を有するデコーダ１
２０が接続されている。デコーダユニット１２１は受信
されたビットストリームを伸長して復号化された画像を
生成するために用いられる。その後、復号化された画像
は、ポストフィルタ１２２によって改善される。ポスト
フィルタ１２２は、フィルタ強度を調節して、ビットス
トリームが伝送目的で圧縮された際にエンコーダ１１０
中で生成された、復号化ビデオ画像における劣化のうち
の一部を除去する目的でポストフィルタパラメータを利
用する。ポストフィルタ１２２を調節するために用いら
れるポストフィルタパラメータは、フレームレート及び
符号化されたビットストリームの伝送レートの組み合わ
せに基づいて決定され、デコーダ中に配置された経験的
なルックアップテーブルから獲得される。
【０００８】
【発明が解決しようとする課題】一般に、図１に示され
たようなポストフィルタ配置は、元々が”クリーン”な
（すなわちほとんど劣化していない）復号化済みビデオ
画像に対しては過剰にフィルタを効かせてエッジや模様
を不必要にぼやかしたり、非常に”ノイジー”なビデオ
画像に対してはフィルタの効果が少なすぎて激しい劣化
が残存するようになる、という傾向がある。これは、ポ
ストフィルタ１２２等のポストフィルタの強度を制御す
るために用いられるポストフィルタパラメータが、エン
コーダによって生成されたビデオ画像のＤＣＴ係数量子
化誤差に基づいて決定されるのではなく、フレームレー
ト及び伝送されるビットストリームの伝送レートとの組
み合わせに基づいて調節されるためである。
たようなポストフィルタ配置は、元々が”クリーン”な
（すなわちほとんど劣化していない）復号化済みビデオ
画像に対しては過剰にフィルタを効かせてエッジや模様
を不必要にぼやかしたり、非常に”ノイジー”なビデオ
画像に対してはフィルタの効果が少なすぎて激しい劣化
が残存するようになる、という傾向がある。これは、ポ
ストフィルタ１２２等のポストフィルタの強度を制御す
るために用いられるポストフィルタパラメータが、エン
コーダによって生成されたビデオ画像のＤＣＴ係数量子
化誤差に基づいて決定されるのではなく、フレームレー
ト及び伝送されるビットストリームの伝送レートとの組
み合わせに基づいて調節されるためである。
【０００９】低ビットレートシステムにおけるビデオ画
像のＤＣＴ符号化方法に係る別の問題は、符号化の際に
発生する劣化が画像の種々の領域に平等に影響を与え
る、ということである。このような復号化ビデオ画像の
観察者は、彼らにとって興味がある領域における劣化を
より気にするという傾向がある。例えば、代表的なビデ
オ会議あるいはテレフォニーアプリケーションにおいて
は、観察者は、着ているものや背景等よりも、映し出さ
れている人物の顔に注意を向けるという傾向がある。さ
らには、符号化された画像における高速な動きが符号化
による劣化をマスクすることは知られているが、人間の
視覚システムは、ある場面における特定の動くオブジェ
クトに”固着”して”追跡”するという能力を有してい
る。図１に示されたポストフィルタ配置は、人間の顔を
含む劣化したビデオ画像に対して適用された場合には、
過剰に平滑化された、人工的な感じのする顔を再生す
る。例えば、元のビデオ画像に存在しているしわ等の顔
の細かい造作が、復号化されたビデオ画像においては消
失されてしまう。このような理由から、低ビットレート
ビデオ会議及びテレフォニーシステムのユーザ間でのコ
ミュニケーションは、顔の造作が数多くの劣化によって
失われていない場合に、観察者にとってより理解しやす
くかつ心理的に喜ばしいものとなるはずである。
像のＤＣＴ符号化方法に係る別の問題は、符号化の際に
発生する劣化が画像の種々の領域に平等に影響を与え
る、ということである。このような復号化ビデオ画像の
観察者は、彼らにとって興味がある領域における劣化を
より気にするという傾向がある。例えば、代表的なビデ
オ会議あるいはテレフォニーアプリケーションにおいて
は、観察者は、着ているものや背景等よりも、映し出さ
れている人物の顔に注意を向けるという傾向がある。さ
らには、符号化された画像における高速な動きが符号化
による劣化をマスクすることは知られているが、人間の
視覚システムは、ある場面における特定の動くオブジェ
クトに”固着”して”追跡”するという能力を有してい
る。図１に示されたポストフィルタ配置は、人間の顔を
含む劣化したビデオ画像に対して適用された場合には、
過剰に平滑化された、人工的な感じのする顔を再生す
る。例えば、元のビデオ画像に存在しているしわ等の顔
の細かい造作が、復号化されたビデオ画像においては消
失されてしまう。このような理由から、低ビットレート
ビデオ会議及びテレフォニーシステムのユーザ間でのコ
ミュニケーションは、顔の造作が数多くの劣化によって
失われていない場合に、観察者にとってより理解しやす
くかつ心理的に喜ばしいものとなるはずである。
【００１０】
【課題を解決するための手段】本発明に従って、ポスト
フィルタの強度を制御するために用いられるポストフィ
ルタパラメータがエンコーダによって符号化の時点で計
算され、ビデオ画像ビットストリーム中のサイド情報と
してデコーダを介してポストフィルタに伝送されるよう
な、復号化されたビデオ画像の適応ポストフィルタリン
グを行なう配置が提供される。このポストフィルタリン
グプロセスにより、画像がデコーダへの伝送に際して圧
縮される際に生成されるＤＣＴ係数量子化誤差の結果と
して導かれ、信号対雑音比（ＳＮＲ）及び符号化された
ビデオ画像の単一あるいは複数個の成分の計算に基づ
く、復号化されたビデオ画像における劣化が除去され
る。顔の位置の情報などの画像の内容に関する他の情報
も、画像内容に従ってポストフィルタ強度を変調する目
的で、ビデオ画像ビットストリーム中でポストフィルタ
宛に送出されるサイド情報に含められ得る。
フィルタの強度を制御するために用いられるポストフィ
ルタパラメータがエンコーダによって符号化の時点で計
算され、ビデオ画像ビットストリーム中のサイド情報と
してデコーダを介してポストフィルタに伝送されるよう
な、復号化されたビデオ画像の適応ポストフィルタリン
グを行なう配置が提供される。このポストフィルタリン
グプロセスにより、画像がデコーダへの伝送に際して圧
縮される際に生成されるＤＣＴ係数量子化誤差の結果と
して導かれ、信号対雑音比（ＳＮＲ）及び符号化された
ビデオ画像の単一あるいは複数個の成分の計算に基づ
く、復号化されたビデオ画像における劣化が除去され
る。顔の位置の情報などの画像の内容に関する他の情報
も、画像内容に従ってポストフィルタ強度を変調する目
的で、ビデオ画像ビットストリーム中でポストフィルタ
宛に送出されるサイド情報に含められ得る。
【００１１】本発明に係る適応ポストフィルタ符号化配
置においては、入力ビデオ画像はエンコーダに供給され
る。エンコーダはビデオ画像を符号化し、符号化された
ビデオ画像成分（これはエンコーダにおいて利用可能で
あり、伝送チャネルにおけるエラーが無い場合にはデコ
ーダによって受信される復号化済み画像と同一である）
と元のビデオ画像成分との間の信号対雑音比（ＳＮＲ）
を計算する。ＳＮＲは、デコーダに対して伝送されるべ
き、符号化された画像のＤＣＴ係数量子化誤差の強度の
指標を与える。ＳＮＲの値が高ければ高いほど、符号化
された画像の質が高いことになる。ＳＮＲの値に基づい
て、エンコーダは、ポストフィルタによって復号化され
たビデオ画像成分のフィルタリングのために用いられる
ポストフィルタパラメータの組を選択する。ビデオ画像
を符号化するために割り当てられている複数個のビット
からフレーム当たり数ビットを用いることにより、エン
コーダは、ビデオ画像ビットストリーム中のサイド情報
として、デコーダを介してポストフィルタ宛にポストフ
ィルタパラメータを送出する。このように、ポストフィ
ルタは時間的に適応させられ、ポストフィルタパラメー
タはフレーム毎に自動的に調節されて、受信されて復号
化されたビデオ画像の過剰なフィルタリングや不充分な
フィルタリングが発生することはない。
置においては、入力ビデオ画像はエンコーダに供給され
る。エンコーダはビデオ画像を符号化し、符号化された
ビデオ画像成分（これはエンコーダにおいて利用可能で
あり、伝送チャネルにおけるエラーが無い場合にはデコ
ーダによって受信される復号化済み画像と同一である）
と元のビデオ画像成分との間の信号対雑音比（ＳＮＲ）
を計算する。ＳＮＲは、デコーダに対して伝送されるべ
き、符号化された画像のＤＣＴ係数量子化誤差の強度の
指標を与える。ＳＮＲの値が高ければ高いほど、符号化
された画像の質が高いことになる。ＳＮＲの値に基づい
て、エンコーダは、ポストフィルタによって復号化され
たビデオ画像成分のフィルタリングのために用いられる
ポストフィルタパラメータの組を選択する。ビデオ画像
を符号化するために割り当てられている複数個のビット
からフレーム当たり数ビットを用いることにより、エン
コーダは、ビデオ画像ビットストリーム中のサイド情報
として、デコーダを介してポストフィルタ宛にポストフ
ィルタパラメータを送出する。このように、ポストフィ
ルタは時間的に適応させられ、ポストフィルタパラメー
タはフレーム毎に自動的に調節されて、受信されて復号
化されたビデオ画像の過剰なフィルタリングや不充分な
フィルタリングが発生することはない。
【００１２】”上半身”画像等の、観察者にとって興味
深い領域を含むビデオ画像に関しては、ポストフィルタ
に対して画像内容に従ってその強度を変調するように指
示する目的で、顔の領域と顔以外の領域とを区別するた
めにビデオ画像ビットストリーム中のサイド情報として
顔の位置のパラメータを伝送することも可能である。こ
こで、変調とは、ポストフィルタ強度パラメータを一定
量だけ減少させることを意味し得る。このように、ポス
トフィルタは画像内容に基づいて適応させられる。
深い領域を含むビデオ画像に関しては、ポストフィルタ
に対して画像内容に従ってその強度を変調するように指
示する目的で、顔の領域と顔以外の領域とを区別するた
めにビデオ画像ビットストリーム中のサイド情報として
顔の位置のパラメータを伝送することも可能である。こ
こで、変調とは、ポストフィルタ強度パラメータを一定
量だけ減少させることを意味し得る。このように、ポス
トフィルタは画像内容に基づいて適応させられる。
【００１３】
【発明の実施の形態】本発明の原理に係るビデオテレフ
ォニー装置のブロック図が図２に示されている。ビデオ
テレフォニー装置は、符号化部２１０と復号化部２３０
とを有している。符号化部２１０は、入力線２２０から
入力ビデオ画像を受信する。入力線２２０はエンコーダ
２１１に接続されており、通信チャネル２１５に供給さ
れる３つの出力線２１２、２１３及び２１４を有してい
る。出力線２１３は符号化されて圧縮されたビデオ画像
を供給し、出力線２１２は最適ポストフィルタ強度パラ
メータを供給し、出力線２１４は顔の位置に係るパラメ
ータを供給する。ポストフィルタパラメータ及び顔の位
置に係るパラメータの双方は、ビデオ画像ビットストリ
ーム中でサイド情報として伝送される。
ォニー装置のブロック図が図２に示されている。ビデオ
テレフォニー装置は、符号化部２１０と復号化部２３０
とを有している。符号化部２１０は、入力線２２０から
入力ビデオ画像を受信する。入力線２２０はエンコーダ
２１１に接続されており、通信チャネル２１５に供給さ
れる３つの出力線２１２、２１３及び２１４を有してい
る。出力線２１３は符号化されて圧縮されたビデオ画像
を供給し、出力線２１２は最適ポストフィルタ強度パラ
メータを供給し、出力線２１４は顔の位置に係るパラメ
ータを供給する。ポストフィルタパラメータ及び顔の位
置に係るパラメータの双方は、ビデオ画像ビットストリ
ーム中でサイド情報として伝送される。
【００１４】通信チャネル２１５は、例えばスイッチを
介して、入力される圧縮済みビデオ画像ビットストリー
ムを受け付けるデコーダ部２３０に接続されている。通
信チャネル２１５はデコーダ２３１に接続されており、
デコーダ２３１は各々ポストフィルタ２３５に接続され
ている３つの出力線２３２、２３３及び２３４を有して
いる。デコーダ２３１は入力ビットストリーム中で受信
したビデオ画像を復号化し、そのビデオ画像を出力線２
３２によってポストフィルタ２３５に供給する。デコー
ダ２３１は、ビデオ画像ビットストリーム中に含まれる
サイド情報として伝送されてきたポストフィルタパラメ
ータを出力線２３３によってポストフィルタ２３５に転
送する。さらに、デコーダ２３１は、顔の位置に係るパ
ラメータを出力線２３４によってポストフィルタ２３５
に転送する。ポストフィルタリングされたビデオ画像
は、デコーダ部２３０からポストフィルタリング済み出
力線２３６によって出力される。
介して、入力される圧縮済みビデオ画像ビットストリー
ムを受け付けるデコーダ部２３０に接続されている。通
信チャネル２１５はデコーダ２３１に接続されており、
デコーダ２３１は各々ポストフィルタ２３５に接続され
ている３つの出力線２３２、２３３及び２３４を有して
いる。デコーダ２３１は入力ビットストリーム中で受信
したビデオ画像を復号化し、そのビデオ画像を出力線２
３２によってポストフィルタ２３５に供給する。デコー
ダ２３１は、ビデオ画像ビットストリーム中に含まれる
サイド情報として伝送されてきたポストフィルタパラメ
ータを出力線２３３によってポストフィルタ２３５に転
送する。さらに、デコーダ２３１は、顔の位置に係るパ
ラメータを出力線２３４によってポストフィルタ２３５
に転送する。ポストフィルタリングされたビデオ画像
は、デコーダ部２３０からポストフィルタリング済み出
力線２３６によって出力される。
【００１５】上記ビデオテレフォニー装置に係る一般的
な記述を踏まえて、図３及び図４を参照して本発明のコ
ンセプトが記述される。図３より明らかなように、エン
コーダ部２１０が、エンコーダ２１１をより良く記述
し、本発明のコンセプトを例示する目的で、描き直され
ている。例えばシャープ社製のビューカム等の従来技術
に係るビデオカメラからのＹＵＶフォーマットの入力カ
ラービデオ信号は、入力線２２０を介してエンコーダ２
１１に供給され、線３０２によって減算器３０４及びス
イッチ３０６へ、線３０３及び３０５によって予測メモ
リ３０８へ、そして線３０３及び３０７によってＳＮＲ
＆表３１０へそれぞれ供給される。カラーのデジタル画
像は、通常、標準的なＹＵＶカラービデオフォーマット
で得られるもので、Ｙが輝度成分、Ｕ及びＶがカラー情
報を担うクロマ成分である。Ｍ×Ｎのサイズの輝度画像
に対しては、クロマ画像は水平及び垂直の双方の方向共
にＭ／２×Ｎ／２のサイズである（すなわち、ファクタ
２だけダウンサンプリングされている）。減算器３０４
は線３１５によってスイッチ３０６に、線３０９及び３
１１によってスイッチ３１２へ、そして線３０９及び３
１３によって予測メモリ３０８へ、それぞれ接続されて
いる。符号化制御３１４は、スイッチ３０６及び量子化
器３１８に接続されている。スイッチ３０６は、変換器
３１６を介して量子化器３１８にも接続されている。量
子化器３１８は、線３２５によって可変長符号化器３２
４へ、線３２８によって逆量子化器３２０へ、それぞれ
接続されている。可変長符号化器３２４は、圧縮された
ビデオビットストリームを伝送する出力線２１３に接続
されている。逆量子化器３２０は、逆変換器３２２及び
加算器３２６を介して予測メモリ３０８に接続されてい
る。予測メモリ３０８は、線３１９によってＳＮＲ＆表
３１０に接続されている。ＳＮＲ＆表３１０は、線２１
２によってポストフィルタパラメータを可変長符号化器
３２４へ伝送する線３２５に接続されており、ポストフ
ィルタパラメータは線２１２の圧縮済みビットストリー
ム中のサイド情報として含められる。顔配置器３２３
は、線３２７によって入力ビデオ画像を受信し、線２１
４によって顔の位置に係るパラメータを可変長符号化器
３２４へ伝送する線３２５へ接続されており、顔の位置
に係るパラメータは線２１２の圧縮済みビットストリー
ム中のサイド情報として含められる。
な記述を踏まえて、図３及び図４を参照して本発明のコ
ンセプトが記述される。図３より明らかなように、エン
コーダ部２１０が、エンコーダ２１１をより良く記述
し、本発明のコンセプトを例示する目的で、描き直され
ている。例えばシャープ社製のビューカム等の従来技術
に係るビデオカメラからのＹＵＶフォーマットの入力カ
ラービデオ信号は、入力線２２０を介してエンコーダ２
１１に供給され、線３０２によって減算器３０４及びス
イッチ３０６へ、線３０３及び３０５によって予測メモ
リ３０８へ、そして線３０３及び３０７によってＳＮＲ
＆表３１０へそれぞれ供給される。カラーのデジタル画
像は、通常、標準的なＹＵＶカラービデオフォーマット
で得られるもので、Ｙが輝度成分、Ｕ及びＶがカラー情
報を担うクロマ成分である。Ｍ×Ｎのサイズの輝度画像
に対しては、クロマ画像は水平及び垂直の双方の方向共
にＭ／２×Ｎ／２のサイズである（すなわち、ファクタ
２だけダウンサンプリングされている）。減算器３０４
は線３１５によってスイッチ３０６に、線３０９及び３
１１によってスイッチ３１２へ、そして線３０９及び３
１３によって予測メモリ３０８へ、それぞれ接続されて
いる。符号化制御３１４は、スイッチ３０６及び量子化
器３１８に接続されている。スイッチ３０６は、変換器
３１６を介して量子化器３１８にも接続されている。量
子化器３１８は、線３２５によって可変長符号化器３２
４へ、線３２８によって逆量子化器３２０へ、それぞれ
接続されている。可変長符号化器３２４は、圧縮された
ビデオビットストリームを伝送する出力線２１３に接続
されている。逆量子化器３２０は、逆変換器３２２及び
加算器３２６を介して予測メモリ３０８に接続されてい
る。予測メモリ３０８は、線３１９によってＳＮＲ＆表
３１０に接続されている。ＳＮＲ＆表３１０は、線２１
２によってポストフィルタパラメータを可変長符号化器
３２４へ伝送する線３２５に接続されており、ポストフ
ィルタパラメータは線２１２の圧縮済みビットストリー
ム中のサイド情報として含められる。顔配置器３２３
は、線３２７によって入力ビデオ画像を受信し、線２１
４によって顔の位置に係るパラメータを可変長符号化器
３２４へ伝送する線３２５へ接続されており、顔の位置
に係るパラメータは線２１２の圧縮済みビットストリー
ム中のサイド情報として含められる。
【００１６】以下、エンコーダ２１１の動作が、ビデオ
画像の符号化の際のその機能を記述することによって説
明される。図３を参照すると、ビデオ画像はソースエン
コーダ２１１に線２２０によって供給され、線３０２に
よってスイッチ３０６の第一入力に供給される。動き補
償がなされた直前の再構成済みフレームは予測メモリ３
０８の出力において利用可能であり、線３１３及び３０
９によって減算器３０４に供給される。動き補償がなさ
れた差分画像が減算器３０４の出力において生成され、
線３１５によってスイッチ３０６の第二入力に供給され
る。
画像の符号化の際のその機能を記述することによって説
明される。図３を参照すると、ビデオ画像はソースエン
コーダ２１１に線２２０によって供給され、線３０２に
よってスイッチ３０６の第一入力に供給される。動き補
償がなされた直前の再構成済みフレームは予測メモリ３
０８の出力において利用可能であり、線３１３及び３０
９によって減算器３０４に供給される。動き補償がなさ
れた差分画像が減算器３０４の出力において生成され、
線３１５によってスイッチ３０６の第二入力に供給され
る。
【００１７】左上から右下へとジグザグに走査された各
々のビデオ画像に関して、符号化制御３１４は、画像ブ
ロックをイントラモードで符号化する−すなわち、その
イメージブロックそれ自体に関してＤＣＴ係数を計算す
る（スイッチ３０６が上側）−のが有利であるか、ある
いはインターモードで符号化する−すなわち、減算器３
０４の出力において利用可能な動き補償済み画像残差に
関してＤＣＴ係数を計算する（スイッチ３０６が下側）
−のが有利であるかを決定し、それに従ってスイッチ３
０６を制御する。スイッチ３１２はスイッチ３０６と同
期しており、同一の制御に従う。スイッチ３０６の出力
におけるデータブロックは変換器３１６によって変換さ
れ、変換されたブロックの係数が一様量子化器３１８に
よって量子化される。量子化器３１８における量子化段
階は、符号化制御３１４によって制御される。
々のビデオ画像に関して、符号化制御３１４は、画像ブ
ロックをイントラモードで符号化する−すなわち、その
イメージブロックそれ自体に関してＤＣＴ係数を計算す
る（スイッチ３０６が上側）−のが有利であるか、ある
いはインターモードで符号化する−すなわち、減算器３
０４の出力において利用可能な動き補償済み画像残差に
関してＤＣＴ係数を計算する（スイッチ３０６が下側）
−のが有利であるかを決定し、それに従ってスイッチ３
０６を制御する。スイッチ３１２はスイッチ３０６と同
期しており、同一の制御に従う。スイッチ３０６の出力
におけるデータブロックは変換器３１６によって変換さ
れ、変換されたブロックの係数が一様量子化器３１８に
よって量子化される。量子化器３１８における量子化段
階は、符号化制御３１４によって制御される。
【００１８】量子化器３１８によって出力された量子化
済みＤＣＴ係数は、線３１３及び３０９上に、次の動き
補償再構成済み直前フレームを再構成するためにも用い
られる。そのフレームは、まず逆量子化器３２０によっ
て逆量子化され、逆変換器３２２によって逆変換され
る。データがイントラモードで符号化された（スイッチ
３１２が上側になっている）場合には、逆変換済みデー
タは再構成済みデータとして直接予測メモリ３０８に書
き込まれる。データがインターモードで符号化された
（スイッチ３１２が下側になっている）場合には、逆変
換済みデータは、まず、線３１３、３１１、３１７によ
って得られる直前の再構成済みフレームの動き補償済み
データと、加算器３２６において加算される。双方の場
合とも、現時点のフレームに関する再構成された（すな
わち符号化された）データは、加算器３２６の出力にお
いて利用可能である。予測メモリ３０８は、現時点での
元の画像に関する動きベクトルを計算し、それらの動き
ベクトルを線３２１及び２１２上のビットストリームに
書き込む。量子化器係数及び動きベクトルに対応するビ
ットストリームは、可変長符号化器３２４によってハフ
マン（Ｈｕｆｆｍａｎ）符号化され、線２１３によって
通信チャネルに伝送される。
済みＤＣＴ係数は、線３１３及び３０９上に、次の動き
補償再構成済み直前フレームを再構成するためにも用い
られる。そのフレームは、まず逆量子化器３２０によっ
て逆量子化され、逆変換器３２２によって逆変換され
る。データがイントラモードで符号化された（スイッチ
３１２が上側になっている）場合には、逆変換済みデー
タは再構成済みデータとして直接予測メモリ３０８に書
き込まれる。データがインターモードで符号化された
（スイッチ３１２が下側になっている）場合には、逆変
換済みデータは、まず、線３１３、３１１、３１７によ
って得られる直前の再構成済みフレームの動き補償済み
データと、加算器３２６において加算される。双方の場
合とも、現時点のフレームに関する再構成された（すな
わち符号化された）データは、加算器３２６の出力にお
いて利用可能である。予測メモリ３０８は、現時点での
元の画像に関する動きベクトルを計算し、それらの動き
ベクトルを線３２１及び２１２上のビットストリームに
書き込む。量子化器係数及び動きベクトルに対応するビ
ットストリームは、可変長符号化器３２４によってハフ
マン（Ｈｕｆｆｍａｎ）符号化され、線２１３によって
通信チャネルに伝送される。
【００１９】１９９５年７月１０日付けの関連特許出願
第０８／５００６７２号（本明細書の参照文献である）
に記載されているような顔配置器３２３は、符号化され
るビデオ画像中に存在する人物の楕円状の頭の輪郭と、
目、鼻及び口を含む矩形の顔の領域を識別する。このよ
うにして識別された矩形の領域の左上と右下の隅が、線
２１４によって線３２５上のビットストリームに書き込
まれる。
第０８／５００６７２号（本明細書の参照文献である）
に記載されているような顔配置器３２３は、符号化され
るビデオ画像中に存在する人物の楕円状の頭の輪郭と、
目、鼻及び口を含む矩形の顔の領域を識別する。このよ
うにして識別された矩形の領域の左上と右下の隅が、線
２１４によって線３２５上のビットストリームに書き込
まれる。
【００２０】線３０３及び３０７上の入力フレームと線
３２９上の再構成されたフレームとの間の各々のビデオ
画像成分に関するＳＮＲが計算され、ＳＮＲ＆表モジュ
ール３１０内のルックアップテーブルからポストフィル
タパラメータが導出される。エンコーダ側でのトレーニ
ングの期間に、特定の空間分解能（ＳＱＣＩＦの場合に
は１２８ピクセル／ライン、ＱＣＩＦの場合には１７６
ピクセル／ライン、そしてＣＩＦの場合には３５２ピク
セル／ライン）を有する入力カラー画像の各々の成分に
対する最適ポストフィルタパラメータよりなるルックア
ップテーブルが、符号化されたフレーム成分の信号対雑
音比（ＳＮＲ）の関数として生成される。このトレーニ
ングは、全てのビデオ画像の伝送の前に複数個の代表的
なビデオシーケンスに関してオフラインで実行される。
適応ポストフィルタリングを実現するために、ポストフ
ィルタ係数は、エンコーダ側においてフレーム毎にＳＮ
Ｒ＆表モジュール３１０内で生成された表を検索するこ
とによって導出され、通信チャネルに沿って伝送される
圧縮済みビットストリーム中のサイド情報として図２に
示されたデコーダ２３１及びポストフィルタ２３５宛に
伝送される。
３２９上の再構成されたフレームとの間の各々のビデオ
画像成分に関するＳＮＲが計算され、ＳＮＲ＆表モジュ
ール３１０内のルックアップテーブルからポストフィル
タパラメータが導出される。エンコーダ側でのトレーニ
ングの期間に、特定の空間分解能（ＳＱＣＩＦの場合に
は１２８ピクセル／ライン、ＱＣＩＦの場合には１７６
ピクセル／ライン、そしてＣＩＦの場合には３５２ピク
セル／ライン）を有する入力カラー画像の各々の成分に
対する最適ポストフィルタパラメータよりなるルックア
ップテーブルが、符号化されたフレーム成分の信号対雑
音比（ＳＮＲ）の関数として生成される。このトレーニ
ングは、全てのビデオ画像の伝送の前に複数個の代表的
なビデオシーケンスに関してオフラインで実行される。
適応ポストフィルタリングを実現するために、ポストフ
ィルタ係数は、エンコーダ側においてフレーム毎にＳＮ
Ｒ＆表モジュール３１０内で生成された表を検索するこ
とによって導出され、通信チャネルに沿って伝送される
圧縮済みビットストリーム中のサイド情報として図２に
示されたデコーダ２３１及びポストフィルタ２３５宛に
伝送される。
【００２１】ポストフィルタパラメータは、例えば、国
際電気通信連合電気通信標準化セクター（ＩＴＵ−Ｔ）
文書”推奨Ｈ．２６３（狭帯域通信チャネル用ビデオ符
号化）”に従った、ビットストリーム中の付加挿入／ス
ペア情報ビット（ＰＥＩ／ＰＳＰＡＲＥ情報）として、
ビットストリームそれ自体に統合され得る。この”推奨
Ｈ．２６３”は、本明細書の参照文献である。このこと
は、エンコーダ２１１が、例えば図１に示されたデコー
ダ１２０のような非適応デコーダと共に機能することを
可能にする。エンコーダ１１０のようなエンコーダがデ
コーダ２３１に信号を伝送する場合には、ポストフィル
タ２３５に対するポストフィルタパラメータは、図１に
示された従来技術に係るデコーダ１２０の場合と同様
に、入力画像解像度、フレームレート及び伝送レートの
相異なった組み合わせに対して相異なったエントリを有
する、デコーダにおいて利用可能な経験的なルックアッ
プテーブルから獲得される。
際電気通信連合電気通信標準化セクター（ＩＴＵ−Ｔ）
文書”推奨Ｈ．２６３（狭帯域通信チャネル用ビデオ符
号化）”に従った、ビットストリーム中の付加挿入／ス
ペア情報ビット（ＰＥＩ／ＰＳＰＡＲＥ情報）として、
ビットストリームそれ自体に統合され得る。この”推奨
Ｈ．２６３”は、本明細書の参照文献である。このこと
は、エンコーダ２１１が、例えば図１に示されたデコー
ダ１２０のような非適応デコーダと共に機能することを
可能にする。エンコーダ１１０のようなエンコーダがデ
コーダ２３１に信号を伝送する場合には、ポストフィル
タ２３５に対するポストフィルタパラメータは、図１に
示された従来技術に係るデコーダ１２０の場合と同様
に、入力画像解像度、フレームレート及び伝送レートの
相異なった組み合わせに対して相異なったエントリを有
する、デコーダにおいて利用可能な経験的なルックアッ
プテーブルから獲得される。
【００２２】ＳＮＲ＆表モジュール３１０のルックアッ
プテーブルを生成するトレーニング期間には、元のフレ
ームと符号化されたフレームとの間のＳＮＲのあらゆる
値に対して、ポストフィルタパラメータεの数値が与え
られる。標準的な空間解像度（例えば、ＳＱＣＩＦ、Ｑ
ＣＩＦ、及びＣＩＦ）の各々に対して、種々の複雑さ及
び意味内容の情景（例えば、一人あるいは複数の人がい
る情景）に関するフレームを含むビデオシーケンスが、
位置（ｉ，ｊ）によって示される画像サンプルからなる
各画像ブロックを有するＭ×Ｎ個の画像ブロックアレイ
に分割される。各々の位置（ｉ，ｊ）における画像サン
プルは、伝送レート及びフレームレートの種々の組み合
わせを利用して、エンコーダ２１１によって符号化され
る。符号化されたフレームの各画像サンプルに対して、
ポストフィルタ２３５が、例えば１と３０との間の全て
の整数値等のある範囲内のポストフィルタパラメータの
値と共に適用され、その結果得られたポストフィルタリ
ング済み画像と元の画像との間のＳＮＲが計算されて記
録される。ポストフィルタリングされたビデオ画像成分
のＳＮＲは、以下の式に従って測定される：
プテーブルを生成するトレーニング期間には、元のフレ
ームと符号化されたフレームとの間のＳＮＲのあらゆる
値に対して、ポストフィルタパラメータεの数値が与え
られる。標準的な空間解像度（例えば、ＳＱＣＩＦ、Ｑ
ＣＩＦ、及びＣＩＦ）の各々に対して、種々の複雑さ及
び意味内容の情景（例えば、一人あるいは複数の人がい
る情景）に関するフレームを含むビデオシーケンスが、
位置（ｉ，ｊ）によって示される画像サンプルからなる
各画像ブロックを有するＭ×Ｎ個の画像ブロックアレイ
に分割される。各々の位置（ｉ，ｊ）における画像サン
プルは、伝送レート及びフレームレートの種々の組み合
わせを利用して、エンコーダ２１１によって符号化され
る。符号化されたフレームの各画像サンプルに対して、
ポストフィルタ２３５が、例えば１と３０との間の全て
の整数値等のある範囲内のポストフィルタパラメータの
値と共に適用され、その結果得られたポストフィルタリ
ング済み画像と元の画像との間のＳＮＲが計算されて記
録される。ポストフィルタリングされたビデオ画像成分
のＳＮＲは、以下の式に従って測定される：
【数１】 ここで、ＭＳＥは平均二乗誤差を表わしており、以下の
式から計算される：
式から計算される：
【数２】 ここで、ｘi,jは元の画像の位置（ｉ，ｊ）における画
像サンプルに対するピクセル値を表わしており、ｙi,j
はポストフィルタリングされた画像の位置（ｉ，ｊ）に
おける画像サンプルに対するピクセル値を表わしてい
る。この計算により、図５に示されたような曲線が得ら
れ、パラメータεの最適値εoptに対して単一の最大値
が得られる。εのこの値は、符号化済み（かつポストフ
ィルタリングされていない）画像サンプルと元の画像サ
ンプルとの間のＳＮＲの値と共に、符号化されたシーケ
ンス全体に亘って平均化され、図６に示されたグラフの
各々のデータポイントを与える。データポイントは、例
えば相異なったビデオシーケンス、ビットレート及びフ
レームレート全てに対応して生成され得るものであり、
非常に低い品質の符号化から非常に高い品質の符号化に
亘る広い範囲をカバーしている。図６に示された曲線
は、最終的には、例えば部分毎に最小二乗法によるフィ
ッティングで得られる。
像サンプルに対するピクセル値を表わしており、ｙi,j
はポストフィルタリングされた画像の位置（ｉ，ｊ）に
おける画像サンプルに対するピクセル値を表わしてい
る。この計算により、図５に示されたような曲線が得ら
れ、パラメータεの最適値εoptに対して単一の最大値
が得られる。εのこの値は、符号化済み（かつポストフ
ィルタリングされていない）画像サンプルと元の画像サ
ンプルとの間のＳＮＲの値と共に、符号化されたシーケ
ンス全体に亘って平均化され、図６に示されたグラフの
各々のデータポイントを与える。データポイントは、例
えば相異なったビデオシーケンス、ビットレート及びフ
レームレート全てに対応して生成され得るものであり、
非常に低い品質の符号化から非常に高い品質の符号化に
亘る広い範囲をカバーしている。図６に示された曲線
は、最終的には、例えば部分毎に最小二乗法によるフィ
ッティングで得られる。
【００２３】図４より明らかなように、デコーダ部２３
０のブロック図の一部は、デコーダ２３１をより詳細に
記述して本発明に係る概念を例示する目的で再描画され
たものである。通信チャネル２１５は、デコーダ２３１
への符号化済みビデオ画像及びポストフィルタパラメー
タを含む圧縮済みビットストリームを入力するように接
続さている。デコーダ２３１の入力において、通信チャ
ネル２１５は可変長復号化器４０２に接続されている。
可変長復号化器４０２は、ポストフィルタパラメータを
転送する目的で線４０１によってポストフィルタ２３５
へ、及び顔の位置に係るパラメータを転送する目的で線
４１０によってポストフィルタ２３５へ、それぞれ接続
されている。可変長復号化器４０２は、イントラ／イン
ター制御情報を供給する目的で線４１４によってスイッ
チ４１０へ接続されている。可変長復号化器４０２は、
さらに、線４１３によって逆量子化器４０３へ接続され
ており、逆量子化器４０３は逆変換器４０４に接続され
ている。逆変換器４０４は、加算器４０５と線４０８と
を介してフレームメモリ４０６に接続されている。フレ
ームメモリ４０６は、復号化されたビデオ画像をポスト
フィルタリング目的で供給するために、ポストフィルタ
２３５に接続されている。線４０８は、線４０７を介し
て、予測メモリ４０９、スイッチ４１０及び加算器４０
５に接続されている。
０のブロック図の一部は、デコーダ２３１をより詳細に
記述して本発明に係る概念を例示する目的で再描画され
たものである。通信チャネル２１５は、デコーダ２３１
への符号化済みビデオ画像及びポストフィルタパラメー
タを含む圧縮済みビットストリームを入力するように接
続さている。デコーダ２３１の入力において、通信チャ
ネル２１５は可変長復号化器４０２に接続されている。
可変長復号化器４０２は、ポストフィルタパラメータを
転送する目的で線４０１によってポストフィルタ２３５
へ、及び顔の位置に係るパラメータを転送する目的で線
４１０によってポストフィルタ２３５へ、それぞれ接続
されている。可変長復号化器４０２は、イントラ／イン
ター制御情報を供給する目的で線４１４によってスイッ
チ４１０へ接続されている。可変長復号化器４０２は、
さらに、線４１３によって逆量子化器４０３へ接続され
ており、逆量子化器４０３は逆変換器４０４に接続され
ている。逆変換器４０４は、加算器４０５と線４０８と
を介してフレームメモリ４０６に接続されている。フレ
ームメモリ４０６は、復号化されたビデオ画像をポスト
フィルタリング目的で供給するために、ポストフィルタ
２３５に接続されている。線４０８は、線４０７を介し
て、予測メモリ４０９、スイッチ４１０及び加算器４０
５に接続されている。
【００２４】デコーダは、エンコーダ２１１の予測ルー
プと非常に類似した方式で機能する。可変長デコーダ４
０２は、４つの相異なったタイプの情報を復号化する：
ｉ）線４１４を介してスイッチ４１０を制御するイン
トラ／インター符号化タイプのビット、ｉｉ）逆量子化
器４０３及び逆変換器４０４に相次いで供給され屡、線
４１３上に現れる量子化済み変換係数、ｉｉｉ）線４０
１を介してポストフィルタに供給されるポストフィルタ
パラメータ、及びｉｖ）線４１０を介してポストフィル
タ２３５に供給される顔の位置に係るパラメータ。イン
トラモード（スイッチ４１０が左）の場合には、逆変換
されたデータは、再構成された（すなわち復号化され
た）データとして予測メモリ４０６に直接書き込まれ
る。インターモード（スイッチ４１０が右）の場合に
は、逆変換されたデータは、加算器４０５によって、線
４１２上に現れる直前の再構成されたフレームからの動
き補償済みデータとまず加算される。フレームメモリ４
０６における再構成された（すなわち復号化された）フ
レームはポストフィルタ２３５に入力される。適応ポス
トフィルタリング済み画像はポストフィルタ２３５の出
力において生成されるが、この適応は、符号化品質に従
ってフレーム毎に再導出された最適フィルタ強度を有す
る時間的に変化するものであり、かつ、顔の領域でのパ
ラメータεoptの変調を有する画像内容に依存したもの
でもある。
プと非常に類似した方式で機能する。可変長デコーダ４
０２は、４つの相異なったタイプの情報を復号化する：
ｉ）線４１４を介してスイッチ４１０を制御するイン
トラ／インター符号化タイプのビット、ｉｉ）逆量子化
器４０３及び逆変換器４０４に相次いで供給され屡、線
４１３上に現れる量子化済み変換係数、ｉｉｉ）線４０
１を介してポストフィルタに供給されるポストフィルタ
パラメータ、及びｉｖ）線４１０を介してポストフィル
タ２３５に供給される顔の位置に係るパラメータ。イン
トラモード（スイッチ４１０が左）の場合には、逆変換
されたデータは、再構成された（すなわち復号化され
た）データとして予測メモリ４０６に直接書き込まれ
る。インターモード（スイッチ４１０が右）の場合に
は、逆変換されたデータは、加算器４０５によって、線
４１２上に現れる直前の再構成されたフレームからの動
き補償済みデータとまず加算される。フレームメモリ４
０６における再構成された（すなわち復号化された）フ
レームはポストフィルタ２３５に入力される。適応ポス
トフィルタリング済み画像はポストフィルタ２３５の出
力において生成されるが、この適応は、符号化品質に従
ってフレーム毎に再導出された最適フィルタ強度を有す
る時間的に変化するものであり、かつ、顔の領域でのパ
ラメータεoptの変調を有する画像内容に依存したもの
でもある。
【００２５】以上の説明は、本発明の一実施例に関する
もので，この技術分野の当業者であれば、本発明の種々
の変形例が考え得るが、それらはいずれも本発明の技術
的範囲に包含される。
もので，この技術分野の当業者であれば、本発明の種々
の変形例が考え得るが、それらはいずれも本発明の技術
的範囲に包含される。
【００２６】
【発明の効果】以上述べたごとく、本発明によれば、時
間的かつ画像内容に基づいてその強度が適応させられ得
る、画像情報符号化／伝送／復号化システムにおいて用
いられるポストフィルタ配置が提供される。
間的かつ画像内容に基づいてその強度が適応させられ得
る、画像情報符号化／伝送／復号化システムにおいて用
いられるポストフィルタ配置が提供される。
【図１】 ビデオ情報が符号化されて復号化される、従
来技術に係るシステムを示す模式図。
来技術に係るシステムを示す模式図。
【図２】 ビデオ画像が適応ポストフィルタリングされ
る、本発明に従った配置を示す模式図。
る、本発明に従った配置を示す模式図。
【図３】 本発明に従った配置のエンコーダ部を模式的
に示す図。
に示す図。
【図４】 本発明に従った配置のデコーダ部を模式的に
示す図。
示す図。
【図５】 ポストフィルタパラメータεに関して、元の
ビデオ画像とポストフィルタリングされたビデオ画像と
の間のＳＮＲが変化する様子を示すグラフ。
ビデオ画像とポストフィルタリングされたビデオ画像と
の間のＳＮＲが変化する様子を示すグラフ。
【図６】 最適ポストフィルタパラメータεoptと符号
化されたビデオ画像のＳＮＲとの間の関係を示すグラ
フ。
化されたビデオ画像のＳＮＲとの間の関係を示すグラ
フ。
１０１ 入力信号 １０２ 通信チャネル １１０ エンコーダ １１１ エンコーダユニット １２０ デコーダ １２１ デコーダユニット １２２ ポストフィルタ ２１０ エンコーダ部 ２１１ エンコーダ ２１５ 通信チャネル ２２０ 画像入力 ２３０ デコーダ部 ２３１ デコーダ ２３５ ポストフィルタ ２３６ ポストフィルタリング済み出力線 ３０１ 入力線 ３０４ 加算器 ３０６ スイッチ ３０８ 予測メモリ ３１０ ＳＮＲ＆表モジュール ３１２ スイッチ ３１４ 符号化制御 ３１６ 変換器 ３１８ 量子化器 ３２０ 逆量子化器 ３２２ 逆変換器 ３２３ 顔配置器 ３２４ 可変長符号化器 ４０２ 可変長復号化器 ４０３ 逆量子化器 ４０４ 逆変換器 ４０５ 加算器 ４０６ フレームメモリ ４０９ 予測メモリ ４１０ スイッチ
───────────────────────────────────────────────────── フロントページの続き (73)特許権者 596077259 600 Ｍｏｕｎｔａｉｎ Ａｖｅｎｕｅ, Ｍｕｒｒａｙ Ｈｉｌｌ， Ｎｅｗ Ｊ ｅｒｓｅｙ 07974−0636Ｕ．Ｓ．Ａ. (72)発明者 アーナウド エリック ジャッキン アメリカ合衆国、10014 ニューヨーク、 ニューヨーク、バンク ストリート 33、アパートメント 21 (72)発明者 岡田 浩行 アメリカ合衆国、07732 ニュージャー ジー、ハイランズ、ロジャーズ ストリ ート ５、ユニット ３ (56)参考文献 特開 平８−23540（ＪＰ，Ａ) 特開 平４−10884（ＪＰ，Ａ) 特開 平７−236140（ＪＰ，Ａ) 特開 平７−170512（ＪＰ，Ａ) 特開 平５−95541（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/24 - 7/68
Claims (16)
- 【請求項１】 低ビットレートビジュアルテレフォニー
画像をポストフィルタリングする方法において、 （Ａ）ビデオ画像を符号化器に入力する段階と、 （Ｂ）前記符号化器において前記ビデオ画像を符号化
し、ポストフィルタパラメータを決定する段階と、 （Ｃ）前記符号化されたビデオ画像と前記ポストフィル
タパラメータを復号化器に伝送する段階と、 （Ｄ）前記復号化器において前記伝送されたビデオ画像
を復号化し、前記ポストフィルタパラメータを用いて前
記復号化されたビデオ画像のポストフィルタリングを行
なう段階と、（Ｅ）ポストフィルタされたビデオ画像を表示する段階
と を有し、 前記（Ｂ）の段階において前記ポストフィルタパラメー
タが、符号化されたビデオ画像と入力されたビデオ画像
の間で信号対雑音比（ＳＮＲ）の計算に基づいて決定さ
れる ことを特徴とするポストフィルタリング方法。 - 【請求項２】 前記ポストフィルタパラメータが、Ｙ
（輝度）カラー画像成分に関する一つのスカラーパラメ
ータからなることを特徴とする請求項第１項に記載のポ
ストフィルタリング方法。 - 【請求項３】 前記ポストフィルタパラメータが、ＹＵ
Ｖフォーマットのカラー画像の各々の成分に関する複数
個のスカラーパラメータからなることを特徴とする請求
項第１項に記載のポストフィルタリング方法。 - 【請求項４】 前記ポストフィルタパラメータが、前記
復号化器に対して前記符号化済みビデオ画像ビットスト
リーム中に含まれる複数個のビットとして伝送されるこ
とを特徴とする請求項第１項に記載のポストフィルタリ
ング方法。 - 【請求項５】 前記複数個のビットが、前記伝送される
ビットストリームのＰＥＩ（付加挿入情報）及びＰＳＰ
ＡＲＥ（スペア情報）ビットに位置することを特徴とす
る請求項第４項に記載のポストフィルタリング方法。 - 【請求項６】 （Ｅ）前記復号化器宛に顔の位置に係る
パラメータを伝送する段階を更に有することを特徴とす
る請求項第１項に記載のポストフィルタリング方法。 - 【請求項７】 前記顔の位置に係るパラメータが、前記
復号化器宛に前記符号化されたビデオビットストリーム
中に含まれる複数個のビットとして伝送されることを特
徴とする請求項第６項に記載のポストフィルタリング方
法。 - 【請求項８】 前記複数個のビットが、ＰＥＩ（付加挿
入情報）及びＰＳＰＡＲＥ（スペア情報）ビットである
ことを特徴とする請求項第７項に記載のポストフィルタ
リング方法。 - 【請求項９】 低ビットレートビジュアルテレフォニー
カラー画像のポストフィルタリングを行なう装置におい
て、入力された ビデオ画像を符号化し、かつ、ポストフィル
タパラメータを決定する符号化器と、 通信チャネルを介して伝送された前記符号化されたビデ
オ画像及び前記ポストフィルタパラメータを受信し、か
つ、前記符号化されたビデオ画像を復号化する復号化器
と、を有し、 前記符号化器は、前記ポストフィルタパラメータが、符
号化されたビデオ画像と入力されたビデオ画像の間で信
号対雑音比（ＳＮＲ）の計算に基づいて決定され、 前記復号化器は、前記ポストフィルタパラメータを用い
て前記復号化されたビデオ画像のポストフィルタリング
を行なうポストフィルタを有する、 ことを特徴とするポストフィルタリング装置。 - 【請求項１０】 前記ポストフィルタパラメータが、Ｙ
（輝度）カラー画像成分に関する一つのスカラーパラメ
ータからなることを特徴とする請求項第９項に記載のポ
ストフィルタリング装置。 - 【請求項１１】 前記ポストフィルタパラメータが、Ｙ
ＵＶフォーマッカラー画像の各々の成分に関する複数個
のスカラーパラメータからなることを特徴とする請求項
第９項に記載のポストフィルタリング装置。 - 【請求項１２】 前記ポストフィルタパラメータが、前
記復号化器に対して前記符号化済みビデオ画像ビットス
トリーム中に含まれる複数個のビットとして伝送される
ことを特徴とする請求項第９項に記載のポストフィルタ
リング装置。 - 【請求項１３】 前記複数個のビットが、前記伝送され
るビットストリームのＰＥＩ（付加挿入情報）及びＰＳ
ＰＡＲＥ（スペア情報）ビットに位置することを特徴と
する請求項第１２項に記載のポストフィルタリング装
置。 - 【請求項１４】 前記復号化器が、さらに、前記通信チ
ャネルを介して顔の位置に係るパラメータを受信するこ
とを特徴とする請求項第９項に記載のポストフィルタリ
ング装置。 - 【請求項１５】 前記顔の位置に係るパラメータが、前
記復号化器宛に前記符号化されたビデオビットストリー
ム中に含まれる複数個のビットとして伝送されることを
特徴とする請求項第１４項に記載のポストフィルタリン
グ装置。 - 【請求項１６】 前記複数個のビットが、ＰＥＩ（付加
挿入情報）及びＰＳＰＡＲＥ（スペア情報）ビットであ
ることを特徴とする請求項第１５項に記載のポストフィ
ルタリング装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US590722 | 1996-01-24 | ||
| US08/590,722 US6324301B1 (en) | 1996-01-24 | 1996-01-24 | Adaptive postfilter for low bitrate visual telephony noise removal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09215009A JPH09215009A (ja) | 1997-08-15 |
| JP3316157B2 true JP3316157B2 (ja) | 2002-08-19 |
Family
ID=24363428
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP00912597A Expired - Lifetime JP3316157B2 (ja) | 1996-01-24 | 1997-01-22 | ポストフィルタリング方法並びにその装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6324301B1 (ja) |
| EP (1) | EP0786904B1 (ja) |
| JP (1) | JP3316157B2 (ja) |
| DE (1) | DE69711736T2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0956703B1 (de) * | 1997-01-31 | 2001-09-19 | Siemens Aktiengesellschaft | Verfahren und anordnung zur codierung und decodierung eines digitalisierten bildes |
| FR2795589B1 (fr) * | 1999-06-11 | 2001-10-05 | Centre Nat Rech Scient | Decodeur video optimal base sur les standards de type mpeg |
| KR100335055B1 (ko) * | 1999-12-08 | 2002-05-02 | 구자홍 | 압축 영상신호의 블럭현상 및 링현상 제거방법 |
| US8625680B2 (en) * | 2003-09-07 | 2014-01-07 | Microsoft Corporation | Bitstream-controlled post-processing filtering |
| US20070140343A1 (en) * | 2004-07-06 | 2007-06-21 | Satoshi Kondo | Image encoding method, and image decoding method |
| US8243820B2 (en) * | 2004-10-06 | 2012-08-14 | Microsoft Corporation | Decoding variable coded resolution video with native range/resolution post-processing operation |
| US9071847B2 (en) * | 2004-10-06 | 2015-06-30 | Microsoft Technology Licensing, Llc | Variable coding resolution in video codec |
| US7956930B2 (en) | 2006-01-06 | 2011-06-07 | Microsoft Corporation | Resampling and picture resizing operations for multi-resolution video coding and decoding |
| EP1944974A1 (en) * | 2007-01-09 | 2008-07-16 | Matsushita Electric Industrial Co., Ltd. | Position dependent post-filter hints |
| JP2007174690A (ja) * | 2007-01-26 | 2007-07-05 | Monolith Co Ltd | 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置 |
| US8107571B2 (en) * | 2007-03-20 | 2012-01-31 | Microsoft Corporation | Parameterized filters and signaling techniques |
| EP2003896A1 (en) * | 2007-06-12 | 2008-12-17 | Panasonic Corporation | Statistical image enhancement |
| US8238675B2 (en) * | 2008-03-24 | 2012-08-07 | Microsoft Corporation | Spectral information recovery for compressed image restoration with nonlinear partial differential equation regularization |
| US9729899B2 (en) | 2009-04-20 | 2017-08-08 | Dolby Laboratories Licensing Corporation | Directed interpolation and data post-processing |
| US8654859B1 (en) | 2009-12-17 | 2014-02-18 | Ambarella, Inc. | Low cost rate-distortion computations for video compression |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4941043A (en) | 1988-06-14 | 1990-07-10 | Siemens Aktiengesellschaft | Method for reducing blocking artifacts in video scene coding with discrete cosine transformation (DCT) at a low data rate |
| FR2661063B1 (fr) | 1990-04-13 | 1992-06-19 | Thomson Csf | Procede et dispositif de post-filtrage pour codage d'images par transformation cosinus discrete. |
| US5313298A (en) * | 1992-03-05 | 1994-05-17 | Rubin, Bednarek And Associates, Inc. | Video companding method and system |
| US5649031A (en) * | 1992-03-31 | 1997-07-15 | Hitachi, Ltd. | Image information processor for producing high-quality output image |
| FR2690299B1 (fr) | 1992-04-17 | 1994-06-17 | Telecommunications Sa | Procede et dispositif de filtrage spatial d'images numeriques decodees par transformation par bloc. |
| KR0148130B1 (ko) | 1992-05-18 | 1998-09-15 | 강진구 | 블럭킹아티팩트를 억제시키는 부호화/복호화 방법 및 그 장치 |
| US5596659A (en) * | 1992-09-01 | 1997-01-21 | Apple Computer, Inc. | Preprocessing and postprocessing for vector quantization |
| US5748243A (en) | 1993-11-08 | 1998-05-05 | Sony Corporation | Method for encoding and decoding motion picture as a function of its non-linear characteristic |
| US5512956A (en) * | 1994-02-04 | 1996-04-30 | At&T Corp. | Adaptive spatial-temporal postprocessing for low bit-rate coded image sequences |
| JP2673778B2 (ja) | 1994-02-22 | 1997-11-05 | 国際電信電話株式会社 | 動画像の復号化における雑音低減装置 |
| WO1995027335A1 (fr) * | 1994-04-01 | 1995-10-12 | Sony Corporation | Methode et dispositif de codage et de decodage d'informations, methode de transmission d'informations et support d'enregistrement de l'information |
-
1996
- 1996-01-24 US US08/590,722 patent/US6324301B1/en not_active Expired - Lifetime
-
1997
- 1997-01-14 DE DE69711736T patent/DE69711736T2/de not_active Expired - Lifetime
- 1997-01-14 EP EP97300186A patent/EP0786904B1/en not_active Expired - Lifetime
- 1997-01-22 JP JP00912597A patent/JP3316157B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE69711736D1 (de) | 2002-05-16 |
| JPH09215009A (ja) | 1997-08-15 |
| EP0786904B1 (en) | 2002-04-10 |
| EP0786904A2 (en) | 1997-07-30 |
| US6324301B1 (en) | 2001-11-27 |
| EP0786904A3 (en) | 2000-05-17 |
| DE69711736T2 (de) | 2002-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6445739B1 (en) | Quantization matrix for still and moving picture coding | |
| US4723161A (en) | Method and arrangement of coding digital image signals utilizing interframe correlation | |
| US7162096B1 (en) | System and method for dynamic perceptual coding of macroblocks in a video frame | |
| JP3688288B2 (ja) | 符号化装置及び復号装置 | |
| JP3258840B2 (ja) | 動画像符号化装置および領域抽出装置 | |
| JP3316157B2 (ja) | ポストフィルタリング方法並びにその装置 | |
| JP3678481B2 (ja) | 映像データ後処理方法 | |
| CA2250284C (en) | A perceptual compression and robust bit-rate control system | |
| US6865229B1 (en) | Method and apparatus for reducing the “blocky picture” effect in MPEG decoded images | |
| EP0680217B1 (en) | Video signal decoding apparatus capable of reducing blocking effects | |
| JP2001522174A (ja) | デジタル画像の処理方法および処理装置 | |
| US7280689B2 (en) | Anti-compression techniques for visual images | |
| US5946421A (en) | Method and apparatus for compensating quantization errors of a decoded video image by using an adaptive filter | |
| US6864909B1 (en) | System and method for static perceptual coding of macroblocks in a video frame | |
| Ngan et al. | Very low bit rate video coding using H. 263 coder | |
| JPH01228384A (ja) | 領域分割を用いた動画像符号化方式 | |
| JPH0998421A (ja) | 画像符号化／復号化装置 | |
| JP2504266B2 (ja) | 動画像信号の適応的符号化制御方式 | |
| Sankur et al. | Two-layer coding for videotelephone | |
| GB2316828A (en) | Compensating quantization errors of a decoded video signal by using an adaptive filter | |
| KR100619685B1 (ko) | 웨이브릿 부호화를 이용한 화상통신기기의 전송속도조절방법과 장치 | |
| Calvagno et al. | A performance model for the MPEG coder | |
| Kweh | Improved quality block-based low bit rate video coding | |
| Chu et al. | Reduction of blocking artifacts using motion-compensated spatial-temporal filtering | |
| Zheng et al. | A novel video coding scheme with frequency-domain-based conditional frame replenishment algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080607 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090607 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100607 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110607 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110607 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120607 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120607 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130607 Year of fee payment: 11 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |