JP2000295628A - 画像デジタル化のシーケンスにおけるモーションを表わす方法、画像に関するデータを処理する方法、画像を処理する方法、エンコーダ、デコーダ、モーションを表わす装置および符複号器 - Google Patents
画像デジタル化のシーケンスにおけるモーションを表わす方法、画像に関するデータを処理する方法、画像を処理する方法、エンコーダ、デコーダ、モーションを表わす装置および符複号器Info
- Publication number
- JP2000295628A JP2000295628A JP2000070459A JP2000070459A JP2000295628A JP 2000295628 A JP2000295628 A JP 2000295628A JP 2000070459 A JP2000070459 A JP 2000070459A JP 2000070459 A JP2000070459 A JP 2000070459A JP 2000295628 A JP2000295628 A JP 2000295628A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- image
- motion vector
- field
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 324
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000012545 processing Methods 0.000 title claims description 22
- 239000013598 vector Substances 0.000 claims abstract description 204
- 238000013139 quantization Methods 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 13
- 238000012935 Averaging Methods 0.000 claims description 14
- 238000009499 grossing Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- VOOFUNKBLIGEBY-AQRCPPRCSA-N (2s)-2-[[(2s)-2-[[(2s)-2-[[(2s)-5-amino-2-[[(2s)-5-amino-2-[[(2s)-2-amino-4-methylpentanoyl]amino]-5-oxopentanoyl]amino]-5-oxopentanoyl]amino]-4-methylpentanoyl]amino]-4-methylpentanoyl]amino]-3-phenylpropanoic acid Chemical compound CC(C)C[C@H](N)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CC(C)C)C(=O)N[C@H](C(O)=O)CC1=CC=CC=C1 VOOFUNKBLIGEBY-AQRCPPRCSA-N 0.000 description 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/008—Vector quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/94—Vector quantisation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
(57)【要約】
【課題】 符号化のためのモーションフィールドを効率
よく表現することができるモーションを表わす方法を得
る。 【解決手段】 この発明に係る画像デジタル化のシーケ
ンスにおけるモーションを表わす方法は、画像に対する
密なモーションベクトルフィールドの導き出し工程と、
モーションベクトルフィールドでのベクトル量子化工程
とを備える。
よく表現することができるモーションを表わす方法を得
る。 【解決手段】 この発明に係る画像デジタル化のシーケ
ンスにおけるモーションを表わす方法は、画像に対する
密なモーションベクトルフィールドの導き出し工程と、
モーションベクトルフィールドでのベクトル量子化工程
とを備える。
Description
【０００１】
【発明の属する技術分野】本発明はデジタル化画像のシ
ーケンスのためのモーションベクトルフィールドを符号
化する方法および装置に関する。
ーケンスのためのモーションベクトルフィールドを符号
化する方法および装置に関する。
【０００２】
【従来の技術】デジタル化動画を圧縮するために動き補
償の原理を使用するのは周知である。ＭＰＥＧ-１、Ｍ
ＰＥＧ-２、Ｈ２６３などの既知の方法の多くにおい
て、動き補償はピクセルの正方形または長方形のブロッ
クを使って行われ、そしてモーションベクトルが各ブロ
ックに割り当てられる。例えば、ピクセルのブロック、
通常には基準画像の制限された領域内で、１６×１６ブ
ロックを先行する基準画像におけるブロックと比較する
のは既知である。検討中の現行ブロックに非常に類似す
る基準画像におけるブロックは、最小平均二乗誤差のよ
うなアルゴリズムを用いて得られ、そして対応するモー
ションベクトルは現行ブロックに関連する。このよう
に、図７に示すような現行の画像における１６×１６ブ
ロックは、個々のモーションベクトルに関連する。モー
ションベクトルは、フルペルまたはサブペル (通常、ハ
ーフペルまたはクォータペル) の精度で続けて量子化さ
れて、通常その結果は差別的に符号化される。
償の原理を使用するのは周知である。ＭＰＥＧ-１、Ｍ
ＰＥＧ-２、Ｈ２６３などの既知の方法の多くにおい
て、動き補償はピクセルの正方形または長方形のブロッ
クを使って行われ、そしてモーションベクトルが各ブロ
ックに割り当てられる。例えば、ピクセルのブロック、
通常には基準画像の制限された領域内で、１６×１６ブ
ロックを先行する基準画像におけるブロックと比較する
のは既知である。検討中の現行ブロックに非常に類似す
る基準画像におけるブロックは、最小平均二乗誤差のよ
うなアルゴリズムを用いて得られ、そして対応するモー
ションベクトルは現行ブロックに関連する。このよう
に、図７に示すような現行の画像における１６×１６ブ
ロックは、個々のモーションベクトルに関連する。モー
ションベクトルは、フルペルまたはサブペル (通常、ハ
ーフペルまたはクォータペル) の精度で続けて量子化さ
れて、通常その結果は差別的に符号化される。
【０００３】
【発明が解決しようとする課題】上記した既知の方法で
単一モーションベクトルを画像内のピクセルのブロック
に割り当てると、変換モーションを表わすのに有用であ
る。しかし、予測アルゴリズムの性能を著しく制限し得
る上述のタイプのブロックに基づく動き補償の方法に
は、多くの欠点がある。例えば、その方法は、簡単な変
換運動より複雑な回転、スケールの変化のようなモーシ
ョンを含む領域に対して十分に機能しない。また、ブロ
ックに基づく予測は、例えば雲や人によって表わされる
ような柔らかいモーションに対して不満足である。さら
に、ブロックに基づく方法はブロックに沿ってモーショ
ン境界を課し、ブロック内のモーション境界を正確に表
わすことができない可能性がある。さらに加えて、再構
築された画像は、特にモーション境界がブロックを横切
っている状態では、“濃淡のむらがある”アーティファ
クトを現す可能性がある。
単一モーションベクトルを画像内のピクセルのブロック
に割り当てると、変換モーションを表わすのに有用であ
る。しかし、予測アルゴリズムの性能を著しく制限し得
る上述のタイプのブロックに基づく動き補償の方法に
は、多くの欠点がある。例えば、その方法は、簡単な変
換運動より複雑な回転、スケールの変化のようなモーシ
ョンを含む領域に対して十分に機能しない。また、ブロ
ックに基づく予測は、例えば雲や人によって表わされる
ような柔らかいモーションに対して不満足である。さら
に、ブロックに基づく方法はブロックに沿ってモーショ
ン境界を課し、ブロック内のモーション境界を正確に表
わすことができない可能性がある。さらに加えて、再構
築された画像は、特にモーション境界がブロックを横切
っている状態では、“濃淡のむらがある”アーティファ
クトを現す可能性がある。
【０００４】そのような問題を軽減するために、いくつ
かの方法では、パラメータモーションモデルを備えた可
変ブロックサイズ動き補償を採用している(変換モデル
に加えて準アフィンモーションモデルおよびアフィンモ
ーションモデルを含む)。これらの方法では、動き補償
に使われるブロックのサイズおよびモーションモデルは
どれほど多くの動く対象が１つの領域内に存在している
かに依存しており、そしてモーションフィールドの複雑
さに依存している。そのような方法によって、サイズが
固定されたブロックを使う方法にいくつかの改善が行わ
れるが、その改善には限界がある。
かの方法では、パラメータモーションモデルを備えた可
変ブロックサイズ動き補償を採用している(変換モデル
に加えて準アフィンモーションモデルおよびアフィンモ
ーションモデルを含む)。これらの方法では、動き補償
に使われるブロックのサイズおよびモーションモデルは
どれほど多くの動く対象が１つの領域内に存在している
かに依存しており、そしてモーションフィールドの複雑
さに依存している。そのような方法によって、サイズが
固定されたブロックを使う方法にいくつかの改善が行わ
れるが、その改善には限界がある。
【０００５】本発明は、上記のような課題を解決するた
めになされたもので、画像に対して高密度モーションベ
クトルフィールドを導き出し、モーションベクトルフィ
ールドでベクトル量子化を実行することによって、画像
デジタル化のシーケンスにおけるモーションを表わす方
法および装置を提供する。
めになされたもので、画像に対して高密度モーションベ
クトルフィールドを導き出し、モーションベクトルフィ
ールドでベクトル量子化を実行することによって、画像
デジタル化のシーケンスにおけるモーションを表わす方
法および装置を提供する。
【０００６】
【課題を解決するための手段】この発明に係る画像デジ
タル化のシーケンスにおけるモーションを表わす方法
は、画像に対する密なモーションベクトルフィールドの
導き出し工程と、モーションベクトルフィールドでのベ
クトル量子化工程とを備える。
タル化のシーケンスにおけるモーションを表わす方法
は、画像に対する密なモーションベクトルフィールドの
導き出し工程と、モーションベクトルフィールドでのベ
クトル量子化工程とを備える。
【０００７】また、モーションベクトルフィールドのモ
ーションベクトルが８×８ピクセルブロックより小さい
サイズのピクセルブロックに対して導き出される。
ーションベクトルが８×８ピクセルブロックより小さい
サイズのピクセルブロックに対して導き出される。
【０００８】また、モーションベクトルフィールドのモ
ーションベクトルが各ピクセルに対して導き出される。
ーションベクトルが各ピクセルに対して導き出される。
【０００９】また、ベクトル量子化が、モーションベク
トルの成分に対して個々に行われる。
トルの成分に対して個々に行われる。
【００１０】また、ベクトル量子化後に、可変長符号化
が行われる。
が行われる。
【００１１】また、画像中でモーション不連続が起きる
場所が識別される。
場所が識別される。
【００１２】また、モーションベクトルフィールドを処
理して、ベクトル量子化前にモーションベクトルのエン
トロピーを減らす。
理して、ベクトル量子化前にモーションベクトルのエン
トロピーを減らす。
【００１３】また、モーション不連続が、エントロピー
を減らす工程で使用される。
を減らす工程で使用される。
【００１４】また、エントロピーを減らす工程が隣接す
るモーションベクトルの平均をとることによって行われ
る。
るモーションベクトルの平均をとることによって行われ
る。
【００１５】また、モーション不連続によって区分され
たモーションベクトルが平均化において使用されない。
たモーションベクトルが平均化において使用されない。
【００１６】また、異なる解像度の複数のモーションベ
クトルフィールドのバージョンを生成して符号化する。
クトルフィールドのバージョンを生成して符号化する。
【００１７】また、モーションベクトルフィールドの副
標本をとってフィールドの副標本バージョンを第１の粗
い解像度と第２のより細かい解像度で生成し、解像度の
粗いモーションベクトルフィールドを符号化し、解像度
の粗いフィールドを解像度のより細かいフィールドと比
較して見逃し誤りを生成し、そしてこの見逃し誤りをよ
り細かい解像度で符号化する。
標本をとってフィールドの副標本バージョンを第１の粗
い解像度と第２のより細かい解像度で生成し、解像度の
粗いモーションベクトルフィールドを符号化し、解像度
の粗いフィールドを解像度のより細かいフィールドと比
較して見逃し誤りを生成し、そしてこの見逃し誤りをよ
り細かい解像度で符号化する。
【００１８】また、この発明に係る画像デジタル化のシ
ーケンスにおける画像に関するデータを処理する方法
は、画像に対するモーションベクトルを導き出し、所定
のモーションベクトルを隣接するモーションベクトルに
もとづく平均化によって導き出された新しいモーション
ベクトルで置換することによってモーションベクトルを
平滑化し、さらにモーション不連続が画像中で起きる場
所を識別し、モーションベクトルがモーション不連続に
よって所定のモーションベクトルから区分けされる場
合、それらを平均化から省略する。
ーケンスにおける画像に関するデータを処理する方法
は、画像に対するモーションベクトルを導き出し、所定
のモーションベクトルを隣接するモーションベクトルに
もとづく平均化によって導き出された新しいモーション
ベクトルで置換することによってモーションベクトルを
平滑化し、さらにモーション不連続が画像中で起きる場
所を識別し、モーションベクトルがモーション不連続に
よって所定のモーションベクトルから区分けされる場
合、それらを平均化から省略する。
【００１９】また、新しいモーションベクトルが予測誤
差を用いて導き出される。
差を用いて導き出される。
【００２０】また、この発明に係る画像デジタル化のシ
ーケンスにおける画像に関するデータを処理する方法
は、画像に対するモーションベクトルを導き出し、所定
のモーションベクトルを隣接するモーションベクトルと
予測誤差にもとづく平均化によって導き出される新しい
モーションベクトルで置換することによってモーション
ベクトルを平滑化する。
ーケンスにおける画像に関するデータを処理する方法
は、画像に対するモーションベクトルを導き出し、所定
のモーションベクトルを隣接するモーションベクトルと
予測誤差にもとづく平均化によって導き出される新しい
モーションベクトルで置換することによってモーション
ベクトルを平滑化する。
【００２１】また、モーション不連続が画像中で起きる
場所を識別し、モーションベクトルが該モーション不連
続によって所定のモーションベクトルから区分けされる
場合、それらを平均化から省略する。
場所を識別し、モーションベクトルが該モーション不連
続によって所定のモーションベクトルから区分けされる
場合、それらを平均化から省略する。
【００２２】また、モーションベクトルが各ピクセルに
対して導き出される。
対して導き出される。
【００２３】また、平均をとるとき所定のモーションベ
クトルが考慮される。
クトルが考慮される。
【００２４】また、平均をとるとき加重平均を用いる。
【００２５】また、この発明に係る画像デジタル化のシ
ーケンスにおける画像に関するデータを処理する方法
は、画像に対するモーションベクトルフィールドを導き
出し、モーション不連続が画像中で起きる場所を識別
し、そしてモーション不連続が画像中で起きる場所を考
慮して隣接するモーションベクトルを結合することによ
ってモーションベクトルフィールドを平滑化する。
ーケンスにおける画像に関するデータを処理する方法
は、画像に対するモーションベクトルフィールドを導き
出し、モーション不連続が画像中で起きる場所を識別
し、そしてモーション不連続が画像中で起きる場所を考
慮して隣接するモーションベクトルを結合することによ
ってモーションベクトルフィールドを平滑化する。
【００２６】また、モーションベクトルが各ピクセルに
対して導き出される。
対して導き出される。
【００２７】また、この発明に係る画像を処理する方法
は、モーションベクトルフィールド内のモーション境界
を表わすモーション不連続を導き出し、各境界内のモー
ションベクトルをその境界内の他のモーションベクトル
にもとづいて調整する。
は、モーションベクトルフィールド内のモーション境界
を表わすモーション不連続を導き出し、各境界内のモー
ションベクトルをその境界内の他のモーションベクトル
にもとづいて調整する。
【００２８】また、この発明に係る画像デジタル化のシ
ーケンスにおけるモーションを表わす方法は、異なる解
像度の複数のモーションベクトルフィールドのバージョ
ンを生成して符号化する。
ーケンスにおけるモーションを表わす方法は、異なる解
像度の複数のモーションベクトルフィールドのバージョ
ンを生成して符号化する。
【００２９】また、モーションベクトルフィールドの副
標本をとってフィールドの副標本バージョンを第１の粗
い解像度と第２のより細かい解像度で生成し、モーショ
ンベクトルフィールドの解像度の粗いバージョンを符号
化し、解像度の粗いフィールドを解像度のより細かいフ
ィールドと比較して見逃し誤りを生成し、そしてこの見
逃し誤りをより細かい解像度で符号化する。
標本をとってフィールドの副標本バージョンを第１の粗
い解像度と第２のより細かい解像度で生成し、モーショ
ンベクトルフィールドの解像度の粗いバージョンを符号
化し、解像度の粗いフィールドを解像度のより細かいフ
ィールドと比較して見逃し誤りを生成し、そしてこの見
逃し誤りをより細かい解像度で符号化する。
【００３０】また、解像度を増加して見逃し誤りのシー
ケンスを生成し符号化する。
ケンスを生成し符号化する。
【００３１】また、異なる解像度の符号化されたモーシ
ョンベクトルフィールドバージョンを、組込みビットス
トリームに多重化する。
ョンベクトルフィールドバージョンを、組込みビットス
トリームに多重化する。
【００３２】また、符号化がベクトル量子化を使って行
われる。
われる。
【００３３】また、この発明に係るエンコーダは、上述
のいずれかの方法によって画像デジタル化のシーケンス
に対するモーション情報を符号化する。
のいずれかの方法によって画像デジタル化のシーケンス
に対するモーション情報を符号化する。
【００３４】また、この発明に係るデコーダは、上述の
いずれかの方法によって符号化された画像デジタル化の
シーケンスに対するモーション情報を復号する。
いずれかの方法によって符号化された画像デジタル化の
シーケンスに対するモーション情報を復号する。
【００３５】また、この発明に係るエンコーダは、画像
に対して密なモーションベクトルフィールドを導き出す
モーションエスティメータと、モーションベクトルフィ
ールドを符号化するベクトル量子化器を備える。
に対して密なモーションベクトルフィールドを導き出す
モーションエスティメータと、モーションベクトルフィ
ールドを符号化するベクトル量子化器を備える。
【００３６】また、この発明に係る画像デジタル化のシ
ーケンスにおけるモーションを表わす装置は、異なる解
像度の複数のモーションベクトルフィールドのバージョ
ンを生成し符号化する手段を備える。
ーケンスにおけるモーションを表わす装置は、異なる解
像度の複数のモーションベクトルフィールドのバージョ
ンを生成し符号化する手段を備える。
【００３７】また、モーションベクトルフィールドの副
標本をとってフィールドの副標本バージョンを第１の粗
い解像度と第２のより細かい解像度で生成する手段と、
モーションベクトルフィールドの解像度の粗いバージョ
ンを符号化し、解像度の粗いフィールドを解像度のより
細かいフィールドと比較して見逃し誤りを生成する手段
と、解像度の粗いモーションベクトルフィールドと見逃
し誤りをより細かい解像度で符号化する手段とを備え
る。
標本をとってフィールドの副標本バージョンを第１の粗
い解像度と第２のより細かい解像度で生成する手段と、
モーションベクトルフィールドの解像度の粗いバージョ
ンを符号化し、解像度の粗いフィールドを解像度のより
細かいフィールドと比較して見逃し誤りを生成する手段
と、解像度の粗いモーションベクトルフィールドと見逃
し誤りをより細かい解像度で符号化する手段とを備え
る。
【００３８】また、解像度を増加して見逃し誤りのシー
ケンスを生成し符号化する手段を備える。
ケンスを生成し符号化する手段を備える。
【００３９】また、この発明に係るデコーダは、所定の
解像度におけるモーションベクトルフィールドのバージ
ョンを復元する手段を備え、上述のいずれかの装置を使
って符号化される情報を復号する。
解像度におけるモーションベクトルフィールドのバージ
ョンを復元する手段を備え、上述のいずれかの装置を使
って符号化される情報を復号する。
【００４０】また、この発明に係る符複号器は、上述の
いずれかのエンコーダと、上述のいずれかのデコーダと
を備える。
いずれかのエンコーダと、上述のいずれかのデコーダと
を備える。
【００４１】
【発明の実施の形態】本明細書では、モーションベクト
ルフィールドに関する濃いという語は、サイズ８×８ピ
クセルのピクセルブロックに対して少なくとも２つのモ
ーションベクトルがあることを意味する。例えば、モー
ションベクトルは各４×４ピクセルブロックまたは各２
×２ピクセルブロックに割り当てられるかもしれない。
好ましくは、モーションベクトルは各ピクセルに割り当
てられる。
ルフィールドに関する濃いという語は、サイズ８×８ピ
クセルのピクセルブロックに対して少なくとも２つのモ
ーションベクトルがあることを意味する。例えば、モー
ションベクトルは各４×４ピクセルブロックまたは各２
×２ピクセルブロックに割り当てられるかもしれない。
好ましくは、モーションベクトルは各ピクセルに割り当
てられる。
【００４２】図１は、本発明の実施の形態によるマルチ
解像度モーションベクトルフィールド（ＭＭＶＦ）エン
コーダのブロック図である。図１に示すようなＭＭＶＦ
エンコーダは、モーションベクトルフィールドおよびモ
ジュールへの画像入力のシーケンスにおける画像のため
のモーション不連続マップを生成するモーションエステ
ィメータ（ＭＥ）モジュール２１０を有している。モー
ションエスティメータモジュールの出力は、エントロピ
ーリダクションモジュール２２０の入力に接続される。
エントロピーリダクションモジュール２２０は、モーシ
ョン不連続マップを使用してモーションベクトルフィー
ルドを処理して不連続点を有するエントロピー束縛モー
ションベクトルフィールドを生成する。エントロピーリ
ダクションモジュール２２０の出力は、マルチ解像度ベ
クトル量子化モーションフィールドおよび不連続符号化
モジュール２３０の入力に接続される、それはモーショ
ンベクトルフィールドのマルチ解像度ベクトル量子化
（ＭＭＶＦ）表現を生成するものである。
解像度モーションベクトルフィールド（ＭＭＶＦ）エン
コーダのブロック図である。図１に示すようなＭＭＶＦ
エンコーダは、モーションベクトルフィールドおよびモ
ジュールへの画像入力のシーケンスにおける画像のため
のモーション不連続マップを生成するモーションエステ
ィメータ（ＭＥ）モジュール２１０を有している。モー
ションエスティメータモジュールの出力は、エントロピ
ーリダクションモジュール２２０の入力に接続される。
エントロピーリダクションモジュール２２０は、モーシ
ョン不連続マップを使用してモーションベクトルフィー
ルドを処理して不連続点を有するエントロピー束縛モー
ションベクトルフィールドを生成する。エントロピーリ
ダクションモジュール２２０の出力は、マルチ解像度ベ
クトル量子化モーションフィールドおよび不連続符号化
モジュール２３０の入力に接続される、それはモーショ
ンベクトルフィールドのマルチ解像度ベクトル量子化
（ＭＭＶＦ）表現を生成するものである。
【００４３】ＭＭＶＦエンコーダの動作について、以下
に詳述する。モーションエスティメータモジュール２１
０は、入力画像フレームのシーケンスで動作して、密な
モーションベクトルフィールドを生成する。そして各フ
ィールドは関連モーション不連続マップを有する。
に詳述する。モーションエスティメータモジュール２１
０は、入力画像フレームのシーケンスで動作して、密な
モーションベクトルフィールドを生成する。そして各フ
ィールドは関連モーション不連続マップを有する。
【００４４】画像フレームに対するモーションベクトル
フィールドは、画像フレームと基準フレームに基づくモ
ーション評価を使って導き出される。本実施の形態にお
いて、この評価は、基準フレームと連続する最初のフレ
ームのオリジナルの符号化バージョンから再構築された
基準フレームを使って行われる。例えば、モーション評
価は最初の基準フレームと最初の連続するフレームを使
って行うことができる。
フィールドは、画像フレームと基準フレームに基づくモ
ーション評価を使って導き出される。本実施の形態にお
いて、この評価は、基準フレームと連続する最初のフレ
ームのオリジナルの符号化バージョンから再構築された
基準フレームを使って行われる。例えば、モーション評
価は最初の基準フレームと最初の連続するフレームを使
って行うことができる。
【００４５】このモーション評価は、既知のブロックマ
ッチング技術の変形を使って実行される。画像フレーム
中の１６×１６ピクセルのブロックは、基準フレーム中
のブロックと比較される。最も類似する合致が見つかっ
た場合に、対応するモーションベクトルが基準ピクセル
に割り当てられる。本実施の形態における基準ピクセル
は、４つの中央ピクセルのうちの上左側のピクセルであ
る。他の実施の形態において、ｍ×ｎブロックのうちの
どのピクセルも基準ピクセルとすることができる。しか
し、それはブロックの中心近くまたは中心が好ましい。
これらのステップは繰り返されて、画像中の各ピクセル
に対するモーションベクトルを得るために画像フレーム
中の１６×１６ブロックをオーバーラップし、その結
果、画像全体に対するモーションベクトルを得る。この
方法で生成されたモーションベクトルフィールドは、ブ
ロック様構造を示すが、正確で密なモーションベクトル
フィールドが、エントロピーリダクションモジュール２
２０で回復生成される。ここでは、ペルリカーシブ技術
や傾斜ベース法のようなピクセルに対するモーションベ
クトルを得る他の方法を利用できる。これは“Digital
Pictures - Representation, Compression and Standar
ds”by A. Netravali and B.G. Haskell, Plenum Publi
shing 1995.に記述されている。
ッチング技術の変形を使って実行される。画像フレーム
中の１６×１６ピクセルのブロックは、基準フレーム中
のブロックと比較される。最も類似する合致が見つかっ
た場合に、対応するモーションベクトルが基準ピクセル
に割り当てられる。本実施の形態における基準ピクセル
は、４つの中央ピクセルのうちの上左側のピクセルであ
る。他の実施の形態において、ｍ×ｎブロックのうちの
どのピクセルも基準ピクセルとすることができる。しか
し、それはブロックの中心近くまたは中心が好ましい。
これらのステップは繰り返されて、画像中の各ピクセル
に対するモーションベクトルを得るために画像フレーム
中の１６×１６ブロックをオーバーラップし、その結
果、画像全体に対するモーションベクトルを得る。この
方法で生成されたモーションベクトルフィールドは、ブ
ロック様構造を示すが、正確で密なモーションベクトル
フィールドが、エントロピーリダクションモジュール２
２０で回復生成される。ここでは、ペルリカーシブ技術
や傾斜ベース法のようなピクセルに対するモーションベ
クトルを得る他の方法を利用できる。これは“Digital
Pictures - Representation, Compression and Standar
ds”by A. Netravali and B.G. Haskell, Plenum Publi
shing 1995.に記述されている。
【００４６】また、モーションエスティメータモジュー
ル２１０は、画像フレーム中のモーション不連続を映す
モーション不連続マップを生成する。一般にモーション
不連続はピクセル間に位置存在する。そして各ピクセル
は関連する４つの不連続ラベル６１１，６１２，６１
３，６１４を有し、それらは、図２に示すように、上
部、下部、右側、左側の各々に対応する。各不連続ラベ
ルは、２つの隣接するピクセルの間で共用される。すな
わち例えば、ピクセル６００に対する右側不連続ラベル
６１２は、右側のピクセル６００に隣り合うピクセル６
０２に対する左側不連続ラベル６１２である。
ル２１０は、画像フレーム中のモーション不連続を映す
モーション不連続マップを生成する。一般にモーション
不連続はピクセル間に位置存在する。そして各ピクセル
は関連する４つの不連続ラベル６１１，６１２，６１
３，６１４を有し、それらは、図２に示すように、上
部、下部、右側、左側の各々に対応する。各不連続ラベ
ルは、２つの隣接するピクセルの間で共用される。すな
わち例えば、ピクセル６００に対する右側不連続ラベル
６１２は、右側のピクセル６００に隣り合うピクセル６
０２に対する左側不連続ラベル６１２である。
【００４７】画像中のモーション不連続は、論文“Robu
st Motion Analysis”by M. Boberand J. Kittler, CVP
R, 1994, pp 947-952に記述された技術のような適当な
技術を使って識別される。手短かに言えば、前のフレー
ム中の最も類似するマッチングに関するブロック中の見
逃し誤りの広がりを評価するのに統計分析が使用されて
いる。受理できる範囲外に見逃し誤りを有するピクセル
は、ブロックの残部におけるピクセルと異なるモーショ
ン領域に属するとして処理される。そして、異なるモー
ション領域間の境界がモーション不連続である。
st Motion Analysis”by M. Boberand J. Kittler, CVP
R, 1994, pp 947-952に記述された技術のような適当な
技術を使って識別される。手短かに言えば、前のフレー
ム中の最も類似するマッチングに関するブロック中の見
逃し誤りの広がりを評価するのに統計分析が使用されて
いる。受理できる範囲外に見逃し誤りを有するピクセル
は、ブロックの残部におけるピクセルと異なるモーショ
ン領域に属するとして処理される。そして、異なるモー
ション領域間の境界がモーション不連続である。
【００４８】モーションエスティメータモジュール２１
０によって導き出されたモーションベクトルフィールド
およびモーション不連続マップは、エントロピーリダク
ションモジュール２２０に入力される。エントロピーリ
ダクションモジュール２２０は、モーションエスティメ
ータモジュール２１０で評価されたモーションベクトル
フィールドを処理し、モーション不連続ラベルを考慮し
て、モーション境界を保存し、そしてエントロピー束縛
モーションベクトルフィールドを生成する。このプロセ
スはペルリカーシブ技術に基づいており、以下に詳述す
る。
０によって導き出されたモーションベクトルフィールド
およびモーション不連続マップは、エントロピーリダク
ションモジュール２２０に入力される。エントロピーリ
ダクションモジュール２２０は、モーションエスティメ
ータモジュール２１０で評価されたモーションベクトル
フィールドを処理し、モーション不連続ラベルを考慮し
て、モーション境界を保存し、そしてエントロピー束縛
モーションベクトルフィールドを生成する。このプロセ
スはペルリカーシブ技術に基づいており、以下に詳述す
る。
【００４９】画像中の単一ピクセルの処理は、図２を参
照して単一ピクセルに対して述べられる。中央のピクセ
ル６００とその隣、上下左右のピクセル６０１、６０
２、６０３、６０４が考慮される。さらに、中央のピク
セル６００に対する４つのモーション不連続ラベル６１
１、６１２、６１３、６１４が考慮される。各ピクセル
は、それに関連するモーションベクトルを有する。すな
わち、ピクセル６００はモーションベクトルＶ６００を
有する。処理後、モーションベクトルＶ６００の新しい
値が中央のピクセルに対して計算される。
照して単一ピクセルに対して述べられる。中央のピクセ
ル６００とその隣、上下左右のピクセル６０１、６０
２、６０３、６０４が考慮される。さらに、中央のピク
セル６００に対する４つのモーション不連続ラベル６１
１、６１２、６１３、６１４が考慮される。各ピクセル
は、それに関連するモーションベクトルを有する。すな
わち、ピクセル６００はモーションベクトルＶ６００を
有する。処理後、モーションベクトルＶ６００の新しい
値が中央のピクセルに対して計算される。
【００５０】本実施の形態における処理は、中央のピク
セル６００のモーションベクトルと能動不連続ラベルに
よって中央のピクセルから分離されないその隣のピクセ
ル６０１、６０２、６０３、６０４のモーションベクト
ルの加重平均をとることに基づいている。より具体的に
は、
セル６００のモーションベクトルと能動不連続ラベルに
よって中央のピクセルから分離されないその隣のピクセ
ル６０１、６０２、６０３、６０４のモーションベクト
ルの加重平均をとることに基づいている。より具体的に
は、
【００５１】
【数１】
【００５２】
【数２】
【００５３】ここで、V60nx(i)とV60ny(i)はi番目の反
復であるピクセル６０ｎに割り当てられるモーションベ
クトル成分であり、ｋはゼロ以上の定数である。
復であるピクセル６０ｎに割り当てられるモーションベ
クトル成分であり、ｋはゼロ以上の定数である。
【００５４】隣のピクセルの１つ以上が能動モーション
境界によって中央のピクセルから区分けされない場合、
それは計算から除外され、したがって分母が調整され
る。例えば、モーション不連続ラベル６１１がアクティ
ブであると仮定すると、V600x(i+l)は次式で計算され
る。
境界によって中央のピクセルから区分けされない場合、
それは計算から除外され、したがって分母が調整され
る。例えば、モーション不連続ラベル６１１がアクティ
ブであると仮定すると、V600x(i+l)は次式で計算され
る。
【００５５】
【数３】
【００５６】この例において、処理は平均に基づくが、
予測誤差が考慮されても良い。より具体的には、
予測誤差が考慮されても良い。より具体的には、
【００５７】
【数４】
【００５８】
【数５】
【００５９】ここで、ＰＥは、予測誤差、すなわちピク
セル６００と反復ｉで計算されるモーションベクトルV6
00(i)を使ったディスプレイスメント後の基準フレーム
中のピクセルとの間の輝度値における差であり、V600
(i)＝(V600x(i),V600y(i))、▽xIと▽yIはピクセル６０
０に対する画像密度傾斜の成分である。本実施の形態に
おける画像傾斜は、中央のピクセルと隣のピクセルの輝
度値に基づいて計算される。具体的にいえば、▽xI＝I
602−I600、そして▽yI＝I601−I600 であり、ここで、
I60nはピクセル６０ｎの輝度値を表わす。画像傾斜は、
隣のピクセルを使う他の方法で計算できる。例えば、▽
xIと▽yIは次式により計算される。ｍは０より大きい定
数である。
セル６００と反復ｉで計算されるモーションベクトルV6
00(i)を使ったディスプレイスメント後の基準フレーム
中のピクセルとの間の輝度値における差であり、V600
(i)＝(V600x(i),V600y(i))、▽xIと▽yIはピクセル６０
０に対する画像密度傾斜の成分である。本実施の形態に
おける画像傾斜は、中央のピクセルと隣のピクセルの輝
度値に基づいて計算される。具体的にいえば、▽xI＝I
602−I600、そして▽yI＝I601−I600 であり、ここで、
I60nはピクセル６０ｎの輝度値を表わす。画像傾斜は、
隣のピクセルを使う他の方法で計算できる。例えば、▽
xIと▽yIは次式により計算される。ｍは０より大きい定
数である。
【００６０】
【数６】
【００６１】
【数７】
【００６２】
【数８】
【００６３】この例において、ｍ＝１００である。ま
た、隣のピクセルの１つが能動モーション境界によって
区分けされない場合、それは計算から除外される。この
ように、モーション不連続ラベル６１１がアクティブで
あると仮定すると、次式が成立する。
た、隣のピクセルの１つが能動モーション境界によって
区分けされない場合、それは計算から除外される。この
ように、モーション不連続ラベル６１１がアクティブで
あると仮定すると、次式が成立する。
【００６４】
【数９】
【００６５】上述の処理方法の各々において、処理は画
像中のすべてのピクセルに対して行われて、多数の反復
やパスが行われる。ピクセルが単一パスにおいて処理さ
れる順序は、結果にそれほど影響しない。これらの例に
おいて、反復の最適数は、使用されるモーションエステ
ィメータのタイプに依存するが、５〜１０回の反復が行
われる。
像中のすべてのピクセルに対して行われて、多数の反復
やパスが行われる。ピクセルが単一パスにおいて処理さ
れる順序は、結果にそれほど影響しない。これらの例に
おいて、反復の最適数は、使用されるモーションエステ
ィメータのタイプに依存するが、５〜１０回の反復が行
われる。
【００６６】上述した処理の結果、モーションベクトル
フィールドの平滑されたエントロピー束縛バージョンが
得られる。そしてモーション不連続が保存される。モー
ション不連続ラベルおよび上述の第２の処理方法におけ
る予測誤差を考慮することによって、平滑化はそれによ
って動き補償予測の効率が低下しない領域で行われるだ
けである。エントロピーリダクションモジュール２２０
による出力としてモーション不連続を有するモーション
ベクトルフィールドの領域の表現の例を図１の２２５に
示す、ここで丸印はピクセルを表わし、矢印はモーショ
ンベクトルを表わし、そしてピクセル間の線はモーショ
ン不連続を表わす。
フィールドの平滑されたエントロピー束縛バージョンが
得られる。そしてモーション不連続が保存される。モー
ション不連続ラベルおよび上述の第２の処理方法におけ
る予測誤差を考慮することによって、平滑化はそれによ
って動き補償予測の効率が低下しない領域で行われるだ
けである。エントロピーリダクションモジュール２２０
による出力としてモーション不連続を有するモーション
ベクトルフィールドの領域の表現の例を図１の２２５に
示す、ここで丸印はピクセルを表わし、矢印はモーショ
ンベクトルを表わし、そしてピクセル間の線はモーショ
ン不連続を表わす。
【００６７】エントロピーリダクションモジュール２２
０によって生成されるモーション不連続を有するエント
ロピー束縛モーションベクトルフィールドは、マルチ解
像度モーションベクトルフィールド量子化（ＭＭＶＦ
Ｑ）および不連続符号化モジュール２３０に入力され
る。
０によって生成されるモーション不連続を有するエント
ロピー束縛モーションベクトルフィールドは、マルチ解
像度モーションベクトルフィールド量子化（ＭＭＶＦ
Ｑ）および不連続符号化モジュール２３０に入力され
る。
【００６８】図３は、ＭＭＶＦＱおよび不連続符号化モ
ジュールをより詳しく示す。図３を参照すると、エント
ロピーリダクションモジュール２２０から得られるモー
ションベクトルフィールドは、モーションフィールドピ
ラミッドモジュール３１０に入力され、モジュール３１
０は、降順空間解像度における最初のモーションベクト
ルフィールドのバージョンであるｎ＋１個のモーション
フィールドのセットを生成する。ｎ＋１個のモーション
フィールドは、画像解像度ｓ０〜ｓｎを有する。ここで
最初の画像解像度におけるモーションフィールドは、解
像度ｓｎを有し、解像度が最も粗いモーションフィール
ドは解像度ｓ０を有する。解像度ｓｍのモーションフィ
ールドは、解像度ｓ（ｍ＋１）の高解像度モーションを
低域フィルターにかけたり副標本をとったりすることに
よって得られる。このプロレスは、最初のモーションフ
ィールドから始まってｎ回実行されて、モーションベク
トルフィールドのピラミッドと呼ばれるｎ＋１個のフィ
ールドを生成する。
ジュールをより詳しく示す。図３を参照すると、エント
ロピーリダクションモジュール２２０から得られるモー
ションベクトルフィールドは、モーションフィールドピ
ラミッドモジュール３１０に入力され、モジュール３１
０は、降順空間解像度における最初のモーションベクト
ルフィールドのバージョンであるｎ＋１個のモーション
フィールドのセットを生成する。ｎ＋１個のモーション
フィールドは、画像解像度ｓ０〜ｓｎを有する。ここで
最初の画像解像度におけるモーションフィールドは、解
像度ｓｎを有し、解像度が最も粗いモーションフィール
ドは解像度ｓ０を有する。解像度ｓｍのモーションフィ
ールドは、解像度ｓ（ｍ＋１）の高解像度モーションを
低域フィルターにかけたり副標本をとったりすることに
よって得られる。このプロレスは、最初のモーションフ
ィールドから始まってｎ回実行されて、モーションベク
トルフィールドのピラミッドと呼ばれるｎ＋１個のフィ
ールドを生成する。
【００６９】本実施の形態によると、副標本ファクタｋ
は２であり、低域フィルタリングプロセスは２×２ブロ
ック内のｖｘ値とｖｙ値の平均をとる。それから平均値
ｖｘ−ａｖｅｒとｖｙ−ａｖｅｒを求めて、より粗い解
像度におけるブロックのモーションを表わす。しかし、
様々な副標本ファクタｋ（ｋ＞１）と様々な低域フィル
ターを使うことができる。
は２であり、低域フィルタリングプロセスは２×２ブロ
ック内のｖｘ値とｖｙ値の平均をとる。それから平均値
ｖｘ−ａｖｅｒとｖｙ−ａｖｅｒを求めて、より粗い解
像度におけるブロックのモーションを表わす。しかし、
様々な副標本ファクタｋ（ｋ＞１）と様々な低域フィル
ターを使うことができる。
【００７０】その後、モーションフィールドのピラミッ
ドが処理される。解像度ｓ０におけるモーションフィー
ルドは、コードブックｃ０を使ってベクトル量子化（Ｖ
Ｑ）エンコーダ３３０ａによって符号化される。ＶＱエ
ンコーダ３３０ａからの出力は、エントロピーを符号化
するモジュール３８０ａに伝わり最も粗い解像度ｓ０に
おけるモーションフィールドの表現を形成し、そしてＶ
Ｑデコーダ３６０ａに伝わる。ＶＱデコーダ３６０ａは
コードブックｃ０を使用してより粗いモーションフィー
ルドを再構築する。それから粗いモーションフィールド
は、モーションフィールドの解像度がファクタｋによっ
て増大するアップサンプリングモジュール３４０ａへパ
スされる。差分モジュール３５０ａは、解像度ｓ１にお
けるモーションフィールドと解像度ｓ０のフィールドか
ら得られるアップサンプリングされた再構築モーション
フィールドの間の差異を計算する。そうして得られた解
像度ｓ１における残留誤差モーションフィールドは、差
分モジュール３５０ａから出力されて、コードブックｃ
１を使ってＶＱエンコーダ３３０ｂによって処理され
る。上述のステップは、最初の解像度までのすべての解
像度におけるモーションフィールドが処理されるまで、
解像度を増大させて帰納的に繰り返されて、最初のモー
ションベクトルフィールドのｎ＋１個の成分表現が得ら
れる。
ドが処理される。解像度ｓ０におけるモーションフィー
ルドは、コードブックｃ０を使ってベクトル量子化（Ｖ
Ｑ）エンコーダ３３０ａによって符号化される。ＶＱエ
ンコーダ３３０ａからの出力は、エントロピーを符号化
するモジュール３８０ａに伝わり最も粗い解像度ｓ０に
おけるモーションフィールドの表現を形成し、そしてＶ
Ｑデコーダ３６０ａに伝わる。ＶＱデコーダ３６０ａは
コードブックｃ０を使用してより粗いモーションフィー
ルドを再構築する。それから粗いモーションフィールド
は、モーションフィールドの解像度がファクタｋによっ
て増大するアップサンプリングモジュール３４０ａへパ
スされる。差分モジュール３５０ａは、解像度ｓ１にお
けるモーションフィールドと解像度ｓ０のフィールドか
ら得られるアップサンプリングされた再構築モーション
フィールドの間の差異を計算する。そうして得られた解
像度ｓ１における残留誤差モーションフィールドは、差
分モジュール３５０ａから出力されて、コードブックｃ
１を使ってＶＱエンコーダ３３０ｂによって処理され
る。上述のステップは、最初の解像度までのすべての解
像度におけるモーションフィールドが処理されるまで、
解像度を増大させて帰納的に繰り返されて、最初のモー
ションベクトルフィールドのｎ＋１個の成分表現が得ら
れる。
【００７１】上述のベクトル量子化は、符号化モジュー
ル３３０ａ〜３３０ｎ中のモーションベクトルフィール
ドの各々で実行される。このベクトル量子化は、“Scal
ableimage coding using Gaussian pyramid vector qua
ntization with resolution-independent block size”
by L. Cieplinski and M. Bober, Processing IEEEInt
ernational conference on Acoustics, Speech and Sig
nal Processing, 1997, vol. 4, pp 2949-2952に述べら
れているものに類似しており、ここでベクトル量子化は
静止絵の輝度値に関連して述べられている。
ル３３０ａ〜３３０ｎ中のモーションベクトルフィール
ドの各々で実行される。このベクトル量子化は、“Scal
ableimage coding using Gaussian pyramid vector qua
ntization with resolution-independent block size”
by L. Cieplinski and M. Bober, Processing IEEEInt
ernational conference on Acoustics, Speech and Sig
nal Processing, 1997, vol. 4, pp 2949-2952に述べら
れているものに類似しており、ここでベクトル量子化は
静止絵の輝度値に関連して述べられている。
【００７２】ベクトル量子化が各解像度で適用されるベ
クトルを、次の方法のうちの１つで形成できる。
クトルを、次の方法のうちの１つで形成できる。
【００７３】１）速度成分フィールドＶｘとＶｙにおけ
るノンオーバーラッピング領域からｏ(ｏ＞１）個の成
分速度を別々にグループ化する。これらの領域は同一の
形を有しており、速度フィールド全体を覆っている。各
領域に対して、２つのｏ次元ベクトルが形成される。VQ
x＝(vx1,...vxi,...vxo)、VQx＝(vy1,...vyi,...vyo)、
ここで、vxi とvyiはブロック内のピクセルｉのx速度成
分とｙ速度成分である。
るノンオーバーラッピング領域からｏ(ｏ＞１）個の成
分速度を別々にグループ化する。これらの領域は同一の
形を有しており、速度フィールド全体を覆っている。各
領域に対して、２つのｏ次元ベクトルが形成される。VQ
x＝(vx1,...vxi,...vxo)、VQx＝(vy1,...vyi,...vyo)、
ここで、vxi とvyiはブロック内のピクセルｉのx速度成
分とｙ速度成分である。
【００７４】２）上述のようにしてベクトルを形成する
前に、ベクトルフィールドＶに対して変形を行う。変形
の目的は成分フィールドを統計的に無関係にすることで
あり、または符号化性能を改善するためにそれらの相関
関係を弱めることである。例えば、画像内の各ピクセル
ロケーションでの各ベクトルｖ＝（ｖｘ，ｖｙ）は、ロ
グポーラー表現ｖｐ＝（ｖｐｒ，ｖｐａ）に変形され
る。ここで、成分ｖｐａとｖｐｒは次のように定義され
る。
前に、ベクトルフィールドＶに対して変形を行う。変形
の目的は成分フィールドを統計的に無関係にすることで
あり、または符号化性能を改善するためにそれらの相関
関係を弱めることである。例えば、画像内の各ピクセル
ロケーションでの各ベクトルｖ＝（ｖｘ，ｖｙ）は、ロ
グポーラー表現ｖｐ＝（ｖｐｒ，ｖｐａ）に変形され
る。ここで、成分ｖｐａとｖｐｒは次のように定義され
る。
【００７５】
【数１０】
【００７６】
【数１１】
【００７７】
【数１２】
【００７８】
【数１３】
【００７９】各領域に対して、２つのｏ次元ベクトルが
形成される。VQr＝(vpr1,...vprj,...vpro)、VQa＝(vpa
1,...vpaj,...vpao)、ここでvprjとvpajは上に略述され
た変形から得られる。
形成される。VQr＝(vpr1,...vprj,...vpro)、VQa＝(vpa
1,...vpaj,...vpao)、ここでvprjとvpajは上に略述され
た変形から得られる。
【００８０】３）２）項に定義された成分ベクトルＶＱ
ｘとＶＱｙはともにグループ化されて、ベクトルVQ＝(V
Qx,VQy)またはVQ＝(VQr,VQa)を形成する、そしてＶＱを
量子化できる。もちろん、そのようにして形成されたＶ
Ｑベクトルは、次元２ｏを有する。
ｘとＶＱｙはともにグループ化されて、ベクトルVQ＝(V
Qx,VQy)またはVQ＝(VQr,VQa)を形成する、そしてＶＱを
量子化できる。もちろん、そのようにして形成されたＶ
Ｑベクトルは、次元２ｏを有する。
【００８１】本実施の形態では、上述の２）項の方法が
２×２ピクセルの方形ブロックとともに使われ、そのた
めＶＱは４次元ベクトルに対して行われる。
２×２ピクセルの方形ブロックとともに使われ、そのた
めＶＱは４次元ベクトルに対して行われる。
【００８２】エントロピーコーダ３８０ａ〜３８０ｎか
ら出力されたモーションベクトルフィールドの成分表現
３７０．．．３７ｎは結合されて、例えば図４に示すよ
うに組込表現２６０となる。図４は、セパレータによっ
て区切られたいろいろな解像度における成分表現を示
す。
ら出力されたモーションベクトルフィールドの成分表現
３７０．．．３７ｎは結合されて、例えば図４に示すよ
うに組込表現２６０となる。図４は、セパレータによっ
て区切られたいろいろな解像度における成分表現を示
す。
【００８３】図５は、モーションフィールドの組込表現
を復号していろいろな解像度におけるモーションフィー
ルドと最初のモーションベクトルフィールドを再構築す
るデコーダ５００を示す。再構築は解像度が最も粗い表
現から始まる。それはエントロピーデコーダ５１０ａに
よって復号されて、ＶＱデコーダ５１５ａに伝えられ
る、ここではコードブックｃ０を使って復号されて解像
度ｓ０において再構築されたモーションフィールドを得
る。それからこの解像度ｓ０において再構築されたモー
ションフィールドは、アップサンプリングモジュール５
２５ａによってエンコーダと同じような方法でアップサ
ンプリングされて、解像度ｓ１におけるフィールドの近
似を得る。そして解像度ｓ１におけるモーションフィー
ルドの見逃し誤りは類似の方法で再構築される。解像度
ｓ１の見逃し誤りと解像度ｓ０におけるフィールドから
アップサンプリングされるフィールドはともにサメーシ
ョンモジュールに加えられて、解像度ｓ１において再構
築されたモーションフィールドを生成する。最初の解像
度のモーションフィールドが得られるまで、このプロセ
スは、より細かい解像度ごとに繰り返される。しかし必
要な場合には、このプロセスを最初の解像度前のどの解
像度においても止めることができる。
を復号していろいろな解像度におけるモーションフィー
ルドと最初のモーションベクトルフィールドを再構築す
るデコーダ５００を示す。再構築は解像度が最も粗い表
現から始まる。それはエントロピーデコーダ５１０ａに
よって復号されて、ＶＱデコーダ５１５ａに伝えられ
る、ここではコードブックｃ０を使って復号されて解像
度ｓ０において再構築されたモーションフィールドを得
る。それからこの解像度ｓ０において再構築されたモー
ションフィールドは、アップサンプリングモジュール５
２５ａによってエンコーダと同じような方法でアップサ
ンプリングされて、解像度ｓ１におけるフィールドの近
似を得る。そして解像度ｓ１におけるモーションフィー
ルドの見逃し誤りは類似の方法で再構築される。解像度
ｓ１の見逃し誤りと解像度ｓ０におけるフィールドから
アップサンプリングされるフィールドはともにサメーシ
ョンモジュールに加えられて、解像度ｓ１において再構
築されたモーションフィールドを生成する。最初の解像
度のモーションフィールドが得られるまで、このプロセ
スは、より細かい解像度ごとに繰り返される。しかし必
要な場合には、このプロセスを最初の解像度前のどの解
像度においても止めることができる。
【００８４】図６は、本発明の実施の形態によるビデオ
画像データを符号化したり復号したりするハイブリット
ＤＣＴ／ＭＣ符複号器を示す。
画像データを符号化したり復号したりするハイブリット
ＤＣＴ／ＭＣ符複号器を示す。
【００８５】図６において、コーダ側は、入力画像デー
タで離散的余弦変形を行うＤＣＴモジュール７１０を備
える。ＤＣＴモジュール７１０は、ＤＣＴモジュールか
ら出力されるＤＣＴ係数において適合量子化を行う適合
できる量子化器７２０に接続される。量子化器７２０
は、レートコントローラ７３０によって制御される。量
子化器７２０の出力は、可変長コーダ７４０と逆量子化
器７５０に接続される。逆量子化器７５０の出力は、最
初のフレームのバージョンを再構築する逆ＤＣＴモジュ
ール７６０に接続される。逆ＤＣＴモジュール７６０の
出力は、複数のフレームストア７７０に接続される。フ
レームストア７７０の出力は、モーションベクトルフィ
ールドを導き出したり符号化するマルチ解像度モーショ
ンベクトルフィールド（ＭＭＶＦ）エンコーダ７８０に
接続される。ＭＭＶＦコーダ７８０は、既知の方法で動
き補償を行うアドバンスト動き補償モジュール７９０に
接続される。また、ＭＭＶＦコーダ７８０は符号化モー
ションベクトルフィールドを表わす出力データを可変長
コーダ７４０に出力し、可変長コーダ７４０の出力は、
バッファ８００に接続される。バッファ８００はレート
コントローラ７３０を調整するのに使用されて、格納デ
ータが伝送したり記録媒体に記録するために出力され
る。
タで離散的余弦変形を行うＤＣＴモジュール７１０を備
える。ＤＣＴモジュール７１０は、ＤＣＴモジュールか
ら出力されるＤＣＴ係数において適合量子化を行う適合
できる量子化器７２０に接続される。量子化器７２０
は、レートコントローラ７３０によって制御される。量
子化器７２０の出力は、可変長コーダ７４０と逆量子化
器７５０に接続される。逆量子化器７５０の出力は、最
初のフレームのバージョンを再構築する逆ＤＣＴモジュ
ール７６０に接続される。逆ＤＣＴモジュール７６０の
出力は、複数のフレームストア７７０に接続される。フ
レームストア７７０の出力は、モーションベクトルフィ
ールドを導き出したり符号化するマルチ解像度モーショ
ンベクトルフィールド（ＭＭＶＦ）エンコーダ７８０に
接続される。ＭＭＶＦコーダ７８０は、既知の方法で動
き補償を行うアドバンスト動き補償モジュール７９０に
接続される。また、ＭＭＶＦコーダ７８０は符号化モー
ションベクトルフィールドを表わす出力データを可変長
コーダ７４０に出力し、可変長コーダ７４０の出力は、
バッファ８００に接続される。バッファ８００はレート
コントローラ７３０を調整するのに使用されて、格納デ
ータが伝送したり記録媒体に記録するために出力され
る。
【００８６】対応する成分は、バッファ８１０、可変長
デコーダ８２０、逆量子化器８３０、逆ＤＣＴモジュー
ル８４０、アドバンスト動き補償モジュール８５０、フ
レームストア８６０、およびＭＭＶＦデコーダ８7０を
備えるデコーダ内に与えられる。
デコーダ８２０、逆量子化器８３０、逆ＤＣＴモジュー
ル８４０、アドバンスト動き補償モジュール８５０、フ
レームストア８６０、およびＭＭＶＦデコーダ８7０を
備えるデコーダ内に与えられる。
【００８７】コーダとデコーダは、実質的に既知の方法
で動作して、ＭＭＶＦコーダ７８０とデコーダ８7０を
使ってのモーションベクトルフィールドの符号化と復号
を除いて、ビデオ画像データを符号化する。ＭＭＶＦコ
ーダ７８０とデコーダ８7０は実質的に上述のように動
作する。しかし上述のように、可変長コーダ７４０とデ
コーダ８２０は、エントロピーコーダ３８０ａ〜３８０
ｎとデコーダ５１５ａ〜５１５ｎの代わりにエントロピ
ー符号化および復号を行う。ｎ個のエントロピーコーダ
３８０ａ〜３８０ｎの代わりに単一の可変長コーダ９４
０を使用することができ、異なる解像度における画像デ
ータに対して異なる参照用テーブルを採用する、そして
デコーダ８２０についても同じである。
で動作して、ＭＭＶＦコーダ７８０とデコーダ８7０を
使ってのモーションベクトルフィールドの符号化と復号
を除いて、ビデオ画像データを符号化する。ＭＭＶＦコ
ーダ７８０とデコーダ８7０は実質的に上述のように動
作する。しかし上述のように、可変長コーダ７４０とデ
コーダ８２０は、エントロピーコーダ３８０ａ〜３８０
ｎとデコーダ５１５ａ〜５１５ｎの代わりにエントロピ
ー符号化および復号を行う。ｎ個のエントロピーコーダ
３８０ａ〜３８０ｎの代わりに単一の可変長コーダ９４
０を使用することができ、異なる解像度における画像デ
ータに対して異なる参照用テーブルを採用する、そして
デコーダ８２０についても同じである。
【００８８】上述の符号化の効率(ピクセル毎のビット
の平均数に基づく)は、既知の方法と同じ程度かそれ以
上にすることができる。モーションベクトルの各ピクセ
ルへの割り当てによってモーション情報量が増加する
が、これは続くプロセス、すなわちエントロピーリダク
ションとベクトル量子化において減少する。もちろん、
ピクセル毎のビットの平均数は符号化されるデータの特
質に依存する。
の平均数に基づく)は、既知の方法と同じ程度かそれ以
上にすることができる。モーションベクトルの各ピクセ
ルへの割り当てによってモーション情報量が増加する
が、これは続くプロセス、すなわちエントロピーリダク
ションとベクトル量子化において減少する。もちろん、
ピクセル毎のビットの平均数は符号化されるデータの特
質に依存する。
【００８９】上述の本発明の実施の形態において、モー
ション不連続マップが導き出されて続くプロセスで使わ
れる、しかしモーション不連続を考慮するのは本質では
ない。上述の実施の形態のように、各ピクセルに対して
モーションベクトルを導き出す代わりに、本発明は、モ
ーションベクトルを、例えば２×２または４×４ピクセ
ルブロックのようなピクセルのグループに割り当てるこ
とができる方法にも適用できる。しかし、重要な特長
は、得られるモーションベクトルフィールドが密である
ことである。
ション不連続マップが導き出されて続くプロセスで使わ
れる、しかしモーション不連続を考慮するのは本質では
ない。上述の実施の形態のように、各ピクセルに対して
モーションベクトルを導き出す代わりに、本発明は、モ
ーションベクトルを、例えば２×２または４×４ピクセ
ルブロックのようなピクセルのグループに割り当てるこ
とができる方法にも適用できる。しかし、重要な特長
は、得られるモーションベクトルフィールドが密である
ことである。
【００９０】本発明は、次の条件の1つ以上を満足する
画像のシーケンスを取り扱う応用において特に有用であ
る。 i）チャンネル帯域幅が限定される。 ii）データ破損のリスクが大きい、または iii）モーションデータの解像度が小さいバージョンを
得ることに利益が有る。
画像のシーケンスを取り扱う応用において特に有用であ
る。 i）チャンネル帯域幅が限定される。 ii）データ破損のリスクが大きい、または iii）モーションデータの解像度が小さいバージョンを
得ることに利益が有る。
【００９１】本発明によって導き出されて表わされるモ
ーション情報をデータベースに蓄積し検索閲覧に供する
ことができる。例えば、特殊なタイプの動きのシーケン
スを探す場合に、先ずそのデータベース(本発明によっ
て得られるモーションベクトルを蓄積)から粗いモーシ
ョン情報を得ることができて、それから最初の解像度に
おける選択シーケンスを検索する。
ーション情報をデータベースに蓄積し検索閲覧に供する
ことができる。例えば、特殊なタイプの動きのシーケン
スを探す場合に、先ずそのデータベース(本発明によっ
て得られるモーションベクトルを蓄積)から粗いモーシ
ョン情報を得ることができて、それから最初の解像度に
おける選択シーケンスを検索する。
【００９２】本発明の結果、符号化のためのモーション
フィールドを効率よく表現することができる。そして、
動き補償を用いたより良い予測の結果、そしてアーティ
ファクトの数を減らすことができるので、視覚品質が改
善された再構築画像を得ることができる。そして特に、
ブロッキングアーティファクトを減らしたり、または完
全に無くすことができる。また、この方法は、モーショ
ンフィールドのスケーラブル表現に向いており、伝送エ
ラーに対するエラー強さが向上する。
フィールドを効率よく表現することができる。そして、
動き補償を用いたより良い予測の結果、そしてアーティ
ファクトの数を減らすことができるので、視覚品質が改
善された再構築画像を得ることができる。そして特に、
ブロッキングアーティファクトを減らしたり、または完
全に無くすことができる。また、この方法は、モーショ
ンフィールドのスケーラブル表現に向いており、伝送エ
ラーに対するエラー強さが向上する。
【００９３】また、本発明は、いろいろな解像度で複数
のモーションベクトルフィールドのバージョンを発生し
符号化することによって、デジタル化画像のシーケンス
におけるモーションを表わす方法および装置を提供す
る。
のモーションベクトルフィールドのバージョンを発生し
符号化することによって、デジタル化画像のシーケンス
におけるモーションを表わす方法および装置を提供す
る。
【００９４】本発明の結果、モーションフィールドのス
ケーラブル表現および組込みビットストリームを生成で
きる。こうして、ビットストリームの一部を復号するこ
とによって、モーションベクトルフィールドの粗いバー
ジョンを容易に再構築することができる。これはいくつ
かの利点を有する。例えば、ビットストリームの一部が
伝送中に破損した場合に、モーションフィールドの解像
度の小さいバージョンを回復し、動き補償に使用するこ
とができる。一方、いくつかの用途ではフィールドの粗
いバージョンを必要とする、したがってフルバージョン
を再構築してそれの副標本をとって粗いバージョンを得
るよりもむしろ切り詰められたビットストリームから直
接粗い画像を再構築することによって、処理パワーとメ
モリーに対する要求を軽減できる。このような方法は、
例えば、ビデオ移動電話において有用である。
ケーラブル表現および組込みビットストリームを生成で
きる。こうして、ビットストリームの一部を復号するこ
とによって、モーションベクトルフィールドの粗いバー
ジョンを容易に再構築することができる。これはいくつ
かの利点を有する。例えば、ビットストリームの一部が
伝送中に破損した場合に、モーションフィールドの解像
度の小さいバージョンを回復し、動き補償に使用するこ
とができる。一方、いくつかの用途ではフィールドの粗
いバージョンを必要とする、したがってフルバージョン
を再構築してそれの副標本をとって粗いバージョンを得
るよりもむしろ切り詰められたビットストリームから直
接粗い画像を再構築することによって、処理パワーとメ
モリーに対する要求を軽減できる。このような方法は、
例えば、ビデオ移動電話において有用である。
【００９５】また、本発明は、モーションベクトルフィ
ールドを予備処理して予測誤差をあまり減らさずにエン
トロピーを減らす方法および装置を提供する。これは、
できる限り、モーション予測の品質およびモーション不
連続の保存に与える効果を制限する他の制約とともに、
隣接したモーションベクトルの平均をとることによって
行うことができる。
ールドを予備処理して予測誤差をあまり減らさずにエン
トロピーを減らす方法および装置を提供する。これは、
できる限り、モーション予測の品質およびモーション不
連続の保存に与える効果を制限する他の制約とともに、
隣接したモーションベクトルの平均をとることによって
行うことができる。
【００９６】また、本発明は、モーション不連続が画像
中のどこで起きるかを識別し、モーション不連続が画像
中のどこで起きるかを考慮して隣接するモーションベク
トルを結合することによってモーションベクトルフィー
ルドを平滑化するデジタル化画像のシーケンスにおける
画像に関するデータを処理する方法および装置を提供す
る。この結果、モーションベクトルフィールドのより正
確な反射を得ることができる。
中のどこで起きるかを識別し、モーション不連続が画像
中のどこで起きるかを考慮して隣接するモーションベク
トルを結合することによってモーションベクトルフィー
ルドを平滑化するデジタル化画像のシーケンスにおける
画像に関するデータを処理する方法および装置を提供す
る。この結果、モーションベクトルフィールドのより正
確な反射を得ることができる。
【００９７】
【発明の効果】この発明に係る画像デジタル化のシーケ
ンスにおけるモーションを表わす方法は、画像に対する
密なモーションベクトルフィールドの導き出し工程と、
モーションベクトルフィールドでのベクトル量子化工程
とを備える。そのため、符号化のためのモーションフィ
ールドを効率よく表現することができる。そして、動き
補償を用いたより良い予測の結果、そしてアーティファ
クトの数を減らすことができるので、視覚品質が改善さ
れた再構築画像を得ることができる。そして特に、ブロ
ッキングアーティファクトを減らしたり、または完全に
無くすことができる。また、この方法は、モーションフ
ィールドのスケーラブル表現に向いており、伝送エラー
に対するエラー強さが向上する。
ンスにおけるモーションを表わす方法は、画像に対する
密なモーションベクトルフィールドの導き出し工程と、
モーションベクトルフィールドでのベクトル量子化工程
とを備える。そのため、符号化のためのモーションフィ
ールドを効率よく表現することができる。そして、動き
補償を用いたより良い予測の結果、そしてアーティファ
クトの数を減らすことができるので、視覚品質が改善さ
れた再構築画像を得ることができる。そして特に、ブロ
ッキングアーティファクトを減らしたり、または完全に
無くすことができる。また、この方法は、モーションフ
ィールドのスケーラブル表現に向いており、伝送エラー
に対するエラー強さが向上する。
【図１】 本発明のエンコーダを示すブロック図であ
る。
る。
【図２】 不連続ラベルを示す画像領域を表わす図であ
る。
る。
【図３】 図１に示したエンコーダのコンポーネントの
ブロック図である。
ブロック図である。
【図４】 図１に示したエンコーダからのビットストリ
ーム出力を表わす図である。
ーム出力を表わす図である。
【図５】 本発明のデコーダを示すブロック図である。
【図６】 本発明のハイブリットＤＣＴ／ＭＣ符復号器
のブロック図である。
のブロック図である。
【図７】 先行技術によるモーションベクトルフィール
ドを表わす図である。
ドを表わす図である。
２１０ モーションエスティメータモジュール、２２０
エントロピーリダクションモジュール、２３０ マル
チ解像度ベクトル量子化モーションフィールドおよび不
連続符号化モジュール。
エントロピーリダクションモジュール、２３０ マル
チ解像度ベクトル量子化モーションフィールドおよび不
連続符号化モジュール。
Claims (35)
- 【請求項１】 画像に対する密なモーションベクトルフ
ィールドの導き出し工程と、 上記モーションベクトルフィールドでのベクトル量子化
工程とを備えることを特徴とする画像デジタル化のシー
ケンスにおけるモーションを表わす方法。 - 【請求項２】 上記モーションベクトルフィールドのモ
ーションベクトルが８×８ピクセルブロックより小さい
サイズのピクセルブロックに対して導き出されることを
特徴とする請求項１に記載の画像デジタル化のシーケン
スにおけるモーションを表わす方法。 - 【請求項３】 上記モーションベクトルフィールドのモ
ーションベクトルが各ピクセルに対して導き出されるこ
とを特徴とする請求項１に記載の画像デジタル化のシー
ケンスにおけるモーションを表わす方法。 - 【請求項４】 上記ベクトル量子化が、上記モーション
ベクトルの成分に対して個々に行われることを特徴とす
る請求項１乃至３のいずれかに記載の画像デジタル化の
シーケンスにおけるモーションを表わす方法。 - 【請求項５】 上記ベクトル量子化後に、可変長符号化
が行われることを特徴とする請求項１乃至４のいずれか
に記載の画像デジタル化のシーケンスにおけるモーショ
ンを表わす方法。 - 【請求項６】 画像中でモーション不連続が起きる場所
が識別されることを特徴とする請求項１乃至５のいずれ
かに記載の画像デジタル化のシーケンスにおけるモーシ
ョンを表わす方法。 - 【請求項７】 上記モーションベクトルフィールドを処
理して、上記ベクトル量子化前にモーションベクトルの
エントロピーを減らすことを特徴とする請求項１乃至６
のいずれかに記載の画像デジタル化のシーケンスにおけ
るモーションを表わす方法。 - 【請求項８】 上記モーション不連続が、上記エントロ
ピーを減らす工程で使用されることを特徴とする請求項
６に従属する請求項７に記載の画像デジタル化のシーケ
ンスにおけるモーションを表わす方法。 - 【請求項９】 上記エントロピーを減らす工程が隣接す
るモーションベクトルの平均をとることによって行われ
ることを特徴とする請求項７または請求項８に記載の画
像デジタル化のシーケンスにおけるモーションを表わす
方法。 - 【請求項１０】 上記モーション不連続によって区分さ
れたモーションベクトルが平均化において使用されない
ことを特徴とする請求項８に従属する請求項９に記載の
画像デジタル化のシーケンスにおけるモーションを表わ
す方法。 - 【請求項１１】 異なる解像度の複数のモーションベク
トルフィールドのバージョンを生成して符号化すること
を特徴とする請求項１乃至１０のいずれかに記載の画像
デジタル化のシーケンスにおけるモーションを表わす方
法。 - 【請求項１２】 上記モーションベクトルフィールドの
副標本をとってフィールドの副標本バージョンを第１の
粗い解像度と第２のより細かい解像度で生成し、解像度
の粗いモーションベクトルフィールドを符号化し、解像
度の粗いフィールドを解像度のより細かいフィールドと
比較して見逃し誤りを生成し、そしてこの見逃し誤りを
より細かい解像度で符号化することを特徴とする請求項
１１に記載の画像デジタル化のシーケンスにおけるモー
ションを表わす方法。 - 【請求項１３】 画像に対するモーションベクトルを導
き出し、所定のモーションベクトルを隣接するモーショ
ンベクトルにもとづく平均化によって導き出された新し
いモーションベクトルで置換することによって上記モー
ションベクトルを平滑化し、さらにモーション不連続が
画像中で起きる場所を識別し、モーションベクトルがモ
ーション不連続によって上記所定のモーションベクトル
から区分けされる場合、それらを平均化から省略するこ
とを特徴とする画像デジタル化のシーケンスにおける画
像に関するデータを処理する方法。 - 【請求項１４】 新しいモーションベクトルが予測誤差
を用いて導き出されることを特徴とする請求項１３に記
載の画像デジタル化のシーケンスにおける画像に関する
データを処理する方法。 - 【請求項１５】 画像に対するモーションベクトルを導
き出し、所定のモーションベクトルを隣接するモーショ
ンベクトルと予測誤差にもとづく平均化によって導き出
される新しいモーションベクトルで置換することによっ
て上記モーションベクトルを平滑化することを特徴とす
る画像デジタル化のシーケンスにおける画像に関するデ
ータを処理する方法。 - 【請求項１６】 モーション不連続が画像中で起きる場
所を識別し、モーションベクトルが該モーション不連続
によって上記所定のモーションベクトルから区分けされ
る場合、それらを平均化から省略することを特徴とする
請求項１５に記載の画像デジタル化のシーケンスにおけ
る画像に関するデータを処理する方法。 - 【請求項１７】 上記モーションベクトルが各ピクセル
に対して導き出されることを特徴とする請求項１３乃至
１６のいずれかに記載の画像デジタル化のシーケンスに
おける画像に関するデータを処理する方法。 - 【請求項１８】 平均をとるとき所定のモーションベク
トルが考慮されることを特徴とする請求項１３乃至１７
のいずれかに記載の画像デジタル化のシーケンスにおけ
る画像に関するデータを処理する方法。 - 【請求項１９】 平均をとるとき加重平均を用いること
を特徴とする請求項１８に記載の画像デジタル化のシー
ケンスにおける画像に関するデータを処理する方法。 - 【請求項２０】 画像に対するモーションベクトルフィ
ールドを導き出し、モーション不連続が画像中で起きる
場所を識別し、そしてモーション不連続が画像中で起き
る場所を考慮して隣接するモーションベクトルを結合す
ることによって上記モーションベクトルフィールドを平
滑化することを特徴とする画像デジタル化のシーケンス
における画像に関するデータを処理する方法。 - 【請求項２１】 上記モーションベクトルが各ピクセル
に対して導き出されることを特徴とする請求項２０に記
載の画像デジタル化のシーケンスにおける画像に関する
データを処理する方法。 - 【請求項２２】 モーションベクトルフィールド内のモ
ーション境界を表わすモーション不連続を導き出し、各
境界内のモーションベクトルをその境界内の他のモーシ
ョンベクトルにもとづいて調整することを特徴とする画
像を処理する方法。 - 【請求項２３】 異なる解像度の複数のモーションベク
トルフィールドのバージョンを生成して符号化すること
を特徴とする画像デジタル化のシーケンスにおけるモー
ションを表わす方法。 - 【請求項２４】 上記モーションベクトルフィールドの
副標本をとってフィールドの副標本バージョンを第１の
粗い解像度と第２のより細かい解像度で生成し、モーシ
ョンベクトルフィールドの解像度の粗いバージョンを符
号化し、解像度の粗いフィールドを解像度のより細かい
フィールドと比較して見逃し誤りを生成し、そしてこの
見逃し誤りをより細かい解像度で符号化することを特徴
とする請求項２３に記載の画像デジタル化のシーケンス
におけるモーションを表わす方法。 - 【請求項２５】 解像度を増加して見逃し誤りのシーケ
ンスを生成し符号化することを特徴とする請求項２４に
記載の画像デジタル化のシーケンスにおけるモーション
を表わす方法。 - 【請求項２６】 異なる解像度の符号化されたモーショ
ンベクトルフィールドバージョンを、組込みビットスト
リームに多重化することを特徴とする請求項２３乃至２
５のいずれかに記載の画像デジタル化のシーケンスにお
けるモーションを表わす方法。 - 【請求項２７】 上記符号化がベクトル量子化を使って
行われることを特徴とする請求項２３乃至２５のいずれ
かに記載の画像デジタル化のシーケンスにおけるモーシ
ョンを表わす方法。 - 【請求項２８】 請求項１乃至２７のいずれかに記載の
方法によって画像デジタル化のシーケンスに対するモー
ション情報を符号化することを特徴とするエンコーダ。 - 【請求項２９】 請求項１乃至２７のいずれかに記載の
方法によって符号化された画像デジタル化のシーケンス
に対するモーション情報を復号することを特徴とするデ
コーダ。 - 【請求項３０】 画像に対して密なモーションベクトル
フィールドを導き出すモーションエスティメータと、上
記モーションベクトルフィールドを符号化するベクトル
量子化器を備えることを特徴とする画像デジタル化のシ
ーケンスに対するモーション情報を符号化するエンコー
ダ。 - 【請求項３１】 異なる解像度の複数のモーションベク
トルフィールドのバージョンを生成し符号化する手段を
備えることを特徴とする画像デジタル化のシーケンスに
おけるモーションを表わす装置。 - 【請求項３２】 上記モーションベクトルフィールドの
副標本をとってフィールドの副標本バージョンを第１の
粗い解像度と第２のより細かい解像度で生成する手段
と、モーションベクトルフィールドの解像度の粗いバー
ジョンを符号化し、解像度の粗いフィールドを解像度の
より細かいフィールドと比較して見逃し誤りを生成する
手段と、解像度の粗いモーションベクトルフィールドと
見逃し誤りをより細かい解像度で符号化する手段とを備
えることを特徴とする請求項３１に記載の画像デジタル
化のシーケンスにおけるモーションを表わす装置。 - 【請求項３３】 解像度を増加して見逃し誤りのシーケ
ンスを生成し符号化する手段を備えることを特徴とする
請求項３２に記載の画像デジタル化のシーケンスにおけ
るモーションを表わす装置。 - 【請求項３４】 所定の解像度におけるモーションベク
トルフィールドのバージョンを復元する手段を備え、請
求項３１乃至３３のいずれかに記載の装置を使って符号
化される情報を復号することを特徴とするデコーダ。 - 【請求項３５】 請求項２８、３０または３１乃至３３
のいずれか記載のエンコーダと、請求項２９または３４
に記載のデコーダとを備えることを特徴とする符複号
器。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB9906034.5 | 1999-03-16 | ||
| GB9906034A GB2348064A (en) | 1999-03-16 | 1999-03-16 | Motion vector field encoding |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010252975A Division JP2011055536A (ja) | 1999-03-16 | 2010-11-11 | 画像デジタル化のシーケンスにおけるモーションを表わす方法および装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000295628A true JP2000295628A (ja) | 2000-10-20 |
Family
ID=10849720
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000070459A Pending JP2000295628A (ja) | 1999-03-16 | 2000-03-14 | 画像デジタル化のシーケンスにおけるモーションを表わす方法、画像に関するデータを処理する方法、画像を処理する方法、エンコーダ、デコーダ、モーションを表わす装置および符複号器 |
| JP2010252975A Withdrawn JP2011055536A (ja) | 1999-03-16 | 2010-11-11 | 画像デジタル化のシーケンスにおけるモーションを表わす方法および装置 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010252975A Withdrawn JP2011055536A (ja) | 1999-03-16 | 2010-11-11 | 画像デジタル化のシーケンスにおけるモーションを表わす方法および装置 |
Country Status (8)
| Country | Link |
|---|---|
| US (2) | US6944227B1 (ja) |
| EP (3) | EP1555833B1 (ja) |
| JP (2) | JP2000295628A (ja) |
| CN (3) | CN1201591C (ja) |
| AU (1) | AU3304900A (ja) |
| DE (2) | DE60022018T2 (ja) |
| GB (1) | GB2348064A (ja) |
| WO (1) | WO2000056076A1 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100359115B1 (ko) * | 2000-05-24 | 2002-11-04 | 삼성전자 주식회사 | 영상 코딩 방법 |
| US7295614B1 (en) * | 2000-09-08 | 2007-11-13 | Cisco Technology, Inc. | Methods and apparatus for encoding a video signal |
| US6851608B1 (en) * | 2002-03-07 | 2005-02-08 | Commerciant, L.P. | System and method for uncontrolled velocity scanning |
| ATE401742T1 (de) * | 2004-05-14 | 2008-08-15 | Nxp Bv | Einrichtung zur erzeugung aufeinanderfolgender einzelbilder aus verschachtelten codierten einzelbildern |
| US8798148B2 (en) * | 2007-06-15 | 2014-08-05 | Physical Optics Corporation | Apparatus and method employing pre-ATR-based real-time compression and video frame segmentation |
| US8605786B2 (en) * | 2007-09-04 | 2013-12-10 | The Regents Of The University Of California | Hierarchical motion vector processing method, software and devices |
| US20090158309A1 (en) * | 2007-12-12 | 2009-06-18 | Hankyu Moon | Method and system for media audience measurement and spatial extrapolation based on site, display, crowd, and viewership characterization |
| US8213723B2 (en) * | 2008-12-29 | 2012-07-03 | Yahoo! Inc. | Method and system for determining near duplicate images |
| US8520736B2 (en) * | 2009-04-14 | 2013-08-27 | Fastvdo, Llc | Real-time superresolution and video transmission |
| KR102195687B1 (ko) * | 2010-01-12 | 2020-12-28 | 엘지전자 주식회사 | 비디오 신호의 처리 방법 및 장치 |
| EP2490448A1 (de) * | 2011-02-18 | 2012-08-22 | Siemens Aktiengesellschaft | Kodierverfahren und Bildkodiervorrichtung zur Kompression einer Bildsequenz |
| FR2972588A1 (fr) * | 2011-03-07 | 2012-09-14 | France Telecom | Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants |
| US20120230406A1 (en) * | 2011-03-09 | 2012-09-13 | Vixs Systems, Inc. | Multi-format video decoder with vector processing and methods for use therewith |
| FR2977111A1 (fr) | 2011-06-24 | 2012-12-28 | France Telecom | Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants |
| US8913664B2 (en) * | 2011-09-16 | 2014-12-16 | Sony Computer Entertainment Inc. | Three-dimensional motion mapping for cloud gaming |
| JP5899447B2 (ja) * | 2011-11-21 | 2016-04-06 | パナソニックＩｐマネジメント株式会社 | 画像処理装置および画像処理方法 |
| US9990004B2 (en) * | 2013-04-02 | 2018-06-05 | Samsung Dispaly Co., Ltd. | Optical detection of bending motions of a flexible display |
| JP6636615B2 (ja) | 2015-08-24 | 2020-01-29 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | 動きベクトル場の符号化方法、復号方法、符号化装置、および復号装置 |
| US10970855B1 (en) | 2020-03-05 | 2021-04-06 | International Business Machines Corporation | Memory-efficient video tracking in real-time using direction vectors |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04298184A (ja) * | 1991-03-27 | 1992-10-21 | Oki Electric Ind Co Ltd | 動きベクトル検出装置 |
| JPH10248065A (ja) * | 1997-03-04 | 1998-09-14 | Nippon Hoso Kyokai <Nhk> | 動きベクトル検出装置 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4661853A (en) * | 1985-11-01 | 1987-04-28 | Rca Corporation | Interfield image motion detector for video signals |
| US4849810A (en) * | 1987-06-02 | 1989-07-18 | Picturetel Corporation | Hierarchial encoding method and apparatus for efficiently communicating image sequences |
| US5150209A (en) * | 1990-05-11 | 1992-09-22 | Picturetel Corporation | Hierarchical entropy coded lattice threshold quantization encoding method and apparatus for image and video compression |
| DE69029999T2 (de) | 1990-07-20 | 1997-08-14 | Philips Electronics Nv | Vorrichtung zur Verarbeitung von Bewegungsvektoren |
| SE469866B (sv) * | 1991-04-12 | 1993-09-27 | Dv Sweden Ab | Metod för estimering av rörelseinnehåll i videosignaler |
| EP0631444B1 (en) * | 1992-03-03 | 1998-12-23 | Kabushiki Kaisha Toshiba | Time-varying image encoder |
| DE69422876T2 (de) | 1993-10-11 | 2000-06-15 | Thomson Multimedia, Boulogne | Verfahren und Gerät zur Korrektur von Bewegungsvektoren |
| US5471252A (en) * | 1993-11-03 | 1995-11-28 | Matsushita Electric Industrial Corporation Of America | Method and apparatus for estimating motion vector fields by rejecting local outliers |
| US5539469A (en) | 1994-12-30 | 1996-07-23 | Daewoo Electronics Co., Ltd. | Apparatus for determining motion vectors through the use of an adaptive median filtering technique |
| US5600646A (en) * | 1995-01-27 | 1997-02-04 | Videoserver, Inc. | Video teleconferencing system with digital transcoding |
| US5574663A (en) * | 1995-07-24 | 1996-11-12 | Motorola, Inc. | Method and apparatus for regenerating a dense motion vector field |
| US6026182A (en) * | 1995-10-05 | 2000-02-15 | Microsoft Corporation | Feature segmentation |
| US5764805A (en) * | 1995-10-25 | 1998-06-09 | David Sarnoff Research Center, Inc. | Low bit rate video encoder using overlapping block motion compensation and zerotree wavelet coding |
| DE19541457C1 (de) * | 1995-11-07 | 1997-07-03 | Siemens Ag | Verfahren zur Codierung eines Videodatenstroms einer aus Bildblöcken bestehenden Videosequenz |
| US5692063A (en) * | 1996-01-19 | 1997-11-25 | Microsoft Corporation | Method and system for unrestricted motion estimation for video |
| US5748247A (en) * | 1996-04-08 | 1998-05-05 | Tektronix, Inc. | Refinement of block motion vectors to achieve a dense motion field |
| EP0864999A3 (de) * | 1997-03-13 | 1999-09-08 | Philips Patentverwaltung GmbH | Bildverarbeitungs-Verfahren für die medizinische Diagnostik |
| DE69809920T2 (de) * | 1997-07-28 | 2003-10-09 | Idt International Digital Technologies Deutschland Gmbh | Verfahren und vorrichtung zur mehrfachauflösung objektorientierter bewegungsschätzung |
| US6625216B1 (en) * | 1999-01-27 | 2003-09-23 | Matsushita Electic Industrial Co., Ltd. | Motion estimation using orthogonal transform-domain block matching |
| EP1050850A1 (en) * | 1999-05-03 | 2000-11-08 | THOMSON multimedia | Process for estimating a dominant motion between two frames |
-
1999
- 1999-03-16 GB GB9906034A patent/GB2348064A/en not_active Withdrawn
-
2000
- 2000-03-14 JP JP2000070459A patent/JP2000295628A/ja active Pending
- 2000-03-15 US US09/525,900 patent/US6944227B1/en not_active Expired - Fee Related
- 2000-03-16 CN CNB008050082A patent/CN1201591C/zh not_active Expired - Fee Related
- 2000-03-16 CN CNA200510055863XA patent/CN1717050A/zh active Pending
- 2000-03-16 CN CNA200610095674XA patent/CN1882087A/zh active Pending
- 2000-03-16 EP EP05075299A patent/EP1555833B1/en not_active Expired - Lifetime
- 2000-03-16 EP EP00911052A patent/EP1169867B1/en not_active Expired - Lifetime
- 2000-03-16 DE DE60022018T patent/DE60022018T2/de not_active Expired - Lifetime
- 2000-03-16 EP EP05075300A patent/EP1536650A3/en not_active Withdrawn
- 2000-03-16 AU AU33049/00A patent/AU3304900A/en not_active Abandoned
- 2000-03-16 DE DE60044541T patent/DE60044541D1/de not_active Expired - Lifetime
- 2000-03-16 WO PCT/GB2000/000985 patent/WO2000056076A1/en active IP Right Grant
-
2005
- 2005-05-18 US US11/131,267 patent/US7724826B2/en not_active Expired - Fee Related
-
2010
- 2010-11-11 JP JP2010252975A patent/JP2011055536A/ja not_active Withdrawn
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04298184A (ja) * | 1991-03-27 | 1992-10-21 | Oki Electric Ind Co Ltd | 動きベクトル検出装置 |
| JPH10248065A (ja) * | 1997-03-04 | 1998-09-14 | Nippon Hoso Kyokai <Nhk> | 動きベクトル検出装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1169867A1 (en) | 2002-01-09 |
| EP1555833B1 (en) | 2010-06-09 |
| GB9906034D0 (en) | 1999-05-12 |
| JP2011055536A (ja) | 2011-03-17 |
| US20050207500A1 (en) | 2005-09-22 |
| EP1169867B1 (en) | 2005-08-17 |
| EP1536650A2 (en) | 2005-06-01 |
| AU3304900A (en) | 2000-10-04 |
| GB2348064A (en) | 2000-09-20 |
| DE60044541D1 (de) | 2010-07-22 |
| US6944227B1 (en) | 2005-09-13 |
| CN1717050A (zh) | 2006-01-04 |
| WO2000056076A1 (en) | 2000-09-21 |
| US7724826B2 (en) | 2010-05-25 |
| CN1343424A (zh) | 2002-04-03 |
| EP1555833A3 (en) | 2008-02-27 |
| DE60022018T2 (de) | 2006-06-29 |
| CN1882087A (zh) | 2006-12-20 |
| CN1201591C (zh) | 2005-05-11 |
| DE60022018D1 (de) | 2005-09-22 |
| EP1555833A2 (en) | 2005-07-20 |
| EP1536650A3 (en) | 2008-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7724826B2 (en) | Method and apparatus for motion vector field encoding | |
| US10805629B2 (en) | Video compression through motion warping using learning-based motion segmentation | |
| Strobach | Tree-structured scene adaptive coder | |
| Uz et al. | Interpolative multiresolution coding of advanced television with compatible subchannels | |
| JP4572010B2 (ja) | マスクおよび丸め平均値を使用したオブジェクトベースの符号化システムのためのスプライト生成に関する方法 | |
| JP4906864B2 (ja) | スケーラブルビデオコーディング方法 | |
| Yokoyama et al. | Very low bit rate video coding using arbitrarily shaped region-based motion compensation | |
| US5881183A (en) | Method and device for encoding object contour by using centroid | |
| JPH08275157A (ja) | 映像信号符号化装置 | |
| CN114915791B (zh) | 基于二维规则化平面投影的点云序列编解码方法及装置 | |
| Clarke | Image and video compression: a survey | |
| JPH09502840A (ja) | テレビ画像サブバンド両立式符号化用エンコーダ／デコーダ及びツリー構造による階層的運動符号化へのその応用 | |
| Yokoyama et al. | Very low bit-rate video coding with object-based motion compensation and orthogonal transform | |
| US5974187A (en) | Baseline-based contour coding and decoding method and apparatus therefor | |
| CN114422805B (zh) | 一种视频编解码方法、装置及设备 | |
| Wang | Fully scalable video coding using redundant-wavelet multihypothesis and motion-compensated temporal filtering | |
| Cho et al. | Object-based very low bit-rate coding using motion parameter estimation based on multiple frame prediction | |
| Chou et al. | Video coding algorithm based on image warping and nonrectangular DCT coding | |
| Gaubatz et al. | Efficient, low complexity encoding of multiple, blurred noisy downsampled images via distributed source coding principles | |
| Padmanabhan et al. | An Efficient Video Compression Encoder Based on Wavelet Lifting Scheme in LSK | |
| Schuster et al. | Review of Lossy Video Compression | |
| JPH02222389A (ja) | 動画像符号化装置 | |
| Chen et al. | Low bit-rate video coding using image triangulation and warping | |
| Kim et al. | Video coding with wavelet transform on the very-low-bit-rate communication channel | |
| Sukumaran et al. | Image and Video Compression Techniques in Image Processesing an Overview (Audio, Video, Image Compression Techniques) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090623 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090924 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090929 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20091022 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20091027 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100511 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100811 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100816 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100913 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100914 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100916 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100924 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110125 |