JP3218874B2 - 画像符号化装置及び画像符号化方法 - Google Patents
画像符号化装置及び画像符号化方法Info
- Publication number
- JP3218874B2 JP3218874B2 JP19397094A JP19397094A JP3218874B2 JP 3218874 B2 JP3218874 B2 JP 3218874B2 JP 19397094 A JP19397094 A JP 19397094A JP 19397094 A JP19397094 A JP 19397094A JP 3218874 B2 JP3218874 B2 JP 3218874B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion
- motion vector
- patch
- accuracy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【産業上の利用分野】本発明は、同一パッチ内のすべて
の画素が共通の動きベクトルを持つ制約がなく、かつ画
素の動きベクトルの水平・垂直成分が隣接画素間距離の
整数倍以外の値を取り得る動き補償を行なう画像符号化
装置、およびこの符号化装置が出力した符号を受信し復
号化する画像復号化装置に関するものである。
の画素が共通の動きベクトルを持つ制約がなく、かつ画
素の動きベクトルの水平・垂直成分が隣接画素間距離の
整数倍以外の値を取り得る動き補償を行なう画像符号化
装置、およびこの符号化装置が出力した符号を受信し復
号化する画像復号化装置に関するものである。
【０００２】
【従来の技術】動画像の高能率符号化において、時間的
に近接するフレーム間の類似性を活用する動き補償は情
報圧縮に大きな効果を示すことが知られている。動き補
償の処理を数式を用いて表現すると以下のようになる。
符号化しようとしているフレーム（現フレーム）の予測
画像をＰ(ｘ, ｙ)、参照画像（Ｐと時間的に近接してお
り、既に符号化が終了しているフレームの復号画像）を
Ｒ(ｘ, ｙ)とする。また、ｘとｙは整数であるとして、
ＰとＲでは座標値が整数である点に画素が存在すると仮
定する。このとき、ＰとＲの関係は、
に近接するフレーム間の類似性を活用する動き補償は情
報圧縮に大きな効果を示すことが知られている。動き補
償の処理を数式を用いて表現すると以下のようになる。
符号化しようとしているフレーム（現フレーム）の予測
画像をＰ(ｘ, ｙ)、参照画像（Ｐと時間的に近接してお
り、既に符号化が終了しているフレームの復号画像）を
Ｒ(ｘ, ｙ)とする。また、ｘとｙは整数であるとして、
ＰとＲでは座標値が整数である点に画素が存在すると仮
定する。このとき、ＰとＲの関係は、
【０００３】
【数１】
【０００４】で表される。ただし、画像はｎ個の小領域
（パッチ）に分割されるとして、Ｐiは画像のｉ番目の
パッチに含まれる画素を表している。また、変換関数ｆ
i(ｘ,ｙ)とｇi(ｘ, ｙ)は現フレームの画像と参照画像
との間の空間的な対応を表現している。ここで、Ｐi内
の画素(ｘ, ｙ)の動きベクトルは、(ｘ−ｆi(ｘ, ｙ),
ｙ−ｇi(ｘ, ｙ))で表すことができる。現在の動画像符
号化方式の国際標準のＨ．２６１、ＭＰＥＧ１、ＭＰＥ
Ｇ２などでは、ｆi(ｘ, ｙ)とｇi(ｘ, ｙ)がｘとｙに関
係のない定数であるブロックマッチングとよばれる方式
が採用されている。しかし、これらの標準符号化方式よ
り高い情報圧縮率を達成するには、より高度な動き補償
方式を採用することが要求される。このような新しい動
き補償方式として、ｆi(ｘ, ｙ)とｇi(ｘ, ｙ)が定数で
はなく、同一パッチ内の画素が異なる動きベクトルを持
つことを許容する動き補償方式が最近提案されている。
これらの方式における変換関数としては、アフィン変換
（パッチ）に分割されるとして、Ｐiは画像のｉ番目の
パッチに含まれる画素を表している。また、変換関数ｆ
i(ｘ,ｙ)とｇi(ｘ, ｙ)は現フレームの画像と参照画像
との間の空間的な対応を表現している。ここで、Ｐi内
の画素(ｘ, ｙ)の動きベクトルは、(ｘ−ｆi(ｘ, ｙ),
ｙ−ｇi(ｘ, ｙ))で表すことができる。現在の動画像符
号化方式の国際標準のＨ．２６１、ＭＰＥＧ１、ＭＰＥ
Ｇ２などでは、ｆi(ｘ, ｙ)とｇi(ｘ, ｙ)がｘとｙに関
係のない定数であるブロックマッチングとよばれる方式
が採用されている。しかし、これらの標準符号化方式よ
り高い情報圧縮率を達成するには、より高度な動き補償
方式を採用することが要求される。このような新しい動
き補償方式として、ｆi(ｘ, ｙ)とｇi(ｘ, ｙ)が定数で
はなく、同一パッチ内の画素が異なる動きベクトルを持
つことを許容する動き補償方式が最近提案されている。
これらの方式における変換関数としては、アフィン変換
【０００５】
【数２】
【０００６】を用いた例（中屋他、「３角形パッチに基
づく動き補償の基礎検討」、電子情報通信学会技術報
告、IE90-106、平2-03）や、共１次変換
づく動き補償の基礎検討」、電子情報通信学会技術報
告、IE90-106、平2-03）や、共１次変換
【０００７】
【数３】
【０００８】を用いた例（ G. J. Sullivan and R. L.
Baker, "Motion compensation for video compression
using control grid interpolation", Proc. ICASSP '
91 , M9.1, pp.2713-2716, 1991-05）、透視変換
Baker, "Motion compensation for video compression
using control grid interpolation", Proc. ICASSP '
91 , M9.1, pp.2713-2716, 1991-05）、透視変換
【０００９】
【数４】
【００１０】を用いた例（V.Seferdis and M.Ghanbari,
"General approach to block-matching motion estim
ation'', Optical Engineering, vol. 32, no. 7, pp.
1464-1474, 1993-07）などがすでに報告されている。こ
こでａij、ｂij、ｃijはパッチごとに推定される動きパ
ラメータである。変換関数の値が整数でない場合には、
座標値が整数ではなく、参照画像において実際には画素
が存在しない点の輝度値を求めることが必要となる。こ
の場合の処理としては、周辺４画素を用いた共１次内挿
が使われることが多い。この内挿方式を数式で記述する
と、０≦ｐ, ｑ＜１として、Ｒ(ｘ＋ｐ, ｙ＋ｑ)は、
"General approach to block-matching motion estim
ation'', Optical Engineering, vol. 32, no. 7, pp.
1464-1474, 1993-07）などがすでに報告されている。こ
こでａij、ｂij、ｃijはパッチごとに推定される動きパ
ラメータである。変換関数の値が整数でない場合には、
座標値が整数ではなく、参照画像において実際には画素
が存在しない点の輝度値を求めることが必要となる。こ
の場合の処理としては、周辺４画素を用いた共１次内挿
が使われることが多い。この内挿方式を数式で記述する
と、０≦ｐ, ｑ＜１として、Ｒ(ｘ＋ｐ, ｙ＋ｑ)は、
【００１１】
【数５】
【００１２】で表される。
【００１３】動き情報の伝送の際には、画像符号化装置
は何らかの形で変換関数の動きパラメータが特定できる
情報を受信側に伝送すればよい。例えば、変換関数にア
フィン変換を用い、パッチの形状が３角形であるとす
る。この場合は、６個の動きパラメータを直接伝送して
も、パッチの３個の頂点の動きベクトルを伝送しても、
受信側で６個の動きパラメータａi1〜ａi6を再生するこ
とができる。
は何らかの形で変換関数の動きパラメータが特定できる
情報を受信側に伝送すればよい。例えば、変換関数にア
フィン変換を用い、パッチの形状が３角形であるとす
る。この場合は、６個の動きパラメータを直接伝送して
も、パッチの３個の頂点の動きベクトルを伝送しても、
受信側で６個の動きパラメータａi1〜ａi6を再生するこ
とができる。
【００１４】変換関数が定数ではない動き補償方式の特
徴は、画素ごとに動きベクトルを求める際に数学的な演
算が必要となることである。この動きベクトルの計算
（変換関数の計算）のときに、もし送信側と受信側で演
算精度に差があると、符号化装置と復号化装置で得られ
る予測画像が異なるものとなる（ミスマッチが発生す
る）恐れがある。この予測画像におけるミスマッチは受
信側で蓄積する性質を持っているため、フレームごとの
誤差はわずかであっても、やがては再生画像の画質に深
刻な影響を及ぼす恐れがある。この問題は、ブロック内
のすべての画素が同じ動きベクトルに従い、かつその動
きベクトルがそのまま動き情報として符号化・伝送され
るブロックマッチングにはないものである。
徴は、画素ごとに動きベクトルを求める際に数学的な演
算が必要となることである。この動きベクトルの計算
（変換関数の計算）のときに、もし送信側と受信側で演
算精度に差があると、符号化装置と復号化装置で得られ
る予測画像が異なるものとなる（ミスマッチが発生す
る）恐れがある。この予測画像におけるミスマッチは受
信側で蓄積する性質を持っているため、フレームごとの
誤差はわずかであっても、やがては再生画像の画質に深
刻な影響を及ぼす恐れがある。この問題は、ブロック内
のすべての画素が同じ動きベクトルに従い、かつその動
きベクトルがそのまま動き情報として符号化・伝送され
るブロックマッチングにはないものである。
【００１５】この問題への対策に関して、変換関数にア
フィン変換（数２）、内挿方式として共１次内挿（数
５）を用いた場合を例に挙げて説明する。問題解決の一
つの方法として、数２および数５の演算精度を十分に高
くすることにより、数５の演算結果の誤差が輝度値の量
子化ステップサイズより十分に小さくなるようにする方
法が考えられる。この対策を採用した場合について考え
る。まず、数５の演算精度は十分に高いと仮定する。こ
のとき、例えばＲ(０, ０)＝Ｒ(０, １)＝０、Ｒ(１,
０)＝Ｒ(１, １)＝２５５として、さらに０＜ｘ＜１、
０＜ｙ＜１とすれば（以後、これを「最悪の条件」とよ
ぶ）、ｆi(ｘ, ｙ)における大きさ１／２５５以上の誤
差は、必ず輝度値の量子化値の誤差につながることにな
る（輝度値の量子化ステップサイズは１と仮定した）。
したがって、ミスマッチを防ぐためには数２の演算誤差
が１／２５５よりも十分に小さくなるように符号化装置
と復号化装置を作成しなければならない。しかし、演算
精度を上げることは、一般に数値の内部表現の桁数を増
やすことにつながり、演算処理をより複雑にすることに
なる。動き補償処理において数２および数５はきわめて
多くの回数計算されるため、この演算を複雑にすること
は、全体の処理量に深刻な影響を及ぼしてしまう。
フィン変換（数２）、内挿方式として共１次内挿（数
５）を用いた場合を例に挙げて説明する。問題解決の一
つの方法として、数２および数５の演算精度を十分に高
くすることにより、数５の演算結果の誤差が輝度値の量
子化ステップサイズより十分に小さくなるようにする方
法が考えられる。この対策を採用した場合について考え
る。まず、数５の演算精度は十分に高いと仮定する。こ
のとき、例えばＲ(０, ０)＝Ｒ(０, １)＝０、Ｒ(１,
０)＝Ｒ(１, １)＝２５５として、さらに０＜ｘ＜１、
０＜ｙ＜１とすれば（以後、これを「最悪の条件」とよ
ぶ）、ｆi(ｘ, ｙ)における大きさ１／２５５以上の誤
差は、必ず輝度値の量子化値の誤差につながることにな
る（輝度値の量子化ステップサイズは１と仮定した）。
したがって、ミスマッチを防ぐためには数２の演算誤差
が１／２５５よりも十分に小さくなるように符号化装置
と復号化装置を作成しなければならない。しかし、演算
精度を上げることは、一般に数値の内部表現の桁数を増
やすことにつながり、演算処理をより複雑にすることに
なる。動き補償処理において数２および数５はきわめて
多くの回数計算されるため、この演算を複雑にすること
は、全体の処理量に深刻な影響を及ぼしてしまう。
【００１６】
【発明が解決しようとする課題】同一パッチに所属する
すべての画素が共通の動きベクトルを持つ制約がなく、
かつ画素の動きベクトルの水平・垂直成分が隣接画素間
距離の整数倍以外の値を取り得る動き補償方式におい
て、変換関数の計算に要求される演算精度を下げ、かつ
変換関数の演算精度に起因する予測画像のミスマッチの
発生を防ぐ手法を提供する。
すべての画素が共通の動きベクトルを持つ制約がなく、
かつ画素の動きベクトルの水平・垂直成分が隣接画素間
距離の整数倍以外の値を取り得る動き補償方式におい
て、変換関数の計算に要求される演算精度を下げ、かつ
変換関数の演算精度に起因する予測画像のミスマッチの
発生を防ぐ手法を提供する。
【００１７】
【課題を解決するための手段】予測画像の合成の際に使
われる各画素の動きベクトルの水平、垂直成分が、それ
ぞれ隣接画素間距離の１／ｄ1、１／ｄ2（ｄ1、ｄ2は正
の整数）の整数倍の値のみをとるように規定することに
よって、上記の目的は達成される。
われる各画素の動きベクトルの水平、垂直成分が、それ
ぞれ隣接画素間距離の１／ｄ1、１／ｄ2（ｄ1、ｄ2は正
の整数）の整数倍の値のみをとるように規定することに
よって、上記の目的は達成される。
【００１８】
【作用】「課題を解決する手段」で述べた動きベクトル
に関する規定を採用すれば、「従来の技術」で述べた最
悪の条件を与えた場合に必ず輝度値の量子化値の誤差に
つながる変換関数ｆi(ｘ, ｙ)の誤差の大きさは１／ｄ1
となる。例えばｄ1＝４とすれば、「従来の技術」で述
べた対策と比較してｆi(ｘ, ｙ)の演算精度を６ビット
下げた場合でも、最悪の条件のもとで予測画像のミスマ
ッチを起こす危険性をほぼ同じレベルに保つことができ
る。
に関する規定を採用すれば、「従来の技術」で述べた最
悪の条件を与えた場合に必ず輝度値の量子化値の誤差に
つながる変換関数ｆi(ｘ, ｙ)の誤差の大きさは１／ｄ1
となる。例えばｄ1＝４とすれば、「従来の技術」で述
べた対策と比較してｆi(ｘ, ｙ)の演算精度を６ビット
下げた場合でも、最悪の条件のもとで予測画像のミスマ
ッチを起こす危険性をほぼ同じレベルに保つことができ
る。
【００１９】
【実施例】上と同様に変換関数にアフィン変換を用いた
場合を例に挙げて、数２の演算方式の実施例を示す。な
お、ここでは簡単のため、ｄ1＝ｄ2＝ｄ（ｄは正の整
数）であると仮定する。また、パッチは３角形であると
仮定し、パッチの３個の頂点の動きベクトルが動き情報
として伝送されるとする。
場合を例に挙げて、数２の演算方式の実施例を示す。な
お、ここでは簡単のため、ｄ1＝ｄ2＝ｄ（ｄは正の整
数）であると仮定する。また、パッチは３角形であると
仮定し、パッチの３個の頂点の動きベクトルが動き情報
として伝送されるとする。
【００２０】以下では、図１に示す例を用いて説明す
る。参照画像１０１におけるパッチ１０２が現フレーム
１０６のパッチ１０７に移動・変形したと推定されたと
する（格子点１０３、１０４、１０５がそれぞれ格子点
１０８、１０９、１１０に対応している）。このとき、
パッチ１０２の頂点１０３、１０４、１０５の座標をそ
れぞれ(ｘ1', ｙ1')、(ｘ2', ｙ2')、(ｘ3', ｙ3')、パ
ッチ１０７の頂点１０８、１０９、１１０の座標をそれ
ぞれ(ｘ1, ｙ1)、(ｘ2, ｙ2)、(ｘ3, ｙ3)であるとする
と（座標値はすべて負でない整数とする）、このパッチ
における数２の動きパラメータａijは、
る。参照画像１０１におけるパッチ１０２が現フレーム
１０６のパッチ１０７に移動・変形したと推定されたと
する（格子点１０３、１０４、１０５がそれぞれ格子点
１０８、１０９、１１０に対応している）。このとき、
パッチ１０２の頂点１０３、１０４、１０５の座標をそ
れぞれ(ｘ1', ｙ1')、(ｘ2', ｙ2')、(ｘ3', ｙ3')、パ
ッチ１０７の頂点１０８、１０９、１１０の座標をそれ
ぞれ(ｘ1, ｙ1)、(ｘ2, ｙ2)、(ｘ3, ｙ3)であるとする
と（座標値はすべて負でない整数とする）、このパッチ
における数２の動きパラメータａijは、
【００２１】
【数６】
【００２２】で表される。ここで、割り算の演算を行わ
ずに、ａijを分母と分子が整数であるａij＝ａij'／Ｄi
という形のままにしておく。すると、数２の演算結果
は、すべてｆi(ｘ, ｙ)＝ｆi'(ｘ, ｙ)／Ｄiとｇi(ｘ,
ｙ)＝ｇi'(ｘ, ｙ)／Ｄiのような整数を分母と分子とす
る分数の形式で表すことができる。ここで、「//」を整
数同士の除算（演算結果の小数成分を切り捨てる除算）
と定義し、ｋi＝Ｄi//２として、
ずに、ａijを分母と分子が整数であるａij＝ａij'／Ｄi
という形のままにしておく。すると、数２の演算結果
は、すべてｆi(ｘ, ｙ)＝ｆi'(ｘ, ｙ)／Ｄiとｇi(ｘ,
ｙ)＝ｇi'(ｘ, ｙ)／Ｄiのような整数を分母と分子とす
る分数の形式で表すことができる。ここで、「//」を整
数同士の除算（演算結果の小数成分を切り捨てる除算）
と定義し、ｋi＝Ｄi//２として、
【００２３】
【数７】
【００２４】とする。Ｆi(ｘ, ｙ)とＧi(ｘ, ｙ)は、ｆ
i(ｘ, ｙ)とｇi(ｘ, ｙ)を最も近い１／ｄの整数倍の値
に丸め込む関数である。数１においてｆi(ｘ, ｙ)とｇi
(ｘ,ｙ)の代わりにＦi(ｘ, ｙ)とＧi(ｘ, ｙ)を用いる
ことにより、各画素の動きベクトルの水平・垂直成分
が、隣接画素間距離の１／ｄの整数倍の値のみをとるよ
うに制限することができる。また、送信側、受信側で共
にＦi(ｘ, ｙ)とＧi(ｘ,ｙ)を使えば、比較的精度の低
い演算で、変換関数の誤差に起因する予測画像のミスマ
ッチを防ぐことが可能となる。
i(ｘ, ｙ)とｇi(ｘ, ｙ)を最も近い１／ｄの整数倍の値
に丸め込む関数である。数１においてｆi(ｘ, ｙ)とｇi
(ｘ,ｙ)の代わりにＦi(ｘ, ｙ)とＧi(ｘ, ｙ)を用いる
ことにより、各画素の動きベクトルの水平・垂直成分
が、隣接画素間距離の１／ｄの整数倍の値のみをとるよ
うに制限することができる。また、送信側、受信側で共
にＦi(ｘ, ｙ)とＧi(ｘ,ｙ)を使えば、比較的精度の低
い演算で、変換関数の誤差に起因する予測画像のミスマ
ッチを防ぐことが可能となる。
【００２５】図２にｄ＝４である場合にＦi(ｘ, ｙ)と
Ｇi(ｘ, ｙ)を計算する処理の流れを示す。まず、変形
前後のパッチの頂点の座標が２０１で与えられると、２
０２と２０４で関数ｆi'(ｘ, ｙ)とｇi'(ｘ, ｙ)を定義
し、２０３で定数Ｄiを求め、２０５で定数ｋiを求め
る。これらの関数と定数を用いて、パッチ内の画素ごと
に座標(ｘ, ｙ)からＦi(ｘ, ｙ)とＧi(ｘ, ｙ)の値を計
算する。(ｘ, ｙ)が２進整数表現で与えられると、まず
２０６で積和演算を行うことによってｆi'(ｘ,ｙ)とｇ
i'(ｘ, ｙ)の値を求め、この結果を２０７で２ビット左
にシフトすることによって４（＝ｄ）倍する。この結果
に対して２０８でｋiを加え、さらに２０９でＤiで割る
（演算結果の小数成分は切り捨てる）ことによって、４
Ｆi(ｘ,ｙ)と４Ｇi(ｘ, ｙ)の値を得る。この整数の４
Ｆi(ｘ, ｙ)と４Ｇi(ｘ, ｙ)に対して、２１０で下から
２桁目と３桁目の間に小数点を置くことによって、Ｆi
(x, ｙ)とＧi(ｘ, ｙ)の値を得ることができる（これ
は、４で割る演算を行ったことと同じ意味を持つ）。
Ｇi(ｘ, ｙ)を計算する処理の流れを示す。まず、変形
前後のパッチの頂点の座標が２０１で与えられると、２
０２と２０４で関数ｆi'(ｘ, ｙ)とｇi'(ｘ, ｙ)を定義
し、２０３で定数Ｄiを求め、２０５で定数ｋiを求め
る。これらの関数と定数を用いて、パッチ内の画素ごと
に座標(ｘ, ｙ)からＦi(ｘ, ｙ)とＧi(ｘ, ｙ)の値を計
算する。(ｘ, ｙ)が２進整数表現で与えられると、まず
２０６で積和演算を行うことによってｆi'(ｘ,ｙ)とｇ
i'(ｘ, ｙ)の値を求め、この結果を２０７で２ビット左
にシフトすることによって４（＝ｄ）倍する。この結果
に対して２０８でｋiを加え、さらに２０９でＤiで割る
（演算結果の小数成分は切り捨てる）ことによって、４
Ｆi(ｘ,ｙ)と４Ｇi(ｘ, ｙ)の値を得る。この整数の４
Ｆi(ｘ, ｙ)と４Ｇi(ｘ, ｙ)に対して、２１０で下から
２桁目と３桁目の間に小数点を置くことによって、Ｆi
(x, ｙ)とＧi(ｘ, ｙ)の値を得ることができる（これ
は、４で割る演算を行ったことと同じ意味を持つ）。
【００２６】ｄの値は、符号化方式の固定パラメータと
して規定しても、可変として画像データを伝送する前に
送信側と受信側で取り決めても良い。送信側と受信側が
交信を行ってｄを取り決める場合の手続きの例を図３に
示す。送信側３０１は、まず通信３０３において画像符
号化装置のハードウエアの制約から、許容できるｄの上
限が４であることを受信側３０２に告げる。次に受信側
は、画像復号化装置の制約から、ｄの上限が２であるこ
とを通信３０４で告げる。この結果、送信側は最適なｄ
の値が２であると判断し、以後伝送する画像データはｄ
＝２として符号化されたものとなることを通信３０５で
勧告する。そしてこの直後に送信側は通信３０６で画像
データを送信する。一般にｄの値が大きい程、装置のハ
ードウェアは複雑になる。したがって、送信側は送信・
受信側で低い方のｄの上限の値を採用するのが適当であ
ると考えられる。この方式を実現するためには、画像符
号化・復号化装置は、自身の上限以下のｄに対応できる
機能を持たなければならない。
して規定しても、可変として画像データを伝送する前に
送信側と受信側で取り決めても良い。送信側と受信側が
交信を行ってｄを取り決める場合の手続きの例を図３に
示す。送信側３０１は、まず通信３０３において画像符
号化装置のハードウエアの制約から、許容できるｄの上
限が４であることを受信側３０２に告げる。次に受信側
は、画像復号化装置の制約から、ｄの上限が２であるこ
とを通信３０４で告げる。この結果、送信側は最適なｄ
の値が２であると判断し、以後伝送する画像データはｄ
＝２として符号化されたものとなることを通信３０５で
勧告する。そしてこの直後に送信側は通信３０６で画像
データを送信する。一般にｄの値が大きい程、装置のハ
ードウェアは複雑になる。したがって、送信側は送信・
受信側で低い方のｄの上限の値を採用するのが適当であ
ると考えられる。この方式を実現するためには、画像符
号化・復号化装置は、自身の上限以下のｄに対応できる
機能を持たなければならない。
【００２７】ｄの値としては、乗除算の行ないやすさを
考慮して、２のべき乗が良いと考えられる。ｄの値が大
きいほど予測誤差は小さくなるが、予測画像の合成処理
は複雑になる。予測特性を考えると、ｄの値は２以上で
あることが望ましい。予測特性と処理の複雑さのバラン
スを考慮すると、具体的なｄの値として２、４、８が適
当である。
考慮して、２のべき乗が良いと考えられる。ｄの値が大
きいほど予測誤差は小さくなるが、予測画像の合成処理
は複雑になる。予測特性を考えると、ｄの値は２以上で
あることが望ましい。予測特性と処理の複雑さのバラン
スを考慮すると、具体的なｄの値として２、４、８が適
当である。
【００２８】なお、以下の変形も本発明に含まれること
は明らかである。
は明らかである。
【００２９】（１）輝度値の内挿方式として、本明細書
では共１次内挿をとりあげたが、これ以外の関数を用い
ても良い。関数が複雑になれば、演算を簡略化すること
の効果は大きくなる。
では共１次内挿をとりあげたが、これ以外の関数を用い
ても良い。関数が複雑になれば、演算を簡略化すること
の効果は大きくなる。
【００３０】（２）変換関数の種類として、本明細書で
はアフィン変換を中心にとりあげたが、これ以外の変換
関数を用いても良い。変換関数の演算精度に応じてその
演算結果が変化する可能性のある限り、本発明は有効で
ある。
はアフィン変換を中心にとりあげたが、これ以外の変換
関数を用いても良い。変換関数の演算精度に応じてその
演算結果が変化する可能性のある限り、本発明は有効で
ある。
【００３１】（３）パッチの形状は、画素の集合を特定
するものであれば良く、特に本明細書でとりあげた３角
形でなくても良い。
するものであれば良く、特に本明細書でとりあげた３角
形でなくても良い。
【００３２】（４）空間変換に基づく動き補償におい
て、本明細書でとりあげた例のように伝送される動き情
報がパッチの頂点の動きベクトルでなくても良い。動き
情報はパッチごとの変換関数を特定するものでありさえ
すれば良く、例えば数２の動きパラメータａijをそのま
ま伝送しても良い。このように動きパラメータをそのま
ま伝送する場合には、本発明を適用することにより、変
換関数の演算精度に起因する予測画像のミスマッチを防
ぎながら伝送される動きパラメータの精度を下げる（桁
数を減らす）ことが可能となる。ｄの値が小さければ小
さいほど動きパラメータの桁数を少なくするができ、こ
の結果として伝送情報量を少なくすることができる。
て、本明細書でとりあげた例のように伝送される動き情
報がパッチの頂点の動きベクトルでなくても良い。動き
情報はパッチごとの変換関数を特定するものでありさえ
すれば良く、例えば数２の動きパラメータａijをそのま
ま伝送しても良い。このように動きパラメータをそのま
ま伝送する場合には、本発明を適用することにより、変
換関数の演算精度に起因する予測画像のミスマッチを防
ぎながら伝送される動きパラメータの精度を下げる（桁
数を減らす）ことが可能となる。ｄの値が小さければ小
さいほど動きパラメータの桁数を少なくするができ、こ
の結果として伝送情報量を少なくすることができる。
【００３３】（５）実施例では、ｄ1とｄ2の値が等しい
場合を例示したが、両者が異なっていても良い。
場合を例示したが、両者が異なっていても良い。
【００３４】（６）本明細書では、現フレームのパッチ
構造を固定して参照画像のパッチを変形させる方式に関
して説明したが、逆に参照画像のパッチ構造を固定して
現フレームのパッチを変形させる方式であっても良い。
構造を固定して参照画像のパッチを変形させる方式に関
して説明したが、逆に参照画像のパッチ構造を固定して
現フレームのパッチを変形させる方式であっても良い。
【００３５】（７）本明細書では、１個の予測画像を合
成するために用いる参照画像の数は１個として説明した
が、複数の参照画像を用いる方式であっても良い。
成するために用いる参照画像の数は１個として説明した
が、複数の参照画像を用いる方式であっても良い。
【００３６】
【発明の効果】本発明により、同一パッチに所属するす
べての画素が共通の動きベクトルを持つ制約がなく、か
つ画素の動きベクトルの水平・垂直成分が隣接画素間距
離の整数倍以外の値を取り得る動き補償方式において、
予測画像のミスマッチの発生を防ぎながら変換関数の演
算精度を下げることができる。また、画像データの伝送
の前に送信側と受信側でｄ1およびｄ2の値を決める方式
では、送信側と受信側の装置の性能に応じて再生画像の
最適な画質を決定することができる。
べての画素が共通の動きベクトルを持つ制約がなく、か
つ画素の動きベクトルの水平・垂直成分が隣接画素間距
離の整数倍以外の値を取り得る動き補償方式において、
予測画像のミスマッチの発生を防ぎながら変換関数の演
算精度を下げることができる。また、画像データの伝送
の前に送信側と受信側でｄ1およびｄ2の値を決める方式
では、送信側と受信側の装置の性能に応じて再生画像の
最適な画質を決定することができる。
【図１】空間変換に基づく動き補償におけるパッチの移
動・変形の例を示した図である。
動・変形の例を示した図である。
【図２】動きベクトルの水平・垂直成分を１／４の整数
倍に制限したとき（ｄ＝４のとき）の変換関数の演算方
法の例を示した図である。
倍に制限したとき（ｄ＝４のとき）の変換関数の演算方
法の例を示した図である。
【図３】画素の動きベクトルの最小単位である１／ｄの
値を、画像データの通信の前に送信側と受信側の交信に
よって取り決める方式の例を示した図である。
値を、画像データの通信の前に送信側と受信側の交信に
よって取り決める方式の例を示した図である。
１０１…動き推定後の参照画像における１個のパッチ、
１０２、１０７…パッチ、１０３〜１０５、１０８〜１
１０…パッチの頂点、１０６…現フレームの原画像のす
べてのパッチ、２０１…パッチの頂点の座標値、２０２
〜２１０…演算手続き、３０１…送信側の画像符号化装
置、３０２…受信側の画像復号化装置、３０３〜３０６
…通信手続き。
１０２、１０７…パッチ、１０３〜１０５、１０８〜１
１０…パッチの頂点、１０６…現フレームの原画像のす
べてのパッチ、２０１…パッチの頂点の座標値、２０２
〜２１０…演算手続き、３０１…送信側の画像符号化装
置、３０２…受信側の画像復号化装置、３０３〜３０６
…通信手続き。
フロントページの続き (56)参考文献 特開 平５−49023（ＪＰ，Ａ) 特開 平５−130581（ＪＰ，Ａ) 特表 平６−500212（ＪＰ，Ａ) 米国特許4937666（ＵＳ，Ａ) 中屋雄一郎、原島博、「３角形パッチ による動き補償の基礎検討」、電子情報 通信学会技術報告、ＩＥ−106 ｐ．９ −16 1990年３月発行 Ｍｉｃｈａｅｌ Ｇｉｌｇｅ ”Ａ ＨＩＧＨ ＱＵＡＬＩＴＹ ＶＩＤＥＯ ＰＨＯＮＥ ＣＯＤＥＲ ＵＳＩＮＧ ＨＩＥＲＡＣＨＩＣＡＬ ＭＯＴＩＯＮ ＥＳＴＩＭＡＴＩＯＮ ＡＮＤ ＳＴ ＲＵＣＴＵＲＥ ＣＯＤＩＮＧ ＯＦ ＴＨＥ ＰＲＥＤＩＣＴＩＯＮ ＥＲＲ ＯＲ”ＳＰＩＥ Ｖｏｌ．1001 Ｖｉｓ ｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓ ｉｎｇ ’88 (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/24 - 7/68 H03M 7/36
Claims (10)
- 【請求項１】 空間変換に基づく動き補償を行う画像符号
化方法において、 参照画像と現フレームの原画像との間で空間変換に基づ
く動き補償を行い現フレームの予測画像の動き情報を推
定し、 前記予測画像の各画素の動きベクトルの水平・垂直成分
を隣接画素間距離の１／ｄ（ｄは２以上の正の整数）の
整数倍に制限して前記動き情報から求めるときの精度ｄ
を決定し、 前記動き情報及び前記精度ｄを示す情報を伝送すること
を特徴とする画像符号化方法。 - 【請求項２】 請求項１に記載の画像符号化方法におい
て、前記精度ｄの値は、２のｗ乗（ｗは正の整数）であ
ることを特徴とする画像符号化方法。 - 【請求項３】 請求項１あるいは２に記載の画像符号化方
法において、前記動き情報は、前記予測画像のパッチ頂
点の動きベクトルであることを特徴とする画像符号化方
法。 - 【請求項４】 同一パッチ内の画素が異なる動きベクトル
を持つことを許容する動き補償を行う画像符号化方法に
おいて、 参照画像と現フレームの原画像との間で前記動き補償を
行い、現フレームの予測画像のパッチ頂点の動きベクト
ルを推定し、 前記予測画像の各画素の動きベクトルの水平・垂直成分
を隣接画素間距離の１／ｄ（ｄは２以上の正の整数）の
整数倍に制限して前記動きベクトルから求めるときの精
度ｄを決定し、 前記パッチ頂点の動きベクトル及び前記精度ｄを示す情
報を伝送することを特徴とする画像符号化方法。 - 【請求項５】 請求項４に記載の符号化方法において、前
記精度ｄの値は、２のｗ乗（ｗは正の整数）であること
を特徴とする符号化方法。 - 【請求項６】 空間変換に基づく動き補償を行う画像符号
化装置において、 参照画像と現フレームの原画像との間で空間変換に基づ
く動き補償を行い現フレームの予測画像の動き情報を推
定する手段と、 前記予測画像の各画素の動きベクトルの水平・垂直成分
を隣接画素間距離の１／ｄ（ｄは２以上の正の整数）の
整数倍に制限して前記動き情報から求めるときの精度ｄ
を決定し、前記動き情報及び前記精度ｄを示す情報を伝
送する手段を有することを特徴とする画像符号化装置。 - 【請求項７】 請求項６に記載の画像符号化装置におい
て、前記精度ｄの値は、２のｗ乗（ｗは正の整数）であ
ることを特徴とする画像符号装置。 - 【請求項８】 請求項６あるいは７に記載の画像符号化装
置において、前記動き情報は、前記予測画像のパッチ頂
点の動きベクトルであることを特徴とする画像符号化装
置。 - 【請求項９】 同一パッチ内の画素が異なる動きベクトル
を持つことを許容する動き補償を行う画像符号化装置に
おいて、 参照画像と現フレームの原画像との間で前記動き補償を
行い、現フレームの予測画像のパッチ頂点の動きベクト
ルを推定する手段と、 前記予測画像の各画素の動きベクトルの水平・垂直成分
を隣接画素間距離の１／ｄ（ｄは２以上の正の整数）の
整数倍に制限して前記動きベクトルから求めるときの精
度ｄを決定し、前記パッチ頂点の動きベクトル及び前記
精度ｄを示す情報を伝送する手段を有することを特徴と
する画像符号化装置。 - 【請求項１０】 請求項９に記載の符号化装置において、
前記精度ｄの値は、２のｗ乗（ｗは正の整数）であるこ
とを特徴とする符号化装置。
Priority Applications (14)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19397094A JP3218874B2 (ja) | 1994-08-18 | 1994-08-18 | 画像符号化装置及び画像符号化方法 |
| US08/516,218 US5684538A (en) | 1994-08-18 | 1995-08-17 | System and method for performing video coding/decoding using motion compensation |
| US08/903,199 US5963259A (en) | 1994-08-18 | 1997-07-15 | Video coding/decoding system and video coder and video decoder used for the same system |
| US09/364,255 US6134271A (en) | 1994-08-18 | 1999-07-30 | Video coding/decoding system and video coder and video decoder used for the same system |
| US09/626,788 US6285713B1 (en) | 1994-08-18 | 2000-07-26 | Video coding/decoding system and video coder and video decoder used for the same system |
| US09/863,428 US6516033B2 (en) | 1994-08-18 | 2001-05-24 | Video coding method and apparatus for calculating motion vectors of the vertices of a portion of an image and outputting information of horizontal and vertical components of the motion vectors |
| US09/994,728 US6542548B2 (en) | 1994-08-18 | 2001-11-28 | Video coding method and apparatus for calculating motion vectors of the vertices of a patch of an image and transmitting information of horizontal and vertical components of the motion vectors |
| US10/342,273 US6928117B2 (en) | 1994-08-18 | 2003-01-15 | Video coding method and apparatus for calculating motion vectors of the vertices of a patch of an image and transmitting information of horizontal and vertical components of the motion vectors |
| US11/155,570 US7133454B2 (en) | 1994-08-18 | 2005-06-20 | Video coding method and apparatus for calculating motion vectors of the vertices of a patch of an image and transmitting information of horizontal and vertical components of the motion vectors |
| US11/518,177 US7684487B2 (en) | 1994-08-18 | 2006-09-11 | Video coding method and apparatus for calculating motion vectors of the vertices of a patch of an image and transmitting information of horizontal and vertical components of the motion vectors |
| US11/976,227 US7680188B2 (en) | 1994-08-18 | 2007-10-23 | Video coding method and apparatus for calculating motion vectors of the vertices of a patch of an image and transmitting information of horizontal and vertical components of the motion vectors |
| US11/976,230 US8160146B2 (en) | 1994-08-18 | 2007-10-23 | Video coding method and apparatus for calculating motion vectors of the vertices of a patch of an image and transmitting information of horizontal and vertical components of the motion vectors |
| US11/976,228 US8155199B2 (en) | 1994-08-18 | 2007-10-23 | Video coding method and apparatus for calculating motion vectors of the vertices of a patch of an image and transmitting information of horizontal and vertical components of the motion vectors |
| US11/976,229 US8135070B2 (en) | 1994-08-18 | 2007-10-23 | Video coding method and apparatus for calculating motion vectors of the vertices of a patch of an image and transmitting information of horizontal and vertical components of the motion vectors |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19397094A JP3218874B2 (ja) | 1994-08-18 | 1994-08-18 | 画像符号化装置及び画像符号化方法 |
Related Child Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05224499A Division JP3414304B2 (ja) | 1999-03-01 | 1999-03-01 | 画像復号化方法及び復号化装置 |
| JP05224599A Division JP3509610B2 (ja) | 1999-03-01 | 1999-03-01 | 画像符号化方法及び画像符号化装置 |
| JP2001136821A Division JP3591483B2 (ja) | 2001-05-08 | 2001-05-08 | 画像復号化方法及び画像復号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0865675A JPH0865675A (ja) | 1996-03-08 |
| JP3218874B2 true JP3218874B2 (ja) | 2001-10-15 |
Family
ID=16316807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19397094A Expired - Lifetime JP3218874B2 (ja) | 1994-08-18 | 1994-08-18 | 画像符号化装置及び画像符号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3218874B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3183155B2 (ja) * | 1996-03-18 | 2001-07-03 | 株式会社日立製作所 | 画像復号化装置、及び、画像復号化方法 |
| WO1998042137A1 (en) * | 1997-03-14 | 1998-09-24 | Cselt-Centro Studi E Laboratori Telecomunicazioni S.P.A. | Circuit for motion estimation in digitised video sequence encoders |
| US7006571B1 (en) | 1997-06-03 | 2006-02-28 | Hitachi, Ltd. | Method of synthesizing interframe predicted image, and image coding and decoding method and device therefore |
| JP2007312425A (ja) * | 2007-07-30 | 2007-11-29 | Nippon Telegr & Teleph Corp <Ntt> | 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびそれらのプログラムを記録した記録媒体 |
| JP4915317B2 (ja) * | 2007-09-05 | 2012-04-11 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
-
1994
- 1994-08-18 JP JP19397094A patent/JP3218874B2/ja not_active Expired - Lifetime
Non-Patent Citations (2)
| Title |
|---|
| Ｍｉｃｈａｅｌ Ｇｉｌｇｅ "Ａ ＨＩＧＨ ＱＵＡＬＩＴＹ ＶＩＤＥＯＰＨＯＮＥ ＣＯＤＥＲ ＵＳＩＮＧ ＨＩＥＲＡＣＨＩＣＡＬ ＭＯＴＩＯＮ ＥＳＴＩＭＡＴＩＯＮ ＡＮＤ ＳＴＲＵＣＴＵＲＥ ＣＯＤＩＮＧ ＯＦ ＴＨＥ ＰＲＥＤＩＣＴＩＯＮ ＥＲＲＯＲ"ＳＰＩＥ Ｖｏｌ．１００１ Ｖｉｓｕａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ’８８ |
| 中屋雄一郎、原島博、「３角形パッチによる動き補償の基礎検討」、電子情報通信学会技術報告、ＩＥ−１０６ ｐ．９−１６ １９９０年３月発行 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0865675A (ja) | 1996-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6928117B2 (en) | Video coding method and apparatus for calculating motion vectors of the vertices of a patch of an image and transmitting information of horizontal and vertical components of the motion vectors | |
| US7519117B2 (en) | Inter-frame predicted image synthesizing method | |
| JP3218874B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| JP3509610B2 (ja) | 画像符号化方法及び画像符号化装置 | |
| JP3591483B2 (ja) | 画像復号化方法及び画像復号化装置 | |
| JP3414304B2 (ja) | 画像復号化方法及び復号化装置 | |
| JP3921441B2 (ja) | 画像符号化・復号化方法及び画像符号復号装置 | |
| JP4591495B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP4052341B2 (ja) | 画像復号化方法及び画像復号化装置 | |
| JP3864977B2 (ja) | 画像符号化方法及び画像符号化装置 | |
| JP4609602B2 (ja) | 画像復号化方法及び画像符号復号装置 | |
| JPH0865676A (ja) | 画像符号化装置 | |
| JPH10285598A (ja) | 画像符号化／復号化装置 | |
| JP2001136537A (ja) | 画像符号化および復号化方法 | |
| JP2001145115A (ja) | 画像符号化および復号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070810 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080810 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080810 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090810 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110810 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120810 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130810 Year of fee payment: 12 |
|
| EXPY | Cancellation because of completion of term |