JP2006262198A - 動画圧縮符号化装置 - Google Patents
動画圧縮符号化装置 Download PDFInfo
- Publication number
- JP2006262198A JP2006262198A JP2005078005A JP2005078005A JP2006262198A JP 2006262198 A JP2006262198 A JP 2006262198A JP 2005078005 A JP2005078005 A JP 2005078005A JP 2005078005 A JP2005078005 A JP 2005078005A JP 2006262198 A JP2006262198 A JP 2006262198A
- Authority
- JP
- Japan
- Prior art keywords
- search
- image
- target
- search result
- search range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】 本発明の課題は、連続した画像の類似性を利用した動画像圧縮技術のハードウェア実装において、効率よく類似度の高い箇所をみつけることを目的とする。
【解決手段】 本発明の課題は、連続した画像の類似性を用いて動画像圧縮を行う動画像圧縮符号化装置において、参照画像内の探索範囲から対象画像内の処理対象となっている対象矩形との間で最大類似度を示す位置を探索し、該対象画像に対するその位置での動きベクトルと最大類似度とを示す探索結果を取得する最大類似度探索手段と、前記最大類似度探索手段によって決定された最新の前記対象画像に対する前記探索結果を対象画像探索結果とし、該対象画像以前に取得した前記探索結果を過去画像探索結果として参照することによって、所定方向への動き度合いを決定し、その動き度合いに応じてシフトさせた探索範囲を前記最大類似度探索手段へ通知する探索範囲決定手段とを有することにより達成される。
【選択図】 図3
【解決手段】 本発明の課題は、連続した画像の類似性を用いて動画像圧縮を行う動画像圧縮符号化装置において、参照画像内の探索範囲から対象画像内の処理対象となっている対象矩形との間で最大類似度を示す位置を探索し、該対象画像に対するその位置での動きベクトルと最大類似度とを示す探索結果を取得する最大類似度探索手段と、前記最大類似度探索手段によって決定された最新の前記対象画像に対する前記探索結果を対象画像探索結果とし、該対象画像以前に取得した前記探索結果を過去画像探索結果として参照することによって、所定方向への動き度合いを決定し、その動き度合いに応じてシフトさせた探索範囲を前記最大類似度探索手段へ通知する探索範囲決定手段とを有することにより達成される。
【選択図】 図3
Description
本発明は、連続した画像の類似性を利用した動画像圧縮技術のハードウェア実装において、効率よく類似度の高い箇所をみつけることを可能とする動画圧縮装置に関する。
従来より、動画圧縮技術では、対象の画像を細かい矩形に分割して、その小さい矩形ごとに、参照画像から類似度の高い位置(動きベクトル)を探し、その動きベクトルと差分に変換することで高い圧縮効率を実現している。このような動画像圧縮技術では、効率よく類似度の高い箇所を見つけることが重要である。
通常は、時間的に近い画像では大きく動くことはないので、現在の対象の矩形と近い位置の参照画像に限定して探索すれば殆ど十分である。しかし、稀に大きく動く場合もあり、そのように大きく動いた場合に類似度の高い箇所をみつけられるか否かが、画像圧縮の性能を大きく左右することとなる。
従来技術では、予め広い範囲を探索する技術や、最初は狭い範囲で探索して必要に応じて探索範囲を追加して広げていく技術などが提案されている(例えば、特許文献1)。
特開2003−143609号公報
しかしながら、予め広い範囲を探索する従来技術や、必要に応じて探索範囲を追加して広げていく従来技術などは、ハードウェアにて実装しようとすると、計算回数や記憶領域が多く必要になり、専用の特殊な回路を追加する必要があった。
よって、本発明の目的は、連続した画像の類似性を利用した動画像圧縮技術のハードウェア実装において、効率よく類似度の高い箇所をみつける動画圧縮符号化装置を提供することである。
上記課題を解決するため、本発明は、連続した画像の類似性を用いて動画像圧縮を行う動画像圧縮符号化装置において、参照画像内の探索範囲から対象画像内の処理対象となっている対象矩形との間で最大類似度を示す位置を探索し、該対象画像に対するその位置での動きベクトルと最大類似度とを示す探索結果を取得する最大類似度探索手段と、前記最大類似度探索手段によって決定された最新の前記対象画像に対する前記探索結果を対象画像探索結果とし、該対象画像以前に取得した前記探索結果を過去画像探索結果として参照することによって、所定方向への動き度合いを決定し、その動き度合いに応じてシフトさせた探索範囲を前記最大類似度探索手段へ通知する探索範囲決定手段とを有するように構成される。
このような動画圧縮符号化装置では、探索範囲を動きの度合いに応じて動的に適切な位置へと移動させることができるため、連続した画像の類似性を利用した動画像圧縮技術のハードウェア実装において、効率よく類似度の高い箇所をみつけることができる。
本願発明は、連続した画像の類似性を利用した動画像圧縮技術のハードウェア実装において、効率よく類似度の高い箇所をみつけることを可能とする。
以下、本発明の実施の形態を図面に基づいて説明する。
図1は、動画像圧縮符号化装置の構成を示すブロック図である。図1において、動画像圧縮符号化装置(エンコーダ)100は、フレームメモリ11と、動きベクトル探索部12と、直交変換部13と、量子化部14と、可変長符号化部15と、逆量子化部16と、逆直交変換部17と、動き補償部18とを有する。
フレームメモリ11は、再生された復号画像をフレーム単位で記憶する。
動きベクトル探索部12は、映像信号の1フレームをディジタル化した画像データを対象画像として入力して、処理単位に分割された16×16画素のマクロブロック(以下、MBと言う)の矩形に対して、フレームメモリ11に記憶されている前フレームの復号画像(以下、参照画像と言う)との動き差分値が最小となるような動きベクトルを検出し、その動き差分値を直交変換部13に出力する。
ここで、動きベクトルとは、対象画像と参照画像との水平方向および垂直方向における位置の変位を示す2次元ベクトルであり、また、動き差分値とは、対象画像のブロックの各画素データから、動きベクトル分だけ変位した参照画像の8×8ブロックの相対する画素データを差し引いたものである。一般的に、動き差分値が最小とは、各画素の差分絶対値の総和が最小であることを意味する。
直交変換部12は、動き差分値を示す8×8画素のブロック画素データに対して、離散コサイン変換(Discrete Cosine Translation)と呼ばれる周波数変換を施すものであり、この離散コサイン変換された結果は8×8、つまり、64個のDCT係数データとなる。
量子化部14は、入力される各DCT係数データを量子化スケールと呼ばれる値で除算することにより、DCT係数の精度を粗くし、量子化DCT係数を生成する。生成された量子化DCT係数は、可変長符号化部15及び逆量子化部16へと入力される。
可変長符号化部15は、入力される量子化DCT係数をランレングス符号化し、各0ラン列(『0』が連続する列)に可変長符号を割り当てて、符号化ストリームを出力する。
逆量子化部16は、量子化部14から出力される量子化DCT係数に量子化スケール値を乗じて、誤差を含んだDCT係数を復元する。
逆直交変換部17は、DCT係数に逆離散コサイン変換(Inverse Discrete Cosine
Translation)を施して、8×8画素の動き差分画素データを復元する。
Translation)を施して、8×8画素の動き差分画素データを復元する。
動き補償部18は、動きベクトルに基づいて、復号画像メモリ112から前フレームの8×8画素データを読み出し、入力される動き差分画素データを足し込み、現フレームの復号画像を再生し、そして、フレームメモリ11に記憶する。
このような構成において、動画像圧縮符号化装置100では、映像信号の1フレームをディジタル化した画像データを格納可能であって、フレームメモリ11としても使用される外部メモリを備え、動きベクトル探索部12と、直交変換部13及び逆直交変換部17と、量子化部14及び逆量子化部16と、可変長符号化部15と、動き補償部18とが夫々の機能を実現する回路として構成され、各回路と外部メモリとはバスを介して互いに接続されている。フレームメモリ11は、外部メモリとは別に備えるようにしても良い。
以下、このような構成において、動きベクトル探索部12にて実行される探索範囲決定方法について説明する。動きベクトルの演算量を抑制するのみならず、適切な動きベクトルを取得することができるような探索範囲を決定する方法について説明する。
図2は、本発明に係る動きベクトル探索部によって決定される探索範囲を説明するための図である。図2において、時間t(k−1)における参照画像3aと、時間t(k)における参照画像3b(この参照画像は、対象画像4に対する過去画像となる)と、時間t(k+1)における対象画像4とが示される。
探索範囲1aは、過去画面3bのMB2bに対する範囲である。この探索範囲1内のMB毎に対象画像4のMB2の画素値が比較され、探索範囲1内で動き差分値が最小となるような動きベクトルが検出される。
例えば、動きベクトルの検出結果によって、探索範囲1a内のMB2aは、過去画面3bのMB2bの画素値と最も類似するマクロブロックの場合、探索範囲1aは、その動きベクトルの水平方向の位置の変位に基づいて、左右への移動が決定され探索範囲1bが決定される。この場合、動きベクトルが右方向への変位を示していれば、探索範囲1aがマイクロブロックの列単位で右へ移動し探索範囲1bとして決定される。
この探索範囲1bは、対象画像4のMB2cの動きベクトル及び類似度を決定するための範囲となる。この場合、過去画像3bは、対象画像4の参照画像3bとして参照される。
また、同時に、検出された動きベクトルに基づいて決定される探索範囲1aの左右への動きの度合いに応じて、次の探索範囲1bを形成するために追加すべき左右いずれかのMBをフレームメモリ11から読み込む。
本発明では、対象画像4のMB2cに対して、探索範囲1bは一定の大きさを保ち、左右へ移動するのみである。このような仕組みとすることによって、例えば、右へ動いた場合、動きの度合いに応じて1列、2列、3列、・・・のようにMBの読み込みを指定すればよい。従って、読み込むべきMBの範囲を簡潔に指定することができるようになる。また、次に左へ戻る場合、既に読み込んだ左側の列のMBを使用すればよく、動きベクトルの探索の処理を効果的に行うことができる。
図3は、動きベクトル探索部の構成を示す図である。図3において、動きベクトル12は、最大類似度探索部122と、探索範囲決定部123と、対象画像探索結果統計部124aと、対象画像周辺探索結果統計部125aと、過去画像探索結果統計部124bと、過去画像周辺探索結果統計部125bと、探索結果記憶部126と、参照画像用内部記憶部127と、対象画像用内部記憶部128とを有する。
最大類似度探索部122は、探索範囲決定部123から通知される探索範囲に基づいて、対象画像用内部記憶部128に格納される対象画像のMBに対して、参照画像用内部記憶部127に格納される探索範囲に含まれるMBから最大類似度となる動きベクトルを探す。最大類似度探索部122は、探索結果として、その動きベクトルと、最大類似度とを探索結果記憶部126へ記憶すると共に、動き差分値を直交変換部13へ通知する。
類似度とは、各画素の差分絶対値の総和(差分絶対値和(SAD))の逆数、又は、差分を周波数変換した結果の和(SAT)の逆数等によって示される。最大類似度とは、類似度が最大となる動きベクトルの類似度を示す。
探索範囲決定部123は、対象画像に関する動きベクトルと、過去画像に関する動きベクトルに対して所定処理を行い、その結果を用いて次ぎの探索範囲を決定する。また、探索範囲決定部123は、この結果に基づいて、左右への動き度合いに応じてMBを読み込む列数を決定し、フレームメモリ11に対して、読み込むべき列数を読み込み範囲として指定する。
対象画像探索結果統計部124aは、探索結果記憶部126に格納されている対象画像検索結果から対象画像の一画面に係る探索結果を取得して、その探索結果に統計処理を行って動きベクトルを算出し、探索範囲決定部123へ通知する。
対象画像周辺探索結果統計部125aは、探索結果記憶部126に格納されている対象画像検索結果から対象画像のMBの周辺MBに係る探索結果を取得して、その探索結果に統計処理を行って動きベクトルを算出し、探索範囲決定部123へ通知する。
過去画像探索結果統計部124bは、探索結果記憶部126に格納されている過去画像探索結果から過去画像の一画面に係る探索結果を取得して、その探索結果に統計処理を行って動きベクトルを算出し、探索範囲決定部123へ通知する。
過去画像周辺探索結果統計部125bは、探索結果記憶部126に格納されている過去画像探索結果から過去画像のMBの周辺MBに係る探索結果を取得して、その探索結果に統計処理を行って動きベクトルを算出し、探索範囲決定部123へ通知する。
探索結果記憶部126は、最大類似と探索部122から通知される探索結果を順次蓄積する。対象画像の探索結果を蓄積し、次の対象画像の探索結果が通知されると、新たに対象画像探索結果として蓄積される。説明の便宜上、それ以前に蓄積された対象画像探索結果は、過去画像探索結果として使用される。探索結果記憶部126は、少なくとも、1つの対象画像探索結果と1つの過去画像探索結果とを格納するのに必要な領域を有する。この領域は、画像データに比べてサイズが小さいので、動きベクトル探索部12が有する内部記憶部127又は128の領域の一部を割り当てても良いし、フレームメモリ11の領域の一部を割り当てても良い。
参照画像用内部記憶部127は、フレームメモリ11から送信される探索範囲決定部123によって指定された範囲の画像データをマクロブロックの列単位で格納する。参照画像用127は、所定の大きさの探索範囲より更にマクロブロックを数列分格納可能な領域を有する。
対象画像用内部記憶部128は、映像信号の1フレームをディジタル化した対象画像を格納する。
図3中、点線で囲まれる部分Aが探索範囲決定処理に関する部分である。
先ず、探索範囲決定処理においける探索範囲決定部123での処理について図4で説明する。図4は、探索範囲決定部での処理を説明するためのフローチャート図である。図4において、探索範囲決定部123は、対象MBの位置を決定し、対象画像周辺探索結果統計部及び過去画像周辺探索結果統計部へと通知する(ステップS11)。
探索範囲決定部123は、対象画像周辺探索結果統計部125a及び過去画像周辺探索結果統計部125bから通知される対象MBと一致しそうな動きベクトルを、対象画像周辺ベクトル及び過去画像周辺ベクトルとして夫々受信する(ステップS12)。
また、探索範囲決定部123は、対象画像探索結果統計部124a及び過去画像探索結果統計部124bから通知される一画面の動きベクトルの平均値を、対象画像平均ベクトル及び過去画像平均ベクトルとして受信する(ステップS13)。
そして、探索範囲決定部123は、対象画像周辺ベクトルと、過去画像周辺ベクトルと、対象画像平均ベクトルと、過去画像平均ベクトルとに対して、重要な動きベクトル落とさないように重み付けを行い、探索範囲を決定する(ステップS14)。
探索範囲決定部123は、決定した探索範囲と、直前の対象MBの探索範囲との差分を求める(ステップS15)。直前の対象MBとは、例えば、図2を参照すると、MB2cの左隣のMBとなる。
差分が所定値の範囲以内ならば、通常通り所定読み込み範囲をフレームメモリ11に指定する(ステップS16−2)。差分が左へ移動を示す値である場合、フレームメモリ11への読み込み範囲の指定を行うことなく、ステップS17へと進む。差分が右へ移動を示す値である場合、右への動きの度合いに応じてMB列の列数を決定し、読み込み範囲としてフレームメモリ11に指定する(ステップS16−4)。
そして、探索範囲決定部123は、決定した探索範囲を最大類似度探索部に通知して(ステップS16)、この処理を終了する。
図5は、対象画像周辺探索結果統計部による処理を説明するためのフローチャート図である。図5において、探索範囲決定部123から対象MBの位置を受信すると(ステップS20)、対象画像周辺探索結果統計部125aは、探索範囲決定部123から通知された対象MBの位置の周辺で既に探索が終了している周辺MBの探索結果を探索結果記憶部126の対象画像探索結果から取得する(ステップS21)。
対象画像周辺探索結果統計部125aは、各周辺MBについて対象MBとの距離に応じた類似度に対する重み付け処理を行い(ステップS22)、重み付けされた類似度のうち、閾値以上の類似度の周辺MBの動きベクトルを探索範囲決定部123へ通知する(ステップS23)。閾値以上の類似度がない場合、例えば、ゼロが探索範囲決定部123へ通知される。閾値以上の類似度が1つ又は複数ある場合、その類似度の周辺MBの動きベクトルを1つ又は複数が探索範囲決定部123へ通知される。
図6は、過去画像周辺探索結果統計部による処理を説明するためのフローチャート図である。図6において、探索範囲決定部123から対象MBの位置を受信すると(ステップS30)、過去画像周辺探索結果統計部125aは、探索範囲決定部から通知された対象MBの位置の周辺の過去画像における周辺MBの探索結果を探索結果記憶部の過去画像探索結果から取得する(ステップS31)。
過去画像周辺探索結果統計部125aは、対象画像とその参照画像までの時間差と、過去画像とその参照画像までの時間差とに基づいて、移動距離を予測して、過去画像の周辺MBが対象MBへ移動してきたか否かを判断する(ステップS32)。ここで、例えば、画像内の全ての物体が等速に動いていると仮定して、過去画像における各周辺MBについて、その動きベクトルから対象MBの位置に移動してきたか否かを判断する。
図2を参照すると、過去画像とその参照画像までの時間差は、時間t(k)と時間t(k−1)の時間差で示され、対象画像とその参照画像までの時間差は、時間t(k+1)と時間t(k)の時間差で示される。この2つの時間差が等しい場合、過去画像3bに対する参照画像3aでの周辺MBの動きベクトルを2倍した動きベクトルによって示される対象画像4でのMBの位置が対象MBの位置であるか否かが判断される。
次に、過去画像周辺探索結果統計部125aは、対象MBへ移動してきたと判断される周辺MBについて、対象MBへの動きベクトルを求める(ステップS33)。ここでの動きベクトルは、予測される動きベクトルとなる。
そして、過去画像周辺探索結果統計部125aは、対象MBへ移動してきたと判断される周辺MBのうち、閾値以上の類似度の周辺MBの動きベクトルを探索範囲決定部123へ通知し(ステップS34)、この処理を終了する。
図7は、対象画像探索結果統計部での処理を説明するためのフローチャート図である。図7において、対象画像探索結果統計部124aは、探索結果記憶部126の対象画像探索結果について、類似度に基づく重み付けをして統計した動きベクトルを1つ取得する(ステップS40)。例えば、類似度に基づく重み付けをした後、一画面中の動きベクトルの平均値を取得する。そして、対象画像探索結果統計部124aは、ステップS40で取得した動きベクトルを、一画面における対象画像平均ベクトルとして探索範囲決定部123へ通知して(ステップS41)、この処理を終了する。
図8は、過去画像探索結果統計部での処理を説明するためのフローチャート図である。図8において、過去画像探索結果統計部124bは、探索結果記憶部126の過去画像探索結果について、類似度に基づく重み付けをして統計した動きベクトルを1つ取得する(ステップS50)。例えば、類似度に基づく重み付けをした後、一画面中の動きベクトルの平均値を取得する。そして、過去画像探索結果統計部124bは、ステップS50で取得した動きベクトルを、一画面における過去画像平均ベクトルとして探索範囲決定部123へ通知して(ステップS51)、この処理を終了する。
次に、本発明に係る探索範囲決定部123によって指定されたMB列の数に応じてフレームメモリ11から参照画像用内部記憶部127へ読み込まれる様子について図9及び図10で説明する。図9及び図10において、探索範囲は、5×5マクロブロックとして説明し、1MB列とは、探索範囲における1列分(つまり、縦に5マイクロブロック)を意味する。また、参照画像用内部記憶部127は、探索範囲を充分に格納可能とし、例えば、8MB列(40マクロブロック分)を格納できるもととする。
図9は、マクロブロックを1列読み込む場合を説明するための図である。図9中、参照画像用内部記憶部127内には、既に、R00からR04、R10からR14、R20からR24、R30からR34、R40からR44、R50からR54、R60からR64の7MB列が読み込まれているとする。また、この読み込みの状態において、対象MBの位置2に対応する探索範囲は実践で囲まれるR20からR24、R30からR34、R40からR44、R50からR54、R60からR64の5MB列である。
図9において、探索範囲決定部123は、例えば、右への動きの度合いに応じて、探索範囲を次の1MB列分をシフトすると判断した場合、フレームメモリ11へ次の1MB列を読み込み範囲として指定する(1)。
フレームメモリ11は、探索範囲決定部123からの範囲指定に従って、次の1MB列(つまりR70からR74までを1MB列として)参照画像用内部記憶部127へ送信する(2)。画像参照用内部記憶部127は、1MB列をフレームメモリ11から受信すると、R60からR64の1MB列の次に格納する。
そして、探索範囲決定部123は、1MB列分右へシフトさせた点線で囲まれるR30からR34、R40からR44、R50からR54、R60からR64、R70からR74の5MB列を最大類似度検索部122へ探索範囲として通知する(3)。例えば、探索範囲決定部123は、最初のMB列の先頭位置を最大類似度検索部122へ通知する。
図9では、探索範囲を左へ1MB列シフトさせる場合には、探索範囲決定部123は、フレームメモリ11に対して読み込み範囲を指定しない。実践で囲まれる探索範囲を単に、左に1MB列シフトするのみで、既に読み込んでいるR10からR14の1MB列を再利用する。
また、このような最小の1MB列を固定で読み込むのみにすることによって、処理を簡潔にすることも可能である。
次に、探索範囲決定部123が数列分のMB列を指定した場合について説明する。図10は、マクロブロックを数列読み込む場合を説明するための図である。図10中、参照画像用内部記憶部127内には、既に、R00からR04、R10からR14、R20からR24、R30からR34、R40からR44、R50からR54、R60からR64の7MB列が読み込まれているとする。また、この読み込みの状態において、対象MBの位置2に対応する探索範囲は実践で囲まれるR20からR24、R30からR34、R40からR44、R50からR54、R60からR64の5MB列である。
図10において、探索範囲決定部123は、例えば、右への動きの度合いに応じて、探索範囲を次の2MB列分をシフトすると判断した場合、フレームメモリ11へ次の2MB列を読み込み範囲として指定する(1)。
フレームメモリ11は、探索範囲決定部123からの範囲指定に従って、次の2MB列(つまりR70からR74と、R80からR84までを2MB列として)参照画像用内部記憶部127へ送信する(2)。画像参照用内部記憶部127は、2MB列をフレームメモリ11から受信すると、先ず、最初の1MB列をR60からR64のMB列の次に格納し、探索範囲として使用されないR00からR04のMB列にR80からR84のMB列を上書きする。
そして、探索範囲決定部123は、2MB列分右へシフトさせた点線で囲まれるR40からR44、R50からR54、R60からR64、R70からR74、R80からR84の5MB列を最大類似度検索部122へ探索範囲として通知する(3)。例えば、探索範囲決定部123は、最初のMB列の先頭位置を最大類似度検索部122へ通知する。
図10では、探索範囲を左へ2MB列シフトさせる場合には、探索範囲決定部123は、フレームメモリ11に対して読み込み範囲を指定しない。実践で囲まれる探索範囲を単に、左に2MB列シフトするのみで、既に読み込んでいるR00からR04とR10からR14との2MB列を再利用する。
上記実施例において、本発明は、探索範囲のサイズを固定にすることができるため、探索範囲のマクロブロックの管理が簡潔化される。
また、過去画像から予測される動きベクトルを更に用いることによって、より重要な動きベクトルの判断の精度を向上させることができる。
更に、左右への動きの度合いで次に探索範囲を決定する仕組みにより、探索範囲内として使用されるマクロブロックの読み込み処理を簡素化することができる。また、戻るような動きの場合、既に読み込んだマクロブロックを再利用することができるため、記憶領域を有効に利用することができる。
また、探索範囲のマクロブロックの管理が簡潔化されることによって、単純な回路で実現することができる。
上記実施例では、平行方向(左右の動き)で探索範囲を決定する場合を説明したが、本発明を垂直方向(上下の動き)で探索範囲を決定する場合に適応しても良い。
動きの度合いに応じて、固定サイズの探索範囲を平行方向或いは垂直方向へ移動させる簡単な制御であるため、動きの度合いに応じて探索範囲のサイズを大きく又は小さく可変とする制御に比べて、探索範囲内のマクロブロックを格納するため記憶領域が小さい領域で実現でき、また、可変となる探索範囲のサイズによる複雑な書き換え制御を行なう回路を不要とすることができる。
本発明は、MPEG2、MPEG4、及びH.264などに適応可能である。
以上の説明に関し、更に以下の項を開示する。
(付記1)
連続した画像の類似性を用いて動画像圧縮を行う動画像圧縮符号化装置において、
参照画像内の探索範囲から対象画像内の処理対象となっている対象矩形との間で最大類似度を示す位置を探索し、該対象画像に対するその位置での動きベクトルと最大類似度とを示す探索結果を取得する最大類似度探索手段と、
前記最大類似度探索手段によって決定された最新の前記対象画像に対する前記探索結果を対象画像探索結果とし、該対象画像以前に取得した前記探索結果を過去画像探索結果として参照することによって、所定方向への動き度合いを決定し、その動き度合いに応じてシフトさせた探索範囲を前記最大類似度探索手段へ通知する探索範囲決定手段とを有することを特徴とする動画圧縮符号化装置。
(付記2)
前記探索範囲決定手段は、
前記決定した探索範囲と、直前の対象矩形の探索範囲との差分を求めて、差分が前記決定した探索範囲が該直前の対象矩形の探索範囲より前記所定方向への移動を示す場合、前記動き度合いに応じてシフトさせる該探索範囲の矩形の列数を決定する列数決定手段と、
前記列数決定手段によって決定された列数を前記探索範囲を記憶しておく内部記憶領域へ読み込む範囲として、前記参照画像を格納している格納領域へ指定する読み込み範囲指定手段とを有することを特徴とする付記1記載の画像圧縮符号化装置。
(付記3)
前記探索範囲決定手段は、前記決定した探索範囲と、直前の対象矩形の探索範囲との差分が前記決定した探索範囲が該直前の対象矩形の探索範囲より前記所定方向と逆方向への移動を示す場合、前記読み込み範囲指定手段を無効とし、前記シフトさせた探索範囲を前記最大類似度探索手段へ通知することを特徴とする付記2記載の画像圧縮符号化装置。
(付記4)
前記最大類似度探索手段による前記探索結果を順次累積する探索結果記憶手段と、
該対象画像より以前に処理された過去画像において、前記対象画像の対象矩形の位置の周辺に相当する過去周辺矩形の探索結果を前記探索結果記憶手段から取得し、該探索結果を用いて該対象矩形へと移動したと予測される過去周辺矩形を決定し、該過去周辺矩形について予測される動きベクトルを過去画像周辺ベクトルとして前記探索範囲決定手段へ通知する過去画像周辺探索結果統計手段を有することを特徴とする付記1乃至3のいずれか一項記載の動画圧縮符号化装置。
(付記5)
前記過去画像周辺探索結果統計手段は、前記対象画像とその参照画像までの時間差と、過去画像とその参照画像までの時間差とに基づいて、移動距離を予測して前記過去周辺矩形が前記対象矩形へと移動してきたか否かを判断する移動判断手段を有することを特徴とする付記4記載の動画像圧縮符号化装置
(付記6)
前記過去画像周辺探索結果統計手段は、更に、前記移動判断手段によって前記対象矩形へ移動してきたと判断される前記過去周辺矩形のうち、閾値以上の類似度を示す過去周辺矩形の動きベクトルを前記過去画像周辺ベクトルとして決定する過去画像周辺ベクトル決定手段を有することを特徴とする付記5記載の動画圧縮符号化装置。
(付記7)
前記対象矩形の周辺に位置し、かつ既に探索が終了している前記対象画像における対象周辺矩形の探索結果を前記探索結果記憶手段から取得し、該探索結果を用いて該対象矩形と該対象周辺矩形との距離に応じた類似度に対する重み付け処理を行い、閾値以上の類似度を示す対象周辺矩形の動きベクトルを対象画像周辺ベクトルとして前記探索範囲決定手段へ通知する対象画像周辺探索結果総計手段を有することを特徴とする付記4乃至6のいずれか一項記載の動画圧縮符号化装置。
(付記8)
前記探索結果記憶手段に格納されている前記過去画像の探索結果を用いて、類似度に基づく重み付けをして統計することによって取得した該過去画像の一画面における平均的な動きベクトルを過去画像平均ベクトルとして探索範囲決定手段へ通知する付記4乃至7のいずれか一項記載の動画圧縮符号化装置。
(付記9)
前記探索結果記憶手段に格納されている前記対象画像の探索結果を用いて、類似度に基づく重み付けをして統計することによって取得した該対象画像の一画面における平均的な動きベクトルを対象画像平均ベクトルとして探索範囲決定手段へ通知する付記1乃至5のいずれか一項記載の動画圧縮符号化装置。
(付記1)
連続した画像の類似性を用いて動画像圧縮を行う動画像圧縮符号化装置において、
参照画像内の探索範囲から対象画像内の処理対象となっている対象矩形との間で最大類似度を示す位置を探索し、該対象画像に対するその位置での動きベクトルと最大類似度とを示す探索結果を取得する最大類似度探索手段と、
前記最大類似度探索手段によって決定された最新の前記対象画像に対する前記探索結果を対象画像探索結果とし、該対象画像以前に取得した前記探索結果を過去画像探索結果として参照することによって、所定方向への動き度合いを決定し、その動き度合いに応じてシフトさせた探索範囲を前記最大類似度探索手段へ通知する探索範囲決定手段とを有することを特徴とする動画圧縮符号化装置。
(付記2)
前記探索範囲決定手段は、
前記決定した探索範囲と、直前の対象矩形の探索範囲との差分を求めて、差分が前記決定した探索範囲が該直前の対象矩形の探索範囲より前記所定方向への移動を示す場合、前記動き度合いに応じてシフトさせる該探索範囲の矩形の列数を決定する列数決定手段と、
前記列数決定手段によって決定された列数を前記探索範囲を記憶しておく内部記憶領域へ読み込む範囲として、前記参照画像を格納している格納領域へ指定する読み込み範囲指定手段とを有することを特徴とする付記1記載の画像圧縮符号化装置。
(付記3)
前記探索範囲決定手段は、前記決定した探索範囲と、直前の対象矩形の探索範囲との差分が前記決定した探索範囲が該直前の対象矩形の探索範囲より前記所定方向と逆方向への移動を示す場合、前記読み込み範囲指定手段を無効とし、前記シフトさせた探索範囲を前記最大類似度探索手段へ通知することを特徴とする付記2記載の画像圧縮符号化装置。
(付記4)
前記最大類似度探索手段による前記探索結果を順次累積する探索結果記憶手段と、
該対象画像より以前に処理された過去画像において、前記対象画像の対象矩形の位置の周辺に相当する過去周辺矩形の探索結果を前記探索結果記憶手段から取得し、該探索結果を用いて該対象矩形へと移動したと予測される過去周辺矩形を決定し、該過去周辺矩形について予測される動きベクトルを過去画像周辺ベクトルとして前記探索範囲決定手段へ通知する過去画像周辺探索結果統計手段を有することを特徴とする付記1乃至3のいずれか一項記載の動画圧縮符号化装置。
(付記5)
前記過去画像周辺探索結果統計手段は、前記対象画像とその参照画像までの時間差と、過去画像とその参照画像までの時間差とに基づいて、移動距離を予測して前記過去周辺矩形が前記対象矩形へと移動してきたか否かを判断する移動判断手段を有することを特徴とする付記4記載の動画像圧縮符号化装置
(付記6)
前記過去画像周辺探索結果統計手段は、更に、前記移動判断手段によって前記対象矩形へ移動してきたと判断される前記過去周辺矩形のうち、閾値以上の類似度を示す過去周辺矩形の動きベクトルを前記過去画像周辺ベクトルとして決定する過去画像周辺ベクトル決定手段を有することを特徴とする付記5記載の動画圧縮符号化装置。
(付記7)
前記対象矩形の周辺に位置し、かつ既に探索が終了している前記対象画像における対象周辺矩形の探索結果を前記探索結果記憶手段から取得し、該探索結果を用いて該対象矩形と該対象周辺矩形との距離に応じた類似度に対する重み付け処理を行い、閾値以上の類似度を示す対象周辺矩形の動きベクトルを対象画像周辺ベクトルとして前記探索範囲決定手段へ通知する対象画像周辺探索結果総計手段を有することを特徴とする付記4乃至6のいずれか一項記載の動画圧縮符号化装置。
(付記8)
前記探索結果記憶手段に格納されている前記過去画像の探索結果を用いて、類似度に基づく重み付けをして統計することによって取得した該過去画像の一画面における平均的な動きベクトルを過去画像平均ベクトルとして探索範囲決定手段へ通知する付記4乃至7のいずれか一項記載の動画圧縮符号化装置。
(付記9)
前記探索結果記憶手段に格納されている前記対象画像の探索結果を用いて、類似度に基づく重み付けをして統計することによって取得した該対象画像の一画面における平均的な動きベクトルを対象画像平均ベクトルとして探索範囲決定手段へ通知する付記1乃至5のいずれか一項記載の動画圧縮符号化装置。
本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
1a、1b 探索範囲
2a、2b、2c マクロブロック(MB)
3a 参照画像
3b 参照画像(過去画像)
4 対象画像
11 フレームメモリ
12 動きベクトル探索部
13 直交変換部
14 量子化部
15 可変長符号化部
16 逆量子化部
17 逆直交変換部
18 動き補償部
122 最大類似度探索部
123 探索範囲決定部
124a 対象画像探索結果統計部
124b 過去画像探索結果統計部
125a 対象画像周辺探索結果統計部
125b 過去画像周辺探索結果統計部
126 探索結果記憶部
127 参照画像用内部記憶部
128 対象画像用内部記憶部
2a、2b、2c マクロブロック(MB)
3a 参照画像
3b 参照画像(過去画像)
4 対象画像
11 フレームメモリ
12 動きベクトル探索部
13 直交変換部
14 量子化部
15 可変長符号化部
16 逆量子化部
17 逆直交変換部
18 動き補償部
122 最大類似度探索部
123 探索範囲決定部
124a 対象画像探索結果統計部
124b 過去画像探索結果統計部
125a 対象画像周辺探索結果統計部
125b 過去画像周辺探索結果統計部
126 探索結果記憶部
127 参照画像用内部記憶部
128 対象画像用内部記憶部
Claims (5)
- 連続した画像の類似性を用いて動画像圧縮を行う動画像圧縮符号化装置において、
参照画像内の探索範囲から対象画像内の処理対象となっている対象矩形との間で最大類似度を示す位置を探索し、該対象画像に対するその位置での動きベクトルと最大類似度とを示す探索結果を取得する最大類似度探索手段と、
前記最大類似度探索手段によって決定された最新の前記対象画像に対する前記探索結果を対象画像探索結果とし、該対象画像以前に取得した前記探索結果を過去画像探索結果として参照することによって、所定方向への動き度合いを決定し、その動き度合いに応じてシフトさせた探索範囲を前記最大類似度探索手段へ通知する探索範囲決定手段とを有することを特徴とする動画圧縮符号化装置。 - 前記探索範囲決定手段は、
前記決定した探索範囲と、直前の対象矩形の探索範囲との差分を求めて、差分が前記決定した探索範囲が該直前の対象矩形の探索範囲より前記所定方向への移動を示す場合、前記動き度合いに応じてシフトさせる該探索範囲の矩形の列数を決定する列数決定手段と、
前記列数決定手段によって決定された列数を前記探索範囲を記憶しておく内部記憶領域へ読み込む範囲として、前記参照画像を格納している格納領域へ指定する読み込み範囲指定手段とを有することを特徴とする請求項1記載の画像圧縮符号化装置。 - 前記最大類似度探索手段による前記探索結果を順次累積する探索結果記憶手段と、
該対象画像より以前に処理された過去画像において、前記対象画像の対象矩形の位置の周辺に相当する過去周辺矩形の探索結果を前記探索結果記憶手段から取得し、該探索結果を用いて該対象矩形へと移動したと予測される過去周辺矩形を決定し、該過去周辺矩形について予測される動きベクトルを過去画像周辺ベクトルとして前記探索範囲決定手段へ通知する過去画像周辺探索結果統計手段を有することを特徴とする請求項1乃至3のいずれか一項記載の動画圧縮符号化装置。 - 前記対象矩形の周辺に位置し、かつ既に探索が終了している前記対象画像における対象周辺矩形の探索結果を前記探索結果記憶手段から取得し、該探索結果を用いて該対象矩形と該対象周辺矩形との距離に応じた類似度に対する重み付け処理を行い、閾値以上の類似度を示す対象周辺矩形の動きベクトルを対象画像周辺ベクトルとして前記探索範囲決定手段へ通知する対象画像周辺探索結果総計手段を有することを特徴とする請求項3記載の動画圧縮符号化装置。
- 前記探索結果記憶手段に格納されている前記過去画像の探索結果を用いて、類似度に基づく重み付けをして統計することによって取得した該過去画像の一画面における平均的な動きベクトルを過去画像平均ベクトルとして探索範囲決定手段へ通知する請求項2又は4記載の動画圧縮符号化装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005078005A JP2006262198A (ja) | 2005-03-17 | 2005-03-17 | 動画圧縮符号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005078005A JP2006262198A (ja) | 2005-03-17 | 2005-03-17 | 動画圧縮符号化装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006262198A true JP2006262198A (ja) | 2006-09-28 |
Family
ID=37100920
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005078005A Withdrawn JP2006262198A (ja) | 2005-03-17 | 2005-03-17 | 動画圧縮符号化装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006262198A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012157965A (ja) * | 2011-02-02 | 2012-08-23 | Kanazawa Univ | ロボットの運動方法決定装置、ロボットの運動方法決定方法、及び、そのプログラム |
-
2005
- 2005-03-17 JP JP2005078005A patent/JP2006262198A/ja not_active Withdrawn
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012157965A (ja) * | 2011-02-02 | 2012-08-23 | Kanazawa Univ | ロボットの運動方法決定装置、ロボットの運動方法決定方法、及び、そのプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210314568A1 (en) | Moving image decoding method and moving image coding method | |
KR100803611B1 (ko) | 영상의 부호화, 복호화 방법 및 장치 | |
KR100739281B1 (ko) | 움직임 추정 방법 및 장치 | |
RU2761511C2 (ru) | Окно ограниченного доступа к памяти для уточнения вектора движения | |
KR20200015734A (ko) | 다중 참조 예측을 위한 움직임 벡터 개선 | |
CN111201795B (zh) | 存储访问窗口和用于运动矢量修正的填充 | |
US6418168B1 (en) | Motion vector detection apparatus, method of the same, and image processing apparatus | |
CN111201792B (zh) | 指向分数像素点位置的运动矢量的修正运动矢量 | |
JP4993676B2 (ja) | 画像符号化装置及び画像符号化方法 | |
CN112292862A (zh) | 用于运动矢量修正和运动补偿的存储器访问窗口和填充 | |
US20070098075A1 (en) | Motion vector estimating device and motion vector estimating method | |
KR100843418B1 (ko) | 화상 부호화 장치 및 화상 부호화 방법 | |
JP2007166038A (ja) | 動きベクトル検出装置および動きベクトル検出方法 | |
JPWO2010052837A1 (ja) | 画像復号装置、画像復号方法、集積回路及びプログラム | |
US20050123039A1 (en) | Motion estimation method for motion picture encoding and recording medium having program recorded thereon to implement the motion estimation method | |
US7852939B2 (en) | Motion vector detection method and device of the same | |
US20020168008A1 (en) | Method and apparatus for coding moving pictures | |
JP2005244749A (ja) | 動画像符号化装置 | |
CN101394559B (zh) | 动态图像处理方法、译码方法及其装置 | |
JP2006262198A (ja) | 動画圧縮符号化装置 | |
JP5281597B2 (ja) | 動きベクトル予測方法,動きベクトル予測装置および動きベクトル予測プログラム | |
JP2008072608A (ja) | 画像符号化装置及び画像符号化方法 | |
JP6367452B2 (ja) | 画像符号化方法及び画像復号化方法 | |
JP6370977B2 (ja) | 画像符号化方法及び画像復号化方法 | |
JP2000050278A (ja) | 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20080603 |