JP4430690B2

JP4430690B2 - 動き探索装置、動き探索方法、動き探索プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number: JP4430690B2
Application number: JP2007152335A
Authority: JP
Inventors: 隆之大西; 高庸新田; 次郎長沼
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2007-06-08
Filing date: 2007-06-08
Publication date: 2010-03-10
Anticipated expiration: 2027-06-08
Also published as: JP2008306519A

Description

本発明は、時間方向予測を使用する映像符号化で用いられる動き探索装置およびその方法と、その動き探索装置の実現に用いられる動き探索プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。

動画像や音声などのディジタル信号を圧縮符号化する技術として、例えばＭＰＥＧ（Moving Picture Experts Group）方式が知られている。ディジタル放送やＤＶＤなどの高画質用途にはＭＰＥＧ−２符号化方式、携帯テレビ電話などの低ビットレート用途にはＭＰＥＧ−４符号化方式が広く用いられている。

さらに最近では、ＩＴＵ−Ｔ（The International Telecommunication Union Telecommunication Standardization Sector）とＭＰＥＧが共同で標準化を行ったＨ.264／ＡＶＣ符号化方式が、高画質と高圧縮率とを両立する新たな方式として注目を集めている。

こうした動画像符号化方式では一般的に、時間方向予測による符号量の削減手法がとられる。時間方向予測とは、ある一枚の画像を符号化する際に、時間的に過去ないし未来に位置する画像（以降、参照画像と呼称する）の一部分を切り出して、画面内の被写体の動きに応じて移動させたうえで貼り込む手法であり、時間的に連続して存在する被写体の情報量を大きく削減して符号化する効果がある。

時間方向予測を効率的に行うため、画面内の被写体の動きに応じて、参照画像のどの位置から画像を切り出すかを判定するために、動き探索が行われる。

図１６に、動き探索の典型的な処理例を示す。動き探索では、参照画像内の探索範囲に含まれるすべての予測候補の画素値に対して、符号化対象ブロックの画素値との差分絶対値和を演算し、差分絶対値和が最小となるものを選び出す。

図１６の処理例では、探索範囲の左上から順に右下まで、予測侯補を一画素ずつずらせながら、画素値の差分絶対値和が最小となるものを選び出している。差分絶対値和が最小となるものを選び出すのではなくて、差分絶対値和に動きベクトルなどを表現する付加的な符号量を加えた合計値が最小となるものを選び出すこともできる。

しかしながら、動画像の符号化器において、時間方向予測のための動きベクトルを決定するには、探索範囲に含まれるすべての予測候補について評価を行わねばならず、非常に大きな演算量を要する。とりわけ、符号化対象画像と参照画像との時間的距離が大きい場合において、被写体の速い動きにも追従できるように十分広い探索範囲をとった場合には、演算コストが探索範囲の面積に比例（探索範囲の一辺の長さの二乗に比例）するため、演算量が極端に大きくなる。

そのため、時間的距離が大きい参照画像に対しても広い探索範囲を保証するために、時間的に隣接する画像に対して、探索範囲の中心を移動させながら順次動き探索を行う方式が考案されている（例えば、特許文献１参照）。

図１７に、この方式の例を示す。いま、符号化対象画像と参照画像とが時間的に３画像分離れており、その間に非参照画像（１）と非参照画像（２）が挟まっているものとする。

符号化対象画像の符号化対象ブロックは、参照画像を直接動き探索するのではなく、まず時間的に隣接する非参照画像（１）を動き探索する。探索結果（１）が得られたら、次の非参照画像（２）の探索中心を探索結果（１）とし、その周辺を探索範囲として非参照画像（２）の探索を行う。探索結果（２）が得られたら、最後に参照画像の探索中心を探索結果（２）とし、その周辺を探索範囲として参照画像の動き探索を行い、結果を最終的な動き探索結果とする。

このように、符号化対象ブロックに存在する被写体の動きを、時間的に隣接する画像で順に探索して動きを追うことにより、各回は比較的狭い範囲の探索であっても、最終的な参照画像に対しては広い探索範囲を保証することができる。

また、Ｈ.264／ＡＶＣ符号化方式においては、時間方向予測に使用する画像を、複数の参照画像の中から自由に選んで符号化することができる。従って、複数の参照画像に対して動き探索を行う必要があるが、これも図１８に示すように、符号化対象画像から時間的に近い順に、ある参照画像の探索結果を次の参照画像の探索範囲の中心として動き探索を繰り返すことにより、被写体の動きを追いながら少ない演算量で広範囲の動きを追従することができ、それぞれの参照画像に対して個別に動き探索を行うよりも効率的な処理が可能である。

図１７および図１８では、動き探索した結果得られた動きベクトルが指す点を、次の動き探索対象画像の探索範囲の中心点としたが、これを、動き探索した結果得られた動きベクトルが指す点から、事前に求めた一定のベクトル値だけシフトさせた点を、次の動き探索対象画像の探索範囲の中心点とすることもできる（例えば、特許文献２参照）。

図１９に、この例を示す。例えば、事前の動き解析およびこれまでの探索結果から、画面中の被写体全体が参照画像に対して、平均的に動きベクトルＬを持っていることがわかっているとする。このような状況は、例えば画面全体が一定の方向にパンしているような場合に起こり得る。この場合、参照画像において動きベクトルＬが動き探索の中心となるように探索したほうが、より狭い探索範囲でも効率的に動き探索を行えることは容易に想像できる。

参照画像が入力順で３枚離れている図１９の例では、探索を行うたびに探索中心をＬ／３ずつスライドさせながら探索を行えばよいことになる。すなわち、非参照画像（１）の探索中心は、符号化対象ブロックからＬ／３だけ移動した位置とし、探索結果（１）に対してＬ／３を加えたものを、次の非参照画像（２）の探索中心とし、探索結果（２）に対してＬ／３を加えたものを参照画像の探索中心とする。

このように、事前に定めた方向および距離だけ探索中心をシフトしながら順次探索を行う動作を、以下ウィンドウシフト動作と呼称する。
特許第２８７８５８０号公報特許第３３３５１３７号公報

しかしながら、上記で述べたような、時間的に隣接する画像に対して動き探索と探索中心の移動を繰り返して動きベクトルを得るという動き探索法は、符号化対象ブロックに存在する被写体が、時間的距離に応じて順次移動しながら、すべての探索対象画像に存在するとの前提にたっている。

従って、例えば図１７において、非参照画像（２）のみが、例えばフラッシュが光ったことによる白一色の映像となっていた場合、非参照画像（２）には符号化対象ブロックに相当する被写体がそもそも含まれていないため、動き探索によって被写体を追うことができず、探索結果（２）は実際に被写体があった位置とは大きく離れた位置となってしまう可能性がある。その後、参照画像においてはフラッシュの発光がなく、符号化対象ブロックに相当する被写体が存在していたとしても、探索結果（２）に基づく探索中心点がそもそも大きく離れてしまうため、参照画像における探索範囲に目標の被写体が入らず、結果として探索に失敗する可能性がある。

このような現象は、フラッシュだけではなく、例えば被写体が一時的に他の物体の背後に隠れ（オクルージョン）て再び出現した場合などでも起こり得る。

以上述べたように、従来の動き探索法では、符号化対象画像と最終的に動きベクトルを得たい参照画像との間に、フラッシュやオクルージョンなどによる一時的な被写体の消失が発生した場合に、以降の動き探索が正常に行われないという問題があった。

本発明はかかる事情に鑑みてなされたものであって、動き探索を行う場合にあって、符号化対象画像と最終的に動きベクトルを得たい参照画像との間に、フラッシュやオクルージョンなどによる一時的な被写体の消失が発生した場合にも、正確な動き探索を行うことができるようにする新たな動き探索技術の提供を目的とする。

〔１〕ウィンドウシフト動作を行わない場合
この目的を達成するために、本発明の動き探索装置は、ウィンドウシフト動作を行わない場合には、動き探索の対象となる画像であるところの複数の動き探索対象画像に対して、符号化対象の画像から時間的に近い順に動き探索を行い、ある動き探索対象画像を探索した結果得られた動きベクトルが指す点を、次の動き探索対象画像の探索範囲の中心点として設定して、次の動き探索対象画像の探索を実行するという構成を採るときに、（ｉ）ある動き探索対象画像を探索した結果得られた動きベクトルが、符号化対象画像の動きを正確に示しているのかを判定する判定手段と、（ii）判定手段の判定結果が真であることを示す場合には、探索範囲の中心点の設定方法の切り替えを行わずに、次の動き探索対象画像の探索範囲の中心点として、動き探索した結果得られた動きベクトルが指す点をそのまま用いるように制御し、一方、判定手段の判定結果が偽であることを示す場合には、探索範囲の中心点の設定方法の切り替えを行って、次の動き探索対象画像の探索範囲の中心点として、現在の動き探索対象画像の探索範囲の中心点と同一位置にある点を用いるように制御する制御手段とを備えるように構成する。

〔２〕ウィンドウシフト動作を行う場合
また、この目的を達成するために、本発明の動き探索装置は、ウィンドウシフト動作を行う場合には、動き探索の対象となる画像であるところの複数の動き探索対象画像に対して、符号化対象の画像から時間的に近い順に動き探索を行い、ある動き探索対象画像を探索した結果得られた動きベクトルが指す点から事前に定めた方向および距離だけ移動した点を、次の動き探索対象画像の探索範囲の中心点として設定して、次の動き探索対象画像の探索を実行するという構成を採るときに、（ｉ）ある動き探索対象画像を探索した結果得られた動きベクトルが、符号化対象画像の動きを正確に示しているのかを判定する判定手段と、（ii）判定手段の判定結果が真であることを示す場合には、探索範囲の中心点の設定方法の切り替えを行わずに、次の動き探索対象画像の探索範囲の中心点として、動き探索した結果得られた動きベクトルが指す点から事前に定めた方向および距離だけ移動した点をそのまま用いるように制御し、一方、判定手段の判定結果が偽であることを示す場合には、探索範囲の中心点の設定方法の切り替えを行って、次の動き探索対象画像の探索範囲の中心点として、現在の動き探索対象画像の探索範囲の中心点と同一位置にある点から事前に定めた方向および距離だけ移動した点を用いるように制御する制御手段とを備えるように構成する。

ここで、以上の各処理手段はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

このように構成される本発明の動き探索装置では、ある動き探索対象画像で探索を行った結果得られた動きベクトルが、符号化対象画像に含まれる被写体を正確に追ったものであるか否かを判定する。

この判定は、第一の方法としては、符号化対象画像の画素値と動きベクトルが指している動き探索対象画像の画素値との差分絶対値和が、事前に定めた値より小さければ真、そうでなければ偽と判定することで行う。第二の方法としては、そのようにして算出する差分絶対値和が、探索範囲に含まれるすべての点について同様に算出した差分絶対値和の平均値と比較して、事前に定めた値以上に小さければ真、そうでなければ偽と判定することで行う。

この判定にあたって、差分絶対値和に代えて、差分絶対値和に動きベクトルの記述に必要な符号量を加算した値を使用することでもよい。

そして、動きベクトルが符号化対象画像に含まれる被写体を正確に追えていないと判定した場合には、探索結果に応じて探索範囲の中心を移動させることなく、探索中心を現在と同一位置のものとするように切り替える。そのうえで、必要に応じてウィンドウシフト動作を行い、続く探索を実施する。

本発明によれば、フラッシュやオクルージョンなどの影響で、符号化対象画像に含まれる被写体が存在しないような動き探索対象画像が含まれていた場合にも、正確でない動きベクトルによって探索範囲の中心が外れてしまうことなく、符号化対象画像に含まれる被写体を継続して探索し続けることができるようになる。

これにより、本発明によれば、時間的に隣接する画像に対する動き探索結果に応じて、探索範囲の中心を順次移動させながら動き探索を続ける方式の性能を向上することができるようになる。

以下、実施の形態に従って本発明を詳細に説明する。

図１に、本発明を具備する映像符号化装置１の第一の実施形態例を図示する。

この図に示すように、本実施形態例の映像符号化装置１は、動き探索対象画像保存メモリ１０と、符号化対象ブロック画像保持メモリ１１と、探索範囲画像保持メモリ１２と、動き探索器１３と、動きベクトル信頼度判定器１４と、探索範囲設定器１５とを備える。

動き探索対象画像保存メモリ１０は、動き探索のために必要となるすべての参照画像および非参照画像の画素値を保存する。符号化対象ブロック画像保持メモリ１１は、符号化の対象となる画像ブロック（符号化対象ブロック）の画素値を保持する。探索範囲画像保持メモリ１２は、動き探索対象画像保存メモリ１０から読み出される探索範囲の画像の画素値を保持する。

動き探索器１３は、符号化対象ブロック画像保持メモリ１１に保持される符号化対象ブロックの画像と、探索範囲画像保持メモリ１２に保持される探索範囲の画像とを入力として、動き探索を行う。

動きベクトル信頼度判定器１４は、動き探索器１３の出力する探索結果についての最小評価値（差分絶対値和などの評価値の最小値）を入力として、その最小評価値に基づいて、動き探索器１３の出力する探索結果動きベクトル値の信頼度を判定する。

探索範囲設定器１５は、動きベクトル信頼度判定器１４の出力する判定結果と、動き探索器１３の出力する探索結果動きベクトル値と、動き探索器１３の出力するカウンタ制御信号（最小評価値出力開始信号および最小評価値出力信号）とを入力として、それらの情報に基づいて、動き探索対象画像保存メモリ１０から探索範囲画像保持メモリ１２へとロードされる探索範囲画像のメモリ番地情報を算出して、動き探索対象画像保存メモリ１０に対して、そのメモリ番地情報を指定して探索範囲画像の読み込み（ロード）を指示するとともに、動き探索器１３に対して、その探索範囲画像の中心座標情報を通知する。

図２に、本実施形態例を実現すべく構成される動きベクトル信頼度判定器１４および探索範囲設定器１５の構成の一例を図示する。

この図に示すように、動きベクトル信頼度判定器１４は、動き探索器１３の出力する最小評価値の大きさを規定の閾値と比較する比較器１４０を備えることで、動き探索器１３の出力する探索結果動きベクトル値の信頼度を判定して、その判定結果を探索範囲設定器１５に出力するという処理を実行する。

また、探索範囲設定器１５は、（イ）動き探索器１３に対して前回通知した中心座標情報を保持する前回中心座標情報保持メモリ１５０と、（ロ）前回中心座標情報保持メモリ１５０の保持する中心座標情報と動き探索器１３の出力する探索結果動きベクトル値とを入力として、動きベクトル信頼度判定器１４の出力する判定結果に基づいて、そのいずれか一方を選択することで今回の中心座標情報を出力する選択器１５１と、（ハ）動き探索器１３の出力するカウンタ制御信号に従って計数処理を行うカウンタ１５２と、（ニ）選択器１５１の出力する中心座標情報とカウンタ１５２の計数値とに基づいて、探索範囲画像を格納する動き探索対象画像保存メモリ１０のメモリ番地を計算して、そのメモリ番地を指定して動き探索対象画像保存メモリ１０に対して読込指示を発行する動き探索対象画像メモリ番地計算部１５３とを備えることで、動き探索対象画像保存メモリ１０に対して、探索範囲画像の読み込み（ロード）を指示するとともに、動き探索器１３に対して、探索範囲画像の中心座標情報を通知するという処理を実行する。

このように構成される本実施形態例の映像符号化装置１の実行する動き探索処理を説明するにあたり、図３に示すように、符号化対象画像から時間的に近い順に、３枚の動き探索対象画像１〜３について順に動き探索を行うことを想定する。

この場合、符号化対象ブロックの画素値は符号化対象ブロック画像保持メモリ１１に格納され、動き探索対象画像１〜３の中で、探索範囲となり得るすべての領域の画素値は動き探索対象画像保持メモリ１０に格納されている。

図４に、図１および図２のように構成される本実施形態例の映像符号化装置１の実行する動き探索処理のフローチャートを示す。

次に、このフローチャートに従って、図１および図２のように構成される本実施形態例の映像符号化装置１の実行する動き探索処理について詳細に説明する。

本実施形態例の映像符号化装置１では、図４のフローチャートに示すように、先ず最初に、ステップＳ１００において、探索範囲設定器１５が、変数ｋ（カウンタ１５２の計数値に相当する）に１を設定して、動き探索対象画像として動き探索対象画像ｋ、すなわち動き探索対象画像１を選択するとともに、探索範囲の中心としてＣ_k＝（０，０）、すなわちＣ₁＝（０，０）を指定する。

ここで、Ｃ₁＝（０，０）とは、動き探索対象画像１において、符号化対象ブロックのｘ，ｙ座標と同じ座標を探索中心とすることを意味している。

続いて、ステップＳ１０１において、探索範囲設定器１５が、動き探索対象画像ｋおよび探索中心Ｃ_kを読込指示（図１および図２中に示す読込指示）として伝達する。これにより、動き探索対象画像保存メモリ１０から、Ｃ_kを中心とする探索範囲に含まれる画素値が探索範囲画像保持メモリ１２にロードされることになる。

探索範囲画像保持メモリ１２への画素値のロードが終了すると、続いて、ステップＳ１０２において、動き探索器１３が動き探索動作を行う。

具体的には、図１６に示したように、探索範囲の左上から順に右下まで、読込座標値を順に移動させながら、探索範囲画像保持メモリ１２から動き探索対象画像ｋの画素値を読み込んで、符号化対象ブロックの画素値との差分絶対値和が最も小さくなるものを探索することで行う。

ここで、符号化対象ブロックが１６×１６画素の場合、動きベクトル（ＭＶｘ，ＭＶｙ）に対応する差分絶対値和Ｓは、下記の数式（１）のように求められる。

ただし、Ｃ_kxとＣ_kyはそれぞれ探索中心Ｃ_kのｘ成分とｙ成分を示し、Ｒ（ｘ，ｙ）は動き探索対象画像ｋの画素値（符号化対象ブロックと同じ座標の位置を原点とする画素値）を示し、Ｂ（ｘ，ｙ）は符号化対象ブロックの画素値を示す。

このとき、差分絶対値和Ｓのみならず、差分絶対値和Ｓに、動きベクトルを符号化するための符号化コストを加えたトータルの値が、最も小さくなるものを探索することもできる。

すなわち、符号化対象ブロックの動きベクトルを符号化する際、周辺ブロックの動きベクトル等から予測される予測ベクトルをＰＭＶ＝（ＰＭＶｘ，ＰＭＶｙ）とすると、実際に符号化されるのは差分動きベクトルＤＭＶ＝ＭＶ−ＰＭＶである。従って、動きベクトルのビット量を表現する関数ＭＶＣＯＳＴ（）を別途定義し、下記の数式（２）で定義される値Ｓ’が最小となるものを探索することにより、この目的が果たされる。

ここで、ＤＭＶｘは差分動きベクトルＤＭＶのｘ成分で、ＤＭＶｙは差分動きベクトルＤＭＶのｙ成分である。

続いて、ステップＳ１０３において、動き探索器１３による動き探索が終了し、これにより、動き探索対象画像ｋについて、探索結果ＭＶ_k＝（ＭＶｘ_k，ＭＶｙ_k）、および最小となった評価値Ｓ_kが得られる。これらの情報は、図１に示すように、それぞれ探索結果動きベクトル値、最小評価値として、動き探索器１３から出力される。

続いて、ステップＳ１０４において、探索範囲設定器１５が、変数ｋ（カウンタ１５２の計数値に相当する）の値に基づいて、すべての動き探索対象画像の探索が終了したのか否かを判断して、終了した場合には、動き探索器１３に指示することで動き探索動作を終了する。

一方、すべての動き探索対象画像の探索が終了していない場合には、続いて、ステップＳ１０５において、動きベクトル信頼度判定器１４が、得られた探索結果が被写体を正確に追ったものか、あるいはフラッシュやオクルージョンによって不正確な探索結果になっているかを、動き探索器１３の出力する最小評価値をもとに判定する。

本実施形態例では、最小評価値Ｓ_kが、事前に設定した閾値Ｔthよりも小さければ探索結果が正確であると判定し、そうでなければ探索結果が不正確であるとして、判定結果を出力する。

動きベクトル信頼度判定器１４の出力する判定結果と動き探索器１３の出力する探索結果動きベクトル値とを受けて、探索範囲設定器１５は、次の動き探索対象画像の探索中心を設定する。

すなわち、動きベクトル信頼度判定器１４の出力する判定結果が真であることで、探索結果が正確と判定された場合には、続いて、ステップＳ１０６において、探索範囲設定器１５は、次の動き探索対象画像を動き探索対象画像ｋ＋１に設定するとともに、探索中心Ｃ_k+1を、今回の探索結果ＭＶ_k＝（ＭＶｘ_k，ＭＶｙ_k）に設定する。

例えば動き探索対象画像１の探索終了後に、動き探索対象画像２の探索中心Ｃ₂を設定する場合、図５に示すように、探索結果ＭＶ₁の指す先がＣ₂となる。

一方、動きベクトル信頼度判定器１４の出力する判定結果が偽であることで、探索結果が不正確と判定された場合には、続いて、ステップＳ１０７において、探索範囲設定器１５は、次の動き探索対象画像を動き探索対象画像ｋ＋１に設定するとともに、探索結果ＭＶ_kは使用せず、新たな探索中心Ｃ_k+1を、現在の探索中心Ｃ_kと同一に設定する。

例えば動き探索対象画像１の探索終了後に、動き探索対象画像２の探索中心Ｃ₂を設定する場合、Ｃ₂はＣ₁と同一、すなわち、図６に示すように、Ｃ₂＝（０，０）に設定される。これにより、不正確なＭＶ₁によって以降の動き探索範囲が影響を受けることなく、再び（０，０）を中心として探索を継続することができる。

最後に、ステップＳ１０８において、探索範囲設定器１５は、ｋ＝ｋ＋１と更新して、ステップＳ１０６またはステップＳ１０７で決定した新たな探索中心を、中心座標情報として動き探索器１３に供給する。

そして、ステップＳ１０１に戻って、次の動き探索対象画像に対する探索動作を継続する。

以上に述べた処理の流れに従って、複数の動き探索対象画像に対する探索を順次行う。より具体的な説明のために、動き探索対象画像２の探索終了後に、判定結果が真となった場合のステップＳ１０６での処理を、図７に示す。図７では、探索結果として得られたＭＶ₂を、動き探索対象画像３の探索中心Ｃ₃に設定している。

同様に、動き探索対象画像２の探索終了後に、判定結果が偽となった場合のステップＳ１０７での処理を、図８に示す。図８では、探索結果として得られたＭＶ₂を使用せずに、探索中心Ｃ₃をＣ₂と同一に設定している。これにより、不正確なＭＶ₂によって以降の動き探索範囲が影響を受けることなく、Ｃ₂を中心として動き探索対象画像３の探索を行うことができる。

以上述べたように、本実施形態例による動き探索処理においては、探索結果の評価値Ｓ_kが閾値を超えている場合、探索結果の動きベクトルが不正確なものとして、次の動き探索対象画像の探索中心として反映しない処理を行うことにより、フラッシュやオクルージョンの影響を避けた動き探索が可能になる。

図９に、本発明を具備する映像符号化装置１の第二の実施形態例を図示する。

本実施形態例と図１に示した第一の実施形態例との違いは、動き探索器１３から動きベクトル信頼度判定器１４に伝達される情報として、最小評価値に加えて、平均評価値（探索範囲内で探索を行ったすべての評価値の平均値）が加えられていることである。

この最小評価値および平均評価値の伝達を受けて、本実施形態例を実現する場合、動きベクトル信頼度判定器１４は、図１０に示すように、平均評価値と最小評価値との差分値（正の符号を示す）を算出する差分器１４１と、差分器１４１の算出した差分値の大きさを規定の閾値と比較する比較器１４２とを備えることで、動き探索器１３の出力する探索結果動きベクトル値の信頼度を判定して、その判定結果を探索範囲設定器１５に出力するという処理を実行する。

図１１に、図９および図１０のように構成される本実施形態例の映像符号化装置１の実行する動き探索処理のフローチャートを示す。

図４に示す第一の実施形態例のフローチャートと異なるのは、ステップＳ１０３の代わりにステップＳ１０３αを実行し、ステップＳ１０５の代わりにステップＳ１０５αを実行するという点である。

ステップＳ１０３αにおいては、動き探索器１３からは、前述のように最小評価値Ｓ_kに加えて平均評価値Ｍ_kも出力されることになる。ここで、平均評価値Ｍ_kは、探索範囲内で探索を行ったすべての評価値の平均である。

一方、ステップＳ１０５αにおいては、差分値Ｍ_k−Ｓ_kが、事前に設定された閾値Ｔthを超えているか否かが判定される。差分値Ｍ_k−Ｓ_kの値が大きい場合、他の評価値と比較して最小評価値Ｓ_kの値が十分小さいことを意味し、動き探索結果が信頼できるものであると推測される。逆に、差分値Ｍ_k−Ｓ_kの値が小さい場合、最小評価値Ｓ_kは他の評価値との差があまりないことを意味するから、動き探索結果が信頼できないと推測される。

これから、Ｍ_k−Ｓ_k＞Ｔthの場合には、ステップＳ１０６が実行され、そうでない場合には、ステップＳ１０７が実行されることになる。

その他の動作については、第一の実施形態例と全く同じである。

第一および第二の実施形態例では、ウィンドウシフト動作を行わない構成について説明したが、本発明はウィンドウシフト動作を行う場合にも、そのまま適用できるものである。

図１２に、第一の実施形態例においてウィンドウシフト動作を行う構成を採る場合の、探索範囲設定器１５の構成を図示する。

この図に示すように、第一の実施形態例においてウィンドウシフト動作を行う構成を採る場合には、探索範囲設定器１５は、図１２に示すように、選択器１５１の出力する中心座標情報（前回の中心座標情報または探索結果動きベクトル値の指す中心座標情報）をシフトするシフト動作器１５４を備えることで、新たな中心座標情報を生成するようにしている。

図１３に、第一の実施形態例においてウィンドウシフト動作を行う構成を採る場合のフローチャートを示す。

図４に示すフローチャートと異なるのは、ステップＳ１００とステップＳ１０１との間に、ウィンドウシフト動作を行うステップＳ１００βを設ける点と、ステップＳ１０８の処理を終えたときの戻り先がステップＳ１０１ではなくてステップＳ１００βになるという点である。

このステップＳ１００βでは、探索範囲設定器１５が、ウィンドウシフト動作のため、探索中心Ｃ_kを移動させる処理を行う。事前の動き解析およびこれまでの探索結果から、符号化対象画像から入力順でｎ枚離れた参照画像に対して、平均的に動きベクトルＬを持っていることが分かっている場合は、Ｃ_kに対してＬ／ｎを加算して探索中心をシフトさせる。

図３に示す例の場合はｎ＝３であるから、Ｃ_kに対してＬ／３を加算して探索中心をシフトさせることになる。

図１４に、第二の実施形態例においてウィンドウシフト動作を行う構成を採る場合の、探索範囲設定器１５の構成を図示する。

この図に示すように、第二の実施形態例においてウィンドウシフト動作を行う構成を採る場合には、探索範囲設定器１５は、図１４に示すように、選択器１５１の出力する中心座標情報（前回の中心座標情報または探索結果動きベクトル値の指す中心座標情報）をシフトするシフト動作器１５４を備えることで、新たな中心座標情報を生成するようにしている。

図１５に、第二の実施形態例においてウィンドウシフト動作を行う構成を採る場合のフローチャートを示す。

図１１に示すフローチャートと異なるのは、ステップＳ１００とステップＳ１０１との間に、ウィンドウシフト動作を行うステップＳ１００βを設ける点と、ステップＳ１０８の処理を終えたときの戻り先がステップＳ１０１ではなくてステップＳ１００βになるという点である。

その他の動作については、第二の実施形態例と全く同じである。

本発明は、時間方向予測を使用する映像符号化で用いられる動き探索に適用できるものであり、本発明を用いることで、符号化対象画像と最終的に動きベクトルを得たい参照画像との間に、フラッシュやオクルージョンなどによる一時的な被写体の消失が発生した場合にも、正確な動き探索を行うことができるようになる。

本発明の映像符号化装置の一実施形態例である。動きベクトル信頼度判定器および探索範囲設定器の構成図である。探索対象となりえる範囲の一例を示す図である。本発明の実行するフローチャートである。本発明の実行する探索中心の設定処理の説明図である。本発明の実行する探索中心の設定処理の説明図である。本発明の実行する探索中心の設定処理の説明図である。本発明の実行する探索中心の設定処理の説明図である。本発明の映像符号化装置の他の実施形態例である。動きベクトル信頼度判定器および探索範囲設定器の構成図である。本発明の実行するフローチャートである。動きベクトル信頼度判定器および探索範囲設定器の構成図である。本発明の実行するフローチャートである。動きベクトル信頼度判定器および探索範囲設定器の構成図である。本発明の実行するフローチャートである。動き探索処理の説明図である。動き探索処理の説明図である。動き探索処理の説明図である。動き探索処理の説明図である。

符号の説明

１映像符号化装置
１０動き探索対象画像保存メモリ
１１符号化対象ブロック画像保持メモリ
１２探索範囲画像保持メモリ
１３動き探索器
１４動きベクトル信頼度判定器
１５探索範囲設定器

Claims

動き探索の対象となる画像であるところの複数の動き探索対象画像に対して、符号化対象の画像から時間的に近い順に動き探索を行い、ある動き探索対象画像を探索した結果得られた動きベクトルが指す点を、次の動き探索対象画像の探索範囲の中心点として設定して、次の動き探索対象画像の探索を実行する動き探索装置であって、
前記ある動き探索対象画像を探索した結果得られた動きベクトルが、符号化対象画像の動きを正確に示しているのかを判定する判定手段と、
前記判定手段の判定結果が真であることを示す場合には、次の動き探索対象画像の探索範囲の中心点として、動き探索した結果得られた動きベクトルが指す点を用いるように制御し、前記判定手段の判定結果が偽であることを示す場合には、次の動き探索対象画像の探索範囲の中心点として、現在の動き探索対象画像の探索範囲の中心点と同一位置にある点を用いるように制御する制御手段とを備えることを、
特徴とする動き探索装置。
動き探索の対象となる画像であるところの複数の動き探索対象画像に対して、符号化対象の画像から時間的に近い順に動き探索を行い、ある動き探索対象画像を探索した結果得られた動きベクトルが指す点から事前に定めた方向および距離だけ移動した点を、次の動き探索対象画像の探索範囲の中心点として設定して、次の動き探索対象画像の探索を実行する動き探索装置であって、
前記ある動き探索対象画像を探索した結果得られた動きベクトルが、符号化対象画像の動きを正確に示しているのかを判定する判定手段と、
前記判定手段の判定結果が真であることを示す場合には、次の動き探索対象画像の探索範囲の中心点として、動き探索した結果得られた動きベクトルが指す点から事前に定めた方向および距離だけ移動した点を用いるように制御し、前記判定手段の判定結果が偽であることを示す場合には、次の動き探索対象画像の探索範囲の中心点として、現在の動き探索対象画像の探索範囲の中心点と同一位置にある点から事前に定めた方向および距離だけ移動した点を用いるように制御する制御手段とを備えることを、
特徴とする動き探索装置。
請求項１または２に記載の動き探索装置において、
前記判定手段は、符号化対象画像の画素値と動きベクトルが指している動き探索対象画像の画素値との差分絶対値和が、事前に定めた値より小さければ真、そうでなければ偽と判定することを、
特徴とする動き探索装置。
請求項１または２に記載の動き探索装置において、
前記判定手段は、符号化対象画像の画素値と動きベクトルが指している動き探索対象画像の画素値との差分絶対値和が、探索範囲に含まれるすべての点について同様に算出した差分絶対値和の平均値と比較して、事前に定めた値より小さければ真、そうでなければ偽と判定することを、
特徴とする動き探索装置。
請求項３または４に記載の動き探索装置において、
前記判定手段は、前記差分絶対値和に代えて、前記差分絶対値和に動きベクトルの記述に必要な符号量を加算した値を使用することを、
特徴とする動き探索装置。
動き探索の対象となる画像であるところの複数の動き探索対象画像に対して、符号化対象の画像から時間的に近い順に動き探索を行い、ある動き探索対象画像を探索した結果得られた動きベクトルが指す点を、次の動き探索対象画像の探索範囲の中心点として設定して、次の動き探索対象画像の探索を実行する動き探索方法であって、
前記ある動き探索対象画像を探索した結果得られた動きベクトルが、符号化対象画像の動きを正確に示しているのかを判定する過程と、
前記判定結果が真であることを示す場合には、次の動き探索対象画像の探索範囲の中心点として、動き探索した結果得られた動きベクトルが指す点を用いるように制御し、前記判定結果が偽であることを示す場合には、次の動き探索対象画像の探索範囲の中心点として、現在の動き探索対象画像の探索範囲の中心点と同一位置にある点を用いるように制御する過程とを備えることを、
特徴とする動き探索方法。
動き探索の対象となる画像であるところの複数の動き探索対象画像に対して、符号化対象の画像から時間的に近い順に動き探索を行い、ある動き探索対象画像を探索した結果得られた動きベクトルが指す点から事前に定めた方向および距離だけ移動した点を、次の動き探索対象画像の探索範囲の中心点として設定して、次の動き探索対象画像の探索を実行する動き探索方法であって、
前記ある動き探索対象画像を探索した結果得られた動きベクトルが、符号化対象画像の動きを正確に示しているのかを判定する過程と、
前記判定結果が真であることを示す場合には、次の動き探索対象画像の探索範囲の中心点として、動き探索した結果得られた動きベクトルが指す点から事前に定めた方向および距離だけ移動した点を用いるように制御し、前記判定結果が偽であることを示す場合には、次の動き探索対象画像の探索範囲の中心点として、現在の動き探索対象画像の探索範囲の中心点と同一位置にある点から事前に定めた方向および距離だけ移動した点を用いるように制御する過程とを備えることを、
特徴とする動き探索方法。
請求項１ないし５のいずれか１項に記載の動き探索装置を構成する手段としてコンピュータを機能させるための動き探索プログラム。
請求項１ないし５のいずれか１項に記載の動き探索装置を構成する手段としてコンピュータを機能させるための動き探索プログラムを記録したコンピュータ読み取り可能な記録媒体。