JPH11203483A

JPH11203483A - 画像処理装置および方法、並びに提供媒体

Info

Publication number: JPH11203483A
Application number: JP1345698A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Hideo Nakaya; 秀雄中屋; Kenji Tanaka; 健司田中
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-01-07
Filing date: 1998-01-07
Publication date: 1999-07-30
Anticipated expiration: 2018-01-07
Also published as: KR19990067759A; CA2257669A1; US6285712B1; EP0929192A2; AU748671B2; CA2257669C; KR100590145B1; AU9824198A; DE69930333T2; EP0929192A3; EP0929192B1; CN1154361C; JP4016227B2; DE69930333D1; CN1230079A

Abstract

(57)【要約】【課題】画像の動き推定における空間解像度を向上さ
せるとともに、ロバスト性を確保する。【解決手段】推定部４は、連続する２枚のフレームか
ら画素毎の動きベクトルとその信頼性を演算し、各画素
に任意の動きベクトルと信頼性を対応させて、第ｋフレ
ームに対応する第１次動き分布画像を生成する。更新部
５は、入力された第ｋ＋１フレームに対応する第１次動
き分布画像と、第ｋフレームに対応する第４次動き分布
画像を合成して、第ｋ＋１フレームに対応する第２次動
き分布画像を生成する。予測部６は、入力された第ｋ＋
１フレームに対応する第２次動き分布画像に基づいて、
第ｋ＋１フレームに対応する第３次動き分布画像を生成
する。補間部７は、入力された第ｋ＋１フレームに対応
する第３次動き分布画像の空隙部分を補間推定量により
補間して、第ｋ＋１フレームに対応する第４次動き分布
画像を生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び方法、並びに提供媒体に関し、特に、時間的に連続す
る画像から画素単位に動きを推定できるようにする画像
処理装置および方法、並びに提供媒体に関する。

【０００２】

【従来の技術】動画像から画像の動きを表すパラメータ
の値を推定（以下、動き推定と記述する）する方法とし
ては、予測残差最小規範を用いた方法が存在する。

【０００３】

【発明が解決しようとする課題】予測残差最小規範を用
いた動き推定の方法は、画像を複数の画素から構成され
るブロックに分けて、ブロック毎に動き推定を行うた
め、動き推定の空間解像度が低く、平行移動する剛体に
対する動き推定しか行うことがでない。その結果、この
方法は、動きの分布が不均一である非剛体に対する動き
推定を行うことができない課題があった。

【０００４】また、予測残差最小規範を用いた動き推定
の方法は、真の動きがサーチ範囲から外れた場合、動き
推定の値に大きな誤差を生じるので、ロバスト性が悪い
課題があった。

【０００５】本発明はこのような状況に鑑みてなされた
ものであり、不偏推定量による非決定論的な方法を用い
ることにより、動き推定の空間解像度を向上させるとと
もに、ロバスト性を確保できるようにするものである。

【０００６】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、連続する２枚の静止画像から画素単位のパラ
メータを演算する演算手段と、演算手段が演算したパラ
メータの中から不偏推定量により、各画素に対応するパ
ラメータを推定し、第１次動き分布画像を生成する推定
手段と、推定手段が生成した第ｋ＋１番目の静止画像に
対応する第１次動き分布画像と第ｋ番目の静止画像に対
応する第４次動き分布画像から第２次動き分布画像を更
新する更新手段と、更新手段が生成した第２次動き分布
画像から第ｋ＋２番目の静止画像に対応する第１次動き
分布画像を予測し、第ｋ＋２番目の静止画像に対応する
第３次動き分布画像を生成する予測手段と、予測手段が
生成した第３次動き分布画像を不偏推定量により補間
し、更新手段が用いる第４次動き分布画像を生成する補
間手段とを備えることを特徴とする。

【０００７】請求項４に記載の画像処理方法は、連続す
る２枚の静止画像から画素単位のパラメータを演算する
演算ステップと、演算ステップで演算したパラメータの
中から不偏推定量により、各画素に対応するパラメータ
を推定し、第１次動き分布画像を生成する推定ステップ
と、推定ステップで生成した第ｋ＋１番目の静止画像に
対応する第１次動き分布画像と第ｋ番目の静止画像に対
応する第４次動き分布画像から第２次動き分布画像を更
新する更新ステップと、更新ステップで生成した第２次
動き分布画像から第ｋ＋２番目の静止画像に対応する第
１次動き分布画像を予測し、第ｋ＋２番目の静止画像に
対応する第３次動き分布画像を生成する予測ステップ
と、予測ステップで生成した第３次動き分布画像を不偏
推定量により補間し、更新ステップで用いる第４次動き
分布画像を生成する補間ステップとを備えることを特徴
とする。

【０００８】請求項５に記載の提供媒体は、連続する２
枚の静止画像から画素単位のパラメータを演算する演算
ステップと、演算ステップで演算したパラメータの中か
ら不偏推定量により、各画素に対応するパラメータを推
定し、第１次動き分布画像を生成する推定ステップと、
推定ステップで生成した第ｋ＋１番目の静止画像に対応
する第１次動き分布画像と第ｋ番目の静止画像に対応す
る第４次動き分布画像から第２次動き分布画像を更新す
る更新ステップと、更新ステップで生成した第２次動き
分布画像から第ｋ＋２番目の静止画像に対応する第１次
動き分布画像を予測し、第ｋ＋２番目の静止画像に対応
する第３次動き分布画像を生成する予測ステップと、予
測ステップで生成した第３次動き分布画像を不偏推定量
により補間し、更新ステップで用いる第４次動き分布画
像を生成する補間ステップとを備えるコンピュータプロ
グラムを提供することを特徴とする。

【０００９】請求項１に記載の画像処理装置において
は、演算手段が、連続する２枚の静止画像から画素単位
のパラメータを演算し、推定手段が、演算手段が演算し
たパラメータの中から不偏推定量により、各画素に対応
するパラメータを推定して、第１次動き分布画像を生成
し、更新手段が、推定手段が生成した第ｋ＋１番目の静
止画像に対応する第１次動き分布画像と第ｋ番目の静止
画像に対応する第４次動き分布画像から第２次動き分布
画像を更新し、予測手段が、更新手段が生成した第２次
動き分布画像から第ｋ＋２番目の静止画像に対応する第
１次動き分布画像を予測して、第ｋ＋２番目の静止画像
に対応する第３次動き分布画像を生成し、補間手段が、
予測手段が生成した第３次動き分布画像を不偏推定量に
より補間して、更新手段が用いる第４次動き分布画像を
生成する。

【００１０】請求項４に記載の画像処理方法、および請
求項５に記載の提供媒体においては、演算ステップで、
連続する２枚の静止画像から画素単位のパラメータを演
算し、推定ステップで、演算ステップで演算したパラメ
ータの中から不偏推定量により、各画素に対応するパラ
メータを推定して、第１次動き分布画像を生成し、更新
ステップで、推定ステップで生成した第ｋ＋１番目の静
止画像に対応する第１次動き分布画像と第ｋ番目の静止
画像に対応する第４次動き分布画像から第２次動き分布
画像を更新し、予測ステップで、更新ステップで生成し
た第２次動き分布画像から第ｋ＋２番目の静止画像に対
応する第１次動き分布画像を予測して、第ｋ＋２番目の
静止画像に対応する第３次動き分布画像を生成し、補間
ステップで、予測ステップで生成した第３次動き分布画
像を不偏推定量により補間して、更新ステップで用いる
第４次動き分布画像を生成する。

【００１１】

【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。

【００１２】すなわち、請求項１に記載の画像処理装置
は、連続する２枚の静止画像から画素単位のパラメータ
を演算する演算手段（例えば、図１の推定部４）メータ
の中から不偏推定量により、各画素に対応するパラメー
タを推定し、第１次動き分布画像を生成する推定手段
（例えば、図１の推定部４）と、推定手段が生成した第
ｋ＋１番目の静止画像に対応する第１次動き分布画像と
第ｋ番目の静止画像に対応する第４次動き分布画像から
第２次動き分布画像を更新する更新手段（例えば、図１
の更新部５）と、更新手段が生成した第２次動き分布画
像から第ｋ＋２番目の静止画像に対応する第１次動き分
布画像を予測し、第ｋ＋２番目の静止画像に対応する第
３次動き分布画像を生成する予測手段（例えば、図１の
予測部６）と、予測手段が生成した第３次動き分布画像
を不偏推定量により補間し、更新手段が用いる第４次動
き分布画像を生成する補間手段（例えば、図１の補間部
７）とを備えることを特徴とする。

【００１３】但し勿論この記載は、各手段を記載したも
のに限定することを意味するものではない。

【００１４】本発明を適用した画像処理装置の構成につ
いて、図１を参照して説明する。この画像処理装置の制
御部１は、装置全体を制御するようになされている。ハ
ードディスク２は、予め入力された動画像を記憶してお
り、制御部１の制御により、動画像を再生部３に出力す
るようになされている。なお、一連の動画像（１シー
ン）は、それぞれにシリアルなフレーム番号が付された
複数の静止画像（フレーム）により構成されている。

【００１５】再生部３は、ハードディスク２から入力さ
れた動画像をフレーム毎に（静止画像として）再生し、
推定部４に出力するようになされている。

【００１６】推定部４は、再生部３から入力された時系
列順序が連続する第ｋフレームと第ｋ＋１フレームか
ら、画素毎の動きベクトルとその信頼性を演算し、各画
素に任意の動きベクトルと信頼性を対応させて（不偏推
定して）、第ｋフレームに対応する第１次動き分布画像
を生成し、更新部５（第０フレームに対応する第１次動
き分布画像は、予測部６）に出力するようになされてい
る。

【００１７】更新部５は、推定部４から入力された第ｋ
＋１フレームに対応する第１次動き分布画像と、補間部
７（後述）から入力された第ｋフレームに対応する第４
次動き分布画像を合成して、第ｋ＋１フレームに対応す
る第２次動き分布画像を生成し、予測部６に出力するよ
うになされている。

【００１８】予測部６は、更新部５から入力された第ｋ
＋１フレームに対応する第２次動き分布画像（または、
推定部４から入力された第０フレームに対応する第１次
動き分布画像）に基づいて、第ｋ＋１フレームに対応す
る第３次動き分布画像を生成し、補間部７に出力するよ
うになされている。このとき、第３次動き分布画像の画
素の動きベクトルは、第２次動き分布画像（または、第
０フレームに対応する第１次動き分布画像）の画素の動
きベクトルが変化しないものと仮定して予測される。

【００１９】補間部７は、入力された第ｋ＋１フレーム
に対応する第３次動き分布画像の空隙部分を不偏推定量
により補間して、第ｋ＋１フレームに対応する第４次動
き分布画像を生成し、更新部５に出力するようになされ
ている。

【００２０】メモリ８は、各部の作業領域として情報を
一時的に記憶し、各部に出力するようになされている。

【００２１】次に、この画像処理装置の動作について、
図２のフローチャートと図３を参照して説明する。ステ
ップＳ１において、制御部１は、ハードディスク２に記
憶されている１シーンを構成するフレームの総数Ｎを確
認するとともに、フレームの順序を表すパラメータであ
るｆｒを初期化する（ｆｒ＝０とする）。

【００２２】ステップＳ２において、ｆｒがＮである
（最終フレームであるか）か否かが判定され、ｆｒがＮ
ではないと判定された場合、ステップＳ３に進む。

【００２３】ステップＳ３において、推定処理が実行さ
れる。推定処理の詳細について図４のフローチャートを
参照して説明する。

【００２４】ステップＳ１１において、推定される画素
の座標(i,j)が(0,0)に初期化される。ステップＳ１２に
おいて、(i,j)が最大値(ｉ_max,ｊ_max)以下（フレーム内
の座標）であるか否かが判定され、(i,j)が最大値(ｉ
_max,ｊ_max)以下（フレーム内の座標）であると判定され
た場合、ステップＳ１３に進む。

【００２５】ステップＳ１３において、変数counterと
変数sumが０に初期化される。ステップＳ１４におい
て、参照される画素の座標(ix,iy)が(ix-range，iy-ran
ge)に初期化される。なお、参照される画素の範囲は、
座標(i,j)を中心とした一辺が所定の長さ２×rangeの正
方形である。したがって、(ix-range，iy-range)は、参
照範囲の左上の画素を意味する。

【００２６】ステップＳ１５において、１／（推定され
る画素(i,j)の画素値と参照される画素(ix,iy)の画素値
の差分の２乗和＋0.01）の値が演算され、変数sumに加
算される。なお、0.01は信頼度が無限大に発散すること
を防ぐための補正値である。

【００２７】ステップＳ１６において、参照画素の座標
(ix,iy)と推定される画素の座標(i,j)の差(ix-i,iy-j)
（動きベクトル）が演算され、その演算値（動きベクト
ル）が、参照範囲内における画素に対するシリアルな番
号counterに対応して、配列iv_hist[counter]に配置さ
れる。同様に、その変数sumが、配列sum_hist[counter]
に配置される。このsumと、sum_hist[counter]は、後述
するステップＳ２１において、信頼度ｐを演算するため
のものである。

【００２８】ステップＳ１７において、参照画素の座標
(ix,iy)が最大値（ix+range，iy+range）よりも小さい
（参照範囲の中に、まだ参照していない画素がある）か
否かが判定され、小さくない（参照範囲の全ての画素を
参照した）と判定された場合、ステップＳ１８に進む。
まだ参照していない画素が残っている場合、ステップＳ
２３に進み、counterをインクリメントした後、ステッ
プＳ２４に進み、座標(ix,iy)をインクリメントし、他
の画素を処理対象として、ステップＳ１５以降の処理が
実行される。

【００２９】ステップＳ１８において、変数sum_thres
がsum×乱数（０乃至１の間の数）で定義される。すな
わち、乱数を用いて所定の閾値が定義される。ステップ
Ｓ１９において、変数counterが０に初期化される。

【００３０】ステップＳ２０において、配列sum_hist[c
ounter]の値がステップＳ１８でランダムに定義したsum
_thres（閾値）よりも小さい（参照元の画素として妥当
ではない）か否かが判定される。配列sum_hist[counte
r]の値がsum_thresより小さい場合（参照元の画素とし
て妥当ではない場合）、ステップＳ２５に進み、counte
rをインクリメントし、ステップＳ２０に戻る。ステッ
プＳ１５で説明したように、sumには過去の処理の値が
順次累積されていくので、counterの値が大きくなる
と、sum_hist[counter]の値も大きくなり、その結果、s
um_hist[counter]の値がsum_thresの値より大きくなる
可能性が増加する。

【００３１】sum_hist[counter]がsum_thresよりも小さ
くない（参照元の画素として妥当である）と判定された
場合、ステップＳ２１に進む。ステップＳ２１におい
て、推定される画素（座標(i,j)の画素）の動きベクト
ルとして、配列iv_hist[counter]に配置された動きベク
トルがコピーされ、その信頼度ｐとして、((sum_hist[c
ounter]-sum_hist[counter-1])/sum)の値が演算され、
設定される。

【００３２】ステップＳ２２において、座標(i,j)をイ
ンクリメントし、他の座標を処理対象として、ステップ
Ｓ１２に戻る。

【００３３】ステップＳ１２において、(i,j)が最大値
(ｉ_max,ｊ_max)以下（フレーム内の座標）ではないと判
定された場合、推定処理を終了し、図２のステップＳ３
にリターンする。

【００３４】以上のようにして、例えば図３に示す、ｆ
ｒが０の第１次動き分布画像が不偏推定量を用いて生成
されたことになる。

【００３５】図２の説明に戻る。

【００３６】以上のように、推定処理が行われた後、ス
テップＳ４において、フレームパラメータｆｒが０であ
るか（開始フレームであるか）否かが判定され、ｆｒが
０ではないと判定された場合、ステップＳ５に進む。ス
テップＳ５において、更新部５は更新処理を実行する。
最初はｆｒが０であるから、ステップＳ５の更新処理は
スキップされ、ステップＳ６に進む。

【００３７】ステップＳ６において、図５に示すような
予測処理が実行される。すなわち、入力された第２次動
き分布画像（または、ｆｒが０の場合、第１次動き分布
画像）の画素の等速性を仮定して、動きベクトルが予測
される。また、図６に示すように、動きベクトルの候補
が複数ある場合は、その信頼度ｐが最大である動きベク
トルを採用する。予測処理の詳細について、図７のフロ
ーチャートを参照して説明する。

【００３８】ステップＳ３１において、入力データ配列
scr[i,j]に、入力された第２次動き分布画像（または、
ｆｒが０の場合、第１次動き分布画像）の動きベクトル
(x,y)と信頼度ｐが配置される。

【００３９】ステップＳ３２において、出力配列dst[i,
j]が初期化される（動きベクトルと信頼度ｐが全て０と
される）。ステップＳ３３において、予測される画素の
座標(i,j)が(0,0)に初期化される。

【００４０】ステップＳ３４において、予測される画素
の座標(i,j)が最大値(ｉ_max,j_max)以下（フレーム内の
座標）であるか否かが判定され、座標(i,j)が最大値(ｉ
_max,j_m _ax)以下（フレーム内の座標）であると判定され
た場合、ステップＳ３５に進む。

【００４１】ステップＳ３５において、変数(fx,fy)に
入力データ配列scr[i,j]の動きベクトル(x,y)が設定さ
れる（fxに、動きベクトルのｘ成分が設定され、fyに、
動きベクトルのｙ成分が設定される）。すなわち、上述
した図５に示す処理が実行される。

【００４２】ステップＳ３６において、dst[i+fx,j+fy]
の信頼度ｐがscr[i,j]の信頼度ｐよりも小さいか否かが
判定され、dst[i+fx,j+fy]の信頼度ｐがscr[i,j]の信頼
度ｐよりも小さいと判定された場合、ステップＳ３７に
進む。ステップＳ３７において、dst[i+fx,j+fy]の動き
ベクトル（第３次動き分布画像の動きベクトル）とし
て、scr[i,j]の動きベクトルが設定される。すなわち、
上述した図６に示す処理が実行される。dst[i+fx,j+fy]
の信頼度ｐがscr[i,j]の信頼度ｐよりも小さくないと判
定された場合、または、ステップＳ３７の処理が終了し
た場合、ステップＳ３８において、座標(i,j)をインク
リメントし、他の画素を処理対象として、ステップＳ３
４に戻る。

【００４３】ステップＳ３４において、予測される画素
の座標(i,j)が最大値(ｉ_max,j_max)以下（フレーム内の
座標）ではないと判定された場合、予測処理を終了し、
図２にステップＳ６にリターンする。以上により、図３
における予測処理により、第３次動き分布画像が得られ
たことになる。

【００４４】図２の説明に戻る。

【００４５】以上のように、予測処理が実行された後、
ステップＳ７において、補間部７は、補間処理を実行す
る。補間処理の詳細について、図８のフローチャートを
参照して説明する。

【００４６】ステップＳ４１において、補間の対象（補
間候補）とされる画素の座標(i,j)が(0,0)に初期化され
る。ステップＳ４２において、(i,j)が最大値(ｉ_max,ｊ
_max)以下（フレーム内の座標）であるか否かが判定さ
れ、(i,j)が最大値(ｉ_max,ｊ_m _ax)以下（フレーム内の座
標）である判定された場合、ステップＳ４３に進む。

【００４７】ステップＳ４３において、補間部７は、座
標(i,j)の画素の信頼度ｐ(i,j)が所定の基準値よりも小
さいか否かを判定し、所定の基準値よりも小さいと判定
した場合（情報欠落画素である場合）、ステップＳ４４
に進む。信頼度ｐ(i,j)が所定の値以上である場合、そ
の画素は情報が欠落した画素ではないので補間処理する
必要がない。そこでステップＳ５５に進み、座標(i,j)
をインクリメントし、他の画素を処理対象とし、ステッ
プＳ４２に戻り、同様の処理が実行される。

【００４８】ステップＳ４４において、変数counterと
変数sumが０に初期化される。ステップＳ４５におい
て、参照される画素の座標(ix,iy)が(ix-range，iy-ran
ge)に初期化される。なお、参照される画素の範囲は、
座標(i,j)を中心とした一辺が所定の長さ２×rangeの正
方形である。したがって、上述したように、(ix-rang
e，iy-range)は、参照範囲の左上の画素を意味する。

【００４９】ステップＳ４６において、補間部７は、座
標(ix,iy)の画素の信頼度ｐ(ix,iy)が０よりも大きいか
否かを判定し、０よりも大きいと判定した場合（情報欠
落画素に対して情報（画素値）をコピーする元の画素と
して妥当である場合）、ステップＳ４７に進む。信頼度
ｐが０である場合、コピー元の画素として妥当ではない
ものとして、ステップＳ５６に進み、座標(ix,iy)をイ
ンクリメントし、他の画素を処理対象とし、ステップＳ
４６に戻る。

【００５０】ステップＳ４７において、L((ix,iy),(i,
j))の値が、変数sumに加算される。なお、L((ix,iy),
(i,j))は、座標（ix,iy）の画素が補間される画素(i,j)
のコピー元として妥当であるか否かを示す関数であり、
次式で表される。 L((ix,iy),(i,j))=p(ix,iy)×EXP(-D1((ix,iy),(i,j))/
a-D2((ix,iy),(i,j))/b) 但し、p(ix,iy)は参照される画素の信頼度であり、D1
((ix,iy),(i,j))は(ix,iy)と(i,j)の座標間の距離であ
り、D2((ix,iy),(i,j))は(ix,iy)と(i,j)の画素の画素
値の差である。

【００５１】ステップＳ４８において、画素値をコピー
可能な画素として、参照画素の座標(ix,iy)と補間され
る画素の座標(i,j)の差(ix-i,iy-j)（動きベクトル）が
演算され、その演算値（動きベクトル）が、参照範囲内
における画素に対するシリアルな番号counterに対応し
て、配列iv_hist[counter]に配置される。同様に、その
変数sumが、配列sum_hist[counter]に配置される。

【００５２】ステップＳ４９において、参照画素の座標
(ix,iy)が最大値（ix+range，iy+range）よりも小さい
（参照範囲の中に、まだ参照していない画素がある）か
否かが判定され、小さくない（参照範囲の全ての画素を
参照した）と判定された場合、ステップＳ５０に進む。
まだ参照していない画素が残っている場合、ステップＳ
５７に進み、counterをインクリメントした後、ステッ
プＳ５６に戻り、座標(ix,iy)をインクリメントして、
他の画素を処理対象として、ステップＳ４６以降の処理
が実行される。

【００５３】ステップＳ５０において、sumとcounterが
０よりも大きいか否かが判定され、sumとcounterの両方
が０よりも大きい（参照範囲内にコピー元として妥当な
画素がある）と判定された場合、ステップＳ５１に進
む。sumとcounterの少なくとも一方が０である場合、参
照範囲内にコピー元として妥当な画素が存在しないの
で、ステップＳ５８に進み、座標(ix,iy)の信頼度ｐに
０を設定した後、ステップＳ５５に戻り、座標(ix,iy)
をインクリメントし、他の画素を処理対象として、ステ
ップＳ４２以降の処理を実行する。

【００５４】ステップＳ５１において、変数sum_thres
がsum×乱数（０乃至１の間の数）で定義される。すな
わち、乱数を用いて、所定の閾値が定義される。ステッ
プＳ５２において、変数counterが０に初期化される。

【００５５】ステップＳ５３において、配列sum_hist[c
ounter]の値がステップＳ５１でランダムに定義したsum
_thres（閾値）よりも小さい（コピー元の画素として妥
当ではない）か否かが判定される。配列sum_hist[count
er]の値がsum_thresより小さい場合（コピー元の画素と
して妥当ではない場合）、ステップＳ５９に進み、coun
terをインクリメントし、ステップＳ５３に戻る。ステ
ップＳ４７で説明したように、sumには過去の処理の値
が順次累積されていくので、counterの値が大きくなる
と、sum_hist[counter]の値も大きくなり、その結果、s
um_hist[counter]の値がsum_thresの値より大きくなる
可能性が増加する。

【００５６】sum_hist[counter]がsum_thresよりも小さ
くない（コピー元の画素として妥当である）と判定され
た場合、ステップＳ５４に進む。ステップＳ５４におい
て、補間される画素の信頼度ｐ(i,j)と動きベクトルＶ
１(i,j)として、配列iv_hist[counter]に配置されてい
る信頼度と動きベクトルがコピーされる。その後、ステ
ップＳ５５で座標(i,j)がインクリメントされた後、ス
テップＳ４２に戻り、それ以降の処理が実行される。

【００５７】ステップＳ４２において、(i,j)が最大値
(ｉ_max,ｊ_max)以下（フレーム内の座標）ではないと判
定された場合（そのフレームの全ての画素を処理した場
合）、補間処理を終了し、図２のステップＳ７にリター
ンする。

【００５８】以上のようにして、図３に示すように、不
偏推定量を用いた補間処理により、第４次動き分布画像
が生成されたことになる。

【００５９】図２の説明に戻る。

【００６０】以上のように、補間処理が行われた後、ス
テップＳ８において、ｆｒが１だけインクリメントさ
れ、ステップＳ２に戻る。

【００６１】ステップＳ２，Ｓ３において、上述した処
理が同様に実行される。ステップＳ４において、ｆｒが
０ではないのでステップＳ５に進み、更新部５が更新処
理を実行する。更新処理の詳細について、図９を参照し
て説明する。

【００６２】ステップＳ７１において、更新される画素
の座標(i,j)が(0,0)に初期化される。ステップＳ７２に
おいて、(i,j)が最大値(ｉ_max,ｊ_max)以下（フレーム内
の座標）であるか否かが判定され、(i,j)が最大値(ｉ
_max,ｊ_max)以下（フレーム内の座標）であると判定され
た場合、ステップＳ７３に進む。

【００６３】ステップＳ７３において、補間部７から入
力されたｆｒがｋ（最初はｋ＝０）である静止画像に対
応する第４次動き分布画像のデータ配列pre[i,j]の信頼
度ｐを変数ppに設定する。同様に、推定部７から入力さ
れたｆｒがｋ＋１である静止画像に対応する第１次動き
分布画像のデータ配列cur[i,j]の信頼度ｐを変数cpに設
定する。

【００６４】ステップＳ７４において、ppがcpよりも大
きいか否かが判定される。ppがcpよりも大きい（第４次
動き分布画像の信頼度ｐが第１次動き分布画像の信頼度
ｐよりも大きい）と判定された場合、ステップＳ７５に
進む。ppがcpよりも大きくない（第１次動き分布画像の
信頼度ｐが第４次動き分布画像の信頼度ｐよりも大き
い）と判定された場合、動きベクトルを更新せずにステ
ップＳ７６に進み、(i,j)をインクリメントし、他の画
素を処理対象としてステップＳ７２に戻る。

【００６５】ステップＳ７５において、第１次動き分布
画像の動きベクトルと第４次動き分布画像の動きベクト
ルが、次式のようにppとcpに基づいて加重平均され、第
２次動き分布画像の動きベクトルが演算され、設定され
る。２次動き分布画像の動きベクトル=（pre[i,j]の動きベ
クトル）×｛pp/(pp+cp)｝+（cur[i,j]の動きベクト
ル）×｛cp/(pp+cp)｝

【００６６】ステップＳ７２において、(i,j)が最大値
(ｉ_max,ｊ_max)以下ではないと判定された場合、更新処
理を終了し、図２のステップＳ５にリターンする。

【００６７】以上のようにして、図３に示すように、更
新処理により第２次動き分布画像が得られたことにな
る。

【００６８】次に、上述した画像処理装置により得られ
た動き分布画像と、従来の方法により得られた動き分布
画像を比較する。図１０(A)は、本発明を適用した画像
処理装置により得られた動き分布画像であり、図１０
(B)は、従来の方法の一例である最尤推定に基づいて得
られた動き分布画像である。なお、両者とも同じ映像
（固定されたテーブルの上を、トラックの模型が左方向
に移動する映像）を処理したものであり、上から順に、
ｆｒが０である静止画像に対応する第１次動き分布画
像、ｆｒが０である静止画像に対応する第３次動き分布
画像、およびｆｒが４である静止画像に対応する第３次
動き分布画像を示している。なお、これらの画像の画素
の濃度は、水平方向（画面左方向）の動きベクトルの大
きさを表している。

【００６９】両者を比較した場合、図１０(B)の画像で
は、トラックの模型の輪郭がぼやけているとともに、ト
ラックの下の不動部分であるテーブルの画素が濃度を有
している（動きを示している）。これに対して、図１０
(A)の画像では、ｆｒが増加するにつれて情報が蓄積さ
れ、トラックの模型の輪郭が鮮明になってきており、不
動部分（テーブル）の画素の濃度が減少している。した
がって、図１０(A)の方が誤判定の少ない動き分布画像
であるといえる。

【００７０】正確な動き分布画像が得られることによ
り、映像内の動体部分の画像の切り出し、追跡、および
動き推定が可能となる。

【００７１】ところで、画像をズームアウトした場合に
おける画素の動きベクトル（画像の横方向の成分）を考
えると、図１１(D)に示すように、その方向は、画像の
中心線を向き、その大きさは、中心線から離れるにつれ
て増加するはずである。ここで、ｆｒ＝４に対応する第
２次動き分布画像である図１１(C)を観察すると、画像
の画素の濃度が左から右に徐々に濃くなっている。すわ
わち、画像の左から右にかけて、左方向を正とした動き
ベクトルが負から正に連続的に変化しており、図１１
(D)と同様であることがわかる。したがって、この画像
処理装置は、ズームに対する動き推定も可能であるとい
える。

【００７２】なお、本発明は奥行きを表すパラメータの
推定にも適用することができる。

【００７３】上記各処理を行うコンピュータプログラム
は、磁気ディスク、CD-ROM等の情報記録媒体よりなる提
供媒体のほか、インターネット、デジタル衛星などのネ
ットワーク提供媒体を介してユーザに提供することがで
きる。

【００７４】

【発明の効果】以上のように、請求項１に記載の画像処
理装置、請求項４に記載の画像処理方法、および請求項
５に記載の提供媒体によれば、不偏推定により画素単位
の動き推定を行うようにしたので、動き推定の空間解像
度を向上させるとともに、ロバスト性を確保することが
可能となる。

【図面の簡単な説明】

【図１】本発明を適用した画像処理装置の構成を示すブ
ロック図である。

【図２】図１の画像処理装置の動作を説明するフローチ
ャートである。

【図３】図１の画像処理装置の動作を説明する図であ
る。

【図４】図２のステップＳ３の推定処理を説明するフロ
ーチャートである。

【図５】図２のステップＳ６の予測処理を説明する図で
ある。

【図６】図２のステップＳ６の予測処理を説明する図で
ある。

【図７】図２のステップＳ６の予測処理を説明するフロ
ーチャートである。

【図８】図２のステップＳ７の補間処理を説明するフロ
ーチャートである。

【図９】図２のステップＳ５の更新処理を説明するフロ
ーチャートである。

【図１０】本発明と従来の一例の比較を説明するディス
プレー上に表示した中間調画像の写真である。

【図１１】本発明を画像のズームアウトに対する適用を
説明するディスプレー上に表示した中間調画像の写真で
ある。

【符号の説明】１制御部，２ハードディスク，３再生部，
４推定部，５更新部，６予測部，７補間
部，８メモリ

Claims

【特許請求の範囲】

【請求項１】動画像を構成する静止画像の画素単位の
動きを推定する画像処理装置において、連続する２枚の前記静止画像から前記画素単位のパラメ
ータを演算する演算手段と、前記演算手段が演算したパラメータの中から不偏推定量
により、各画素に対応するパラメータを推定し、第１次
動き分布画像を生成する推定手段と、前記推定手段が生成した前記第ｋ＋１番目の前記静止画
像に対応する前記第１次動き分布画像と第ｋ番目の前記
静止画像に対応する第４次動き分布画像から第２次動き
分布画像を更新する更新手段と、前記更新手段が生成した前記第２次動き分布画像から第
ｋ＋２番目の前記静止画像に対応する前記第１次動き分
布画像を予測し、前記第ｋ＋２番目の前記静止画像に対
応する第３次動き分布画像を生成する予測手段と、前記予測手段が生成した前記第３次動き分布画像を前記
不偏推定量により補間し、前記更新手段が用いる前記第
４次動き分布画像を生成する補間手段とを備えることを
特徴とする画像処理装置。
【請求項２】前記パラメータは、動きベクトルと信頼
度であることを特徴とする請求項１に記載の画像処理装
置。
【請求項３】前記更新手段は、前記信頼度に基づい
て、２つの前記動きベクトルを加重平均して合成するこ
とを特徴とする請求項２に記載の画像処理装置。
【請求項４】動画像を構成する静止画像の画素単位の
動きを推定する画像処理方法において、連続する２枚の前記静止画像から前記画素単位のパラメ
ータを演算する演算ステップと、前記演算ステップで演算したパラメータの中から不偏推
定量により、各画素に対応するパラメータを推定し、第
１次動き分布画像を生成する推定ステップと、前記推定ステップで生成した前記第ｋ＋１番目の前記静
止画像に対応する前記第１次動き分布画像と第ｋ番目の
前記静止画像に対応する第４次動き分布画像から第２次
動き分布画像を更新する更新ステップと、前記更新ステ
ップで生成した前記第２次動き分布画像から第ｋ＋２番
目の前記静止画像に対応する前記第１次動き分布画像を予測し、
前記第ｋ＋２番目の前記静止画像に対応する第３次動き
分布画像を生成する予測ステップと、前記予測ステップで生成した前記第３次動き分布画像を
前記不偏推定量により補間し、前記更新ステップで用い
る前記第４次動き分布画像を生成する補間ステップとを
備えることを特徴とする画像処理方法。
【請求項５】動画像を構成する静止画像の画素単位の
動きを推定する画像処理装置に使用するコンピュータプ
ログラムを提供する提供媒体において、連続する２枚の前記静止画像から前記画素単位のパラメ
ータを演算する演算ステップと、前記演算ステップで演算したパラメータの中から不偏推
定量により、各画素に対応するパラメータを推定し、第
１次動き分布画像を生成する推定ステップと、前記推定ステップで生成した前記第ｋ＋１番目の前記静
止画像に対応する前記第１次動き分布画像と第ｋ番目の
前記静止画像に対応する第４次動き分布画像から第２次
動き分布画像を更新する更新ステップと、前記更新ステップで生成した前記第２次動き分布画像か
ら第ｋ＋２番目の前記静止画像に対応する前記第１次動
き分布画像を予測し、前記第ｋ＋２番目の前記静止画像
に対応する第３次動き分布画像を生成する予測ステップ
と、前記予測ステップで生成した前記第３次動き分布画像を
前記不偏推定量により補間し、前記更新ステップで用い
る前記第４次動き分布画像を生成する補間ステップとを
備えるコンピュータプログラムを提供することを特徴と
する提供媒体。