JP4283005B2 - Object tracking method, program, and recording medium - Google Patents
Object tracking method, program, and recording medium Download PDFInfo
- Publication number
- JP4283005B2 JP4283005B2 JP2003029791A JP2003029791A JP4283005B2 JP 4283005 B2 JP4283005 B2 JP 4283005B2 JP 2003029791 A JP2003029791 A JP 2003029791A JP 2003029791 A JP2003029791 A JP 2003029791A JP 4283005 B2 JP4283005 B2 JP 4283005B2
- Authority
- JP
- Japan
- Prior art keywords
- template
- correlation value
- image
- motion
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置からの入力画像を処理することによって移動物体を検出して追跡する物体追跡方法に関し、より詳細には、追跡対象物体が入力画像に含まれる背景に強い影響を受ける場合や、追跡対象物体の動きが無い場合であっても、追跡対象物体を精度良く追跡できるようにした物体追跡方法に関する。
【０００２】
【従来の技術】
従来の物体追跡方法としては、追跡対象物体の画像の特徴を用いて追跡するテンプレートマッチングを用いた方法、または追跡対象物体の動きの特徴を用いて追跡するオプティカルフローを用いた方法が広く知られている。
【０００３】
図１５に、テンプレートマッチングを用いた従来の物体追跡方法における処理の流れを示す。入力画像から追跡したい物体を含む領域をテンプレートとして切り出し、そのテンプレート画像を記憶する（Ｓ１５０１）。入力画像におけるテンプレートの切り出し位置をテンプレートの基準位置として記憶する（Ｓ１５０２）。撮像時刻の異なる複数の入力画像とテンプレートとに基づいて、入力画像におけるテンプレートのマッチング位置を求める（Ｓ１５０３）。マッチング位置と基準位置とに基づいて、基準位置に対するマッチング位置の移動量を算出する（Ｓ１５０４）。算出した移動量が予め定めた条件以上であれば基準位置をマッチング位置に更新し、且つテンプレートを撮像時刻の異なる入力画像のマッチング位置に基づき更新するが、移動量が予め定めた条件未満であれば基準位置ないしはテンプレートを更新しない（Ｓ１５０５）。（特許文献１参照）
【０００４】
図１６に、オプティカルフローを用いた従来の物体追跡方法における処理の流れを示す。撮像装置から逐次入力される入力画像を複数のブロックに分割し、ブロック毎に動きがあるか否かを検出する（Ｓ１６０１）。検出したブロックの重心位置を算出することで移動物体を追跡する（Ｓ１６０２）。（特許文献２参照）
【０００５】
【特許文献１】
特開2000-113158号公報
【特許文献２】
特開2000-322582号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、テンプレートマッチングを用いた従来の物体追跡方法においては、入力画像から切り出したテンプレートの画像パターンのみを用いて物体追跡を行っているため、たとえば白線のエッジ等による背景の強い特長がテンプレートの背景部に含まれる場合、テンプレートの背景部と相関が高い位置にテンプレートが誤ってマッチングしてしまい、物体追跡に失敗する場合があった。
【０００７】
また、オプティカルフローを用いた従来の物体追跡方法においては、入力画像から動きを検出して物体追跡を行っているため、追跡対象物体に動きが無くオプティカルフローが発生しない場合は追跡できないという問題があった。
【０００８】
本発明は、これら従来の技術の問題を解決するためになされたもので、その目的は、追跡対象物体を含むテンプレートの画像パターンに背景の強い特徴が含まれている場合や、追跡対象物体に動きが無い場合であっても、追跡対象物体を含むテンプレートの画像と動きの両方のパターンから相関を求めて追跡を行うことによって、追跡対象物体を精度良く追跡することができる物体追跡方法を提供し、併せて、この方法をコンピュータにより実現するためのプログラム、および当該プログラムを記録した記録媒体を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明の物体追跡方法は、撮像時刻の異なる複数の入力画像からオプティカルフローを演算するオプティカルフロー演算ステップと、追跡対象物体を含むテンプレートの画像パターンと前記入力画像との相関を求める画像相関演算ステップと、前記テンプレートの動きパターンと前記オプティカルフローとの動き相関を求める動き相関演算ステップと、前記画像相関演算ステップで得られた画像相関値と前記動き相関演算ステップで得られた動き相関値とを用いて前記テンプレートの最適マッチング位置を探索する最適マッチング位置探索ステップと、前記最適マッチング位置によって前記テンプレートを更新するテンプレート更新ステップと、前記オプティカルフローから動体領域を検出し、前記動体領域を含む画像パターンと動きパターンとをテンプレートとして記憶するテンプレート登録ステップとを有する。
【００１０】
この構成により、追跡対象物体を含むテンプレートの画像パターンに背景の強い特徴が含まれている場合や、追跡対象物体に動きが無い場合であっても、追跡対象物体を含むテンプレートの画像と動きの両方のパターンから相関を求めて追跡を行うことによって、追跡対象物体を精度良く追跡することができる。
【００１１】
また、本発明の物体追跡方法において、前記最適マッチング位置探索ステップは、前記画像相関値と前記動き相関値を一定の比率で加算して正規化した値をテンプレートの相関値とし、前記テンプレートの相関値がピークとなる位置を最適マッチング位置として探索することが望ましい。
【００１２】
この構成によれば、強い特長がテンプレートの背景部に含まれる場合には、前記動き相関値の比率を高く設定してテンプレートの相関値を求めることにより、追跡対象物体に動きが無く追跡が困難な場合には、前記画像相関値の比率を高く設定してテンプレートの相関値を求めることにより、追跡対象物体を精度良く追跡することができる。
【００１３】
また、前記最適マッチング位置探索ステップは、前記テンプレートの特徴を用いて比率を決定し、前記画像相関値と前記動き相関値とを前記比率で加算して正規化した値をテンプレートの相関値とし、前記テンプレートの相関値が最適となる位置を最適マッチング位置として探索することが望ましい。
【００１４】
この構成によれば、追跡対象物体の入力画像上の座標によってテンプレートの背景の影響が変化する場合や追跡対象物体の動きが時々刻々と変化する場合に、テンプレートの特徴に応じて、適応的に決定した比率で前記画像相関値と前記動き相関値を足し合わせて正規化した値をテンプレートの相関値として最適マッチング位置を探索することにより、強い特長がテンプレートの背景部に含まれる場合やオプティカルフローが発生しない場合であっても物体を精度良く追跡することができる。
【００１５】
前記比率は、前記テンプレートの動きパターンのフローが発生している割合に応じて決定されることが望ましい。
【００１６】
この構成によれば、テンプレートの動きパターンのフローが発生している割合を用いて前記適応的な比率を決定し、適応的に決定した比率で前記画像相関値と前記動き相関値を足し合わせて正規化した値をテンプレートの相関値として最適マッチング位置を探索することにより、強い特長がテンプレートの背景部に含まれる場合やオプティカルフローが発生しない場合であっても物体を精度良く追跡することができる。
【００１７】
また、本発明のプログラムは、本発明の物体追跡方法における各工程をコンピュータに実行させるべくプログラム化したものである。
【００１８】
このプログラムをコンピュータに実行させることにより、本発明の物体追跡方法をコンピュータを用いて容易に実施することができる。
【００１９】
本発明の記憶媒体は、本発明の物体追跡方法における各工程をコンピュータに実行させるためのプログラムをコンピュータに読み取り可能に記録してなる。
【００２０】
この記憶媒体に記録されているプログラムをコンピュータに実行させることにより、本発明の物体追跡方法をコンピュータを用いて容易に実施することができる。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２２】
［第１の実施の形態］
図１は本発明の第１の実施の形態の物体追跡方法における処理の流れを示すフロー図である。この物体追跡方法は、撮像時刻の異なる複数の入力画像からオプティカルフローを演算するオプティカルフロー演算ステップＳ１０１と、テンプレートの画像パターンと入力画像との相関を求める画像相関演算ステップＳ１０２と、テンプレートの動きパターンとオプティカルフロー演算ステップＳ１０１で得られたオプティカルフロートの動き相関を求める動き相関演算ステップＳ１０３と、画像相関演算ステップＳ１０２で得られた画像相関値と動き相関演算ステップＳ１０３で得られた動き相関値とに基づいて最適マッチング位置を探索する最適マッチング位置探索ステップＳ１０４と、最適マッチング位置探索ステップＳ１０４により得られた最適マッチング位置でテンプレートを更新するテンプレート更新ステップＳ１０５と、オプティカルフロー演算ステップＳ１０１で得られたオプティカルフローから動体領域を検出し、新規テンプレートを登録するテンプレート登録ステップＳ１０６とを有し、これら一連のステップＳ１０１〜Ｓ１０６の処理を繰り返し行うことにより物体追跡を行う。なお、テンプレートとは追跡対象物体を含む画像パターンと動きパターンを組にしたものである。入力画像からテンプレートを得る方法については後述する。
【００２３】
次に、各ステップＳ１０１〜Ｓ１０６における処理内容について詳細に説明する。
【００２４】
まず、図２および図３を参照して、オプティカルフロー演算ステップＳ１０１における処理の流れを説明する。オプティカルフローを演算する方法としては、たとえばブロックマッチング法や勾配法が知られている。本実施の形態ではブロックマッチング法を用いた方法を説明する。
【００２５】
オプティカルフロー演算ステップＳ１０１は、図２に示す一連のステップＳ２０１〜Ｓ２０４からなる。
ステップＳ２０１では、入力画像を（M×N）個の画素から構成されるブロック単位に分割する。
ステップＳ２０２では、入力画像のブロックを１つ選択する。
ステップＳ２０３では、図３に示すように入力画像内のブロックと前フレーム画像の探索範囲内のブロックとの相関値を演算し、ステップＳ２０２で選択したブロックのオプティカルフローを求める。オプティカルフローはブロックマッチング法によって入力画像内の（M×N）個の画素から構成されるブロック３０１に対し、前フレーム画像の（K×L）個の画素から構成される探索範囲３０２内から、（M×N）個の画素から構成される最も相関の高いブロック３０３を探索して求める。そして、ブロック３０３からブロック３０１への変移３０４としてオプティカルフローが求められる。
【００２６】
最も相関の高いブロック３０３は、たとえば入力画像内のブロックと前フレーム画像のブロックにおける同位置の画素の差分絶対値和Ｄ（ａ，ｂ）が最も小さい位置を調べることによって求められる。差分絶対値和Ｄ（ａ，ｂ）は下記の式１で表され、この値が０に近づくほど相関が高いことを意味する。
【００２７】
【数１】
a : 入力画像内のブロックとnフレーム前の画像内のブロックのx成分の変位
b : 入力画像内のブロックとnフレーム前の画像内のブロックのy成分の変位
D(a,b) : 変位(a,b)における差分絶対値和
ft : 入力画像
ft-n : nフレーム前の画像
x :ブロックのx座標
y :ブロックのy座標
【００２９】
これらステップＳ２０２、Ｓ２０３の一連の処理を入力画像の各ブロックに対して繰り返し行い、入力画像のオプティカルフローを各ブロック単位で演算する（ステップＳ２０４）。
【００３０】
次に、図４および図５を参照して、画像相関演算ステップＳ１０２における処理の流れを説明する。
【００３１】
画像相関演算ステップＳ１０２は、図４に示す一連のステップＳ４０１〜Ｓ４０８からなる。
ステップＳ４０１では、テンプレートが１つ以上登録されているか否か判定する。テンプレートが全く登録されていない場合は、図４の一連の処理を終了する。
テンプレートが１つ以上登録されている場合は、ステップＳ４０２においてテンプレートを１つ選択する。
ステップＳ４０３では、ステップＳ４０２で選択したテンプレートについて入力画像内に探索範囲を設定する。
ステップＳ４０４では、ステップＳ４０３で設定した探索範囲内で画像相関値Ｒ1を求める座標を設定する。
ステップＳ４０５では、ステップＳ４０４で設定した座標で入力画像の部分画像とテンプレートの画像パターンの画像相関値を演算する。画像相関値には、たとえば下記の式２で表される正規化相関値Ｒ1(a,b)を用いる。Ｒ1(a,b)は、０〜１の実数値を取り、１に近づくほど画像相関が高いことを意味する。正規化相関値Ｒ1(a,b)は、照明の変動による輝度変化の影響を受けにくく、安定なマッチングが可能である点から好ましい。
【００３２】
【数２】
H : テンプレートのサイズ(横) , V : テンプレートのサイズ(縦)
a : テンプレートの座標と画像相関を求める座標のx成分の変移
b : テンプレートの座標と画像相関を求める座標のy成分の変移
Ｒ1 : 正規化相関値
T : テンプレート
f : 探索範囲内に設定した画像相関を求める入力画像の部分画像
【００３４】
ステップＳ４０６では、ステップＳ４０５で得られた画像相関値をステップＳ４０４で設定した座標と対応付けて記憶する。
【００３５】
ステップＳ４０４〜Ｓ４０６の一連の処理を、入力画像内に設定した探索範囲内の全ての座標に対して行う(ステップＳ４０７)。たとえば図５の場合、ステップＳ４０２でテンプレート５０１を選択し、ステップＳ４０３でテンプレート５０１の入力画像上の座標５０２に基づいて探索範囲５０３を設定し、ステップＳ４０４で画像相関値を求める座標５０４を設定し、ステップＳ４０５でテンプレート５０１と入力画像上の座標５０４の部分画像との画像相関値を求め、ステップＳ４０６で座標５０４と画像相関値を対応付けて記憶し、ステップＳ４０７で探索範囲５０３内の全ての座標で画像相関値Ｒ1を演算したか否かを判定する。
【００３６】
そして、ステップＳ４０２〜Ｓ４０７の一連の処理を、登録されているテンプレート全てに対して行う(ステップＳ４０８)。
【００３７】
次に、図６および図７を参照して、動き相関演算ステップＳ１０３における処理の流れを説明する。
【００３８】
動き相関演算ステップＳ１０３は、図６に示す一連のステップＳ６０１〜Ｓ６０８からなる。
ステップＳ６０１では、テンプレートが１つ以上登録されているか否か判定を行う。テンプレートが全く登録されていない場合は、図６の一連の処理を終了する。
テンプレートが１つ以上登録されている場合は、ステップＳ６０２においてテンプレートを１つ選択する。
ステップＳ６０３では、ステップＳ６０２で選択したテンプレートについて入力画像内に探索範囲を設定する。ステップＳ６０２で設定する探索範囲は、ステップＳ４０２（図４）で選択したテンプレートと同一のテンプレートを選択している場合は同一の探索範囲が設定される。
ステップＳ６０４では、ステップＳ４０３で設定した探索範囲内で動き相関値Ｒ2を求める座標を設定する。
ステップＳ６０５では、ステップＳ４０４で設定した座標で入力画像のオプティカルフローとテンプレートの動きパターンとの動き相関値を演算する。動き相関値は、たとえば下記の式３で示すように、入力画像のオプティカルフローとテンプレートの動きパターンとの一致率Ｒ2（a,b）で求められる。Ｒ2（a,b）は、０〜１の実数値を取り、１に近づくほど動き相関が高いことを意味する。
【００３９】
【数３】
ステップＳ６０６では、ステップＳ６０５で得られた動き相関値Ｒ2をステップＳ６０５で設定した座標と対応付けて記憶する。
【００４１】
ステップＳ６０４〜Ｓ６０６の一連の処理を、入力画像内に設定した探索範囲内の全ての座標に対して行う(ステップＳ６０７)。たとえば図７の場合、ステップＳ６０２でテンプレート７０１を選択し、ステップＳ６０３でテンプレート７０１の画像上の領域７０２に基づいて探索範囲７０３を設定し、ステップＳ６０４で動き相関値を求める座標７０４を設定し、ステップＳ６０５で動き相関値Ｒ2を求め、ステップＳ６０６で座標７０４と動き相関値Ｒ2を対応付けて記憶し、ステップＳ６０７で探索範囲７０３内の全ての座標で動き相関値Ｒ2を演算したか否か判定する。図示の例では、動き相関値Ｒ2が領域７０５で最大となる。
【００４２】
そして、ステップＳ６０２〜Ｓ６０７の一連の処理を、登録されているテンプレート全てに対して行う(ステップＳ６０８)。
【００４３】
次に、図８を参照して最適マッチング位置探索ステップＳ１０４における処理の流れを説明する。
【００４４】
最適マッチング位置探索ステップＳ１０４は、図８に示す一連のステップＳ８０１〜Ｓ８１０からなる。
ステップＳ８０１では、テンプレートが１つ以上登録されているか否か判定する。テンプレートが全く登録されていない場合は、図８の一連の処理を終了する。
テンプレートが１つ以上登録されている場合は、ステップＳ８０２においてテンプレートを１つ選択する。
ステップＳ８０３では、ステップＳ８０２で選択したテンプレートの最大相関値Ｒmaxと最適マッチング位置を初期化する。
ステップＳ８０４では、ステップＳ８０２で選択したテンプレートについて入力画像内に探索範囲を設定する。ステップＳ８０２で設定する探索範囲は、ステップＳ４０２（図４）およびステップＳ６０２（図６）で選択したテンプレートと同一のテンプレートを選択している場合は同一の探索範囲が設定される。
ステップＳ８０５では、ステップＳ８０３で設定した探索範囲内で相関値Ｒを求める座標を設定する。
ステップＳ８０６において、画像相関演算ステップＳ１０２（図１）で得られた画像相関値Ｒ1と動き相関演算ステップＳ１０３（図１）で得られた動き相関値Ｒ2からテンプレートの相関値Ｒを演算する。
【００４５】
テンプレートの相関値Ｒは、下記の式４で示すように、あらかじめ設定しておいた一定の係数α,βを用いて画像相関値Ｒ1と動き相関値Ｒ2の算術和を求め、それを正規化することにより求められる。たとえば、画像相関値Ｒ1を前記式２で求め、動き相関値Ｒ2を前記式３で求めた場合、それぞれ０〜１の実数値を取り、１に近づくほど画像相関または動き相関が高いので、式４の相関値Ｒは、０〜１の実数値をとり、１に近づくほどテンプレートの相関が高いことを意味する。なお、(α,β)＝(1,1)と設定することによって、たとえば、画像相関値Ｒ1を式２で求め、動き相関値Ｒ2を式３で求めた場合、画像相関値Ｒ1と動き相関値Ｒ2の算術和の範囲を０〜１の実数値に正規化したものと等価になる。
【００４６】
【数４】
Ｒ(a,b)：テンプレートの相関値
Ｒ1(a,b)：テンプレートの画像相関値
Ｒ2(a,b)：テンプレートの動き相関値
α、β：定数
(a,b)：テンプレートの座標と画像相関を求める座標の(x,y)成分の変位
【００４８】
ステップＳ８０７では、ステップＳ８０６で得られたテンプレートの相関値Ｒが最大相関値Ｒmaxより大きいか否か判定する。
テンプレートの相関値Ｒが最大相関値Ｒmaxより大きい場合は、ステップＳ８０８で最大相関値Ｒmaxを相関値Ｒで更新し、最適マッチング位置をステップＳ８０５で設定した座標で更新する。
これらステップＳ８０５〜Ｓ８０８の一連の処理を、入力画像内に設定した探索範囲内の全ての座標に対して行う(ステップＳ８０９)。
そして、ステップＳ８０２〜Ｓ８０９の一連の処理を、登録されているテンプレート全てに対して行う(ステップＳ８１０)。
【００４９】
次に、図９および図１０を参照してテンプレート更新ステップＳ１０５における処理の流れを説明する。
【００５０】
テンプレート更新ステップＳ１０５は、図９に示す一連のステップＳ９０１〜Ｓ９０４からなる。
ステップＳ９０１では、テンプレートを１つ選択する。
ステップＳ９０２では、テンプレートと入力画像内の最適マッチング位置との最大相関値Ｒmaxがしきい値を超えているか判定を行う。
ステップＳ９０３では、最大相関値Ｒmaxがしきい値を超えたテンプレートを入力画像内の最適マッチング位置の領域によって更新する。テンプレートを更新することによって、追跡対象物体の形状ないしは大きさの変化に追従することができる。また、最大相関値Ｒmaxがしきい値を超えない場合は、登録されているテンプレートを削除する。
【００５１】
ここで、テンプレートを更新する方法について説明する。たとえば、図１０に示すように、人物１００１に対して最適マッチング位置がテンプレート枠１００２であったとし、ブロック１００３のような淡色のブロックをオプティカルフローが発生していないブロック、ブロック１００４のような濃色のブロックをオプティカルフローが発生したブロックとする。
【００５２】
このとき、水平線Ｈ１を基準として、垂直線Ｖ１から垂直線Ｖ２の範囲のブロックについてオプティカルフローが発生した個数をカウントし、該当する全ブロックに対してオプティカルフローが発生していないブロックの割合がしきい値より大きければテンプレートの枠を収縮する。逆にオプティカルフローの発生しているブロックがしきい値より大きければ、テンプレート枠を拡大する方向の該当範囲の全ブロックについてオプティカルフローの発生している割合を求め、しきい値より大きければテンプレート枠を拡大し、小さい場合はテンプレート枠を維持する。この処理を、水平線Ｈ２を基準とした垂直線Ｖ１から垂直線Ｖ２の範囲、垂直線Ｖ１を基準とした水平線Ｈ１から水平線Ｈ２の範囲、垂直線Ｖ２を基準とした水平線Ｈ１から水平線Ｈ２の範囲のそれぞれについて同様の処理を行い、テンプレート枠を補正しテンプレートを更新する。
【００５３】
その結果、図１０に示すように、最適マッチング位置のテンプレート枠１００２がテンプレート枠１００５に更新される。そして、入力画像内の更新したテンプレート枠１００５に含まれる部分画像を用いてテンプレートの画像パターンを更新する。
【００５４】
ステップＳ９０２およびＳ９０３の一連の処理を、登録されている全てのテンプレートに対して行い、テンプレートを更新する（ステップＳ９０４）。
【００５５】
次に、図１１および図１２を参照してテンプレート登録ステップＳ１０６における処理の流れを説明する。
【００５６】
テンプレート登録ステップＳ１０６は、図１１に示すステップＳ１００１〜Ｓ１００７からなる。
ステップ１１０１では、オプティカルフローをラベリング処理して動体領域を検出する。ラベリング処理は一般的な画像処理の手法として広く知られている。
ステップＳ１１０２では、動体領域が１つ以上存在するか否か判定する。動体領域が全く存在しない場合は、図１１の一連の処理を終了する。
動体領域が１つ以上存在する場合は、ステップＳ１１０３で動体領域を１つ選択する。
ステップＳ１１０４では、ステップＳ１１０３で選択した動体領域が追跡対象物体の特徴を持つか判定を行う。たとえば、追跡対象物体の特徴としては、大きさ、縦横比などがある。
動体領域が追跡対象物体の特徴を持つ場合は、ステップＳ１１０５で選択した動体領域が既にテンプレートとして登録されているか否か判定する。
選択した動体領域がテンプレートに登録されていない場合は、ステップＳ１１０６で新規のテンプレートとして登録する。
【００５７】
たとえば、図１２に示すように、人物１２０１が人物１２０２の位置へ移動している場合、オプティカルフローは各ブロックでフロー１２０３のように求められる。このとき、図１２の各ブロックで得られたフロー１２０３をラベリング処理によりグループ化し、動体領域１２０４を求める。次に、動体領域１２０４が追跡対象物体の特徴を持つか否か判定を行い、追尾対象物体の特徴を持ち、テンプレートとして未登録である場合は、テンプレートの画像パターン１２０５を新規登録すると共に動体領域に対応する動きパターン１２０６を登録する。
【００５８】
ステップＳ１１０３〜Ｓ１１０６の一連の処理を、ステップＳ１１０１で検出した全ての動体領域について行う（ステップＳ１１０７）。
【００５９】
以上のように、本発明の第１の実施の形態の物体追跡方法では、撮像時刻の異なる複数の入力画像からオプティカルフローを演算し、追跡対象物体を含む入力画像とテンプレートの画像パターンとの画像相関を求め、オプティカルフローとテンプレートの動きパターンとの動き相関を求め、画像相関値と動き相関値から最適マッチング位置を探索する。
【００６０】
したがって、追跡対象物体を含むテンプレートの画像パターンに背景の強い特徴が含まれている場合や、追跡対象物体に動きが無い場合であっても、追跡対象物体を含むテンプレートの画像と動きの両方のパターンから相関を求めて追跡を行うことによって、追跡対象物体を精度良く追跡することができる。
【００６１】
また、画像相関値と動き相関値を一定の比率で足し合わせて正規化した値をテンプレートの相関値として最適マッチング位置を探索するようにしたので、強い特長がテンプレートの背景部に含まれる場合は、動き相関値の比率を高く設定してテンプレートの相関値を求めることによって、物体に動きが無く追跡が困難な場合は、画像相関値の比率を高く設定してテンプレートの相関値を求めることによって、物体を精度良く追跡することができる。
【００６２】
［第２の実施の形態］
図１３は本発明の第２の実施の形態の物体追跡方法における処理の流れを示すフロー図である。図１３中のステップＳ１３０１、Ｓ１３０３、およびＳ１３０４における処理内容は、それぞれ図１中のステップＳ１０１、Ｓ１０５、およびＳ１０６のそれと同じである。そこで、ここではステップＳ１３０１、Ｓ１３０３、およびＳ１３０４については詳細な説明を省き、画像相関演算・動き相関演算および最適マッチング位置探索ステップＳ１３０２における処理内容について、図１４を参照して詳細に説明する。
【００６３】
画像相関演算・動き相関演算および最適マッチング位置探索ステップＳ１３０２は、図１４に示す一連のステップＳ１４０１〜Ｓ１４１６からなる。
【００６４】
ステップＳ１４０１では、テンプレートが１つ以上登録されているか判定を行う。
テンプレートが全く登録されていない場合は、図１４の一連の処理を終了する。
テンプレートが１つ以上登録されている場合は、ステップＳ１４０２においてテンプレートを１つ選択する。
ステップＳ１４０３では、ステップＳ１４０２で選択したテンプレートの動きパターンのフローが発生している割合を求める。割合を求めるには、テンプレートのオプティカルフローが発生している画素数をカウントし、テンプレートの全画素数に対する割合を求めればよい。
ステップＳ１４０４では、ステップＳ１４０３で得られた割合がしきい値を超えているか否か判定する。
ステップＳ１４０３で得られた割合がしきい値を超えている場合は、係数(αt,βt)に(α1,β1)を代入する（ステップＳ１４０５）。
ステップＳ１４０３で得られた割合がしきい値を超えていない場合は、係数(αt,βt)に(α2,β2)を代入する（ステップＳ１４０６）。
ステップＳ１４０４〜ステップＳ１４０６の一連の処理を数式で示すと、下記の式５のように示される。
【００６５】
【数５】
(αt,βt) ： 時刻tにおける係数(α,β)
Fr：テンプレートのオプティカルフローが発生している割合
TH：しきい値
【００６７】
なお、係数(αt,βt)の決定方法は、ステップＳ１４０４〜Ｓ１４０６のようにテンプレートのオプティカルフローが発生している割合をしきい値処理して設定する方法に限定されず、たとえば、下記の式６に示すような連続関数 f で決定してもよい。
【００６８】
【数６】
(αt,βt) ： 時刻tにおける係数(α,β)
Fr：テンプレートのオプティカルフローが発生している割合
【００７０】
ステップＳ１４０７では、ステップＳ１４０２で選択したテンプレートの最大相関値Rmaxと最適マッチング位置を初期化する。
ステップＳ１４０８では、ステップＳ１４０２で選択したテンプレートについて入力画像内に探索範囲を設定する。
ステップＳ１４０９では、ステップＳ１４０８で設定した探索範囲内で相関値Rを求める座標を設定する。
ステップＳ１４１０では、ステップＳ１４０８で設定した座標で入力画像の部分画像とテンプレートの画像パターンの画像相関値Ｒ1を演算する。画像相関値Ｒ1には、たとえば式２で表される正規化相関値を用いる。
ステップＳ１４１１では、ステップＳ１４０８で設定した座標で入力画像のオプティカルフローとテンプレートの動きパターンとの動き相関値Ｒ2を演算する。画像相関値Ｒ2は、たとえば、式３で示すように入力画像のオプティカルフローとテンプレートの動きパターンとの一致率で求められる。
ステップＳ１４１２では、ステップＳ１４１０で得られた画像相関値Ｒ1とステップＳ１４１１で得られた動き相関値Ｒ2からテンプレートの相関値Ｒを演算する。テンプレートの相関値Ｒは、下記の式７で示すように、ステップＳ１４０６〜Ｓ１４０８で設定した係数αt,βtの比率で、画像相関値Ｒ1と動き相関値Ｒ2との算術和を正規化した値で求められる。たとえば、画像相関値Ｒ1を式２で求め、動き相関値Ｒ2を式３で求めた場合、それぞれ０〜１の実数値を取り、１に近づくほど画像相関または動き相関が高いので、式７の相関値Ｒは、０〜１の実数値を取り、１に近づくほどテンプレートの相関が高いことを意味する。
【００７１】
【数７】
R(a,b)：テンプレートの相関値
Ｒ1(a,b)：テンプレートの画像相関値
Ｒ2(a,b)：テンプレートの動き相関値
αt、βt：時刻tにおける定数
(a,b)：テンプレートの座標と画像相関を求める座標の(x,y)成分の変位
【００７３】
ステップＳ１４１３では、ステップＳ１４１２で得られたテンプレートの相関値Ｒが最大相関値Ｒmaxより大きいか否か判定する。
テンプレートの相関値Ｒが最大相関値Ｒmaxより大きい場合は、ステップＳ１４１４で最大相関値Ｒmaxを相関値Ｒで更新し、最適マッチング位置をステップＳ１４０９で設定した座標で更新する。
ステップＳ１４０９〜Ｓ１４１４の一連の処理を、入力画像内に設定した探索範囲内の全ての座標に対して行う(ステップＳ１４１５)。
そして、ステップＳ１４０２〜１４１５の一連の処理を、登録されているテンプレート全てに対して行う(ステップＳ１４１６)。
【００７４】
以上のように、本発明の第２の実施の形態の物体追跡方法では、画像相関演算・動き相関演算および最適マッチング位置探索ステップ１３０２において、テンプレートの動きパターンのフローが発生している割合に応じて、適応的に係数 (αt,βt) を設定する。そして、適応的に設定した係数 (αt,βt) の比率で画像相関値Ｒ1と動き相関値Ｒ2との算術和を求め、正規化した値をテンプレートの相関値Ｒとし、テンプレートの相関値Ｒが最適となる位置を最適マッチング位置として探索する。
【００７５】
したがって、追跡対象物体の入力画像上の座標によってテンプレートの背景の影響が変化する場合や追跡対象物体の動きが時々刻々と変化する場合に、テンプレートの特徴に応じて、適応的に決定した比率で画像相関値Ｒ1と動き相関値Ｒ2とを足し合わせて正規化した値Ｒをテンプレートの相関値として最適マッチング位置を探索することによって、強い特長がテンプレートの背景部に含まれる場合やオプティカルフローが発生しない場合であっても物体を精度良く追跡することができる。
【００７６】
なお、本発明はこの実施の形態に限定されるのではなく、本発明の範囲内で種々の改良および変形が可能である。
【００７７】
また、以上説明した各実施の形態における一連のステップをプログラム化すれば、本発明の物体追跡方法をコンピュータを用いて容易に実施することができる。
【００７８】
また、上記プログラムをコンピュータ読み取り可能な記録媒体に記録すれば、その記録媒体に記録されたプログラムを任意のコンピュータにインストールし実行させることにより、本発明の物体追跡方法をコンピュータを用いて容易に実施することができる。
【００７９】
【発明の効果】
以上のように本発明によれば、追跡対象物体を含むテンプレートの画像パターンに背景の強い特徴が含まれている場合や、追跡対象物体に動きが無い場合であっても、追跡対象物体を含むテンプレートの画像と動きの両方のパターンから相関を求めて追跡を行うことによって、追跡対象物体を精度良く追跡することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における物体追跡方法の全体の流れを示すフローチャートである。
【図２】図１中のオプティカルフロー演算ステップの内容を示すフローチャートである。
【図３】オプティカルフローを求める方法についての説明図である
【図４】図１中の画像相関演算ステップの内容を示すフローチャートである。
【図５】画像相関演算を行う方法についての説明図である。
【図６】図１中の動き相関演算ステップの内容を示すフローチャートである。
【図７】動き相関演算を行う方法についての説明図である。
【図８】図１中の最適マッチング位置検索ステップの内容を示すフローチャートである。
【図９】図１中のテンプレート更新ステップの内容を示すフローチャートである。
【図１０】テンプレートを更新する方法についての説明図である。
【図１１】図１中のテンプレート登録ステップの内容を示すフローチャートである。
【図１２】テンプレートを登録する方法についての説明図である。
【図１３】本発明の第２の実施の形態における物体追跡方法の全体の流れを示すフローチャートである。
【図１４】図１３中の画像相関演算・動き相関演算および最適マッチング位置検索ステップの内容を示すフローチャートである。
【図１５】テンプレートマッチングを用いた従来の物体追跡方法を示すフローチャートである。
【図１６】オプティカルフローを用いた従来の物体追跡方法を示すフローチャートである。
【符号の説明】
３０１：入力画像内のブロック
３０２：探索範囲
３０３：最も相関の高いブロック
３０４：変移（オプティカルフロー）
５０１：テンプレート
５０２：入力画像上の座標
５０３：探索範囲
５０４：画像相関値を求める座標
７０１：テンプレート
７０２：画像上の領域
７０３：探索範囲
７０４：動き相関値を求める座標
７０５：動き相関値が最大となる領域
１００１：人物（追跡対象物体）
１００２：更新前のテンプレート枠
１００３：オプティカルフローが発生してないブロック
１００４：オプティカルフローが発生したブロック
１００５：更新後のテンプレート枠
１２０１：人物（移動前の追跡対象物体）
１２０２：人物（移動後の追跡対象物体）
１２０３：オプティカルフロー
１２０４：動体領域
１２０５：テンプレートの画像パターン
１２０６：動きパターン[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an object tracking method for detecting and tracking a moving object by processing an input image from an imaging apparatus, and more specifically, when a tracking target object is strongly influenced by a background included in the input image, The present invention relates to an object tracking method capable of accurately tracking a tracking target object even when there is no movement of the tracking target object.
[0002]
[Prior art]
As a conventional object tracking method, a method using template matching for tracking using the characteristics of the image of the tracking target object or a method using an optical flow for tracking using the motion characteristics of the tracking target object are widely known. ing.
[0003]
FIG. 15 shows a flow of processing in a conventional object tracking method using template matching. A region including an object to be tracked is cut out as a template from the input image, and the template image is stored (S1501). The template cut-out position in the input image is stored as the template reference position (S1502). Based on a plurality of input images and templates having different imaging times, a template matching position in the input image is obtained (S1503). Based on the matching position and the reference position, the amount of movement of the matching position with respect to the reference position is calculated (S1504). If the calculated amount of movement is greater than or equal to a predetermined condition, the reference position is updated to the matching position, and the template is updated based on the matching position of the input image with a different imaging time, but the amount of movement is less than the predetermined condition. In this case, the reference position or template is not updated (S1505). (See Patent Document 1)
[0004]
FIG. 16 shows a process flow in a conventional object tracking method using an optical flow. The input image sequentially input from the imaging device is divided into a plurality of blocks, and it is detected whether or not there is movement for each block (S1601). The moving object is tracked by calculating the position of the center of gravity of the detected block (S1602). (See Patent Document 2)
[0005]
[Patent Document 1]
JP 2000-113158 A
[Patent Document 2]
JP 2000-322582 A
[0006]
[Problems to be solved by the invention]
However, in the conventional object tracking method using template matching, object tracking is performed using only the image pattern of the template cut out from the input image. In some cases, the template is erroneously matched at a position highly correlated with the background portion of the template, and object tracking may fail.
[0007]
In addition, in the conventional object tracking method using optical flow, since the object tracking is performed by detecting the motion from the input image, there is a problem that the tracking target object cannot be tracked when there is no motion and no optical flow occurs. there were.
[0008]
The present invention has been made in order to solve the problems of these conventional techniques, and the purpose of the present invention is when the background image feature is included in the image pattern of the template including the tracking target object, or in the tracking target object. Providing an object tracking method that can accurately track a target object even if there is no motion, by obtaining a correlation from both the template image containing the target object and the pattern of the motion. In addition, another object is to provide a program for realizing this method by a computer and a recording medium on which the program is recorded.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, an object tracking method of the present invention includes an optical flow calculation step for calculating an optical flow from a plurality of input images having different imaging times, a template image pattern including a tracking target object, and the input image. An image correlation calculation step for obtaining a correlation between the image, a motion correlation calculation step for obtaining a motion correlation between the motion pattern of the template and the optical flow, an image correlation value obtained in the image correlation calculation step, and the motion correlation calculation step. An optimal matching position searching step for searching for an optimal matching position of the template using the obtained motion correlation value, a template updating step for updating the template with the optimal matching position, and a moving object region from the optical flow are detected. Including the moving object region And a template registering step of storing the image pattern and the motion pattern as a template.
[0010]
With this configuration, even if the template image pattern including the tracking target object includes a strong background feature or the tracking target object has no motion, the template image including the tracking target object The tracking target object can be accurately tracked by obtaining a correlation from both patterns and performing tracking.
[0011]
Further, in the object tracking method of the present invention, the optimum matching position search step adds a normalized value obtained by adding the image correlation value and the motion correlation value at a certain ratio, and uses the template correlation value as a correlation value of the template. It is desirable to search the position where the value is a peak as the optimum matching position.
[0012]
According to this configuration, when a strong feature is included in the background portion of the template, the tracking target object has no movement and is difficult to track by determining the template correlation value by setting the ratio of the motion correlation value high. In such a case, the tracking target object can be accurately tracked by setting the ratio of the image correlation values high and obtaining the correlation value of the template.
[0013]
The optimum matching position search step determines a ratio using the feature of the template, adds the image correlation value and the motion correlation value by the ratio and normalizes the value as a template correlation value, It is desirable to search for a position where the correlation value of the template is optimal as an optimal matching position.
[0014]
According to this configuration, when the influence of the background of the template changes according to the coordinates on the input image of the tracking target object or when the movement of the tracking target object changes from moment to moment, adaptively according to the characteristics of the template. By searching for the optimal matching position using the normalized value obtained by adding the image correlation value and the motion correlation value at the determined ratio as the correlation value of the template, a strong feature is included in the background portion of the template or an optical flow Even when no occurrence occurs, the object can be accurately tracked.
[0015]
It is preferable that the ratio is determined according to a ratio at which a flow of the movement pattern of the template is generated.
[0016]
According to this configuration, the adaptive ratio is determined using the rate at which the flow of the template motion pattern is generated, and the image correlation value and the motion correlation value are added together at the adaptively determined ratio. By searching for the optimal matching position using the normalized value as the correlation value of the template, the object can be accurately tracked even when strong features are included in the template background or when no optical flow occurs. .
[0017]
The program of the present invention is a program that causes a computer to execute each step in the object tracking method of the present invention.
[0018]
By causing the computer to execute this program, the object tracking method of the present invention can be easily implemented using the computer.
[0019]
The storage medium of the present invention is recorded with a computer-readable program for causing the computer to execute each step in the object tracking method of the present invention.
[0020]
By causing a computer to execute the program recorded in the storage medium, the object tracking method of the present invention can be easily implemented using the computer.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0022]
[First Embodiment]
FIG. 1 is a flowchart showing the flow of processing in the object tracking method of the first embodiment of the present invention. This object tracking method includes an optical flow calculation step S101 for calculating an optical flow from a plurality of input images having different imaging times, an image correlation calculation step S102 for obtaining a correlation between the template image pattern and the input image, and a template motion pattern. And a motion correlation calculation step S103 for obtaining a motion correlation of the optical float obtained in the optical flow calculation step S101, an image correlation value obtained in the image correlation calculation step S102, and a motion correlation value obtained in the motion correlation calculation step S103. An optimum matching position searching step S104 for searching for an optimum matching position based on the template, a template updating step S105 for updating the template at the optimum matching position obtained by the optimum matching position searching step S104, and It has a template registration step S106 for detecting a moving object region from the optical flow obtained in the optical flow calculation step S101 and registering a new template, and performs object tracking by repeating the series of steps S101 to S106. . A template is a set of an image pattern including a tracking target object and a motion pattern. A method for obtaining a template from an input image will be described later.
[0023]
Next, the processing contents in steps S101 to S106 will be described in detail.
[0024]
First, the flow of processing in the optical flow calculation step S101 will be described with reference to FIGS. As a method for calculating the optical flow, for example, a block matching method and a gradient method are known. In this embodiment, a method using a block matching method will be described.
[0025]
The optical flow calculation step S101 includes a series of steps S201 to S204 shown in FIG.
In step S201, the input image is divided into blocks each composed of (M × N) pixels.
In step S202, one block of the input image is selected.
In step S203, as shown in FIG. 3, the correlation value between the block in the input image and the block in the search range of the previous frame image is calculated, and the optical flow of the block selected in step S202 is obtained. The optical flow is generated from the
[0026]
The
[0027]
[Expression 1]
a: Displacement of the x component of the block in the input image and the block in the image n frames before
b: Displacement of the y component of the block in the input image and the block in the image n frames before
D (a, b): Sum of absolute differences at displacement (a, b)
ft: Input image
ft-n: Image n frames before
x: x coordinate of the block
y: y coordinate of the block
[0029]
The series of processes in steps S202 and S203 are repeated for each block of the input image, and the optical flow of the input image is calculated for each block (step S204).
[0030]
Next, the flow of processing in the image correlation calculation step S102 will be described with reference to FIGS.
[0031]
The image correlation calculation step S102 includes a series of steps S401 to S408 shown in FIG.
In step S401, it is determined whether one or more templates are registered. If no template is registered, the series of processes in FIG. 4 is terminated.
If one or more templates are registered, one template is selected in step S402.
In step S403, a search range is set in the input image for the template selected in step S402.
In step S404, the image correlation value R within the search range set in step S403. 1 Set the coordinates to find.
In step S405, the image correlation value between the partial image of the input image and the image pattern of the template is calculated using the coordinates set in step S404. The image correlation value includes, for example, a normalized correlation value R expressed by the following equation 2 1 (a, b) is used. R 1 (a, b) takes a real value from 0 to 1, and means that the closer to 1, the higher the image correlation. Normalized correlation value R 1 (a, b) is preferable in that it is not easily affected by a change in luminance due to a change in illumination and stable matching is possible.
[0032]
[Expression 2]
H: Template size (horizontal), V: Template size (vertical)
a: Transition of the x component of the template coordinates and the coordinates for image correlation
b: Transition of the y component of the coordinates to obtain the correlation between the template coordinates and the image
R 1 : Normalized correlation value
T: Template
f: Partial image of the input image for which image correlation is set within the search range
[0034]
In step S406, the image correlation value obtained in step S405 is stored in association with the coordinates set in step S404.
[0035]
A series of processing of steps S404 to S406 is performed for all coordinates within the search range set in the input image (step S407). For example, in the case of FIG. 5, the
[0036]
Then, the series of processes in steps S402 to S407 is performed on all registered templates (step S408).
[0037]
Next, with reference to FIG. 6 and FIG. 7, the flow of processing in the motion correlation calculation step S103 will be described.
[0038]
The motion correlation calculation step S103 includes a series of steps S601 to S608 shown in FIG.
In step S601, it is determined whether one or more templates are registered. If no template is registered, the series of processes in FIG. 6 is terminated.
If one or more templates are registered, one template is selected in step S602.
In step S603, a search range is set in the input image for the template selected in step S602. The search range set in step S602 is set to the same search range when the same template as the template selected in step S402 (FIG. 4) is selected.
In step S604, the motion correlation value R within the search range set in step S403. 2 Set the coordinates to find.
In step S605, a motion correlation value between the optical flow of the input image and the motion pattern of the template is calculated using the coordinates set in step S404. For example, as shown in Equation 3 below, the motion correlation value is a match rate R between the optical flow of the input image and the motion pattern of the template. 2 It is calculated by (a, b). R 2 (A, b) takes a real value from 0 to 1, and means that the closer to 1, the higher the motion correlation.
[0039]
[Equation 3]
In step S606, the motion correlation value R obtained in step S605. 2 Are stored in association with the coordinates set in step S605.
[0041]
A series of processing of steps S604 to S606 is performed for all coordinates within the search range set in the input image (step S607). For example, in the case of FIG. 7, the
[0042]
Then, a series of processes in steps S602 to S607 is performed on all registered templates (step S608).
[0043]
Next, the flow of processing in the optimum matching position search step S104 will be described with reference to FIG.
[0044]
The optimum matching position search step S104 includes a series of steps S801 to S810 shown in FIG.
In step S801, it is determined whether one or more templates are registered. If no template is registered, the series of processes in FIG. 8 is terminated.
If one or more templates are registered, one template is selected in step S802.
In step S803, the maximum correlation value Rmax and the optimum matching position of the template selected in step S802 are initialized.
In step S804, a search range is set in the input image for the template selected in step S802. The search range set in step S802 is set to the same search range when the same template as the template selected in step S402 (FIG. 4) and step S602 (FIG. 6) is selected.
In step S805, coordinates for obtaining the correlation value R are set within the search range set in step S803.
In step S806, the image correlation value R obtained in the image correlation calculation step S102 (FIG. 1). 1 And the motion correlation value R obtained in the motion correlation calculation step S103 (FIG. 1). 2 The correlation value R of the template is calculated from the above.
[0045]
The correlation value R of the template is calculated by using the predetermined correlation coefficients α and β as shown in the following formula 4. 1 And motion correlation value R 2 Is obtained by calculating the arithmetic sum of and normalizing it. For example, the image correlation value R 1 Is obtained by Equation 2 above, and the motion correlation value R 2 Is obtained by the above equation 3, each takes a real value from 0 to 1, and the closer the value is to 1, the higher the image correlation or motion correlation is. Therefore, the correlation value R in equation 4 takes a real value from 0 to 1, The closer to, the higher the template correlation. By setting (α, β) = (1,1), for example, the image correlation value R 1 Is obtained by Equation 2, and the motion correlation value R 2 Is obtained by Equation 3, the image correlation value R 1 And motion correlation value R 2 This is equivalent to normalizing the range of the arithmetic sum to 0-1 real numbers.
[0046]
[Expression 4]
R (a, b): Template correlation value
R 1 (a, b): Template image correlation value
R 2 (a, b): Template motion correlation value
α, β: Constant
(a, b): Displacement of the (x, y) component of the coordinates for obtaining the image correlation with the template coordinates
[0048]
In step S807, it is determined whether or not the template correlation value R obtained in step S806 is greater than the maximum correlation value Rmax.
If the correlation value R of the template is larger than the maximum correlation value Rmax, the maximum correlation value Rmax is updated with the correlation value R in step S808, and the optimum matching position is updated with the coordinates set in step S805.
The series of processes in steps S805 to S808 are performed on all coordinates within the search range set in the input image (step S809).
Then, a series of processes in steps S802 to S809 are performed on all registered templates (step S810).
[0049]
Next, the flow of processing in the template update step S105 will be described with reference to FIGS.
[0050]
The template update step S105 includes a series of steps S901 to S904 shown in FIG.
In step S901, one template is selected.
In step S902, it is determined whether the maximum correlation value Rmax between the template and the optimum matching position in the input image exceeds a threshold value.
In step S903, the template whose maximum correlation value Rmax exceeds the threshold value is updated with the region of the optimum matching position in the input image. By updating the template, it is possible to follow changes in the shape or size of the tracking target object. If the maximum correlation value Rmax does not exceed the threshold value, the registered template is deleted.
[0051]
Here, a method for updating the template will be described. For example, as shown in FIG. 10, assuming that the optimal matching position for the
[0052]
At this time, the number of occurrences of optical flow is counted for the blocks in the range from the vertical line V1 to the vertical line V2 with the horizontal line H1 as a reference, and the ratio of blocks in which no optical flow has occurred to all the corresponding blocks is calculated. If it is larger than the threshold, the template frame is shrunk. Conversely, if the block where the optical flow occurs is larger than the threshold value, the ratio of occurrence of the optical flow is obtained for all the blocks in the corresponding range in the direction of enlarging the template frame. If it is small, keep the template frame. This processing is performed in the range from the vertical line V1 to the vertical line V2 with the horizontal line H2 as a reference, the range from the horizontal line H1 to the horizontal line H2 based on the vertical line V1, and the range from the horizontal line H1 to the horizontal line H2 based on the vertical line V2. The same processing is performed for each, and the template frame is corrected and the template is updated.
[0053]
As a result, the
[0054]
The series of processes in steps S902 and S903 is performed on all registered templates, and the templates are updated (step S904).
[0055]
Next, the flow of processing in the template registration step S106 will be described with reference to FIGS.
[0056]
Template registration step S106 includes steps S1001 to S1007 shown in FIG.
In
In step S1102, it is determined whether one or more moving object regions exist. If there is no moving object area, the series of processes in FIG. 11 is terminated.
If one or more moving object regions exist, one moving object region is selected in step S1103.
In step S1104, it is determined whether the moving object area selected in step S1103 has the characteristics of the tracking target object. For example, the characteristics of the tracking target object include size and aspect ratio.
If the moving object region has the characteristics of the tracking target object, it is determined whether or not the moving object region selected in step S1105 is already registered as a template.
If the selected moving object region is not registered in the template, it is registered as a new template in step S1106.
[0057]
For example, as shown in FIG. 12, when the
[0058]
A series of processing of steps S1103 to S1106 is performed for all moving object regions detected in step S1101 (step S1107).
[0059]
As described above, in the object tracking method according to the first embodiment of the present invention, an optical flow is calculated from a plurality of input images having different imaging times, and an image of the input image including the tracking target object and the template image pattern is obtained. A correlation is obtained, a motion correlation between the optical flow and the motion pattern of the template is obtained, and an optimum matching position is searched from the image correlation value and the motion correlation value.
[0060]
Therefore, even if the template image pattern that includes the tracking target object includes a strong background feature or the tracking target object has no motion, both the template image including the tracking target object and the motion The tracking target object can be accurately tracked by obtaining the correlation from the pattern and performing tracking.
[0061]
In addition, since the optimum matching position is searched for using the correlation value of the template as a normalized value obtained by adding the image correlation value and the motion correlation value at a certain ratio, if the strong part is included in the background part of the template By determining the template correlation value by setting the ratio of the motion correlation value high, and when tracking is difficult because the object is not moving, the ratio of the image correlation value is set high to determine the correlation value of the template. The object can be tracked with high accuracy.
[0062]
[Second Embodiment]
FIG. 13 is a flowchart showing the flow of processing in the object tracking method according to the second embodiment of the present invention. The processing contents in steps S1301, S1303, and S1304 in FIG. 13 are the same as those in steps S101, S105, and S106 in FIG. 1, respectively. Therefore, detailed description of steps S1301, S1303, and S1304 is omitted here, and the processing contents in the image correlation calculation / motion correlation calculation and optimum matching position search step S1302 will be described in detail with reference to FIG.
[0063]
The image correlation calculation / motion correlation calculation and optimum matching position search step S1302 includes a series of steps S1401 to S1416 shown in FIG.
[0064]
In step S1401, it is determined whether one or more templates are registered.
If no template is registered, the series of processes in FIG. 14 is terminated.
If one or more templates are registered, one template is selected in step S1402.
In step S1403, the ratio of occurrence of the flow of the template movement pattern selected in step S1402 is obtained. In order to obtain the ratio, the number of pixels in which the optical flow of the template is generated is counted, and the ratio to the total number of pixels of the template may be obtained.
In step S1404, it is determined whether or not the ratio obtained in step S1403 exceeds a threshold value.
If the ratio obtained in step S1403 exceeds the threshold value, (α1, β1) is substituted for the coefficient (αt, βt) (step S1405).
If the ratio obtained in step S1403 does not exceed the threshold value, (α2, β2) is substituted for the coefficient (αt, βt) (step S1406).
A series of processing from step S1404 to step S1406 can be expressed by equation 5 as shown below.
[0065]
[Equation 5]
(αt, βt): Coefficient (α, β) at time t
Fr: Ratio of occurrence of template optical flow
TH: threshold
[0067]
The method for determining the coefficients (αt, βt) is not limited to the method of setting the ratio of occurrence of the optical flow of the template by threshold processing as in steps S1404 to S1406. It may be determined by a continuous function f as shown in FIG.
[0068]
[Formula 6]
(αt, βt): Coefficient (α, β) at time t
Fr: Ratio of occurrence of template optical flow
[0070]
In step S1407, the maximum correlation value Rmax and the optimum matching position of the template selected in step S1402 are initialized.
In step S1408, a search range is set in the input image for the template selected in step S1402.
In step S1409, coordinates for obtaining correlation value R are set within the search range set in step S1408.
In step S1410, the image correlation value R between the partial image of the input image and the image pattern of the template at the coordinates set in step S1408. 1 Is calculated. Image correlation value R 1 For example, a normalized correlation value represented by Formula 2 is used.
In step S1411, the motion correlation value R between the optical flow of the input image and the motion pattern of the template at the coordinates set in step S1408. 2 Is calculated. Image correlation value R 2 Is obtained, for example, by the coincidence rate between the optical flow of the input image and the motion pattern of the template, as shown in Expression 3.
In step S1412, the image correlation value R obtained in step S1410. 1 And the motion correlation value R obtained in step S1411. 2 The correlation value R of the template is calculated from the above. The correlation value R of the template is the ratio of the coefficients αt and βt set in steps S1406 to S1408, as shown in the following equation 7, and the image correlation value R 1 And motion correlation value R 2 Is obtained by normalizing the arithmetic sum. For example, the image correlation value R 1 Is obtained by Equation 2, and the motion correlation value R 2 Is obtained by Equation 3, each takes a real value of 0 to 1, and the closer to 1, the higher the image correlation or motion correlation, so the correlation value R of Equation 7 takes a real value of 0 to 1 and The closer it is, the higher the template correlation.
[0071]
[Expression 7]
R (a, b): Template correlation value
R 1 (a, b): Template image correlation value
R 2 (a, b): Template motion correlation value
αt, βt: Constants at time t
(a, b): Displacement of the (x, y) component of the coordinates for obtaining the image correlation with the template coordinates
[0073]
In step S1413, it is determined whether the template correlation value R obtained in step S1412 is greater than the maximum correlation value Rmax.
If the correlation value R of the template is larger than the maximum correlation value Rmax, the maximum correlation value Rmax is updated with the correlation value R in step S1414, and the optimum matching position is updated with the coordinates set in step S1409.
A series of processes in steps S1409 to S1414 is performed for all coordinates within the search range set in the input image (step S1415).
Then, the series of processing in steps S1402 to 1415 is performed on all registered templates (step S1416).
[0074]
As described above, in the object tracking method according to the second embodiment of the present invention, in the image correlation calculation / motion correlation calculation and optimum matching
[0075]
Therefore, when the influence of the background of the template changes depending on the coordinates of the tracking target object on the input image or when the movement of the tracking target object changes from moment to moment, the ratio is determined adaptively according to the characteristics of the template. Image correlation value R 1 And motion correlation value R 2 By searching for the optimal matching position using the normalized value R as a template correlation value, the object is accurate even when strong features are included in the template background or when optical flow does not occur. It can be tracked well.
[0076]
The present invention is not limited to this embodiment, and various improvements and modifications can be made within the scope of the present invention.
[0077]
Moreover, if the series of steps in each embodiment described above is programmed, the object tracking method of the present invention can be easily implemented using a computer.
[0078]
If the program is recorded on a computer-readable recording medium, the object tracking method of the present invention can be easily implemented using a computer by installing the program recorded on the recording medium on an arbitrary computer and executing the program. can do.
[0079]
【The invention's effect】
As described above, according to the present invention, even if the template image pattern including the tracking target object includes a strong background feature or the tracking target object does not move, the tracking target object is included. The tracking target object can be accurately tracked by obtaining the correlation from the pattern of both the template image and the motion and performing tracking.
[Brief description of the drawings]
FIG. 1 is a flowchart showing an overall flow of an object tracking method according to a first embodiment of the present invention.
2 is a flowchart showing the contents of an optical flow calculation step in FIG. 1. FIG.
FIG. 3 is an explanatory diagram of a method for obtaining an optical flow.
FIG. 4 is a flowchart showing the contents of an image correlation calculation step in FIG.
FIG. 5 is an explanatory diagram of a method for performing image correlation calculation.
6 is a flowchart showing the contents of a motion correlation calculation step in FIG. 1. FIG.
FIG. 7 is an explanatory diagram of a method for performing motion correlation calculation.
FIG. 8 is a flowchart showing the contents of an optimum matching position search step in FIG.
FIG. 9 is a flowchart showing the contents of a template update step in FIG. 1;
FIG. 10 is an explanatory diagram of a method for updating a template.
FIG. 11 is a flowchart showing the contents of a template registration step in FIG. 1;
FIG. 12 is an explanatory diagram of a method for registering a template.
FIG. 13 is a flowchart showing an overall flow of an object tracking method according to a second embodiment of the present invention.
14 is a flowchart showing the contents of an image correlation calculation / motion correlation calculation and optimum matching position search step in FIG. 13;
FIG. 15 is a flowchart showing a conventional object tracking method using template matching.
FIG. 16 is a flowchart showing a conventional object tracking method using an optical flow.
[Explanation of symbols]
301: Block in input image
302: Search range
303: most correlated block
304: Transition (optical flow)
501: Template
502: Coordinate on input image
503: Search range
504: Coordinates for obtaining the image correlation value
701: Template
702: Image area
703: Search range
704: Coordinates for obtaining a motion correlation value
705: Region where the motion correlation value is maximum
1001: Person (object to be tracked)
1002: Template frame before update
1003: Block in which no optical flow has occurred
1004: Block where an optical flow has occurred
1005: Template frame after update
1201: Person (tracking target object before moving)
1202: Person (tracking target object after movement)
1203: Optical flow
1204: Moving object region
1205: Template image pattern
1206: Movement pattern
Claims (6)
追跡対象物体を含むテンプレートの画像パターンと前記入力画像との相関を求める画像相関演算ステップと、
前記テンプレートの動きパターンと前記オプティカルフローとの動き相関を求める動き相関演算ステップと、
前記画像相関演算ステップで得られた画像相関値と前記動き相関演算ステップで得られた動き相関値とを用いて前記テンプレートの最適マッチング位置を探索する最適マッチング位置探索ステップと、
前記最適マッチング位置によって前記テンプレートを更新するテンプレート更新ステップと、
前記オプティカルフローから動体領域を検出し、前記動体領域を含む画像パターンと動きパターンとをテンプレートとして記憶するテンプレート登録ステップとを有することを特徴とする物体追跡方法。An optical flow calculation step for calculating an optical flow from a plurality of input images having different imaging times;
An image correlation calculation step for obtaining a correlation between an image pattern of a template including a tracking target object and the input image;
A motion correlation calculation step for obtaining a motion correlation between the motion pattern of the template and the optical flow;
An optimum matching position search step for searching for an optimum matching position of the template using the image correlation value obtained in the image correlation calculation step and the motion correlation value obtained in the motion correlation calculation step;
A template update step of updating the template with the optimal matching position;
An object tracking method comprising: a template registration step of detecting a moving body region from the optical flow and storing an image pattern including the moving body region and a motion pattern as a template.
前記画像相関値と前記動き相関値を一定の比率で加算して正規化した値をテンプレートの相関値とし、前記テンプレートの相関値がピークとなる位置を最適マッチング位置として探索することを特徴とする請求項１記載の物体追跡方法。The optimum matching position search step includes:
A value obtained by adding the image correlation value and the motion correlation value at a certain ratio and normalized is used as a template correlation value, and a position where the correlation value of the template reaches a peak is searched as an optimum matching position. The object tracking method according to claim 1.
前記テンプレートの特徴を用いて比率を決定し、前記画像相関値と前記動き相関値とを前記比率で加算して正規化した値をテンプレートの相関値とし、前記テンプレートの相関値が最適となる位置を最適マッチング位置として探索することを特徴とする請求項１記載の物体追跡方法。The optimum matching position search step includes:
A position where the ratio is determined using the feature of the template, and the normalized value obtained by adding the image correlation value and the motion correlation value by the ratio is used as a template correlation value, and the position where the correlation value of the template is optimal The object tracking method according to claim 1, wherein the search is performed as an optimum matching position.
前記テンプレートの動きパターンのフローが発生している割合に応じて決定されることを特徴とする請求項３記載の物体追跡方法。The ratio is
The object tracking method according to claim 3, wherein the object tracking method is determined according to a rate at which a flow of the movement pattern of the template is generated.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003029791A JP4283005B2 (en) | 2003-02-06 | 2003-02-06 | Object tracking method, program, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003029791A JP4283005B2 (en) | 2003-02-06 | 2003-02-06 | Object tracking method, program, and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004240762A JP2004240762A (en) | 2004-08-26 |
| JP4283005B2 true JP4283005B2 (en) | 2009-06-24 |
Family
ID=32956871
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003029791A Expired - Fee Related JP4283005B2 (en) | 2003-02-06 | 2003-02-06 | Object tracking method, program, and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4283005B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3970877B2 (en) | 2004-12-02 | 2007-09-05 | 独立行政法人産業技術総合研究所 | Tracking device and tracking method |
| JP4215781B2 (en) | 2006-06-16 | 2009-01-28 | 独立行政法人産業技術総合研究所 | Abnormal operation detection device and abnormal operation detection method |
| CN102074016A (en) * | 2009-11-24 | 2011-05-25 | 杭州海康威视软件有限公司 | Device and method for automatically tracking motion target |
| CN102215377B (en) * | 2010-04-07 | 2012-10-31 | 北京智安邦科技有限公司 | Device and method for PTZ (planning, tilting and zooming) single-target automatic tracking |
| EP3179444B1 (en) * | 2014-08-04 | 2021-02-17 | Panasonic Corporation | Moving body tracking method and moving body tracking device |
-
2003
- 2003-02-06 JP JP2003029791A patent/JP4283005B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004240762A (en) | 2004-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11954813B2 (en) | Three-dimensional scene constructing method, apparatus and system, and storage medium | |
| US9311524B2 (en) | Image processing apparatus and image processing method | |
| JP7209115B2 (en) | Detection, 3D reconstruction and tracking of multiple rigid objects moving in relatively close proximity | |
| CN107146200B (en) | Unmanned aerial vehicle remote sensing image splicing method based on image splicing quality evaluation | |
| JP6782903B2 (en) | Self-motion estimation system, control method and program of self-motion estimation system | |
| CN111340922A (en) | Positioning and mapping method and electronic equipment | |
| CN110136174B (en) | Target object tracking method and device | |
| CN114494462A (en) | Binocular camera ranging method based on Yolov5 and improved tracking algorithm | |
| EP4317910A1 (en) | Computer program, model generation method, estimation method and estimation device | |
| CN107909643B (en) | Mixed scene reconstruction method and device based on model segmentation | |
| CN115205339A (en) | Mobile robot target following method based on improved YOLOX | |
| CN113793266A (en) | Multi-view machine vision image splicing method, system and storage medium | |
| JP4283005B2 (en) | Object tracking method, program, and recording medium | |
| JP5900017B2 (en) | Depth estimation apparatus, reconstructed image generation apparatus, depth estimation method, reconstructed image generation method, and program | |
| JP2001148012A (en) | Method and device for searching corresponding point | |
| EP4107699A1 (en) | A method for generating a dataset, a method for generating a neural network, and a method for constructing a model of a scene | |
| CN116147618B (en) | Real-time state sensing method and system suitable for dynamic environment | |
| CN115511970B (en) | Visual positioning method for autonomous parking | |
| JP4283532B2 (en) | Image recognition apparatus and method | |
| CN113724311B (en) | Depth map acquisition method, device and storage medium | |
| JPWO2020244717A5 (en) | ||
| JP7241492B2 (en) | Image processing device, image processing method, program, and storage medium | |
| CN113836980A (en) | Face recognition method, electronic device and storage medium | |
| JP2016062447A (en) | Image processor, image processing method, and image processing program | |
| JP2000331160A (en) | Device and method for matching and recording medium stored with matching program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060203 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060325 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071114 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071121 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071128 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071205 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090217 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090318 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120327 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130327 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140327 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |