JP5339065B2

JP5339065B2 - 対象物追跡装置

Info

Publication number: JP5339065B2
Application number: JP2009064497A
Authority: JP
Inventors: 敏雄茂出木; 正敏黒田
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2009-03-17
Filing date: 2009-03-17
Publication date: 2013-11-13
Anticipated expiration: 2029-03-17
Also published as: JP2010218232A

Description

本発明は、撮影された動画像の中から、映っている対象物を追跡する技術に関する。

従来、撮影した動画像において、映っている対象物を追跡する技術としては、様々なものが提案されている。対象物を追跡する技術としては、例えば、リアルタイムに対象物の重心点の移動軌跡を解析表示できる技術（特許文献１参照）や、単一粒子の重心点など特徴点を三次元的に追跡する技術が提案されている（特許文献２参照）。

特開２００６−７２１０９号公報特開２００６−１１３４６２号公報

上記特許文献１、２の技術では、動画像を構成する各フレームごとに独立して領域抽出と重心算出を行っており、同一の対象物を同定しているわけではない。そのため、移動中に他の隣接粒子に近づくと、追跡中の粒子との識別ができなくなり、統計的な速度解析など大雑把な計測にしか利用できないという問題がある。

そこで、本発明は、タイムラプス撮像された動画データの各フレームに写っている対象物を、他の物体と誤検出することなく追跡することが可能な対象物追跡装置を提供することを課題とする。

上記課題を解決するため、本発明では、複数のフレームで構成される動画ファイルに対して、対象物を追跡する複数のフレームで構成される追跡フレーム群を設定する追跡フレーム群設定手段と、前記追跡フレーム群の先頭フレームＦ（０）内の対象物を特定し、当該対象物の位置を特定する対象物中心座標を前記先頭フレームＦ（０）上で設定するとともに、前記対象物の存在する領域を示す対象物領域Ｒ（０）を設定する対象物特定手段と、前記追跡フレーム中の各フレームＦ（ｉ）において、先行フレームＦ（ｉ−１）の対象物領域Ｒ（ｉ−１）と同サイズの比較領域を、前記対象物領域Ｒ（ｉ−１）の中心位置を基準に上下左右に所定の範囲に渡って（＋Ｘ，＋Ｙ）だけ移動させて複数設定し、各比較領域について前記対象物領域Ｒ（ｉ−１）との対応する画素同士の差分の総和ｄ（Ｘ，Ｙ）を算出し、当該総和ｄ（Ｘ，Ｙ）が最小となる比較領域を、前記フレームＦ（ｉ）の対象物領域Ｒ（ｉ）として設定するとともに、当該対象物領域Ｒ（ｉ）の中心に位置する画素に対象物中心座標を設定する追跡処理手段と、前記各フレームＦ（ｉ）において、前記対象物中心座標が設定された画素を含む所定の範囲に幾何学形状の対象物マークを上書きする軌跡描画手段と、を有し、前記追跡処理手段の処理により前記総和ｄ（Ｘ，Ｙ）が最小となる比較領域を特定できなかった場合、前記追跡フレーム群設定手段が前記追跡フレーム群を再設定することを特徴とする対象物追跡装置を提供する。

本発明によれば、複数のフレームで構成される動画ファイルに対して、対象物を追跡する複数のフレームで構成される追跡フレーム群を設定し、追跡フレーム群ごとに一定の追跡条件で対象物を追跡するようにしたので、動画ファイル全体で対象物の動きが前記追跡条件を逸脱するように多様に変化しても連続して追跡することができ、先行フレームＦ（ｉ−１）の対象物領域Ｒ（ｉ−１）と同サイズの比較領域を、対象物領域Ｒ（ｉ−１）の中心位置を基準に上下左右に所定の範囲に渡って移動させて複数設定し、各比較領域と対象物領域Ｒ（ｉ−１）を比較して最も画素の差分総和ｄ（Ｘ，Ｙ）が小さい比較領域をフレームＦ（ｉ）の対象物領域Ｒ（ｉ）とするようにしたので、たとえ対象物の外形形状が隣接する他の対象物と類似していても、所定の範囲を超えた他の物体を誤って検出することなく、追跡中の対象物を追跡することが可能となる。

本発明によれば、タイムラプス撮像された動画データの各フレームに写っている対象物を、他の物体と誤検出することなく追跡することが可能となるという効果を奏する。

本発明に係る対象物追跡装置の構成図である。本発明に係る対象物追跡装置の処理概要を示すフローチャートである。第１の手法を利用した場合の対象物追跡処理の概念図である。第１の手法を利用した場合の対象物追跡処理の詳細を示すフローチャートである。第２の手法を利用した場合の対象物追跡処理の概念図である。第２の手法を利用した場合の対象物追跡処理の詳細を示すフローチャートである。軌跡描画処理の詳細を示すフローチャートである。描画された対象物の移動軌跡を示す図である。対象物の移動軌跡を利用した偏向角算出の説明図である。

以下、本発明の実施形態について図面を参照して詳細に説明する。
（１．細胞の培養および撮影）
本発明に係る細胞画像解析装置を利用して細胞画像の解析を行うにあたり、事前に細胞を培養し、培養した細胞を撮影する工程が必要になる。まず、この細胞の培養および撮影について説明する。細胞の遊走方向を制御するためには、ある程度、細胞の移動先を誘導してやる必要がある。そこで、本実施形態では、細胞接着性領域／非接着性領域が所定の幅のラインパターンを底部に設けた細胞培養ディッシュを用意し、この細胞培養ディッシュ内で細胞を培養する。本実施形態では、東海ヒット社の顕微鏡用培養装置ＩＮＵＧ２−ＯＮＩを用いて培養する。

続いて、培養した細胞を、細胞培養ディッシュ上において、５分毎に１枚撮影する。撮影枚数は任意であるが、本実施形態では約１８時間に渡り、２１７枚撮影する。本実施形態では、オリンパス社の蛍光位相差顕微鏡ＩＸ７１を用いて撮影する。

次に、得られた２１７枚の画像をコンピュータにより動画変換処理し、培養細胞のタイムラプスデータを取得する。本実施形態では、汎用のコンピュータに、オリンパス社のソフトウェアＤＰＭａｎａｇｅｒを組み込んでおき、コンピュータがＤＰＭａｎａｇｅｒの実行プログラムに従った処理を実行することにより、記憶装置から２１７枚の画像を読み込んで動画変換処理し、培養細胞のタイムラプスデータである動画ファイルを取得する。

（２．装置構成）
動画ファイルが取得できたら、本発明に係る対象物追跡装置により、この動画ファイル内の対象物の追跡を行う。まず、本発明に係る対象物追跡装置の構成について説明する。図１は本発明に係る対象物追跡装置の構成図である。図１において、１０は動画ファイル記憶手段、２０は画像表示手段、３０は入力指示手段、４０は演算処理部、４１は追跡フレーム群設定手段、４２は対象物特定手段、４３は追跡処理手段、４４は軌跡描画手段である。

動画ファイル記憶手段１０は、前準備により得られた動画ファイル（細胞撮影動画）を記憶しているとともに、追跡処理により軌跡を記録した軌跡付動画データ、その他処理に必要な種々のデータや処理過程に応じて生じるデータを記憶するものであり、ハードディスク等のコンピュータに接続または内蔵された記憶装置により実現される。動画ファイルとしては、具体的には、上記ＤＰＭａｎａｇｅｒ、ＩｍａｇｅＪ、ＭＴｒａｃｋＪにより処理されたものが準備される。したがって、動画ファイル記憶手段１０内の動画ファイルは、複数の静止画像（フレーム）の集合として存在する。また、動画ファイル記憶手段１０は、画像上の座標値に基づく距離をＳＩ単位系の距離に変換することを可能とするため、撮影画像の縮尺情報を記憶している。さらに、動画ファイル記憶手段１０は、タイムラプスデータの情報として、各静止画像が実際にどの程度の時間間隔で撮影されたものであるかを示す情報をフレームレートとして記憶している。

画像表示手段２０は、動画ファイル記憶手段１０内に記憶された動画ファイルを表示するものであり、液晶ディスプレイ等のコンピュータに接続された各種表示装置により実現される。入力指示手段３０は、演算処理部４０に対して、様々な入力指示を行うためのものであり、キーボード、マウス等の入力指示機器により実現される。

演算処理部４０は、追跡フレーム群設定手段４１、対象物特定手段４２、追跡処理手段４３、軌跡描画手段４４を有しており、コンピュータのＣＰＵ、ビデオメモリ、描画アクセラレータおよび主メモリにより実現される。追跡フレーム群設定手段４１、対象物特定手段４２、追跡処理手段４３、軌跡描画手段４４は、主メモリに専用のプログラムを読み込み、ＣＰＵが適宜描画アクセラレータに所定の指令を出し、ビデオメモリに所定のデータを書き込みながら実行することにより実現される。図１に示した対象物追跡装置は、現実には汎用のコンピュータに専用のプログラムを組み込むことにより実現される。また、各記憶手段は、コンピュータに内蔵または接続されたハードディスク等の記憶装置で実現される。

（３．処理動作）
次に、図１に示した対象物追跡装置の処理動作について、図２のフローチャートを用いて説明する。まず、追跡フレーム群設定手段４１が、利用者に対して、動画データを構成するフレームのうち、追跡対象とするフレーム群である追跡フレーム群を指定するよう促す。具体的には、画像表示手段２０に対して、先頭フレームと最終フレームのフレーム番号の入力欄を表示し、フレーム番号を入力させるようにする。利用者が、入力指示手段３０を用いてフレーム番号を入力すると、追跡フレーム群設定手段４１は、先頭フレームから最終フレームまでのフレーム群を追跡フレーム群として設定する（Ｓ１）。このように、動画データ全体を幾つかのフレーム群に分割して追跡処理を行い、動画データ全体に対して一度に追跡処理を行なわない理由は、途中のフレームで後述する追跡条件を逸脱するような対象物の動きが発生すると、それ以降のフレームでは追跡不能に陥るか、あるいは他の対象物を誤って追跡する可能性があるためである。追跡条件を逸脱するような対象物の動きが発生する場合としては、何らかの要因により対象物が急激な速度で移動する場合や、対象物が３次元的に奥行き方向に移動することにより、２次元的に撮像しているカメラの視野から一時的に消失したり突如に再登場する場合が考えられる。

追跡フレーム群が設定されたら、対象物特定手段４２が、先頭フレームにおいて対象物の特定を行う（Ｓ２）。具体的には、まず、対象物特定手段４２は、動画ファイル中から設定された追跡フレーム群を読み込む。そして、対象物特定手段４２は、読み込んだ追跡フレーム群の中から、先頭フレームを抽出し、先頭フレームに写っている対象物を検出する。先頭フレーム内の対象物の検出は、静止画像中から対象物を検出するための公知の技術を採用することができる。検出された対象物の特定手法としては、様々なものがあるが、ここでは、フレーム上における対象物のｘ座標最大値、ｘ座標最小値、ｙ座標最大値、ｙ座標最小値の４つの値で特定するものとする。なお、先頭フレームにおける対象物の特定は、コンピュータが検出するものでなくても良く、対象物特定手段４２により画像表示手段２０に表示された先頭フレームを肉眼で確認し、利用者が、マウス等の入力機器を用いて先頭フレーム上における対象物を特定するようにしても良い。

さらに、対象物特定手段４２は、追跡に用いるための対象物領域を設定する（Ｓ３）。対象物領域の設定は、後述する第１の手法と第２の手法により異なる。所定の領域における重心の算出を行う第１の手法では、特定された対象物のｘ座標最大値、ｘ座標最小値、ｙ座標最大値、ｙ座標最小値を全て含む範囲、すなわち対象物より一回り大きい矩形領域を対象物領域として設定する。本手法では、追跡において対象物の外形形状の変化については無視しているため、遊走にともなって輪郭形状や大きさが多彩に変化する細胞に対して追跡を行うのに適している。しかし、隣接する細胞との判別ができないため、それを考慮した追跡を行う場合に対応するため、領域同士の比較を行いながら外形形状の類似性を考慮した第２の手法を提案している。この第２の手法では、特定された対象物のｘ座標最大値、ｘ座標最小値、ｙ座標最大値、ｙ座標最小値で構成される矩形よりも一回り小さい矩形領域を対象物領域として設定する。これは、第１の手法では、隣接フレーム間での対象物の移動に基づき対象物領域の重心点が変化する特徴を用いて追跡する方法をとっているため、隣接フレーム間での対象物の移動可能範囲に対応する分だけ対象物領域を大きく設定しないと適切な追跡が行えないためてある。一方、第２の手法では、対象物領域は照合計算を簡便にするため、真の対象物輪郭（細胞・核であれば楕円形のような輪郭）を囲む矩形形状で定義するようにしているため、対象物領域内の特に周辺部では真の対象物以外の背景部を多く含むため、そのままの矩形領域どうしで照合演算を行うと誤判定が生じるからである。

次に、追跡処理手段４３が、設定した追跡フレーム群を用いて対象物の追跡を行う（Ｓ４）。具体的には、上記対象物領域を用いて隣接フレーム間で演算を行い、後続フレームにおける対象物を特定する。詳細な処理については、第１の手法、第２の手法により異なるので後述する。追跡フレーム群全てのフレームについて処理が終了した場合には追跡処理を終了し、追跡フレーム群全てのフレームについての処理が終了していない場合にはＳ４の処理を繰り返す。

次に、上記Ｓ２、Ｓ４における対象物追跡処理の詳細を、第１の手法、第２の手法に分けて説明する。図３は、対象物追跡処理に対象物領域の重心を用いる第１の手法の概要を示す概念図である。図３では、フレームＦ（１）〜Ｆ（３）までの連続する３フレームにおける追跡処理を示している。図３において、上段、中段に示す星型は、特定された対象物を例示している。また、上段は元の多値画像、中段は比較対象領域が二値化された画像を示している。第１の手法の場合、Ｓ２において、対象物の周囲に対象物領域を設定する。この対象物領域は、上述のように、特定された対象物のｘ座標最大値、ｘ座標最小値、ｙ座標最大値、ｙ座標最小値を全て含む範囲、すなわち対象物より一回り大きい矩形領域を対象物領域として設定する。対象物領域は、図３の上段フレームＦ（１）に示すように、対象物を囲む矩形領域として設定される。

次に、Ｓ４の詳細について説明する。図４は、第１の手法における動き追跡処理の詳細を示すフローチャートである。フレームＦ（ｉ）に対する追跡処理を行う際、追跡処理手段４３は、Ｓ１で定義された追跡フレームの２番目以降のフレームであるフレームＦ（ｉ）を読み込む（Ｓ２１）。そして、先行するフレームＦ（ｉ−１）における対象物領域Ｒ（ｉ−１）と同サイズ・同位置の対応領域Ｒ´（ｉ−１）内の画像を二値化する（Ｓ２２）。二値化は、元の多値画像における画素の値と閾値との大小関係により行う。この際の閾値は、事前に設定しておくことができる。

次に、二値化した対応領域Ｒ´（ｉ−１）内の重心の算出を行う（Ｓ２３）。具体的には、追跡処理手段４３が、二値化後の対応領域Ｒ´（ｉ−１）内の画素値をＢ（ｘ，ｙ）として、以下の〔数式１〕に従った処理を実行することにより重心（Ｘｇ，Ｙｇ）を算出する。なお、元画像がカラー画像である場合には、ＲＧＢ別に実行し、総和をとる。

〔数式１〕
Ｘｇ＝Σ_{x,y∈R´(i-1)}Ｂ（ｘ，ｙ）・ｘ／Σ_{x,y∈R´(i-1)}Ｂ（ｘ，ｙ）
Ｙｇ＝Σ_{x,y∈R´(i-1)}Ｂ（ｘ，ｙ）・ｙ／Σ_{x,y∈R´(i-1)}Ｂ（ｘ，ｙ）

上記〔数式１〕における重心（Ｘｇ，Ｙｇ）は、フレームＦ（ｉ）全体ではなく、対応領域Ｒ´（ｉ−１）内の相対的な位置を示すものである。図３においては、下段のフレームＦ（１）において、対応領域Ｒ´（０）内の十字線の交差した点として重心位置（ｘ１，ｙ１）を示す。

続いて、フレームＦ（ｉ）の対象物領域Ｒ（ｉ）の特定を行う（Ｓ２４）。具体的には、重心にフレームＦ（ｉ）の対応領域Ｒ´（ｉ−１）の中心座標（Ｘｃ，Ｙｃ）を加算して、フレームＦ（ｉ）における対応領域Ｒ´（ｉ−１）の重心位置（Ｘｇ＋Ｘｃ，Ｙｇ＋Ｙｃ）を次のフレームＦ（ｉ）における対象物領域Ｒ（ｉ）の中心座標として対象物中心座標テーブルに出力する。次にフレームＦ（ｉ）が最終フレームであるかどうかを判定し（Ｓ２５）、最終フレームでなければ、次のフレームＦ（ｉ＋１）に進む（Ｓ２６）。

次のフレームＦ（ｉ＋１）についても、フレームＦ（ｉ）の場合と同様に、Ｓ２４で特定された対応領域Ｒ´（ｉ）を用いて、画像の二値化を行い（Ｓ２２）、重心を算出する（Ｓ２３）。そして、その重心を中心とする対象物領域Ｒ（ｉ＋１）を特定する（Ｓ２４）。同様にして、図２のＳ３において定義された追跡フレーム群全てのフレームに対して処理を行い、最終フレームを終えたら（Ｓ２５）、追跡処理を終了する。

重心を利用する第１の手法では、前フレームＦ（ｉ−１）の対象物領域Ｒ（ｉ−１）内の対応領域Ｒ´（ｉ−１）内の重心を、次フレームＦ（ｉ）の対象物領域Ｒ（ｉ）の中心とするため、連続するフレームＦ（ｉ−１）およびフレームＦ（ｉ）間において、対象物領域の位置が大きく変化することは比較的少ない。しかし、対象物領域の位置が大きく変化することもありえる。例えば、何らかの要因で対象物が急激に移動する場合や、対象物が３次元的に奥行き方向に移動したため、２次元的に撮像しているカメラの視野から一時的に消失し、突如再登場することもある。その場合は、前記対象物領域を大きく設定し直せば当該フレームＦ（ｉ）では解消することもあるが、逆に隣接する他の対象物が再設定された所定の範囲に含まれる可能性も増大し、後続フレームにおいて、誤った重心計算に基づいて他の対象物を追跡してしまう問題が生じやすくなる。そこで、本実施形態では、このような問題が生じる場合、図２のＳ１における追跡フレーム群の設定をやり直すようにしている。即ち、Ｆ（ｉ）以降は新たな追跡フレーム群に設定し直し、当該追跡フレーム群における追跡処理はＦ（ｉ−１）の段階で中断させる。このようにして、他の細胞が近づいてきたとしても、誤ってそちらを検出することなく、対象物である細胞を逃さず追跡することができる。

次に、領域同士の比較を行う第２の手法について説明する。図５は対象物追跡処理に領域同士の照合を用いる第２の手法の概要を示す概念図である。図５でも、図３と同様、フレームＦ（１）〜Ｆ（３）までの連続する３フレームにおける追跡処理を示している。図５において、上段、中段、下段に示す星型は、特定された対象物を例示している。また、上段、中断、下段はいずれも多値画像を示している。第２の手法の場合、Ｓ２において、対象物よりもやや小さめの対象物領域を設定する。この対象物領域は、上述のように、特定された対象物のｘ座標最大値、ｘ座標最小値、ｙ座標最大値、ｙ座標最小値で構成される矩形よりも一回り小さい矩形領域として設定する。この小さくする割合は、矩形形状の対象物領域内に占める真の対象物領域の割合により適宜変更する必要があるが、対象物が細胞のような楕円形状の場合、面積的に５０％程度になるよう縮小する。この対象物領域は、図５の上段フレームＦ（１）に示すように、星型の対象物より小さめの矩形領域として設定される。

次に、Ｓ４の詳細について説明する。図６は、第２の手法における対象物追跡処理の詳細を示すフローチャートである。まず、追跡処理手段４３が、Ｓ１で定義された追跡フレームの２番目以降のフレームであるフレームＦ（ｉ）を読み込む（Ｓ１１）。続いて、フレームＦ（ｉ）上において、直前のフレームＦ（ｉ−１）の対象物領域Ｒ（ｉ−１）に内容が類似する領域を特定する（Ｓ１２）。具体的には、直前のフレームＦ（ｉ−１）における対象物領域Ｒ（ｉ−１）と同サイズの領域を比較領域としてフレームＦ（ｉ）上に設定する。この比較領域は、対象物領域Ｒ（ｉ−１）の中心位置（ｘ，ｙ）を基準にＸＹ座標を上下左右に所定の範囲（ｘ＋Ｘ，ｙ＋Ｙ）に渡って移動させて複数設定する。そして、フレームＦ（ｉ）上の各比較領域について、Ｆ（ｉ−１）における対象物領域Ｒ（ｉ−１）と各画素単位で差分をとり、差分の総和ｄ（Ｘ，Ｙ）が最も小さいフレームＦ（ｉ）上の位置を特定する。差分の総和ｄ（Ｘ，Ｙ）は、以下の〔数式２〕に従って算出される。なお、元画像がカラー画像である場合には、ＲＧＢ別に実行し、総和をとる。

〔数式２〕
ｄ（Ｘ，Ｙ）＝Σ_x,y∈R(i-1) |Ｖ（ｉ，ｘ＋Ｘ，ｙ＋Ｙ）−Ｖ（ｉ−１，ｘ，ｙ）|

上記〔数式２〕において、Ｘ，Ｙを変化させることにより、フレームＦ（ｉ）上の比較領域を（＋Ｘ，＋Ｙ）だけ移動させた状態の差分総和の算出が行われることになる（Ｘ，Ｙは正負の値をもつ整数値）。続いて、フレームＦ（ｉ）における対象物領域Ｒ（ｉ）の特定を行う（Ｓ１３）。具体的には、上記差分総和ｄ（Ｘ，Ｙ）の値が最小となる（Ｘｐ，Ｙｐ）を、フレームＦ（ｉ）上の対象物中心位置（Ｘｐ，Ｙｐ）とし、対象物中心座標テーブルに出力する。（Ｘｐ，Ｙｐ）を中心とした所定サイズの領域がフレームＦ（ｉ）の対象物領域Ｒ（ｉ）となる。次にフレームＦ（ｉ）が最終フレームであるかどうかを判定し（Ｓ１４）、最終フレームでなければ、次のフレームに進む（Ｓ１５）。

次のフレームＦ（ｉ＋１）についても、フレームＦ（ｉ）の場合と同様に、Ｓ１３で特定されたフレームＦ（ｉ）の対象物領域Ｒｉを用いて、フレームＦ（ｉ＋１）の対象物領域Ｒ（ｉ＋１）の特定を行う（Ｓ１２、Ｓ１３）。同様にして、図２のＳ３において定義された追跡フレーム群の範囲の全てのフレームに対して処理を行い、最終フレームを終えたら（Ｓ１５）、追跡処理を終了する。

領域の照合を利用する第２の手法では、前フレームＦ（ｉ−１）の対象物領域Ｒ（ｉ−１）と比較する次フレームＦ（ｉ）の比較領域を、対象物領域Ｒ（ｉ−１）の中心位置（ｘ，ｙ）を基準に（ｘ＋Ｘ，ｙ＋Ｙ）座標が所定の範囲に収まるように設定する。しかしながら、連続するフレーム間において、対象物領域の位置がこの事前に設定された所定の範囲を逸脱して大きく変化することもありえる。その場合は、前記所定の範囲を大きく設定し直せば当該フレームＦ（ｉ）では解消することもあるが、逆に隣接する他の対象物が再設定された所定の範囲に含まれる可能性も増大し、後続フレームにおいて、誤って他の対象物を追跡してしまう問題が生じやすくなる。そこで、本実施形態では、このような問題が生じる場合、図２のＳ１における追跡フレーム群の設定をやり直すようにしている。即ち、Ｆ（ｉ）以降は新たな追跡フレーム群に設定し直し、当該追跡フレーム群における追跡処理はＦ（ｉ−１）の段階で中断する。このようにして、第１の手法と同様、他の細胞が近づいてきたとしても、誤ってそちらを検出することなく、対象物である細胞を逃さず追跡することができる。なお、所定の範囲としては、最大でも対象物領域Ｒの１／２程度にしておくことが望ましい。

第１の手法、第２の手法のいずれかを用いて追跡処理が終了したら、次に、軌跡描画手段４４が、対象物の移動軌跡の描画処理を行う。図７は、移動軌跡の描画処理の概要を示すフローチャートである。まず、軌跡描画手段４４が、対象物中心座標テーブルの読込みを行う（Ｓ３１）。この対象物中心座標テーブルは、第１の手法ではＳ２４、第２の手法ではＳ１３において対象物領域の中心点が記録されたものである。

次に、軌跡描画手段４４が、元の動画ファイルよりフレームＦ（ｉ）を読み込む（Ｓ３２）。続いて、対象物中心座標テーブルを参照し、先頭フレームからフレームＦ（ｉ）までの中心座標を折れ線形式で結び、先頭フレームからフレームＦ（ｉ）までの移動軌跡としてフレームＦ（ｉ）上に上書き描画する（Ｓ３３）。次に、フレームＦ（ｉ）での対象物の座標値位置に、対象物の存在を示す対象物マークを上書き描画する（Ｓ３４）。そして、移動軌跡、対象物マークが上書きされたフレームＦ（ｉ）を出力動画ファイルに出力する（Ｓ３５）。次にフレームＦ（ｉ）が最終フレームであるかどうかを判定し（Ｓ３６）、最終フレームでなければ、次のフレームに進む（Ｓ３７）。

Ｓ３１〜Ｓ３５の処理を繰り返し実行することにより、各フレームＦ（ｉ）には、先頭フレームからフレームＦ（ｉ）までの移動軌跡、およびフレームＦ（ｉ）における対象物の存在位置を示す対象物マークが示されることになる。描画処理が行われた追跡フレーム範囲内の最終フレームの様子を図８に示す。図８においては、折れ線形式の移動軌跡、対象物マークのみを示しており、説明の便宜上、最終フレームの画像自体は省略してある。図８の例では、移動軌跡の左下端が先頭フレームにおける対象物位置を示しており、右上端の矢印が最終フレームにおける対象物位置を示している。

ここで、対象物マーク発生の詳細について説明する。まず、最終フレームにおける対象物位置より互いに１８０度反対の２方向に延ばした直線と対象領域を構成する画素とが最も対象物位置より離れた位置で交差する直線方向を長軸とする。さらに、長軸に対して直交し、対象物位置より互いに１８０度反対の２方向に延ばした直線と対象領域を構成する画素とが最も重心座標より離れた位置で交差する直線方向を短軸とする。このようにして求められた長軸および短軸を利用し、この長軸と短軸で構成される矩形・楕円・菱形のいずれかの幾何学図形を対象物マークとして発生させる。図８の例は、菱形を発生させたものである。

描画処理を終えたら、軌跡描画手段４４は、移動軌跡分布を元に偏向角を算出する。図９は、偏向角算出の説明図である。図９において、移動軌跡と対象物マークは図８に示したものと同一である。演算処理部４０は、移動軌跡の先頭フレームの対象物位置（Ｘｓ，Ｙｓ）、最終フレームの対象物位置（Ｘｅ，Ｙｅ）を用いて、以下の〔数式３〕に従った処理を実行し、偏向角度を算出する。

〔数式３〕
偏向角度＝ｔａｎ^-1｛（Ｙｅ−Ｙｓ）／（Ｘｅ−Ｘｓ）｝

軌跡描画手段４４は、算出された偏向角度を画像表示手段２０に表示出力する。これにより、利用者は、対象物の移動軌跡の偏向角度を知ることができる。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、処理対象として顕微鏡画像をもとにした動画データを用い、細胞の動きを追跡するようにしたが、例えば、航空写真画像や地上監視カメラにより撮影された画像をもとにした動画データを用い、自動車等を追跡するようにしても良い。

１０・・・動画データ記憶手段
２０・・・画像表示手段
３０・・・入力指示手段
４０・・・演算処理部
４１・・・追跡フレーム設定手段
４２・・・対象物特定手段
４３・・・追跡処理手段
４４・・・軌跡描画手段

Claims

複数のフレームで構成される動画ファイルに対して、対象物を追跡する複数のフレームで構成される追跡フレーム群を設定する追跡フレーム群設定手段と、
前記追跡フレーム群の先頭フレームＦ（０）内の対象物を特定し、当該対象物の位置を特定する対象物中心座標を前記先頭フレームＦ（０）上で設定するとともに、前記対象物の存在する領域を示す対象物領域Ｒ（０）を設定する対象物特定手段と、
前記追跡フレーム中の各フレームＦ（ｉ）において、先行フレームＦ（ｉ−１）の対象物領域Ｒ（ｉ−１）と同サイズの比較領域を、前記対象物領域Ｒ（ｉ−１）の中心位置を基準に上下左右に所定の範囲に渡って（＋Ｘ，＋Ｙ）だけ移動させて複数設定し、各比較領域について前記対象物領域Ｒ（ｉ−１）との対応する画素同士の差分の総和ｄ（Ｘ，Ｙ）を算出し、当該総和ｄ（Ｘ，Ｙ）が最小となる比較領域を、前記フレームＦ（ｉ）の対象物領域Ｒ（ｉ）として設定するとともに、当該対象物領域Ｒ（ｉ）の中心に位置する画素に対象物中心座標を設定する追跡処理手段と、
前記各フレームＦ（ｉ）において、前記対象物中心座標が設定された画素を含む所定の範囲に幾何学形状の対象物マークを上書きする軌跡描画手段と、を有し、
前記追跡処理手段の処理により前記総和ｄ（Ｘ，Ｙ）が最小となる比較領域を特定できなかった場合、前記追跡フレーム群設定手段が前記追跡フレーム群を再設定することを特徴とする対象物追跡装置。
請求項１において、
前記軌跡描画手段は、さらに、先行するフレームＦ（１）〜Ｆ（ｉ−１）の各対象物マークが設定された画素と同位置の画素を線分で結んで上書きすることにより、軌跡が記録された各フレームＦ（ｉ）を作成するものであることを特徴とする対象物追跡装置。
請求項１または請求項２に記載の対象物追跡装置として、コンピュータを機能させるためのプログラム。