JP6525545B2 - 情報処理装置、情報処理方法及びコンピュータプログラム - Google Patents
情報処理装置、情報処理方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP6525545B2 JP6525545B2 JP2014215788A JP2014215788A JP6525545B2 JP 6525545 B2 JP6525545 B2 JP 6525545B2 JP 2014215788 A JP2014215788 A JP 2014215788A JP 2014215788 A JP2014215788 A JP 2014215788A JP 6525545 B2 JP6525545 B2 JP 6525545B2
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- area
- tracked
- information processing
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Description
従来の方法の一つに、画像特徴を用いる追跡の方法がある。この方法によれば、物体の移動予測と、オブジェクトの特徴と入力画像のビジュアル的な特徴とを比較することによるマッチング処理とを行って、追跡の対象となる物体の位置の特定が行われる。
この様子が図10に示されている。図10には、図10の(a)(b)(c)(d)の順に時間が経過していく場合の遷移が示されている。図10(a)において、追跡対象物体1001は例えば人物であり、その周囲に追跡領域1003が示されている。追跡領域1003は、追跡対象物体である人物を含む矩形の領域である。図10(a)(b)と時間が経過していき、図10(c)では、遮蔽物1002の陰に追跡対象物体1001が一部隠れている。そして、図10(d)では、追跡対象物体1001がほぼ遮蔽物1002に隠れてしまっている。ここで、遮蔽物1002と追跡対象物体1001との間に画像の特徴に大きな差が無い場合は、上述したようにマッチングの信頼度が急には下がらないため、追跡が継続し、図10(d)においては、追跡領域1003がまだ残存している。これが「ドリフト」と呼ばれる現象である。この画像の特徴に大きな差が無い場合とは、例えば、追跡対象物体が白い着衣の人物であり、それに対して遮蔽物1002も白い壁である場合等が挙げられる。上記のドリフトの発生により、本来、追跡対象物1001が画像フレームから消失したため追跡を中断ないし終了しなければならないのに、追跡処理の中断ないし終了の判断が遅れてしまう。
背景画像との差分を利用する方法では、検出された物体が、フレームによっては画素が途切れて分割されてしまう場合や、他の移動物体と結合されてサイズが大きくなる場合がある。このとき、これまでの追跡情報と物体検出情報の対応度は、大きく低下してしまう場合がある。
本発明は上述した問題を解決するため、追跡処理の中断ないし終了判定の遅れや誤りを低減し、追跡処理のより高精度な継続判定を可能とする情報処理装置、情報処理方法及びコンピュータプログラムを提供することを目的とする。
本実施形態1に係る映像処理装置は、監視カメラなどの撮像装置内に組み込まれる画像処理回路や、パーソナルコンピュータなどのコンピュータ装置に適用することができるものである。
先ず、本実施形態1に係る映像処理装置の機能構成例について、図1のブロック図を用いて説明する。図1において、映像処理装置120は、情報処理装置100と、表示部110と、から構成される。
情報処理装置100は、典型的には、連続した画像または動画(以下、単に「画像」と称する。)を撮影可能なカメラユニットであり、そのカメラユニット内に、後述するような機能を備えた各種の情報処理回路を搭載したものがよい。すなわち、情報処理装置100は、物体追跡機能の全部または一部を有するカメラユニットである。なお、本実施形態1の画像処理装置の機能を実現することができるのであれば、情報処理装置100は、一般のPC(パーソナルコンピュータ)とそれに接続されるカメラ(例えばWebカメラ等)で構成されてもよい。また、情報処理装置100は、本実施形態1の機能を有する一体型のカメラであってもよい。
情報処理装置100の画像取得部102(図1参照)は、画像を撮像するカメラそのものであり、所定の光学系と、CCDあるいはCMOS等の撮像素子と、それらを制御する各種回路から構成される。情報処理装置100を上述したようにPCで構成した場合には、この画像取得部102は、そのPCに接続する、いわゆるWebカメラやUSBカメラ等であってよい。また、上述したように情報処理装置100が一体型のカメラとして構成されてもよい。
画像取得部102は、撮像素子によって撮像された画像を順次取得する。言い換えれば、動画像を構成する各フレームの画像を順次取得することができる。1以上の追跡対象物体は、この動画像内にフレームインし、また、フレームアウトする場合がある。また、追跡対象物体は、複数フレームに渡って画像内を移動するような場合もある。
そして画像取得部102は、取得した各フレームの画像を順次、追跡部101と動き領域抽出部103に対して送出する。
なお、本実施形態1では、画像取得部102自身が画像を撮影する例として説明するが、これに限定されず、例えば、外部に設けられた画像を撮像可能な撮像装置から画像を取得してもよい。この場合、画像取得部102は、その撮像装置との間のインターフェースとなる。また、画像は、予め画像を保持している(記録・録画している)ような外部の記憶装置から取得してもよい。このような場合も画像取得部102は、その記憶装置との間のインターフェースとなる。このように、画像の取得先(ソース)については特定の取得先に限るものではない。
追跡部101は、画像取得部102が出力した画像を受け取る。追跡部101は、受け取った各画像フレームの画像の追跡対象物体を含む追跡領域を、画像特徴を用いたマッチング処理などの技術を用いて追跡する。
この追跡処理では、追跡対象として定めた物体(すなわち、追跡対象物体)の位置を特定し、画像フレーム間で同じ物体として対応づけが行われる。例えば、初めに、ユーザが指定した領域を追跡対象物体を含む追跡領域として設定する。そして、設定された追跡領域内の画像データから、例えば色ヒストグラム、テクスチャ等を画像の特徴量として抽出し、追跡対象物体のテンプレートに設定する。すなわち、追跡対象物体のテンプレートとしては、設定された領域のサイズ(高さ及び幅)と画像の特徴量とが設定される。そして、このテンプレートとして設定された特徴量と、後に入力された画像フレームとでマッチング処理を行い、画像内の類似度が最も高い位置を新たな追跡対象物***置として特定する。そして、追跡部101は、ある画像フレームの追跡対象物体を含む追跡領域の位置を特定する。そして追跡部101は、この追跡に係る物体識別子、追跡対象物体を含む追跡領域の位置とサイズ等を含む情報を追跡情報として生成し、後段の存在度算出部104aおよび表示制御部112へ出力する。
なお、追跡部101は、追跡情報の一部として追跡領域を生成しており、追跡情報については、次段落で詳細に説明する。
ここで、追跡対象物の位置の初期値は、上記ユーザが指定した領域の位置であり、この領域で検出された動物体が追跡される。また、指定された領域の特徴は動物体の特徴とみなし、テンプレートとして格納される。この動物体を構成する領域(結果的に追跡領域となる)は各画像フレーム(以下、単に「フレーム」としても参照され得る)中でマッチング処理等により、新たな位置が順次見つけられていき、その位置が追跡対象物体の新たな位置となる。
このような追跡方法は一例であり、追跡方法は特定の方法に限るものではなく、様々な追跡手法を適用することができる。
この特徴量は追跡開始時のものを最後まで利用しても良いし、毎フレームまたは指定の条件を満たしたフレームのみで更新しても良い。また、追跡対象物体に関する特徴量は、オンライン学習を行っても良い。さらに、追跡対象物体の検出処理を行い、検出結果の位置やサイズ情報、さらには特徴量を利用して、検出結果を複数フレームで対応づけることで、追跡対象物体の位置を特定し、追跡情報として利用すればよい。同じく、検出結果を複数フレームで対応づける際に、追跡対象物体が未検出となった場合のみ、特徴量による探索を行い、未検出となった追跡物体の位置を補間する追跡処理でもよい。
他に、カルマンフィルタを用いて移動を予測しても良いし、パーティクルフィルタを用いて総合的に物***置を判定しても良い。
動き領域抽出部103は、画像取得部102から受けとった動画像の各フレームについて動きを含む領域を抽出する。この抽出処理では、例えば、予め作成した参照画像と現在フレームの画像の差分をとることによって動き領域が抽出される。そして、動き領域抽出部103は、画像中の動き領域を抽出すると、この抽出に係る、各フレームの各画素に対応した動き判定結果(ラベルマップ)を動き領域の情報として生成し、後段の存在度算出部104aへ出力する。
なお、本実施形態1では、動き領域抽出部103は、フレーム画像中の動き領域を全て抽出し、後段の存在度算出部104aが追跡部101から出力される追跡領域の情報を用いて追跡領域内の動き領域を特定する。これに替えて、上述した追跡領域内の動き領域のみを抽出してもよい。この場合は、その追跡領域に関する情報を、上記追跡部101から受け取ればよい。
この抽出方法は、動き領域の抽出方法の一例であり、動き領域の抽出方法は、特定の方法に限るものではなく、様々な抽出方法を採用することができる。
上述した参照画像としては、予め動きが発生していないシーンを撮影した画像を用意し、参照画像として用いることもよい。また、複数フレームの情報を用いて、動的に参照画像を生成しても良い。
存在度算出部104aは、動き領域の存在度(割合)を算出し、判定部104bは、この算出された存在度に基づき、追跡の継続判定処理(以下、単に判定処理とも呼ぶ)を行う。
本実施形態1においては、存在度算出部104aが、追跡領域に包含される動き領域の存在度を算出し、判定部104bがこの存在度に基づき判定を行う。
本実施形態1におけるこの判定の処理では、まず、存在度算出部104aが、追跡部101から受けとった追跡領域と、動き領域抽出部103から受けとった動き領域の情報とから、追跡領域に含まれている動き領域の存在度を算出している。次に、判定部104bは、この存在度が所定の基準値以上であれば、追跡を継続すると判定する。逆に、存在度が所定の基準値未満であれば、追跡を中断または終了すると判定する。
ここで、「存在度」の算出に用いられる「動き領域の情報」には、追跡領域に含まれている動き領域の面積の比率を用いることができる。さらに、動き領域の動き量(例えば、画像フレーム内での移動量)を係数ないし重み付けに用いてもよい。
存在度には、その他種々のパラメータを利用することができる。
なお、本実施形態において追跡処理の「中止」とは、追跡処理が停止するあらゆる処理を包含する概念であり、本実施の形態1の追跡処理の「中断」または「終了」は、「中止」の一例である。
なお、これら種々の「中止」の種類(「中断」や「終了」)に応じて、何らかの異なる処理を行うことも可能である(後述する実施形態3参照)。
追跡部101は、追跡対象物体201に関する追跡領域203を生成する。ここで、追跡領域203は、追跡情報中の情報の一部である。図2では、この追跡領域203を示す矩形の枠が表示されている。
図2(b)では、追跡領域203内に複数の小領域に分かれた動き領域204が存在する。この場合、1個の追跡領域203に対して、複数個の動き領域204の面積の総和を比較することで比率を求めている。つまり、追跡領域203内に含む動き領域204はすべて計算対象であり、個別ではなく総和によって計算するものである。すなわち、「動き領域の面積の総和/追跡領域の面積」のように比率を求める。
本実施形態1では、このような面積の比率を、追跡領域(追跡領域203)に対する、追跡領域内の動き領域204(動き領域情報に含まれる)の存在度として算出する例を示す。
また、例えば、動き領域204として抽出された画素または小領域ごとに、動き領域としての信頼度(あるいは尤度)が計算されている場合は、信頼度に基づいて重みづけをして算出した値を上記存在度に相当する値として利用してもよい。また、追跡領域203の重心位置に近いほど重みを大きく設定して、値を求めても良い。
なお、動き領域を求めるアルゴリズムは、従来から種々のアルゴリズムや手法が知られている。これらのアルゴリズムでは、求められた動き領域に対して所定の信頼度が同時に算出できる場合が多い。各アルゴリズムによって、信頼度は異なるものではあるが、いずれの信頼度でも、上記計算に用いることが可能である。また、信頼度は、求められた動き領域内の特徴点に対して算出される場合もある。そのような場合は、動き領域内のその特徴点に対する信頼度の総和や、各信頼度の平均値を、上記動き領域に対する信頼度として用いてもよい。
なお、これまでの説明では、追跡領域203は同一形状・同一面積であり、変化しない例を示したが、時間の経過と共に、動的に追跡領域の形状や面積が変化するような追跡方法を採用してもよい。
なお、上述のとおり、存在度は、典型的には、上述したように、追跡領域203の面積における動き領域204の面積の比率であり、単純に述べれば、「動き領域の面積/追跡領域」である。しかしながら、この比率に対してその他の演算処理・関数処理(例えば、上述した信頼度)を施して他の値を求め、この値に基づき判定を行ってもよい。
このように、判定部104bは、求められた各種の値に基づき、追跡処理を継続するか否かを判定している。
ステップS301において、画像取得部102は、情報処理装置100へ入力された画像を取得する。この画像は例えば1時間の動画等であってよい。
ステップS302において、追跡部101は、ステップS301で取得した画像を基に追跡処理を行う。
ステップS303において、動き領域抽出部103は、ステップS301で取得した画像を基に動き領域抽出処理を行う。
ステップS305において、情報処理装置100が有する制御部(図9のCPU11等に実装され得る)は、当該処理を継続するか否かを判定する。これは要するに画像中に含まれる全てのフレーム処理が終了したか否か(例えば1時間分の全てのフレーム処理が終了したか否か)の判断であり、その画像に関する追跡処理全体(例えば、1時間分の動画像処理)の終了判断である。
ステップS306においては、この追跡処理の結果を用いて行うべき、後続処理が実行されてよい。この後続処理は、追跡処理継続か否かの判定処理を用いるものであれば、あらゆる処理であってよく、例えば追跡結果を用いた各種の映像処理であってよい。
このように、実施形態1においては、追跡対象物の特定ではマッチング処理を行う一方、追跡情報に対する動き領域の存在度を用いて追跡の継続判定を行うことにより、追跡の継続判定の精度の向上を図ることができる。
図4のステップS301〜S303は、図3の同ステップと同様である。
図4のステップS401、S402、S403、S404が、図3におけるステップS304に相当する。
ステップS401においては、存在度算出部104aが、抽出した動き領域(動領域とも呼ぶ)の追跡領域に対する存在度を算出する。この算出は、上述の通り、追跡領域203に含まれている動き領域の量(面積)の比率として計算される。具体的には、「動き領域の面積(の総和)/追跡領域の面積」として面積の比率を算出する。
なお、判定結果である、追跡処理を継続するか否かに関する判定は、追跡部101にも供給されており、この判定に基づき、追跡部101は追跡処理を継続又は中止をする。
なお、この追跡処理は、追跡対象物体201毎に行われるものであり、ある追跡対象物体については追跡処理を継続すると共に、他の追跡対象物体については追跡処理を中止する等の処理を、追跡対象物体毎に行っている。
表示制御部112は、図1に示すように、情報処理装置100内に位置するが、情報処理装置100の外部に設けても構わない。例えば、表示部110内に配置してもよい。
ステップS403又はS404の処理が終了した後、ステップS305において追跡処理の全体が終了するか否かの判断がなされる。これは上述したステップS305と同処理であり、処理すべきフレームが残っているか否かの判断である。フレームの処理がまだ終了していない場合は、その動画像に対する追跡処理は継続され、全フレームが全て終了している場合は、ステップS306に処理が移行する。ステップS306は、図3のステップS306と同様の処理である。
本発明の実施形態2では、判定部104bにおいて、追跡対象物体が静止し、動き領域が抽出できない場合に、追跡を継続する判定を行う、換言すれば、追跡を中止する判定を行わない例を説明する。
存在度算出部104aは、実施形態1と同様に、追跡部101から受けとった追跡領域と、動き領域抽出部103から受けとった動き領域情報とから、追跡領域に対する動き領域の存在度を算出し、判定部104bは、その存在度に基づき追跡の継続判定を行う。
このように、本実施形態2では、存在度が一定の基準値未満であっても、追跡対象物が静止していると判断される場合は、追跡処理を継続する。
本実施形態2における、追跡の継続判定の方法を、図7を用いて詳しく説明する。図7(a)から図7(c)へと時系列に処理が進むと考える。この時、動き領域抽出部103において、基準画像を生成するような処理が含まれる場合、追跡対象物体701が長時間静止すると、基準画像に追跡対象物体701の情報が追加される。この基準画像は、動きがあるか否かを検出する場合の基準画像である。
なお、上記特許文献1でも説明したように、物体検出には、着目したフレーム画像と、予め撮影した背景画像との差分をとる方法の他に、検出対象の物体の画像を学習して識別器を作成し、この識別器によって、検出を行う方法もある。
いずれの場合も、このようにして物体検出した結果と、追跡情報とが対応付けられていれば、追跡処理を継続することは可能である(上記図7参照)。
本発明の実施形態3では、判定部104bの結果を基に、表示制御部112が追跡結果の表示方法を変更する例について説明する。
上記実施形態1、2においては、判定部104bが追跡処理を継続するか否かを判定して、追跡処理を継続しないと判定した場合は、追跡処理自体を中止(中断ないし終了等)する。実施形態1、2においては、表示制御部112は、単にその追跡処理結果を画像と重畳等してから表示部110に送出し、表示部110がこれを表示していた。したがって、ユーザは、単に追跡処理結果を表示部110上で見ることができるのみである。
そこで、本実施形態3では、判定部104bが追跡処理を継続しないと判定した場合に、表示方法に、変更を加え、ユーザに注意喚起するものである。以下、その動作を詳細に説明する。
表示部110は、追跡部101から受けとった追跡情報と、判定部104bから受けとった追跡継続判定の結果を基に、追跡情報の表示方法を変更する。本実施形態3における表示制御の例を以下説明する。
中断や終了の意味は、上述した実施形態1で述べたとおりの意味でも良いし、また、他の意味や状態を意味させても良い。また、本実施の形態3では、中断、終了の2種類の例を挙げたが、より種類を増やしてもよい。
上記の実施形態3では、追跡処理が継続されず、中止された場合、その中止の種類(中断、終了)に応じて、表示に変更を加える例を説明した。しかし、より簡便に、表示制御部112が、追跡の中止判定から、数フレームだけ、追跡を継続し、追跡領域803とその軌跡809の表示を抑制表示804で表示することもよい。数フレームの「数」はあらかじめ定めておく所定数とすればよい。
本実施形態3の変形例の抑制表示の様子が図8に示されている。数フレームとは、具体的には、動画像のフレームレートにもよるが、2〜3フレームから、10〜10000フレームまで、種々の値をとり得る。典型的には、2フレーム、3フレーム程度の場合も多いが、視認性を重要視する場合は数秒間〜10数秒間に該当するフレーム数とすればよい。また、50フレーム〜500フレーム程度や、100フレームから1000フレーム程度としてもよい。
なお、図8では、抑制表示の例として破線による表示が示されているが、種々の抑制表示の方法を採用することができる。強調表示は、通常の表示を強調表示と見なして取り扱う場合もよい。図8の例では、通常の実線で示した追跡領域803を便宜上、強調表示として取り扱っている。太字等の処理を行ってもよい。
強調表示と抑制表示について説明する。強調表示はユーザに認識されやすい表示であり、追跡情報を例えば実線で表示する。抑制表示は、ユーザに認識されにくい表示であり、追跡情報を破線で表示する。もちろん、これらの表示方法はユーザからの認識しやすさに基づくものであり、特定の方法に限るものではない。また、強調表示は、通常の実線表示を強調表示と見なし、破線表示や灰色表示を抑制表示として取り扱ってもよい。
また、図1における映像処理装置120中の情報処理装置100は、撮像部を備える電気機器のハードウェアを用いて構成してもよい。このような電子機器10(例えば、デジタルカメラ)の構成ブロック図が図9に示されている。この図に示すように、電子機器10は、CPU11と、ROM12と、RAM13と、外部メモリ14とを備え、これらはバス19を介して相互に接続している。外部メモリ14とは、ハードディスクと、光学ドライブを含む。また、画像取得部である撮像部15と、入力部16と、表示部17と、通信I/F18と、がバス19に接続している。
また、図9の構成を採用する場合、追跡部101は、CPU11と、このCPU11が実行するプログラムとから構成すればよい。プログラムは、ROM12、RAM13、外部メモリ14等に格納しておく。または、同プログラムを格納した記憶媒体であるDVDを、光学ドライブに読み込ませて、同プログラムを本コンピュータ10にインストールしてもよい。
上記の例では、プログラムを、コンピュータ11内部に格納する例を示したが、通信I/F18を介して外部の不図示のサーバ上でプログラムを実行するように構成しても良い。また、カメラである撮像部15を介して画像を取得するだけでなく、通信I/F18を介して、インターネット等の外部から画像の供給を受けてもかまわない。
101 追跡部
102 画像取得部
103 動き領域抽出部
104a 存在度算出部
104b 判定部
110 表示部
112 表示制御部
120 映像処理装置
200 画像
201 追跡対象物体
202 遮蔽物
203 追跡領域
204 動き領域
Claims (24)
- 画像から追跡対象の物体を含む追跡領域に存在する動き領域を特定する特定手段と、
前記動き領域の信頼度に応じて前記動き領域の面積に重み付けをした面積が前記追跡領域に対して占める割合を導出する導出手段と、
前記導出手段により導出された前記割合に基づき、前記追跡領域に関する前記追跡対象の物体の追跡を継続するか否かを判定する判定手段と、
を具備することを特徴とする情報処理装置。 - 画像から追跡対象の物体を含む追跡領域に存在する動き領域を特定する特定手段と、
前記動き領域の前記追跡領域の重心からの距離に応じて前記動き領域の面積に重み付けをした面積が前記追跡領域に対して占める割合を導出する導出手段と、
前記導出手段により導出された前記割合に基づき、前記追跡領域に関する前記追跡対象の物体の追跡を継続するか否かを判定する判定手段と、
を具備することを特徴とする情報処理装置。 - 画像から追跡対象の物体を含む追跡領域に存在する動き領域を特定する特定手段と、
前記追跡領域の重心から所定の距離内に抽出された動き領域の面積が前記追跡領域に対して占める割合を導出する導出手段と、
前記導出手段により導出された前記割合に基づき、前記追跡領域に関する前記追跡対象の物体の追跡を継続するか否かを判定する判定手段と、
を具備することを特徴とする情報処理装置。 - 前記判定手段は、前記割合と所定の基準値とを比較し、前記割合が前記所定の基準値未満である場合は、前記追跡対象の物体の追跡を中止するように判定することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
- 前記判定手段は、前記追跡対象の物体が静止しているか否かを判定し、前記追跡対象の物体が静止していると判定した場合は、前記動き領域の割合の値にかかわらず、前記追跡対象の物体の追跡を継続すると判定することを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
- 前記判定手段は、前記追跡領域に基づき、現在の前記追跡領域の位置と、過去の前記追跡領域の位置との差から前記追跡対象の物体の移動量を求め、該移動量が所定の基準値未満である場合に、前記追跡対象の物体が静止していると判定することを特徴とする請求項5に記載の情報処理装置。
- 前記判定手段が、前記追跡対象の物体の追跡を継続すると判定した場合に、前記追跡対象の物体の追跡情報を、表示装置に強調表示させる表示制御手段をさらに具備することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
- 前記判定手段が、前記追跡対象の物体の追跡を継続しないと判定した場合であって、前記追跡対象の物体の追跡を中断すると判定した場合に、前記追跡対象の物体の追跡情報を、表示装置に抑制表示させる表示制御手段をさらに具備することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
- 前記判定手段が、前記追跡対象の物体の追跡を継続しないと判定した場合であって、前記追跡対象の物体の追跡を終了すると判定した場合に、前記追跡対象の物体の追跡情報を含まない画像信号を、表示装置に表示させる表示制御手段をさらに具備することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
- 前記判定手段が、前記追跡対象の物体の追跡を中止すると判定した場合に、前記追跡情報を数フレームの間、表示装置に抑制表示させる表示制御手段をさらに具備することを特徴とする請求項4乃至6のいずれか1項に記載の情報処理装置。
- 前記表示制御手段は、前記追跡情報の強調表示の強調の程度を、前記動領域割合の値に応じて変化させることを特徴とする請求項7に記載の情報処理装置。
- 前記表示制御手段は、前記追跡情報の抑制表示の抑制の程度を、前記動領域割合の値に応じて変化させることを特徴とする請求項8または10に記載の情報処理装置。
- ユーザの指定に基づいて前記追跡対象を含む追跡領域を設定する設定手段をさらに具備することを特徴とする請求項1乃至12のいずれか1項に記載の情報処理装置。
- 1つの画像フレームについて前記設定手段により設定された追跡領域内の画像から特徴量を取得し、他の画像フレームについて前記特徴量に基づいてマッチング処理をすることで、前記追跡領域と類似度が高い位置を取得する追跡手段をさらに具備することを特徴とする請求項13に記載の情報処理装置。
- 前記特徴量は、色ヒストグラム、テクスチャー、HOG特徴およびHaar特徴のいずれかを含むことを特徴とする請求項14に記載の情報処理装置。
- 前記特定手段はフレーム間の差分をとることによって、前記追跡領域内の動き領域を特定することを特徴とする請求項1乃至15のいずれか1項に記載の情報処理装置。
- 画像から追跡対象の物体を含む追跡領域に存在する動き領域を特定する特定ステップと、
前記動き領域の信頼度に応じて前記動き領域の面積に重み付けをした面積が前記追跡領域に対して占める割合を導出する導出ステップと、
前記導出ステップにおいて導出された前記割合に基づき、前記追跡領域に関する前記追跡対象の物体の追跡を継続するか否かを判定する判定ステップと、
を含むことを特徴とする情報処理方法。 - 画像から追跡対象の物体を含む追跡領域に存在する動き領域を特定する特定ステップと、
前記動き領域の前記追跡領域の重心からの距離に応じて前記動き領域の面積に重み付けをした面積が前記追跡領域に対して占める割合を導出する導出ステップと、
前記導出ステップにおいて導出された前記割合に基づき、前記追跡領域に関する前記追跡対象の物体の追跡を継続するか否かを判定する判定ステップと、
を含むことを特徴とする情報処理方法。 - 画像から追跡対象の物体を含む追跡領域に存在する動き領域を特定する特定ステップと、
前記追跡領域の重心から所定の距離内に抽出された動き領域の面積が前記追跡領域に対して占める割合を導出する導出ステップと、
前記導出ステップにおいて導出された前記割合に基づき、前記追跡領域に関する前記追跡対象の物体の追跡を継続するか否かを判定する判定ステップと、
を含むことを特徴とする情報処理方法。 - 前記判定ステップにおいて、前記追跡対象の物体が静止しているか否かを判定し、前記追跡対象の物体が静止していると判定した場合は、前記動き領域の割合にかかわらず、前記追跡対象の物体の追跡を継続すると判定することを特徴とする請求項17乃至19のいずれか1項に記載の情報処理方法。
- 前記判定ステップにおいて、前記追跡対象の物体の追跡を継続すると判定した場合に、前記追跡対象の物体の追跡情報を、表示装置に強調表示させるステップをさらに含むことを特徴とする請求項17乃至20のいずれか1項に記載の情報処理方法。
- 前記判定ステップにおいて、前記追跡対象の物体の追跡を継続しないと判定した場合であって、前記追跡対象の物体の追跡を中断すると判定した場合に、前記追跡対象の物体の追跡情報を、表示装置に抑制表示させるステップをさらに含むことを特徴とする請求項17乃至21のいずれか1項に記載の情報処理方法。
- 前記判定ステップにおいて、前記追跡対象の物体の追跡を中止すると判定した場合に、前記追跡対象の物体の追跡情報を数フレームの間、表示装置に抑制表示させるステップをさらに含むことを特徴とする請求項17乃至22のいずれか1項に記載の情報処理方法。
- コンピュータが読み込み実行することで、前記コンピュータを請求項1乃至16のいずれか1項に記載の情報処理装置の各手段として機能させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014215788A JP6525545B2 (ja) | 2014-10-22 | 2014-10-22 | 情報処理装置、情報処理方法及びコンピュータプログラム |
US14/887,052 US9747523B2 (en) | 2014-10-22 | 2015-10-19 | Information processing apparatus, information processing method, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014215788A JP6525545B2 (ja) | 2014-10-22 | 2014-10-22 | 情報処理装置、情報処理方法及びコンピュータプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016085487A JP2016085487A (ja) | 2016-05-19 |
JP2016085487A5 JP2016085487A5 (ja) | 2017-12-07 |
JP6525545B2 true JP6525545B2 (ja) | 2019-06-05 |
Family
ID=55792379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014215788A Active JP6525545B2 (ja) | 2014-10-22 | 2014-10-22 | 情報処理装置、情報処理方法及びコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9747523B2 (ja) |
JP (1) | JP6525545B2 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5919665B2 (ja) * | 2011-07-19 | 2016-05-18 | 日本電気株式会社 | 情報処理装置、物体追跡方法および情報処理プログラム |
KR20140147205A (ko) * | 2013-06-18 | 2014-12-30 | 삼성전자주식회사 | 휴대 가능한 의료 진단 장치의 주행 경로 제공 방법 및 장치 |
US10055895B2 (en) * | 2016-01-29 | 2018-08-21 | Snap Inc. | Local augmented reality persistent sticker objects |
DE102016210017A1 (de) * | 2016-06-07 | 2017-12-07 | Robert Bosch Gmbh | Verfahren Vorrichtung und System zur Falschfahrererkennung |
CN109313806A (zh) * | 2016-06-22 | 2019-02-05 | 索尼公司 | 图像处理装置、图像处理***、图像处理方法和程序 |
JP6904346B2 (ja) * | 2016-06-22 | 2021-07-14 | ソニーグループ株式会社 | 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム |
JP6947508B2 (ja) * | 2017-01-31 | 2021-10-13 | 株式会社日立製作所 | 移動物体検出装置、移動物体検出システム、及び移動物体検出方法 |
JP6894725B2 (ja) * | 2017-03-09 | 2021-06-30 | キヤノン株式会社 | 画像処理装置及びその制御方法、プログラム、記憶媒体 |
US11450009B2 (en) * | 2018-02-26 | 2022-09-20 | Intel Corporation | Object detection with modified image background |
CN108460787B (zh) | 2018-03-06 | 2020-11-27 | 北京市商汤科技开发有限公司 | 目标跟踪方法和装置、电子设备、程序、存储介质 |
WO2019170024A1 (zh) | 2018-03-06 | 2019-09-12 | 北京市商汤科技开发有限公司 | 目标跟踪方法和装置、电子设备、存储介质 |
US11281926B2 (en) * | 2018-06-04 | 2022-03-22 | Denso Corporation | Feature extraction method and apparatus |
CN109840917B (zh) * | 2019-01-29 | 2021-01-26 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、网络训练方法及装置 |
JP7243372B2 (ja) * | 2019-03-27 | 2023-03-22 | オムロン株式会社 | 物体追跡装置および物体追跡方法 |
JP6828775B2 (ja) * | 2019-07-03 | 2021-02-10 | 京セラドキュメントソリューションズ株式会社 | 撮像装置 |
JP7300436B2 (ja) * | 2020-11-17 | 2023-06-29 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、システム、情報処理方法および情報処理プログラム |
JP7280426B1 (ja) | 2022-11-01 | 2023-05-23 | 株式会社 日立産業制御ソリューションズ | 物体検出装置および物体検出方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05205052A (ja) * | 1992-01-23 | 1993-08-13 | Matsushita Electric Ind Co Ltd | 自動追尾装置 |
KR100459893B1 (ko) * | 2002-01-08 | 2004-12-04 | 삼성전자주식회사 | 동영상에서 칼라 기반의 객체를 추적하는 방법 및 그 장치 |
JP4096757B2 (ja) * | 2003-02-25 | 2008-06-04 | 松下電工株式会社 | 画像追跡装置 |
EP1710751A1 (en) * | 2004-01-06 | 2006-10-11 | Sony Corporation | Image processing device and method, recording medium, and program |
JP4482795B2 (ja) * | 2004-03-05 | 2010-06-16 | ソニー株式会社 | 画像処理装置、移動物体追跡方法、移動物体追跡プログラム、監視装置及びゲーム装置 |
US20060126738A1 (en) * | 2004-12-15 | 2006-06-15 | International Business Machines Corporation | Method, system and program product for a plurality of cameras to track an object using motion vector data |
JP4318724B2 (ja) * | 2007-02-14 | 2009-08-26 | パナソニック株式会社 | 監視カメラ及び監視カメラ制御方法 |
WO2009128064A2 (en) * | 2008-04-14 | 2009-10-22 | Pointgrab Ltd. | Vision based pointing device emulation |
JP5268433B2 (ja) * | 2008-06-02 | 2013-08-21 | キヤノン株式会社 | 撮像装置、及び撮像装置の制御方法 |
JP5279635B2 (ja) * | 2008-08-20 | 2013-09-04 | キヤノン株式会社 | 画像処理装置、画像処理方法、および、プログラム |
JP5159515B2 (ja) * | 2008-08-26 | 2013-03-06 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
US8848979B2 (en) * | 2009-03-31 | 2014-09-30 | Nec Corporation | Tracked object determination device, tracked object determination method and tracked object determination program |
JP5687035B2 (ja) * | 2010-11-18 | 2015-03-18 | セコム株式会社 | 人物追跡装置 |
JP2012133759A (ja) * | 2010-11-29 | 2012-07-12 | Canon Inc | 侵入物体の検知を行うことができる物体追尾装置、物体追尾方法及び記憶媒体 |
JP2012205037A (ja) * | 2011-03-25 | 2012-10-22 | Olympus Imaging Corp | 画像処理装置および画像処理方法 |
JP2012221283A (ja) * | 2011-04-11 | 2012-11-12 | Canon Inc | 移動量測定装置および移動量測定方法 |
JP5919665B2 (ja) | 2011-07-19 | 2016-05-18 | 日本電気株式会社 | 情報処理装置、物体追跡方法および情報処理プログラム |
US9530221B2 (en) * | 2012-01-06 | 2016-12-27 | Pelco, Inc. | Context aware moving object detection |
US10648803B2 (en) * | 2012-02-29 | 2020-05-12 | Nec Corporation | Movement line information generation system, movement line information generation method and movement line information generation program |
CN103679125B (zh) * | 2012-09-24 | 2016-12-21 | 致伸科技股份有限公司 | 人脸追踪的方法 |
JP2014149716A (ja) * | 2013-02-01 | 2014-08-21 | Panasonic Corp | 物体追跡装置及びその方法 |
-
2014
- 2014-10-22 JP JP2014215788A patent/JP6525545B2/ja active Active
-
2015
- 2015-10-19 US US14/887,052 patent/US9747523B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016085487A (ja) | 2016-05-19 |
US20160117840A1 (en) | 2016-04-28 |
US9747523B2 (en) | 2017-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6525545B2 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
US11538232B2 (en) | Tracker assisted image capture | |
JP6555906B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6561830B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP6158446B2 (ja) | 表示の区分およびビデオフレームのクラスタ化のためのオブジェクトの選択およびトラッキング | |
JP5885398B2 (ja) | 画像処理装置、画像処理方法 | |
JP5754990B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR20170056860A (ko) | 이미지 생성 방법 및 장치 | |
US20150146006A1 (en) | Display control apparatus and display control method | |
JP6414066B2 (ja) | 画像処理システム、画像処理方法及びプログラム | |
KR101750094B1 (ko) | 영상의 실시간 모니터링을 통한 비정상 집단행동 분류 방법 | |
US20110091074A1 (en) | Moving object detection method and moving object detection apparatus | |
JP6551226B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
WO2016021147A1 (ja) | 画像から移動体の滞留を検出するための画像処理システム、画像処理方法及び記録媒体 | |
JP6638723B2 (ja) | 画像解析装置、画像解析方法、及び、画像解析プログラム | |
US20230394792A1 (en) | Information processing device, information processing method, and program recording medium | |
JP2007188294A (ja) | 画像処理による移動体候補の検出方法及び移動体候補から移動体を検出する移動体検出方法、移動体検出装置及び移動体検出プログラム | |
US11019251B2 (en) | Information processing apparatus, image capturing apparatus, information processing method, and recording medium storing program | |
JP6283008B2 (ja) | 追跡装置 | |
KR20160037480A (ko) | 지능형 영상 분석을 위한 관심 영역 설정 방법 및 이에 따른 영상 분석 장치 | |
WO2013017184A1 (en) | Method and device for video surveillance | |
JP2016076791A (ja) | 物体追尾装置、物体追尾方法、およびプログラム | |
KR101648786B1 (ko) | 객체 인식 방법 | |
US20200311438A1 (en) | Representative image generation device and representative image generation method | |
KR101290517B1 (ko) | 촬영장치 및 이의 대상 추적방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171020 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171020 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180911 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190507 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6525545 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |