JP5115556B2 - 物体領域検出装置、物体領域検出システム、物体領域検出方法及びプログラム - Google Patents
物体領域検出装置、物体領域検出システム、物体領域検出方法及びプログラム Download PDFInfo
- Publication number
- JP5115556B2 JP5115556B2 JP2009521675A JP2009521675A JP5115556B2 JP 5115556 B2 JP5115556 B2 JP 5115556B2 JP 2009521675 A JP2009521675 A JP 2009521675A JP 2009521675 A JP2009521675 A JP 2009521675A JP 5115556 B2 JP5115556 B2 JP 5115556B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- stationary
- layer
- pixel
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Geophysics And Detection Of Objects (AREA)
- Image Processing (AREA)
Description
【0001】
本発明は、動画像に基づいて静止物体上に重なっている物体を区別して検出する物体領域検出装置等に関する。
【背景技術】
【0002】
この種の物体領域検出装置等は、静止物体上に重なっている物体を区別して検出するために用いられる。以下その関連技術について説明する。
【0003】
関連技術の第一例が、特許文献1に記載されている。特許文献1に記載の移動体認識方法は、予め登録されている対象物体のテンプレート画像、又は、物体の出現位置や出現タイミングが何らかの方法で分かることに基づいて取得した対象物体のテンプレート画像を用い、パターンマッチングにて物体を追跡する。これにより、物体に重なりが生じても、物体の位置を検出して、重なっている物体を区別している。
【0004】
関連技術の第二例が、特許文献2に記載されている。特許文献2に記載の路上物体監視装置は、物体を含まない基準画像を背景画像とし、その背景画像と入力画像(時刻t)との差分から背景差分画像を生成する(背景差分法)。また、時刻tにおける入力画像と時刻(t−1)における入力画像との差分から、連続差分画像を生成する。これら両差分画像を二値化し、それらの論理積から移動物体を検出し、それらの排他的論理和から静止物体を検出し、これによって重なっている物体を区別している。
【0005】
【特許文献1】
特開平6−030417号公報(図20等)
【特許文献2】
特開平6−180749号公報(図1等)
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかしながら、特許文献1,2に記載の関連技術では、次のような問題があった。
【0007】
特許文献1の関連技術では、対象物体を特定していないときに静止物体から新たな物体が出現しその静止物体上に滞在する場合に、重なっている物体を静止物体と区別して検出できない。その理由は、対象物体を特定していないので、予め対象物体のテンプレート画像を登録できないためである。また、物体から新たな物体が突然に出現することにより、新たな物体の出現位置や出現タイミングが定まらないので、対象物体のテンプレート画像を取得できないためである。この問題の状況例としては、一時的に停車したバスから乗客が降り、バスの手前で滞在している場合などがある。
[0008]
特許文献2の関連技術では、静止物体(物体A)上に別の静止物体(物体B)が重なっている場合、重なっている静止物体同士を区別して検出できないことである。その理由は、重なっている静止物体(物体B)は動きが生じないので、連続差分画像に現れないためである。
[0009]
また、特許文献2の関連技術では、単色の物体がある一定の方向に移動する場合、重なっている物体が存在しないのに存在するかのように誤って検出されてしまうことである。その理由は、連続する入力画像において物体の重なり部分のみが連続差分画像に現れないためである。
[0010]
そこで、本発明の目的は、物体から新たな物体が出現する場合にも重なっている物体を区別して検出できるとともに、静止物体上に別の静止物体が重なっていても重なっている物体を区別して検出できる物体領域検出装置等を提供することにある。
課題を解決するための手段
[0011]
本発明に係る物体領域検出装置は、入力画像と物体を含まない背景情報を用いて物体領域を検出する第一の手段と、前記物体領域における時間的な変化が少ない領域に対して、その領域の物体単位の塊における空間的な動きが少ない領域(塊)を静止領域として検出する第二の手段と、前記静止領域の情報を時系列的な背景情報として蓄積する第三の手段と、前記時系列的な背景情報と前記物体領域とを比較して当該物体領域に含まれる各物体を検出する第四の手段と、を備えたことを特徴とする。
[0012]
本発明に係る物体領域検出システムは、本発明に係る物体領域検出装置と、動画像から入力画像を取得して前記物体領域検出装置へ出力する画像取得手段と、前記特徴値及び前記静止物体層情報を含む情報を記憶する記憶装置と、を備えたことを特徴とする。
[0013]
本発明に係る物体領域検出方法は、入力画像と物体を含まない背景情報を用いて物体領域を検出するステップaと、前記物体領域における時間的な変化が少ない領域に対して、その領域の物体単位の塊における空間的な動きが少ない領域(塊)を静止領域として検出するステップbと、前記静止領域の情報を時系列的な背景情報として蓄積するステップcと、前記時系列的な背景情報と前記物体領域とを比較して当該物体領域に含まれる各物体を検出するステップdと、を含むことを特徴とする。
[0014]
本発明に係る物体領域検出用プログラムは、コンピュータに、入力画像と物体を含まない背景情報を用いて物体領域を検出する機能と、前記物体領域における時間的な変化が少ない領域に対して、その領域の物体単位の塊における空間的な動きが少ない領域(塊)を静止領域として検出する機能と、前記静止領域の情報を時系列的な背景情報として蓄積する機能と、前記時系列的な背景情報と前記物体領域とを比較して当該物体領域に含まれる各物体を検出する機能とを実行させることを特徴とする。
発明の効果
[0015]
本発明によれば、物体から新たな物体が出現する場合にも重なっている物体を区別して検出できるとともに、静止物体上に別の静止物体が重なっていても重なっている物体を区別して検出できる。
発明を実施するための最良の形態
[0016]
以下、本発明の実施形態を図に基づいて説明する。
図1は、本発明の実施形態に係る物体領域検出装置及び物体領域検出システムの一例を示すブロック図である。図2及び図3は、動作の概要を示す説明図である。以下、これらの図面に基づき説明する。
[0017]
本発明の実施形態に係る物体領域検出システム100は、本発明の実施形態に係る物体領域検出装置としてのデータ処理装置2と、動画像から入力画像を取得してデータ処理装置2へ出力する画像取得手段1と、後述する特徴値及び静止物体層情報を含む情報を記憶する記憶装置3とを備えている。データ処理装置2は、例えばプログラムをコンピュータに実行させることにより実現することが可能である。画像取得手段1は、例えばビデオキャプチャと呼ばれるハードウェア及びソフトウェアであり、カメラ、ビデオ等の動画像から入力画像を取得する。記憶装置3は、ハードディスクや半導体メモリなどの一般的なものである。
【0018】
次に、本発明の実施形態に係るデータ処理装置2の概要について説明する。データ処理装置2は、時系列的に連続する複数の入力画像について物体領域を検出する第一の手段101と、前記物体領域に含まれる静止領域を前記連続する複数の入力画像から検出する第二の手段102と、前記静止領域の情報を時系列的な背景情報として蓄積する第三の手段103と、前記時系列的な背景情報と前記物体領域とを比較して当該物体領域に含まれる各物体を検出する第四の手段104と、を備えたことを特徴とする。
【0019】
データ処理装置2は、次のように動作する。先ず、第一の手段101は、特徴抽出手段21が取得した時系列的に連続する複数の入力画像(特徴画像)について、物体領域を検出する。第一の手段101は、図2[1]に示すように、時刻t=1から5までの時系列的に連続する複数の入力画像(特徴画像)について、例えば予め登録された背景画像と比較する等の方法を用いて、ハッチングで示す物体領域を検出する。第二の手段102は、前記検出した物体領域に含まれる静止領域を、連続する複数の入力画像(特徴画像)と前記検出した物体領域から検出する。第二の手段102は図2[2]に示すように、例えば前記検出した物体領域に含まれる全ての画素に対して連続する複数の入力画像(特徴画像)から輝度の変化が安定している画素を安定領域として求め、各物体単位の安定領域について動き量が小さい領域を静止領域として検出する。
【0020】
続いて、第三の手段103は、前記検出した静止領域における特徴抽出手段21から取得した情報(例えば輝度に関する情報など)を時系列的な背景情報として記憶装置3に蓄積する。
【0021】
第三の手段103は図2[3]のような場合、t=1の入力画像(特徴画像)には静止領域が存在しないので、t=2〜5の入力画像(特徴画像)について静止領域の情報(例えば輝度など)を時系列的な背景情報として記憶装置3に蓄積する。このとき、第三の手段103は、時系列的な複数の背景情報から画素単位で情報を取り出し、例えば図3に示すように加工して、後で詳述する静止物体層を生成するようにしてもよい。すなわち、全ての画素に対する静止物体層の集まりは、複数の背景情報に相当する。最後に、第四の手段104は、時系列的な背景情報と物体領域の情報とを比較して、その物体領域に含まれる各物体を検出する。例えば、時系列的な複数の背景情報の一部である図3の静止物体層1,2と、図2のt=5の物体領域における画素A,Bとの輝度を比較すると、画素Aは静止物体層1に属し,画素Bは静止物体層2に属することがわかる。つまり、第四の手段104は、画素Aを含む静止物体上に画素Bを含む静止物体が重なっているとして検出できる。
【0022】
このように、本発明の実施形態によれば、静止した物体領域の情報を新たな背景情報として取り扱うことにより、複数の背景情報の時間的な関係と入力画像とを用い、画素単位又は局所画像単位で物体領域を判定できるので、対象物体のテンプレート画像を用いることなく、重なっている物体を区別して検出することができる。しかも、静止した物体領域の情報を新たな背景情報として取り扱うことにより、複数の背景情報に対して時間的な関係を持たせ、この時間的な関係を利用することができるので、静止物体上に別の静止物体が重なっていても、その別の静止物体が存在する以前に蓄積された複数の背景情報と比較することにより、静止物体上に重なっている静止物体を検出することができる。
【0023】
本発明の実施形態に係るデータ処理装置2の構成を具体的に説明する。図1に示すように、第一の手段101は、特徴抽出手段21及び物体検出手段22とを含んでいる。第二の手段102としての静止領域取得手段23、第三の手段103としての静止物体層生成手段24と、第四の手段104としての物体分離検出手段25とを有している。
【0024】
特徴抽出手段21は、前記入力画像の各画素について特徴値を抽出するとともに、当該入力画像を特徴画像として出力する。物体検出手段22は、特徴抽出手段21が抽出した前記特徴画像から、物体の存在する物体領域を検出する。静止領域取得手段23は、物体検出手段22が検出した前記物体領域に含まれる動きが静止している領域を、静止領域として取得する。静止物体層生成手段24は、静止領域取得手段23が取得した前記静止領域の各画素の前記特徴値に基づき、静止物体層及びその静止物体層情報を生成する。物体分離検出手段25は、前記物体領域の各画素の前記特徴値と既存の前記静止物体層情報とを比較して、当該静止物体上に重なっている当該物体を検出する。
【0025】
静止領域取得手段23は、前記物体領域の各画素の特徴値の時系列データからその分散値を求め、一定以下の前記分散値を持つ前記各画素を時間的変化が安定している安定領域として抽出し、物体単位の前記安定領域についてその動き量を求め、一定以下の前記動き量を持つ前記安定領域を前記静止領域として取得する。また、静止領域取得手段23は、物体単位の前記安定領域の各画素に対してテンプレートマッチングによるオプティカルフローを求め、そのオプティカルフローの大きさをマッチング距離で重み付けをした加重平均又は前記オプティカルフローの大きさを前記物体領域の輪郭付近で大きく重み付けをした加重平均によって前記動き量を算出する。
【0026】
静止物体層生成手段24は、前記静止領域の各画素の前記特徴値を既存の前記静止物体層の基準特徴値と比較して特徴間距離が最も近くかつ一定以下の前記静止物体層があるならば、当該静止物体層に当該静止領域の前記特徴値が属すると決定して当該静止物体層情報を更新するとともに、前記静止領域の前記特徴値が属する前記静止物体層の層生成時刻よりも新しい層生成時刻を持つ前記静止物体層を削除し、前記静止領域の前記特徴値が属する前記静止物体層がないとき又は既存の前記静止物体層が一つも存在しないときには新しく前記静止物体層を生成するとともにその前記静止物体層情報を設定し、前記物体領域以外の画素に対しては前記静止物体層の全てを削除する。
【0027】
物体分離検出手段25は、前記物体領域の各画素の前記特徴値を既存の前記静止物体層情報と比較する際に、予め記憶している検出対象時間を現在時刻から差分することにより検出対象時刻を算出し、この検出対象時刻より古くかつ最も新しい層生成時刻を持つ前記静止物体層を一つ選択して比較の対象とする。また、物体分離検出手段25は、前記検出対象時刻より古くかつ最も新しい層生成時刻を持つ前記静止物体層が存在しないとき又は前記静止物体層が一つも存在しないときに、前記物体領域の前記各画素を前記静止物体上に重なっている前記物体として検出する。更に、物体分離検出手段25は、前記物体領域の各画素の前記特徴値と選択された前記静止物体層情報を参照して得られる平均値及び分散値とを用いて、前記特徴値と前記平均値との差分量の絶対値又はその絶対値を標準偏差で正規化した値を類似性を表す距離とし、一定値以上の類似性を表す距離を持つ前記各画素を前記静止物体上に重なっている前記物体として検出する。
【0028】
以上のように本発明の実施形態に係るデータ処理装置2を具体的に説明すると、本発明の実施形態に係るデータ処理装置2は、入力画像から全ての画素に対する特徴値を抽出し特徴画像を取得し、その特徴画像を画像蓄積手段31に蓄積する特徴抽出手段21と、特徴画像から検出した物体領域を二値化画像として取得し、更に、この二値化画像に対して近傍の画素を一つの物体として抽出し、それらの物体に対して物体ID、その矩形位置及び矩形サイズを取得する物体検出手段22と、物体領域に含まれる全ての画素に対する特徴値の分散値を時系列から求め、予め定められた閾値以下の分散値を持つ画素を時間的変化が安定している安定領域として抽出し、物体検出手段から得られた一つ一つの物体の中に含まれる安定領域の動き量を求め、予め定められた閾値以下の動き量を持つ領域を静止領域として取得する静止領域取得手段23と、静止領域に含まれる全ての画素に対して、特徴値と静止物体層情報記憶手段32の静止物体層情報(静止物体層とは、画素に対応する静止物体毎の静止物体情報のまとまりを表す。)を取得し、クラスタリングにより特徴値が属する静止物体層を決定し、属する静止物体層情報を更新する静止物体層生成手段24と、物体領域に含まれる全ての画素に対し、特徴値と検出対象時間記憶手段33に記憶されている検出対象時間から選択された静止物体層情報とを用い、類似性を表す距離を計算し、予め定められた閾値以上の類似性を表す距離を持つ画素を静止物体上に重なっている物体として検出する物体分離検出手段25とを有する。
【0029】
このような構成を採用したことにより、データ処理装置2は次の効果を奏する。対象物体のテンプレート画像を用いなくても、静止物体上に重なっている物体を区別して検出できる。また、静止領域に対する特徴値を静止物体層という形で画素毎に記憶し、検出対象時間にて選択した静止物体層情報と特徴値とを比較し(例えば類似性を表す距離による判定によって)静止物体上に重なっている物体を検出することにより、静止物体上に別の静止物体が重なっていても、重なっている物体を区別して検出できる。また、物体領域から特徴値の時系列変化が安定している安定領域を抽出し、物体検出手段から得られた一つ一つの物体の中に含まれる安定領域の動き量を求め、その動き量から物体単位で安定領域が静止領域であるかを判定することで、ある一定方向に移動する単色の物体に対し、物体の一部が静止領域になってしまうことを防ぐことができる。
【0030】
次に、本発明の実施形態について図面を参照して更に詳細に説明する。
【0031】
記憶装置3は、画像蓄積手段31と、静止物体層情報記憶手段32と、検出対象時間記憶手段33とを備える。
【0032】
画像蓄積手段31は、FIFO(First In First Out)バッファであり、時系列のn枚の画像を蓄積している。「n」は、特徴値の時間的変化が安定であると判断できる量であり、予め定められた量とする。図5の(a)が特徴画像としたときの蓄積状態を、図5の(b)に示す。
【0033】
静止物体層情報記憶手段32は、各画素に対する各静止物体層の静止物体層情報が記憶されている。記憶される情報は、層生成時刻、基準特徴値、特徴値数、特徴値の総和、特徴値の二乗総和、平均値、分散値等である。図4に、記憶される静止物体層情報の一例を示す。なお、図4に例示した基準特徴値は、層生成時刻における画素の特徴値である。
【0034】
検出対象時間記憶手段33は、検出対象時間を記憶する。検出対象時間とは、静止物体上に重なっている静止物体について、検出対象を決定するために必要な時間である。この時間をtxと設定すると、現在時刻からtx前以内に静止した重なっている静止物体と、重なっている移動物体とを、検出することができる。
【0035】
データ処理装置2は、特徴抽出手段21と、物体検出手段22と、静止領域取得手段23と、静止物体層生成手段24と、物体分離検出手段25とを備える。
【0036】
特徴抽出手段21は、画像取得手段1で取得された入力画像から全ての画素に対する特徴値を抽出し、特徴画像として出力する。特徴値とは、輝度値、色相、RGBの各値、エッジ、カメラから物体までの距離値などであり、物体の静止時に安定となり、物体の移動時に不安定となる特徴値であれば基本的によい。
【0037】
物体検出手段22は、特徴抽出手段21から得られる特徴画像から物体領域を検出し、二値化画像として出力する。更に、物体検出手段22は、この二値化画像に対して近傍の画素を一つの物体として抽出し、それらの物体に対して物体ID、その矩形位置及び矩形サイズを出力する。物体検出手段22は、具体的には、物体検出方法の一つである背景差分法と閾値による二値化処理とを用い、物体領域である二値化画像を取得する。また、物体検出手段22は、この二値化画像に対して画像処理の一つである論理フィルタを用いた膨張処理や収縮処理などを行い、近傍の画素を一つの物体とする。更に、物体検出手段22は、画像処理の一つであるラベリング処理を行った後、ラベル化された各物体に対して物体ID、その矩形位置及び矩形サイズを求め出力する。もちろん、特徴画像から全ての物体が検出できれば、その他の方法でも良い。また、ここで検出される物体は、物体同士が重なっている場合、一つの物体として出力されることになる。図5の(a)が特徴画像であるとすると、図5の(c)が得られる物体領域の二値化画像、物体ID、その矩形位置及び矩形サイズである。なお、図5の(a)において、41は移動人物、42は静止人物、43は静止したバス、44は移動する自動車、45は背景の木である。図5の(c)において、斜線部分が取得された物体領域である。
【0038】
静止領域取得手段23は、物体検出手段22と画像蓄積手段31とから情報を取得し、物体領域で動きが静止している静止領域を二値化画像として出力する。具体的に説明すると、静止領域取得手段23はまず、静止領域取得手段23は物体検出手段22から得られた物体領域に含まれる全ての画素に対し、画像蓄積手段31に時系列で蓄積されている特徴値から分散値を求め、予め定められた閾値以下の分散値を持つ画素を時間的変化が安定している画素とし、これを安定領域として抽出する。続いて、静止領域取得手段23は、各物体の安定領域に対して一つの動き量を求め、予め定められた閾値以下の動き量を持つ領域を静止領域として取得する。動き量を用いることで、単色の移動物体で誤って静止領域となってしまう部分を取り除くことができる。各物体とその物体領域とのリンクは、物体IDとその矩形位置及び矩形サイズで行う。
【0039】
また、動き量とは、その領域(空間的な塊)が動いている時に大きくなり、静止している時に小さくなる量である。動き量の計算は、物体単位の安定領域に含まれる全ての画素に対して、オプティカルフローを求めその大きさの平均をとる、テンプレートマッチングによるオプティカルフローを求めその大きさをマッチング距離で重み付けをし加重平均をとる、オプティカルフローを求めその大きさを物体領域の輪郭付近に大きく重み付けをし加重平均をとるなどの方法があり、この他にも様々な方法が考えられる。なお、オプティカルフローとは、時間的に連続するデジタル画像の中で、物体の動きをベクトルで表したものである。図5の(c)が物体領域の二値化画像であるとすると、図5の(d)の斜線部分が取得される安定領域であり、図5の(e)の斜線部分が取得される静止領域である。
【0040】
静止物体層生成手段24は、特徴抽出手段21から得られる特徴画像と、静止領域取得手段23から得られる二値化画像と、静止物体層情報記憶手段32の静止物体層情報とを用い、静止物体層情報記憶手段32の静止物体層情報を更新する。具体的に説明すると、静止物体層生成手段24は、まず、静止領域取得手段23から得られた静止領域に含まれる全ての画素に対して、特徴抽出手段21から得られる特徴画像の特徴値Xiと、静止物体層情報記憶手段32から基準特徴値全てを取得する。静止物体層生成手段24は、これらを用い、画素毎にNearest Neighbor法(以下「NN法」という。)によるクラスタリングを行い、特徴値Xiが属する静止物体層を決定する。特徴値Xiが既存の静止物体層に属する場合、属する静止物体層に対し、式(1)で特徴値数Niを更新し、式(2)で特徴値の総和Siを更新し、式(3)で特徴値の二乗総和Uiを更新し、式(4)で平均値μiを更新し、式(5)で分散値σ2 iを更新する。更に、静止物体層生成手段24は、属する静止物体層の層生成時刻とそれ以外の静止物体層の層生成時刻とを比較し、属した静止物体層の層生成時刻より新しい層生成時刻を持つ静止物体層を削除する。これは、再び古い静止物体層が現れたことにより、静止している物体が除かれたと仮定したものである。図6に削除された静止物体層の一例(静止物体層2)を示す。
【0041】
【数1】
【0042】
【数2】
【0043】
【数3】
【0044】
【数4】
【0045】
【数5】
【0046】
ここで、Xは特徴値、Nは特徴値の数、Sは特徴値の総和、Uは特徴値の二乗総和、μは平均値、σ2は分散値、i−1は更新前、iは更新後、(x、y)は画素の位置、lは属する静止物体層を表す。
【0047】
特徴値Xiが属する静止物体層がない場合、又は、既存の静止物体層が一つも存在しない場合は、新しく静止物体層を生成し、現在の時刻を層生成時刻に設定、特徴値数Niを1に設定、特徴値Xiを基準特徴値・特徴値の総和に設定、特徴値Xiの二乗を特徴値の二乗総和に設定、式(4)で平均値μiを設定、式(5)で分散値σ2 iを設定する。また、物体検出手段22から得られる物体領域以外の画素については、全ての静止している物体が除かれ背景が出現したと仮定し、その画素に対する静止物体層全てを削除する。これらにより、静止物体層情報記憶手段32の静止物体層情報を更新することができる。
【0048】
次に、ここで示すNN法によるクラスタリングについて説明する。まず、画素に対して、特徴値Xと静止物体層の基準特徴値Bの全てとを取得し、式(6)を用い最小の特徴間距離dminを求める。
【0049】
【数6】
【0050】
ここで、Xは特徴値、Bは静止物体層の基準特徴値、(x、y)は画素の位置、lは静止物体層、L(x、y)は画素に対する全ての静止物体層を表す。
【0051】
最小の特徴間距離dminが予め定められた閾値dthより小さい場合は、その特徴値Xは最小の特徴間距離dminを与える静止物体層lに属すると決定する。閾値dth以上である場合は、属する静止物体層はないとし、新しい静止物体層を生成することとする。以上が、ここで示すNN法によるクラスタリングである。
【0052】
物体分離検出手段25は、物体検出手段22から得られた物体領域に含まれる全ての画素に対し、特徴抽出手段21から得られる特徴画像の特徴値と、検出対象時間記憶手段33に記憶されている検出対象時間から選択された静止物体層情報記憶手段32に記憶されている静止物体層情報とを用い、類似性を表す距離を判定することで静止物体上に重なっている物体を検出する。具体的に説明すると、物体分離検出手段25は、まず、検出対象時間記憶手段33に記憶されている検出対象時間を現在時刻から差分し、検出対象時刻を算出する。続いて、物体分離検出手段25は、物体検出手段22から得られた物体領域に含まれる全ての画素に対し、特徴抽出手段21から得られる特徴画像の特徴値を取得し、算出された検出対象時刻より古くかつ最も新しい層生成時刻を持つ静止物体層を静止物体層情報記憶手段32から選択する。物体分離検出手段25は、取得された特徴値と選択された静止物体層の情報とを用い、式(7)又は式(8)にて、類似性を表す距離Dを求め、予め定められた閾値以上の類似性を表す距離を持つ画素を、静止物体上に重なっている物体として検出する。この他、上記の静止物体層の選択において条件を満たす静止物体層が存在しない場合、又は、静止物体層が一つも存在しない場合にも、静止物体上に重なっている物体として検出する。
【0053】
【数7】
【0054】
【数8】
【0055】
ここで、Xは特徴値、μは平均値、σ2は分散値、(x、y)は画素の位置、lは選択された静止物体層を表す。
【0056】
これにより、現在時刻から検出対象時刻以内に静止した重なっている静止物体と、重なっている移動物体とを、検出することができる。検出対象時間を0とすると重なっている移動物体のみを検出することができる。図7には、物体分離検出の一例を示す。
【0057】
次に、図1及び図8乃至図14を参照して、本発明の実施形態に係る物体領域検出システム100の動作について詳細に説明する。
【0058】
まず、図1及び図8に示すように、検出対象時間記憶手段33に、静止物体上に重なっている静止物体の検出対象を決定するために必要な時間である検出対象時間を設定する(ステップS1)。画像取得手段1は、カメラ、ビデオ等の動画像から画像を取得する(ステップS2)。特徴抽出手段21は、取得された画像から全ての画素に対する特徴値を抽出し、特徴画像を取得する(ステップS3)。更に、取得された特徴画像を画像蓄積手段31に蓄積する(ステップS4)。物体検出手段22は、取得された特徴画像から従来手法などを用い物体領域として二値化画像を取得し、更に、この二値化画像に対して従来手法などを用い、近傍の画素を一つの物体として抽出し、それらの物体に対して物体IDとその矩形位置及び矩形サイズとを取得する。物体領域を示す二値化画像は、最終出力にもなる(ステップS5)。ここで求めた物体領域は、物体同士が重なっている場合に一つの物体として出力されるものである。静止領域取得手段23は、物体領域で動きが静止している領域を静止領域とし、その二値化画像を取得する(ステップS6)。
【0059】
ここで、図9及び図10に基づいてステップS6を更に詳細に説明する。静止領域取得手段23は、まず、物体検出手段22で取得される二値化画像に物体領域が存在するか否かを判定する(ステップS601)。静止領域取得手段23は、存在しない場合は、静止領域は取得しない。静止領域取得手段23は、存在する場合は、物体領域に含まれる画素を一つ選択し(ステップS602)、その画素に対し画像蓄積手段31に時系列で蓄積されている特徴値から分散値を計算する(ステップS603)。静止領域取得手段23は、その分散値が予め定められた閾値以下であるか否かを判定し(ステップS604)、閾値以下である場合のみ、選択した画素を安定領域として抽出する(ステップS605)。そして静止領域取得手段23は、、物体領域に含まれる全ての画素にステップS602〜S605の処理を行ったか否かを判定する(ステップS606)。ステップS602からステップS606までの処理は、物体領域に含まれる全ての画素に行われるまで繰り返される。
【0060】
続いて、静止領域取得手段23は、上記ステップS6にて、安定領域が存在するか否か(取得できたか否か)を判定する(ステップS607)。静止領域取得手段23は、存在しない場合は、静止領域は取得しない。静止領域取得手段23は、存在する場合は、物体検出手段22で取得した物体IDとその矩形位置及び矩形サイズとを用い、物体に対応した安定領域を一つ選択する(ステップS608)。静止領域取得手段23は、その領域に対して動き量を計算し(ステップS609)、予め定められた閾値以下であるか否かを判定する(ステップS610)。静止領域取得手段23は、閾値以下である場合のみ、選択した安定領域を静止領域として抽出する(ステップS611)。そして、静止領域取得手段23は、物体に対応する安定領域全てにステップS608〜S611の処理を行ったか否かを判定する(ステップS612)。ステップS608からステップS612までの処理は、物体に対応する安定領域全てに行われるまで繰り返される。以上より、静止領域を取得する。
【0061】
続いて、図1及び図8に示すように、静止物体層生成手段24は、静止領域に含まれる全ての画素に対して特徴値を取得し、静止物体層情報記憶手段32の静止物体層情報を更新する(ステップS7)。
【0062】
ここで、図11及び図12に基づいてステップS7を更に詳細に説明する。静止物体層生成手段24は、まず、静止領域取得手段23で取得される二値化画像に静止領域が存在するか否かを判定する(ステップS701)。静止物体層生成手段24は、存在する場合は、静止領域に含まれる画素を一つ選択し(ステップS702)、その画素に対する特徴値を特徴抽出手段21から取得する(ステップS703)。また静止物体層生成手段24は、その画素に対する静止物体層が存在するか否かを静止物体層情報記憶手段32から判定し(ステップS704)、静止物体層が存在する場合は、静止物体層情報記憶手段32から選択した画素に対応する静止物体層の基準特徴値を全て取得する(ステップS705)。静止物体層生成手段24は、ステップS703で取得した特徴値とステップS705で取得した静止物体層の基準特徴値の全てとを用い、式(6)で最小の特徴間距離dminを計算し(ステップS706)、その最小の特徴間距離dminが予め定められた閾値dth以下であるか否かを判定する(ステップS707)。静止物体層生成手段24は、ステップS704で静止物体層が存在しない場合、又は、ステップS707で最小の特徴間距離dminが閾値dth以下でない場合は、選択した画素に対し新しい静止物体層を生成し、現在の時刻を層生成時刻に設定し、特徴値数Niを1に設定し、特徴値Xiを基準特徴値・特徴値の総和に設定し、特徴値Xiの二乗を特徴値の二乗総和に設定し、式(4)で平均値μiを設定し、式(5)で分散値σ2 iを設定する(ステップS708)。静止物体層生成手段24は、ステップS707で最小の特徴間距離dminが閾値dth以下である場合は、特徴値が最小の特徴間距離dminを与える静止物体層に属していることとし、属する静止物体層に対して、式(1)で特徴値数Niを更新し、式(2)で特徴値の総和Siを更新し、式(3)で特徴値の二乗総和Uiを更新し、式(4)で平均値μiを更新し、式(5)で分散値σ2 iを更新する(ステップS709)。
【0063】
更に、静止物体層生成手段24は、選択した画素に対して、属する静止物体層以外の静止物体層が存在するか否かを判定し(ステップS710)、存在する場合は、属する静止物体層以外の静止物体層を一つ選択する(ステップS711)。静止物体層生成手段24は、属する静止物体層の層生成時刻より選択した静止物体層の層生成時刻が新しいか否かを判定し(ステップS712)、新しい場合のみ、静止物体層情報記憶手段32から選択した静止物体層を削除する(ステップS713)。そして静止物体層生成手段24は、、属する静止物体層以外の静止物体層全てにステップS711〜S713の処理を行ったか否かを判定する(ステップS714)。ステップS711からステップS714までの処理は、属する静止物体層以外の静止物体層全てに行われるまで繰り返される。静止物体層生成手段24は、ステップS708の処理が完了した場合、又は、ステップS710にて属する静止物体層以外の静止物体層が存在しない場合、又は、ステップS711からステップS714までの処理が終了した場合は、静止領域に含まれる全ての画素にステップS702〜S714の処理を行ったか否かを判定する(ステップS715)。ステップS702からステップS715までの処理は、静止領域に含まれる全ての画素に行われるまで繰り返される。静止物体層生成手段24は、ステップ701で静止領域が存在しない場合、又は、ステップS702からステップS715までの処理が終了した場合は、物体検出手段22で得られる物体領域以外の画素に対して、静止物体層全てを削除する(ステップS716)。以上より、静止物体層情報記憶手段32の静止物体層情報を更新することができる。
【0064】
続いて、図1及び図8に示すように、物体分離検出手段25は、物体領域に含まれる全ての画素に対して特徴値と静止物体層情報記憶手段32に記憶される静止物体層情報とを取得し類似性を表す距離を判定することで、静止物体上に重なっている物体を出力する(ステップS8)。
【0065】
ここで、図13及び図14に基づいてステップS8を更に詳細に説明する。物体分離検出手段25は、まず、物体検出手段22で取得される二値化画像に物体領域が存在するか否かを判定する(ステップS801)。物体分離検出手段25は、存在しない場合は、物体が存在せず静止物体上に重なっている物体も存在しない。物体分離検出手段25は、存在する場合は、検出対象時間記憶手段33に記憶されている検出対象時間を現在時刻から差分し、検出対象時刻を算出する(ステップS802)。続いて、物体分離検出手段25は、物体領域に含まれる画素を一つ選択し(ステップS803)、特徴抽出手段21から選択した画素に対応する特徴値を取得する(ステップS804)。更に、物体分離検出手段25は、選択した画素に対し、静止物体層が存在するか否かを静止物体層情報記憶手段32を用い判定する(ステップS805)。物体分離検出手段25は、存在する場合は、検出対象時刻より古くかつ最も新しい層生成時刻を持つ静止物体層が存在するか否かを、静止物体層情報記憶手段32を用いて判定する(ステップS806)。
【0066】
物体分離検出手段25は、存在する場合は、ステップS806の条件を満足する静止物体層を選択し(ステップS807)、ステップS804で取得した特徴値と式(7)又は式(8)とを用い、類似性を表す距離Dを算出する(ステップS808)。物体分離検出手段25は、算出した類似性を表す距離Dが予め定められた閾値以上であるか否かを判定し(ステップS809)、閾値以上でない場合は、選択した画素は静止物体上に重なっている物体としない。物体分離検出手段25は、ステップS805で静止物体層が存在しない場合、又は、ステップS806の条件の静止物体層が存在しない場合、又は、ステップS809で類似性を表す距離Dが閾値以上である場合は、選択した画素は静止物体上に重なっている物体として抽出する(ステップS810)。そして、物体分離検出手段25は、物体領域に含まれる全ての画素にステップS803〜S810の処理を行ったか否かを判定する(ステップS811)。ステップS803からステップS811までの処理は、物体領域に含まれる全ての画素に行われるまで繰り返される。以上より、最終出力として静止物体上に重なっている物体を出力することができる。
【0067】
図8において、ステップS2からステップS8までの処理は、ステップS2で画像が取得される間、繰り返される。
【0068】
次に、本発明の実施形態による効果について説明する。
【0069】
本発明の実施形態では、特徴画像から物体が存在する物体領域を求め、この物体領域から特徴値の動きが静止している静止領域を求め、この静止領域に対して特徴値を抽出し静止物体層として記憶し、特徴値と記憶された静止物体層から静止物体上に重なっている物体を検出するという、対象物体のテンプレート画像を用いない構成で実現しているので、対象物体のテンプレート画像を用いなくても重なっている物体を区別して検出することができる。このため、物体から新たな物体が出現するなどで、新たな物体の出現位置又は出現タイミングが定まらず、対象物体のテンプレート画像が取得できなくても、重なっている物体を区別して検出することができる。
【0070】
また、本発明の実施形態では、静止領域に対する特徴値を静止物体層という形で画素毎に記憶し、検出対象時間を用いて静止物体層を選択し、特徴値と選択された静止物体層とを比較し(例えばそれらの類似性を表す距離による判定によって)静止物体上に重なっている物体を検出するという構成を持ち(好ましくは静止物体が静止を開始した時刻を静止物体層の中に管理することにより)、静止物体上に別の静止物体が重なっていても重なっている物体を区別して検出することができる。また、検出対象時間を変更することで、検出したい静止物体上に重なっている静止物体を静止開始時刻に基づいて検出することができる。
【0071】
更に、本発明の実施形態では、特徴値の時系列変化が安定している安定領域を物体領域から抽出し、物体検出手段から得られた一つ一つの物体の中に含まれる安定領域の動き量を求め、その動き量から物体単位で安定領域が静止領域であるか否かを判定することで、画素単位の時系列変化では誤って静止領域となる画素を、物体単位の動き量という空間的な塊の情報で静止領域外とすることができる。そのため、ある一定方向に移動する単色の物体において、物体の一部が静止領域になってしまうことを防ぐことができるので、このような移動物体において重なっている物体が存在すると誤って検出してしまうことを防ぐことができる。
【0072】
また、更に、本発明の実施形態では、静止物体上に重なっている物体の判定に特徴値と選択された静止物体層との類似性を表す距離を用いており、その距離の計算に、静止物体層を参照して得られる平均値と分散値という変動成分を吸収できる統計量を利用しているので、照明変動や環境変動などに対応できる。
【0073】
図15は、図1の本発明の実施形態を更に具体化した一例を示すブロック図である。以下、この図面に基づき説明する。なお、図1と同じ部分は同じ符号を付すことにより説明を省略する。
【0074】
この例では、画像取得手段1と、画像蓄積手段31、静止物体層情報記憶手段32及び検出対象時間記憶手段33を有する記憶装置3が、コンピュータ4に接続されており、また、物体領域検出用プログラム5を記憶するコンピュータ可読記憶媒体6がコンピュータ4に接続されている。コンピュータ可読媒体6は、磁気ディスクや半導体メモリ等で構成され、そこに記憶された物体領域検出用プログラム5は、コンピュータ4の立ち上げ時などにコンピュータ4に読み取られ、そのコンピュータ4の動作を制御することにより、そのコンピュータ4を前述した図1のデータ処理装置2内に各手段101〜104又は各手段21〜25として機能させ、また、図8〜図14に示される処理を行わせる。
【0075】
次に、本発明の実施形態に係る物体領域検出方法の一実施例について説明する。
【0076】
本発明の実施形態に係る物体領域検出方法は、図1に示す実施形態の動作すなわち図8乃至図14に示される処理と同様である。すなわち、本発明の実施形態に係る物体領域検出方法は、図8に示すように、時系列的に連続する複数の入力画像について物体領域を検出するステップaと、前記物体領域に含まれる静止領域を前記連続する複数の入力画像から検出するステップbと、前記静止領域の情報を時系列的な背景情報として蓄積するステップcと、前記時系列的な背景情報と前記物体領域とを比較して当該物体領域に含まれる各物体を検出するステップdと、を含むことを特徴とする。具体的には、ステップaとしての第一のステップ(ステップS2〜S4)と及び第二のステップ(ステップS5)と、ステップbとしての第三のステップ(ステップS6)と、ステップcとしての第四のステップ(ステップS7)と、ステップdとしての第五のステップ(ステップS8)とを含んでいる。第一のステップでは、前記入力画像の各画素について特徴値を抽出するとともに、当該入力画像を特徴画像として出力する。第二のステップでは、前記特徴画像から、物体の存在する物体領域を検出する。第三のステップでは、前記物体領域に含まれる動きが静止している領域を、静止領域として取得する。第四のステップでは、前記静止領域の各画素の前記特徴値に基づき、静止物体層及びその静止物体層情報を生成する。第五のステップでは、前記物体領域の各画素の前記特徴値と既存の前記静止物体層情報とを比較して、当該静止物体上に重なっている当該物体を検出する。
【0077】
また、本発明の実施形態に係る物体領域検出方法は、入力画像と背景情報を比較して物体の領域を検出し、物体が静止した時に静止した物体の領域の情報を新たな別の背景情報として記憶し、記憶された複数の背景情報と入力画像を比較することにより個々の物体の領域を検出することを特徴とする、とすることも可能である。
【0078】
このとき、前記静止した物体の領域は、入力画像と背景情報を比較して検出した物体の領域に含まれる画素にて、入力画像の特徴値の時間的変化が安定している安定領域で、前記検出した物体の領域に対し近傍の画素を一つの物体としてその物体を単位とした安定領域において空間的な動きが小さい領域である、としてもよい。また、前記新たな別の背景情報として記憶するとは、前記静止した物体の領域に含まれる画素において、記憶された複数の背景情報から入力画像の特徴値と類似する背景情報を選択し入力画像の特徴値をその背景情報に更新すること、また、類似する背景情報がない場合には入力画像の特徴値から新たな別の背景情報を生成することである、としてもよい。更に、前記比較することにより個々の物体の領域を検出するとは、入力画像と背景情報を比較して検出した物体の領域に含まれる画素において、入力画像の特徴値と記憶された背景情報を用い、類似であるか否かを判定し類似でない場合に静止物体上に重なっている物体として検出することである、としてもよい。
【0079】
また、本発明の実施形態に係る物体領域検出方法は、動画像から画像を取得する画像取得処理と、画像から特徴値を抽出する特徴抽出処理と、特徴画像から物体領域及び物体に対する物体ID、その矩形位置及び矩形サイズを取得する物体検出処理と、物体領域で動きが静止している領域を取得する静止領域取得処理と、静止領域に含まれる全ての画素に対して特徴値を取得し静止物体毎に静止物体の情報を静止物体層情報として生成する静止物体層生成処理と、物体領域に含まれる全ての画素に対して特徴値と静止物体層情報記憶手段に記憶される静止物体層情報とを取得し類似性を表す距離による判定で静止物体上に重なっている物体を検出する物体分離検出処理とを備えた、とすることも可能である。
【0080】
このとき、前記静止領域取得処理は、物体領域に含まれる全ての画素に対する特徴値の分散値を時系列から求め、予め定められた閾値以下の分散値を持つ画素を時間的変化が安定している安定領域として抽出し、物体検出手段から得られた一つ一つの物体の中に含まれる安定領域の動き量を求め、予め定められた閾値以下の動き量を持つ領域を静止領域として取得する、としてもよい。
【0081】
前記静止物体層生成処理は、静止領域に含まれる全ての画素の特徴値を、その画素に記憶されている全ての静止物体層情報の基準特徴値と比較して特徴間距離が最も近くかつ予め定められた閾値以下であれば、当該静止物体層に属すると決定して当該静止物体層情報を更新し、更に、属する静止物体層の層生成時刻より新しい層生成時刻を持つ静止物体層を削除し、特徴値が属する静止物体層がない場合や既存の静止物体層が一つも存在しない場合には、新しく静止物体層を生成し、その静止物体層の情報を設定し、物体領域以外の画素に対しては、静止物体層全てを削除する、としてもよい。
【0082】
前記物体分離検出処理は、物体領域における特徴値と静止物体層情報を比較する際に、検出対象時間記憶手段に記憶されている検出対象時間を現在時刻から差分し検出対象時刻を算出し、この算出された検出対象時刻より古く、かつ、最も新しい層生成時刻を持つ静止物体層を一つ選択して比較する、としてもよい。
【0083】
前記物体分離検出処理は、前述の条件を満たす静止物体層が存在しない場合や静止物体層が一つも存在しない場合に、静止物体上に重なっている物体として検出する、としてもよい。
【0084】
前記物体分離検出処理における類似性を表す距離による判定は、物体領域における特徴値と選択された静止物体層情報とを参照して得られる平均値及び分散値を用いて、特徴値と平均値との差分量の絶対値、又は、特徴値と平均値との差分量の絶対値を標準偏差で正規化した値を類似性を表す距離とし、予め定められた閾値以上の類似性を表す距離を持つ画素を静止物体上に重なっている物体として検出する、としてもよい。
【0085】
前記動き量は、物体単位の安定領域に含まれる全ての画素に対して、テンプレートマッチングによるオプティカルフローを求めその大きさをマッチング距離で重み付けをした加重平均にて算出する、又は、オプティカルフローを求めその大きさを物体領域の輪郭付近で大きく重み付けをした加重平均にて算出する、としてもよい。
【0086】
本発明の実施形態に係る物体領域検出方法によれば、図1の実施形態と同様の作用及び効果を奏する。また、本発明の実施形態に係る物体領域検出装置等の前述した一実施形態の構成に準じて本発明の実施形態に係る物体領域検出方法を構成してもよし、本発明の実施形態に係る物体領域検出方法の前述した構成に準じて本発明の実施形態に係る物体領域検出装置等を構成してもよい。
【0087】
なお、本発明は、言うまでもなく、上記実施形態に限定されるものではない。例えば、データ処理装置の各手段は、専用のICを用いて実現することもできる。
【0088】
また、上記実施形態では、全画素の一つ一つを検出対象としたが、隣接する複数画素の特徴値の平均値を用い、これらの複数画素を一つの画素として扱う場合も本発明に含まれる。この場合は、処理速度の向上及びメモリ容量の低減が図られる。
【0089】
更に、特定座標の画素のみを検出対象とする場合も本発明に含まれる。例えば、図7におけるA点、B点及びC点を含む複数点のみを検出対象としてもよい。このようにしても、各点相互の重なり又は各点の属する物体相互の重なりを検出することができる。この場合も、処理速度の向上及びメモリ容量の低減が図られる。
【0090】
なお、本発明の実施形態に係る物体領域検出装置をハードウェアとして構築したが、これに限られるものではない。本発明の実施形態は、物体領域検出用プログラムとして構築してもよく、そのプログラムをコンピュータに実行させることにより、物体領域検出装置の機能を実現するようにしてもよいものである。前記物体領域検出用プログラムは記録媒体に記録され、その状態で商取引の対象となる。
【0091】
以上、実施形態(及び実施例)を参照して本願発明を説明したが、本願発明は上記実施形態(及び実施例)に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0092】
この出願は2007年7月5日に出願された日本出願特願2007−177389を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【0093】
本発明によれば、一つのカメラの撮影にて、静止物体上に別の静止物体及び移動物体が重なっていても重なっている物体を区別して検出できる物体領域検出装置や、物体領域検出装置をコンピュータに実現するためのプログラムといった用途に適用できる。また、カメラや蓄積映像から静止物体上に重なっている物体の検出を必要とする監視分野において、侵入者検出、不審者検出、不審物の置き去り検出、荷物の持ち去り検出、ゲートの共連れ検出、混雑及び行列検出などを行う装置や機能といった用途に適用できる。更に、カメラや蓄積映像からの静止物体上に重なっている物体の検出位置を入力とする入力インタフェースといった用途に適用できる。この他、静止物体上に重なっている物体の検出をトリガ・キーとするビデオ/映像検索装置・機能といった用途に適用できる。
【図面の簡単な説明】
【0094】
【図1】本発明に係る物体領域検出装置及び物体領域検出システムの一実施形態を示すブロック図である。
【図2】図1の実施形態における動作の概要(その1)を示す説明図である。
【図3】図1の実施形態における動作の概要(その2)を示す説明図である。
【図4】図1の実施形態における静止物体層情報の一例を示す図表である。
【図5】図1の実施形態における処理経過の一例を示す説明図である。
【図6】図1の実施形態における静止物体層生成手段にて削除される静止物体層の一例を示す説明図である。
【図7】図1の実施形態における物体分離検出の一例を示す説明図である。
【図8】図1の実施形態における全体の動作を示すフローチャートである。
【図9】図8のステップS6における詳細な動作(その1)を示すフローチャートである。
【図10】図8のステップS6における詳細な動作(その2)を示すフローチャートである。
【図11】図8のステップS7における詳細な動作(その1)を示すフローチャートである。
【図12】図8のステップS7における詳細な動作(その2)を示すフローチャートである。
【図13】図8のステップS8における詳細な動作(その1)を示すフローチャートである。
【図14】図8のステップS8における詳細な動作(その2)を示すフローチャートである。
【図15】図1の実施例を更に具体化した一例を示すブロック図である。
【符号の説明】
【0095】
1 画像取得手段
2 データ処理装置(物体領域検出装置)
3 記憶装置
4 コンピュータ
5 物体領域検出用プログラム
6 コンピュータ可読記憶媒体
21 特徴抽出手段
22 物体検出手段
23 静止領域取得手段
24 静止物体層生成手段
25 物体分離検出手段
31 画像蓄積手段
32 静止物体層情報記憶手段
33 検出対象時間記憶手段
100 物体領域検出システム
101 第一の手段
102 第二の手段
103 第三の手段
104 第四の手段
Claims (25)
- 入力画像と物体を含まない背景情報を用いて物体領域を検出する第一の手段と、前記物体領域における時間的な変化が少ない領域に対して、その領域の物体単位の塊における空間的な動きが少ない領域(塊)を静止領域として検出する第二の手段と、前記静止領域の情報を時系列的な背景情報として蓄積する第三の手段と、前記時系列的な背景情報と前記物体領域とを比較して当該物体領域に含まれる各物体を検出する第四の手段と、
を備えたことを特徴とする物体領域検出装置。 - 前記第一の手段としての特徴抽出手段及び物体検出手段と、前記第二の手段としての静止領域取得手段と、前記第三の手段としての静止物体層生成手段と、前記第四の手段としての物体分離検出手段とを備え、
前記特徴抽出手段は、前記入力画像の各画素について特徴値を抽出するとともに当該入力画像を特徴画像として出力する機能を有し、
前記物体検出手段は、物体を含まない背景情報を用いて、前記特徴画像から物体の存在する物体領域を検出する機能を有し、
前記静止領域取得手段は、前記物体領域における時間的な変化が少ない領域に対して、その領域の物体単位の塊における空間的な動きが少ない領域(塊)を静止領域として取得する機能を有し、
前記静止物体層生成手段は、前記静止領域の各画素の前記特徴値に基づき静止物体層及びその静止物体層情報を生成する機能を有し、
前記物体分離検出手段は、前記物体領域の各画素の前記特徴値と既存の前記静止物体層情報とを比較して当該静止物体上に重なっている当該物体を検出する機能を有する、
ことを特徴とする請求項1記載の物体領域検出装置。 - 前記静止領域取得手段は、前記物体領域の各画素における特徴値の時系列からその分散値を求め、一定以下の前記分散値を持つ前記各画素を時間的変化が少ない安定した安定領域として抽出し、前記安定領域に対して、その領域の物体単位の塊毎に空間的な動きを示す動き量を求め、一定以下の前記動き量を持つ前記安定領域を前記静止領域として取得する、
ことを特徴とする請求項2記載の物体領域検出装置。 - 前記静止領域取得手段は、物体単位の前記安定領域の各画素に対してテンプレートマッチングによるオプティカルフローを求め、そのオプティカルフローの大きさをマッチング距離で重み付けをした加重平均又は前記オプティカルフローの大きさを前記物体領域の輪郭付近で大きく重み付けをした加重平均によって前記動き量を算出する、
ことを特徴とする請求項3記載の物体領域検出装置。 - 前記静止物体層生成手段は、前記静止領域の各画素の前記特徴値を既存の前記静止物体層の基準特徴値と比較して特徴間距離が最も近くかつ一定以下の前記静止物体層があるならば、当該静止物体層に当該静止領域の前記特徴値が属すると決定して当該静止物体層情報を更新するとともに、前記静止領域の前記特徴値が属する前記静止物体層の層生成時刻よりも新しい層生成時刻を持つ前記静止物体層を削除し、前記静止領域の前記特徴値が属する前記静止物体層がないとき又は既存の前記静止物体層が一つも存在しないときには新しく前記静止物体層を生成するとともにその前記静止物体層情報を設定し、前記物体領域以外の画素に対しては前記静止物体層の全てを削除する、
ことを特徴とする請求項2乃至4のいずれか一項に記載の物体領域検出装置。 - 前記物体分離検出手段は、前記物体領域の各画素の前記特徴値を既存の前記静止物体層情報と比較する際に、予め記憶している検出対象時間を現在時刻から差分することにより検出対象時刻を算出し、この検出対象時刻より古くかつ最も新しい層生成時刻を持つ前記静止物体層を一つ選択して比較の対象とする、
ことを特徴とする請求項2乃至5のいずれか一項に記載の物体領域検出装置。 - 前記物体分離検出手段は、前記検出対象時刻より古くかつ最も新しい層生成時刻を持つ前記静止物体層が存在しないとき又は前記静止物体層が一つも存在しないときに、前記物体領域の前記各画素を前記静止物体上に重なっている前記物体として検出する、
ことを特徴とする請求項6記載の物体領域検出装置 - 前記物体分離検出手段は、前記物体領域の各画素の前記特徴値と選択された前記静止物体層情報を参照して得られる平均値及び分散値とを用いて、前記特徴値と前記平均値との差分量の絶対値又はその絶対値を標準偏差で正規化した値を類似性を表す距離とし、一定値以上の類似性を表す距離を持つ前記各画素を前記静止物体上に重なっている前記物体として検出する、
ことを特徴とする請求項2乃至7のいずれか一項に記載の物体領域検出装置。 - 請求項2乃至8のいずれか一項に記載の物体領域検出装置と、動画像から入力画像を取得して前記物体領域検出装置へ出力する画像取得手段と、前記特徴値及び前記静止物体層情報を含む情報を記憶する記憶装置と、
を備えたことを特徴とする物体領域検出システム。 - 入力画像と物体を含まない背景情報を用いて物体領域を検出するステップaと、前記物体領域における時間的な変化が少ない領域に対して、その領域の物体単位の塊における空間的な動きが少ない領域(塊)を静止領域として検出するステップbと、前記静止領域の情報を時系列的な背景情報として蓄積するステップcと、前記時系列的な背景情報と前記物体領域とを比較して当該物体領域に含まれる各物体を検出するステップdと、
を含むことを特徴とする物体領域検出方法。 - 前記ステップaとしての第一及び第二のステップと、前記ステップbとしての第三のステップと、前記ステップcとしての第四のステップと、前記ステップdとしての第五のステップとを含み、
前記第一のステップでは、前記入力画像の各画素について特徴値を抽出するとともに当該入力画像を特徴画像として出力し、
前記第二のステップでは、物体を含まない背景情報を用いて、前記特徴画像から物体の存在する物体領域を検出し、
前記第三のステップでは、前記物体領域における時間的な変化が少ない領域に対して、その領域の物体単位の塊における空間的な動きが少ない領域(塊)を静止領域として取得し、
前記第四のステップでは、前記静止領域の各画素の前記特徴値に基づき静止物体層及びその静止物体層情報を生成し、
前記第五のステップでは、前記物体領域の各画素の前記特徴値と既存の前記静止物体層情報とを比較して当該静止物体上に重なっている当該物体を検出する、
ことを特徴とする請求項10記載の物体領域検出方法。 - 前記第三のステップでは、前記物体領域の各画素における特徴値の時系列からその分散値を求め、一定以下の前記分散値を持つ前記各画素を時間的変化が少ない安定した安定領域として抽出し、前記安定領域に対して、その領域の物体単位の塊毎に空間的な動きを示す動き量を求め、一定以下の前記動き量を持つ前記安定領域を前記静止領域として取得する、
ことを特徴とする請求項11記載の物体領域検出方法。 - 前記第三のステップでは、物体単位の前記安定領域の各画素に対してテンプレートマッチングによるオプティカルフローを求め、そのオプティカルフローの大きさをマッチング距離で重み付けをした加重平均又は前記オプティカルフローの大きさを前記物体領域の輪郭付近で大きく重み付けをした加重平均によって前記動き量を算出する、
ことを特徴とする請求項12記載の物体領域検出方法。 - 前記第四のステップでは、前記静止領域の各画素の前記特徴値を既存の前記静止物体層の基準特徴値と比較して特徴間距離が最も近くかつ一定以下の前記静止物体層があるならば、当該静止物体層に当該静止領域の前記特徴値が属すると決定して当該静止物体層情報を更新するとともに、前記静止領域の前記特徴値が属する前記静止物体層の層生成時刻よりも新しい層生成時刻を持つ前記静止物体層を削除し、前記静止領域の前記特徴値が属する前記静止物体層がないとき又は既存の前記静止物体層が一つも存在しないときには新しく前記静止物体層を生成するとともにその前記静止物体層情報を設定し、前記物体領域以外の画素に対しては前記静止物体層の全てを削除する、
ことを特徴とする請求項11乃至13のいずれか一項に記載の物体領域検出方法。 - 前記第五のステップでは、前記物体領域の各画素の前記特徴値を既存の前記静止物体層情報と比較する際に、予め記憶している検出対象時間を現在時刻から差分することにより検出対象時刻を算出し、この検出対象時刻より古くかつ最も新しい層生成時刻を持つ前記静止物体層を一つ選択して比較の対象とする、
ことを特徴とする請求項11乃至14のいずれか一項に記載の物体領域検出方法。 - 前記第五のステップでは、前記検出対象時刻より古くかつ最も新しい層生成時刻を持つ前記静止物体層が存在しないとき又は前記静止物体層が一つも存在しないときに、前記物体領域の前記各画素を前記静止物体上に重なっている前記物体として検出する、
ことを特徴とする請求項15記載の物体領域検出方法 - 前記第五のステップでは、前記物体領域の各画素の前記特徴値と選択された前記静止物体層情報を参照して得られる平均値及び分散値とを用いて、前記特徴値と前記平均値との差分量の絶対値又はその絶対値を標準偏差で正規化した値を類似性を表す距離とし、一定値以上の類似性を表す距離を持つ前記各画素を前記静止物体上に重なっている前記物体として検出する、
ことを特徴とする請求項11乃至16のいずれか一項に記載の物体領域検出方法。 - コンピュータに、
入力画像と物体を含まない背景情報を用いて物体領域を検出する機能と、
前記物体領域における時間的な変化が少ない領域に対して、その領域の物体単位の塊における空間的な動きが少ない領域(塊)を静止領域として検出する機能と、
前記静止領域の情報を時系列的な背景情報として蓄積する機能と、
前記時系列的な背景情報と前記物体領域とを比較して当該物体領域に含まれる各物体を検出する機能とを実行させることを特徴とする物体領域検出プログラム。 - 前記コンピュータに、
前記入力画像の各画素について特徴値を抽出するとともに当該入力画像を特徴画像として出力する機能と、
物体を含まない背景情報を用いて、前記特徴画像から物体の存在する物体領域を検出する機能と、
前記物体領域における時間的な変化が少ない領域に対して、その領域の物体単位の塊における空間的な動きが少ない領域(塊)を静止領域として取得する機能と、
前記静止領域の各画素の前記特徴値に基づき静止物体層及びその静止物体層情報を生成する機能と、
前記物体領域の各画素の前記特徴値と既存の前記静止物体層情報とを比較して当該静止物体上に重なっている当該物体を検出する機能とじっこうさせることを特徴とする請求項18記載の物体領域検出用プログラム。 - 前記コンピュータに、
前記物体領域の各画素における特徴値の時系列からその分散値を求め、一定以下の前記分散値を持つ前記各画素を時間的変化が少ない安定した安定領域として抽出し、前記安定領域に対して、その領域の物体単位の塊毎に空間的な動きを示す動き量を求め、一定以下の前記動き量を持つ前記安定領域を前記静止領域として取得する機能を実行させることを特徴とする請求項19記載の物体領域検出用プログラム。 - 前記コンピュータに、
物体単位の前記安定領域の各画素に対してテンプレートマッチングによるオプティカルフローを求め、そのオプティカルフローの大きさをマッチング距離で重み付けをした加重平均又は前記オプティカルフローの大きさを前記物体領域の輪郭付近で大きく重み付けをした加重平均によって前記動き量を算出する機能を実行させることを特徴とする請求項20記載の物体領域検出用プログラム。 - 前記コンピュータに、
前記静止領域の各画素の前記特徴値を既存の前記静止物体層の基準特徴値と比較して特徴間距離が最も近くかつ一定以下の前記静止物体層があるならば、当該静止物体層に当該静止領域の前記特徴値が属すると決定して当該静止物体層情報を更新するとともに、前記静止領域の前記特徴値が属する前記静止物体層の層生成時刻よりも新しい層生成時刻を持つ前記静止物体層を削除し、前記静止領域の前記特徴値が属する前記静止物体層がないとき又は既存の前記静止物体層が一つも存在しないときには新しく前記静止物体層を生成するとともにその前記静止物体層情報を設定し、前記物体領域以外の画素に対しては前記静止物体層の全てを削除する機能を実行させることを特徴とする請求項19乃至21のいずれか一項に記載の物体領域検出用プログラム。 - 前記コンピュータに、
前記物体領域の各画素の前記特徴値を既存の前記静止物体層情報と比較する際に、予め記憶している検出対象時間を現在時刻から差分することにより検出対象時刻を算出し、この検出対象時刻より古くかつ最も新しい層生成時刻を持つ前記静止物体層を一つ選択して比較の対象とする機能を実行させることを特徴とする請求項19乃至22のいずれか一項に記載の物体領域検出用プログラム。 - 前記コンピュータに、
前記検出対象時刻より古くかつ最も新しい層生成時刻を持つ前記静止物体層が存在しないとき又は前記静止物体層が一つも存在しないときに、前記物体領域の前記各画素を前記静止物体上に重なっている前記物体として検出する機能を実行させることを特徴とする請求項23記載の物体領域検出用プログラム - 前記コンピュータに、
前記物体領域の各画素の前記特徴値と選択された前記静止物体層情報を参照して得られる平均値及び分散値とを用いて、前記特徴値と前記平均値との差分量の絶対値又はその絶対値を標準偏差で正規化した値を類似性を表す距離とし、一定値以上の類似性を表す距離を持つ前記各画素を前記静止物体上に重なっている前記物体として検出する機能を実行させることを特徴とする請求項19乃至24のいずれか一項に記載の物体領域検出用プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009521675A JP5115556B2 (ja) | 2007-07-05 | 2008-07-04 | 物体領域検出装置、物体領域検出システム、物体領域検出方法及びプログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007177389 | 2007-07-05 | ||
JP2007177389 | 2007-07-05 | ||
JP2009521675A JP5115556B2 (ja) | 2007-07-05 | 2008-07-04 | 物体領域検出装置、物体領域検出システム、物体領域検出方法及びプログラム |
PCT/JP2008/062157 WO2009005141A1 (ja) | 2007-07-05 | 2008-07-04 | 物体領域検出装置、物体領域検出システム、物体領域検出方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2009005141A1 JPWO2009005141A1 (ja) | 2010-08-26 |
JP5115556B2 true JP5115556B2 (ja) | 2013-01-09 |
Family
ID=40226179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009521675A Active JP5115556B2 (ja) | 2007-07-05 | 2008-07-04 | 物体領域検出装置、物体領域検出システム、物体領域検出方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8588466B2 (ja) |
JP (1) | JP5115556B2 (ja) |
WO (1) | WO2009005141A1 (ja) |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8452528B2 (en) * | 2009-05-12 | 2013-05-28 | Toyota Jidosha Kabushiki Kaisha | Visual recognition area estimation device and driving support device |
JP5570176B2 (ja) * | 2009-10-19 | 2014-08-13 | キヤノン株式会社 | 画像処理システム及び情報処理方法 |
TW201140502A (en) * | 2010-05-13 | 2011-11-16 | Hon Hai Prec Ind Co Ltd | System and method for monitoring objects |
TW201140470A (en) * | 2010-05-13 | 2011-11-16 | Hon Hai Prec Ind Co Ltd | System and method for monitoring objects and key persons of the objects |
CN102244770B (zh) * | 2010-05-14 | 2014-12-17 | 深圳市齐创美科技有限公司 | 物件监控***及方法 |
CN102244769B (zh) * | 2010-05-14 | 2014-08-20 | 鸿富锦精密工业(深圳)有限公司 | 物件及其关键人监控***与方法 |
US9785653B2 (en) * | 2010-07-16 | 2017-10-10 | Shutterfly, Inc. | System and method for intelligently determining image capture times for image applications |
US8655093B2 (en) * | 2010-09-02 | 2014-02-18 | Edge 3 Technologies, Inc. | Method and apparatus for performing segmentation of an image |
JP5719141B2 (ja) * | 2010-10-28 | 2015-05-13 | キヤノン株式会社 | 情報処理装置、その処理方法及びプログラム |
JP5746926B2 (ja) * | 2011-07-27 | 2015-07-08 | 日立アロカメディカル株式会社 | 超音波画像処理装置 |
JP5784404B2 (ja) * | 2011-07-29 | 2015-09-24 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP2013033317A (ja) * | 2011-08-01 | 2013-02-14 | Sony Corp | 画像処理装置、画像処理方法、及び、プログラム |
US8744123B2 (en) | 2011-08-29 | 2014-06-03 | International Business Machines Corporation | Modeling of temporarily static objects in surveillance video data |
JP2013065151A (ja) | 2011-09-16 | 2013-04-11 | Sony Corp | 画像処理装置、画像処理方法、および、プログラム |
US8675917B2 (en) * | 2011-10-31 | 2014-03-18 | International Business Machines Corporation | Abandoned object recognition using pedestrian detection |
US9672609B1 (en) * | 2011-11-11 | 2017-06-06 | Edge 3 Technologies, Inc. | Method and apparatus for improved depth-map estimation |
KR101505557B1 (ko) | 2013-08-30 | 2015-03-25 | 고려대학교 산학협력단 | 축사 내 각각의 객체 간의 겹침 처리장치 및 방법 |
JP6308612B2 (ja) * | 2013-10-31 | 2018-04-11 | オムロン株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
JP6576059B2 (ja) * | 2015-03-10 | 2019-09-18 | キヤノン株式会社 | 情報処理、情報処理方法、プログラム |
KR20180054794A (ko) * | 2015-09-21 | 2018-05-24 | 퀄컴 인코포레이티드 | 카메라 프리뷰 |
US10580135B2 (en) * | 2016-07-14 | 2020-03-03 | Shanghai United Imaging Healthcare Co., Ltd. | System and method for splicing images |
US11726979B2 (en) | 2016-09-13 | 2023-08-15 | Oracle International Corporation | Determining a chronological order of transactions executed in relation to an object stored in a storage system |
US10733159B2 (en) | 2016-09-14 | 2020-08-04 | Oracle International Corporation | Maintaining immutable data and mutable metadata in a storage system |
WO2018056355A1 (ja) * | 2016-09-23 | 2018-03-29 | 株式会社日立国際電気 | 監視装置 |
US10860534B2 (en) | 2016-10-27 | 2020-12-08 | Oracle International Corporation | Executing a conditional command on an object stored in a storage system |
US10191936B2 (en) | 2016-10-31 | 2019-01-29 | Oracle International Corporation | Two-tier storage protocol for committing changes in a storage system |
US10956051B2 (en) | 2016-10-31 | 2021-03-23 | Oracle International Corporation | Data-packed storage containers for streamlined access and migration |
US10169081B2 (en) * | 2016-10-31 | 2019-01-01 | Oracle International Corporation | Use of concurrent time bucket generations for scalable scheduling of operations in a computer system |
US10275177B2 (en) | 2016-10-31 | 2019-04-30 | Oracle International Corporation | Data layout schemas for seamless data migration |
US10180863B2 (en) | 2016-10-31 | 2019-01-15 | Oracle International Corporation | Determining system information based on object mutation events |
JP7053207B2 (ja) * | 2017-09-29 | 2022-04-12 | 日本信号株式会社 | 物体通過検知装置 |
JP7183085B2 (ja) * | 2019-03-14 | 2022-12-05 | 株式会社東芝 | 移動体行動登録装置、移動体行動登録システム、移動体行動登録方法、移動体行動登録プログラム、及び移動体行動決定装置 |
JP7195204B2 (ja) * | 2019-03-29 | 2022-12-23 | セコム株式会社 | 画像処理装置及び画像処理プログラム |
CN111079621B (zh) * | 2019-12-10 | 2023-10-03 | 北京百度网讯科技有限公司 | 检测对象的方法、装置、电子设备和存储介质 |
CN114166204A (zh) * | 2021-12-03 | 2022-03-11 | 东软睿驰汽车技术(沈阳)有限公司 | 基于语义分割的重定位方法、装置和电子设备 |
WO2023190686A1 (ja) * | 2022-03-31 | 2023-10-05 | パナソニックIpマネジメント株式会社 | 画像処理装置および画像処理方法 |
CN116453246B (zh) * | 2023-06-12 | 2024-02-02 | 深圳市众联视讯科技有限公司 | 识别门外物件且可报警的智能门锁及识别报警方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07262355A (ja) * | 1994-03-18 | 1995-10-13 | Fuji Electric Co Ltd | 画像監視装置 |
JP2002157598A (ja) * | 2000-11-16 | 2002-05-31 | Japan Radio Co Ltd | 侵入者検知システム |
JP2007164690A (ja) * | 2005-12-16 | 2007-06-28 | Matsushita Electric Ind Co Ltd | 画像処理装置及び画像処理方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3254464B2 (ja) | 1992-07-13 | 2002-02-04 | 株式会社日立製作所 | 車輌認識装置と移動体認識方法 |
JPH06180749A (ja) | 1992-12-14 | 1994-06-28 | Toyota Motor Corp | 路上物体監視装置 |
JPH0855220A (ja) | 1994-08-12 | 1996-02-27 | N T T Data Tsushin Kk | 移動物体抽出処理方式及び方法 |
US6301371B1 (en) * | 1995-08-21 | 2001-10-09 | Mark F. Jones | Object identification system applications |
JP3230509B2 (ja) | 1998-06-26 | 2001-11-19 | 日本電気株式会社 | 動画像処理装置 |
US6658136B1 (en) * | 1999-12-06 | 2003-12-02 | Microsoft Corporation | System and process for locating and tracking a person or object in a scene using a series of range images |
KR100450793B1 (ko) | 2001-01-20 | 2004-10-01 | 삼성전자주식회사 | 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법 |
JP4061377B2 (ja) | 2003-09-12 | 2008-03-19 | 独立行政法人産業技術総合研究所 | 3次元データからの特徴抽出装置 |
-
2008
- 2008-07-04 WO PCT/JP2008/062157 patent/WO2009005141A1/ja active Application Filing
- 2008-07-04 JP JP2009521675A patent/JP5115556B2/ja active Active
- 2008-07-04 US US12/665,802 patent/US8588466B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07262355A (ja) * | 1994-03-18 | 1995-10-13 | Fuji Electric Co Ltd | 画像監視装置 |
JP2002157598A (ja) * | 2000-11-16 | 2002-05-31 | Japan Radio Co Ltd | 侵入者検知システム |
JP2007164690A (ja) * | 2005-12-16 | 2007-06-28 | Matsushita Electric Ind Co Ltd | 画像処理装置及び画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20100322475A1 (en) | 2010-12-23 |
WO2009005141A1 (ja) | 2009-01-08 |
JPWO2009005141A1 (ja) | 2010-08-26 |
US8588466B2 (en) | 2013-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5115556B2 (ja) | 物体領域検出装置、物体領域検出システム、物体領域検出方法及びプログラム | |
JP6525545B2 (ja) | 情報処理装置、情報処理方法及びコンピュータプログラム | |
JP6904346B2 (ja) | 画像処理装置、画像処理システム、および画像処理方法、並びにプログラム | |
US9311524B2 (en) | Image processing apparatus and image processing method | |
WO2013012091A1 (ja) | 情報処理装置、物体追跡方法およびプログラム記憶媒体 | |
JP6565600B2 (ja) | アテンション検出装置及びアテンション検出方法 | |
JPWO2012127815A1 (ja) | 移動体検出装置および移動体検出方法 | |
CN109035295B (zh) | 多目标跟踪方法、装置、计算机设备和存储介质 | |
JP5832910B2 (ja) | 画像監視装置 | |
CN113396423A (zh) | 处理来自基于事件的传感器的信息的方法 | |
JP2015138319A (ja) | 物体検出装置、物体検出方法、および物体検出プログラム | |
US11948312B2 (en) | Object detection/tracking device, method, and program recording medium | |
Funde et al. | Object detection and tracking approaches for video surveillance over camera network | |
Murugan et al. | Automatic moving vehicle detection and classification based on artificial neural fuzzy inference system | |
JP5412984B2 (ja) | フォロー対象検出装置、フォロー対象検出方法およびフォロー対象検出プログラム | |
JP2017130042A (ja) | 映像処理装置、映像処理方法、及びプログラム | |
JP6607630B2 (ja) | 移動物体抽出装置、方法およびプログラム | |
JP6811244B2 (ja) | 画像処理装置、ステレオカメラ装置及び画像処理方法 | |
JP6028972B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2014110020A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP6698058B2 (ja) | 画像処理装置 | |
JP6555940B2 (ja) | 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法 | |
Shafiee et al. | Model-based tracking: Temporal conditional random fields | |
JP2011043863A (ja) | 対象領域判定・追跡装置、方法、プログラム及び対象領域判定装置 | |
US20220245855A1 (en) | Trajectory linking apparatus, trajectory linking method, and non-transitory computer readable medium storing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110613 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120918 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121001 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5115556 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151026 Year of fee payment: 3 |