JP2014149716A

JP2014149716A - 物体追跡装置及びその方法

Info

Publication number: JP2014149716A
Application number: JP2013018468A
Authority: JP
Inventors: Hiroaki Yoshio; 宏明由雄; Katsuji Aoki; 勝司青木; Shin Yamada; 伸山田; Takayuki Matsukawa; 隆行松川; Hajime Tamura; 一田村
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2013-02-01
Filing date: 2013-02-01
Publication date: 2014-08-21

Abstract

【課題】移動物体を検出開始当初から確実に検出しかつ追跡する。
【解決手段】カメラにより連続して撮影された画像中の顔検出を行い、各画像における顔検出に対する信頼度を設定し、信頼度の高低の全範囲を所定の幅で複数の信頼度区分に区分し、信頼度の高い方から順番に同一信頼度区分で検出対象が連続している場合には追跡対象として紐付けすると共に、他の信頼度区分の同一検出対象を紐付け対象とする補間処理を行って追跡を確定する。検出のための閾値を変えることなく移動物体の追跡を行うことができる。
【選択図】図５

Description

本発明は、カメラで撮影された画像から移動物体を検出して追跡する物体追跡装置及びその方法に関するものである。

従来、例えばビデオ画像上に現れる移動物体を追跡する場合に、ビデオ画像内で特徴点を１つのフレームから次のフレームへと追跡するようにしたものがあり、画像上に現れる移動物体に対応して追跡領域を設定し、追跡領域に設定した複数の特徴点を追跡することで、移動物体の追跡を行う画像処理装置があった（例えば特許文献１参照）。

特開２００５−２５０９８９号公報

移動物体が人物の場合、公知の顔検出技術を用いて追跡することができるが、光の当たる方向（逆光）や体格（大人と子供）の他に、肌の色（人種や色黒）等の違いがあるため、略正面から光が当たる大人の標準的な肌色の人を対象として検出の閾値を設定した場合には、上記逆光の場合や子供や色黒の人を検出できなくなる。それらを検出可能にするべく閾値を下げた場合には、人物以外の物を誤検出してしまい、多くの検出対象が存在することになりフレーム間で正確な追跡を行うことができないという問題が生じる。

上記特許文献の装置では、特徴点毎に特徴点が移動物体上に存在している可能性の高さを示す信頼度を算出し、その信頼度を用いて追跡するようにしている。これにより、例えば店舗入口での逆光等の特定場所に依存して検出率が低下する場合に有効となる。

しかしながら、個人性（体格や肌の色等）や顔の向き等の場所に依存しない場合には、上記特許文献１の信頼度を用いる方法では対応できないという問題があった。また、上記特許文献１の対象としては、移動物体の追跡開始後の追跡信頼度の確保であり、追跡開始時の追跡対象となる移動物体の検出率向上に関するものではないため、上記店舗入口からの入店者に対する追跡を確実に行う点に関しては対応できないという問題がある。

本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、移動物体を検出開始当初から確実に検出しかつ追跡し得る物体追跡装置及びその方法を提供することにある。

本発明の物体追跡装置は、撮像手段により撮影された時系列の画像から移動物体を検出する移動物体検出手段と、前記移動物体検出手段により検出された前記移動物体の時間経過に応じて変化する検出信頼度を含む検出情報を順次保存する検出情報保存手段と、前記検出信頼度の高さに応じて区分した複数の信頼度区分別に前記検出信頼度を所定の一定期間の単位で保存する検出信頼度保存手段と、前記検出情報保存手段に保存された前記一定期間内での前記移動物体を追跡する移動物体追跡手段とを有し、前記移動物体追跡手段は、前記移動物体が前記一定期間内で同じ前記信頼度区分に連続して検出された場合には当該連続して検出された前記移動物体同士の紐付けを行う第１の処理と、前記移動物体が前記第１の処理の前記信頼度区分とは異なる前記信頼度区分で検出された場合には当該異なる信頼度区分に検出された前記移動物体に対しても前記同一の移動物体であるとする紐付けを行う第２の処理とを行い、前記第１及び第２の処理を前記信頼度区分別に信頼度の高い方から順次行い、かつ前記紐付けに基づいて前記移動物体を追跡する構成とする。

本発明によれば、例えばビデオカメラで撮影された画像の時系列の変化から画像内で移動する移動物体としての例えば人物の顔を公知の画像処理で検出することができることから、一定期間内の複数の画像のそれぞれに対して顔検出を行い、各検出の信頼度の高低に応じて複数に区分した信頼度区分別に検出情報を保存することにより、同じ信頼度区分であるとして保存された複数の画像の移動物体を同一の移動物体であるとして紐付けし、かつ信頼度の高い方から紐付けすることにより、信頼度の高いものに対しては早期に移動物体であるとして検出することができる。また、信頼度区分の高い方から順次紐付けすることにより、信頼度が低い同一の信頼度区分に対しても移動物体であると紐付けすることができ、検出のための閾値を変えることなく移動物体を追跡することができる。さらに、紐付けされた移動物体が同一信頼度区分で検出されなくなっても、異なる信頼度区分で、その画像内での移動に関連付けし得る位置に移動物体として検出された場合には、既に紐付けされた移動物体と同一の移動物体として紐付けすることにより、検出のための閾値を変えることなく移動物体の追跡を確定するための紐付けを行うことができる。

本発明による物体追跡装置の撮影状態の一例を示す部分斜視図本発明に基づく顔検出の時系列変化を（ａ）〜（ｄ）の順に示す図図２に対応する顔検出に対する信頼度の設定例を（ａ）〜（ｄ）の順に示す図各人物の顔検出変動幅（信頼度区分の区分幅）の設定を（ａ）〜（ｃ）の各状態により説明するための図顔検出された対象の紐付け要領を示す説明図追跡情報の出力として軌跡描画の例を（ａ）〜（ｃ）の順に示す図

前記課題を解決するためになされた第１の発明は、撮像手段により撮影された時系列の画像から移動物体を検出する移動物体検出手段と、前記移動物体検出手段により検出された前記移動物体の時間経過に応じて変化する検出信頼度を含む検出情報を順次保存する検出情報保存手段と、前記検出信頼度の高さに応じて区分した複数の信頼度区分別に前記検出信頼度を所定の一定期間の単位で保存する検出信頼度保存手段と、前記検出情報保存手段に保存された前記一定期間内での前記移動物体を追跡する移動物体追跡手段とを有し、前記移動物体追跡手段は、前記移動物体が前記一定期間内で同じ前記信頼度区分に連続して検出された場合には当該連続して検出された前記移動物体同士の紐付けを行う第１の処理と、前記移動物体が前記第１の処理の前記信頼度区分とは異なる前記信頼度区分で検出された場合には当該異なる信頼度区分に検出された前記移動物体に対しても前記同一の移動物体であるとする紐付けを行う第２の処理とを行い、前記第１及び第２の処理を前記信頼度区分別に信頼度の高い方から順次行い、かつ前記紐付けに基づいて前記移動物体を追跡する構成とする。

これによると、例えばビデオカメラで撮影された画像の時系列の変化から画像内で移動する移動物体としての例えば人物の顔を公知の画像処理で検出することができることから、一定期間内の複数の画像のそれぞれに対して顔検出を行い、各検出の信頼度の高低に応じて複数に区分した信頼度区分別に検出情報を保存することにより、同じ信頼度区分であるとして保存された複数の画像の移動物体を同一の移動物体であるとして紐付けし、かつ信頼度の高い方から紐付けすることにより、信頼度の高いものに対しては早期に移動物体であるとして検出することができる。また、信頼度区分の高い方から順次紐付けすることにより、信頼度が低い同一の信頼度区分に対しても移動物体であると紐付けすることができ、検出のための閾値を変えることなく移動物体を追跡することができる。さらに、紐付けされた移動物体が同一信頼度区分で検出されなくなっても、異なる信頼度区分で、その画像内での移動に関連付けし得る位置に移動物体として検出された場合には、既に紐付けされた移動物体と同一の移動物体として紐付けすることにより、検出のための閾値を変えることなく移動物体の追跡を確定するための紐付けを行うことができる。

また、第２の発明は、前記第１の発明において、前記信頼度区分の数が、前記移動物体の検出に影響を及ぼす環境の違いに応じて設定される構成とする。

これによると、移動物体の検出に影響を及ぼす環境として、光の照射方向や、移動物体の検出対象が顔の場合には顔の向きや皮膚の色（人種や色黒）等があり、それらの組合せの違いに応じた適切な数の信頼度区分を設定することができる。

また、第３の発明は、前記第１の発明において、前記信頼度区分の幅が、前記移動物体の検出に影響を及ぼす環境の違いに応じて設定される構成とする。

これによると、移動物体の検出に影響を及ぼす環境として、光の照射方向や、移動物体の検出対象が顔の場合には顔の向きや皮膚の色（人種や色黒）等があり、それらの組合せの違いに応じた検出の信頼度を低レベルから高レベルに数値化することにより、信頼度のレベルを所定の幅で区分して複数の信頼度区分を設定することができる。

また、第４の発明は、前記第１または第２の発明において、前記信頼度区分の幅が、前記検出情報保存手段により前記一定期間で同一の前記信頼度区分に保存される前記検出情報の数に応じて設定される構成とする。

これによると、混雑時等、多くの人物が登場する場合に信頼度の区分幅を狭める事で、同じ信頼度区分に様々な人物が入るのを防ぐことができ、追跡の高精度化を図ることが可能となる。

また、第５の発明は、前記第２乃至第４のいずれかの発明において、前記カメラの設置状態で、前記環境の違いを再現した複数の状態に応じて前記信頼度区分の幅を設定する構成とする。

これによると、移動物体の検出に影響を及ぼす環境として、光の照射方向や、移動物体の検出対象が顔の場合には顔の向きや皮膚の色（人種や色黒）等があり、カメラの設置状態でそれらの組合せを変えて何パターンか撮影し、検出信頼度のレベルを撮影結果から設定することにより、信頼度を撮影環境に適した状態で設定することができ、検出精度をより一層向上し得る。

また、第６の発明は、前記第１乃至第５のいずれかの発明において、前記移動物体追跡手段が、前記移動物体の前記信頼度区分別に前記紐付けが行われたものから軌跡を描画可能な情報を出力する構成とする。

これによると、移動物体の追跡を例えばモニタの画面上で描画される軌跡として視認することができるとともに、移動物体であると認識されたものから順番に描画されることにより、移動物体をより確実に視認することができる。

また、第７の発明は、撮像手段により撮影された時系列の各画像から移動物体を検出し、前記検出された前記移動物体の時間経過に応じて変化する検出信頼度を含む検出情報を順次保存し、前記検出信頼度の高さに応じて区分した複数の信頼度区分別に前記検出信頼度を所定の一定期間の単位で保存し、前記保存された前記一定期間内での前記移動物体を追跡する物体追跡方法であって、前記信頼度区分別に信頼度の高い方から順次、同じ前記信頼度区分に続けて検出された前記移動物体に対して同一の移動物体であるとする第１の紐付けを行い、次に異なる前記信頼度区分で保存されていた前記移動物体が時系列から前記紐付けが行われた前記移動物体と同じ移動物体である場合には当該異なる信頼度区分に保存されていた前記移動物体に対しても前記同一の移動物体であるとする紐付けを行い、前記第１及び第２の処理手段を前記信頼度区分別に信頼度の高い方から順次実行し、かつ前記紐付けに基づいて前記移動物体を追跡する構成とする。これによると、第１の発明と同様の効果を奏し得る。

以下、本発明の実施の形態を、図面を参照しながら説明する。

図１は、本発明による物体追跡装置の撮影状態の一例を示す部分斜視図である。本実施の形態では、店舗の入口１を臨む位置（例えば入口１近くの天井）に、撮像手段としてのカメラ２が固設されており、カメラ２により入口１から入店してくる客を常時撮影する。なお、カメラ２の画角としては、特に制限はないが、例えば入口１から入店してきた客が普通に歩いて数秒の範囲を撮影し得る程度であっても良い。

カメラ２は、物体制御装置の制御を行う追跡制御装置３と接続されている。追跡制御装置３には、カメラ２で撮影された撮像信号が入力する画像入力部３ａと、画像入力部３ａから出力される画像情報が入力する顔検出部３ｂと、顔検出部３ｂから出力される検出情報を入力する情報保存部３ｃとが設けられている。さらに、情報保存部３ｃには、信頼度設定部３ｄと、紐付け部３ｅと、追跡情報処理部３ｆと、検出情報補間部３ｇとがそれぞれデータの入出力可能に接続されている。また、検出情報補間部３ｇから出力される補間情報は追跡情報処理部３ｆに入力する。なお、情報保存部３ｃはハードディスクを用いることができ、他のものはＩＣチップやコンピュータのプログラム処理を用いた公知の回路により構成することができる。また、後記する変動幅設定部３ｈが設けられている。

顔検出部３ｂは、入力される画像に対して公知の顔検出処理を行って人物の顔部分を検出し、その顔検出情報を情報保存部３ｃに出力する。情報保存部３ｃは、入力される顔検出情報を所定期間保存するとともに、信頼度設定部３ｄ及び紐付け部３ｅで処理された各データを保存する。信頼度設定部３ｄは、情報保存部３ｃに時系列で保存されている各検出情報に対して各検出対象の同一性の目安となる信頼度をそれぞれ設定し、各検出情報に対応した信頼度設定値を情報保存部３ｃに出力する。各信頼度設定値は、対応する各検出情報に関連付けられて情報保存部３ｃに保存される。紐付け部３ｅは、情報保存部３ｃに保存されている各信頼度設定値に基づいて各検出情報の紐付けを行い、紐付けされた紐付け情報を情報保存部３ｃに出力する。紐付け情報は、順次、情報保存部３ｃに保存される。

追跡情報処理部３ｆは、情報保存部に３ｄに保存された信頼度設定値及び紐付け情報に基づいて、各検出情報における顔検出が同一であると判断される追跡情報を出力する。検出情報補間部３ｇは、情報保存部３ｃに保存されている検出情報に含まれる信頼度情報及び紐付け情報に基づいて紐付け情報を拡張する補間処理を行い、その補間処理された補間情報を追跡情報処理部３ｆに出力する。追跡情報処理部３ｆでは、作成した追跡情報に関連する補間情報が入力された場合にはその補間情報を加味した新たな追跡情報を作成して出力する。

図２は、本発明に基づく顔検出の時系列変化を示す図である。図に示される実線の矩形枠は、カメラ２で撮影された画像１１の大きさ（撮影範囲）である。なお、カメラ２による撮影間隔は例えば３０フレーム／秒であってよく、図では時間経過に応じて入店者が店の中（画像の手前）に移動してくる場合の任意のフレームに対応する画像を（ａ）〜（ｄ）により示しており、図示以外に連続するフレームに対応する複数の画像が存在する。

図２（ａ）は、２人の大人Ａ１・Ａ２と１人の子供Ｃ１との３人が略同時に入店してきた状態である。例えば図２（ａ）の前の状態では図１に示されるように入口１の扉のみが写っていて、その状態から図２（ａ）の状態になると、画像入力部３ａにより公知の画像処理により移動物体としての入店者を認識することができる。画像入力部３ａは、入店者を認識した場合には、画像情報を１フレームずつ顔検出部３ｂに出力し、入店者の顔検出を行う。

顔検出部３ｂでは、例えば図２（ａ）の画像１１から顔を検出し、顔が検出された場合には本実施の形態では検出枠Ｆ１・Ｆ２を設定する。顔検出に対しては、検出枠Ｆ１・Ｆ２の設定は説明上のものであり、マークや座標等の情報として処理してもよい。この図２（ａ）の例では、２人の大人Ａ１・Ａ２に対しては顔検出できたが、子供Ｃ１に対しては顔検出できなかった場合であるが、次の図２（ｂ）〜（ｄ）では子供Ｃ１に対しても顔検出ができ、その検出枠Ｆ３を設定している。このようにして顔検出がされた場合には、各人の移動に応じて、図２（ａ）〜（ｄ）に示されるように各検出枠Ｆ１〜Ｆ３が画像１１内を移動し、それら各検出情報が、顔検出枠候補数に基づく検出信頼度（信頼度レベル）と共に時系列で情報保存部３ｃに保存される。

図３は、図２で顔検出された検出情報に対する信頼度の設定例を示す図である。図では、横軸方向が信頼度であり、縦軸方向が時間経過である。各実線の矩形枠は図２で示した画像１１に対応する。本実施の形態では信頼度の高低の全範囲を４段階に区分しており、図の右側から低・中・高・最高の各信頼度区分とし、信頼度区分別に、図３の（ａ）から（ｄ）に至る向きに時間経過を示している。なお、図３（ａ）〜（ｄ）は、図２（ａ）〜（ｄ）にそれぞれ対応する。

図３の信頼度区分別に各顔検出を区分するために、信頼度設定部３ｄにより各顔検出の信頼度を設定する。例えば、信頼度レベルは、顔検出を実行して得られた各人物の顔検出枠候補数を用いて設定することができる。この場合、顔検出は、一般的に、様々な顔テンプレートを用意しておき、入力画像の解像度を色々変更して、上記テンプレートとの類似度を計算し、所定の類似度以上のものを顔検出枠候補として出力する。各人物に対して、最大で、顔テンプレート数×解像度分の顔検出枠候補が出てくるため、この顔検出枠候補数を信頼度レベルとして使用することができる。図３の例は、信頼度区分の各区分幅の大きさを例えば７とした場合を表しており、信頼度７以下を信頼度区分の「低」とし、同様に、８〜１４を「中」、１５〜２１を「高」、２２以上を「最高」とするように区分できる。なお、区分数は任意であり、４区分に限られない。

図２（ａ）は上記したように入店直後の状態であり、その場合には入口１のドアが開いた状態で、入口１側から外光が入射するとカメラ２からは逆光となり、顔検出が困難となる。そのような図２（ａ）に示される状態に相当する例えば１秒間で、人物Ａ１の顔検出された顔検出枠候補数が例えば１６の場合には、信頼度レベルは１６となり、図３（ａ）に示されるように信頼度区分「高」に検出枠Ｆ１が割り当てられる。一方、人物Ａ２が例えば色黒の人種の人や日焼けした人であって、より一層顔検出が困難になり、顔検出された顔検出枠候補数が３となった場合には、信頼度レベルが３であり、図３（ａ）に示されるように信頼度区分「低」に割り当てられる。なお、図３（ａ）の信頼度区分「中」に破線で示された検出枠Ｆｅは顔検出と判定されず、誤検出となった場合を表している。図では検出枠Ｆｅを示したが、表示しなくてもよい。

次の図２（ｂ）は例えば入口１のドアが閉じられた状態であり、その場合には店内照明により各人の顔が照射されるようになり、その状態に相当する１秒間で、人物Ａ１の顔検出枠候補数が例えば２７になり、信頼度レベルが２７となった場合には、図３（ｂ）に示されるように信頼度区分「最高」に検出枠Ｆ１が割り当てられる。なお、図２（ａ）と図２（ｂ）との間での検出枠Ｆ１が同一人物であると判定するのは、時間経過と位置情報とに基づいて判断することができ、特に顔検出における特徴抽出の一致を判断するようにしなくてもよい（以下同様）。

一方、人物Ａ２のように顔検出が困難な場合には、図２（ｂ）の状態になっても顔検出枠候補数が例えば５で、信頼度レベルが５となる場合には、図３（ｂ）に示されるように信頼度区分「低」に検出枠Ｆ２が割り当てられる。また、図２（ｂ）の状態で人物Ｃ１の顔が検出され、その顔検出枠候補数が例えば１３となって信頼度レベルが１３になった場合には、図３（ｂ）に示されるように、その検出枠Ｆ３が信頼度区分「中」に割り当てられる。

図２の（ｃ）と（ｄ）との各状態では、人物Ａ１の信頼度レベルが２３と１６とになった場合には検出枠Ｆ１は信頼度区分「最高」と「高」とにそれぞれ割り当てられ、人物Ａ２の信頼度レベルが４と３とになった場合には検出枠Ｆ２は信頼度区分「低」にそれぞれ割り当てられ、人物Ｃ１の信頼度レベルが１２と７とになった場合には信頼度区分「中」と「低」とにそれぞれ割り当てられる。そして、後述するように、各信頼度区分に割り当てられた各検出枠Ｆ１・Ｆ２・Ｆ３に対して、順次信頼度区分ごとに紐付け処理を行う。

図４は、顔検出変動幅（信頼度区分の区分幅）の設定を説明するための図である。上記の顔検出候補数は、顔の向き、照明条件の違いによって値が変化する。このため、代表人物（Ｐ１）を実際にカメラ２で撮影し、かつ店内で取り得る行動パターンに応じた顔検出を行い、その結果に応じて顔検出変動幅の設定を行なう。

図４（ａ）は、人物Ｐ１が入口１に入ってきてカメラ２に正対している状態の画像１１を示す図である。図４（ａ）の顔検出枠Ｆ４で示されるように顔検出が行われたことを例えば追跡制御装置３に接続されているモニタ（図示省略）で確認したら、変動幅設定部３ｈにおいて設定者が図示しない操作手段により指示入力を行う。この指示入力の操作信号に従って、その時の顔検出（Ｆ４）を情報保存部３ｃに保存する。

図４（ｂ）は、人物Ｐ１が図４（ａ）の状態で顔を横に向けた状態の画像１１を示す図である。この場合には、設定者が人物Ｐ１に「顔を左右に向けて下さい。」というような指示を出し、顔を様々な方向に向けた状態での顔検出を行い、上記と同様に保存する。図４（ｃ）は、人物Ｐ１が図４（ａ）の状態からカメラ２に近付いた状態の画像１１を示す図（照明の違いを示す図）である。この場合も、設定者が人物Ｐ１に「正面を向いたまま手前に歩いて下さい。」というような指示を出し、カメラ２にある程度近付いて正対する状態での顔検出を行い、上記と同様に保存する。

このようにして顔検出された各画像１１における信頼度をそれぞれ求め、それらの変動幅に基づき、実際の環境での顔検出変動幅としての信頼度区分の幅を決める。例えば、図４（ａ）の状態のものが信頼度区分「最高」に区分され、（ｂ）・（ｃ）の状態のものが信頼度区分「高」に区分されるように信頼度区分の幅を決めることができる。なお、上記図４（ａ）〜（ｃ）は一例であり、店内レイアウト等の違いに応じて異なる行動パターンについて顔検出及び設定を行うとよい。また、他の環境の違い（例えば昼夜）に応じて信頼度区分の幅を変えたものを複数用意し、環境の違いに応じて切り替えるようにしてもよい。また、音声ガイダンス等に従って、図４（ｂ）・（ｃ）に対応する各画像１１が取得された際に、モニタ上に「現環境での変動幅は、５です」といった表示を行い、この表示された変動幅値を参考にして、設定者が任意の信頼度区分の幅を決定してもよい。

なお、信頼度区分の各幅（信頼度の範囲）の設定については、上記例では７としたが、予め種々の環境の変化に対して標準的な人物をサンプルとしてデータを取得し、それに基づいて幅の大きさを設定するとよい。さらに、照明の明るさ等を加味し、信頼度区分の数や幅を変えるとよい。例えば、最高の条件で信頼度が２４までしかならないような場合には、区分幅を６にするとよい。

また、信頼度レベルが高い人物より、信頼度レベルが低い人物の方がレベルの変動が小さいと仮定して、１６〜２５を「最高」、８〜１５を「高」、４〜８「中」、０〜３「低」のように、区分幅を異なるように設定してもよい。高い信頼度レベルの人物の場合には環境変化により信頼度レベルが大きく変化して信頼度区分が変わり得るが、その同じ環境変化でも低い信頼度レベルの人物の場合には信頼度レベルの変化も小さいため信頼度区分が変わり難い。それに対して、上記したように区分幅を信頼度レベルの低い方で狭くすることにより、信頼度レベルの変化が小さい低レベルで変動する人物の場合でも異なる信頼度区分になり得る。これにより、多くの人物が登場する場合（混雑時等）に同じ信頼度区分に多くの人物が入るのを防止することができ、区分毎の処理数が減ることにより、個々の処理能力を上げて追跡の高精度化を図ることができる。

図５は、顔検出された対象の紐付け処理の要領を示す説明図である。図５の（ａ）〜（ｄ）は図３の（ａ）〜（ｄ）に対応し、図５の（ｅ）〜（ｈ）は（ａ）〜（ｄ）の期間Ｔ１に続く期間Ｔ２を示す。両期間Ｔ１・Ｔ２は同一の一定期間であり、紐付け処理に際しては、時間と位置関係から両期間Ｔ１・Ｔ２を跨いだ紐付け処理も行うことができる。

顔検出された対象の紐付け処理は、信頼度の高いものから順（「最高」→「高」→「中」→「低」）に、信頼度区分ごとに、追跡情報処理部３ｆが行う第１の処理と、検出情報補間部３ｇが行う第２の処理とが繰り返し実行されるようになっている。これら一連の紐付け処理において、各紐付けが確定する度に顔検出情報を消去するようにして、保存情報が無くなるまで繰り返すような情報管理部を情報保存部３ｃに設けてもよい。

以下、図５に記載の例にしたがって説明する。まず、追跡情報処理部３ｆにより、第１の処理として、期間Ｔ１の信頼度区分「最高」に対して、（ａ）から時系列で同一の顔検出対象が続いているものが検出され、連続する（ｂ）・（ｃ）に同一の顔検出対象（検出枠Ｆ１：以下検出枠は省略する）が紐付けられる（紐付けＳ１）。

次いで、検出情報補間部３ｇにより、第２の処理として、期間Ｔ２や信頼度区分「高」での検出枠Ｆ１に対して、時間と位置関係に基づいて、紐付けＳ１への補間処理が行われる。

同様に、期間Ｔ１の信頼度区分「高」に対しても同様に行うが、信頼度区分「高」に検出された同一の顔検出対象（Ｆ１）は（ａ）と（ｄ）とに現れており、追跡情報処理部３ｆは、第１の処理で紐付く対象はないと判断し、本区分での紐付け処理は終了する。ここで、例えば（ａ）と（ｃ）とに現れるようなとき、位置的に近い場所である場合には紐付け対象と判断される。

続いて、期間Ｔ１の信頼度区分「中」に対しても同様に行う。この場合には、（ｂ）・（ｃ）に人物Ｃ１の検出枠Ｆ３が割り当てられており、連続して同一信頼度区分「中」にあることから、それらは追跡情報処理部３ｆにより、第１の処理として紐付けされる（Ｓ３）。次いで、検出情報補間部３ｇにより、第２の処理として、期間Ｔ２や信頼度区分「低」での検出枠Ｆ３に対して、時間と位置関係に基づいて、紐付けＳ３への補間処理が行われる。

そして、期間Ｔ１の信頼度区分「低」に対しても同様に行い、図に示されるように（ａ）〜（ｄ）に人物Ａ２の検出枠Ｆ２が割り当てられており、それらが追跡情報処理部３ｆにより、第１の処理として紐付けされる（Ｓ２）。この例では、検出情報補間部３ｇにより、第２の処理として、紐付けＳ２への補間処理は行われていないが、時間と位置関係に基づいて近いものがあれば、補間処理が行われる。

このようにして顔検出された対象の紐付け処理は、信頼度区分ごとに、追跡情報処理部３ｆが行う第１の処理と、検出情報補間部３ｇが行う第２の処理とが繰り返し実行され、紐付けＳ１〜Ｓ３及びその補間情報は、追跡情報として外部に出力されると共に、情報保存部３ｃに保存される。外部出力対象としては、モニタに表示させる画像処理回路であってよく、例えば検出枠Ｆ１〜Ｆ３の表示や紐付けＳ１〜Ｓ３に基づく軌跡の表示等を行うことができる。

このように、同一期間Ｔ１に対して信頼度の高い方から順番に同一の信頼度区分の連続する画像に同一対象の顔検出がされているものベースに紐付け処理する。これにより、高い信頼度区分で紐付けされた人物（移動物体）の追跡の信頼度に対して何等問題が無いだけではなく、低い信頼度区分で紐付けされた人物（移動物体）に対しても、個々の信頼度が低くても同一の信頼度区分で連続して検出されていることから、同一対象であるとして問題無く、その人物（移動物体）の追跡を確定することができる。

従来の顔検出において閾値以上のものを対象とした場合には、本実施の形態の人物Ａ２のように検出精度（信頼度）が低い対象に対しても検出するには閾値を下げることになり、それにより誤検出が増えてしまい、確実な追跡が困難となる。それに対して、信頼度区分別に検出対象を紐付けすることにより、検出精度（信頼度）の低い対象に対する追跡精度を高めることができる。この場合、図３に示されるように誤検出（Ｆｅ）が生じても、それら各検出枠Ｆｅが同一信頼度区分で連続しなかったり、図３（ｂ）・（ｃ）のように連続しても検出位置が通常の移動では有り得なかったりしていることにより、それらを検出対象から外すことができ、より一層検出精度を高めることができる。

また、図５の破線で示されるように、確定した紐付けＳ１に異なる信頼度区分（高）に割り当てられている同一検出対象（Ｆ１）を補間するようにしているので、追跡情報処理部３ｆにより紐付けＳ１の対象を拡げることにより、同一対象の追跡期間を長くすることができる。検出対象Ｆ３に対しても、同様に図５の（ｄ）のＦ３などを補間するようにしているので、同一対象の追跡期間を長くすることができる。

さらに、検出情報補間部３ｇは、期間Ｔ１に対する補間処理のみでなく、次の期間Ｔ２に対しても補間処理を行うようにしている。これにより、図５の（ｅ）〜（ｇ）に示される各検出対象（Ｆ１・Ｆ３）が、図の破線に示されるように対応する各紐付けＳ１・Ｓ３にそれぞれ紐付けられる。これにより、各紐付けＳ１・Ｓ３に時間経過に伴って順次紐付けが行われ、同一対象の追跡をより長く続けることができる。なお、（ｇ）・（ｈ）の検出対象（Ｆ２）は紐付けＳ２とは時間と位置関係において近くないため、その場合には補間処理は行われない。

図６は、追跡情報の出力として軌跡描画の例を示す図である。図６（ａ）〜（ｃ）は、期間Ｔ１において上記信頼度区分別の高信頼度から確定した追跡情報を順次表示する例である。図６（ａ）に示されるように、先ず信頼度区分の高い方で確定した紐付けＳ１とその紐付けＳ１に補間処理により紐付けされた対象の各検出枠Ｆ１の画像１１内での軌跡を実線で表示する。例えば、モニタ画面上では赤色の実線表示としてもよい。

図６（ａ）の状態では、信頼度区分「中」・「低」に対しては各紐付けＳ３・Ｓ２に対しては追跡が確定しないため、それらに対しては破線で表示する。紐付けＳ１の追跡描画処理が終了したら、次に高い信頼度区分「中」で紐付けされた紐付けＳ３に対して上記補間処理により追跡が確定した場合には、図６（ｂ）に示されるように軌跡を実線で表示する。この場合には、信頼度区分「低」の紐付けＳ２に対しては追跡が確定していないため、未だ破線の表示のままである。

そして、次に高い信頼度区分「低」に対する処理を行い、図示例では期間Ｔ１の全てに亘る紐付けＳ２により補間処理は行われず、その紐付けＳ２に対して追跡が確定する。それにより、図６（ｃ）に示されるように紐付けＳ１による軌跡を実線で表示する。このようにして、例えばモニタ画面上で、追跡が確定したものから順次破線から実線に切り替わって表示されるため、人物の追跡を視覚的に容易に確認することができる。

このようにして紐付けされた紐付け情報をサーバ等に保存し、紐付けＳ１〜Ｓｎの数ｎを確認することにより、店舗などでは、入店者数のより確実な数を容易に把握することができる。また、各軌跡の状態を検討することにより、入口からの動線の傾向により、陳列棚のレイアウトの指針としても有効活用し得る等、本発明による効果は大である。

以上、本発明を、その好適実施形態の実施例について説明したが、当業者であれば容易に理解できるように、本発明はこのような実施例により限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。例えば、人物を対象としたが、移動物体であればよく、動物の他、例えば乗り物にも適用でき、薄暮時の無灯火車両の追跡も可能となる。また、上記実施形態に示した構成要素は必ずしも全てが必須なものではなく、本発明の趣旨を逸脱しない限りにおいて適宜取捨選択することが可能である。

本発明にかかる物体追跡装置は、例えば人物の移動を顔検出で行う場合に、光の照射方向や体格・人種等の影響を受けることなく、確実に移動の追跡を行うことができ、監視カメラ等として有用である。

２カメラ
３追跡制御装置
３ａ画像入力部
３ｂ顔検出部
３ｃ情報保存部
３ｄ信頼度設定部
３ｅ紐付け部
３ｆ追跡情報処理部
３ｇ検出情報補間部

Claims

撮像手段により撮影された時系列の画像から移動物体を検出する移動物体検出手段と、
前記移動物体検出手段により検出された前記移動物体の時間経過に応じて変化する検出信頼度を含む検出情報を順次保存する検出情報保存手段と、
前記検出信頼度の高さに応じて区分した複数の信頼度区分別に前記検出信頼度を所定の一定期間の単位で保存する検出信頼度保存手段と、
前記検出情報保存手段に保存された前記一定期間内での前記移動物体を追跡する移動物体追跡手段とを有し、
前記移動物体追跡手段は、
前記移動物体が前記一定期間内で同じ前記信頼度区分に連続して検出された場合には当該連続して検出された前記移動物体同士の紐付けを行う第１の処理と、前記移動物体が前記第１の処理の前記信頼度区分とは異なる前記信頼度区分で検出された場合には当該異なる信頼度区分に検出された前記移動物体に対しても前記同一の移動物体であるとする紐付けを行う第２の処理とを行い、
前記第１及び第２の処理を前記信頼度区分別に信頼度の高い方から順次行い、かつ前記紐付けに基づいて前記移動物体を追跡することを特徴とする物体追跡装置。
前記信頼度区分の数が、前記移動物体の検出に影響を及ぼす環境の違いに応じて設定されることを特徴とする請求項１に記載の物体追跡装置。
前記信頼度区分の幅が、前記移動物体の検出に影響を及ぼす環境の違いに応じて設定されることを特徴とする請求項１に記載の物体追跡装置。
前記信頼度区分の幅が、前記検出情報保存手段により前記一定期間で同一の前記信頼度区分に保存される前記検出情報の数に応じて設定されることを特徴とする請求項１または請求項２に記載の物体追跡装置。
前記カメラの設置状態で、前記環境の違いを再現した複数の状態に応じて前記信頼度区分の幅を設定することを特徴とする請求項２乃至請求項４のいずれかに記載の物体追跡装置。
前記移動物体追跡手段が、前記移動物体の前記信頼度区分別に前記紐付けが行われたものから軌跡を描画可能な情報を出力することを特徴とする請求項１乃至請求項５のいずれかに記載の物体追跡装置。
撮像手段により撮影された時系列の各画像から移動物体を検出し、前記検出された前記移動物体の時間経過に応じて変化する検出信頼度を含む検出情報を順次保存し、前記検出信頼度の高さに応じて区分した複数の信頼度区分別に前記検出信頼度を所定の一定期間の単位で保存し、前記保存された前記一定期間内での前記移動物体を追跡する物体追跡方法であって、
前記信頼度区分別に信頼度の高い方から順次、同じ前記信頼度区分に続けて検出された前記移動物体に対して同一の移動物体であるとする第１の紐付けを行い、次に異なる前記信頼度区分で保存されていた前記移動物体が時系列から前記紐付けが行われた前記移動物体と同じ移動物体である場合には当該異なる信頼度区分に保存されていた前記移動物体に対しても前記同一の移動物体であるとする紐付けを行い、前記第１及び第２の処理手段を前記信頼度区分別に信頼度の高い方から順次実行し、かつ前記紐付けに基づいて前記移動物体を追跡することを特徴とする物体追跡方法。