JP3927980B2 - 物体検出装置、物体検出サーバおよび物体検出方法 - Google Patents

Description

本発明は、人や物等の所定の検出対象について、画像の中で、その正確な位置や姿勢等を検出する技術に関する。

特許文献１には、監視カメラの向きやズームの制御を発信機の接近に応じて行う技術が開示されている。具体的には、監視対象となる人にＩＤコードを発する電波発信機を付け、立ち入り禁止区域に発信機の接近を検知するアンテナを設置し、発信機の接近をアンテナで検知したとき、複数の監視カメラの中から、アンテナの位置付近を撮影可能な監視カメラを自動的に選択し、選択したカメラの映像を監視モニタに表示する。また、発信機が有するＩＤコードをアンテナを介して読み込み、このＩＤコードに予め対応付けられた人の身長を用いて、監視カメラの向きの設定やズームの設定を行う。
特開平９−４６６９４号公報

近年、インターネットの普及に伴い、監視カメラをインターネットに接続して映像の伝送を行う監視システムが利用され始めている。このようなシステムは、専用線を用いたシステムに比べて、コストが低く、しかも、監視カメラの設置が容易である。ところが、このようなシステムでも、映像をモニタするオペレータはやはり必要となる。このため、今後は、監視対象を自動的に映すだけではなく、有用な情報を画像から自動的に取り出せる技術が望まれている。

また、昨今のロボット技術の進歩から、人間の生活を支援するための家庭内ロボットもその実現が期待されている。このようなロボットには、自分自身の周辺の様子を検知し、周辺の様子に合わせて行動する、といった機能が必須となる。例えば、家の中での移動や人や物体に対する作業を適切に行うためには、ロボットは、周囲の人や物の位置、姿勢、動きを正確に検出できなければならない。そうでなければ、移動や作業を正確に行うことができず、人間の生活支援を行うどころではない。

また、ハンディムービー、デジタルカメラ、カメラ付き携帯電話などの携帯型撮影機器の普及に伴い、たとえ撮影に不慣れなユーザであっても、被写体を適切に撮影できることが望まれてきている。このためには、撮影の対象の位置等を正確に検出することが重要となる。

ところが、上述の従来技術では、このようなニーズに応えることは難しい。すなわち、上述の技術では、発信機の接近に応じて、検出対象が映るカメラを選択しているだけであって、映された画像の中で、検出対象がどこにいるのか、どのような姿勢をとっているのか、といった詳細な情報までは取得できない。また、アンテナを用いて位置を特定するため、位置情報に比較的大きな誤差（数ｍ〜十数ｍ）が生じ、したがって、検出対象の付近に他の人間がいるような場合に、画像の中で両者を識別することは困難である。

また、従来から、カメラ画像から画像処理のみを用いて物体検出を行う技術はいくつか知られているが、そのほとんどは、非常に限定された条件下では使用に耐えるものの、人間が普段生活するような環境下では誤検出が多発してしまい、その適用は困難である。これは、カメラ自身のダイナミックレンジの制限や、検出対象以外の多種多様な物体や背景の存在、または、日照や照明の変化によって、たとえ同一場所の同一対象であってもその映像が多種多様に変化すること、などに起因する。

人間の視覚機構は、経験を通じて得た膨大な知識や規則を活用して、変化の大きい環境下でも正確な検出を行うことができるが、装置に人間と同様の知識や規則を組み込むことは、現状ではきわめて困難である。また、そのような処理には、膨大な処理量とメモリが必要になり、処理時間やコストの上昇をもたらすという問題も生じる。

前記の問題に鑑み、本発明は、画像の中で、検出対象の位置や姿勢等を、精度良く、しかも、膨大な処理量を要することなく、検出できる物体検出技術を提供することを目的とする。

本発明は、物体検出方法として、少なくとも複数の移動体を含む画像を撮像する撮像ステップと、前記複数の移動体のうちの所定の対象に付属した情報タグから発信された少なくとも前記情報タグの位置情報を含むタグ情報を受信するタグ通信ステップと、前記タグ通信部によって受信されたタグ情報を用いて、前記撮像部によって撮像された画像中の前記情報タグの位置情報を取得し、当該取得した位置情報を参照して、画像処理を行うことにより、前記画像の中で、前記所定の対象を検出する対象検出ステップとを備え、前記対象検出ステップは、前記タグ情報を用いて、前記画像中の前記情報タグの位置情報を取得し、当該取得した位置情報と、前記複数の各移動体について、画像処理を用いて取得した、前記画像中の前記移動体が含まれる可能性がある領域とを参照して、前記画像の中で、前記所定の対象が含まれる可能性のある部分画像領域を決定する画像切り出しステップと、前記画像切り出しステップによって決定された部分画像領域において、前記所定の対象の検出を行う画像認識ステップとを備えたものである。

これにより、対象検出ステップは、撮像部によって撮影された画像の中で、所定の対象を検出する際に、この所定の対象に付属した情報タグから発信されたタグ情報を用いる。すなわち、画像からでは得られないような情報を、タグ情報から得たり、あるいはタグ情報を基にして参照したりすることができ、これを画像処理に活かすことができる。したがって、膨大な処理量を要することなく、画像の中から、所定の対象を精度良く検出することができる。

また、前記本発明に係る物体検出方法において、前記対象検出ステップは、前記所定の対象が存在する３次元空間における位置座標と前記画像中の座標との対応付けを予め行い、当該対応付けを参照することにより、前記タグ情報を用いて、前記画像中の前記情報タグの位置情報を取得することが好ましい。

そして、前記本発明に係る物体検出方法において、前記タグ情報は、前記所定の対象の属性を表す属性情報を含み、前記対象検出ステップは、前記タグ通信ステップによって受信されたタグ情報が含む属性情報を用いて検出を行うのが好ましい。

また、前記本発明に係る物体検出方法において、前記タグ情報は、前記所定の対象のＩＤ情報を含み、当該物体検出方法は、前記タグ通信ステップによって受信されたタグ情報が含むＩＤ情報を用いて、属性記憶部が記憶するＩＤ情報と属性情報との対応関係を参照し、前記所定の対象の属性情報を得る属性参照ステップとを備え、前記対象検出ステップは、前記属性参照ステップによって得られた属性情報を用いて検出を行うのが好ましい。

また、前記本発明に係る物体検出方法において、前記タグ通信ステップは、さらに、前記タグ情報の受信状態から前記情報タグの位置を推定するものであり、前記画像切り出しステップは、前記タグ通信ステップによって推定された位置を参照して検出を行うのが好ましい。

また、前記本発明に係る物体検出方法において、前記タグ情報は、前記所定の対象の検出処理手続きを含み、前記対象検出ステップは、前記タグ通信ステップによって受信されたタグ情報が含む前記検出処理手続を実行することによって検出を行うのが好ましい。

また、前記本発明に係る物体検出方法において、前記対象検出ステップは、前記タグ通信ステップの受信状態が不良であるとき、前記タグ情報を用いないで、画像処理のみによって、検出を行うのが好ましい。

また、本発明は、物体検出装置として、少なくとも複数の移動体を含む画像を撮像する撮像部と、前記複数の移動体のうちの所定の対象に付属した情報タグから発信された少なくとも前記情報タグの位置情報を含むタグ情報を受信するタグ通信部と、前記タグ通信部によって受信されたタグ情報を用いて、前記画像中の前記情報タグの位置情報を取得し、当該取得した位置情報を参照して、画像処理を行うことにより、前記画像の中で、前記所定の対象を検出する対象検出部とを備え、前記対象検出部は、前記タグ情報を用いて、前記画像中の前記情報タグの位置情報を取得し、当該取得した位置情報と、前記複数の各移動体について、画像処理を用いて取得した、前記画像中の前記移動体が含まれる可能性がある領域とを参照して、前記画像の中で、前記所定の対象が含まれる可能性のある部分画像領域を決定する画像切り出し部と、前記画像切り出し部によって決定された部分画像領域において、前記所定の対象の検出を行う画像認識部とを備えたものである。

また、本発明は、物体検出サーバとして、少なくとも複数の移動体を含む撮像部によって撮像された画像と、前記複数の移動体のうちの所定の対象に付属した情報タグが発信する少なくとも前記情報タグの位置情報を含むタグ情報とを、受け、前記タグ情報を用いて、前記画像中の前記情報タグの位置情報を取得し、当該取得した位置情報を参照して、画像処理を行うことにより、前記画像の中で、前記所定の対象を検出するものであり、前記所定の対象の検出において、前記タグ情報を用いて、前記画像中の前記情報タグの位置情報を取得し、当該取得した位置情報と、前記複数の各移動体について、画像処理を用いて取得した、前記画像中の前記移動体が含まれる可能性がある領域とを参照して、前記画像の中で、前記所定の対象が含まれる可能性のある部分画像領域を決定し、前記決定された部分画像領域において、前記所定の対象の検出を行うものである。

本発明によると、画像と、所定の対象に付属した情報タグから発信されたタグ情報とを統合して利用することによって、屋外のような照明条件の変化の激しい場所や、複数の人や物がいるような状況であっても、対象を画像の中で正確に検出でき、その姿勢や動き等を特定できる。しかも、処理量の増加を抑えることができるので、画像処理のみを行う場合に比べて、処理時間やコストが格段に小さくなる。

以下、本発明の実施の形態について、図面を参照して説明する。なお、複数の図面に共通の構成要素については、同一の符号を付し、その詳細な説明を省略する場合がある。

（第１の実施形態）
図１は本発明の第１の実施形態に係る物体検出装置の構成例を示すブロック図である。図１の構成では、人Ｐが所定の検出対象になっている。図１において、１２は人Ｐに付属した情報タグ１１が発信するタグ情報を受信するタグ通信部、１３は画像を撮像する撮像部、１４はタグ通信部１２によって受信されたタグ情報を用いて、撮像部１３によって撮像された画像の中で、人Ｐを検出する対象検出部である。撮像部１３は人Ｐを含む画像が撮像できる位置に設置されている。

図２は情報タグ１１の内部構成を概念的に示すブロック図である。図２において、通信部１１０は電波、音波または光などを媒介としてタグ通信部１２と非接触に通信を行い、所定のタグ情報を送信する。記憶部１１１はタグ情報として、例えば情報タグ１１が付属する人Ｐの属性（身長、年齢、性別など）情報やＩＤ情報等を記憶する。位置検出部１１２は例えばＧＰＳ（Global Positioning System ）などの人工衛星を用いた測位システムによって情報タグ１１の位置を検出し、タグ情報として出力する。情報タグ１１は記憶部１１１および位置検出部１１２から出力されたタグ情報を、通信部１１０によって発信する。

情報タグ１１は例えば、人Ｐが持つ携帯電話に付属されているものとする。なお、記憶部１１１および位置検出部１１２は両方用いてもよいし、いずれか一方のみを用いてもよい。また、位置情報を得るための測位システムとしては、ＧＰＳの他に、例えば携帯電話やＰＨＳの基地局までの距離計測に基づいたシステムなどを利用してもよい。

また図１の構成では、ＩＤ情報と属性情報との対応関係を記憶する属性記憶部１６と、タグ通信部１２によって受信されたタグ情報が含むＩＤ情報を用いて属性記憶部１６の記憶内容を参照し、人Ｐの属性情報を得る属性参照部１５とを備えている。

ここで、ＩＤ情報とは、各対象と予めそれぞれ対応付けられている記号または符号のことをいう。ＩＤ情報は、対象の個体毎に付してもよいし、対象が属するカテゴリ毎に付してもよい。例えば、本実施形態のように対象が人の場合には、各個人毎に異なるＩＤ情報を与えてもよいし、あるいは世帯毎に異なるＩＤ情報を与え、同一世帯に属する人には共通のＩＤ情報を付与するようにしてもよい。また、対象が物、例えばペンの場合には、ペン１本ごとに異なるＩＤ情報を付与しても良いし、色や形毎に異なるＩＤ情報を付与し、同じ色や形のペンには共通のＩＤ情報を付してもよい。

また対象検出部１４は、タグ通信部１２によって得られたタグ情報、または属性参照部１５によって得られた属性情報、あるいはその両方を用いて、撮像部１３によって得られた画像から人Ｐを検出する。対象検出部１４は画像切り出し部１４１および画像認識部１４２を有する。

画像切り出し部１４１は、撮像部１３によって得られた画像の中で、人Ｐが含まれる可能性のある部分画像領域を決定する。ここで、上述したように情報タグ１１の位置検出にＧＰＳ等を用いる場合、大きな誤差は発生しにくいものの、高精度の位置検出や、姿勢または顔位置などの詳細情報の取得は困難である。これは、センサの原理的な精度の限界や、実使用環境下での誤差や外乱の影響、および、使用できるセンサの数が事実上制限されること、などに起因する。一方、画像処理の場合、理想的な条件下（照明にむらや変化が少なく、限られた物体のみしか写らない場合など）では比較的高精度で部分画像領域を決定しうるものの、屋外の映像のように、様々な物体が存在したり、照明条件が変動したりする場合には、誤検出が起こりやすい。

そこで、画像切り出し手段１４１が、タグ情報や属性情報を画像と統合して用いることによって、より高い精度で部分画像領域を決定することができる。なお、部分画像領域は、複数個決定してもよいし、検出対象が存在し得ない場合は、検出されない場合もあり得る。

また画像認識部１４２は画像切り出し部１４１によって決定された部分画像領域において、人Ｐが存在するか否か、および、存在するときはその位置や姿勢、動きを検出する。上述したように、情報タグ１１からの位置情報は、大きな誤差は発生しにくいものの、そこから高精度の情報や詳細情報を得ることは困難である。一方、画像処理のみでは、不特定多数の人を高精度で検出することは困難である。ここで、画像認識部１４２がタグ情報または属性情報として例えば人Ｐの身長を用いることによって、画像認識処理の精度が向上する。例えば認識手法としてテンプレートマッチングを用いる場合、テンプレートのサイズを人Ｐの身長に応じて設定することができる。これにより、検出精度が向上するとともに、認識処理に用いるテンプレートが限定されるので、処理量も軽減できる。

このように、図１の構成によると、タグ通信部１２によって受信されたタグ情報や、属性参照手段１５によって得られた属性情報を、画像と併せて利用することによって、画像の中で、所定の対象である人Ｐを、処理量の増大を抑えつつ、且つ、高い精度で、検出することができる。

図３は本実施形態に係る物体検出の処理の流れを示すフローチャートである。ここで、画像を用いた処理（Ｓ２，Ｓ３，Ｓ４）と情報タグを用いた情報取得処理（Ｓ５，Ｓ６，Ｓ７）とは並列に行い得る。図３において、まず最初に、特定の対象を検出する指令を出す（Ｓ１）。対象の指定は、システムの使用者が行ってもよいし、被検出者が自ら行ってもよい。また、時刻や場所に対応させて自動的に対象を指定するようにしてもよいし、情報タグからタグ情報が取得できる対象を全て指定するようにしてもよい。

次に、検出対象を撮影するカメラを特定する（Ｓ２）。後述のように複数のカメラを用いる場合は、対象を撮影し得るカメラを全て選択する。ここでは、検出対象を映す可能性のあるカメラを予め指定しておいてもよいし、後述するステップＳ７で得られた情報タグの位置情報を用いて、カメラを選択してもよい。その後、ステップＳ２で特定したカメラから画像を取得する（Ｓ３）。

一方、指定した対象と対応付けられた情報タグを特定する（Ｓ５）。その後、特定した情報タグからタグ情報を取得する（Ｓ６）。そして、取得したタグ情報から対象に関する情報を取得する（Ｓ７）。ここで取得される情報としては、例えば、属性記憶部１６から読み出された身長、年齢、性別などの属性情報や、タグ情報が含む位置情報等がある。そして最後に、ステップＳ７で得た所定の情報を用いて、ステップＳ３で取得した画像から、対象の位置などの詳細情報を特定する（Ｓ４）。

図４はステップＳ４における処理の一例を示すフローチャートである。まず、画像内の動きベクトルを計算する（Ｓ４１）。次に、ステップＳ４１で求めた動きベクトルを用いて、画像内で同じ方向に移動する画像領域の集合Ｍを求める（Ｓ４２）。そして、画像領域集合Ｍの中から、情報タグから得た対象の位置や動きと整合する領域を集合Ｍｓとして選択する（Ｓ４３）。次に、情報タグから得た身長・年齢・性別などの属性に応じた人形状のテンプレートＨを生成する（Ｓ４４）。次に、画像領域集合Ｍｓ内において、ステップＳ４４で生成した人形状テンプレートＨを用いて形状照合を行う（Ｓ４５）。最後に、ステップＳ４５における形状照合において一致度合が最も高い位置を対象の位置として検出する（Ｓ４６）。

図５〜図９を用いて、本実施形態における処理を具体的に説明する。

図５では、タグ通信部１２は通信センタ３０に設けられており、対象検出部１４、属性参照部１５および属性記憶部１６は監視センタ３１に設けられている。ここで、屋外において路側に設置したカメラ(撮像部１３)を用いて、情報タグ１１(携帯機器３３に設置)を所持した所定の人Ｐａを検出するものとする。情報タグ１１は人ＰａのＩＤ情報と、ＧＰＳによって得たおおまかな位置情報（誤差１０ｍ程度）とを発信する。通信センタ３０は、タグ通信部１２によって情報タグ１１の発信情報を受信する。物体検出サーバとしての監視センタ３１は、カメラ１３の映像と、通信センタ３０で受信されたタグ情報を通信網を通じて得る。属性記憶部１６には、ＩＤ情報に対応付けられた属性情報として、身長、年齢および性別が記憶されている。

いま、人Ｐａの付近には人Ｐｂおよび車ｃが存在し、人Ｐａは撮像部１３に近づく方向に、人Ｐｂおよび車Ｃは撮像部１３から遠ざかる方向に、それぞれ移動しているものとする。このとき、図６のような画像がカメラ１３によって撮影される。図６の画像には、人Ｐａ，Ｐｂ，および車Ｃが映っている。

ここで、まず対象検出部１４の画像切り出し部１４１が、図４のステップＳ４１〜Ｓ４３を実行し、人Ｐａが含まれる可能性のある部分画像領域を決定する。

すなわち、図６の画像内の動きベクトルを計算し、同じ方向に移動する画像領域を求める。図７はここで得られた領域を示す。図７では、同じ方向に移動する領域として、人Ｐａ、人Ｐｂおよび車Ｃが存在する付近に、それぞれ領域ＡＰａ，ＡＰｂ，ＡＣが得られている。

その後、図７に示す領域から、タグ情報から得た人Ｐａの位置や動きと整合する領域を選択する。図８は情報タグ１１から得た位置情報のみを用いた場合の候補領域を示す。図８では、位置情報が示す位置をカメラ画像上の位置に変換し、領域Ａ１として示している。ここで、ＧＰＳの位置情報には誤差が含まれるため、候補領域Ａ１も誤差を考慮して人Ｐａ，Ｐｂを含む大きな領域になっている。図７および図８から、重なる領域すなわち領域ＡＰａ，ＡＰｂが候補領域になる。すなわち、人Ｐａの位置情報から、車Ｃの領域ＡＣを排除することができる。

さらに、位置情報の変化を参照することによって、対象の移動方向が手前に近づく方向であることが分かる。このため、領域ＡＰａ，ＡＰｂの動きベクトルの方向との整合から、図９のように、候補領域は領域ＡＰａのみに限定することができる。

次に、対象検出部１４の画像認識部１４２が、図４のステップＳ４４〜Ｓ４６を実行し、画像における人Ｐａの位置や姿勢を特定する。すなわち、領域ＡＰａに対してテンプレートマッチングを行い、人Ｐａのより正確な位置や動きを検出する。

このとき、徒に数多くのテンプレートを用いると、検出対象と異なる人や物を誤って検出してしまう可能性が増大するとともに、マッチングに必要な処理も膨大なものになる。そこで、属性参照部１５によって得た身長、年齢、性別等の属性情報に応じて、マッチングに利用するテンプレートを絞り込む。これにより、検出精度を向上させることができ、処理量も軽減することができる。

テンプレートの絞込みの例について説明する。図１０はテンプレート生成の際に用いる情報の一例であり、年齢層（子供、成人、老人）と、身長の範囲、平均的な体型、および平均的な服のサイズとの関係を表している。いま、属性情報から、人Ｐａの年齢として「２０歳」を得たとする。このとき、年齢層は「成年」と特定できるので、図１０の関係から、平均的な身長や体型を得ることができる。そして、得られた身長や体型をカメラ画像上のサイズや形状に変換することによって、マッチングに用いる形状テンプレートを生成することができる。

もちろん、身長の値に幅がある場合は、その範囲内で大きさの異なるテンプレートを複数生成してもよい。また、属性情報として、身長の値が直接得られる場合は、その値を用いればよい。また、対象の人が着ている衣服に情報タグが付されており、タグ情報として服のサイズが得られる場合にも、図１０の関係から、身長を得てテンプレートを生成することも可能である。

テンプレートマッチングによって、領域ＡＰａにおける人Ｐａの正確な位置が検出できると、さらに、その位置の時間的変化を追うことによって、人Ｐａの正確な動きも得ることができる。また、異なる姿勢に対応する形状テンプレートを用いることによって、人Ｐａの姿勢も検出することが可能である。なお、マッチングに用いるテンプレートは、形状を表す濃淡画像や２値画像であってもよいし、色を含めたカラー画像であってもよい。あるいは、輪郭だけを表す画像であってもよい。

画像中において人Ｐａの正確な位置が検出できたら、例えば、人Ｐａのみを拡大して撮影することができる。あるいは、ズーム拡大率を下げて、人Ｐａの周囲を常に撮影するようにすることもできる。これにより、人Ｐａの状態のみならず、人Ｐａと周囲の人との接触の様子を常に監視することが可能になり、犯罪捜査や行動調査などに有効となる。

以上のように本実施形態によると、画像の中で所定の対象Ｐａを検出する際に、この対象ｐａに付属した情報タグ１１から発信されたタグ情報を用いて、画像からでは得られないような情報を、タグ情報そのものから得たり（例えば情報タグ１１から発信された属性情報や位置情報）、あるいはタグ情報を基にして参照したり（例えば属性記憶部１６から読み出した属性情報）することができ、これを画像処理に活かすことがでできる。したがって、膨大な処理量を要することなく、画像の中から、所定の対象を検出することができる。

なお、本実施形態では、画像切り出し部１４１および画像認識部１４２は、ともに、タグ通信部１２または属性参照部１５からの情報を参照するものとしたが、この代わりに、画像切り出し部１４１および画像認識部１４２のうちいずれか一方のみが、タグ通信部１２および属性参照部１５からの情報を参照し、他方は画像情報のみを用いて処理を行うようにしてもかまわない。

また、本実施形態では、情報タグ１１は人Ｐａが所有する携帯電話に設けられているものとしたが、この代わりに、ＰＤＡ等の他の携帯機器に設けてもよい。あるいは、つえや買い物かごのような持ち運ぶ物に設けてもよいし、車椅子や買い物用カートのような対象となる人と一緒に移動する物に設けてもよいし、衣服、メガネや靴のような身に付ける物に設けてもよい。さらには、体内に埋め込んでもかまわない。

また、本実施形態では、情報タグ１１は、記憶部１１１が記憶する属性情報やＩＤ情報、および位置検出部１１２が検出した位置情報を発信するものとしたが、発信する情報はこれらに限定されるものではない。例えば、加速度センサや方位磁石、ジャイロ装置などを用いて検出対象の動きに関する情報を発信したり、ジャイロ装置などを用いて検出対象の姿勢の情報を発信してもよい。姿勢の情報を発信する場合には、画像認識部１４２が認識に用いるテンプレートを特定の姿勢の形状テンプレートに限定できるので、さらなる検出精度の向上と処理の削減が可能となる。

また、情報タグ１１または属性記憶部１６に記憶する属性情報も、本実施形態で示したものに限定されるものではない。例えば、検出対象が人の場合に、肌の色や髪の色を属性情報として記憶しておいてもよい。これにより、画像切り出し部１４１が特定色の領域を検出したり、画像認識部１４２が肌や髪の色に合わせたテンプレートを用いることによって、検出精度の向上が期待できる。

また、属性情報として、検出対象の過去の情報、例えば検出時刻や検出位置、移動速度、着衣などを記憶しておいてもよい。このような過去の情報を、現在得られた情報と比べることによって、検出結果における異常の有無を判定することができる。

なお、検出の対象は、人に限られるものではなく、例えばペットや自動車などであってもよい。ペットを検出対象とする場合、ペットの首輪などに情報タグを設置しておくとよい。屋内のカメラで撮影すれば、外出先からペットの詳細な画像や行動を把握することが可能である。この場合、携帯電話等のように小型の表示画面でペットの様子を確認する場合、部屋を広く映す画像ではペットの様子は把握できない。しかしながら、本発明のように画像内でのペットの位置を正確に検出できることができれば、小さい表示画像でもペットが映る画像領域だけを表示できるので、ペットの様子を把握しやすくすることができる。

また、屋外の監視システムなどで自動車を監視する場合にも、あらかじめ情報タグを自動車に設置することによって、監視画像内での特定車の位置を正確に検出し、運転者の画像の自動取得などが容易となり、盗難対策等に利用することが可能となる。

＜移動軌跡の利用＞
上述の例では、画像情報と情報タグから得た情報とを融合して用いる際に、検出対象の位置や動き方向を利用して候補領域を限定したが、本発明はこれに限られるものではなく、例えば、移動軌跡を用いてもよい。この点について、説明する。

いま、図５に示す状況において、車Ｃが存在せず、かつ、情報タグ１１を有する人Ｐａと情報タグを持たない人Ｐｂとが、ともに、カメラ１３に向かって歩いているものとする。ただし、歩行の軌跡は、人Ｐａと人Ｐｂとで異なっている。

図１１はこのときのカメラ１３の撮像画像である。図１１では、画像から得られた動きの軌跡ＴＰａ，ＴＰｂが実線の矢印で示されている。ただし，画像処理では、細かな移動軌跡は得られるものの、人Ｐａと人Ｐｂの判別は困難である。

一方、図１２では画像上に、情報タグ１１から得た位置情報に基づく移動軌跡Ｔ１１を示している。位置情報の精度は低いので、図１２では位置の誤差範囲を矢印の幅によって表現している。ただし、位置の精度は低いものの、移動軌跡の形状は得ることはできる。

そこで、図１２の移動軌跡Ｔ１１を図１１の軌跡ＴＰａ，ＴＰｂと対比し、類似度を判定する。ここでは、軌跡ＴＰａの方が移動軌跡Ｔ１１との類似度が高いので、検出対象として人Ｐａを特定し、画像内での正確な位置を得る。

このように、移動軌跡の類似性を用いることによって、位置や動き方向が比較的似通った人や物を区別することが容易になるる。移動軌跡の類似度の判定には、例えば、軌跡が重なる範囲の割合の比較や、軌跡の長さの比較、方向転換した位置の比較、または移動ベクトル系列の比較等を行えばよい。

＜複数のカメラの利用＞
上述の例では、１個のカメラを用いたが、もちろん複数のカメラを用いてもよい。例えば図１３に示すように、見通しの悪い場所で監視を行う場合、複数のカメラＣ１〜Ｃ３を設置することによって、死角をなくすことができる。ここで、図１３のような折れ曲がった通路では、人Ｐは、右側に少し移動するだけで、カメラＣ１から映らなくなる。このように、死角が無いカメラ配置であっても、人Ｐの位置が正確に分からないと、撮影に適したカメラの選択や追跡が難しい。そこで、本発明を適用することによって、見通しの悪い場所を広範囲にわたって監視し、人Ｐの位置を映像の中で特定することが可能となる。

すなわち、情報タグから得る位置情報に基づいて、人Ｐを撮影し得るカメラを特定することができる。また、図１３に示す位置に人Ｐがいるとき、カメラＣ１，Ｃ２の画像から、タグ情報を利用して人Ｐの検出を行うことによって、人Ｐが最も大きく映るカメラ画像を自動的に表示する、といったことが可能になる。

＜情報タグの位置情報と画像座標との対応付け＞
本発明を実現するためには、情報タグ１１の位置情報が示す位置とカメラ画像上の座標との対応付けが、予めなされている必要がある。この点について、簡単に説明する。

情報タグ１１の位置情報と画像座標との対応付けは、検出対象が存在する３次元空間における位置座標（ワールド座標）を撮影画像内の座標値に変換する座標変換Ｔを用いて行う。予め座標変換Ｔを求めておくことによって、情報タグの位置座標と画像内座標とを対応付けることができる。

この座標変換Ｔは、一般には、カメラの構成（レンズの焦点距離、レンズ歪特性、撮像素子のサイズと画素数）およびカメラの設置条件（カメラの設置位置・姿勢）を用いて理論的に算出するか、後述するカメラキャリブレーションの手続を用いて求める。カメラ構成およびカメラの設置条件が既知の場合は、幾何学変換等を組み合わせた計算によって、座標変換Ｔを求めることができる。一方、カメラ構成やカメラの設置姿勢が既知でない場合は、カメラキャリブレーションによって座標変換Ｔを求めることができる。

図１４のフローを参照して、カメラキャリブレーションによって座標変換Ｔを求める方法を説明する。ここでは、カメラの位置や姿勢・ズームは固定であるものとする。まず、検出対象が存在する３次元空間における位置座標（ワールド座標値）と、これに対応する画像内の位置座標（画像座標値）との組を、少なくとも６組以上準備する（Ｅ１１）。次に、ステップＥ１１で準備した座標値の組の対応関係を満たす線形変換を最小二乗法等を用いて決定する（Ｅ１２）。そして、算出した線形変換のパラメータ（カメラパラメータ）を保存する（Ｅ１３）。

その後、情報タグの位置座標を画像座標に変換する場合は、保存したカメラパラメータを用いて、座標変換を行えばよい。

なお、カメラの位置や姿勢・ズームが変更されたときは、変更後の状態に応じた座標変換を再度キャリブレーションによって作成する。または、カメラの位置や姿勢・ズーム度合(レンズの焦点距離)が別途センサによって検知可能に構成されている場合は、計算によって、新たなカメラパラメータを求めることができる。ロボットや車等の移動体に設けられたカメラのように、その位置や姿勢が頻繁に変化する場合は、カメラの位置や姿勢を他のセンサによって検知し、その都度計算によってカメラパラメータを算出することが望ましい。

（第２の実施形態）
本発明の第２の実施形態では、カメラを有する移動型のロボットが、所定の検出対象として、物体を検出するものとする。

図１５は本実施形態の状況を示す図である。図１５において、家庭内の床面ＦＬに可動型のロボット４０が置かれている。物体検出装置としてのロボット４０は、撮像部となるカメラ１３と、第１の実施形態で説明したタグ通信部１２、対象検出部１４および属性参照部１５とを備えている。また属性記憶部１６はロボット４０とは異なる場所に設けられており、属性参照部１５は無線通信によって属性記憶部１６に記憶された属性情報を参照する。

床面ＦＬには、倒れた円筒の物体Ｏａおよび球形の物体Ｏｂがある。物体Ｏａ，Ｏｂはともに赤色である。物体Ｏａ，Ｏｂにはそれぞれ情報タグ１１が内蔵されており、タグ情報としてＩＤ情報をそれぞれ発信している。床面ＦＬの４隅にはアンテナ４３ａ〜４３ｄが設置されており、情報タグ１１から発信された情報は、アンテナ４３ａ〜４３ｄを経て、ロボット４０のアンテナ４２を通してタグ通信部１２によって受信される。属性参照部１５は、タグ通信部１２によって受信されたＩＤ情報を基にして、属性記憶部１６から当該物体の形状および色を属性情報として読み出す。また、タグ通信部１２は、４箇所に設置したアンテナ４３ａ〜４３ｄの受信強度の比率から、情報タグ１１のおおよその位置を推定する。

ここで、ロボット４０が、移動して、所定の検出対象である物体Ｏａ，Ｏｂを手４１によってつかみ、移動させるものとする。物体を手４１によってつかむためには、ロボット４０は、物体の位置や形状、向きを正確に検出する必要がある。

図１６は図１５の状況において、カメラ１３によって映された画像である。ここで、情報タグ１１からのＩＤ情報によって、２種類の物体の存在が認識される。また、アンテナ４３ａ〜４３ｄの受信強度の比率から、各情報タグ１１のおおよその位置が推定される。この場合、情報タグ１１からの情報として、ＩＤ情報と電波強度が利用されている。

まず、２種類の物体の一方、例えば物体Ｏａについて、ＩＤ情報を用いて属性記憶部１６を参照した結果、形状は円筒形、色は赤という属性情報が得られたものとする。このとき、対象検出部１４が有する画像切り出し部１４１（図１５では図示せず）は、検出対象である物体が赤色であるという属性情報に基づいて、画像中から赤色の候補領域を決定する。図１７はその結果を示す画像であり、赤色の物体Ｏａ，ＯＢにそれぞれ対応する２個の候補領域ＢＯａ，ＢＯｂが示されている。

一方、受信強度から推定した物体Ｏａの位置情報を基にして、図１８に示すような候補領域Ｂ１が得られる。図１７の候補領域ＢＯａ，ＢＯｂと図１８の候補領域Ｂ１を統合することによって、図１９に示すような領域Ｂ２が得られる。ここで、物体Ｏａの位置が正確に得られたことになる。

さらに、対象検出部１４が有する画像認識部１４２（図１５では図示せず）は、円筒形であるという属性情報に基づいて、円筒形の物体がとり得る様々な向きの形状テンプレート画像を生成する。これらの形状テンプレートを用いて領域Ｂ２の画像とマッチングを行うことによって、マッチング度合の最も高い形状テンプレートに対応する物体の向きから、物体の向き（姿勢）を正確に決定することができる。

もう一方の物体Ｏｂについても、同様の処理によって、位置や姿勢を正確に検出することができる。この結果、ロボット４０は、手４１を用いて物体Ｏａ，Ｏｂを移動させるために必要な情報を得ることができる。すなわち、属性情報として色や形状を得て、特定の色や形状に特化した画像切り出しや画像認識を行うことによって、高精度で効率的な物体検出が実現される。

このように、物体に設置した情報タグ１１からの情報と画像の情報を効果的に活用することによって、物体の位置や姿勢を高い精度で検出することができ、しかも検出に必要な処理量も低く抑えることが可能になる。よって、家庭の室内のような複雑な環境下でのロボットの作業に必要な物体検出が、実現できる。

ロボットが対象の検出を行う場合は、正確かつリアルタイムの処理が望まれるため、本発明のような、処理量を抑えつつ検出精度を向上できる技術が有効となる。例えば、救助活動や介護などに用いられるロボットでは、処理時間の遅れが人命や怪我につながる可能性がある。また、ロボットに、多勢の人の中の特定の人にコンタクトさせたい場合、たとえ人の特定が正確に実行できたとしても、処理時間がかかりすぎると、対象となる人が、処理を実行している間にロボットの前を通り過ぎ去ってしまう、といったことにもなりかねない。このような場合にも、本発明を用いることによって、早く正確に対象を画像の中から検出することが可能となる。

なお、上述の例では、属性記憶部１６にＩＤ情報と属性情報との関係を記憶させていたが、属性情報を、個々の物体に付いた情報タグ１１に直接記憶しておいてもよい。この場合、属性記憶部や属性参照部を省くことが可能になり、システム構成を簡易にできる利点がある。一方、属性記憶部１６を利用することによって、たとえ検出に用いる情報量が多くても、情報タグ１１の記憶容量を抑えることができるので、情報タグ１１を小型化、低価格化できるとともに、情報タグ１１とタグ通信部１２との間の通信容量も抑えることができる。

また、情報タグ１１に、検出処理の手続き自体を記録しておいてもよい。例えば上述の例の場合、物体Ｏａの情報タグ１１から、「赤色の物体を検出する」「円筒形の形状テンプレートを生成して形状マッチングを行う」といった検出処理手続の情報を発信する。あるいは、属性記憶部１６にＩＤ情報と対応付けて検出処理手続の情報を記憶させておき、情報タグ１１から受信したＩＤ情報を基にして、属性記憶部１６から検出処理手続の情報を読み出すようにしてもよい。この場合、対象検出部１４は、受信した、または属性記憶部１６から読み出された検出処理手続の手順に従って、処理を実行するだけなので、ロボット本体が有する検出処理プログラムを簡素化できる。また、異なる種類の物体が追加された場合でも、ロボットが有する検出処理プログラムを変更する必要はないので、メンテナンスが簡易になるという効果が得られる。

（第３の実施形態）
本発明の第３の実施形態では、ポータブル型のカメラによって、所定の検出対象として、被写体となる人を検出するものとする。ここでいうポータブル型のカメラは、ハンディムービーカメラやデジタルカメラ、カメラ付きの携帯電話や情報端末などを含む。

図２０は本実施形態の状況を示す図である。図２０において、屋外にて、人Ｐｄを、撮像部１３を有するポータブル型のカメラ５０を用いて撮影する。人Ｐｄは情報タグ１１を有しており、情報タグ１１は超音波を用いてタグ情報として人Ｐｄを特定するＩＤ情報を発信する。一般に測距に用いられるような超音波発信機を利用した場合、カメラから２０ｍ程度の範囲で検出が可能である。もちろん、検出範囲は、超音波の発信強度によって変わる。

カメラ５０は２個のマイク５１ａ，５１ｂ、タグ通信部１２Ａおよび対象検出部１４Ａを備えている。マイク５１ａ，５１ｂは情報タグ１１が発信する超音波を受信する。タグ通信部１２Ａはマイク５１ａ，５１ｂによって得られた超音波信号から、ＩＤ情報を取得するとともに、情報タグ１１のカメラ５０に対する方向および距離を算出する。情報タグ１１の方向は、２個のマイク５１ａ，５１ｂによってそれぞれ受信した超音波信号の時間差（位相差）または強度比から推定可能である。また、情報タグ１１までの距離は、受信した超音波信号の減衰度(強度や波形の鈍り方)から推定可能である。

図２１は物体検出装置としてのカメラ５０の構成例を示すブロック図である。図２１において、マイク５１ａ，５１ｂ、距離決定部５２、時間差算出部５３、方向決定部５４およびＩＤ抽出部５５によって、タグ通信部１２Ａが構成されており、画像内座標決定部５６および画像切り出し部１４２によって、対象検出部１４Ａが構成されている。なお、２個のマイク５１ａ，５１ｂは水平方向に異なる位置に配置されているものとする。

距離決定部５２はマイク５１ａ，５１ｂによって受信した超音波の強度を用いて、情報タグ１１までの距離を算出する。一方、時間差算出部５３はマイク５１ａ，５１ｂによってそれぞれ受信した超音波信号の検出時間差を算出し、方向決定部５４は時間差算出部５３によって得られた検出時間差を用いて、カメラ５０からみた情報タグ１１の方向(マイク５１ａ，５１ｂを含む水平面内での方向)を算出する。検出時間差と方向との対応関係は、予め方向決定部５４に保持されているものとする。

画像内座標決定部５６は、方向決定部５４によって得られた情報タグ１１の方向と、カメラ制御部５７から受けた撮像部１３のレンズ焦点距離（ズーム度合）とを用いて、画像内における水平方向での情報タグ１１の位置を決定する。ここでの処理は、第１の実施形態で説明した，情報タグの位置情報を画像内の位置座標に対応付ける処理と同様である。

一方、ＩＤ抽出部５５は、マイク５１ａ，５１ｂによって得られた超音波信号から、ＩＤ情報を取得する。属性参照部１５はＩＤ情報を用いて属性記憶部１６を参照し、検出対象となる人Ｐｄの身長を読み出す。画像切り出し部１４２において、テンプレート生成部１４３は、距離決定部５２によって得られた距離、属性参照部１５によって得られた人Ｐｄの身長、およびカメラ制御部５７から得たレンズ焦点距離の情報から、画像内における人Ｐｄのサイズを反映した形状テンプレートを生成する。テンプレートマッチング部１４４は、画像内座標決定部５６によって得られた，画像内での情報タグ１１の位置付近において、テンプレート生成部１４３によって生成されたテンプレートを用いてマッチングを行い、人Ｐｄの位置検出を行う。ここで検出された人Ｐｄの位置情報はカメラ制御部５７に与えられ、カメラ制御部５７はこの位置情報を用いて、撮像部１３に対して、より正確な焦点調整、露出調整、色補正、ズーム調整などを行う。

図２２のフローチャートを参照して、本実施形態における処理の流れを、図２０の状況を例にとって説明する。

まず、被写体すなわち検出対象となる人Ｐｄが有する情報タグ１１が超音波信号によってＩＤ情報を発信する（Ｔ１）。カメラ５０は発信された超音波信号をマイク５１ａ，５１ｂによって受信する（Ｔ２）。そして、マイク５１ａ，５１ｂによって受信した超音波信号の受信時間のずれを算出し（Ｔ３）、この受信時間のずれから、カメラ５０に対する情報タグ１１の方向θを算出する（Ｔ４）。

その一方で、マイク５１ａ，５１ｂが受信した超音波信号の強度から、情報タグ１１までの距離Ｄを算出する（Ｔ５）。ここで、撮像部１３のズーム倍率を考慮して、画像内に方向θが映るか否かを判定する（Ｔ６）。映らないと判定したとき（Ｔ６でＮＯ）は、ズーム倍率を下げて方向θが映るようにするか、撮像部１３の向きを方向θに向けるか（撮像部１３が可動式の雲台に搭載されている場合）、あるいはカメラ５０のモニタに、検出対象が範囲外である旨を表示したり、検出対象が画像のどちら側に存在するかなどを表示して、撮影者にカメラ５０の向きを変えることを促す（Ｔ７）。ここで、対象が範囲外であると判定している間は、録画を自動的に停止するようにし、対象が範囲内に入ったときに自動的に録画を開始するようにしてもよい。

一方、方向θが画像内に映っていると判定したとき（Ｔ６でＹＥＳ）は、距離Ｄに合わせてカメラの焦点調整を行う（Ｔ８）。このとき、図２３のような画像が得られるものとする。次に、ズーム倍率と方向θとを用いて、画像内での情報タグ１１の位置（領域）Ｌ１を決定する（Ｔ９）。ただし、超音波信号を利用して方向を算出する場合、気温・風・周辺物体での反射やノイズ等の影響によって誤差が発生するため、ステップＴ９において、単一の人を特定するほど領域を限定することは難しい。図２３の画像例では、領域Ｌ１に、検出対象の人Ｐｄ以外に人Ｐｅも含まれている。

そこで、超音波信号からＩＤ情報を取得し（Ｔ１０）、このＩＤ情報を用いて対象の身長Ｈを取得する（Ｔ１１）。そして、身長Ｈ、距離Ｄおよびズーム倍率を用いて、対象が画像内で映るはずのサイズに応じた形状テンプレートＴを生成する（Ｔ１２）。図２４はここで生成されたテンプレートＴの一例である。図２４のようなテンプレートＴを用いて、画像内の位置Ｌ１付近においてマッチングを行い、最もマッチング度合の高い位置を対象の正確な位置Ｌ２として検出する（Ｔ１３）。このとき、人Ｐｅは人Ｐｄと画像上での大きさが異なるので、人Ｐｄのみが検出される。そして、画像内に位置Ｌ２を表示し、撮影者が必要に応じてカメラの向きなどを調整しやすいようにする。また、位置Ｌ２付近の領域の色・明るさ・画質に応じて、撮像部１３の絞りや露出、色補正、焦点調整などを行う（Ｔ１４）。これにより、たとえ撮影に不慣れな人であっても、被写体である人Ｐｄを的確に撮影することができる。

なお、ステップＴ５は、ステップＴ２以降、距離Ｄを参照するまでの間であればいつ実行してもよい。また、ステップＴ１０は、ステップＴ２からステップＴ１１までの間であればいつ実行してもよい。

このように本実施形態によると、情報タグからのＩＤ情報や、超音波信号の受信状態から推定した距離と方向の情報を、画像処理に統合することによって、画像上でサイズが似た人同士（人Ｐｄと人Ｐｆ）や、位置が近い人同士（人Ｐｄと人Ｐｅ）も正確に識別することができる。したがって、多人数がいるような複雑な状況下であっても、処理量を大きく増やすことなく、対象の位置を正確に検出することが可能となる。また、超音波発信機を情報タグに利用することによって、簡易かつ安価なシステムによって方位や距離を算出できるという利点がある。

なお、上述の例では、２個のマイクを用いるものとしたが、マイクの個数はこれに限られるものではなく、３個以上であってもよい。３個以上のマイクを用いることによって、例えば、２個のマイクの複数の組合せから情報タグの方向をそれぞれ算出し、その算出結果を平均化する、といった処理を行うことによって、方向の算出精度を向上させることができる。

また、カメラから情報タグに対して、超音波、電波または光などを用いて、超音波を発信させるためのトリガをかけるようにしてもよい。この場合、トリガをかけてから超音波信号を受信するまでの時間を計測し、この計測時間と音速から、情報タグまでの距離を算出することができる。

また、特定のＩＤ情報を得たときにのみ、上述したような検出処理を行うようにしてもよい。これにより、複数の情報タグが存在する状況において、所望の情報タグを持つ対象のみを検出することができる。

また、情報タグの情報と画像処理とは、常時併用する必要は無く、例えば情報タグからの信号が雑音等の影響により一時的に受信できない場合は、受信状態が不良であることを判定して、画像による検出処理のみに自動的に切り替えてもよい。このとき、例えばテンプレートは直前に用いたものを利用するようにすればよい。逆に、画像におけるテンプレート検出が日照変化の影響などで一時的に成功しない場合は、検出が成功しないことを判断して、情報タグによる方向と距離の情報のみを用いて検出するように自動的に切り替えてもよい。このように、一方の情報が利用できない場合、自動的に他方の情報のみを利用することによって、検出精度は低下しても対象を完全に見失うことはない、という状況変化に対して強い物体検出装置が実現できる。

図２５は処理の切替の行う手順の一例を示すフローチャートである。図２５において、まず、超音波信号がマイクによって正常に受信できたか否かを判定する（Ｋ１）。正常に受信できたときは（Ｋ１でＹＥＳ）、上述の処理によって得られた、画像内での情報タグの推定位置付近においてテンプレートマッチングを行う（Ｋ２）。そして、マッチング度合の最大値が所定の閾値以上か否かを判定し（Ｋ４）、閾値以上のときは（ＹＥＳ）、マッチング度合が最大となる位置を人の検出位置とする（Ｋ７）。一方、閾値よりも小さいときは（Ｋ４でＮＯ）、超音波信号から推定した位置を人の検出位置として採用する（Ｋ６）。このとき、検出の信頼性は低いので、検出精度が低下していることや、画像による検出が困難であることをモニタに表示してもよい。

一方、ステップＫ１において、超音波信号の受信が正常に行えない場合は（Ｋ１でＮＯ）、画像全体においてテンプレートマッチングを行う（Ｋ３）。あるいはこのとき、前フレームにおける検出位置付近においてテンプレートマッチングを行ってもよい。そして、マッチング度合の最大値が所定の閾値以上か否かを判定し（Ｋ５）、閾値以上のときは（ＹＥＳ）、マッチング度合が最大となる位置を人の検出位置とする（Ｋ９）。このときも検出の信頼性は低いので、検出精度が低下していることや、超音波による位置検出が困難であることをモニタに表示してもよい。一方、閾値よりも小さいときは（Ｋ５でのＮＯ）、位置検出が不能と判断し、その旨をモニタに表示したり、あるいは、前フレームで求めた検出位置を採用する（Ｋ８）。

この例では、一方の情報が利用できないときに検出手続きを切替えるものとしたが、検出手続きを変更する手法としては、以下のようなものも考えられる。

例えば、情報タグから得られるＩＤ情報が複数種類存在する場合に、マッチングを行う画像内の範囲を、単独のＩＤ情報のみが得られる場合に比べて、広く設定するようにしてもよい。これにより、複数の発信源の存在によって超音波信号の相互干渉や混信が発生し、超音波信号による位置検出精度が低下した場合にでも、検出ミスの発生を抑制することができる。

また、マッチング度合が高い位置が複数ある場合に、情報タグから得た人の位置を検出位置とするように変更してもよい。これにより、画像上で非常に似通った人が近接して存在する場合に、他の人を誤って検出してしまい、検出位置が頻繁にずれる、といった検出ミスを抑制することができる。

また、本発明の物体検出装置が行う処理の一部または全部は、専用の機器によって行われてもよいし、コンピュータに内蔵されたＣＰＵが処理プログラムを実行することによって、行われてもよい。また、図５に示す監視センタ３１のように、物体検出サーバが、撮像部によって撮像された画像と、所定の対象に付属した情報タグが発信するタグ情報とを受け、このタグ情報を用いて、画像の中から所定の対象を検出する、ように構成してもよい。

本発明の第１の実施形態に係る物体検出装置の構成を示すブロック図である。 本発明の第１の実施形態における情報タグの内部構成を概念的に示すブロック図である。 本発明の第１の実施形態に係る物体検出の処理の流れを示すフローチャートである。 図３のステップＳ４における処理の一例を示すフローチャートである。 本発明の第１の実施形態において物体検出を行う状況を示す図である。 図５の状況において撮像部が映した画像の例である。 図６の画像において、画像切り出し部が求めた候補領域を示す図である。 図６の画像において、情報タグから得た位置情報を用いて求めた候補領域を示す図である。 図７および図８に示す候補領域から決定された領域を示す図である。 テンプレート生成に用いる情報の一例である。 画像から得た動きの軌跡を示す図である。 情報タグから得た位置情報に基づく移動軌跡を示す図である。 複数のカメラの配置の例を示す図である。 検出対象の空間位置座標を画像座標に変換する座標変換をカメラキャリブレーションによって求める方法を示すフローチャートである。 本発明の第２の実施形態において物体検出を行う状況を示す図である。 図１５の状況において撮像部が映した画像の例である。 図１６の画像において、画像切り出し部が求めた候補領域を示す図である。 図１６の画像において、情報タグから得た位置情報を用いて求めた候補領域を示す図である。 図１７および図１８に示す候補領域から決定された領域を示す図である。 本発明の第３の実施形態において物体検出を行う状況を示す図である。 図２０におけるカメラ４０の構成例を示すブロック図である。 本発明の第３の実施形態に係る処理の流れを示すフローチャートである。 図２２の処理過程において得られる画像の例である。 図２２の処理過程において用いる人型テンプレートの一例である。 検出処理の切替を行う手順の一例を示すフローチャートである。

Claims (9)

1. 少なくとも複数の移動体を含む画像を撮像する撮像ステップと、
   前記複数の移動体のうちの所定の対象に付属した情報タグから発信された少なくとも前記情報タグの位置情報を含むタグ情報を受信するタグ通信ステップと、
   前記タグ通信ステップで受信されたタグ情報を用いて、前記画像中の前記情報タグの位置情報を取得し、当該取得した位置情報を参照して、画像処理を行うことにより、前記画像の中で、前記所定の対象を検出する対象検出ステップとを有し、
   前記対象検出ステップは、
   前記タグ情報を用いて、前記画像中の前記情報タグの位置情報を取得し、当該取得した位置情報と、前記複数の各移動体について、画像処理を用いて取得した、前記画像中の前記移動体が含まれる可能性がある領域とを参照して、前記画像の中で、前記所定の対象が含まれる可能性のある部分画像領域を決定する画像切り出しステップと、
   前記画像切り出しステップによって決定された部分画像領域において、前記所定の対象の検出を行う画像認識ステップとを備えた
   ことを特徴とする物体検出方法。
2. 請求項１において、
   前記対象検出ステップは、
   前記所定の対象が存在する３次元空間における位置座標と前記画像中の座標との対応付けを予め行い、当該対応付けを参照することにより、前記タグ情報を用いて、前記画像中の前記情報タグの位置情報を取得する
   ことを特徴とする物体検出方法。
3. 請求項１において、
   前記タグ情報は、前記所定の対象の属性を表す属性情報を含み、
   前記対象検出ステップは、前記タグ通信ステップによって受信されたタグ情報が含む属性情報を用いて、検出を行う
   ことを特徴とする物体検出方法。
4. 請求項１において、
   前記タグ情報は、前記所定の対象のＩＤ情報を含み、
   当該物体検出方法は、
   前記タグ通信ステップによって受信されたタグ情報が含むＩＤ情報を用いて、属性記憶部が記憶するＩＤ情報と属性情報との対応関係を参照し、前記所定の対象の属性情報を得る属性参照ステップを備え、
   前記対象検出ステップは、前記属性参照ステップによって得られた属性情報を用いて、検出を行う
   ことを特徴とする物体検出方法。
5. 請求項１において、
   前記タグ通信ステップは、さらに、前記タグ情報の受信状態から、前記情報タグの位置を推定するものであり、
   前記画像切り出しステップは、前記タグ通信ステップによって推定された位置を参照して、検出を行う
   ことを特徴とする物体検出方法。
6. 請求項１において、
   前記タグ情報は、前記所定の対象の検出処理手続きを含み、
   前記対象検出ステップは、前記タグ通信ステップによって受信されたタグ情報が含む前記検出処理手続を実行することによって、検出を行う
   ことを特徴とする物体検出方法。
7. 請求項１において、
   前記対象検出ステップは、前記タグ通信ステップの受信状態が不良であるとき、前記タグ情報を用いないで、画像処理のみによって、検出を行う
   ことを特徴とする物体検出方法。
8. 少なくとも複数の移動体を含む画像を撮像する撮像部と、
   前記複数の移動体のうちの所定の対象に付属した情報タグから発信された少なくとも前記情報タグの位置情報を含むタグ情報を、受信するタグ通信部と、
   前記タグ通信部によって受信されたタグ情報を用いて、前記画像中の前記情報タグの位置情報を取得し、当該取得した位置情報を参照して、画像処理を行うことにより、前記画像の中で、前記所定の対象を検出する対象検出部とを備え、
   前記対象検出部は、
   前記タグ情報を用いて、前記画像中の前記情報タグの位置情報を取得し、当該取得した位置情報と、前記複数の各移動体について、画像処理を用いて取得した、前記画像中の前記移動体が含まれる可能性がある領域とを参照して、前記画像の中で、前記所定の対象が含まれる可能性のある部分画像領域を決定する画像切り出し部と、
   前記画像切り出し部によって決定された部分画像領域において、前記所定の対象の検出を行う画像認識部とを備えた
   ことを特徴とする物体検出装置。
9. 少なくとも複数の移動体を含む撮像部によって撮像された画像と、前記複数の移動体のうちの所定の対象に付属した情報タグが発信する少なくとも前記情報タグの位置情報を含むタグ情報とを、受け、
   前記タグ情報を用いて、前記画像中の前記情報タグの位置情報を取得し、当該取得した位置情報を参照して、画像処理を行うことにより、前記画像の中で、前記所定の対象を検出する物体検出サーバであって、
   前記所定の対象の検出において、
   前記タグ情報を用いて、前記画像中の前記情報タグの位置情報を取得し、当該取得した位置情報と、前記複数の各移動体について、画像処理を用いて取得した、前記画像中の前記移動体が含まれる可能性がある領域とを参照して、前記画像の中で、前記所定の対象が含まれる可能性のある部分画像領域を決定し、
   前記決定された部分画像領域において、前記所定の対象の検出を行う
   ことを特徴とする物体検出サーバ。

Images