JP2011211687A - データ関連付けのための方法と装置 - Google Patents

Abstract

【課題】 データ関連付け装置を提供する。
【解決手段】 データ関連付け装置は、カメラから対象の画像データを受信し、対象の第１の位置情報を生成する対象位置決めユニットと、対象位置決めユニットによって生成された対象の第１の位置情報を格納し、位置センサからの対象の第２の位置情報を格納する記憶ユニットと、記憶ユニットに格納された第１の位置情報と第２の位置情報に基づいて、カメラからの対象の画像データを、位置センサからの対象の第２の位置情報と関連付ける関連付けユニットとを備える。
【選択図】 図１

Description

本発明は、センサの分野に関し、特に、データ関連付けのための方法と装置に関する。

近年、人々の生活の質を変えかつ向上させる、ますます多くのセンサが出現している。位置情報、特に、人々の位置情報を取得することは、彼らの日々の生活に利便を与える。例えば、交通用途において、交通渋滞が常に発生する位置を知っていれば、交通の効率を高めるために交通施設の配備を最適化する（車両のルートを変更するような）ことが可能である。さらに、職場環境において、事務機器が適切な位置に配置されていれば、作業者が設備に到着するまでの距離が縮小され、それにより作業率が向上するであろう。

位置情報サービスは幅広く用いられている。情報システムは、位置の特性に応じて様々なタイプのサービスを提供することが可能である。例えば、空港においては、ユーザは、ユーザがいる特定のエリアに基づいて、位置検索、店舗情報、公共施設のガイド等を含む様々なサービスが与えられる。ショッピング・モールにおいて、ユーザが店頭を横切って歩くと、ある商品あるいはサービスに関する情報が表示スクリーンあるいはモバイル装置に表示される。それは、適切な商品或いはサービスの発見をより容易にし、個性的な情報サービスを提供する。
最近、ビデオキャプチャ装置が、人々の生活に対してセキュリティ・サービスを提供するために広く取り入れられている。さらに、これらの装置は、また、人間の行動習慣を分析するために用いられ、個人に対して正確な情報分析結果を提供する。そのため、様々なセンサからの様々なタイプの情報を収集してネットワークを形成すれば、高品質な個人情報サービスをユーザに提供することが可能となる。特に、位置情報を画像情報と組み合わせは、人間の様々な行動に対して行き届いた情報サービスを提供するであろう。

ある環境に配置された様々なセンサは、それぞれの方式で動作し、一方、環境中の対象の異なる側面を感知するよう互いに連携して動作する。相互に連携するセンサは、複数のチャネルによって目標対象の情報を検知し、その結果、単一のセンサに比べより正確でより豊富な情報を提供することが可能である。
しかしながら、目標対象が複数の様々なセンサによって感知される場合、どのセンサが目標対象に対する情報を提供するか判定するのが難しい。その理由は次の通りである。
異なる種類のセンサは、通常、環境全体に配置され、各々固有の時間的かつ空間的な属性に基づいて動作し、ぞれぞれの動作エリアと感知特性を有している。さらに、センサは、不規則に存在する様々な対象を感知し、対象の感知情報のタイプが他のものと異なる。
これにより、環境に配置された様々なセンサのデータ出力を同じ対象に関連付けることができないという問題が起こる。言いかえれば、所定の時間に、同じ目標対象をどのセンサが同時に感知したか決定することが必要となる。

センサのデータを直接関連付ける１つの方法は、様々なセンサを備えるロボットやデータコート（data coat）のように、全てのセンサを一緒に設置することである。このような方法において、様々なセンサが環境を同時に感知し、かつ互いに連携して動作する。
これらのセンサ・データの関係は、直接的にハードウェア関係に基づいており、特殊な判別処理を必要としない。同様に、全てのセンサは対象を感知するために全く同一の環境に設置される。

他の場合において、センサは通常別々に設置されている。所定の時間に、一部のセンサが、目標対象を感知する。このような情況で、リアルタイムに、目標対象に対するセンサのデータ出力を関連付けることが必要である。
センサの動作エリアを予め明確にすることができれば、ターゲット対象がそのエリアに入る場合、常に、センサが機能し、その結果、これらのセンサのデータ出力をターゲット対象について関連付けることができる。
この方法はセンサの動作エリアに基づいている（すなわち、同じ動作エリアン内のセンサが関連付けられる）。
しかしながら、センサの動作エリアが予め決まっていない場合、どのセンサが共通動作エリアを有するかを判定することができないので、リアルタイムにセンサのデータ出力を関連付けることが依然として問題となる。この問題に対する方策が動的なセンサ・データ関係である。すなわち、ある対象に対するセンサ・データが、動的にかつリアルタイムに関連付けられる。

しかしながら、動的なセンサ・データの関連付けは、センサの特性に関係している。様々なタイプのセンサについて異なる関連付けアルゴリズムが開発されている。
非特許文献１（"Association and identification in heterogeneous sensors
environment with coverage uncertainty", S. H. Cho, S. Hong, Y. Nam.,
International conference on advanced video and signal based surveillance, pp.
553 - 558, 2009）は、身元確認センサとカメラを動的に関連付けるための解決方法を提案する。この方法では、センサとカメラのデータ出力が時間と履歴情報によって対応付けられる。
具体的には、非特許文献１の方法は、２つのイベントによって身元確認センサとカメラを関連付ける。イベントの１つが、「ターゲット対象の身元確認センサの感知エリアへの侵入」であり、他のイベントが、「ターゲット対象の身元確認センサの感知エリアからの離脱」である。すなわち、ターゲット対象が身元確認センサの感知エリアに入ると、「侵入」イベントが検出される。同時に、カメラは対象を追跡する。これにより、「侵入」イベントが発生すると、ターゲット対象がカメラによって位置決めされ、かつ追跡される。そして、身元確認センサによって感知された対象の識別情報は、カメラによって提供される軌跡情報と時間順に関連付けられる。同様に、ターゲット対象が、身元確認センサの感知エリアから出る時、「離脱」イベントが検出される。次に、ターゲット対象の識別情報と軌跡情報（すなわち、環境中のターゲット対象の履歴軌跡）が関連付けられる。

"Association and identification inheterogeneous sensors environment with coverage uncertainty", S. H. Cho,S. Hong, Y. Nam., International conference on advanced video and signal basedsurveillance, pp. 553 - 558, 2009 "Rapid object detection using a boosted cascade of simplefeatures", Paul Viola, Michael Jones., Proceedings of the 2001 IEEEComputer Society Conference on Computer Vision and Pattern Recognition, Vol.1pp. 511-518, 2001 "FlexibleCamera Calibration By Viewing a Plane From Unknown Orientations", ZhengyouZhang., International Conference on Computer Vision (ICCV'99), Corfu, Greece,pages 666-673, September 1999

しかしながら、非特許文献１に記載される方法では、複数のオブジェクトが環境に同時に侵入し、或いは環境から同時に離脱する場合、各々の対象の識別情報と軌跡情報を正確に関連付けることができないという問題があった。

本発明の目的は、位置情報を用いて、位置センサをカメラと関連付ける方法と装置を提供することにある。

本発明は、各センサの動作エリアを予め決定する必要のない動的センサ・データ関連付けを提供する。本発明において、位置センサは、２つのタイプの情報（すなわち、対象位置情報と識別情報）を提供し、カメラは対象の属性情報を提供する。それを基礎として、本発明は、対象の包括的な記述を形成するために、対象の位置情報、識別情報および属性情報を動的に関連付ける。本発明の原理は、単一のカメラからの情報を用いて、対象の環境位置情報を計算すること、環境位置情報と位置センサからの位置情報の関連付けを通して対象に対するカメラと位置センサのデータの関連付けを実現することである。

本発明によるデータ関連付け装置は、カメラから対象の画像データを受信し、対象の第１の位置情報を生成する対象位置決め手段と、対象位置決め手段によって生成された対象の第１の位置情報を格納し、位置センサからの対象の第２の位置情報を格納する記憶手段と、記憶手段に格納された第１の位置情報と第２の位置情報に基づいて、カメラからの対象の画像データを、位置センサからの対象の第２の位置情報と関連付ける関連付け手段とを含む。

好ましい態様によれば、対象位置決め手段が、対象の画像データに基づいて対象の第１の位置情報を推測するように構成され、第１の位置情報が対象とカメラの間の水平角情報を含む。

好ましい態様によれば、関連付け手段は、複数の対象が同一の第１の位置情報を有する場合、複数の対象の第１の位置情報を、それぞれの対象の第２の位置情報にマッチングさせ、カメラからの複数の対象の画像データを前記位置センサからの複数の対象の第２の位置情報とそれぞれ関連付けるように構成される。

好ましい態様によれば、前記関連付け手段は、複数の対象の第１の位置情報と第２の位置情報を用いることにより、複数の対象中の特定の１つの高さを計算し、特定の対象の第１の位置情報を、最小の高さに対応する第２の位置情報にマッチングさせるように構成される。

好ましい態様によれば、前記位置センサが、位置信号受信機と位置タグを含み、前記位置センサからの対象の前記第２の位置情報が、前記対象の位置データと識別データを含む。好ましくは、前記位置センサが超音波位置決めシステムである。また、好ましくは、前記対象が人間の顔である。

好ましい態様によれば、データ関連付け装置は、一定の時間範囲における前記関連付け手段の関連付け結果を累積し、それらの投票によって最終的な関連付け結果を取得するように構成される投票手段を含む。

本発明によるデータ関連付け方法は、カメラから対象の画像データを受信し、対象の第１の位置情報を生成するステップと、位置センサから対象の第２の位置情報を受信するステップと、前記第１の位置情報と前記第２の位置情報に基づいて、カメラからの対象の画像データを、前記位置センサからの対象の第２の位置情報と関連付けるステップとを含む。

好ましい態様によれば、前記第１の位置情報が対象とカメラの間の水平角情報を含む。

好ましい態様によれば、前記関連付けするステップは、複数の対象が同一の第１の位置情報を有する場合、複数の対象の第１の位置情報を、それぞれの対象の第２の位置情報にマッチングし、カメラからの複数の対象の画像データを前記位置センサからの複数の対象の第２の位置情報とそれぞれ関連付けるステップを含む。

好ましい態様によれば、前記関連付けするステップは、複数の対象の第１の位置情報と第２の位置情報を用いることにより、複数の対象中の特定の１つの高さを計算し、特定の対象の第１の位置情報を、最小の高さに対応する第２の位置情報にマッチングするステップを含む。

好ましい態様によれば、データ関連付け方法は、一定の時間範囲における関連付け結果を累積し、それらの投票によって最終的な関連付け結果を取得するステップをさらに有することを特徴とする請求項９に記載のデータ関連付け方法。

好ましい態様によれば、前記位置センサが、位置信号受信機と位置タグを含み、前記位置センサからの対象の前記第２の位置情報が、前記対象の位置データと識別データを含む。好ましくは、前記位置センサが超音波位置決めシステムである。また、好ましくは、前記対象が人間の顔である。

本発明は、複数のターゲット対象が環境に同時に進入し或いは離れたとしても、対象の関連するイベントを検出することなく、環境に配置された位置センサとカメラに対する動的なデータ関連付けを実現する。
さらに、本発明は、三次元位置推定がカメラによって実行される場合に付随する特別な制限を回避し、単一のカメラのデータから位置情報を推定する。

本発明の上記およびその他の特徴は、図面を参照して以下に説明される。
本発明の実施の形態によるデータ関連付け装置のブロック図である。 本発明の実施の形態によるデータ関連付け装置が用いられる具体的な場面を示す図である。 センサ・データ関連付けの基本原理を示す図である。 空間におけるカメラと対象間の位置関係の概略図である。 空間における、カメラと対象間の位置関係の概略図である。 ２つの位置タグ（２人）がカメラと同じ水平方向に位置する状況の例を示す図である。 本発明の他の実施の形態によるデータ関連付け装置のブロック図である。 本発明の実施の形態によるデータ関連付け方法のフローチャートである。 本発明の実施の形態による、カメラと同じ水平方向に複数対象が存在する場合に位置タグを判定する具体的方法のフローチャートである。

以下、本発明の実施の形態について図面を参照して詳細に説明する。本発明の原理と実装例は当業者に明白になるであろう。しかしながら、本発明は下に説明する特定の実施の形態に限定しない。さらに、説明を分かり易くするため、本発明に関連する公知の要素については図示していない。

図１は、本発明の実施の形態によるデータ関連付け装置１００のブロック図である。図１に示すように、データ関連付け装置１００は、象位置決めユニット１０１と、記憶ユニット１０２および関連付けユニット１０３を含む。対象位置決めユニット１０１の入力はカメラからデータを受信する。記憶ユニット１０２の入力は、位置センサからデータを受信する。また、記憶ユニット１０２の他の入力は、対象位置決めユニット１０１の出力からデータを受信する。関連付けユニット１０３は、記憶ユニット１０２から必要なデータを検索し、ある対象についてのカメラからのデータと位置センサからのデータが互いに関連付けられるようにデータ関連付けを実行する、

図２は、本発明の実施の形態によるデータ関連付け装置が用いられる具体的な場面を示す図である。図２に示すように、カメラと、位置信号受信機２０１及び位置タグ２０２を含む位置センサが設けられている。位置タグ２０２は、位置信号受信機２０１に対して位置信号を送るために対象上に取り付けられている。例えば、図２に示すケースにおいては、位置タグ２０２は、２人の人間の人体上にそれぞれ身に付けられている。場面の上部に設置された位置信号受信機２０１は、位置タグ２０２から送られた位置信号を受信し、場面における位置タグ２０２の三次元座標を計算する。識別（ＩＤ）が位置タグに割り当てられており、これにより、各タグは対応するそれ自身のＩＤを有する。
位置センサは、例えば、（ｔａｇ＿ｉｄ、Ｘ、Ｙ、Ｚ）の形式の位置データを取得する。ここで、ｔａｇ＿ｉｄは、位置タグのＩＤを示し、(X, Y, Z)は、場面内の位置タグを身に付けている対象の三次元座標を示している。対して、カメラ２０３は、対象に関する画像情報をキャプチャし、かつ対象の属性情報を取得するために画像情報を分析するのに用いられる。例えば、対象が人間ならば、対象の属性情報は人間の顔のサイズ、その人のコートの色等である。

対象が１つだけであれば、から位置センサからの位置データとカメラからの対象属性データの関連付けは、直接関連付け手順に関する。すなわち、対象の属性情報が画像情報の分析により取得されれば、その情報は位置データと直接関連付けられる。しかしながら、場面に幾つかの対象が存在する場合（図２に示すような２人の人間）、対象に付けられた箇所タグをどのように識別するかについて、動的関連付けの問題が生じる。

図３はセンサ・データ関連付けの基本原理を示している。センサ１からのデータおよびセンサ２からのデータは、それぞれ、ｄ１、ｄ３およびｄ２、ｄ４として表されている。センサ・データ関連付け処理によって、ｄ１とｄ３がｄ２とｄ４にそれぞれ関連していることを知ることができる。すなわち、ｄ１とｄ２が、現場の１つの対象に属し、また、ｄ３とｄ４がもう１つの対象に属している。その後、関連付けマトリックスが関連付けの結果として出力される。ここで、「１」は、「１」の箇所に対応する行と列のデータ（例えば、ｄ１とｄ２）が関連付けられており、「０」は、それらのデータ（例えばｄ２とｄ３）が関連付けられていないことを表している。

しかしながら、画像から取得した対象の属性情報には不確かさがある。
例えば、目標対象が人間の顔である場合、正面からの人間の顔の検出精度は９８％であるが、他の方向からの精度は約９５％であるに過ぎない。
したがって、検出された顔情報から得られる対象属性情報はある程度の不確かさを有している。その上、画像中の人間の顔の位置がそれぞれ異なることから、画像中の奥行きと大きさが異なる人間の顔が同じ大きさに見える場合があり、その場面における人間の顔の三次元位置情報を直接取得することができないことになる。さらに、位置タグは人間の上着に通常身に付けられている。これは画像中の人間の顔の領域から位置タグの位置情報を取得することができないことを意味している。したがって、画像情報に位置情報を関連付けることが困難となる。

画像情報における不確かさのために、位置センサからのデータとカメラからのデータを関連付ける動的データ関連付け処理がある。一般に、２種類のセンサからのデータを関連づける一般的な方法は関連付け関数Ａ（ｄ１、ｄ２）を定義することである。ここで、ｄ１とｄ２は、異なるセンサからの関連付けるべきデータを表している。データｄ１とｄ２が同じ対象から生ずる場合、関連付け関数は「１」の結果を出力し、そうでなければ、関連付け関数は「０」の結果を出力する。実装のため、データマッチング関数が関連付け関数を実現するために定義される場合がある。特に、一定の類似度（画像データにおける類似度）を有するデータが関連していると認められるように、関連付け関数が実現される。データのマッチングは通常同じ測定空間において実行されるので、位置センサ・データの位置情報と整合するように、画像情報を位置情報に変換することが必要である。あるいは、位置情報が整合するように画像情報に変換される場合もある。画像から位置情報を推定する技術は視覚測定（visual measurement）と呼ばれる。実際には、コストを下げるために、往々にして１台のカメラだけがある場所に配置される場合がある。その結果、単眼カメラの測定に関する問題が起こる。

上記の点を考慮し、位置センサと単眼カメラのデータ関連付けのための本発明の基本概念は、カメラによってキャプチャされた画像から対象の位置情報を推定し、位置センサから得られた対象の位置情報と推定された位置情報をマッチングすることを含んでいる。

再度図１と図２を参照すると、カメラ２０３は、まず、キャプチャされた画像についてターゲット対象検出を実行し、画像中のターゲット対象のシリアル番号、座標（ｘ、ｙ）あるいはアスペクト比（ｗ、ｈ）等の、画像中のターゲット対象の属性情報を取得する。カメラ２０３自身のパラメータと画像中のターゲット対象の座標に従って、データ関連付け装置１００の対象位置決めユニット１０１は、その環境における対象の位置情報を推定し、記憶するためにその位置情報を記憶ユニット１０２に送る。一方、位置タグ２０２の信号は位置センサによって取得され、それにより、位置タグ２０２が位置決めされ、タグ２０２の環境座標（Ｘ，Ｙ，Ｚ）が直接計算される。この環境座標（Ｘ，Ｙ，Ｚ）も記憶ユニット１０２に格納される。これらの動作に基づいて、関連付けユニット１０３は、記憶ユニット１０２から対象位置情報とタグ位置情報を検索し、位置に基づいたデータ照合を実行し、関連付け結果を出力する。本実施の形態において、ターゲット対象は人間の顔であり、位置センサは超音波測位システム（ultrasound locating system）である。位置センサによって位置タグのデータを取得することは、非特許文献１に開示された方法によって実現することが可能であり、かつ、人間の顔検出は非特許文献２("Rapid
object detection using a boosted cascade of simple features", Paul Viola,
Michael Jones., Proceedings of the 2001 IEEE Computer Society Conference on
Computer Vision and Pattern Recognition, Vol.1 pp. 511-518, 2001)によって実現することが可能である。

以下、人間の顔検出の結果から環境中の人間の顔の位置情報を取得することに関する対象位置決めユニット１０１の動作と、センサ・データ関連付けのために位置センサからの位置情報と対象位置決めユニット１０１からの位置情報をマッチングすることに関する関連付けユニット１０３の動作について、図４〜図６を参照して詳細に説明する。

図４（ａ）に示すように、カメラが人間の顔をキャプチャする場合、地面に対するカメラと人間の顔の間の関係は、簡単な三角関数である。人間の顔の高さは以下のように計算することができる。

ここで、Ｈｃはカメラの高さを示し、ｄｐは人間とカメラの間の水平距離を示し、αは垂線に対するカメラの角を示す。その角は人間の測定点の高さに基づいている。位置タグが人体上に身に付けられているので、ｄｐは位置センサから直接取得することができる。さらに、Ｈｃは、非特許文献３("Flexible Camera Calibration By Viewing a Plane From Unknown
Orientations", Zhengyou Zhang., International Conference on Computer
Vision (ICCV'99), Corfu, Greece, pages 666-673, September 1999)に開示された方法等のような、カメラのキャリブレーションによって取得することができる、

そこで、問題は角αをどのように取得するかである。図４（ｂ）に示すように、水平線に対するカメラの伏角βは、水平線に対するカメラ自体の伏角β０と高さｈｐによってもたらされた角β１の、２つの要素からなる。カメラ自体の伏角β０もカメラのキャリブレーションによって取得することが可能である。カメラの現像原理（imaging principles）によれば、β１は

を満足する。
ここで、図４（ｃ）に示すように、ｙｃは画像のＹ軸における中心座標を示し、ｆはカメラの焦点距離を示し、ｙは人間の頂点に対応するＹ軸座標を示している。焦点ｆも、カメラのキャリブレーションによって予め取得することができる。
したがって、高さＨｐは

と変形される。
ここで、「ａｒｃｔｇ」はアーク・タンジェント関数を示す。

カメラの水平方向において、図４（ｄ）に示すように、対象位置決めユニット１０１は水平角θを計算する。

ここで、ｘｃは画像のＸ軸における中心座標を示し、ｘは人間の頂点に対応するＸ軸座標を示す。

位置タグの三次元の座標は、位置センサによって取得することができる。また、この座標はカメラの水平面に投影することでき、これにより、図５に示すように、水平角θ’が取得される。図５において、Ｐｄはカメラのキャリブレーションによって指定されるカメラの光学的中心の方向における１点を示し、Ｐｃはカメラの光学的中心の地面上の投影点であると仮定する。
三角関係によれば、以下の関係が成り立つ。

ここで、Ｄ１は点Ｐから直線ＰｃＰｄへの距離を表し、Ｄｐは点Ｐから点Ｐｃへの距離を表す。
カメラをキャリブレートする時に点ｐｃとＰｄが決定され、点Ｐの座標は位置センサによって提供されるので、関連付けユニット１０３は、式（５）に従って角度θ’を計算することができる。

以上をまとめると、画像からデータ点ｐが与えられ、位置センサから位置点Ｐが与えられるので、カメラの水平方向における関連付け関数は以下のように定義される。

ここで、ｐは画像内の座標を表し、Ｐは環境内の三次元座標を表し、Ｔは実際の適用に基づいて決定された閾値である。

しかしながら、式（６）は、ただ水平方向における２つのセンサの測量についてだけ記述する。２つのタグが同じ角度θ’で位置すれば、１つの人間の顔が２つのタグに対応するような場合がある。図６は、そのような情況の例を示す。

図６に示すように、人間の顔画像からの各データ点ｐ１とｐ２は、水平方向において２点Ｐ１とＰ２と一致する。それは混同を引き起こす。したがって、２つのグループの点の実際の一致についてさらに判定する必要がある。ここで、１つの前提条件は、同一水平方向においてカメラによってキャプチャされた人間の顔が互いに遮蔽されていないことである。人間の顔からの点ｐが位置点Ｐとマッチすれば、実際の一致した組の点に基づいて計算される人間の顔の高さは、最小となる。そうでなければ、画像において人間の顔の遮蔽が発生している。
この前提条件に基づいて、式（３）が点Ｐ１について使用される。そして、Ｈｐ１１とＨｐ１２が点ｐ１と点ｐに基づいてそれぞれ計算される。その後、Ｈｐ１１をＨｐ１２と比較し、Ｈｐ１１とＨｐ１２のうちより小さな１つに対応し、かつ点Ｐ１と一致するデータ点ｐを選択する。他のものについても同じ方法で行うことが可能である。

さらに具体的には、カメラの同一水平方向において複数の対象が存在する場合、カメラによってキャプチャされた人間の顔の集合は、｛ｐ_１，ｐ_２，…，ｐ_ｎ｝として示され、対応する位置タグの集合が、｛Ｐ１とＰ２、…、Ｐｎ｝として示されると仮定する。ここで、ｐ１からｐｎは角度αの順番で配置され、Ｐ１からＰｎは人間の顔とカメラの間の距離の順番で配置される。
対象位置決めユニット１０１は、未処理の人間の顔piを選択し、人間の顔piについて順番に未処理の位置タグＰｊを選択し、その後、式（１）に基づいてｐｉとＰｊを用いて高さＨｉｊを計算する。その結果、ｐｉについて計算された高さのうち最小の高さが選択され、それによって対応するＰｋを見つけ出すことができる。その後、対象位置決めユニット１０１は、人間の顔ｐｉが位置タグＰｋに対応すると判断し、その結果を記録し、人間の顔の集合中の人間の顔ｐｉと位置タグの集合中の位置タグＰｋを処理済みとしてマーク付けする。

人間の顔がすべて処理されるまで、対象位置決めユニット１０１は、人間の顔の集合中の未処理のものについて前述の処理を実行する。

従って、本実施の形態において、画像中のデータ点ｐと位置タグの位置点Ｐのパラメータを有する総関連付け関数は、以下のように記述することができる。

R'(p,P)=R(p,P)×M(p.P) (7)

ここで、Ｍ（ｐ，Ｐ）は、カメラの同一水平方向における人間の顔について実行された前述の処理の出力である。ｐがＰに対応すれば、Ｍ（ｐ，Ｐ）は「１」であり、そうでなければ、Ｍ（ｐ、Ｐ）は「０」である。

本実施の形態において、データ関連付け装置１００は、人間の顔検知の結果から環境中の人間の顔の三次元情報を取得する。さらに、データ関連付け装置１００は、カメラからのデータに位置センサからのデータを関連付けるためにデータマッチングを実行する。

図７は、本発明の他の実施の形態によるデータ関連付け装置７００のブロック図である。データ関連付け装置７００は、さらに投票ユニット７０４を含むこと以外、基本的に図１に示すデータ関連付け装置１００と共通している。
実際の使用において、位置センサは対象を追跡することが可能である。すなわち、一定の時間範囲内で、位置センサは、カメラによってキャプチャされている同じ対象を常に関連付ける。それにより、図７に示すデータ関連付け装置７００において、関連付けユニット７０３は、各タイミングでカメラからのデータに位置センサからのデータを関連付ける。次に、特定の時間において、投票ユニット７０４が、投票により最終的な関連付け結果を取得する。例えば、時間Ｔの期間において、所定の時間に関連付け関数Ａ（ｐ１、Ｐ１、ｔ）の出力が確定されたと仮定すると、最終的な関連付け結果は次のとおりとなる。

ここで、ｊは、時間ｔにおいてｐ１と一致するデータ点Ｐの索引を示す。

従って、本実施の形態におけるデータ関連付け装置７００は、一定の時間間隔で累積投票を実行することが可能である。これは、関連付け結果の正確さを向上させる。

図８は、本発明の実施の形態によるデータ関連付け方法８００のフローチャートである。この方法８００はステップ８０２から開始する。
ステップ８０４で、位置センサからのデータとカメラからのデータを受信する。ステップ８０６で、カメラからのデータを、カメラによってキャプチャされた対象の位置情報を推測するために処理する。次に、ステップ８０８で、推測された位置情報を、センサ・データ関連付けを実現するために位置センーからの位置情報とマッチングする。
または、ステップ８１０で、一定の時間範囲における関連付け結果が累積され、最終的な関連付け結果を取得するために投票される。最後に、ステップ８１２で処理が終了する。

図９は、カメラの同一水平方向に複数の対象が存在する場合に、本発明の実施の形態よよって位置タグを確定する具体的方法のフローチャートである。
この方法はステップ９０２から開始する。次に、ステップ９０４で、カメラによってキャプチャされた人間の顔の集合を、｛ｐ１，ｐ２、…，ｐｎ｝と表し、対応する位置タグの集合を、｛Ｐ１，Ｐ２，…，Ｐｎ｝と表して提供される。ここで、ｐ１からｐｎは角度αの順番で配置され（図４（ａ）に示すように）、Ｐ１からＰｎは人間の顔とカメラの間の距離の順番で配置される。

ステップ９０６で、未処理の人間の顔ｐｉを人間の顔の集合から選択する。ステップ９０８で、人間の顔ｐｉに対する未処理の位置タグＰｊが、位置タグの集合から順番に選択される。次に、ステップ９１０で、人間の顔の高さＨｉｊが、等式（１）に従ってｐｉとＰｊを用いて計算される。

その後、ステップ９１２で、ｐｉについて計算された最小の高さを選択し、対応するＰｋを選択する。次に、ステップ９１４で、人間の顔ｐｉが位置タグＰｋに対応することが判定され、この結果が記録される。さらに、人間の顔の集合中の人間の顔ｐｉと位置タグの集合中の位置タグＰｋが処理済みとしてマーク付けされる。

ステップ９１６で、人間の顔の集合内に未処理の人間の顔が存在するかどうかを決定する。存在すれば、処理はステップ９０６へ戻る。存在しなければ、ステップ９１８で処理が終了する。

本発明は、複数のターゲット対象が環境に同時に進入し或いは離れたとしても、対象の関連するイベントを検出することなく、環境に配置された位置センサとカメラに対する動的なデータ関連付けを実現する。さらに、本発明は、三次元位置推定（対象の脚部やフラグの検出等）がカメラによって実行される場合に付随する特別な制限を回避し、単一のカメラのデータから位置情報を推定する。

以上、本発明についてその好適な実施例を参照して説明したが、当該技術に精通した当業者には、本発明の精神と範囲から逸脱することなく他の様々な修正、変更、追加を行うことが可能なことは明らかであろう。したがって、本発明の範囲は上記の具体的な実施例に限定されず、付記した請求項によってのみ限定される。

ウィンドウベースのアプリケーションが、図６において具体例の説明のために示しているけれども、本発明がさらに他のアプリケーションに適用可能であることは当業者であれば十分に理解することができるであろう。

さらに、上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、これに限定されない。

（付記１）
カメラから対象の画像データを受信し、前記対象の第１の位置情報を生成する対象位置決め手段と、
前記対象位置決め手段によって生成された対象の第１の位置情報を格納し、位置センサからの対象の第２の位置情報を格納する記憶手段と、
前記記憶手段に格納された第１の位置情報と第２の位置情報に基づいて、カメラからの対象の画像データを、前記位置センサからの対象の第２の位置情報と関連付ける関連付け手段と
を備えることを特徴とするデータ関連付け装置。

（付記２）
前記対象位置決め手段が、対象の画像データに基づいて対象の前記第１の位置情報を推測するように構成され、
前記第１の位置情報が対象とカメラの間の水平角情報を含むことを特徴とする付記１に記載のデータ関連付け装置。

（付記３）
前記関連付け手段は、複数の対象が同一の第１の位置情報を有する場合、複数の対象の第１の位置情報を、それぞれの対象の第２の位置情報にマッチングさせ、カメラからの複数の対象の画像データを前記位置センサからの複数の対象の第２の位置情報とそれぞれ関連付けるように構成されることを特徴とする付記２に記載のデータ関連付け装置。

（付記４）
前記関連付け手段は、複数の対象の第１の位置情報と第２の位置情報を用いることにより、複数の対象中の特定の１つの高さを計算し、特定の対象の第１の位置情報を、最小の高さに対応する第２の位置情報にマッチングさせるように構成されることを特徴とする付記３に記載のデータ関連付け装置。

（付記５）
前記位置センサが、位置信号受信機と位置タグを含み、前記位置センサからの対象の前記第２の位置情報が、前記対象の位置データと識別データを含むことを特徴とする付記１に記載のデータ関連付け装置。

（付記６）
前記位置センサが超音波位置決めシステムであることを特徴とする付記５に記載のデータ関連付け装置。

（付記７）
前記対象が人間の顔であることを特徴とする付記１に記載のデータ関連付け装置。

（付記８）
一定の時間範囲における前記関連付け手段の関連付け結果を累積し、それらの投票によって最終的な関連付け結果を取得するように構成される投票手段を備えることを特徴とする付記１に記載のデータ関連付け装置。

（付記９）
カメラから対象の画像データを受信し、対象の第１の位置情報を生成するステップと、
位置センサから対象の第２の位置情報を受信するステップと、
前記第１の位置情報と前記第２の位置情報に基づいて、カメラからの対象の画像データを、前記位置センサからの対象の第２の位置情報と関連付けるステップと
を有することを特徴とするデータ関連付け方法。

（付記１０）
前記第１の位置情報が対象とカメラの間の水平角情報を含むことを特徴とする付記９に記載のデータ関連付け方法。

（付記１１）
前記関連付けするステップは、複数の対象が同一の第１の位置情報を有する場合、複数の対象の第１の位置情報を、それぞれの対象の第２の位置情報にマッチングし、カメラからの複数の対象の画像データを前記位置センサからの複数の対象の第２の位置情報とそれぞれ関連付けるステップを含むことを特徴とする付記１０に記載のデータ関連付け方法。

（付記１２）
前記関連付けするステップは、複数の対象の第１の位置情報と第２の位置情報を用いることにより、複数の対象中の特定の１つの高さを計算し、特定の対象の第１の位置情報を、最小の高さに対応する第２の位置情報にマッチングするステップを含むことを特徴とする付記１１に記載のデータ関連付け方法。

（付記１３）
一定の時間範囲における関連付け結果を累積し、それらの投票によって最終的な関連付け結果を取得するステップをさらに有することを特徴とする付記９に記載のデータ関連付け方法。

（付記１４）
前記位置センサが、位置信号受信機と位置タグを含み、前記位置センサからの対象の前記第２の位置情報が、前記対象の位置データと識別データを含むことを特徴とする付記９に記載のデータ関連付け方法。

（付記１５）
前記位置センサが超音波位置決めシステムであることを特徴とする付記１４に記載のデータ関連付け方法。

（付記１６）
前記対象が人間の顔であることを特徴とする付記９に記載のデータ関連付け方法。

１００：データ関連付け装置
１０１：象位置決めユニット
１０２：記憶ユニット
１０３：関連付けユニット
７００：データ関連付け装置
７０１：象位置決めユニット
７０２：記憶ユニット
７０３：関連付けユニット
７０４：投票ユニット

Claims (10)

1. カメラから対象の画像データを受信し、前記対象の第１の位置情報を生成する対象位置決め手段と、
   前記対象位置決め手段によって生成された対象の第１の位置情報を格納し、位置センサからの対象の第２の位置情報を格納する記憶手段と、
   前記記憶手段に格納された第１の位置情報と第２の位置情報に基づいて、カメラからの対象の画像データを、前記位置センサからの対象の第２の位置情報と関連付ける関連付け手段と
   を備えることを特徴とするデータ関連付け装置。
2. 前記対象位置決め手段が、対象の画像データに基づいて対象の前記第１の位置情報を推測するように構成され、
   前記第１の位置情報が対象とカメラの間の水平角情報を含むことを特徴とする請求項１に記載のデータ関連付け装置。
3. 前記関連付け手段は、複数の対象が同一の第１の位置情報を有する場合、複数の対象の第１の位置情報を、それぞれの対象の第２の位置情報にマッチングさせ、カメラからの複数の対象の画像データを前記位置センサからの複数の対象の第２の位置情報とそれぞれ関連付けるように構成されることを特徴とする請求項２に記載のデータ関連付け装置。
4. 前記関連付け手段は、複数の対象の第１の位置情報と第２の位置情報を用いることにより、複数の対象中の特定の１つの高さを計算し、特定の対象の第１の位置情報を、最小の高さに対応する第２の位置情報にマッチングさせるように構成されることを特徴とする請求項３に記載のデータ関連付け装置。
5. 前記位置センサが、位置信号受信機と位置タグを含み、前記位置センサからの対象の前記第２の位置情報が、前記対象の位置データと識別データを含むことを特徴とする請求項１に記載のデータ関連付け装置。
6. 前記位置センサが超音波位置決めシステムであることを特徴とする請求項５に記載のデータ関連付け装置。
7. 前記対象が人間の顔であることを特徴とする請求項１に記載のデータ関連付け装置。
8. 一定の時間範囲における前記関連付け手段の関連付け結果を累積し、それらの投票によって最終的な関連付け結果を取得するように構成される投票手段を備えることを特徴とする請求項１に記載のデータ関連付け装置。
9. カメラから対象の画像データを受信し、対象の第１の位置情報を生成するステップと、
   位置センサから対象の第２の位置情報を受信するステップと、
   前記第１の位置情報と前記第２の位置情報に基づいて、カメラからの対象の画像データを、前記位置センサからの対象の第２の位置情報と関連付けるステップと
   を有することを特徴とするデータ関連付け方法。
10. 前記第１の位置情報が対象とカメラの間の水平角情報を含むことを特徴とする請求項９に記載のデータ関連付け方法。

Images