以下、図面を用いて本発明の実施の形態を説明する。
なお、本実施形態では目標物の移動軌跡を「航跡」と表現するが、本発明が対象とする目標物は、移動する物体である限り、例えば車両、人又は船舶等、いかなるものであってもよい。また、本発明が対象とするセンサは、例えばレーダ、カメラ(定点監視用固定型、移動プラットフォーム搭載型、携帯型、等)、音響センサ、振動センサ、カウンタ、人(目視報告、ソーシャルネットワークサービスに登録された情報、等)など、目標物の存在又は移動を捉えられるいかなるセンサであってもよい。
図1は、本発明の実施形態のセンサ統合システムの構成を示す機能ブロック図である。本実施形態のセンサ統合システムは、センサ統合装置100、複数のセンサ、及び、センサ統合装置100と複数のセンサとを接続するネットワーク160によって構成される。本実施形態のセンサ統合システムは、さらに、ネットワーク160に接続された一つ以上の他センサ統合装置180を含んでもよい。また、センサ統合装置100は、入出力装置190を含む。
複数のセンサは、目標物に関する情報を取得できるものであればどのようなものであってもよい。ここで、目標物に関する情報とは、例えば目標物の位置を示す情報又は属性を示す情報等である。図1には二つのセンサ、すなわちセンサ1_151及びセンサ2_152を示すが、本実施形態のセンサ統合システムは、さらに多くのセンサを含んでもよい。これらの複数のセンサは、一つの種類のセンサのみを含んでもよいが、複数の種類のセンサを含んでもよい。例えば、センサ1_151がレーダであり、センサ2_152がカメラであってもよい。
センサ1_151及びセンサ2_152等は、センシングによって取得した観測データを含むセンサ情報171及びセンサ情報172等を、ネットワーク160を介してセンサ統合装置100に送信する。本実施形態のセンサ情報171等は、センサ属性、データ及びデータ属性を含む。センサ属性は、そのセンサ情報171等を送信したセンサの種別(たとえばそれがレーダ又はカメラ等のいずれであるかを示す情報)、識別子(ID)、及び当該センサの観測データに含まれる可能性がある項目(時刻、位置、速度、加速度、及び航跡)のような、センサの諸元を含む。さらにセンサ観測範囲や取得可能な属性などの情報を含んでも良い。データは、各センサによって取得された観測データ及びそれが取得された時刻等を含む。データ属性は、観測データの属性を示す情報、例えば観測データの精度等を含んでもよい。センサ統合装置100は、センサ情報171等をステップごとに取得してもよいし、ストリーミングによって取得してもよい。
各センサはセンサ統合装置100に固定的に接続されていてもよいが、新規のセンサの追加及び既存のセンサの削除を許容してもよい。追加されたセンサからの要求に基づいてセンサ統合装置100に新たなセンサが登録されてもよいし(すなわちPUSH登録)、センサ統合装置100がセンサを検索し、検索されたセンサを登録してもよい(すなわちPULL登録)。
なお、以下の説明において、各センサが目標物を観測可能な範囲を各センサの観測範囲と記載する。また、図4を参照して後述するように、本実施形態では複数のセンサの観測範囲が重複も隣接もしない場合があるため、いずれの観測範囲にも含まれない領域が存在する場合がある。このようにいずれの観測範囲にも含まれない領域を観測範囲外の領域と記載する。
センサ統合装置100は、入出力部101、目標物情報処理部102、センサ情報処理部103、地図情報処理部104、地理情報システム105及びデータベース106を有する。
センサ情報処理部103は、センサ1_151等の各種センサの属性及び各センサによって得られたセンサ観測データなどを扱う処理を行う。具体的には、センサ情報処理部103は、相関処理などによりセンサ観測データから目標物の移動軌跡を推定する航跡抽出処理部103A、センサの属性に観測範囲が含まれていない場合に観測範囲を特定する観測範囲特定処理部103B等を備える。
目標物情報処理部102は、複数のセンサ観測範囲にまたがる目標物を管理する目標物管理部102A、目標物がセンサ観測範囲から外に出る「通過」、及び目標物がセンサ観測範囲に入る「侵入」を判定する侵入・通過判定部102B、個別目標物をグループ化した集団目標物の属性を判定し、それぞれが別の観測範囲で観測された複数の集団目標物に関する情報が同一の集団に関する情報であるか否かを特定する集団属性照合部102C、同一集団であると判定された複数の集団目標物に関連付けられた複数の航跡を統合する航跡統合処理部102Dなどを備える。
地図情報処理部104は、地理情報システム105を用いて、地形及び地域状況の管理、道路地図などの経路情報の管理、並びに、後述の端点情報(端点に関連付ける通過・侵入目標物リストを含む)の管理などを実現する。
地理情報システム105は、地図情報の管理機能及び検索機能、空間解析機能(ネットワーク解析、見通し解析等)、並びに編集機能などを備える。地理情報システム105は公知の技術によって実現できるため、これに関する詳細な説明は省略する。
データベース106は、センサ情報データベース(DB)106A(センサ属性、センサ観測データを含む)、目標物情報DB106B(航跡を含む)、地図情報DB106C、処理パラメータDB106D、端点情報DB106E及び端点間ネットワークDB106Fなどを含む。センサ情報DB106Aは、センサ属性に関する情報及びセンサ観測データ等を含む。目標物情報DB106Bは、目標物の属性に関する情報及び目標物の航跡データ等を含む。また、目標物情報DB106Bは、個別の目標物に関するDBと、各々が複数の個別の目標物を含む集団の目標物に関するDBと、を含む。端点情報DB106Eは、各センサの観測範囲の端点(後述)の位置及びその端点から観測範囲に出入りする目標物に関する情報を含む。端点間ネットワークDB106Fは、端点から観測範囲外の領域を経由して別の端点に至る経路に関する情報を含む。これらのDBの詳細については後述する(図5A〜図5E等参照)。地図情報DB106Cは、複数の観測範囲と、少なくともそれらの観測範囲間をつなぐ観測範囲外の領域と、を含む領域の地図情報を含む。具体的には、地図情報DB106Cは、例えば、交差点に対応するノードと、交差点を接続する道路に対応するリンクとの接続関係、及び、道路の通行可否といった道路の属性等を示す道路ネットワークデータを含んでもよい。この道路ネットワークデータを用いて、通行可能な道路からなる目標物の移動経路を探索することができる。あるいは、地図情報DB106Cは、道路ネットワークデータの代わりに(又はそれに加えて)、標高、河川及び海岸線等に関する地形情報を含んでもよい。地図情報DB106Cとしては公知のものを使用することができるため、詳細な説明は省略する。処理パラメータDB106Dは、目標物情報処理部102及びセンサ情報処理部103等が実行する処理に使用される各種パラメータを保持する。例えば、図6Eを参照して後述するα、βのようなパラメータが処理パラメータDB106Dに保持されてもよい。
入出力部101は、センサ統合装置100がネットワーク160を介してセンサ1_151等から受信したセンサ情報171等、センサ統合装置100がネットワーク160を介して他センサ統合装置180から受信した目標物情報181、及び、センサ統合装置のユーザが入出力装置190を使用して入力した情報等を、データベース106に格納する。また、入出力部101は、例えばユーザによる情報の入力を支援するためのGUI(Graphical User Interface)の画像情報及びセンサ統合装置100による処理結果をユーザに提示するための画像情報等を入出力装置190に出力させる。
他センサ統合装置180は、センサ統合装置100と同様のものであってよいため、詳細な説明は省略する。図1では省略されているが、他センサ統合装置180も一つ以上のセンサからセンサ情報を取得し、そのセンサ情報に基づいてセンサ統合装置100と同様の処理を行うことができる。例えば、他センサ統合装置180はセンサ統合装置100と同様の処理によって目標物情報DB106Bと同様の情報を生成し、それを目標物情報181としてセンサ統合装置100に送信してもよい。さらにそれら目標物情報とセンサ情報を統合処理してもよい。
図2は、本発明の実施形態のセンサ統合システムのハードウェア構成を示すブロック図である。本実施形態のセンサ統合装置100は、インターフェース(I/F)201、プロセッサ202、記憶装置203、入力装置204及び出力装置205を備える。これらは、通信線(例えばバス)206を介して相互に接続される。
I/F201は、ネットワーク160に接続され、ネットワーク160を介して、センサ1_151等からセンサ情報171等を受信し、他センサ統合装置180から目標物情報181を受信する。ネットワーク160は、例えばIPネットワーク又はその他の種類のネットワーク等、いかなるものであってもよい。なお、図1にはセンサ情報等(すなわちセンサ情報171、172及び目標物情報181)がネットワーク160を介してセンサ統合装置100に入力される例を示したが、これらのセンサ情報等がネットワーク160を介さずにセンサ統合装置100に入力されてもよい。例えば、センサ1_151等がUSB(Universal Serial Bus)等のケーブルを介してセンサ統合装置100に接続され、そのケーブルを介してセンサ情報等がセンサ統合装置100に入力されてもよい。その場合、I/F201はUSBのインターフェースである。あるいは、センサ1_151等がセンサ情報等を持ち運び可能な記憶媒体(例えば持ち運び可能なフラッシュメモリ又は記憶ディスク)に格納し、その記憶媒体からセンサ情報等がセンサ統合装置100に入力されてもよい。その場合、I/F201は記憶媒体の読み出し装置である。あるいは、センサ1_151等がセンサ統合装置100に直結されてもよい。
プロセッサ202は、センサ統合装置100の各部を制御することによって、センサ統合装置100の種々の機能を実現する。例えば、プロセッサ202は、記憶装置203に格納されたプログラムに従って、I/F201、入力装置204及び出力装置205を制御することによって、図1の入出力部101、目標物情報処理部102、センサ情報処理部103、地図情報処理部104及び地理情報システム105の機能を実現してもよい。その場合、図2に示すハードウェアとして一般的なPC(Personal Computer)が使用されてもよい。あるいは、プロセッサ202は、上記のような汎用プロセッサでなく、上記の各部の機能を実現する一つ以上の専用プロセッサであってもよい。
記憶装置203には、プロセッサ202が実行するプログラム及びプロセッサ202によって参照されるデータが格納される。例えば、図1に示したデータベース106が記憶装置203に格納される。記憶装置203は、例えば、DRAM(Dynamic Random Access Memory)のような揮発性の半導体メモリ、フラッシュメモリのような不揮発性の半導体メモリ、若しくはハードディスクドライブのようなディスク装置等、又はそれらの組み合わせであってもよい。
入力装置204は、ユーザからの指示等を受け付けるために使用され、例えば、キーボード及びマウス等を含んでもよい。センサ統合装置100がユーザから指示を受ける必要がない場合には、入力装置204が省略されてもよい。出力装置205は、センサ統合装置100の処理結果(例えば抽出された航跡等)を出力する。さらに、出力装置205は、ユーザによる情報の入力を支援するためのGUI画像情報等を出力してもよい。例えば、出力装置205は、液晶表示装置のような画像表示装置であってもよい。図2の入力装置204及び出力装置205は、図1の入出力装置190に相当する。なお、図1に示した入出力部101は、API(Application Program Interface)、Webサービス又は記憶媒体を介して航跡等を出力してもよい。その場合、出力装置205は、ネットワークインターフェース又は記憶媒体への書き込み装置であってもよい。
図3は、本発明の実施形態のセンサ統合システムのハードウェア構成の変形例を示すブロック図である。センサ統合システムは、ネットワークに接続された複数のセンサ統合装置100を有する。ここでは、複数のセンサ統合装置100の例としてセンサ統合装置100A〜100Cを示す。各センサ統合装置100A〜100Cのハードウェア構成は図2に示したセンサ統合装置100の構成と同様である。また、図3に示す各センサ統合装置100A〜100Cは、図1に示すセンサ統合装置100又は他センサ統合装置180に相当する。
例えば、センサ統合装置100Aは、センサ1_151から取得したセンサ情報171に基づいて、センサ1_151の観測範囲内の目標物の航跡を抽出し、抽出した航跡データを含む目標物情報181をセンサ統合装置100Cに送信する。同様に、センサ統合装置100は、センサ2_152から取得したセンサ情報172に基づいて、センサ2_152の観測範囲内の目標物の航跡を抽出し、抽出した航跡データを含む目標物情報181をセンサ統合装置100Cに送信する。図3では省略されているが、さらに他のセンサ統合装置100が同様に目標物情報をセンサ統合装置100Cに送信してもよい。センサ統合装置100Cは、センサ統合装置100A及び100B等から受信した目標物情報181に基づいて、複数の観測範囲内の航跡を統合する。
上記のように、各観測範囲内の航跡の抽出と、複数の観測範囲内の航跡の統合とがそれぞれ別のセンサ統合装置100によって行われる場合には、それぞれのセンサ統合装置100が図1に示す全ての機能を有しなくてもよい場合がある。例えば、センサ統合装置100A及び100Bは、航跡の統合を行わないため、少なくとも航跡統合処理部102Dを有しなくてもよい。センサ統合装置100Cは、通常は各観測範囲内の航跡の抽出を行わないため、少なくとも航跡抽出処理部103Aを有しなくてもよい。ただし、センサ統合装置100Cは、実際には各観測範囲内の航跡の抽出をやり直す可能性もあるため、航跡抽出処理部103Aを有してもよい。
また、図3に示すセンサ統合システムは、上記のセンサ統合装置100A〜100Cと同様のセンサ統合装置100のグループ(すなわち、各々が一つのセンサの観測範囲内の航跡を抽出する複数のセンサ統合装置100と、それらの複数のセンサ統合装置100からの目標物情報に基づいて複数の観測範囲内の航跡を統合する一つのセンサ統合装置100と、からなるグループ)を複数有してもよい。その場合、センサ統合システムは、複数の観測範囲内の航跡を統合する複数のセンサ統合装置100から目標物情報を収集して全ての観測範囲内の航跡を統合する階層構造のセンサ統合装置100をさらに有する。
例えば、広域に多数のセンサが設置され、各センサにそのセンサの観測範囲内の航跡を抽出する一つのセンサ統合装置100が設けられ、各部分領域内の複数の観測範囲内の航跡を統合するセンサ統合装置100が設けられ、さらに、広域における全部分領域の全観測範囲内の航跡を統合するセンサ統合装置100が設けられてもよい。
また、図3には各センサ統合装置100A及び100B等がそれぞれ一つのセンサから取得したセンサ情報を処理し、それらの複数のセンサ統合装置100から取得した目標物情報をセンサ統合装置100Cが処理する形態を示したが、各センサ統合装置100A及び100B等がそれぞれ複数のセンサから取得したセンサ情報に基づいて複数の観測範囲内の航跡を抽出し、それらの複数のセンサ統合装置100から取得した目標物情報に基づいて、センサ統合装置100Cが航跡を統合してもよい。
上記のような階層構造または自律分散型の機能構成を採用することによって、本実施形態のセンサ統合システムは、一つのセンサ統合装置100が全てのセンサからの情報を処理する集中管理(図2参照)、又は複数のセンサ統合装置100の各々が一つ以上のセンサからの情報を処理する分散管理(図3参照)のいずれの形態を採用しても本発明を実現することができる。
以下、図1及び図2に示すセンサ統合装置100が保持する情報及び実行する処理を説明するが、図3に示す複数のセンサ統合装置100が保持する情報及び実行する処理も、情報が複数のセンサ統合装置100に分散して保持され、処理が複数のセンサ統合装置100によって分散して実行される点を除き、以下に説明するものと同様である。
図4は、本発明の実施形態のセンサ統合システムのセンサ統合処理の概要を示す説明図である。例として、センサ1_151の観測範囲401及びセンサ2_152の観測範囲402を示す。これらの観測範囲は隣接も重複もしておらず、一方の観測範囲内からもう一方の観測範囲内に移動する目標物は、必ず観測範囲外の領域を通過する。センサ1_151によって観測範囲401内で観測された目標物411A〜411C、及び、センサ2_152によって観測範囲402内で観測された目標物412A〜412Cを示す。図4の例において、これらの目標物は道路420に沿って移動する車両である。以下、本実施形態の説明においては、目標物の例として、車両又は人のように地上を走行又は歩行する移動体を挙げている。しかし、本実施形態は、車両又は人以外の任意の移動体(例えば船舶又は航空機等)にも適用することができる。
センサ統合装置100の航跡抽出処理部103Aは、目標物411A〜411Cの観測範囲401内における航跡を抽出する。さらに、航跡抽出処理部103Aは、目標物411A〜411Cからなる集団を一つの目標物411と認識し、その目標物411の観測範囲401内における航跡を抽出してもよい。以下、複数の目標物を含む目標物を集団目標物、集団目標物に含まれる目標物を個別目標物とも記載する場合がある。例えば個別目標物は1台の車両であり、集団目標物は複数の車両からなる車列である。
同様に、航跡抽出処理部103Aは、個別目標物412A〜412Cの観測範囲402内における航跡を抽出し、さらに、個別目標物412A〜412Cからなる集団目標物412の観測範囲402内における航跡を抽出してもよい。
航跡抽出処理部103Aは、任意の公知の方法(例えば特許文献1に記載された方法)を用いて各観測範囲内の目標物の航跡を抽出することができるため、その航跡抽出方法の詳細な説明は省略する。
観測範囲401と402との間に目標物が移動可能な経路が存在していれば、例えば観測範囲401においてセンサ1_151によって観測された目標物が、その後観測範囲402に移動して、それと異なる時刻にもう一方の観測範囲において観測される場合がある。図4の例では観測範囲401と402とを接続する道路420があるため、例えば目標物411A等が道路420を通って観測範囲401から観測範囲402に移動し、目標物412A等として観測される可能性がある。そのような場合には、目標物411A等の観測範囲401内における航跡と、目標物412Aの観測範囲402内における航跡とを統合して、同一の目標物の航跡として扱うことによって、複数のセンサの観測範囲の内外にわたる領域を移動する目標物を追跡することが可能になる。
しかし、観測範囲401と402との間の観測範囲外の領域における目標物の航跡は、各観測範囲内における航跡の抽出方法と同一の方法を用いても精度よく抽出することができない。本実施形態では、複数の観測範囲を地図情報(地図情報DB106Cに格納される)に基づいて関連付け、あるセンサの観測範囲内から観測範囲外に出た(以下、これを、「観測範囲を通過した」とも記載する)目標物と、別のセンサの観測範囲内に侵入した目標物とを照合する。これによって、異なる観測範囲における当該目標物の航跡を統合した航跡を推定できる。
特にセンサ観測範囲の間の距離が大きく、その間の観測範囲外の領域が広い場合、個別目標物の航跡を統合することは難しい場合が多い。一方、複数の個別目標物を一つの集団目標物として扱い、集団目標物としての大きな流れ、及び、集団目標物に含まれる個別目標物の属性情報(個別目標物の数、特徴的な種別の個別目標物の存在有無、等)を判定することで、航跡の統合が可能となる。
ここで地図情報は、道路ネットワークなどのネットワークデータ、道路形状又は等高線などのベクトルデータ、土地利用又は地形などのラスタデータであってもよい。道路ネットワークデータは、一般的に利用されるものと同様に、交差点に対応するノード及び交差点間を接続する道路に対応するリンクに関する情報であってよいが、ノード及びリンクの属性情報は、移動時間の推定に利用可能な距離の情報だけでなく、通行容易性の判定に利用可能な交通規制情報等を含んでもよい。
以下の説明において、目標物が各観測範囲に出入りするときに通る各観測範囲の境界上の地点を「端点」と記載する。実際に目標物が通ったと推定される地点だけでなく、目標物が通ることが予想される地点が端点として扱われてもよい。具体的には、例えば地図情報DB106Cに道路ネットワーク情報が含まれる場合、道路と各観測範囲の境界が交差する地点が端点となる。
図4の例において、端点430A及び430Bは、道路420と観測範囲401の境界とが交差する地点であり、端点430C及び430Dは、道路420と観測範囲402の境界とが交差する地点である。例えば、観測範囲401において目標物411として観測された目標物が道路420を走行して端点430Bを通過し、さらに道路420を走行して端点430Cから観測範囲402に侵入し、目標物412として観測される場合がある。なお、実際の道路は幅を持っているため、道路と観測範囲の境界が交差する端点は、一般に、幾何学上の厳密な定義に従う「点」ではなく、ある程度の大きさを持った範囲である。また、例えば目標物が道路以外の部分を走行する場合、あるいは地図情報DB106Cが当該領域の道路ネットワーク情報を含まない場合等には、観測された目標物の航跡に基づいて端点の位置が推定されてもよい。
なお、複数の個別目標物からの一つの集団目標物の生成(言い換えると、どの複数の個別目標物を一つの集団目標物として扱うかを決定すること)は、公知の方法を含む任意の方法によって実行することができるため、詳細な説明を省略する。例えば公知のクラスタリングを行って一つのクラスタに分類された複数の個別目標物を一つの集団目標物として扱ってもよいし、特許文献1に記載されているように所定のテンプレートと複数の個別目標物とを比較した結果に基づいて集団目標物を生成してもよいし、それ以外の個別目標と集団目標を対応付けて管理するいかなる方法を使用してもよい。
次に、センサ統合装置100が保持するデータベース106の内容について説明する。
本実施形態の目標物情報DB106Bは、各センサによって観測された個別目標物の航跡及び属性に関する情報を保持する個別目標物情報テーブル500と、集団目標物の航跡及び属性に関する情報を保持する集団目標物情報テーブル510と、を含む。前者については図5Aを参照して説明し、後者については図5Bを参照して後述する。
図5Aは、本発明の実施形態のセンサ統合装置100の目標物情報DB106Bに含まれる個別目標物情報テーブル500の説明図である。個別目標物情報テーブル500は、個別目標物ID501、位置502、及び、各個別目標物の位置以外の一つ以上の属性に関する情報を含む。各個別目標物の一つ以上の属性に関する情報は、一つ以上の属性の種類とその種類の属性値とを対応付ける情報であり、図5Aの例では、属性1(全長)503、属性2(種別)504及び属性3(色)505を含む。
個別目標物ID501は、各個別目標物の識別子である。例えば図4に示すように観測範囲401において個別目標物411A〜411Cが観測され、観測範囲402において個別目標物412A〜412Cが観測された場合、これらの6個の個別目標物に一意の識別子が与えられ、個別目標物ID501として保持される。個別目標物IDは観測されたセンサと対応付けたID体系としてもよい。
位置502は、各センサによって観測された各個別目標物の各時刻における位置を示す座標値である。例えば、位置502として、ある個別目標物の時刻tにおける座標値pt、時刻t−1における座標値pt-1及び時刻t−2における座標値pt-2、以下同様に他の時刻における座標値が保持される。これらの時刻ごとの座標値が各個別目標物の航跡に相当する。
属性1(全長)503は、各個別目標物の大きさを示す情報の一例であり、例えば「aaメートル」のような値であってもよいし、「bbメートル〜ccメートル」のような幅を持った値であってもよい。あるいは「aaメートル(標準偏差dd)」のような精度の情報を持った値であってもよい。
属性2(種別)504は、各個別目標物の種別、例えば、各個別目標物が車両、船舶又は航空機といった移動体のうちいずれの種類のものであるかを示す情報である。本実施形態では一例として車両のような陸上を走行する目標物を扱うため、属性2(種別)504は、各個別目標物が車両又は歩行者のいずれであるか、車両である場合にはどのような種類の車両であるか、等を示す情報であってもよい。
属性3(色)505は、各個別目標物の色を示す情報である。
個別目標物情報テーブル500は、各個別目標物の上記以外の属性(例えば各個別目標物の形)に関する情報をさらに含んでもよい。
なお、後述するように、目標物を観測するセンサ1_151等の種別によって、取得できる属性情報の種類が異なる場合がある。例えば、センサ1_151等がカラー画像を撮影できるカメラである場合、撮影した画像から個別目標物の色を特定することができるが、センサ1_151等がレーダである場合、取得された情報から個別目標物の色を特定することができない。このような場合には、個別目標物情報テーブル500の該当する項目(例えば属性3(色)505)は空となる。あるいは属性項目部分をサブテーブル化したり、または属性項目名とその値の組を管理してもよい。
図5Bは、本発明の実施形態のセンサ統合装置100の目標物情報DB106Bに含まれる集団目標物情報テーブル510の説明図である。集団目標物情報テーブル510は、集団目標物ID511、位置512、個別目標物リスト513、及び、各集団目標物の位置以外の一つ以上の属性に関する情報を含む。各個別目標物の一つ以上の属性に関する情報は、一つ以上の属性の種類とその種類の属性値とを対応付ける情報であり、図5Bの例では、属性1(数)514及び属性2(位置パターン)515を含む。
集団目標物ID511は、各集団目標物の識別子である。例えば図4に示すように観測範囲401において集団目標物411が観測され、観測範囲402において集団目標物412が観測された場合、これらの2個の個別目標物に一意の識別子が与えられ、集団目標物ID511として保持される。
位置512は、各センサによって観測された各集団目標物の各時刻における位置を示す座標値であり、個別目標物に関する位置502と同様の形式のデータとして保持されてもよい。これらの時刻ごとの座標値が各集団目標物の航跡に相当する。
個別目標物リスト513は、各集団目標物に含まれる個別目標物の識別子のリストである。ここに保持される識別子は、個別目標物ID501として保持された識別子と対応する。
属性1(数)514は、各集団目標物に含まれる個別目標物の数を示す。例えば、属性1(数)514は、「cc個」のような値であってもよいし、「aa個〜bb個」のような幅を持った値であってもよい。あるいは「aa個(標準偏差cc)」のような精度の情報を持った値であってもよい。
属性2(位置パターン)515は、各集団目標物に含まれる複数の個別目標物の相対的な位置関係(すなわち配置)を示す。
集団目標物情報テーブル510は、各集団目標物の上記以外の属性に関する情報をさらに含んでもよい。あるいは属性項目部分をサブテーブル化したり、または属性項目名とその値の組を管理してもよい。
なお、各集団目標物の個別目標物リスト513の値をキーとして個別目標物情報テーブル500を検索することによって、各集団目標物に含まれる個別目標物の全長、種別といった属性を取得することができる。このような各集団目標物に含まれる個別目標物の属性を、各集団目標物の属性の一部として扱い、集団目標物の照合判定に利用することもできる。
図5Cは、本発明の実施形態のセンサ統合装置100のセンサ情報DB106Aに含まれるセンサ情報テーブル520の説明図である。センサ情報テーブル520は、各センサ(例えばセンサ1_151及びセンサ2_152等)に関する情報を含む。図5Cの例では、センサ情報テーブル520は、センサID521、センサ種別522、観測範囲523、端点リスト524及び取得属性525等を含む。
センサID521は、各センサの識別子である。センサ種別522は、各センサの種別、例えば各センサがレーダ、カメラ又はその他の種類のセンサのいずれであるかを示す情報である。センサ種別522は、各種処理の切り替え及びパラメータ調整等に用いられる。
観測範囲523は、各センサの観測範囲の位置、大きさ、形状等を示す情報であり、例えば各センサの観測範囲の境界線(すなわち輪郭線)の座標値を含んでもよい。観測範囲に関する情報がセンサの属性情報に含まれていない場合、観測範囲特定処理部103Bにて計算生成してもよい。
端点リスト524は、各センサの観測範囲の端点の識別子のリストである。例えばセンサ1_151の観測範囲401に関する端点リスト524は、端点430A及び430Bの識別子を含む。なお、ここで使用される端点の識別子は、各観測範囲内で一意であれば、複数の観測範囲内で一意でなくてもよい。その場合、各センサの観測範囲内の各端点を複数の観測範囲内で一意に識別するためには、各センサの識別子と各端点の識別子とを組み合わせた識別子を使用する必要がある。後述する端点情報テーブル530及び端点間ネットワークテーブル540において使用される端点の識別子は、上記のように各端点を複数の観測範囲内で識別する情報である。あるいは端点リスト524はセンサ情報テーブル520で保持せず、端点情報テーブル530側で管理し、必要に応じて端点情報テーブル530を検索して利用してもよい。
取得属性525は、各センサによって取得される属性の情報を示す。例えば、センサがレーダである場合、目標物の位置に関する情報を取得することができるが、色に関する情報を取得することはできない。この場合、レーダに関する取得属性525として、「位置」が(さらに他の属性の情報も取得できる場合は、その属性も)保持される。
なお、図5Cでは省略されているが、センサ情報テーブル520は、各センサが取得した観測データ及びそれが取得された時刻等の情報をさらに含む。あるいは別テーブルに格納し、関連付けて管理してもよい。
図5Dは、本発明の実施形態のセンサ統合装置100の端点情報DB106Eに含まれる端点情報テーブル530の説明図である。端点情報テーブル530は、各端点(例えば端点430A〜430D等)に関する情報を含む。図5Dの例では、端点情報テーブル530は、端点ID531、位置532、通過目標物リスト533、侵入目標物リスト534及び侵入予測リスト535等を含む。
端点ID531及び位置532は、それぞれ、各端点の識別子、及び、各端点の位置を示す座標値である。通過目標物リスト533は、各端点を通過して観測範囲外に出た目標物の識別子のリストである。侵入目標物リスト534は、各端点から観測範囲内に侵入した目標物の識別子のリストである。
侵入予測リスト535は、各端点から観測範囲内にこれから侵入する可能性があると予測された目標物の識別子のリストである。侵入する可能性の予測は、後述する端点間ネットワークテーブル540による端点間の関連付けに基づいて行われる。
端点情報テーブル530は、図5Dに示すようにあらかじめ侵入予測リスト535を計算生成してテーブルに含んでもよいが、これを含めず、必要に応じて通過目標物リスト533を検索して侵入する可能性がある目標物を特定してもよい。これらの情報の生成及び利用の方法については、図6C及び図6D等を参照して後述する。
なお、図5Dに示したように、各端点に、各端点を通過した目標物、各端点から侵入した目標物、及び侵入することが予測される目標物等を関連付けて管理することによって、リアルタイム処理等における処理の簡略化及び高速化を実現することができる。
図5Eは、本発明の実施形態のセンサ統合装置100の端点間ネットワークDB106Fに含まれる端点間ネットワークテーブル540の説明図である。端点間ネットワークテーブル540は、目標物が観測範囲外の領域を経由してそれらの間を移動可能な二つの端点を関連付ける情報、及び、その観測範囲外の領域を経由する経路に関する情報を含む。図5Eの例では、端点間ネットワークテーブル540は、端点始点541、端点終点542、距離543、関連地図図形ID544及び仮想フラグ545等を含む。
端点始点541及び端点終点542は、観測範囲外の領域の目標物が移動可能な経路の始点となる端点及び終点となる端点の識別子であり、距離543はその経路の経路距離であり、関連地図図形ID544はその経路の形状を示す図形の識別子である。例えば図4に示すように目標物411等が端点430Bから430Cまで観測範囲外の道路420上を移動可能である場合、端点430B及び430Cの識別子が端点始点541及び端点終点542として、道路420の端点430Bから430Cまでの区間の経路距離が距離543として、その区間の形状を示す図形の識別子が関連地図図形ID544としてそれぞれ保持されてもよい。
なお、図4には説明を単純化するために単純な道路420のみを示しているが、実際には、例えば端点430Bと430Cとの間に複数の経路が存在し得る。その場合、例えば地図情報処理部104が地図情報DB106Cに含まれる道路ネットワークデータを参照して端点430Bと430Cとの間の通行可能な経路を探索し、経路距離が最短となる経路の経路距離及びその経路距離の計算に使用した地図図形の識別子をそれぞれ距離543及び関連地図図形ID544として端点間ネットワークテーブル540に登録してもよいし、経路距離が比較的短いいくつかの経路(例えば経路距離が短い順に所定の数の経路)の経路距離及び地図図形の識別子を登録してもよい。これらは公知のネットワーク解析技術を用いて実現してもよい。
なお、地図情報DB106Cが道路ネットワークデータを含まない場合には、道路ネットワークデータ以外の情報に基づいて推定された経路距離等の情報を端点間ネットワークテーブル540に登録してもよい。例えば、地図情報DB106Cが道路形状のベクトルデータを含む場合、地図情報処理部104がそのベクトルデータに基づいて道路ネットワークデータを推定し、それに基づいて経路探索を行ってもよい。
あるいは、地図情報DB106Cが等高線ベクトルデータ又は地形ラスタデータを含む場合、地図情報処理部104がそれらのデータに基づいて地形解析を行い、目標物が移動可能な領域(例えば目標物として車両を想定している場合、車両が通行可能と推定される尾根線、谷線及び平坦な領域等を抽出し、それに基づいてネットワークデータを推定してもよい。又は、データベース106が注目領域における過去の移動物体の移動履歴データを含む場合、地図情報処理部104等がその移動履歴データから移動パターンを抽出し、最短経路解析に加えて当該移動パターンを考慮して経路を推定してもよい。
上記のように、地図情報DB106Cにあらかじめ道路ネットワークデータが保持されておらず、道路ネットワークデータ以外の情報(又はそれに基づいて推定されたネットワークデータ)に基づいて推定された距離543及び関連地図図形ID544が端点間ネットワークテーブルに登録される場合、そのことを示す仮想フラグ545が登録される。図5Eの例において、仮想フラグ545の値「Yes」は、道路ネットワークデータ以外の情報に基づいて推定された距離543及び関連地図図形ID544が登録されていることを示す。
なお、上記の説明では道路ネットワークデータを例示したが、例えば目標物が船舶又は航空機等である場合には、航路に関するネットワークデータが利用されてもよいし、船舶の場合には水深又は海底地形等の情報、航空機に関しては山及び高層建造物の配置等に基づいて航路のネットワークが推定されてもよい。
次に、図6A〜図6Eを参照して、センサ統合装置100が実行するセンサ統合処理の手順を説明する。
図6Aは、本発明の実施形態のセンサ統合装置100が実行するセンサ前処理を示すフローチャートである。図6Aに示すセンサ前処理は、各センサが観測を開始する前に実行される。
センサ統合装置100は、入出力装置190を介して各センサに関する情報を入力されると(ステップ601)、それに基づいてセンサ観測範囲等を特定してセンサ情報テーブル520に登録し(ステップ602)、さらにセンサが取得可能な属性情報の種類を特定してセンサ情報テーブル520に登録する(ステップ603)。例えば、センサ1_151の種別がレーダであり、そのセンサ1_151が設置される位置及び送信電力等が入力されると、センサ統合装置100はそれに基づいてセンサ1_151の観測範囲及びそれによって取得される情報の属性を特定して、センサ種別522、観測範囲523及び取得属性525等を登録する。なお、センサが移動プラットフォームに搭載されている場合、観測範囲は動的に計算生成できるよう、センサパラメータなどを保持してもよい。以上でセンサ前処理が終了する。
図6Bは、本発明の実施形態のセンサ統合装置100が実行するセンサ統合前処理を示すフローチャートである。図6Bに示すセンサ統合前処理は、遅くとも、後述する図6C〜図6Eに示す処理の前に実行される。
最初に、センサ統合装置100は、複数のセンサ(例えばセンサ1_151及びセンサ2_152)の各々について、図6Aに示したセンサ前処理を実行する(ステップ611)。
次に、センサ統合装置100は、センサ前処理によって特定された各センサの観測範囲と、地図情報DB106Cに含まれる地図とを照合し(ステップ612)、各観測範囲の端点を特定する(ステップ613)。特定された各端点の識別子がセンサ情報テーブル520の端点リスト524及び端点情報テーブル530の端点ID531として登録され、各端点の位置が位置532として登録される。
次に、センサ統合装置100は、特定された端点の情報と地図情報DB106Cに含まれる地図とに基づいて、各端点とそれに関連付けられる端点との組み合わせを生成し、それらの端点間の経路距離を算出する(ステップ614)。端点間の関連付けは、図5Eを参照して説明した通りである。生成された端点の組み合わせに関する情報は、端点間ネットワークテーブル540に登録される。端点間の組み合わせについては、全ての組み合わせを生成するのではなく、公知のネットワーク解析技術を用いて経路距離が短い組み合わせのみを選択的に生成してもよい。以上でセンサ統合前処理が終了する。
図6Cは、本発明の実施形態のセンサ統合装置100が実行するセンサ観測範囲目標物通過処理を示すフローチャートである。
最初に、センサ統合装置100の目標物情報処理部102は、各観測範囲を通過した目標物及びその速度等を特定する(ステップ621)。例えば、観測範囲401において集団目標物411が道路420を端点430Aから端点430Bの方向に移動し、端点430Bを通過して観測範囲401の外に出た場合、センサ1_151は、観測範囲401内にある間は集団目標物411を観測できるが、観測範囲401の外に出た後は観測できなくなる。このように、それまで観測されていた目標物が観測できなくなった場合、目標物情報処理部102は、集団目標物411が観測範囲401を通過した(すなわちその外に出た)と判定し、それまでの航跡(すなわち各時刻の座標値)から、集団目標物411が観測範囲401を通過したときの移動速度(以下、これを単に「通過速度」とも記載する)を計算する。例えば、目標物情報処理部102は、集団目標物411が観測範囲401を通過する前に最後に観測された地点を含む航跡の情報から、観測範囲401を通過する直前の集団目標物411の移動速度を計算し、その移動速度を通過速度として特定してもよい。
次に、目標物情報処理部102は、通過した目標物が最後に観測された地点の付近の端点を探索する(ステップ622)。例えば、目標物情報処理部102は、目標物が最後に観測された地点からの距離が所定の値以下の端点を探索してもよい。このとき、その距離の所定の値を目標物の通過速度に応じて変更してもよい。あるいは、最後に観測された際の航跡から予測して探索してもよい。
ステップ622の探索の結果、条件を満たす端点が取得された場合、目標物情報処理部102は、取得された端点を目標物が通過した(又は、少なくとも通過した可能性がある)と判定し、取得された端点の通過目標物リスト533に、通過した目標物の識別子を登録する(ステップ624)。例えば、集団目標物411が端点430Bを通過して観測範囲401の外に出たと判定された場合、目標物情報処理部102は、端点情報テーブル530の端点430Bに対応するレコードの通過目標物リスト533に集団目標物411の識別子を追加する。さらに、目標物情報処理部102は、ステップ622において、集団目標物411が端点430Bを通過した時刻を特定してもよい。例えば、取得された端点430と集団目標物411が最後に観測された地点との間の距離、最後に観測された時刻、及び通過速度に基づいて、端点430Bを通過した時刻を計算してもよいし、最後に観測された時刻を(近似的な)端点430Bを通過した時刻として使用してもよい。なお、ステップ622において、条件を満たす複数の端点が取得された場合、それらの端点のうち目標物が最後に観測された地点からの距離が最も小さいものを目標物が通過したと判定してもよいし、それらの端点の全てを目標物が通過した可能性があると判定して、それらの端点の各々に対応するレコードの通過目標物リスト533に目標物の識別子を登録してもよい。
ステップ624において、目標物情報処理部102は、さらに、端点間ネットワークテーブル540を参照して、ステップ622において取得された端点に関連付けられた端点を特定し、その端点に関する端点情報テーブル530のレコードの侵入予測リスト535に、ステップ621において特定された目標物の識別子を登録してもよい。例えば、ステップ622を実行した結果、集団目標物411が端点430Bを通過して観測範囲401の外に出たと判定された場合、目標物情報処理部102は、端点間ネットワークテーブル540を参照して、端点430Bに関連付けられた端点430Cを特定し、その識別子を、端点430Cに関する端点情報テーブル530のレコードの侵入予測リスト535に登録してもよい。
一方、例えば、観測範囲内に道路が存在しない場合、又は目標物が道路地図が存在しない領域を走行した場合等には、ステップ622において、条件を満たす端点が取得されない場合がある。このような場合、目標物情報処理部102は、目標物の航跡に基づいて仮の端点を生成し、それを端点情報テーブル530に登録する(ステップ623)。例えば、目標物情報処理部102は、目標物の航跡を外挿することで、その目標物が観測されなくなった後の航跡を推定し、その推定した航跡と観測範囲の境界とが交差する地点を仮端点として、仮想フラグ545を設定して登録してもよい。続いて、目標物情報処理部102は、登録した仮端点についてステップ624を実行する。
以上でセンサ観測範囲目標物通過処理が終了する。
図6Dは、本発明の実施形態のセンサ統合装置100が実行するセンサ観測範囲目標物侵入処理を示すフローチャートである。
最初に、目標物情報処理部102は、各観測範囲に侵入した目標物及びその速度等を特定する(ステップ631)。例えば、それまで観測範囲402内で観測されていたいずれの目標物とも同一と判定されない集団目標物412が新たに観測された場合、目標物情報処理部102は、その集団目標物412を観測範囲402に新たに侵入した目標物として特定し、その航跡から、集団目標物412が観測範囲402に侵入したときの移動速度(以下、これを単に「侵入速度」とも記載する)を計算する。この計算は、ステップ621と同様の方法で行うことができる。
次に、目標物情報処理部102は、侵入した目標物が最初に観測された地点の付近の端点を探索する(ステップ632)。この探索は、ステップ622と同様に実行することができる。ステップ632において取得された端点は、目標物が侵入した(又は、少なくともその可能性がある)と判定された端点である。さらに、ステップ622と同様の方法で、目標物が侵入した時刻が特定されてもよい。
ステップ632において条件を満たす端点が取得された場合、目標物情報処理部102は、端点間ネットワークテーブル540を参照して、取得された端点に関連付けられた端点を特定する(ステップ633)。例えば、集団目標物412が端点430Cから観測範囲402に侵入したと判定され、かつ、端点430Cが端点430Bに関連付けられている(より詳細には、端点間ネットワークテーブル540のいずれかのレコードの端点始点541及び端点終点542として端点430B及び430Cが登録されている)場合、ステップ633において端点430Bが特定される。
次に、目標物情報処理部102は、端点情報テーブル530を参照して、ステップ633で特定された端点の通過目標物リスト533に登録された目標物を、侵入した目標物と同一の目標物の候補として特定する(ステップ634)。例えば、ステップ633において端点430Bが特定され、端点430Bの通過目標物リスト533に集団目標物411が登録されている場合、ステップ634において集団目標物411が特定される。
なお、端点情報テーブル530が侵入予測リスト535を含み、ステップ632において取得された端点に関する侵入予測リスト535にいずれかの目標物の識別子が登録されている場合、目標物情報処理部102は、ステップ633を実行しなくてもよい。この場合、ステップ634において、目標物情報処理部102は、ステップ632において取得された端点に関する侵入予測リスト535に登録された目標物を、侵入した目標物と同一の目標物の候補として特定する。これによって、観測範囲に侵入した目標物が観測された後で端点間ネットワークテーブル540を参照する必要がなくなるため、処理時間を短縮することができる。
次に、目標物情報処理部102は、ステップ634において特定された目標物候補について、目標物照合処理を実行する(ステップ635)。この処理の詳細については図6Eを参照して後述する。なお、実際にはステップ633において複数の端点が特定され、ステップ634において各端点について複数の目標物が特定される場合がある。その場合には、特定された全ての目標物について、目標物照合処理が実行される。
次に、目標物情報処理部102は、ステップ635の目標物照合処理の結果、照合に成功したか否かを判定する(ステップ636)。ステップ634において特定されたいずれの目標物候補についても照合に失敗した場合は、それらのいずれの目標物候補も、侵入した目標物と同一ではないと判定されたため、それら以外の目標物がいずれかの経路を経由して観測範囲に侵入した可能性がある。このため、目標物情報処理部102は、次に、ステップ633において特定された端点以外の端点の通過目標物リスト533に登録された目標物を、侵入した目標物と同一の目標物の候補として特定する(ステップ637)。
なお、ステップ633において特定された端点以外の全ての端点を対象としてステップ637を実行してもよいが、実際には対象となる端点の数が膨大になるため、例えばステップ631において特定された端点からの距離が所定の値以下である端点のみを対象としてステップ637を実行してもよい。
また、ステップ632において条件を満たす端点が取得されなかった場合は、目標物が道路以外の経路を経由して観測範囲に侵入したと考えられるため、侵入した端点に関連付けられた端点を特定することができない。この場合は、ステップ633〜636は実行されず、目標物が侵入した仮端点を除く全ての端点(又はその仮端点からの距離が所定の値以下である端点)を対象としてステップ637が実行される。
次に、目標物情報処理部102は、ステップ637において特定された全ての目標物について、目標物照合処理を実行する(ステップ638)。この処理はステップ635と同様であり、図6Eを参照して後述する。
次に、目標物情報処理部102は、ステップ638の目標物照合処理の結果、照合に成功したか否かを判定する(ステップ639)。ステップ637において特定されたいずれの目標物候補についても照合に失敗した場合は、目標物情報処理部102は、侵入した目標物が過去にいずれかの観測範囲で観測されたいずれの目標物とも異なる新規の目標物であると判定し、新規目標物を生成してそれを目標物情報DB106Bに登録する(ステップ640)。
ステップ636又はステップ639の照合の結果、ステップ637において特定された一つ以上の目標物候補について照合に成功した場合、及び、ステップ640において新規目標物が生成された場合、目標物情報処理部102は、照合結果を出力する(ステップ641)。出力される情報の例については、図8及び図9を参照して後述する。
図6Eは、本発明の実施形態のセンサ統合装置100が実行する目標物照合処理を示すフローチャートである。ステップ635において実行される目標物照合処理は、ステップ631において特定された目標物(以下、侵入目標物と記載)と、ステップ634において特定された目標物候補(以下、通過目標物候補と記載)との組を対象として行われる。ステップ634において複数の通過目標物候補が特定された場合には、侵入目標物と各通過目標物候補との各組を対象として行われる。同様に、ステップ638において実行される目標物照合処理は、ステップ631において特定された侵入目標物と、ステップ637において特定された通過目標物候補との組を対象として行われる。
最初に、目標物情報処理部102は、通過目標物候補が通過した端点と侵入目標物が侵入した端点とに対応する経路地図の有無を判定する(ステップ651)。通過目標物候補について、ステップ622の条件を満たす端点が取得できなかったか、又は、侵入目標物について、ステップ632の条件を満たす端点が取得できなかった場合には、対応する経路地図がないと判定され、それ以外の場合には対応する経路地図があると判定される。
ステップ651において、対応する経路地図があると判定された場合、目標物情報処理部102は、経路地図に基づいて、通過目標物候補が通過した端点と侵入目標物が侵入した端点との間の経路距離を特定する(ステップ652)。このとき、地図情報処理部104が道路ネットワークデータを用いてこれらの端点間の経路探索を行って経路距離を計算してもよいが、これらの端点の組が端点間ネットワークテーブル540に登録されている場合には、その組に対応するレコードの距離543を経路距離として取得することができる。このように地図情報に基づいて端点間の経路距離をあらかじめ計算しておくことによって、観測範囲に侵入した目標物が観測された後で端点間の経路探索を行う必要がなくなるため、処理時間を短縮することができる。
ステップ651において、対応する経路地図がないと判定された場合、地図情報に基づいて経路を推定することができないため、目標物情報処理部102は、通過目標物候補が通過した端点と侵入目標物が侵入した端点との間の直線距離を経路距離として特定する(ステップ653)。しかし、例えば車両等が走行して2点間を移動する場合に、その2点間の最短経路を通ることはほとんどなく、実際には最短経路より長い経路を移動すると考えられる。このため、目標物情報処理部102は、直線距離に、経験的に求められる所定の係数を乗じる等の方法によって、経路距離を補正してもよい(ステップ654)。
次に、目標物情報処理部102は、通過目標物候補と侵入目標物とが同一の目標物であり、その目標物がステップ652等で推定された経路を移動したと仮定した場合の当該経路の移動時間を、推定された経路距離及びそれらの目標物の少なくとも一方の速度に基づいて推定する(ステップ655)。具体的には、通過目標物候補の速度はステップ621において、侵入目標物の速度はステップ631においてそれぞれ計算されているため、目標物情報処理部102は、これらの速度のいずれか一方、又はこれらの値に基づいて計算された速度(例えば両者の平均値)と、ステップ652又は653で特定された経路距離(又はステップ654で補正された経路距離)とに基づいて、通過目標物候補が通過した端点と侵入目標物が侵入した端点との間の経路を目標物が移動するのに要する時間を推定する。以下、この時間を推定移動時間と記載する。
次に、目標物情報処理部102は、ステップ655の推定移動時間と、通過目標物候補が端点を通過した時刻から侵入目標物が端点から侵入した時刻までの時間(以下、この時間を通過−侵入時間と記載する)とを照合する(ステップ656)。例えば、目標物情報処理部102は、通過−侵入時間が、推定移動時間を含む所定の時間範囲に含まれるか否かを、次の式(1)に基づいて判定してもよい。
d/v−αd/v<t<d/v+αd/v ・・・(1)
ここで、
d:ステップ652等において特定された経路距離
v:目標物の速度(すなわち、d/v:ステップ655の推定移動時間)
α:所定のパラメータ
t:通過−侵入時間
である。
上記の式(1)が満たされないことは、通過−侵入時間が、パラメータαによって定められる、推定移動時間を含む所定の時間範囲に含まれないこと、言い換えると、通過−侵入時間と推定移動時間との乖離の大きさが、パラメータαによって定められる範囲を超えていることを意味する。通過−侵入時間と推定移動時間との乖離が大きいことは、観測範囲内で観測された目標物の移動速度と、観測範囲外の経路を移動するのに要する速度との乖離が大きいことを意味する。この乖離が大きいほど、通過目標物候補と侵入目標物とが同一の目標物であることの確からしさ(確度)が低いと考えられる。このため、目標物情報処理部102は、ステップ656において、例えば式(1)の条件が満たされるか否かを判定し、満たされない場合、通過目標物候補と侵入目標物とが同一の目標物ではない(すなわち照合に失敗した)と判定する(ステップ662)。これによって、確度の低い通過目標物候補を除外することができる。
一方、ステップ656の条件が満たされる場合、目標物情報処理部102は、通過目標物候補と侵入目標物とが同一の目標物である(すなわち照合に成功した)と判定してもよいが、図6Eの例では、さらに目標物の速度以外の一つ以上の種類の属性を照合することによって、それぞれの属性に基づいて、通過目標物候補と侵入目標物とが同一の目標物であることの確度を判定し、さらにそれぞれの属性及び移動時間の照合結果の確度に基づいて、総合的な確度を判定する。例えば、目標物情報処理部102は、通過目標物候補と侵入目標物とが個別目標物である場合、それらの種別、大きさ、色、形等を照合してもよいし、それらが集団目標物である場合、それらに含まれる個別目標物の数、位置関係、各個別目標物の種別、大きさ等を照合してもよい。これらの属性を照合することによって、照合の精度がさらに向上することが期待される。
ただし、既に説明したように、例えばセンサ1_151がレーダであり、センサ2_152がカメラである等、複数の種類のセンサが使用される場合があり、センサの種類に応じて取得できる目標物の属性が異なる場合がある。このため、例えば侵入目標物の属性情報は色に関する情報を含んでいるが、通過目標物候補の属性情報は色に関する情報を含んでいないというように、それぞれの目標物の属性情報の種類が一致しない場合があり得る。このため、目標物情報処理部102は、属性情報の種類ごとに、通過目標物候補及び侵入目標物のいずれの属性情報にもその種類の属性情報の値が含まれているか否かを判定し(ステップ657、659等)、含まれている場合に限り、それらの属性値を照合する(ステップ658、660等)。これによって、複数の種類のセンサが混在する場合にも、精度のよい照合を実現することができる。
図6Eの例では、目標物情報処理部102は、通過目標物候補及び侵入目標物のいずれの属性情報も、それぞれの目標物に含まれる個別目標物の数を含んでいるか否かを判定し(ステップ657)、含んでいる場合には、それらの値の差が所定のパラメータβ以内であるか否かを判定する(ステップ658)。その結果、個別目標物の数の差がパラメータβを超える場合には、通過目標物候補と侵入目標物とが同一の目標物ではないと判定する(ステップ662)。
個別目標物の数の差がパラメータβを超えない場合には、目標物情報処理部102は、さらに他の種類の属性値(集団目標物に含まれる複数の個別目標物の位置関係、各個別目標物の種別等)についても、同様の判定を行うことができる。例えばn種類(nは1以上の任意の整数)の属性について、上記と同様の判定を繰り返し実行してもよい(ステップ659、660)。具体的には、例えば、通過目標物候補及び侵入目標物のいずれの属性情報も、それぞれの目標物に含まれる個別目標物の位置関係を示す情報を含んでいる場合、目標物情報処理部102は、それぞれの位置関係の類似度を判定してもよい。
なお、図6Eは一例であり、実際にはどの種類の属性値を照合してもよいし、何種類の属性値を照合してもよい。例えば、集団目標物に含まれる個別目標物の数を照合せずに、集団目標物に含まれる個別目標物の位置関係を照合してもよい。
結局、目標物情報処理部102は、判定の対象となった全ての属性値が所定の条件を満たすと判定された場合に、通過目標物候補と侵入目標物とが同一の目標物である(すなわち照合に成功した)と判定し、目標物照合処理を終了する。センサ統合装置100は、この照合の結果を入出力装置190から出力してもよい(図8、図9参照)。
上記のように、各通過目標物候補と侵入目標物との照合は、それらが同一であることの確度に基づいて行われる。このため、例えば、複数の通過目標物候補が、侵入目標物と実際に同一の目標物のほかに、侵入目標物と同一でないが、類似する属性を有する目標物を含んでいる場合等には、照合の結果、複数の通過目標物候補が一つの侵入目標物と同一であると判定される可能性もある。その場合は、センサ統合装置は、計算された確度が最も高い通過目標物候補のみを侵入目標物と同一のものとして出力してもよいし、侵入目標物と同一であると判定された全ての通過目標物候補を出力し、それらのうちどれが実際に侵入目標物と同一であるかの判定をユーザに委ねてもよい。
さらに、照合の結果に応じてデータベース106の内容が更新されてもよい。例えば、図5Bに示す識別子「G001」によって識別される集団目標物と識別子「G002」によって識別される集団目標物とが同一であると判定された場合、そのことを示す情報が集団目標物情報テーブル510に追加されてもよいし、それぞれのレコードの集団目標物ID511として登録されている識別子「G001」及び「G002」のうち一方がもう一方と同一の値に書き換えられてもよい。
さらに、ステップ634において通過目標物リスト533が参照され、そのリストに含まれるいずれかの通過目標物候補が侵入目標物と同一であると判定された場合、その通過目標物候補の識別子が通過目標物リスト533から削除されてもよい。ステップ634において侵入予測リスト535が参照され、そのリストに含まれるいずれかの通過目標物候補が侵入目標物と同一であると判定された場合も同様である。
ここで、推定移動時間及びその他の一つ以上の属性値の一つでも条件を満たさない場合には、照合に失敗したと判定される。このような決定木による判定は、通過目標物候補と侵入目標物とが同一の目標物であることの確度を判定する方法の一例に過ぎず、これ以外の判定方法、例えばベイズ推論やDempster−Shafer理論などによる確率的判定方法、機械学習による判定方法などを採用することもできる。その際、判定に利用する属性情報の種類は予め規定し、様々なセンサ及び処理方式の間で共通化してもよいし、辞書又はオントロジーなどに任意の変換規則を定義し、同種の概念に変換利用してもよい。
なお、それぞれの属性値の照合は、任意の方法で行うことができる。例えば個別目標物の大きさに関しては、例えば通過目標物候補と侵入目標物との全長の差が所定のパラメータの値以下であるか否か(言い換えると全長の類似度が所定の値以上であるか否か)を判定してもよいし、個別目標物の色、形、集団目標物に含まれる個別目標物の位置関係等に関しては、それらを表す特徴量の類似度が所定のパラメータの値以下であるか否かを判定してもよい。
また、個別目標物の種別に関しては、センサの観測データに含まれる画像データ等から目標物の種別をパターン認識し、その上で種別カテゴリの一致を判定してもよいし、画像データ同士を直接照合し、類似度を算出してそれらの一致を判定してもよい。このような属性の照合は、公知の方法によって行うこともできるため、詳細な説明は省略する。
センサ統合装置100のユーザは、上記の照合に使用されるα、β等のパラメータを任意に設定することができる。例えば、センサ統合装置100を使用する目的に応じて、適切なパラメータの値を選択することによって、通過目標物候補と侵入目標物とが同一であると判定されやすくしたり、逆に両者が同一でないと判定されやすくしたりすることもできる。
なお、センサの種別及び航跡抽出処理によって、得られる航跡の確度が異なる。例えば、分解能が高いカメラなどでは、詳細な目標物の情報が得られ、確度の高い航跡及び属性情報が得られる場合が多い。そのような高確度の情報を他の低確度の情報に比べて優先して統合してもよい。例えば、集団目標物に含まれる個別目標物の正確な数、集団目標物に含まれる特徴的な個別目標物の存在の有無などの照合結果を優先して、航跡を統合してもよい。
また、実際には、一つの個別目標物が単独で(すなわち他の個別目標物から離れて独立に)観測範囲間を移動する場合もある。このような場合には、センサ統合装置100は、その個別目標物について、上記のようなセンサ統合処理を実行することができる。その場合には、図6Eの処理において、個別目標物の属性が照合される。
図7は、本発明の実施形態のセンサ統合装置100が実行するセンサ統合処理の変形例を示す図である。図4では、典型的な例として、観測範囲401を通過した目標物411等が道路420を通って別の観測範囲402に侵入する例を示したが、実際には、一つの観測範囲を通過した目標物が観測範囲外の領域を通って再び元の観測範囲に侵入する場合もある。図7はその典型的な例であり、単独のセンサ701の観測範囲702に、建物又は地形(例えば山など)によるオクルージョンが発生し系統的な欠測範囲がある場合を示している。このような観測範囲702において、道路703を走行する複数の目標物が、観測範囲702内の端点721Aから721Bまでの間で、個別目標物711A、711B及び711Cを含む集団目標物711として観測され、端点721Bを通過して観測範囲702の外に出た後、再び端点721Cから観測範囲702に侵入し、端点721Cから721Dまでの間で、個別目標物712A、712B及び712Cを含む集団目標物712として観測される場合がある。このような場合も、これまでに説明した方法で、集団目標物711と712とを照合することができる。
このような照合を行うために、端点間ネットワークテーブル540は、異なる観測範囲の端点間を関連付ける情報だけでなく、端点721B及び721Cのように、観測範囲外の経路によって接続される同一の観測範囲の端点間を関連付ける情報も記述できるようにしてもよい。
図8は、本発明の実施形態のセンサ統合装置100によって出力される情報及びユーザインタフェースの説明図である。図6Eを参照して説明したように、センサ統合装置100は、複数の通過目標物候補のうち侵入目標物と同一である確度が最も高いものを侵入目標物と同一の目標物と判定してその結果を出力してもよいが、複数の通過目標物候補を出力し、それらのうちのいずれかを侵入目標物と同一の目標物としてユーザに選択させることもできる。そのような出力及び選択のユーザインタフェースについて、センサ統合装置100の入出力装置190によって表示される画面の例を図8に示す。画面には、道路803を含む地図上に、観測範囲801及び802が重畳表示され、さらに、観測範囲801内で観測された集団目標物811、812及び観測範囲802内で観測された集団目標物813を示すシンボルが表示される。集団目標物811は個別目標物811A、811B及び811Cを含み、集団目標物812は個別目標物812A、812B及び812Cを含み、集団目標物813は個別目標物813A、813B及び813Cを含む。これらの個別目標物を示すシンボルも表示してもよい。この例において、集団目標物813が侵入目標物であり、集団目標物811及び812が集団目標物813と同一である可能性がある通過目標物候補である。
さらに、画面には、ユーザがマウス等のデバイスを用いて操作するマウスカーソル等のポインタ821が表示される。ユーザがポインタ821を観測範囲802に侵入した集団目標物813の上に置くと、センサ統合装置100はポップアップメニュー831を表示してもよい。ポップアップメニュー831には、侵入した集団目標物813と同一である確度の高い順にソートされた通過目標物候補の識別子等が確度とともに表示される。ユーザは、いずれかの通過目標物候補を選択することによって、照合結果を確定させることができる。
なお、センサ統合装置100は、図6Eに示した目標物統合処理の結果、侵入目標物と同一であると判定された一つ以上の通過目標物候補を確度の順にポップアップメニュー831に表示してもよいし、目標物統合処理によって侵入目標物と同一であると判定されたか否かにかかわらず、全ての通過目標物候補を確度の順にポップアップメニュー831に表示してもよい。
さらに、例えば、ポップアップメニュー831に表示された複数の通過目標物候補のうちいずれかの上にポインタ821が置かれた場合、センサ統合装置100は、その通過目標物候補に対応する目標物のシンボルを強調表示することによって、視覚的にユーザの状況判断を支援してもよい。これによって、ユーザは適切な目標物の関連付けを簡易に実行でき、複数の観測範囲に跨る目標物の航跡を推定することができる。例えば、通過目標物候補である集団目標物811及び812の識別情報がそれぞれ「A」及び「B」、それらが侵入目標物である集団目標物813と同一である確度がそれぞれ「xx」及び「yy」であり、「xx」が「yy」より大きい場合、センサ統合装置100は、ポップアップメニュー831の先頭に「候補グループA」を表示し、その次に「候補グループB」を表示してもよい。さらに、ユーザがポインタ821を「候補グループA」の上に置いた場合、センサ統合装置100は、集団目標物811のシンボルを強調表示してもよい。
ポップアップメニュー831は、さらに、「新規グループ」及び「キャンセル」の選択肢を含んでもよい。ユーザが「新規グループ」を選択した場合、センサ統合装置100は、集団目標物813がいずれの通過目標物候補とも同一でない新規の目標物であると判定し、その集団目標物813の識別子及び属性情報等をデータベース106に新規に登録する。このような新規の目標物が観測される場合としては、例えば、複数の集団目標物が合流した場合、これまで観測されていなかった集団目標物が新たに観測された場合、又は一つの集団目標物が***した場合等が挙げられる。なお、複数の集団目標物が合流した場合には、合流したと思われる複数の通過目標物候補をユーザが選択し、センサ統合装置100がそれらの通過目標物候補をマージしてもよい。一方、ユーザが「キャンセル」を選択した場合、センサ統合装置100は、照合結果を確定せずに保留(延期)する。このとき、センサ統合装置100は、特別な処理を実行しなくてもよいが、以降の処理の過程で必要に応じて適切な処理を実行できるよう、照合結果が未確定であることを示すシンボルを表示してもよい。
さらに、ユーザがポインタ821を個別目標物のシンボルの上に置いた場合、センサ統合装置100は、当該個別目標物の観測データ(レーダによる観測データ又はカメラによって撮影された画像データ等)及び属性情報の表示を含むポップアップ表示832を行ってもよい。同様に、ユーザがポインタ821を集団目標物のシンボルの上に置いた場合、センサ統合装置100は、当該集団目標物に含まれる全ての個別目標物の観測データ及び属性情報の表示を含むポップアップ表示833を行ってもよい。これによって、ユーザの判断を支援する情報を効率よく提示することができる。
さらに、災害等によって通行不可能な経路841が生じた場合、ユーザがポインタ821を操作して当該経路841を指示し、センサ統合装置100がこの指示に従って当該経路841に通行不可の属性情報を追加してもよいし、その指示に従って端点間ネットワークテーブル540や端点情報テーブル530、あるいは地図情報DB106Cそのものを編集してもよい。これによって、当該経路841は経路探索に利用されなくなるため、航跡の統合の精度が向上する。
図9は、本発明の実施形態のセンサ統合装置100によって出力される情報の説明図である。照合結果が確定した場合(すなわち、複数の通過目標物候補のうち一つが侵入目標物と同一であるとの判定が確定した場合)の航跡の表示の例を示す。具体的には、観測範囲401を通過した集団目標物411と、観測範囲402に侵入した集団目標物412とが同一であると判定され、それらの間の移動経路として道路420が推定された場合の航跡の表示の例を示す。
表示例901は、各観測範囲内の航跡のみを表示した例である。このような各観測範囲内の航跡に加えて、表示例902に示すように、複数の観測範囲にまたがる航跡も表示することによって、広範囲の目標物の移動及び存在状況を把握できる。あるいは、表示例903に示すように、観測範囲の間を連結して航跡を統合した場合、観測範囲の内外で表示する線種を切り替え表示してもよい。あるいは、表示例904に示すように、各観測範囲内では個別目標物の航跡を、センサ観測範囲外では集団目標物の航跡を切り替え表示してもよい。上記のような表示によって、侵入目標物と、それと同一であると判定された通過目標物との対応、及び、それらが通ったと推定される経路を、ユーザが容易に把握することが可能になる。
また、観測範囲外の道路ネットワークなどの地図情報が存在しない場合は、表示例905に示すように、その間の航跡を道路に沿った形状ではなく直線状の航跡やその他の推定された経路として表示してもよい。
さらに、地図や画面の表示範囲や表示縮尺などユーザからの操作指示に応じて、あるいは目標物の大きさや分布の広がりなどに応じて、上記の任意の表示内容を切り替えても良い。例えば、広域や複数の目標物を表示する場合は、表示例902に示すように複数の観測範囲にまたがる航跡を表示し、一部領域や特定目標物を拡大表示する場合は、表示例904に示すように個別目標物の航跡と集団目標物の航跡を切り替え表示してもよい。これにより、画面や情報の視認性が向上し、適切な状況把握を支援する情報の提供が可能となる。
以上のように、本実施形態によれば、同種の複数のセンサ、又は、レーダとカメラ、移動プラットフォームに搭載されたセンサと地上センサなど、特性の異なる複数のセンサを組み合わせて、それぞれのセンサ観測範囲を補完できる。従来は統合されていなかった観測範囲が異なる複数のセンサの観測データを統合し、センサ観測範囲の内外に渡る、広域での目標物の追尾が可能となる。また、センサ種別毎に異なる特徴を有する観測データを相互に組み合わせ、同一の目標物に関する確度および項目(データ内容)が異なる情報を組み合わせることによって、信頼性の高い移動軌跡の推定を実現できる。これによって、少ない数のセンサによる効率的(安価)な広域状況把握を実現できる。
なお、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。また、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、SSD(Solid State Drive)等の記憶デバイス、または、ICカード、SDカード、DVD等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。
また、図面には、実施形態を説明するために必要と考えられる制御線及び情報線を示しており、必ずしも、本発明が適用された実際の製品に含まれる全ての制御線及び情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。