JP7126633B2 - 予測追跡装置、予測追跡方法および予測追跡プログラム - Google Patents
予測追跡装置、予測追跡方法および予測追跡プログラム Download PDFInfo
- Publication number
- JP7126633B2 JP7126633B2 JP2022527299A JP2022527299A JP7126633B2 JP 7126633 B2 JP7126633 B2 JP 7126633B2 JP 2022527299 A JP2022527299 A JP 2022527299A JP 2022527299 A JP2022527299 A JP 2022527299A JP 7126633 B2 JP7126633 B2 JP 7126633B2
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- tracking
- point cloud
- distribution
- moving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/66—Tracking systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
本開示は、移動物体の予測追跡に関するものである。
ＬｉＤＡＲによって計測される点群を利用して移動物体を追跡する手法が知られている。
ＬｉＤＡＲは、Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇの略称である。
ＬｉＤＡＲは、Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇの略称である。
特許文献１に開示された手法では、ＩＣＰアルゴリズムによって周辺物体の点群のマッチングを行って自己位置が推定される。また、カルマンフィルタまたはベイズ推定などの予測フィルタを用いて周辺車両の移動位置が推定される。
ＩＣＰは、Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔの略称である。
ＩＣＰは、Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔの略称である。
従来技術では、予測フィルタを用いて対象物体の移動を予測して事後確率の最大化が行われる。これにより、推定精度が向上する。
しかし、事前分布がない場合には推定を行えず、事前分布が与えられる対象物体は車両に限定される。
また、事後確率の最大化において、事後確率が局所解に陥る可能性がある。車両以外の物体を対象にする場合には、事前分布の与えかたによっては値が収束せず、予測が困難になる。
また、ＩＣＰアルゴリズムが広い範囲または多くの対象に対して用いられるため、計算コストが増大する。
しかし、事前分布がない場合には推定を行えず、事前分布が与えられる対象物体は車両に限定される。
また、事後確率の最大化において、事後確率が局所解に陥る可能性がある。車両以外の物体を対象にする場合には、事前分布の与えかたによっては値が収束せず、予測が困難になる。
また、ＩＣＰアルゴリズムが広い範囲または多くの対象に対して用いられるため、計算コストが増大する。
本開示は、計算コストを抑制しつつ移動物体の予測追跡の精度を向上できるようにすることを目的とする。
本開示の予測追跡装置は、
移動体の周辺に対する計測を行うＬｉＤＡＲによって得られた点群データから、前記移動体の周辺に存在する移動物体を表す点群を抽出する移動物体検知部と、
追跡されている移動物体である追跡物体用の事後分布の範囲内の点群を前記点群データから抽出し、抽出した点群に対して前記移動物体の点群とのマッチングを行う移動物体追跡部と、を備える。
移動体の周辺に対する計測を行うＬｉＤＡＲによって得られた点群データから、前記移動体の周辺に存在する移動物体を表す点群を抽出する移動物体検知部と、
追跡されている移動物体である追跡物体用の事後分布の範囲内の点群を前記点群データから抽出し、抽出した点群に対して前記移動物体の点群とのマッチングを行う移動物体追跡部と、を備える。
本開示によれば、計算コストを抑制しつつ移動物体の予測追跡の精度を向上することが可能となる。
実施の形態および図面において、同じ要素または対応する要素には同じ符号を付している。説明した要素と同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。
実施の形態１．
予測追跡システム２００について、図１から図１３に基づいて説明する。
予測追跡システム２００について、図１から図１３に基づいて説明する。
＊＊＊構成の説明＊＊＊
図１に基づいて、予測追跡システム２００の構成を説明する。
予測追跡システム２００は、自車両２１０に搭載される。
自車両２１０は、予測追跡システム２００が搭載される自動車である。自動車は移動体の一例である。
図１に基づいて、予測追跡システム２００の構成を説明する。
予測追跡システム２００は、自車両２１０に搭載される。
自車両２１０は、予測追跡システム２００が搭載される自動車である。自動車は移動体の一例である。
予測追跡システム２００は、予測追跡装置１００とセンサ群１８０とを備える。
図２に基づいて、予測追跡装置１００の構成を説明する。
予測追跡装置１００は、プロセッサ１０１とメモリ１０２と補助記憶装置１０３と通信装置１０４と入出力インタフェース１０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
予測追跡装置１００は、プロセッサ１０１とメモリ１０２と補助記憶装置１０３と通信装置１０４と入出力インタフェース１０５といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。
プロセッサ１０１は、演算処理を行うＩＣであり、他のハードウェアを制御する。例えば、プロセッサ１０１は、ＣＰＵ、ＤＳＰまたはＧＰＵである。
ＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略称である。
ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
ＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
ＤＳＰは、Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒの略称である。
ＧＰＵは、Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
メモリ１０２は揮発性または不揮発性の記憶装置である。メモリ１０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ１０２はＲＡＭである。メモリ１０２に記憶されたデータは必要に応じて補助記憶装置１０３に保存される。
ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。
ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。
補助記憶装置１０３は不揮発性の記憶装置である。例えば、補助記憶装置１０３は、ＲＯＭ、ＨＤＤまたはフラッシュメモリである。補助記憶装置１０３に記憶されたデータは必要に応じてメモリ１０２にロードされる。
ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。
ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略称である。
ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。
ＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略称である。
通信装置１０４はレシーバ及びトランスミッタである。例えば、通信装置１０４は通信チップまたはＮＩＣである。
ＮＩＣは、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略称である。
ＮＩＣは、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略称である。
入出力インタフェース１０５は、入力装置、出力装置およびセンサ群１８０が接続されるポートである。例えば、入出力インタフェース１０５はＵＳＢ端子であり、入力装置はキーボードおよびマウスであり、出力装置はディスプレイである。
ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略称である。
ＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略称である。
予測追跡装置１００は、センサデータ取得部１１１と自己位置推定部１１２と移動物体検知部１１３と移動物体認識部１１４と移動予測部１１５と移動物体追跡部１１６といった要素を備える。これらの要素はソフトウェアで実現される。
補助記憶装置１０３には、センサデータ取得部１１１と自己位置推定部１１２と移動物体検知部１１３と移動物体認識部１１４と移動予測部１１５と移動物体追跡部１１６としてコンピュータを機能させるための予測追跡プログラムが記憶されている。予測追跡プログラムは、メモリ１０２にロードされて、プロセッサ１０１によって実行される。
補助記憶装置１０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ１０２にロードされて、プロセッサ１０１によって実行される。
プロセッサ１０１は、ＯＳを実行しながら、予測追跡プログラムを実行する。
ＯＳは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略称である。
補助記憶装置１０３には、さらに、ＯＳが記憶されている。ＯＳの少なくとも一部は、メモリ１０２にロードされて、プロセッサ１０１によって実行される。
プロセッサ１０１は、ＯＳを実行しながら、予測追跡プログラムを実行する。
ＯＳは、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍの略称である。
予測追跡プログラムの入出力データは記憶部１９０に記憶される。
メモリ１０２は記憶部１９０として機能する。但し、補助記憶装置１０３、プロセッサ１０１内のレジスタおよびプロセッサ１０１内のキャッシュメモリなどの記憶装置が、メモリ１０２の代わりに、又は、メモリ１０２と共に、記憶部１９０として機能してもよい。
メモリ１０２は記憶部１９０として機能する。但し、補助記憶装置１０３、プロセッサ１０１内のレジスタおよびプロセッサ１０１内のキャッシュメモリなどの記憶装置が、メモリ１０２の代わりに、又は、メモリ１０２と共に、記憶部１９０として機能してもよい。
予測追跡装置１００は、プロセッサ１０１を代替する複数のプロセッサを備えてもよい。複数のプロセッサは、プロセッサ１０１の機能を分担する。
予測追跡プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。
図３に基づいて、センサ群１８０の構成を説明する。
センサ群１８０は、ＬｉＤＡＲ１８１、ＧＰＳ１８２および速度計１８３などのセンサを含む。
ＬｉＤＡＲ１８１の一例として、レーザスキャナがある。ＬｉＤＡＲ１８１は、レーザ光を各方向へ出射し、各地点で反射したレーザ光を入射し、点群データを出力する。点群データは、レーザ光を反射した地点ごとに距離ベクトルと反射強度とを示す。ＬｉＤＡＲは、Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇの略称である。
ＧＰＳ１８２は、測位システムの一例である。ＧＰＳ１８２は、測位信号を受信し、自己位置を測位し、測位データを出力する。測位データは位置情報を示す。位置情報は三次元座標値を示す。ＧＰＳは、Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｉｎｇ Ｓｙｓｔｅｍの略称である。
速度計１８３は、自車両２１０の速度を計測し、速度データを出力する。速度データは、自車両２１０の速度を示す。
センサ群１８０は、ＬｉＤＡＲ１８１、ＧＰＳ１８２および速度計１８３などのセンサを含む。
ＬｉＤＡＲ１８１の一例として、レーザスキャナがある。ＬｉＤＡＲ１８１は、レーザ光を各方向へ出射し、各地点で反射したレーザ光を入射し、点群データを出力する。点群データは、レーザ光を反射した地点ごとに距離ベクトルと反射強度とを示す。ＬｉＤＡＲは、Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇの略称である。
ＧＰＳ１８２は、測位システムの一例である。ＧＰＳ１８２は、測位信号を受信し、自己位置を測位し、測位データを出力する。測位データは位置情報を示す。位置情報は三次元座標値を示す。ＧＰＳは、Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｉｎｇ Ｓｙｓｔｅｍの略称である。
速度計１８３は、自車両２１０の速度を計測し、速度データを出力する。速度データは、自車両２１０の速度を示す。
＊＊＊動作の説明＊＊＊
予測追跡装置１００の動作の手順は予測追跡方法に相当する。また、予測追跡装置１００の動作の手順は予測追跡プログラムによる処理の手順に相当する。
予測追跡装置１００の動作の手順は予測追跡方法に相当する。また、予測追跡装置１００の動作の手順は予測追跡プログラムによる処理の手順に相当する。
図４から図７に基づいて、予測追跡方法を説明する。
ステップＳ１０１において、センサデータ取得部１１１は、センサ群１８０からセンサデータ群を取得する。
センサ群１８０はセンサの集合である。センサデータ群はセンサデータの集合である。センサデータはセンサによって得られるデータである。
センサデータ群は、点群データ、測位データおよび速度データなどのセンサデータを含む。
センサ群１８０はセンサの集合である。センサデータ群はセンサデータの集合である。センサデータはセンサによって得られるデータである。
センサデータ群は、点群データ、測位データおよび速度データなどのセンサデータを含む。
ステップＳ１０２において、自己位置推定部１１２は、センサデータ群を用いて、自車両２１０の位置を推定する。自車両２１０の位置を「自己位置」と称する。
例えば、自己位置推定部１１２は、速度データに示される速度と計測時からの経過時間とを用いて移動量を算出する。そして、自己位置推定部１１２は、測位データに示される位置情報と算出された移動量とに基づいて自己位置を推定する。
例えば、自己位置推定部１１２は、点群データを用いてＳＬＡＭ技術によって地物の点群のマッチングを行い、自己位置を推定する。
例えば、自己位置推定部１１２は、速度データに示される速度と計測時からの経過時間とを用いて移動量を算出する。そして、自己位置推定部１１２は、測位データに示される位置情報と算出された移動量とに基づいて自己位置を推定する。
例えば、自己位置推定部１１２は、点群データを用いてＳＬＡＭ技術によって地物の点群のマッチングを行い、自己位置を推定する。
ステップＳ１０３において、移動物体検知部１１３は、点群データに示される点群から、自車両２１０の周囲に存在する移動物体を表す点群を抽出する。
移動物体は、自動車などの移動する物体である。つまり、走行している自動車と停止している自動車とのいずれも移動物体に該当する。但し、移動物体は車両に限定されない。
移動物体は、自動車などの移動する物体である。つまり、走行している自動車と停止している自動車とのいずれも移動物体に該当する。但し、移動物体は車両に限定されない。
具体的には、移動物体検知部１１３は、機械学習、ルールベース手法またはディープラーニングによって移動物体の点群を抽出する。
ルールベース手法では、まず路面の点群が検出され、路面の点群以外の点群から移動物体の点群が抽出される。
抽出される点群に対応する移動物体を「検知物体」と称する。
ルールベース手法では、まず路面の点群が検出され、路面の点群以外の点群から移動物体の点群が抽出される。
抽出される点群に対応する移動物体を「検知物体」と称する。
ステップＳ１０４において、移動物体検知部１１３は、移動物体の点群に基づいて、検知物体の相対位置を算出する。
検知物体の相対位置は、自車両２１０に対する検知物体の位置である。
具体的には、移動物体検知部１１３は、移動物体の点群から代表点を１つ選択し、代表点の距離ベクトルを三次元座標値に変換する。変換によって得られる三次元座標値は、検知物体の相対位置を示す。
検知物体の相対位置は、自車両２１０に対する検知物体の位置である。
具体的には、移動物体検知部１１３は、移動物体の点群から代表点を１つ選択し、代表点の距離ベクトルを三次元座標値に変換する。変換によって得られる三次元座標値は、検知物体の相対位置を示す。
ステップＳ１０５において、移動物体認識部１１４は、移動物体の点群に基づいて、検知物体の属性を判別する。
検知物体の属性は、種別、向きおよびサイズなどを含む。種別は、トラック、普通車、バイク、自転車または歩行者など、移動物体の種類を区別する。向きは、移動物体のヘディングを意味し、移動方向に相当する。サイズは、幅、奥行きおよび高さなどを示す。
具体的には、移動物体認識部１１４は、機械学習、ルールベース手法またはディープラーニングによって移動物体の属性を判別する。
検知物体の属性は、種別、向きおよびサイズなどを含む。種別は、トラック、普通車、バイク、自転車または歩行者など、移動物体の種類を区別する。向きは、移動物体のヘディングを意味し、移動方向に相当する。サイズは、幅、奥行きおよび高さなどを示す。
具体的には、移動物体認識部１１４は、機械学習、ルールベース手法またはディープラーニングによって移動物体の属性を判別する。
ステップＳ１０６において、移動物体追跡部１１６は、点群データから、追跡物体の事後分布の範囲内の点群を抽出する。
追跡物体は、追跡されている移動物体つまり予測追跡装置１００が追跡している移動物体である。
事後分布について後述する。
追跡物体は、追跡されている移動物体つまり予測追跡装置１００が追跡している移動物体である。
事後分布について後述する。
移動物体追跡部１１６は、抽出された点群に対して検知物体の点群とのマッチングを行う。
例えば、移動予測部１１５は、ＩＣＰアルゴリズムによってマッチングを行う。ＩＣＰは、Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔの略称である。
事後分布の範囲内に複数の点群がある場合、移動予測部１１５は、事後分布に基づく尤度の大きい順にマッチングを行う。
例えば、移動予測部１１５は、ＩＣＰアルゴリズムによってマッチングを行う。ＩＣＰは、Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔの略称である。
事後分布の範囲内に複数の点群がある場合、移動予測部１１５は、事後分布に基づく尤度の大きい順にマッチングを行う。
ステップＳ１０７において、移動物体追跡部１１６は、マッチング結果に基づいて、追跡物体の事後分布の範囲内の点群の中に検知物体の点群と合致する点群があるか判定する。
検知物体の点群と合致する点群がある場合、処理はステップＳ１１１に進む。
検知物体の点群と合致する点群がない場合、処理はステップＳ１２１に進む。
検知物体の点群と合致する点群がある場合、処理はステップＳ１１１に進む。
検知物体の点群と合致する点群がない場合、処理はステップＳ１２１に進む。
ステップＳ１１１において、移動物体追跡部１１６は、マッチング結果を用いて、ステップＳ１０４で算出された検知物体の相対位置を修正する。つまり、移動予測部１１５は、検知物体の正確な相対位置を算出する。
正確な相対位置は、相対距離（ｘ，ｙ，ｚ）と回転角度（θｘ，θｙ，θｚ）との組で表される。
正確な相対位置は、相対距離（ｘ，ｙ，ｚ）と回転角度（θｘ，θｙ，θｚ）との組で表される。
ステップＳ１１２において、移動予測部１１５は、検知物体の相対位置に基づいて、追跡物体用の予測フィルタのパラメータを更新する。
予測フィルタの具体例は、カルマンフィルタである。カルマンフィルタのパラメータは、予測値、状態遷移行列の共分散、観測ノイズおよびカルマンゲインである。
予測フィルタの具体例は、カルマンフィルタである。カルマンフィルタのパラメータは、予測値、状態遷移行列の共分散、観測ノイズおよびカルマンゲインである。
予測値および状態遷移行列の共分散は、カルマンフィルタの予測ステップにおいて、システムノイズの共分散と状態遷移のヤコビ行列とに基づいて更新される。
カルマンゲインは、カルマンフィルタの計測更新ステップにおいて、状態遷移行列の共分散と観測ノイズとを用いて更新される。
カルマンゲインは、カルマンフィルタの計測更新ステップにおいて、状態遷移行列の共分散と観測ノイズとを用いて更新される。
一般的なカルマンフィルタにおいて、カルマンゲインは以下のように更新される。ステップＳ１１１で得られた相対位置を正確な相対位置と称する。
前回のステップＳ１１２で、移動予測部１１５は、カルマンフィルタを演算することによって、検知物体の今回の相対位置を予測する。予測された相対位置（予測値）を予測の相対位置と称する。
今回のステップＳ１１２で、移動予測部１１５は、正確な相対位置と予測の相対位置との差を算出する。そして、移動予測部１１５は、算出された差を用いて、カルマンゲインを更新する。
前回のステップＳ１１２で、移動予測部１１５は、カルマンフィルタを演算することによって、検知物体の今回の相対位置を予測する。予測された相対位置（予測値）を予測の相対位置と称する。
今回のステップＳ１１２で、移動予測部１１５は、正確な相対位置と予測の相対位置との差を算出する。そして、移動予測部１１５は、算出された差を用いて、カルマンゲインを更新する。
ベイズ推定が予測フィルタとして用いられる場合、予測フィルタのパラメータは、予測値およびハイパーパラメータなどである。ハイパーパラメータは、観測ノイズの尤度（確率分布）の分布形状を決めるために用いられる。観測ノイズの尤度（確率分布）は、ＥＭアルゴリズムまたは近似手法によって更新される。
ステップＳ１１３において、移動予測部１１５は、追跡物体用の予測フィルタと事前分布と尤度関数とを用いて、追跡物体用の事後分布を算出する。
そして、移動予測部１１５は、追跡物体用の事後分布を用いて、追跡物体の状態量を予測する。
予測される状態量は、事後確率が最大となる状態量である。事後確率が最大となる状態量は、最大事後確率推定によって算出される。
例えば、状態量は、位置、速度、加速度、ヨー角、ヨーレートおよびサイズなどである。なお、事前分布、尤度関数および事後分布は、状態量別に設定される。
そして、移動予測部１１５は、追跡物体用の事後分布を用いて、追跡物体の状態量を予測する。
予測される状態量は、事後確率が最大となる状態量である。事後確率が最大となる状態量は、最大事後確率推定によって算出される。
例えば、状態量は、位置、速度、加速度、ヨー角、ヨーレートおよびサイズなどである。なお、事前分布、尤度関数および事後分布は、状態量別に設定される。
ステップＳ１１４において、移動物体追跡部１１６は、検知物体用の追跡ＩＤの有無を判定する。
検知物体に対する追跡ＩＤが有る場合、検知物体に対する追跡ＩＤが継続して使用される。処理はステップＳ１１６に進む。
検知物体に対する追跡ＩＤが無い場合、処理はステップＳ１１５に進む。
検知物体に対する追跡ＩＤが有る場合、検知物体に対する追跡ＩＤが継続して使用される。処理はステップＳ１１６に進む。
検知物体に対する追跡ＩＤが無い場合、処理はステップＳ１１５に進む。
ステップＳ１１５において、移動物体追跡部１１６は、検知物体用に新規の追跡ＩＤを生成し、新規の追跡ＩＤを検知物体の点群に付加する。
ステップＳ１１６において、移動物体追跡部１１６は、検知物体用の追跡継続時間にサンプリング時間を加算する。
追跡継続時間は、追跡物体が追跡されている時間の長さである。追跡継続時間の初期値はゼロ秒である。
サンプリング時間は、例えば、ステップＳ１０１でセンサデータ群が取得される時間間隔である。
追跡継続時間は、追跡物体が追跡されている時間の長さである。追跡継続時間の初期値はゼロ秒である。
サンプリング時間は、例えば、ステップＳ１０１でセンサデータ群が取得される時間間隔である。
ステップＳ１１７において、移動物体追跡部１１６は、追跡物体用の事後分布を追跡物体用の新たな事前分布に設定する。これにより、追跡物体用の事後分布が、次回のステップＳ１０１以降の処理において追跡物体用の事前分布として用いられる。
ステップＳ１１７の後、処理はステップＳ１０１に進む。
ステップＳ１１７の後、処理はステップＳ１０１に進む。
ステップＳ１２１において、移動物体追跡部１１６は、少なくとも１つの追跡ＩＤが有るか否かを判定する。
追跡ＩＤが有る場合、その追跡ＩＤは継続して使用される。処理はステップＳ１３１に進む。
追跡ＩＤが無い場合、処理はステップＳ１２２に進む。
追跡ＩＤが有る場合、その追跡ＩＤは継続して使用される。処理はステップＳ１３１に進む。
追跡ＩＤが無い場合、処理はステップＳ１２２に進む。
ステップＳ１２２において、移動物体追跡部１１６は、検知物体用に新規の追跡ＩＤを生成し、新規の追跡ＩＤを検知物体の点群に付加する。これにより、検知物体は新規の追跡物体として扱われる。
ステップＳ１２３において、移動物体追跡部１１６は、検知物体の属性に基づいて、検知物体用に事前分布と尤度関数と予測フィルタとを初期設定する。
ステップＳ１２４において、移動物体追跡部１１６は、検知物体用の事前分布と尤度関数と予測フィルタとを用いて、検知物体の状態量を予測する。
予測方法は、ステップＳ１１３における方法と同じである。
予測方法は、ステップＳ１１３における方法と同じである。
ステップＳ１２５において、移動物体追跡部１１６は、検知物体用の追跡継続時間にサンプリング時間を設定する。
ステップＳ１２６において、移動物体追跡部１１６は、検知物体用の事後分布を検知物体用の新たな事前分布に設定する。これにより、検知物体が追跡物体として扱われ、検知物体用の事後分布が次回のステップＳ１０１以降の処理において検知物体（追跡物体）用の事前分布として用いられる。
ステップＳ１２６の後、処理はステップＳ１０１に進む。
ステップＳ１２６の後、処理はステップＳ１０１に進む。
ステップＳ１３１以降のステップについて説明する。ステップＳ１３１以降のステップの説明において、「追跡物体」は、ステップＳ１２１で見つかった追跡ＩＤで識別される追跡物体を意味する。
ステップＳ１３１において、移動予測部１１５は、追跡物体の前回の予測状態量に基づいて、追跡物体用の予測フィルタのパラメータを更新する。
ステップＳ１３２において、移動予測部１１５は、追跡物体用の事前分布と尤度関数と予測ファイルとを用いて、追跡物体の状態量を予測する。
予測方法は、ステップＳ１１３における方法と同じである。
予測方法は、ステップＳ１１３における方法と同じである。
ステップＳ１３３において、移動物体追跡部１１６は、追跡物体用の追跡中断時間が追跡中止時間未満であるか判定する。
追跡中断時間は、追跡物体に対する追跡が中断している時間の長さであり、追跡物体の点群が検出されていない時間の長さに相当する。
追跡中止時間は、追跡中断時間の上限であり、予め定義される。
追跡中断時間は、追跡物体に対する追跡が中断している時間の長さであり、追跡物体の点群が検出されていない時間の長さに相当する。
追跡中止時間は、追跡中断時間の上限であり、予め定義される。
追跡物体用の追跡中断時間が追跡中止時間未満である場合、処理はステップＳ１３４に進む。
追跡物体用の追跡中断時間が追跡中止時間以上である場合、処理はステップＳ１３５に進む。
追跡物体用の追跡中断時間が追跡中止時間以上である場合、処理はステップＳ１３５に進む。
ステップＳ１３４において、移動物体追跡部１１６は、追跡物体用の追跡中断時間にサンプリング時間を加算する。
ステップＳ１３４の後、処理はステップＳ１３６に進む。
ステップＳ１３４の後、処理はステップＳ１３６に進む。
ステップＳ１３５において、移動物体追跡部１１６は、追跡物体用の追跡ＩＤを破棄する。これにより、追跡物体に対する追跡が中止される。
ステップＳ１３５の後、処理はステップＳ１３６に進む。
ステップＳ１３５の後、処理はステップＳ１３６に進む。
ステップＳ１３６において、移動物体追跡部１１６は、追跡物体用の事後分布を追跡物体用の新たな事前分布に設定する。これにより、追跡物体用の事後分布が、次回のステップＳ１０１以降の処理において追跡物体用の事前分布として用いられる。
ステップＳ１３６の後、処理はステップＳ１０１に進む。
ステップＳ１３６の後、処理はステップＳ１０１に進む。
図８に基づいて、予測フィルタの一例であるベイズ推定について説明する。
移動予測部１１５は、例えばベイズ推定を用いて、移動物体の未来の位置を予測する。
図８は、ベイズ推定の単純な例を表している。横軸は、移動物体の一例である車両の位置を示す。縦軸は、車両が各位置に存在する確率密度を示す。
事前分布Ｐ（Ａ）は、事象Ａが発生する確率を表している。事象Ａは、移動物体の状態量に相当する。事前分布は事前確率分布ともいう。
事後分布Ｐ（Ａ｜Ｘ）は、尤度関数がＰ（Ｘ｜Ａ）であるときに事象Ｘが発生したという条件の下で事象Ａが発生する確率（条件付き確率）を表している。事象Ｘは、移動物体の状態量に相当する。事後分布は事後確率分布ともいう。
図８に示すように、事前分布Ｐ（Ａ）と尤度関数Ｐ（Ｘ｜Ａ）に対して、事後分布Ｐ（Ａ｜Ｘ）は複雑な形状を成す。
事後確率が最大となる車両位置（最適解）を求めるには、解析的に最適解を解くか、数値的に計算を行う必要がある。
移動予測部１１５は、例えばベイズ推定を用いて、移動物体の未来の位置を予測する。
図８は、ベイズ推定の単純な例を表している。横軸は、移動物体の一例である車両の位置を示す。縦軸は、車両が各位置に存在する確率密度を示す。
事前分布Ｐ（Ａ）は、事象Ａが発生する確率を表している。事象Ａは、移動物体の状態量に相当する。事前分布は事前確率分布ともいう。
事後分布Ｐ（Ａ｜Ｘ）は、尤度関数がＰ（Ｘ｜Ａ）であるときに事象Ｘが発生したという条件の下で事象Ａが発生する確率（条件付き確率）を表している。事象Ｘは、移動物体の状態量に相当する。事後分布は事後確率分布ともいう。
図８に示すように、事前分布Ｐ（Ａ）と尤度関数Ｐ（Ｘ｜Ａ）に対して、事後分布Ｐ（Ａ｜Ｘ）は複雑な形状を成す。
事後確率が最大となる車両位置（最適解）を求めるには、解析的に最適解を解くか、数値的に計算を行う必要がある。
下記の式は、ベイズ推定を示す。添え字「Ａ」が付されたシグマは、全ての事象Ａに対する値の和を意味する。
移動予測部１１５は、下記の式を計算して、事後分布Ｐ（Ａ｜Ｘ）を最大化するような予測値Ａ＾と事後分布Ｐ（Ａ｜Ｘ）とを算出する。なお、事前分布Ｐ（Ａ）と尤度関数Ｐ（Ｘ｜Ａ）の初期値は、移動物体の属性によって異なる。
移動予測部１１５は、下記の式を計算して、事後分布Ｐ（Ａ｜Ｘ）を最大化するような予測値Ａ＾と事後分布Ｐ（Ａ｜Ｘ）とを算出する。なお、事前分布Ｐ（Ａ）と尤度関数Ｐ（Ｘ｜Ａ）の初期値は、移動物体の属性によって異なる。
事後確率が最大となる最適解は、解析的または数値的に求める必要がある。事後確率が最大となる最適解を求めることを事後確率最大化という。
解析的に最適解を求める際には、事前分布は共役事前分布となり、事前分布と同じ分布の事後分布を導出できる。事前分布が共役事前分布である場合には、最適解を解析的に解くことが可能である。この場合、変分法またはラプラス近似などの近似推定手法を用いて事後確率の近似を求めることができる。
数値的に最適解を求める際には、最適化問題を解く必要がある。最適化問題を解くために、ＥＭアルゴリズムまたはＭＣＭＣ法などがある。
ＥＭアルゴリズムでは、事後分布の導関数が不要である。ＥＭは、Ｅｘｐｅｃｔａｔｉｏｎ－Ｍａｘｉｍｉｚａｔｉｏｎの略称である。
ＭＣＭＣ法は、サンプリング法の一種であり、分布を近似するものである。ＭＣＭＣは、マルコフ連鎖モンテカルロの略称である。
解析的に最適解を求める際には、事前分布は共役事前分布となり、事前分布と同じ分布の事後分布を導出できる。事前分布が共役事前分布である場合には、最適解を解析的に解くことが可能である。この場合、変分法またはラプラス近似などの近似推定手法を用いて事後確率の近似を求めることができる。
数値的に最適解を求める際には、最適化問題を解く必要がある。最適化問題を解くために、ＥＭアルゴリズムまたはＭＣＭＣ法などがある。
ＥＭアルゴリズムでは、事後分布の導関数が不要である。ＥＭは、Ｅｘｐｅｃｔａｔｉｏｎ－Ｍａｘｉｍｉｚａｔｉｏｎの略称である。
ＭＣＭＣ法は、サンプリング法の一種であり、分布を近似するものである。ＭＣＭＣは、マルコフ連鎖モンテカルロの略称である。
図９および図１０に基づいて、移動予測部１１５および移動物体追跡部１１６の動作を説明する。実線円は事前分布を表し、破線円は尤度関数を表し、一点鎖線円は事後分布を表している。
時刻ｔの自車位置Ｖｔ（図９を参照）を原点（０，０）として考える。自車の移動量が観測可能である場合、時刻ｔから時刻ｔ＋１までの自車移動量ΔＶ（図１０を参照）は自明である。ここで、移動予測部１１５は、予測の対象となる移動物体用に事前分布および尤度関数を設定し、事後分布を求める。事後確率最大化により、複雑な事後分布の形状に対応することが可能である。予測された事後分布により、追跡対象の存在範囲が規定される。移動物体追跡部１１６は、事後分布の範囲内で点群のマッチングを行う。点群同士が合致した場合、移動物体追跡部１１６は、合致した点群同士を同一物体の点群とみなして追跡を行う。また、移動物体追跡部１１６は、自車に対する移動物体の正確な移動量（相対距離）および姿勢（回転角度）を算出する。算出される移動量および姿勢が観測値となる。
時刻ｔの自車位置Ｖｔ（図９を参照）を原点（０，０）として考える。自車の移動量が観測可能である場合、時刻ｔから時刻ｔ＋１までの自車移動量ΔＶ（図１０を参照）は自明である。ここで、移動予測部１１５は、予測の対象となる移動物体用に事前分布および尤度関数を設定し、事後分布を求める。事後確率最大化により、複雑な事後分布の形状に対応することが可能である。予測された事後分布により、追跡対象の存在範囲が規定される。移動物体追跡部１１６は、事後分布の範囲内で点群のマッチングを行う。点群同士が合致した場合、移動物体追跡部１１６は、合致した点群同士を同一物体の点群とみなして追跡を行う。また、移動物体追跡部１１６は、自車に対する移動物体の正確な移動量（相対距離）および姿勢（回転角度）を算出する。算出される移動量および姿勢が観測値となる。
図９において、移動予測部１１５は、自車の前方の車両（移動物体Ａ）用に事前分布Ｐｔ（Ａ）と対向車線の車両（移動体Ｂ）用の事前分布Ｐｔ（Ｂ）を設定する。
予測初期（ｔ＝０）において、移動予測部１１５は、移動物体Ａの属性に基づいて、事前分布Ｐｔ（Ａ）および尤度関数Ｐｔ（Ｘ｜Ａ）を設定する。
予測初期（ｔ＝０）において、移動予測部１１５は、移動物体Ｂの属性に基づいて、事前分布Ｐｔ（Ｂ）および尤度関数Ｐｔ（Ｘ｜Ｂ）を設定する。
移動物体の属性に基づく事前分布および尤度関数について後述する。
予測初期（ｔ＝０）において、移動予測部１１５は、移動物体Ａの属性に基づいて、事前分布Ｐｔ（Ａ）および尤度関数Ｐｔ（Ｘ｜Ａ）を設定する。
予測初期（ｔ＝０）において、移動予測部１１５は、移動物体Ｂの属性に基づいて、事前分布Ｐｔ（Ｂ）および尤度関数Ｐｔ（Ｘ｜Ｂ）を設定する。
移動物体の属性に基づく事前分布および尤度関数について後述する。
図１０において、移動予測部１１５は、事前分布Ｐｔ（Ａ）と尤度関数Ｐｔ（Ｘ｜Ａ）とを用いて、時刻ｔ＋１における移動物体Ａの位置（予測値Ａ＾ｔ＋１）と事後分布Ｐｔ（Ａ｜Ｘ）を算出する。
また、移動予測部１１５は、事前分布Ｐｔ（Ｂ）と尤度関数Ｐｔ（Ｘ｜Ｂ）とを用いて、時刻ｔ＋１における移動物体Ｂの位置（予測値Ｂ＾ｔ＋１）と事後分布Ｐｔ（Ｂ｜Ｘ）を算出する。
また、移動予測部１１５は、事前分布Ｐｔ（Ｂ）と尤度関数Ｐｔ（Ｘ｜Ｂ）とを用いて、時刻ｔ＋１における移動物体Ｂの位置（予測値Ｂ＾ｔ＋１）と事後分布Ｐｔ（Ｂ｜Ｘ）を算出する。
図１１および図１２に基づいて、移動物体の属性に基づく事前分布および尤度関数について説明する。網掛けは事前分布を表している。
図１１は、移動物体の種別によって異なる事前分布を視覚的に表している。
図１２は、移動物体の移動方向（ヘディング）によって異なる事前分布を視覚的に表している。
尤度関数も同様に、種別および移動方向などによって異なる。
図１１は、移動物体の種別によって異なる事前分布を視覚的に表している。
図１２は、移動物体の移動方向（ヘディング）によって異なる事前分布を視覚的に表している。
尤度関数も同様に、種別および移動方向などによって異なる。
＊＊＊実施例の説明＊＊＊
予測追跡装置１００は、自車両２１０のセンサ群１８０からセンサデータ群を取得することが可能であれば、自車両２１０の外部に設置されてもよい。
予測追跡装置１００は、自車両２１０のセンサ群１８０からセンサデータ群を取得することが可能であれば、自車両２１０の外部に設置されてもよい。
センサ群１８０は、自車両２１０および自車両２１０の周辺に対する計測を行うことが可能であれば、自車両２１０の外部に設置されてもよい。
図１３に示すように、センサ群１８０は、カメラ１８４、ミリ波レーダ１８５およびソナー１８６などのセンサを含んでもよい。
カメラ１８４は、自車両２１０の周辺を撮影し、画像データを出力する。画像データは、自車両２１０の周辺が映った画像を表す。カメラ１８４は例えばステレオカメラである。
ミリ波レーダ１８５は、レーザ光の代わりにミリ波を利用して反射距離データを出力する。ミリ波レーダの反射距離データは、ミリ波を反射した地点ごとに距離を示す。
ソナー１８６は、レーザ光の代わりに音波を利用して反射距離データを出力する。反射距離データの反射距離データは、音波を反射した地点ごとに距離を示す。
画像データおよび反射距離データを利用することにより、自己位置の推定を高精度に行うことが可能となる。
画像データのみを使用して自己位置を推定することも可能である。例えば、自己位置推定部１１２は、ステレオカメラによって得られた画像データを用いて自己位置を推定する。または、自己位置推定部１１２は、ＶｉｓｕａｌＳＬＡＭによって画像内の特徴点から距離を測定し、自己位置を推定する。
画像データおよび反射距離データを利用することにより、移動物体の点群の抽出精度および移動物体の属性の判別精度を向上させることが可能となる。
カメラ１８４は、自車両２１０の周辺を撮影し、画像データを出力する。画像データは、自車両２１０の周辺が映った画像を表す。カメラ１８４は例えばステレオカメラである。
ミリ波レーダ１８５は、レーザ光の代わりにミリ波を利用して反射距離データを出力する。ミリ波レーダの反射距離データは、ミリ波を反射した地点ごとに距離を示す。
ソナー１８６は、レーザ光の代わりに音波を利用して反射距離データを出力する。反射距離データの反射距離データは、音波を反射した地点ごとに距離を示す。
画像データおよび反射距離データを利用することにより、自己位置の推定を高精度に行うことが可能となる。
画像データのみを使用して自己位置を推定することも可能である。例えば、自己位置推定部１１２は、ステレオカメラによって得られた画像データを用いて自己位置を推定する。または、自己位置推定部１１２は、ＶｉｓｕａｌＳＬＡＭによって画像内の特徴点から距離を測定し、自己位置を推定する。
画像データおよび反射距離データを利用することにより、移動物体の点群の抽出精度および移動物体の属性の判別精度を向上させることが可能となる。
カルマンフィルタおよびベイズ推定とは別の予測フィルタが用いられてもよい。例えば、パーティクルフィルタのような公知のフィルタが用いられてもよい。また、ＩＭＭ法によって、複数のフィルタを切り替えて用いてもよい。ＩＭＭは、Ｉｎｔｅｒａｃｔｉｎｇ Ｍｕｌｔｉｐｌｅ Ｍｏｄｅｌの略称である。
ＩＣＰアルゴリズム以外のアルゴリズムを利用して点群のマッチングが行われてもよい。例えば、ＮＤＴアルゴリズムが利用されてもよい。ＮＤＴは、Ｎｏｒｍａｌ Ｄｉｓｔｒｉｂｕｔｉｏｎｓ Ｔｒａｎｓｆｏｒｍの略称である。
移動物体追跡部１１６は、追跡継続時間を用いて追跡の正しさの評価を行ってもよい。また、追跡の正しさの評価のために、追跡継続時間に加えて追跡中断時間が用いられてもよい。追跡継続時間は、追跡物体がどれだけの時間正しく追跡されたかを確認するための指標となる。追跡中断時間は、例えば、追跡物体が物陰に隠れてから再度観測されるまでに繰り返された追跡処理の時間である。
移動物体追跡部１１６は、追跡継続時間を用いて、追跡物体の予測位置の追跡物体が存在する確率を求めてもよい。
移動物体追跡部１１６は、追跡継続時間を用いて、追跡物体の予測位置の追跡物体が存在する確率を求めてもよい。
＊＊＊実施の形態１の効果＊＊＊
予測追跡装置１００は、移動物体の認識結果から得られた種別（トラック、バス、乗用車、二輪車または歩行者など）および移動方向（ヘディング）を考慮して、移動物体用の事前分布を設定することができる。これにより、移動物体を追跡する際の予測精度が向上する。
予測追跡装置１００は、ＩＣＰアルゴリズムによる点群のマッチングを予測された事後分布の範囲内のみで行う。これにより、計算コストの削減と他車両の移動量についての正確な計測が実現される。
予測追跡装置１００は、事後確率最大化のために事後分布を求める際に、ラプラス近似または変分ベイズ法などの近似手法を用いる。これにより、移動物体を追跡する際の予測精度が向上する。
予測追跡装置１００は、センサデータ群のうち点群データのみを用いて移動物体を検知（点群の抽出）、認識（属性の判別）および追跡することも可能である。つまり、センサ群１８０のうちＬｉＤＡＲ１８１だけを使用して、移動物体の検知、認識および追跡を行うことも可能である。
予測追跡装置１００は、移動物体の認識結果から得られた種別（トラック、バス、乗用車、二輪車または歩行者など）および移動方向（ヘディング）を考慮して、移動物体用の事前分布を設定することができる。これにより、移動物体を追跡する際の予測精度が向上する。
予測追跡装置１００は、ＩＣＰアルゴリズムによる点群のマッチングを予測された事後分布の範囲内のみで行う。これにより、計算コストの削減と他車両の移動量についての正確な計測が実現される。
予測追跡装置１００は、事後確率最大化のために事後分布を求める際に、ラプラス近似または変分ベイズ法などの近似手法を用いる。これにより、移動物体を追跡する際の予測精度が向上する。
予測追跡装置１００は、センサデータ群のうち点群データのみを用いて移動物体を検知（点群の抽出）、認識（属性の判別）および追跡することも可能である。つまり、センサ群１８０のうちＬｉＤＡＲ１８１だけを使用して、移動物体の検知、認識および追跡を行うことも可能である。
実施の形態２．
センサフュージョンを利用する形態について、主に実施の形態１と異なる点を図１４に基づいて説明する。
センサフュージョンを利用する形態について、主に実施の形態１と異なる点を図１４に基づいて説明する。
＊＊＊構成の説明＊＊＊
図１４に基づいて、予測追跡装置１００の構成を説明する。
予測追跡装置１００は、さらに、センサフュージョン部１１７を備える。
予測追跡プログラムは、さらに、センサフュージョン部１１７としてコンピュータを機能させる。
図１４に基づいて、予測追跡装置１００の構成を説明する。
予測追跡装置１００は、さらに、センサフュージョン部１１７を備える。
予測追跡プログラムは、さらに、センサフュージョン部１１７としてコンピュータを機能させる。
＊＊＊動作の説明＊＊＊
センサフュージョン部１１７は、センサデータ群に含まれる２種類以上のセンサデータを用いて、センサフュージョンを行う。
センサフュージョンのための主な方法として、ＲＡＷデータをフュージョンする方法、中間データをフュージョンする方法および検出後のデータをフュージョンする方法がある。どの方法もディープラーニングなどの手法を取り入れており、１種類のセンサデータが単体で使用される場合と比べて、移動物体の点群の抽出および移動物体の属性の判別を精度よく行うことが可能である。
センサフュージョンには、アーリーフュージョン、クロスフュージョンおよびレイトフュージョンなどの種類がある。
センサフュージョンにおけるセンサの組み合わせとして、カメラ１８４とＬｉＤＡＲ１８１、ＬｉＤＡＲ１８１とミリ波レーダ１８５またはカメラ１８４とミリ波レーダ１８５など、様々な組み合わせが考えられる。
センサフュージョン部１１７は、センサデータ群に含まれる２種類以上のセンサデータを用いて、センサフュージョンを行う。
センサフュージョンのための主な方法として、ＲＡＷデータをフュージョンする方法、中間データをフュージョンする方法および検出後のデータをフュージョンする方法がある。どの方法もディープラーニングなどの手法を取り入れており、１種類のセンサデータが単体で使用される場合と比べて、移動物体の点群の抽出および移動物体の属性の判別を精度よく行うことが可能である。
センサフュージョンには、アーリーフュージョン、クロスフュージョンおよびレイトフュージョンなどの種類がある。
センサフュージョンにおけるセンサの組み合わせとして、カメラ１８４とＬｉＤＡＲ１８１、ＬｉＤＡＲ１８１とミリ波レーダ１８５またはカメラ１８４とミリ波レーダ１８５など、様々な組み合わせが考えられる。
自己位置推定部１１２は、２種類以上のセンサデータに対するセンサフュージョンによって得られたデータを用いて自己位置を推定する。
移動物体検知部１１３は、点群データを含む２種類以上のセンサデータに対するセンサフュージョンによって得られたデータに基づいて、検知物体の相対位置を算出する。
移動物体検知部１１３は、点群データを含む２種類以上のセンサデータに対するセンサフュージョンによって得られたデータに基づいて、検知物体の相対位置を算出する。
＊＊＊実施の形態２の効果＊＊＊
センサフュージョンを利用することにより、移動物体の検知、認識および追跡をより高い精度で行うことが可能である。
センサフュージョンを利用することにより、移動物体の検知、認識および追跡をより高い精度で行うことが可能である。
＊＊＊実施の形態の補足＊＊＊
図１５に基づいて、予測追跡装置１００のハードウェア構成を説明する。
予測追跡装置１００は処理回路１０９を備える。
処理回路１０９は、センサデータ取得部１１１と自己位置推定部１１２と移動物体検知部１１３と移動物体認識部１１４と移動予測部１１５と移動物体追跡部１１６とセンサフュージョン部１１７とを実現するハードウェアである。
処理回路１０９は、専用のハードウェアであってもよいし、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。
図１５に基づいて、予測追跡装置１００のハードウェア構成を説明する。
予測追跡装置１００は処理回路１０９を備える。
処理回路１０９は、センサデータ取得部１１１と自己位置推定部１１２と移動物体検知部１１３と移動物体認識部１１４と移動予測部１１５と移動物体追跡部１１６とセンサフュージョン部１１７とを実現するハードウェアである。
処理回路１０９は、専用のハードウェアであってもよいし、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。
処理回路１０９が専用のハードウェアである場合、処理回路１０９は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡまたはこれらの組み合わせである。
ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＦＰＧＡは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略称である。
ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略称である。
ＦＰＧＡは、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙの略称である。
予測追跡装置１００は、処理回路１０９を代替する複数の処理回路を備えてもよい。複数の処理回路は、処理回路１０９の機能を分担する。
処理回路１０９において、一部の機能が専用のハードウェアで実現されて、残りの機能がソフトウェアまたはファームウェアで実現されてもよい。
このように、予測追跡装置１００の機能はハードウェア、ソフトウェア、ファームウェアまたはこれらの組み合わせで実現することができる。
各実施の形態は、好ましい形態の例示であり、本開示の技術的範囲を制限することを意図するものではない。各実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。
予測追跡装置１００の要素である「部」は、「処理」または「工程」と読み替えてもよい。
１００ 予測追跡装置、１０１ プロセッサ、１０２ メモリ、１０３ 補助記憶装置、１０４ 通信装置、１０５ 入出力インタフェース、１０９ 処理回路、１１１ センサデータ取得部、１１２ 自己位置推定部、１１３ 移動物体検知部、１１４ 移動物体認識部、１１５ 移動予測部、１１６ 移動物体追跡部、１１７ センサフュージョン部、１８０ センサ群、１８１ ＬｉＤＡＲ、１８２ ＧＰＳ、１８３ 速度計、１８４ カメラ、１８５ ミリ波レーダ、１８６ ソナー、１９０ 記憶部、２００ 予測追跡システム、２１０ 自車両。
Claims (6)
- 移動体の周辺に対する計測を行うＬｉＤＡＲによって得られた点群データから、前記移動体の周辺に存在する移動物体を表す点群を抽出する移動物体検知部と、
追跡されている移動物体である追跡物体用の事後分布の範囲内の点群を前記点群データから抽出し、抽出した点群に対して前記移動物体の点群とのマッチングを行う移動物体追跡部と、
前記移動物体の点群に基づいて前記移動物体の属性を判別する移動物体認識部と、
前記移動物体の属性に基づいて前記移動物体用の事前分布および尤度関数を設定し、前記移動物体用の事前分布および尤度関数を用いて前記移動物体用の事後分布を算出する移動予測部と、
を備える予測追跡装置。 - 前記移動物体認識部は、前記移動物体の種別を判別し、
前記移動予測部は、前記移動物体の種別に基づいて前記移動物体用の事前分布および尤度関数を設定する
請求項１に記載の予測追跡装置。 - 前記移動物体認識部は、前記移動物体の移動方向を判別し、
前記移動予測部は、前記移動物体の移動方向に基づいて前記移動物体用の事前分布および尤度関数を設定する
請求項１または請求項２に記載の予測追跡装置。 - 前記移動予測部は、事後確率最大化において事後確率の近似を求める際に近似推定手法を用いる
請求項１から請求項３のいずれか１項に記載の予測追跡装置。 - 移動物体検知部が、移動体の周辺に対する計測を行うＬｉＤＡＲによって得られた点群データから、前記移動体の周辺に存在する移動物体を表す点群を抽出し、
移動物体追跡部が、追跡されている移動物体である追跡物体用の事後分布の範囲内の点群を前記点群データから抽出し、抽出した点群に対して前記移動物体の点群とのマッチングを行い、
移動物体認識部が、前記移動物体の点群に基づいて前記移動物体の属性を判別し、
移動予測部が、前記移動物体の属性に基づいて前記移動物体用の事前分布および尤度関数を設定し、前記移動物体用の事前分布および尤度関数を用いて前記移動物体用の事後分布を算出する
予測追跡方法。 - 移動体の周辺に対する計測を行うＬｉＤＡＲによって得られた点群データから、前記移動体の周辺に存在する移動物体を表す点群を抽出する移動物体検知処理と、
追跡されている移動物体である追跡物体用の事後分布の範囲内の点群を前記点群データから抽出し、抽出した点群に対して前記移動物体の点群とのマッチングを行う移動物体追跡処理と、
前記移動物体の点群に基づいて前記移動物体の属性を判別する移動物体認識処理と、
前記移動物体の属性に基づいて前記移動物体用の事前分布および尤度関数を設定し、前記移動物体用の事前分布および尤度関数を用いて前記移動物体用の事後分布を算出する移動予測処理と、
をコンピュータに実行させるための予測追跡プログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2020/020676 WO2021240623A1 (ja) | 2020-05-26 | 2020-05-26 | 予測追跡装置、予測追跡方法および予測追跡プログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPWO2021240623A1 JPWO2021240623A1 (ja) | 2021-12-02 |
| JPWO2021240623A5 JPWO2021240623A5 (ja) | 2022-08-17 |
| JP7126633B2 true JP7126633B2 (ja) | 2022-08-26 |
Family
ID=78723050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022527299A Active JP7126633B2 (ja) | 2020-05-26 | 2020-05-26 | 予測追跡装置、予測追跡方法および予測追跡プログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230036137A1 (ja) |
| JP (1) | JP7126633B2 (ja) |
| CN (1) | CN115667993A (ja) |
| DE (1) | DE112020006961B4 (ja) |
| WO (1) | WO2021240623A1 (ja) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009052940A (ja) | 2007-08-24 | 2009-03-12 | Toshiba Corp | 移動物体検出装置および自律移動物体 |
| JP2011196749A (ja) | 2010-03-18 | 2011-10-06 | Toyota Central R&D Labs Inc | 物体検出装置 |
| JP2013228259A (ja) | 2012-04-25 | 2013-11-07 | Toyota Motor Corp | 物体識別装置及び物体識別方法 |
| JP2016152586A (ja) | 2015-02-19 | 2016-08-22 | 国立大学法人電気通信大学 | プロジェクションマッピング装置、映像投影制御装置、映像投影制御方法および映像投影制御プログラム |
| JP2017004106A (ja) | 2015-06-05 | 2017-01-05 | トヨタ自動車株式会社 | 車両の衝突回避支援装置 |
| WO2017130770A1 (ja) | 2016-01-29 | 2017-08-03 | 学校法人明治大学 | レーザスキャンシステム、レーザスキャン方法、移動レーザスキャンシステム及びプログラム |
| JP2017219389A (ja) | 2016-06-06 | 2017-12-14 | 地方独立行政法人東京都立産業技術研究センター | 物体追跡装置、物体追跡方法、及び物体追跡プログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10324897A1 (de) | 2003-05-30 | 2004-12-23 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Opjektbestimmung in Fahrerassistenzsystemen für Kraftfahrzeuge |
| US9129211B2 (en) | 2012-03-15 | 2015-09-08 | GM Global Technology Operations LLC | Bayesian network to track objects using scan points using multiple LiDAR sensors |
| JP6901870B2 (ja) | 2017-02-28 | 2021-07-14 | パイオニア株式会社 | 位置推定装置、制御方法、及びプログラム |
| JP2020052897A (ja) | 2018-09-28 | 2020-04-02 | 株式会社デンソーテン | 物標検出装置および物標検出方法 |
-
2020
- 2020-05-26 WO PCT/JP2020/020676 patent/WO2021240623A1/ja active Application Filing
- 2020-05-26 DE DE112020006961.3T patent/DE112020006961B4/de active Active
- 2020-05-26 CN CN202080100999.0A patent/CN115667993A/zh active Pending
- 2020-05-26 JP JP2022527299A patent/JP7126633B2/ja active Active
-
2022
- 2022-10-07 US US17/961,988 patent/US20230036137A1/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009052940A (ja) | 2007-08-24 | 2009-03-12 | Toshiba Corp | 移動物体検出装置および自律移動物体 |
| JP2011196749A (ja) | 2010-03-18 | 2011-10-06 | Toyota Central R&D Labs Inc | 物体検出装置 |
| JP2013228259A (ja) | 2012-04-25 | 2013-11-07 | Toyota Motor Corp | 物体識別装置及び物体識別方法 |
| JP2016152586A (ja) | 2015-02-19 | 2016-08-22 | 国立大学法人電気通信大学 | プロジェクションマッピング装置、映像投影制御装置、映像投影制御方法および映像投影制御プログラム |
| JP2017004106A (ja) | 2015-06-05 | 2017-01-05 | トヨタ自動車株式会社 | 車両の衝突回避支援装置 |
| WO2017130770A1 (ja) | 2016-01-29 | 2017-08-03 | 学校法人明治大学 | レーザスキャンシステム、レーザスキャン方法、移動レーザスキャンシステム及びプログラム |
| JP2017219389A (ja) | 2016-06-06 | 2017-12-14 | 地方独立行政法人東京都立産業技術研究センター | 物体追跡装置、物体追跡方法、及び物体追跡プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| DE112020006961B4 (de) | 2024-02-29 |
| JPWO2021240623A1 (ja) | 2021-12-02 |
| US20230036137A1 (en) | 2023-02-02 |
| WO2021240623A1 (ja) | 2021-12-02 |
| DE112020006961T5 (de) | 2023-01-26 |
| CN115667993A (zh) | 2023-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2694154C2 (ru) | Формирование моделированных данных датчиков для обучения и проверки достоверности моделей обнаружения | |
| KR102452550B1 (ko) | 라이다 데이터 기반 객체 검출 장치, 그를 포함한 시스템 및 그 방법 | |
| Ogawa et al. | Pedestrian detection and tracking using in-vehicle lidar for automotive application | |
| US6903677B2 (en) | Collision prediction device, method of predicting collision, and computer product | |
| KR102659056B1 (ko) | 주변 v2v 신호와 자체 차량의 센싱신호의 융합 시스템 및 방법 | |
| US10493987B2 (en) | Target-lane relationship recognition apparatus | |
| JP6450294B2 (ja) | 物体検出装置、物体検出方法、及びプログラム | |
| EP3851870A1 (en) | Method for determining position data and/or motion data of a vehicle | |
| CN111103587A (zh) | 用于预测同时并线车辆的方法和设备及包括其的车辆 | |
| WO2023050638A1 (zh) | 基于激光点云的路沿识别 | |
| CN110888115B (zh) | 对雷达跟踪的潜在静止对象进行分类 | |
| CN110794406A (zh) | 多源传感器数据融合***和方法 | |
| JP7152355B2 (ja) | 障害物検出装置および障害物検出方法 | |
| KR100962329B1 (ko) | 스테레오 카메라 영상으로부터의 지면 추출 방법과 장치 및이와 같은 방법을 구현하는 프로그램이 기록된 기록매체 | |
| CN114675295A (zh) | 一种障碍物判定的方法、装置、设备及存储介质 | |
| CN115195773A (zh) | 用于控制车辆驾驶的装置和方法及记录介质 | |
| JP2024020641A (ja) | 位置推定システム | |
| JP7126633B2 (ja) | 予測追跡装置、予測追跡方法および予測追跡プログラム | |
| KR102653342B1 (ko) | 자율 주행 장치 및 방법 | |
| TWI541152B (zh) | Traffic safety system and its obstacle screening method | |
| KR102103651B1 (ko) | 지도의 차로 개수를 활용한 파티클 필터링 퇴화 경감 방법 및 시스템 | |
| JP7344744B2 (ja) | 路側端検出方法、及び、路側端検出装置 | |
| JP7285923B2 (ja) | 車両制御システム | |
| WO2020095673A1 (ja) | 車載制御装置 | |
| KR101963352B1 (ko) | 비전 기반 적응형 순항 제어 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220620 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220620 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20220620 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220719 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220816 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7126633 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |