JP6951728B2 - Object tracking device - Google Patents
Object tracking device Download PDFInfo
- Publication number
- JP6951728B2 JP6951728B2 JP2017000033A JP2017000033A JP6951728B2 JP 6951728 B2 JP6951728 B2 JP 6951728B2 JP 2017000033 A JP2017000033 A JP 2017000033A JP 2017000033 A JP2017000033 A JP 2017000033A JP 6951728 B2 JP6951728 B2 JP 6951728B2
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- information
- unit
- observation
- observation information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Radar Systems Or Details Thereof (AREA)
Description
本発明は、自車両周辺に位置する先行車両などの移動物体を追跡する物体追跡装置に関する。 The present invention relates to an object tracking device that tracks a moving object such as a preceding vehicle located around the own vehicle.
近年、交通事故の削減や交通渋滞の緩和、誰もが利用できる移動手段の提供を目的として自動運転自動車の開発が盛んに行われている。そのため自動ブレーキやAdaptive Cruise Control(ACC)など、先行車両を追跡して自動車の加速・操舵・制動のいずれかの操作を自動で行うシステムが次々に実現されている。この先行車両の追跡には車両前方に取り付けられたセンサが用いられる。
例えば特許文献1には、車両前方にレーダ装置を搭載し、走行車両からの反射信号を利用して、複数ある受信チャンネル間の利得差と位相差の初期状態からの変化を監視して異常判断を行うことが開示されている。
また、特許文献2には、車両前方にミリ波レーダ装置を搭載し、検知領域を3種類の領域に分割し、3種類の領域のうち被測定物が存在する領域がいずれかに応じて、ミリ波レーダ装置のトラッカフィルタのフィルタゲインを可変設定することが開示されている。
In recent years, self-driving cars have been actively developed for the purpose of reducing traffic accidents, alleviating traffic congestion, and providing means of transportation that anyone can use. Therefore, systems such as automatic braking and Adaptive Cruise Control (ACC) that track the preceding vehicle and automatically perform any of acceleration, steering, and braking of the vehicle have been realized one after another. A sensor mounted in front of the vehicle is used to track the preceding vehicle.
For example, in
Further, in
しかし、車両前方に取り付けられたセンサだけでは、交差点や曲率の大きなカーブを曲がる先行車両などを継続して追跡することが難しく、衝突回避のための判断が遅れる可能性がある。
そこで、例えば複数のセンサにより構成される全方位センサシステムを車両に搭載し、先行車両や後続車両、交差車両の継続した追跡を目指すことが考えられる。ここで「追跡」は、時系列的な状態(位置・速度・加速度・角度・ヨーレート等)推定を意味する。そのため継続した追跡を実現すれば、先行車両などの未来の軌道を予測することで継続して衝突の危険を察知できるため、より多くのシーンにおいて安全運転の支援が可能となる。
しかし、全方位センサから得られる観測情報は膨大であるため、全ての観測情報を用いて追跡処理を行うとリアルタイム処理が難しい。
However, it is difficult to continuously track an intersection or a preceding vehicle that turns a curve with a large curvature with only a sensor mounted in front of the vehicle, which may delay the judgment for collision avoidance.
Therefore, for example, it is conceivable to mount an omnidirectional sensor system composed of a plurality of sensors on the vehicle and aim at continuous tracking of the preceding vehicle, the following vehicle, and the crossing vehicle. Here, "tracking" means time-series state estimation (position, velocity, acceleration, angle, yaw rate, etc.). Therefore, if continuous tracking is realized, it is possible to continuously detect the danger of collision by predicting the future trajectory of the preceding vehicle, etc., and it is possible to support safe driving in more scenes.
However, since the observation information obtained from the omnidirectional sensor is enormous, real-time processing is difficult if tracking processing is performed using all the observation information.
そこで本発明は、先行車両等の移動物体の距離、角度又は相対速度を時系列的に計測する観測情報取得部(センサ)を複数備え、継続したリアルタイムな追跡を行う物体追跡装置を提供することを目的とする。 Therefore, the present invention provides an object tracking device that includes a plurality of observation information acquisition units (sensors) that measure the distance, angle, or relative speed of a moving object such as a preceding vehicle in time series, and continuously performs real-time tracking. With the goal.
請求項1記載の本発明の物体追跡装置は、自車両周辺の移動する物体の状態を時系列的に推定する物体追跡装置であって、前記物体の観測情報を取得する観測情報取得手段と、前記観測情報取得手段が取得した前記観測情報を用いて前記物体の追跡情報の作成と管理を行う追跡情報作成管理手段とを備え、前記観測情報取得手段は、前記観測情報として前記自車両と前記物体との距離、角度又は相対速度を取得する複数の観測情報取得部からなり、前記追跡情報作成管理手段は、追跡情報作成部と、追跡リスト部と、追跡リスト共有部と、対応付け部とを有し、前記追跡情報作成部は、各前記観測情報取得部が取得したそれぞれの前記観測情報ごとに、前記物体に付与する識別用のIDと前記物体の次時刻における推定状態を含む前記追跡情報を作成し、前記追跡リスト部は、前記追跡情報作成部が作成した前記追跡情報を前記観測情報取得部ごとの追跡リストに記録し、前記追跡リスト共有部は、観測領域が隣接する一方の前記観測情報取得部と他方の前記観測情報取得部の前記追跡リストを比較し、一方の前記観測情報取得部の前記追跡リストに、他方の前記観測情報取得部の前記追跡リストに存在しない前記IDが付与された前記追跡情報が存在する場合には、存在しない前記IDが付与された前記追跡情報を他方の前記観測情報取得部の前記追跡リストに複製する共有処理を行い、前記対応付け部は、前時刻における前記追跡情報と次時刻における前記観測情報を前記観測情報取得部ごとに対応付け、前記追跡リスト部は、前記追跡リスト共有部によって他方の前記観測情報取得部の前記追跡リストに複製された前記追跡情報について、前記対応付け部が対応付けできた場合は、複製された前記追跡情報を更新して他方の前記観測情報取得部の前記追跡リストに保持することを特徴とする。
請求項2記載の本発明は、請求項1に記載の物体追跡装置において、前記観測情報取得部が、前記自車両の前方及び後方に設置され、前記後方に設置された前記観測情報取得部の数よりも、前記前方に設置された前記観測情報取得部の数のほうが多いことを特徴とする。
請求項3記載の本発明は、請求項1に記載の物体追跡装置において、前記観測情報取得部が、前記自車両の前方、後方及び側方に設置されていることを特徴とする。
請求項4記載の本発明は、請求項1から請求項3のいずれか1項に記載の物体追跡装置において、前記追跡情報作成管理手段は、前記物体が移動物であるか否かを判断する移動物判断部を備え、前記追跡リスト共有部は、前記移動物判断部によって移動物であると判断された前記物体の前記追跡情報について前記共有処理を行うことを特徴とする。
請求項5記載の本発明は、請求項1から請求項4のいずれか1項に記載の物体追跡装置において、前記追跡リスト部は、前記対応付け部が対応付けできなかった場合は、複製された前記追跡情報を他方の前記観測情報取得部の前記追跡リストから削除することを特徴とする。
請求項6記載の本発明は、請求項1から請求項5のいずれか1項に記載の物体追跡装置において、前記追跡情報作成管理手段は、複数の前記追跡リストに同じ前記IDが付与された前記追跡情報が存在する場合には、その中から一つの前記追跡情報を選択する追跡情報選択部と、前記追跡情報選択部が選択した前記追跡情報を、前記自車両を制御又は監視する制御監視手段に前記追跡情報を送信する追跡情報送信部とを備え、前記追跡情報選択部は、前記物体が現実世界に存在する事後確率が最も大きい前記追跡情報を選択することを特徴とする。
The object tracking device of the present invention according to
According to the second aspect of the present invention, in the object tracking device according to the first aspect, the observation information acquisition unit is installed in front of and behind the own vehicle, and the observation information acquisition unit installed behind the vehicle. It is characterized in that the number of the observation information acquisition units installed in front of the number is larger than the number.
The present invention according to
According to the fourth aspect of the present invention, in the object tracking device according to any one of
According to a fifth aspect of the invention, the object tracking apparatus according to any one of
According to the sixth aspect of the present invention, in the object tracking device according to any one of
本発明によれば、先行車両等の移動物体の距離、角度又は相対速度を時系列的に計測する観測情報取得部(センサ)を複数備え、継続したリアルタイムな追跡を行う物体追跡装置を提供できる。 According to the present invention, it is possible to provide an object tracking device that includes a plurality of observation information acquisition units (sensors) that measure the distance, angle, or relative speed of a moving object such as a preceding vehicle in time series, and continuously performs real-time tracking. ..
本発明の第1の実施の形態による物体追跡装置は、物体の観測情報を取得する観測情報取得手段と、観測情報取得手段が取得した観測情報を用いて物体の追跡情報の作成と管理を行う追跡情報作成管理手段とを備え、観測情報取得手段は、観測情報として自車両と物体との距離、角度又は相対速度を取得する複数の観測情報取得部からなり、追跡情報作成管理手段は、追跡情報作成部と、追跡リスト部と、追跡リスト共有部と、対応付け部とを有し、追跡情報作成部は、各観測情報取得部が取得したそれぞれの観測情報ごとに、物体に付与する識別用のIDと物体の次時刻における推定状態を含む追跡情報を作成し、追跡リスト部は、追跡情報作成部が作成した追跡情報を観測情報取得部ごとの追跡リストに記録し、追跡リスト共有部は、観測領域が隣接する一方の観測情報取得部と他方の観測情報取得部の追跡リストを比較し、一方の観測情報取得部の追跡リストに、他方の観測情報取得部の追跡リストに存在しないIDが付与された追跡情報が存在する場合には、存在しないIDが付与された追跡情報を他方の観測情報取得部の追跡リストに複製する共有処理を行い、対応付け部は、前時刻における追跡情報と次時刻における観測情報を観測情報取得部ごとに対応付け、追跡リスト部は、追跡リスト共有部によって他方の観測情報取得部の追跡リストに複製された追跡情報について、対応付け部が対応付けできた場合は、複製された追跡情報を更新して他方の観測情報取得部の追跡リストに保持するものである。本実施の形態によれば、複数の観測情報取得部で周辺の物体を観測するため、観測範囲を大きくできる。また、観測情報取得手段で取得したすべての観測情報を用いて追跡処理を行うのではなく、各観測情報取得部で取得した観測情報のそれぞれに対して追跡処理を行うため、追跡処理にかかる時間を短くできリアルタイム処理が可能となる。さらに、観測領域が隣接する観測情報手段の追跡リスト同士で追跡情報を共有することにより先行車両を見失うことなく継続して追跡できる。
本発明の第2の実施の形態は、第1の実施の形態による物体追跡装置において、観測情報取得部が、自車両の前方及び後方に設置され、後方に設置された観測情報取得部の数よりも、前方に設置された観測情報取得部の数のほうが多いものである。本実施の形態によれば、特に先行車両を追跡する場合は、観測すべき物体が自車両の側方又は後方よりも前方に位置することが多いため、車両前方側の観測領域を大きくすることで、先行車両を見失うことなく継続して追跡できる。
本発明の第3の実施の形態は、第1の実施の形態による物体追跡装置において、観測情報取得部が、自車両の前方、後方及び側方に設置されているものである。本実施の形態によれば、自車両周辺を全方位(360°)にわたって観測できるため、観測領域に死角がない。
本発明の第4の実施の形態は、第1から第3のいずれか1つの実施の形態による物体追跡装置において、追跡情報作成管理手段は、物体が移動物であるか否かを判断する移動物判断部を備え、追跡リスト共有部は、移動物判断部によって移動物であると判断された物体の追跡情報について共有処理を行うものである。本実施の形態によれば、何らかの物体ではあるが静止物、又は移動物か静止物か不明の物体については共有処理を行わないことで、処理時間を短縮できる。
本発明の第5の実施の形態は、第1から第4のいずれか1つの実施の形態による物体追跡装置において、追跡リスト部は、対応付け部が対応付けできなかった場合は、複製された追跡情報を他方の観測情報取得部の追跡リストから削除するものである。本実施の形態によれば、不要な情報を削除することで、処理時間を短縮できる。
本発明の第6の実施の形態は、第1から第5のいずれか1つの実施の形態による物体追跡装置において、追跡情報作成管理手段は、複数の追跡リストに同じIDが付与された追跡情報が存在する場合には、その中から一つの追跡情報を選択する追跡情報選択部と、追跡情報選択部が選択した追跡情報を、自車両を制御又は監視する制御監視手段に追跡情報を送信する追跡情報送信部とを備え、追跡情報選択部は、物体が現実世界に存在する事後確率が最も大きい追跡情報を選択するものである。本実施の形態によれば、物体を精度良く追跡できる。
The object tracking device according to the first embodiment of the present invention creates and manages the tracking information of the object by using the observation information acquisition means for acquiring the observation information of the object and the observation information acquired by the observation information acquisition means. The observation information acquisition means is provided with a tracking information creation management means, and the observation information acquisition means is composed of a plurality of observation information acquisition units that acquire the distance, angle, or relative speed between the own vehicle and the object as observation information, and the tracking information creation management means is tracking. It has an information creation unit, a tracking list unit, a tracking list sharing unit, and an association unit, and the tracking information creation unit assigns identification to an object for each observation information acquired by each observation information acquisition unit. The tracking information including the ID for the object and the estimated state at the next time of the object is created, and the tracking list unit records the tracking information created by the tracking information creation unit in the tracking list for each observation information acquisition unit, and the tracking list sharing unit. Compares the tracking list of one observation information acquisition unit and the other observation information acquisition unit with adjacent observation regions, and does not exist in the tracking list of one observation information acquisition unit and in the tracking list of the other observation information acquisition unit. If the tracking information ID is assigned is present, have rows sharing process to replicate tracking information nonexistent ID is assigned to the track list of the other observation information acquisition unit, the association unit, before the time The tracking information and the observation information at the next time are associated with each observation information acquisition unit, and the tracking list unit corresponds to the tracking information duplicated in the tracking list of the other observation information acquisition unit by the tracking list sharing unit. If it can be attached, the duplicated tracking information is updated and retained in the tracking list of the other observation information acquisition unit . According to this embodiment, since the surrounding objects are observed by a plurality of observation information acquisition units, the observation range can be increased. In addition, since the tracking process is performed for each of the observation information acquired by each observation information acquisition unit instead of performing the tracking process using all the observation information acquired by the observation information acquisition means, the time required for the tracking process. Can be shortened and real-time processing becomes possible. Further, by sharing the tracking information between the tracking lists of the observation information means adjacent to the observation area, it is possible to continuously track the preceding vehicle without losing sight of it.
In the second embodiment of the present invention, in the object tracking device according to the first embodiment, the observation information acquisition unit is installed in front of and behind the own vehicle, and the number of observation information acquisition units installed in the rear. The number of observation information acquisition units installed in front is larger than that. According to the present embodiment, especially when tracking the preceding vehicle, the object to be observed is often located in front of the side or the rear of the own vehicle, so the observation area on the front side of the vehicle should be increased. Therefore, you can continuously track the vehicle in front without losing sight of it.
In the third embodiment of the present invention, in the object tracking device according to the first embodiment, the observation information acquisition unit is installed in the front, the rear, and the side of the own vehicle. According to this embodiment, since the periphery of the own vehicle can be observed in all directions (360 °), there is no blind spot in the observation area.
A fourth embodiment of the present invention is an object tracking device according to any one of the first to third embodiments, in which the tracking information creation management means determines whether or not the object is a moving object. The tracking list sharing unit includes an object determination unit, and performs sharing processing on tracking information of an object determined to be a moving object by the moving object determination unit. According to the present embodiment, the processing time can be shortened by not performing the sharing process for a stationary object, or an object whose moving object or stationary object is unknown, although it is some kind of object.
Fifth embodiment of the present invention, the object tracking apparatus according to a fourth one of embodiments from the first, track list section, if corresponds with 342C not map, replication The tracked information is deleted from the tracking list of the other observation information acquisition unit. According to this embodiment, the processing time can be shortened by deleting unnecessary information.
A sixth embodiment of the present invention is an object tracking device according to any one of the first to fifth embodiments, wherein the tracking information creation management means assigns the same ID to a plurality of tracking lists. If there is, the tracking information selection unit that selects one of the tracking information and the tracking information selected by the tracking information selection unit are transmitted to the control monitoring means that controls or monitors the own vehicle. It includes a tracking information transmitting unit, and the tracking information selection unit selects tracking information having the highest posterior probability that an object exists in the real world. According to this embodiment, the object can be tracked with high accuracy.
以下、本発明の一実施例による物体追跡装置について説明する。本実施例による物体追跡装置は、自車両周辺に存在する移動物体の位置・速度・加速度・角度・ヨーレート等といった状態を時系列的に推定する。
図1は本実施例による物体追跡装置が搭載される自車両を示す図、図2は同自車両に観測情報取得手段と追跡情報作成管理手段と制御監視手段を搭載した状態を示す概略構成図である。
自車両10の上方にアルミフレームを設置して各種センサを取付けている。センサの一つとしてGNSS複合航法システム21が搭載されており、GNSS(全地球航法衛星システム)から情報が十分に得られる環境において、100[Hz]で自車両10の3次元位置及び姿勢が計測可能である。さらに、他のセンサである全方位LIDAR22から得られる赤外線反射率を利用した自車両10の自己位置推定も導入している(菅沼直樹,林悠太郎,永田大記,高橋謙太,“高齢過疎地域における自動運転自動車の市街地公道実証実験概要”,自動車技術会学術講演会 講演予稿集,No.14-15,pp.390-394,2015、山本大貴,菅沼直樹,“高解像度赤外線反射率画像を用いた自動運転自動車の自己位置推定”,第23回日本機械学会交通・物流部門大会講演論文集,pp.320-330,2014.)。この自己位置推定を用いることにより、GNSSから情報が十分に得られない環境においても自車両10の高精度な位置情報を取得することが可能である。
また、図2に示すように、さらに他のセンサとして、複数のセンサ(観測情報取得部)31〜39を自車両10の前バンパー及び後バンパーの内部に設置することにより構成される略全方位センサシステム(観測情報取得手段)30が取り付けられている。センサ31〜39としては、それぞれの観測領域(検知範囲)において先行車両等の物体までの距離・角度・相対速度を取得する、LIDAR、超音波センサ、ミリ波レーダ、又はステレオカメラを用いることが望ましい。本実施例においては、センサ31〜39にミリ波レーダを用いることで、略全方位センサシステム(観測情報取得手段)30として略全方位ミリ波レーダシステムを構成している。略全方位ミリ波レーダシステム30は、自車両10の前バンパーの内部に設置された第1のミリ波レーダ31、第2のミリ波レーダ32、第3のミリ波レーダ33、第4のミリ波レーダ34、第7のミリ波レーダ37、第8のミリ波レーダ38及び第9のミリ波レーダ39と、車両10の後バンパーの内部に設置された第5のミリ波レーダ35及び第6のミリ波レーダ36とからなる。図2において、1〜9の数字が付与された扇形は、各センサ(ミリ波レーダ)31〜39の観測領域を概略的に示している。
略全方位ミリ波レーダシステム30は、観測周期20[Hz]で周辺を観測する。また、1つのミリ波レーダ31〜39で最大50個の観測情報(物体までの距離・角度・相対速度)を取得する、すなわち全体で最大450個の観測情報を取得する。特に物体が先行車両の場合は、観測すべき物体が自車両10の側方又は後方よりも前方に位置することが多いため、自車両10の前方の観測領域を大きくすることで、物体を見失うことなく継続して追跡できる。
なお、先行車両等の物体に対する観測領域をさらに大きくするため、ミリ波レーダを自車両10の前方、後方及び側方に設置し、全方位ミリ波レーダシステムとして構成することが好ましい。この場合は、自車両10の周辺を全方位(360°)にわたって観測できるため、観測領域に死角がない。
Hereinafter, an object tracking device according to an embodiment of the present invention will be described. The object tracking device according to this embodiment estimates the states such as the position, speed, acceleration, angle, yaw rate, etc. of moving objects existing around the own vehicle in chronological order.
FIG. 1 is a diagram showing an own vehicle on which the object tracking device according to the present embodiment is mounted, and FIG. 2 is a schematic configuration diagram showing a state in which the own vehicle is equipped with observation information acquisition means, tracking information creation management means, and control monitoring means. Is.
An aluminum frame is installed above the
Further, as shown in FIG. 2, as yet another sensor, substantially omnidirectional configuration is configured by installing a plurality of sensors (observation information acquisition units) 31 to 39 inside the front bumper and the rear bumper of the
The substantially omnidirectional millimeter-
In order to further increase the observation area for an object such as a preceding vehicle, it is preferable to install millimeter-wave radars in front of, behind, and to the side of the
本実施例による物体追跡装置は、図2に示すように、追跡情報作成管理手段40と制御監視手段50を備える。
追跡情報作成管理手段40は、追跡情報作成部41、追跡リスト部42、リスト共有部43、移動物判断部44、対応付け部45、追跡情報選択部46及び追跡情報送信部47を有し、略全方位センサシステム30が取得した観測情報を用いて物体の追跡情報の作成と管理を行う。制御監視手段50は、追跡情報作成管理手段40が作成及び管理する追跡情報に基づいて自車両10の制御及び監視を行う。
As shown in FIG. 2, the object tracking device according to the present embodiment includes tracking information creation management means 40 and control monitoring means 50.
The tracking information creation management means 40 includes a tracking
ここで、追跡情報作成管理手段40の追跡情報作成部41における移動物体の状態推定手法の例について説明する。状態推定手法の1つであるカルマンフィルタは、略全方位センサシステム30により得られる観測情報と1つのモデルを用いて推定対象である物体の状態を逐次的に推定する。そのため、そのモデルに対応しない運動が行われた際の推定精度は大きく劣化する。そこで、複数のモデルを用いて物体の状態を推定するInteracting Multiple Model(IMM)法を用いる(R.Helmick,“IMM Estimator with Nearest-Neighbor Joint Probabilistic Data Association”, Yaakov Bar-Shalom and William Dale Blair Edit “Multitarget-Multisensor Tracking: Applications and Advances Volume III” Artech House Publishers, pp.161 - 198.)。
本実施例では等速度モデル、等加速度モデル及び停止モデルの3つのモデルを用いる。等速度モデルでは速度がほぼ一定となる定常移動中は精度よく状態推定を行えるが、加速度がほぼ一定となる発進時や減速時などでは誤差が大きくなる。一方で、等加速度モデルでは加速度を推定する分ノイズが発生しやすく、速度がほぼ一定となる定常移動中は等速度モデルほど精度よく状態推定が行えないが、加速度がほぼ一定となる発進時や減速時などでは精度よく状態推定が行える。また停止モデルを用いることで、略全方位センサシステム30のノイズにより停止物体が急に動き出す物体と誤推定されることを緩和することができる。IMM法では各モデルの尤もらしさを求め、それにより重み付けを行うことで各モデルの誤差を打ち消し合う。そのため、カルマンフィルタでは推定の難しいような複雑な運動をする物体の状態推定には有効とされる。本実施例で用いるモデルの状態変数xと入力wを式(1)、(2)に示す。
In this embodiment, three models, a constant velocity model, a constant acceleration model, and a stop model, are used. In the constant velocity model, the state can be estimated accurately during steady movement where the speed is almost constant, but the error becomes large at the time of starting or decelerating when the acceleration is almost constant. On the other hand, in the constant acceleration model, noise is likely to occur due to the estimation of acceleration, and the state cannot be estimated as accurately as in the constant velocity model during steady movement where the speed is almost constant, but at the time of starting when the acceleration is almost constant. The state can be estimated accurately when decelerating. Further, by using the stop model, it is possible to alleviate that the stopped object is erroneously presumed to be an object that suddenly starts to move due to the noise of the substantially
次に、追跡情報作成管理手段40の対応付け部45における割り当て問題の解決手法の例について説明する。IMM法ではモデルにより更新された既存追跡物体の状態と略全方位センサシステム30から得られた観測情報を対応付けることにより状態が更新される。そのため、複数の物体が存在する複雑な環境下において既存追跡物体に対して正しく観測情報を対応付ける必要がある(割り当て問題)。
また、観測情報には既存追跡物体から得られるものだけでなく略全方位センサシステム30の誤動作やクラッタにより得られるものが存在するため、正しい対応付けを行うための研究が行われている。本実施例ではGlobal Nearest Neighbor(GNN)を用いて対応付けを行う(Pavlina Konstantinova & Alexander Udvarev & Tzvetan Semerdjiev, “A Study of a Target Tracking Algorithm Using Global Nearest Neighbor Approach”, International Conference on Computer Systems and Technologies−CompSysTech’2003.)。「GNN」とは、全ての対応付けを考慮したコスト行列を生成し、その時刻で最も可能性の高い割り当てを行う手法である。m個の既存追跡物体とl個の観測情報を得たとき、大きさはm×lのコスト行列cが式(4)のように生成される。
Further, since there are observation information obtained not only from existing tracking objects but also due to malfunction of the substantially
次に、追跡情報作成管理手段40における追跡管理に用いるフィルタの例について説明する。略全方位センサシステム30の誤動作やクラッタにより、既存追跡物体から観測情報が得られなかったり不要に得られたりすることが考えられる。そのため既存追跡物体に対して割り当てが無い可能性や誤った追跡が開始される可能性を考慮する必要がある。そこで本実施例では、Binary Bayes Filterを用いて物体が本当に現実世界に存在する物体であるかを判断する。時刻tに事象xが発生する確率P(xt)としたとき、対数オッズlog-odds(xt)は次式(9)で表現され、
次に、追跡情報作成管理手段40の移動物判断部44における追跡管理について説明する。本実施例では追跡開始・継続・終了と移動物体であるかの判断を行うため、Confirmed・Tentative・Deleteの3つの追跡モードを用いる。
Confirmedモードは、その追跡物体が移動物体であると判断されたときに遷移し、追跡を継続するモードである。Tentativeモードは、その観測情報の値が何かしらの物体から得られたものとして識別用のIDを与えて追跡を開始したり、何かしらの物体ではあるが移動物体では無いとして追跡を継続したりするモードである。Deleteモードは、追跡物体が観測可能な範囲から外れた場合やノイズにより発生したものであると判断された場合に遷移し、追跡を終了するモードである。各モードの遷移条件を表1に示す。ここで、表1のPcnf,Pstop,Dmove,Pdlt,Ndltは任意のパラメータである。
The Confirmed mode is a mode in which a transition is made when the tracking object is determined to be a moving object, and tracking is continued. In the Tentative mode, the value of the observation information is given as an ID for identification as obtained from some object, and tracking is started, or tracking is continued as if it is some object but not a moving object. Is. The Delete mode is a mode in which the tracking is terminated when the tracking object is out of the observable range or when it is determined that the tracking object is caused by noise. Table 1 shows the transition conditions for each mode. Here, P cnf , P stop , D move , P dlt , and N dlt in Table 1 are arbitrary parameters.
次に、略全方位ミリ波レーダシステム30による物体追跡における処理時間の問題について説明する。複数のミリ波レーダ31〜39から構成される略全方位ミリ波レーダシステム30は周辺から膨大な観測情報を取得する。この全ての観測情報を用いて追跡処理を行うと既存追跡物体と観測情報を対応付けるためのコスト行列は巨大化し、リアルタイムな追跡処理が困難となる。例えば、9個のミリ波レーダ31〜39を用いて略全方位ミリ波レーダシステム30を構成し、金沢大学構内において追跡実験を行った場合、取得した最大観測情報数は180個であった。取得した観測情報全てを用いて追跡処理を行った場合、観測周期50[ms]に対して最大処理時間は271[ms]という結果が得られ、リアルタイム処理が不可能であった。
そこで全ての観測情報を用いるのではなく、各ミリ波レーダ31〜39の観測情報を用いてそれぞれで追跡処理を行い、追跡情報を共有した。この結果、最大処理時間を9.28[ms]まで抑えることができ、リアルタイム処理が可能となった。全ての観測情報を用いて追跡処理を行ったときのコスト行列から対応付けを見つける処理にかかった時間とその他の処理に要する時間およびコスト行列のサイズ(要素数)を図3に示す。図3において、最も濃い線が「コスト行列のサイズ(要素数)」、最も薄い線が「コスト行列の処理に要する時間(コスト行列から対応付けを見つける処理にかかった時間)」、その中間の濃淡線が「その他の処理に要する時間」を示す。また、全ての観測情報を用いて追跡処理を行った場合(全体処理)と各ミリ波レーダ31〜39の観測情報を用いてそれぞれで追跡処理を行い追跡情報を共有する場合(個別処理+追跡情報共有処理)の処理時間を図4に示す。図4において、濃い線が本実施例による「個別処理+追跡情報共有処理」、薄い線が従来の「全体処理」を示す。ここで、処理はクロックが「2.8GHz」、実装メモリが「4GB」のCPUで行った。共有処理については後述する。
Next, the problem of processing time in object tracking by the substantially omnidirectional millimeter-
Therefore, instead of using all the observation information, tracking processing was performed by each of the observation information of each millimeter-
次に、追跡情報作成管理手段40における追跡情報の共有処理について説明する。略全方位ミリ波レーダシステム30を構成する各ミリ波レーダ31〜39の観測情報を用いてそれぞれで追跡処理を行うと、リアルタイム処理は可能となるが、観測するミリ波レーダ31〜39が切り替わる領域で物体をロストしてしまう。そのため、追跡情報の共有処理が必要となる。そこで、以下の3つの仮定を置いて追跡情報の共有を行う。
1)周辺車両(物体)は少なくとも1つのミリ波レーダ31〜39で複数回観測されConfirmedモードで追跡される。
2)隣接するミリ波レーダ31〜39の観測可能領域は一部重複している。
3)あるミリ波レーダ31〜39の観測情報を用いて追跡の開始・継続された物体は次の時刻にそのミリ波レーダ31〜39か隣接するミリ波レーダ31〜39で観測される。
これらの仮定より、Confirmedモードで追跡された物体の追跡情報を、隣接するミリ波レーダ31〜39の観測情報を用いた追跡リストに共有する。なお、Tentativeモードで追跡された物体の追跡情報は隣接するミリ波レーダ31〜39同士で共有しないこと、すなわち、観測情報を取得した物体ではあるが静止物、又は移動物か静止物か不明の物体については共有処理を行わないことで、処理時間を短縮できる。但し、Tentativeモードの段階から物体の追跡情報を共有して追跡する場合もあり得る。
Next, the tracking information sharing process in the tracking information creation management means 40 will be described. If tracking processing is performed by each of the millimeter-
1) Peripheral vehicles (objects) are observed multiple times by at least one millimeter-wave radar 31-39 and tracked in Confirmed mode.
2) The observable areas of the adjacent millimeter-
3) An object whose tracking has been started / continued using the observation information of a certain millimeter-wave radar 31-39 will be observed by the millimeter-wave radar 31-39 or an adjacent millimeter-wave radar 31-39 at the next time.
Based on these assumptions, the tracking information of the object tracked in the confirmed mode is shared with the tracking list using the observation information of the adjacent
図5は、追跡情報の共有処理のイメージを示す概念図である。図5において、自車両(実験車両(Experiment vehicle))10の周囲には物体として先行車両(Preceding vehicle)Aと交差車両(Crossing vehicle)Bが存在する。
第1のミリ波レーダ31は先行車両Aの観測情報を取得する。追跡情報作成部41は第1のミリ波レーダ31が取得した観測情報を用いて先行車両Aの追跡情報を作成する。追跡リスト部42は追跡リスト(TRACKING LIST 1)に先行車両Aの追跡情報を記録する。移動物判断部44は先行車両Aが移動車両であると判断した場合に先行車両Aの追跡モードをConfirmedモードに遷移させる。また、第9のミリ波レーダ39は交差車両Bの観測情報を取得する。追跡情報作成部41は第9のミリ波レーダ39が取得した観測情報を用いて交差車両Bの追跡情報を作成する。追跡リスト部42は追跡リスト(TRACKING LIST 2)に交差車両Bの追跡情報を記録する。移動物判断部44は交差車両Bが移動車両であると判断した場合に交差車両Bの追跡モードをConfirmedモードに遷移させる。また、第2のミリ波レーダ32の観測範囲には物体が存在しないため観測情報が取得されず、追跡リスト(TRACKING LIST 3)に先行車両A及び交差車両Bの追跡情報は記録されない。
リスト共有部43は、観測領域が隣接する第1のミリ波レーダ31と第9のミリ波レーダ39の追跡リストを比較し、第1のミリ波レーダ31の追跡リストに交差車両Bの追跡情報を複製し、第9のミリ波レーダ39の追跡リストに先行車両Aの追跡情報を複製する。これにより、第1のミリ波レーダ31と第9のミリ波レーダ39の追跡リストには、先行車両Aと交差車両Bの追跡情報が共有される。また、観測領域が隣接する第1のミリ波レーダ31と第2のミリ波レーダ32の追跡リストを比較し、第2のミリ波レーダ32の追跡リストに先行車両Aの追跡情報を複製する。これにより、第1のミリ波レーダ31と第2のミリ波レーダ32の追跡リストには、先行車両Aの追跡情報が共有される。
FIG. 5 is a conceptual diagram showing an image of the tracking information sharing process. In FIG. 5, a preceding vehicle (Preceding vehicle) A and a crossing vehicle (Crossing vehicle) B exist as objects around the own vehicle (experiment vehicle) 10.
The first millimeter-
The
共有処理について詳しく説明する。まず、i番目のミリ波レーダMiの観測情報のみを用いた追跡リストTi={T1 i,T2 i…}とそれに隣接するj番目のミリ波レーダMjの観測情報のみを用いた追跡リストTj={T1 j,T2 j…}を考える。追跡リスト部42は、追跡情報をミリ波レーダごとの追跡リストに記録する。すなわち、i番目のミリ波レーダMiの観測情報を用いた追跡情報は追跡リストTiに記録され、j番目のミリ波レーダMjの観測情報を用いた追跡情報は追跡リストTjに記録される。リスト共有部43は、このTi内のConfirmedモードの追跡情報をTj内の追跡情報と比較し、Tj内に同じIDの追跡情報がなければそのk番目の追跡情報Tk iをTjに追加(複製)する。そして対応付け部45は、共有された追跡情報Tk iについて共有先のミリ波レーダMjの観測情報と対応付けを行う。このとき対応付けがある場合は状態の更新を行いTk iはTjに残り、対応付けが無い場合はTjから除去する。このように、追加された追跡情報が共有先のミリ波レーダの観測情報と対応付けされない場合はその追加された追跡情報を除去することで、不要な情報が減り、処理時間を短縮できる。
最後にTiとTj内のTk iが両方とも更新された場合、追跡情報選択部46は、物体が現実世界に存在する事後確率(Track Score)が最大のものを追跡情報として選択する。追跡情報送信部47は、追跡情報選択部46が選択した事後確率が最大の追跡情報を制御監視手段50に送信する。事後確率が最大のものを制御監視手段50に送信する追跡情報として選定することで、物体を精度良く追跡できる。なお、追跡情報選択部46は、対応付けコストの小さい方を追跡情報として選択することもできる。リスト共有部43の共有処理のフローチャートを図6に示す。
The sharing process will be described in detail. First, only the observation information of the tracking list Ti = {T 1 i , T 2 i ...} using only the observation information of the i-th millimeter-wave radar M i and the observation information of the j-th millimeter-wave radar M j adjacent to it are used. Consider the tracking list T j = {T 1 j , T 2 j ...}. The
Finally, when both T i and T k i in T j are updated, the tracking
図6において、共有処理が開始されると、i番目のミリ波レーダ(MWR)Miとj番目のミリ波レーダMjの観測領域が隣接しているか否かを判断する(ステップ1)。
ステップ1において、i番目のミリ波レーダMiとj番目のミリ波レーダMjの観測領域が隣接していないと判断された場合には、ステップ1に戻り、隣接するi番目のミリ波レーダMiとj番目のミリ波レーダMjが見つかるまで判断を繰返す。
ステップ1において、i番目のミリ波レーダMiとj番目のミリ波レーダMjの観測領域が隣接していると判断された場合には、i番目のミリ波レーダMiの観測情報を用いて作成された追跡情報が記録された追跡リストTi内に、j番目のミリ波レーダMjを用いて作成された追跡情報が記録された追跡リストTj内に存在しない識別用のIDが付与された追跡情報Tk iが存在するか否かを比較する(ステップ2)。
ステップ2において、追跡リストTi内に、追跡リストTj内には存在しない識別用のIDが付与された追跡情報Tk iが存在しない場合には、ステップ1に戻る。
ステップ2において、追跡リストTi内に、追跡リストTj内には存在しない識別用のIDが付与された追跡情報Tk iが存在する場合には、追跡リストTjに追跡情報Tk iを複製して共有する(ステップ3)。
ステップ3の後、全てのミリ波レーダの追跡リスト同士を比較したか否かを判断する(ステップ4)。
ステップ4において、全てのミリ波レーダの追跡リスト同士を比較していないと判断した場合には、ステップ1に戻る。
ステップ4において、全てのミリ波レーダの追跡リスト同士を比較したと判断した場合には、各ミリ波レーダの観測情報と追跡リストを用いてコスト行列を作成し、前時刻における追跡情報と次時刻における観測情報の対応付けを探索する(ステップ5)。
ステップ5の後、ステップ3において共有した追跡情報Tk iに対応付けられる観測情報が共有先のミリ波レーダMjの観測情報に存在するか否かを判断する(ステップ6)。
ステップ6において、共有した追跡情報Tk iに対応付けられる観測情報が共有先のミリ波レーダMjの観測情報に存在する場合には、共有した追跡情報Tk iを更新して追跡リストTj内に保持する(ステップ7)。
ステップ6において、共有した追跡情報Tk iに対応付けられる観測情報が共有先のミリ波レーダMjの観測情報に存在しない場合には、共有した追跡情報Tk iを追跡リストTj内から削除する(ステップ8)。
ステップ7又はステップ8の後、あるIDが付与された追跡情報について、複数の追跡リストに同じIDが付与された追跡情報が存在するか否かを判断する(ステップ9)。
ステップ9において、複数の追跡リストに、同じIDが付与された追跡情報が存在すると判断された場合には、同じIDが付与された追跡情報の内、物体が現実世界に存在する事後確率(Track Score)が最も大きい追跡情報を制御監視手段50に送信する(ステップ10)。
ステップ9において、複数の追跡リストに、同じIDが付与された追跡情報が存在しないと判断された場合には、そのまま追跡情報を制御監視手段50に送信する(ステップ11)。
ステップ10又はステップ11の後、次のフレームで同様の処理が行われる。
6, when sharing process is started, the observation area of the i-th of a millimeter wave radar (MWR) M i and j th of a millimeter wave radar M j determines whether adjacent (Step 1).
In
If it is determined in
In
In
After
If it is determined in
If it is determined in
After
In
In
After
In
In
After
次に、本発明の被観測物追跡装置を用いた実験について説明する。金沢大学構内の道路にて、物体を先行車両として実験を行った。先行車両は約15〜20km/hで走行しており、実験車両(自車両)10もほぼ同じ速度で走行して先行車両を追跡する。先行車両は直線道路を走行した後に交差点で右折する。実験車両10も同様に右折する。追跡実験を行った時間は20[s](400フレーム)である。走行した経路を図7に白矢印で示す。図7における背景は全方位LIDAR22から得られる赤外線反射率を利用して生成した地図画像である。そして上述のようにConfirmedモードで追跡された物体の追跡情報を、隣接するミリ波レーダ31〜39の観測情報を用いた追跡リストに共有する。ここで、モード遷移のためのパラメータはPcnf=0.999,Pstop=0.100,Dmove=1.5[m],Pdlt=0.200,Ndlt=3と設定した。
Next, an experiment using the observed object tracking device of the present invention will be described. An experiment was conducted on the road on the premises of Kanazawa University with an object as the preceding vehicle. The preceding vehicle travels at about 15 to 20 km / h, and the experimental vehicle (own vehicle) 10 also travels at almost the same speed to track the preceding vehicle. The preceding vehicle will turn right at the intersection after traveling on a straight road. Similarly, turn right on the
次に、実験の結果を示す。実験車両10は直線道路において車両前方のミリ波レーダ(図2の第1のミリ波レーダ31)で先行車両を追跡した。その後、先行車両が交差点を右折した際には車両右斜め前のミリ波レーダ(図2の第9のミリ波レーダ39)と追跡情報を共有することによりロストすることなく追跡を継続した。そして、実験車両が右折を終えて直線に戻った際には車両前方のミリ波レーダと追跡情報を共有することによりロストすることなく追跡を継続した。この結果を図8に示す。図8において太線のプロットが略全方位ミリ波レーダシステム30の各ミリ波レーダ31〜39の観測情報を用いてそれぞれで追跡処理を行い、追跡情報を共有したときの先行車両の軌跡である。また、図8の破線のプロットは実験車両前方に取り付けたミリ波レーダのみで先行車両を追跡した場合の軌跡である。実験車両前方に取り付けたミリ波レーダのみで先行車両を追跡した場合は、先行車両が交差点を右折した後、実験車両も右折を行い前方に先行車両をとらえるまでの間、ロストしてしまう結果となった。
表2にロストしたフレーム数や処理時間などを示す。また、各フレームの処理時間と観測情報数の関係を図9に示す。図9において、濃い線が本実施例による略全方位ミリ波レーダシステム30を利用し追跡情報の共有を行った追跡処理時間を示し、薄い線が実験車両前方に取り付けたミリ波レーダのみを用いた場合の追跡処理時間を示す。
表2より実験車両前方のミリ波レーダのみを用いた場合、先行車両を96フレームの間ロストしたことがわかる。つまりミリ波レーダの観測周波数20[Hz]を考慮すると4.8[s]の間、実験車両は先行車両を見失い、先行車両が急ブレーキをかけたとしても衝突の危険性を察知することができないといえる。これに対して本実施例による略全方位ミリ波レーダシステム30の各ミリ波レーダ31〜39の観測情報を用いてそれぞれで追跡処理を行い、追跡情報を共有したときの処理時間は、観測情報の数の分、前方のミリ波レーダのみを用いた場合よりは大きくなったが、リアルタイムでの処理でロストの無い効率的かつ効果的な追跡が行えることがわかる。
Table 2 shows the number of lost frames and the processing time. Further, FIG. 9 shows the relationship between the processing time of each frame and the number of observation information. In FIG. 9, the dark line shows the tracking processing time for sharing the tracking information using the substantially omnidirectional millimeter-
From Table 2, it can be seen that when only the millimeter-wave radar in front of the experimental vehicle was used, the preceding vehicle was lost for 96 frames. In other words, considering the observation frequency of 20 [Hz] of the millimeter-wave radar, the experimental vehicle loses sight of the preceding vehicle during 4.8 [s], and even if the preceding vehicle suddenly brakes, it can detect the danger of collision. It can be said that it cannot be done. On the other hand, the tracking processing is performed by each of the observation information of each
本発明による物体追跡装置は、特に自動運転自動車に適用することで、先行車両や後続車両等に対して継続したリアルタイムな追跡を実現できる。 The object tracking device according to the present invention can realize continuous real-time tracking of a preceding vehicle, a following vehicle, or the like, particularly by being applied to an autonomous driving vehicle.
10 自車両
21 GNSS複合航法システム
22 全方位LIDAR
30 略全方位センサシステム(観測情報取得手段)
31、32、33、34、35、36、37、38、39 センサ
40 追跡情報作成管理手段
41 追跡情報作成部
42 追跡リスト部
43 リスト共有部
44 移動物判断部
45 対応付け部
46 追跡情報選択部
47 追跡情報送信部
50 制御監視手段
10
30 Approximately omnidirectional sensor system (observation information acquisition means)
31, 32, 33, 34, 35, 36, 37, 38, 39
Claims (6)
前記物体の観測情報を取得する観測情報取得手段と、
前記観測情報取得手段が取得した前記観測情報を用いて前記物体の追跡情報の作成と管理を行う追跡情報作成管理手段とを備え、
前記観測情報取得手段は、前記観測情報として前記自車両と前記物体との距離、角度又は相対速度を取得する複数の観測情報取得部からなり、
前記追跡情報作成管理手段は、
追跡情報作成部と、
追跡リスト部と、
追跡リスト共有部と、
対応付け部とを有し、
前記追跡情報作成部は、各前記観測情報取得部が取得したそれぞれの前記観測情報ごとに、前記物体に付与する識別用のIDと前記物体の次時刻における推定状態を含む前記追跡情報を作成し、
前記追跡リスト部は、前記追跡情報作成部が作成した前記追跡情報を前記観測情報取得部ごとの追跡リストに記録し、
前記追跡リスト共有部は、観測領域が隣接する一方の前記観測情報取得部と他方の前記観測情報取得部の前記追跡リストを比較し、一方の前記観測情報取得部の前記追跡リストに、他方の前記観測情報取得部の前記追跡リストに存在しない前記IDが付与された前記追跡情報が存在する場合には、存在しない前記IDが付与された前記追跡情報を他方の前記観測情報取得部の前記追跡リストに複製する共有処理を行い、
前記対応付け部は、前時刻における前記追跡情報と次時刻における前記観測情報を前記観測情報取得部ごとに対応付け、
前記追跡リスト部は、前記追跡リスト共有部によって他方の前記観測情報取得部の前記追跡リストに複製された前記追跡情報について、前記対応付け部が対応付けできた場合は、複製された前記追跡情報を更新して他方の前記観測情報取得部の前記追跡リストに保持することを特徴とする物体追跡装置。 An object tracking device that estimates the state of moving objects around the vehicle in chronological order.
Observation information acquisition means for acquiring observation information of the object, and
It is provided with a tracking information creation management means that creates and manages tracking information of the object using the observation information acquired by the observation information acquisition means.
The observation information acquisition means includes a plurality of observation information acquisition units that acquire the distance, angle, or relative speed between the own vehicle and the object as the observation information.
The tracking information creation management means
Tracking information creation department and
Tracking list section and
And the tracking list sharing unit,
It has an association part and
The tracking information creation unit creates the tracking information including the identification ID given to the object and the estimated state at the next time of the object for each observation information acquired by each observation information acquisition unit. ,
The tracking list unit records the tracking information created by the tracking information creating unit in the tracking list for each observation information acquisition unit.
The tracking list sharing unit compares the tracking list of one observation information acquisition unit adjacent to the observation area with the tracking list of the other observation information acquisition unit, and adds the tracking list of one observation information acquisition unit to the other. When the tracking information with the ID that does not exist in the tracking list of the observation information acquisition unit exists, the tracking information with the ID that does not exist is used as the tracking information of the other observation information acquisition unit. There line sharing process to be replicated to the list,
The associating unit associates the tracking information at the previous time with the observation information at the next time for each observation information acquisition unit.
When the matching unit can associate the tracking information duplicated in the tracking list of the other observation information acquisition unit by the tracking list sharing unit, the tracking list unit duplicates the tracking information. Is updated and held in the tracking list of the other observation information acquisition unit .
前記後方に設置された前記観測情報取得部の数よりも、前記前方に設置された前記観測情報取得部の数のほうが多いことを特徴とする請求項1に記載の物体追跡装置。 The observation information acquisition unit is installed in front of and behind the own vehicle.
The object tracking device according to claim 1, wherein the number of the observation information acquisition units installed in the front is larger than the number of the observation information acquisition units installed in the rear.
前記追跡リスト共有部は、前記移動物判断部によって移動物であると判断された前記物体の前記追跡情報について前記共有処理を行うことを特徴とする請求項1から請求項3のいずれか1項に記載の物体追跡装置。 The tracking information creation management means includes a moving object determination unit that determines whether or not the object is a moving object.
Any one of claims 1 to 3, wherein the tracking list sharing unit performs the sharing process on the tracking information of the object determined to be a moving object by the moving object determination unit. The object tracking device described in.
前記追跡情報選択部は、前記物体が現実世界に存在する事後確率が最も大きい前記追跡情報を選択することを特徴とする請求項1から請求項5のいずれか1項に記載の物体追跡装置。 When the tracking information to which the same ID is assigned exists in the plurality of tracking lists, the tracking information creation management means has a tracking information selection unit that selects one of the tracking information, and the tracking. A tracking information transmitting unit for transmitting the tracking information selected by the information selection unit to a control monitoring means for controlling or monitoring the own vehicle is provided.
The object tracking device according to any one of claims 1 to 5, wherein the tracking information selection unit selects the tracking information having the highest posterior probability that the object exists in the real world.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016203094 | 2016-10-14 | ||
JP2016203094 | 2016-10-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018066716A JP2018066716A (en) | 2018-04-26 |
JP6951728B2 true JP6951728B2 (en) | 2021-10-20 |
Family
ID=62086041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017000033A Active JP6951728B2 (en) | 2016-10-14 | 2017-01-04 | Object tracking device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6951728B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6970065B2 (en) * | 2018-09-06 | 2021-11-24 | 株式会社Soken | Object detector |
KR102184929B1 (en) * | 2018-10-05 | 2020-12-01 | 한국과학기술원 | Collision Avoidance System and Method of Autonomous Vehicle |
KR102659056B1 (en) * | 2018-12-11 | 2024-04-19 | 현대자동차주식회사 | System and Method of Fusing Surrounding V2V Signal and Sensing Signals of Self-Vehicle |
JP7200820B2 (en) | 2019-05-13 | 2023-01-10 | 株式会社デンソー | Traffic sign identification device and driving support device |
JP7409234B2 (en) * | 2020-06-12 | 2024-01-09 | 株式会社デンソー | object recognition device |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60102579A (en) * | 1983-11-10 | 1985-06-06 | Hitachi Ltd | Correlation processing method and apparatus |
US6873251B2 (en) * | 2002-07-16 | 2005-03-29 | Delphi Technologies, Inc. | Tracking system and method employing multiple overlapping sensors |
JP4371115B2 (en) * | 2006-03-01 | 2009-11-25 | トヨタ自動車株式会社 | Object detection device |
JP4613906B2 (en) * | 2006-12-14 | 2011-01-19 | トヨタ自動車株式会社 | Vehicle periphery monitoring device |
JP2014241036A (en) * | 2013-06-11 | 2014-12-25 | 三菱電機株式会社 | Vehicle driving assist system |
JP2015054603A (en) * | 2013-09-11 | 2015-03-23 | トヨタ自動車株式会社 | Object detection device |
-
2017
- 2017-01-04 JP JP2017000033A patent/JP6951728B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018066716A (en) | 2018-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6951728B2 (en) | Object tracking device | |
US9002631B2 (en) | Vicinity environment estimation device with blind region prediction, road detection and intervehicle communication | |
US10466361B2 (en) | Systems and methods for multi-sensor fusion using permutation matrix track association | |
JP6224370B2 (en) | Vehicle controller, vehicle system | |
Miller et al. | Efficient unbiased tracking of multiple dynamic obstacles under large viewpoint changes | |
US10796571B2 (en) | Method and device for detecting emergency vehicles in real time and planning driving routes to cope with situations to be expected to be occurred by the emergency vehicles | |
JP7056842B2 (en) | State estimator and program | |
JP2018055539A (en) | State calculation device for moving object, state calculation method, program and recording medium containing the same | |
US20210284162A1 (en) | Method and apparatus for determination of optimal cruising lane in an assisted driving system | |
GB2560618A (en) | Object tracking by unsupervised learning | |
Chong et al. | Ground target tracking-a historical perspective | |
CN110596696A (en) | Apparatus and method for improved radar beamforming | |
Wu et al. | Study on target tracking based on vision and radar sensor fusion | |
Wang et al. | Reduction of uncertainties for safety assessment of automated driving under parallel simulations | |
Bouain et al. | Multi-sensor fusion for obstacle detection and recognition: A belief-based approach | |
Muresan et al. | Multimodal sparse LIDAR object tracking in clutter | |
Polychronopoulos et al. | Integrated object and road border tracking using 77 GHz automotive radars | |
Amditis et al. | Fusion of infrared vision and radar for estimating the lateral dynamics of obstacles | |
EP4160269A1 (en) | Systems and methods for onboard analysis of sensor data for sensor fusion | |
Thomaidis et al. | Multi‐sensor tracking and lane estimation in highly automated vehicles | |
Floudas et al. | Multi-sensor coordination and fusion for automotive safety applications | |
Ren et al. | Intelligent path planning and obstacle avoidance algorithms for autonomous vehicles based on enhanced rrt algorithm | |
Domhof et al. | Multi-sensor object tracking performance limits by the cramer-rao lower bound | |
Ding et al. | Moving object tracking in support of unmanned vehicle opeartion | |
Yenkanchi | Multi sensor data fusion for autonomous vehicles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210907 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210916 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6951728 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |