JP2019168953A - State estimation device and program - Google Patents
State estimation device and program Download PDFInfo
- Publication number
- JP2019168953A JP2019168953A JP2018056620A JP2018056620A JP2019168953A JP 2019168953 A JP2019168953 A JP 2019168953A JP 2018056620 A JP2018056620 A JP 2018056620A JP 2018056620 A JP2018056620 A JP 2018056620A JP 2019168953 A JP2019168953 A JP 2019168953A
- Authority
- JP
- Japan
- Prior art keywords
- hypothesis
- tracked
- hypotheses
- tracking
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、状態推定装置及びプログラムに関する。 The present invention relates to a state estimation device and a program.
従来より、予め危険シーンのセンサデータを蓄積しておき、現在のセンサデータと照合して危険を報知する技術がある（特許文献１、特許文献２）。また、地図及び通信で取得したセンシングから、ある地点での複数の移動物の予測到達時刻と交通状況に照らして危険を報知する技術がある（特許文献３、特許文献４）。 Conventionally, there is a technique of accumulating sensor data of a dangerous scene in advance and notifying the danger by collating with current sensor data (Patent Documents 1 and 2). Moreover, there exists a technique which alert | reports danger from the sensing acquired by the map and communication in light of the estimated arrival time and traffic condition of several moving objects in a certain point (patent document 3, patent document 4).
また、地図と移動物の運動状態から、各移動物の将来移動範囲をリスクポテンシャルで算出し、その重なりによって危険を報知する技術がある（特許文献５〜８）。地図と移動物の運動状態からのリスクポテンシャルを算出する際に、算出手段を動的に切り替える技術がある（特許文献９）。 Moreover, there exists a technique which calculates the future moving range of each moving object by a risk potential from the movement state of a map and a moving object, and alert | reports danger by the overlap (patent documents 5-8). There is a technique for dynamically switching calculation means when calculating the risk potential from the motion state of a map and a moving object (Patent Document 9).
また、交通参加者の属性ごとの存在しやすさ（しにくさ）を表す地図を用いて、状態推定を行う技術がある（特許文献１０）。 Moreover, there exists a technique which estimates a state using the map showing the ease (existence difficulty) for every attribute of a traffic participant (patent document 10).
上記特許文献１及び特許文献２の技術は、蓄積されたセンシングデータと、現在直面しているセンシングデータの照合によって危険報知が行われるため、現在直面している場面において、移動物のどのような挙動が危険に至るかを、時系列及び空間的に説明できず、また、蓄積されたセンシングデータに存在しない危険場面に対して報知することができない。 In the technologies of Patent Document 1 and Patent Document 2 described above, danger notification is performed by collating the accumulated sensing data with the currently facing sensing data. Whether the behavior is dangerous cannot be explained in time series and space, and cannot be notified for a dangerous scene that does not exist in the accumulated sensing data.
また、上記特許文献３及び特許文献４の技術は、ＧＰＳ等で取得した大局的な位置情報と、地図上の交差点等の位置情報から予測される到達時刻で危険性を判定し、交通状況及び各移動物の位置・速度・走路状態等のセンシングによって重みを付けて精度を向上させるため、交差点内の横断歩道上や複数車線のうちのいずれかといった、局所的な空間上での状態推定と危険判定は、簡易な構成では困難である。極めて精緻な位置推定と高精度の地図及びセンシングが必要となるためである。 In addition, the techniques of Patent Document 3 and Patent Document 4 described above determine the risk based on the arrival time predicted from the global position information acquired by GPS or the like and the position information such as the intersection on the map, In order to improve the accuracy by weighting by sensing the position, speed, lane condition, etc. of each moving object, state estimation in local space such as on a pedestrian crossing or multiple lanes in the intersection The risk determination is difficult with a simple configuration. This is because extremely precise position estimation and highly accurate maps and sensing are required.
また、上記特許文献５〜８の技術は、移動物及び交通環境の局所的かつ相対的な位置関係が精緻に推定できることが前提であり、簡易な構成では困難であって、また、乱数を用いた粒子によるリスクポテンシャルの計算は、繰り返し試行ごとに異なる結果となり、同一場面で異なる状態推定及び危険判定となるため、品質保証が困難である。 In addition, the techniques of Patent Documents 5 to 8 are based on the premise that the local and relative positional relationship between the moving object and the traffic environment can be accurately estimated, which is difficult with a simple configuration and uses random numbers. The calculation of the risk potential by the particles that have occurred is different for each repeated trial, resulting in different state estimation and risk judgment in the same scene, so quality assurance is difficult.
また、上記特許文献９の技術は、局所的な移動物の将来予測範囲に占める歩車道の割合等の挙動の変化を促す要因によって、予測手段を切り替えて、リスクポテンシャルの計算コストを削減することを目指しているが、駐車場などの複雑な環境では、常に複雑な予測手段を選択することになるため、リスクポテンシャルの計算コストが削減できない。 In addition, the technique of Patent Document 9 described above reduces the risk potential calculation cost by switching the prediction means according to a factor that prompts a change in behavior such as the ratio of the walking road in the future prediction range of the local moving object. However, in a complex environment such as a parking lot, a complicated prediction method is always selected, so the calculation cost of risk potential cannot be reduced.
また、上記特許文献１０の技術は、交通参加者ごとの存在しやすさや、存在しにくさを表す存在可能性マップという形式での局所地図を生成する必要があり、センシングの誤認識等により属性が不明である交通参加者を取り扱うために、合理的な局所地図を用意することが難しい。 Moreover, the technique of the above-mentioned patent document 10 needs to generate a local map in the form of an existence possibility map that represents the ease of existence for each traffic participant and the difficulty of existence. It is difficult to prepare a reasonable local map in order to handle traffic participants whose numbers are unknown.
したがって、従来技術では、複雑な交通環境での移動物の状態推定を、多様な可能性の想定を失うことなく、簡易な構成によって少ない計算時間で行うことができない、という問題があった。 Therefore, the conventional technique has a problem that the state estimation of the moving object in a complicated traffic environment cannot be performed with a simple configuration and with a small calculation time without losing assumptions of various possibilities.
本発明は、上記問題点を解決するためになされたもので、複雑な交通環境であっても、多様な移動物の状態推定を高速に行うことができる状態推定装置及びプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and provides a state estimation device and program capable of performing state estimation of various moving objects at high speed even in a complicated traffic environment. Objective.
また、複雑な交通環境であっても、多様な移動物の状態推定を精度よく行うことができる状態推定装置及びプログラムを提供することを目的とする。 It is another object of the present invention to provide a state estimation device and a program capable of accurately estimating the state of various moving objects even in a complicated traffic environment.
上記の目的を達成するために、第１の発明の状態推定装置は、センサを用いて、追跡対象物を検出する検出部と、追跡している追跡対象物の各々について、前記追跡対象物の状態を示す仮説であって、前記追跡対象物が存在する可能性がある範囲を持つ仮説を複数格納した状態記憶部と、前記追跡している追跡対象物の各々について、前記センサを用いた検出タイミングでの、前記追跡対象物の複数の仮説を予測する仮説予測部と、前記追跡している追跡対象物の各々について、前記追跡対象物の前記複数の仮説から、前記仮説の予測結果が持つ範囲に応じて、前記仮説を削除する重複仮説削除部と、前記追跡している追跡対象物の各々について、前記追跡対象物の前記複数の仮説を、前記仮説の予測結果と、前記追跡対象物の検出結果とに基づいて更新する状態更新部と、を含んで構成されている。 In order to achieve the above object, the state estimation apparatus of the first invention uses a sensor to detect a tracking object, and for each of the tracking objects being tracked, A state storage unit that stores a plurality of hypotheses indicating a state where the tracking target may exist, and detection using the sensor for each of the tracking target being tracked A hypothesis prediction unit that predicts a plurality of hypotheses of the tracked object at timing, and a prediction result of the hypothesis from the plurality of hypotheses of the tracked object for each of the tracked tracked objects A duplicate hypothesis deletion unit that deletes the hypothesis according to a range; for each of the tracking target objects being tracked, the plurality of hypotheses of the tracking target object, a prediction result of the hypothesis, and the tracking target object Detection result It is configured to include a state update part for updating Zui, a.
また、第２の発明のプログラムは、コンピュータを、センサを用いて、追跡対象物を検出する検出部、追跡している追跡対象物の各々について、前記追跡対象物の状態を示す仮説であって、前記追跡対象物が存在する可能性がある範囲を持つ仮説を複数格納した状態記憶部、前記追跡している追跡対象物の各々について、前記センサを用いた検出タイミングでの、前記追跡対象物の複数の仮説を予測する仮説予測部、前記追跡している追跡対象物の各々について、前記追跡対象物の前記複数の仮説から、前記仮説の予測結果が持つ範囲に応じて、前記仮説を削除する重複仮説削除部、及び前記追跡している追跡対象物の各々について、前記追跡対象物の前記複数の仮説を、前記仮説の予測結果と、前記追跡対象物の検出結果とに基づいて更新する状態更新部として機能させるためのプログラムである。 The program of the second invention is a hypothesis indicating a state of the tracking object for each of the tracking object to be detected and a detection unit for detecting the tracking object using a sensor. A state storage unit storing a plurality of hypotheses having a range in which the tracking object may exist, and the tracking object at a detection timing using the sensor for each of the tracked tracking objects A hypothesis prediction unit that predicts a plurality of hypotheses, and for each of the tracked tracking objects, the hypothesis is deleted from the plurality of hypotheses of the tracking object according to a range of the hypothesis prediction result And updating the plurality of hypotheses of the tracked object based on the prediction result of the hypothesis and the detection result of the tracked object for each of the tracked tracked objects to be deleted Is a program for functioning as that state update unit.
第１の発明の状態予測装置及び第２の発明のプログラムによれば、検出部が、センサを用いて、追跡対象物を検出し、状態記憶部が、追跡している追跡対象物の各々について、当該追跡対象物の状態を示す仮説であって、当該追跡対象物が存在する可能性がある範囲を持つ仮説を複数格納し、仮説予測部が、追跡している追跡対象物の各々について、センサを用いた検出タイミングでの、当該追跡対象物の複数の仮説を予測する。 According to the state prediction apparatus of the first invention and the program of the second invention, the detection unit detects a tracking object using a sensor, and the state storage unit detects each tracking object being tracked. , A plurality of hypotheses indicating the state of the tracking target object and having a range in which the tracking target object may exist, the hypothesis prediction unit for each tracking target object being tracked, A plurality of hypotheses of the tracked object are predicted at the detection timing using the sensor.
そして、重複仮説削除部が、追跡している追跡対象物の各々について、当該追跡対象物の複数の仮説から、当該仮説の予測結果が持つ範囲に応じて、当該仮説を削除し、状態更新部が、追跡している追跡対象物の各々について、当該追跡対象物の複数の仮説を、当該仮説の予測結果と、当該追跡対象物の検出結果とに基づいて更新する。 Then, the duplicate hypothesis deletion unit deletes the hypothesis from each of the plurality of hypotheses of the tracked object according to the range of the prediction result of the hypothesis, and the state update unit However, for each tracking target being tracked, the plurality of hypotheses of the tracking target are updated based on the prediction result of the hypothesis and the detection result of the tracking target.
このように、追跡している追跡対象物の各々について、センサを用いた検出タイミングでの、追跡対象物の複数の仮説を予測し、当該追跡対象物の複数の仮説から、当該仮説の予測結果が持つ範囲に応じて、当該仮説を削除することにより、複雑な交通環境であっても、多様な移動物の状態推定を高速に行うことができる。 In this way, for each tracking object being tracked, a plurality of hypotheses of the tracking object are predicted at the detection timing using the sensor, and the prediction result of the hypothesis is predicted from the plurality of hypotheses of the tracking object. By deleting the hypothesis in accordance with the range that the vehicle has, it is possible to estimate the state of various moving objects at high speed even in a complicated traffic environment.
また、第１の発明の状態推定装置の前記重複仮説削除部は、前記追跡している追跡対象物の各々について、前記追跡対象物の前記複数の仮説から、前記仮説の予測結果が持つ範囲と、同一の追跡対象物の他の仮説が持つ範囲との重複度合いに応じて、前記仮説を削除することができる。 In addition, the duplicate hypothesis deletion unit of the state estimation device according to the first aspect of the present invention may include, for each of the tracked tracking objects, a range of the hypothesis prediction result from the plurality of hypotheses of the tracking object. The hypothesis can be deleted according to the degree of overlap with the range of other hypotheses of the same tracking target.
また、第１の発明の状態推定装置の前記検出部は、センサを用いて、追跡対象物と障害物とを検出し、前記重複仮説削除部は、前記追跡している追跡対象物の各々について、更に、前記追跡対象物の前記複数の仮説から、前記仮説の予測結果が持つ範囲と、前記障害物との重複度合いに応じて、前記仮説を削除することができる。 In addition, the detection unit of the state estimation device according to the first aspect of the invention uses a sensor to detect a tracking object and an obstacle, and the duplicate hypothesis deletion unit is configured to detect each tracking object being tracked. Furthermore, the hypothesis can be deleted from the plurality of hypotheses of the tracking target object according to the range of the prediction result of the hypothesis and the degree of overlap with the obstacle.
また、第３の発明の状態推定装置は、センサを用いて、追跡対象物と障害物とを検出する検出部と、追跡している追跡対象物の各々について、前記追跡対象物の状態を示す仮説であって、前記追跡対象物が存在する可能性がある範囲を持つ仮説を複数格納した状態記憶部と、前記追跡している追跡対象物の各々について、前記センサを用いた検出タイミングでの、前記追跡対象物の複数の仮説を予測する仮説予測部と、前記追跡している追跡対象物の各々について、前記追跡対象物の前記複数の仮説から、前記仮説の予測結果が持つ範囲と、他の追跡対象物の仮説が持つ範囲との重複度合い、又は前記仮説の予測結果が持つ範囲と、前記障害物との重複度合いに応じて、前記仮説を修正する近傍仮説修正部と、前記追跡している追跡対象物の各々について、前記追跡対象物の前記複数の仮説を、前記仮説の修正結果と、前記追跡対象物の検出結果とに基づいて更新する状態更新部と、を含んで構成されている。 Moreover, the state estimation device of the third invention uses a sensor to detect the tracking object and the obstacle, and indicates the state of the tracking object for each of the tracking objects being tracked. A state storage unit storing a plurality of hypotheses having a range in which the tracking object may exist, and a detection timing using the sensor for each of the tracking objects being tracked , A hypothesis prediction unit that predicts a plurality of hypotheses of the tracking object, and a range of the hypothesis prediction result from the plurality of hypotheses of the tracking object for each of the tracking objects to be tracked, The neighborhood hypothesis correcting unit that corrects the hypothesis according to the degree of overlap with the range of the hypothesis of another tracking object or the range of the prediction result of the hypothesis and the degree of overlap with the obstacle, and the tracking Of the tracking target For people, the plurality of hypotheses of the tracked object, the modification result of the hypothesis is configured to include a, a state update part for updating on the basis of the detection result of the tracking target object.
また、第４の本発明のプログラムは、コンピュータを、センサを用いて、追跡対象物と障害物とを検出する検出部、追跡している追跡対象物の各々について、前記追跡対象物の状態を示す仮説であって、前記追跡対象物が存在する可能性がある範囲を持つ仮説を複数格納した状態記憶部、前記追跡している追跡対象物の各々について、前記センサを用いた検出タイミングでの、前記追跡対象物の複数の仮説を予測する仮説予測部、前記追跡している追跡対象物の各々について、前記追跡対象物の前記複数の仮説から、前記仮説の予測結果が持つ範囲と、他の追跡対象物の仮説が持つ範囲との重複度合い、又は前記仮説の予測結果が持つ範囲と、前記障害物との重複度合いに応じて、前記仮説を修正する近傍仮説修正部、及び前記追跡している追跡対象物の各々について、前記追跡対象物の前記複数の仮説を、前記仮説の修正結果と、前記追跡対象物の検出結果とに基づいて更新する状態更新部として機能させるためのプログラムである。 In addition, the fourth program of the present invention is a computer that uses a sensor to detect a tracking object and an obstacle, and detects the state of the tracking object for each tracking object to be tracked. A state storage unit that stores a plurality of hypotheses having a range in which the tracking target may exist, and each of the tracking target to be tracked is detected at a detection timing using the sensor. A hypothesis prediction unit for predicting a plurality of hypotheses of the tracking object, a range of the hypothesis prediction result from the plurality of hypotheses of the tracking object for each of the tracked tracking objects, and the like A proximity hypothesis correcting unit that corrects the hypothesis according to the degree of overlap with the range of the hypothesis of the tracking target or the range of the prediction result of the hypothesis and the degree of overlap with the obstacle, and the tracking ing For each trace object, the plurality of hypotheses of the tracked object, the modification result of the hypothesis is a program for functioning as a state update part for updating on the basis of the detection result of the tracking target object.
第３の発明の状態予測装置及び第４の発明のプログラムによれば、検出部が、センサを用いて、追跡対象物と障害物とを検出し、状態記憶部が、追跡している追跡対象物の各々について、当該追跡対象物の状態を示す仮説であって、当該追跡対象物が存在する可能性がある範囲を持つ仮説を複数格納し、仮説予測部が、追跡している追跡対象物の各々について、センサを用いた検出タイミングでの、追跡対象物の複数の仮説を予測する。 According to the state prediction apparatus of the third invention and the program of the fourth invention, the detection unit detects the tracking object and the obstacle using the sensor, and the tracking object tracked by the state storage unit For each object, a plurality of hypotheses indicating the state of the tracked object and having a range in which the tracked object may exist are stored, and the tracked object tracked by the hypothesis prediction unit is tracked For each of these, a plurality of hypotheses of the tracking target are predicted at the detection timing using the sensor.
そして、近傍仮説修正部が、追跡している追跡対象物の各々について、当該追跡対象物の複数の仮説から、当該仮説の予測結果が持つ範囲と、他の追跡対象物の仮説が持つ範囲との重複度合い、又は当該仮説の予測結果が持つ範囲と、障害物との重複度合いに応じて、当該仮説を修正し、状態更新部が、追跡している追跡対象物の各々について、当該追跡対象物の複数の仮説を、当該仮説の修正結果と、当該追跡対象物の検出結果とに基づいて更新する。 Then, for each of the tracking objects tracked by the neighborhood hypothesis correction unit, from the plurality of hypotheses of the tracking object, the range of the prediction result of the hypothesis, the range of the hypothesis of the other tracking object, For each tracking target tracked by the state updater that corrects the hypothesis according to the degree of overlap or the range of the prediction result of the hypothesis and the degree of overlap with the obstacle. The plurality of hypotheses of the object are updated based on the correction result of the hypothesis and the detection result of the tracking target object.
このように、追跡している追跡対象物の各々について、センサを用いた検出タイミングでの、追跡対象物の複数の仮説を予測し、当該追跡対象物の複数の仮説から、当該仮説の予測結果が持つ範囲と、他の追跡対象物の仮説が持つ範囲との重複度合い、又は当該仮説の予測結果が持つ範囲と、障害物との重複度合いに応じて、当該仮説を修正することにより、複雑な交通環境であっても、多様な移動物の状態推定を精度良く行うことができる。 In this way, for each tracking object being tracked, a plurality of hypotheses of the tracking object are predicted at the detection timing using the sensor, and the prediction result of the hypothesis is predicted from the plurality of hypotheses of the tracking object. By correcting the hypothesis according to the degree of overlap between the range of the target and the range of the hypothesis of the other tracking target, or the range of the prediction result of the hypothesis and the degree of overlap with the obstacle, Even in a difficult traffic environment, it is possible to accurately estimate the state of various moving objects.
また、第３の発明の状態推定装置は、前記追跡している追跡対象物の各々について、前記仮説の予測結果と、予め定められたランドマークの位置との距離に応じて、前記仮説を修正するランドマーク修正部を更に含むことができる。 Further, the state estimation device of the third invention corrects the hypothesis according to the distance between the prediction result of the hypothesis and a predetermined landmark position for each of the tracked tracking objects. A landmark correction unit may be further included.
また、第３の発明の状態推定装置は、前記追跡している追跡対象物の各々について、前記追跡対象物の前記複数の仮説から、前記仮説の予測結果が持つ範囲と、同一の追跡対象物の他の仮説が持つ範囲との重複度合いに応じて、前記仮説を削除する重複仮説削除部を更に含むことができる。 In addition, the state estimation apparatus according to the third aspect of the present invention is the same tracking target as the range of the prediction result of the hypothesis from the plurality of hypotheses of the tracking target for each of the tracking target being tracked. A duplication hypothesis deletion unit that deletes the hypothesis may be further included depending on the degree of overlap with the range of other hypotheses.
以上説明したように、本発明の状態推定装置及びプログラムによれば、追跡している追跡対象物の各々について、センサを用いた検出タイミングでの、追跡対象物の複数の仮説を予測し、当該追跡対象物の複数の仮説から、当該仮説の予測結果が持つ範囲に応じて、当該仮説を削除することにより、複雑な交通環境であっても、多様な移動物の状態推定を高速に行うことができる、という効果が得られる。 As described above, according to the state estimation device and the program of the present invention, for each tracking object to be tracked, a plurality of hypotheses of the tracking object are predicted at the detection timing using the sensor, and By deleting the hypothesis from multiple hypotheses of the tracked object according to the range of the prediction result of the hypothesis, the state of various moving objects can be estimated at high speed even in a complicated traffic environment. The effect of being able to be obtained.
また、本発明の状態推定装置及びプログラムによれば、追跡している追跡対象物の各々について、センサを用いた検出タイミングでの、追跡対象物の複数の仮説を予測し、当該追跡対象物の複数の仮説から、当該仮説の予測結果が持つ範囲と、他の追跡対象物の仮説が持つ範囲との重複度合い、又は当該仮説の予測結果が持つ範囲と、障害物との重複度合いに応じて、当該仮説を修正することにより、複雑な交通環境であっても、多様な移動物の状態推定を精度よく行うことができる、という効果が得られる。 Further, according to the state estimation device and the program of the present invention, for each of the tracking objects to be tracked, a plurality of hypotheses of the tracking object are predicted at the detection timing using the sensor, and the tracking object From multiple hypotheses, depending on the degree of overlap between the range of the hypothesis prediction result and the range of other tracking target hypotheses, or the range of the prediction result of the hypothesis and the degree of overlap between obstacles By correcting the hypothesis, it is possible to accurately estimate the state of various moving objects even in a complicated traffic environment.
以下、図面を参照して本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
＜本発明の第１の実施の形態に係る状態推定システムの概要＞
本発明の実施形態では、交通環境上の移動物（車両、歩行者等）を追跡対象物とし、大きさを持つ仮説群で構成した追跡器として表現する。
<Outline of the state estimation system according to the first embodiment of the present invention>
In the embodiment of the present invention, a moving object (vehicle, pedestrian, etc.) on the traffic environment is set as a tracking object, and is expressed as a tracker configured by a hypothesis group having a size.
そして、追跡器内の他の仮説や障害物との重複があれば仮説を除去する。 Then, if there is an overlap with another hypothesis or obstacle in the tracker, the hypothesis is removed.
大きさを持った少数の仮説で追跡器を構成し、解析的な相互作用の計算のみで、乱数を排除し、かつ、網羅性のある状態推定の実現を行う。 A tracker is composed of a small number of hypotheses with a size, and random numbers are eliminated and state estimation with completeness is realized only by analytical calculation of interaction.
追跡器を構成する仮説に大きさを設定し、寄与度の低い仮説を削減することで、計算量を削減することができる。ここで、仮説の大きさは、任意の大きさを定義することができる。本実施形態では、仮説の大きさが、カルマンフィルタにおける予測ステップでの共分散行列で表される場合について説明する。 The amount of calculation can be reduced by setting the size of hypotheses constituting the tracker and reducing hypotheses with low contribution. Here, an arbitrary size can be defined as the size of the hypothesis. In the present embodiment, a case will be described in which the size of a hypothesis is represented by a covariance matrix at the prediction step in the Kalman filter.
＜本発明の第１の実施の形態に係る状態推定システムの構成＞
図１に示すように、本発明の第１の実施の形態に係る状態推定システム１０は、センシング装置１００と、状態推定装置２００とを備えて構成される。本実施形態では、交通環境が駐車場であり、追跡対象物が車両と歩行者である場合を例に説明する（図２）。
<Configuration of state estimation system according to first embodiment of the present invention>
As shown in FIG. 1, the state estimation system 10 according to the first exemplary embodiment of the present invention includes a sensing device 100 and a state estimation device 200. In the present embodiment, a case where the traffic environment is a parking lot and the tracking target object is a vehicle and a pedestrian will be described as an example (FIG. 2).
センシング装置１００は、移動物の位置・速度の推定に必要な情報を計測する。 The sensing device 100 measures information necessary for estimating the position / velocity of the moving object.
具体的には、センシング装置１００は、カメラ、レーザーレーダ、電波受信機等のセンサを用いて、車両及び歩行者の位置・速度の推定に有益な情報を計測する。センシング装置１００は、多数台、多数の種類が混在しても良い。 Specifically, the sensing device 100 measures information useful for estimating the position and speed of a vehicle and a pedestrian using sensors such as a camera, a laser radar, and a radio receiver. A large number of sensing devices 100 may be mixed.
センシング装置１００は、車両及び歩行者を計測できる場所であれば、任意の場所に設置されることができる。 The sensing device 100 can be installed in any place as long as it can measure vehicles and pedestrians.
例えば、センシング装置１００は、天井等の移動しない場所に設置されることができる（図２）。この場合、センシング装置１００は、設置位置を適切に選定することで、カメラの撮影範囲やレーザー等が遮蔽される領域を少なくすることができる。 For example, the sensing device 100 can be installed in a non-moving place such as a ceiling (FIG. 2). In this case, the sensing device 100 can reduce the imaging range of the camera and the area where the laser or the like is shielded by appropriately selecting the installation position.
また、例えば、センシング装置１００は、移動物、例えば車両上に設置されることもできる（図３）。以下、本実施形態では、図２の場合を例に説明する。 In addition, for example, the sensing device 100 can be installed on a moving object, for example, a vehicle (FIG. 3). Hereinafter, in the present embodiment, the case of FIG. 2 will be described as an example.
そして、センシング装置１００は、計測したセンサ情報を、状態推定装置２００の入力部２０１に渡す。ここで、センシング装置１００は、状態推定装置２００と直接接続されていることを要せず、状態推定装置２００に、インターネット等の通信網を介して接続されていてもよい。 Then, the sensing device 100 passes the measured sensor information to the input unit 201 of the state estimation device 200. Here, the sensing device 100 does not need to be directly connected to the state estimation device 200, and may be connected to the state estimation device 200 via a communication network such as the Internet.
状態推定装置２００は、ＣＰＵと、ＲＡＭと、後述する状態量推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。 The state estimation device 200 includes a CPU, a RAM, and a ROM that stores a program for executing a state quantity estimation processing routine described later, and is functionally configured as follows.
図１に示すように、状態推定装置２００は、入力部２０１と、障害物特定部２０２と、遮蔽領域検出部２０３と、検出部２０４と、状態記憶部２０５と、仮説予測部２０６と、重複仮説削除部２０７と、静止障害物地図ＤＢ２０８と、状態更新部２０９と、衝突可能性判定部２１０と、出力部２１１とを備えて構成される。 As illustrated in FIG. 1, the state estimation device 200 includes an input unit 201, an obstacle identification unit 202, a shielding area detection unit 203, a detection unit 204, a state storage unit 205, and a hypothesis prediction unit 206. The hypothesis deletion unit 207, the stationary obstacle map DB 208, the state update unit 209, the collision possibility determination unit 210, and the output unit 211 are configured.
入力部２０１は、センシング装置１００から、センサ情報の入力を受け付ける。 The input unit 201 receives sensor information input from the sensing device 100.
そして、入力部２０１は、受け付けたセンサ情報を、障害物特定部２０２及び検出部２０４に渡す。 Then, the input unit 201 passes the received sensor information to the obstacle specifying unit 202 and the detection unit 204.
障害物特定部２０２は、センサ情報に基づいて、障害物領域を特定する。 The obstacle specifying unit 202 specifies an obstacle area based on the sensor information.
具体的には、障害物特定部２０２は、予め移動物が存在しない状態においてレーザーレーダによるセンサ情報を用いて点群地図を作成し、障害物領域を特定する。 Specifically, the obstacle identifying unit 202 creates a point cloud map using sensor information from a laser radar in a state where there is no moving object in advance, and identifies an obstacle region.
そして、障害物特定部２０２は、特定した障害物領域の情報を遮蔽領域検出部２０３に渡す。 Then, the obstacle identifying unit 202 passes information on the identified obstacle region to the shielding region detecting unit 203.
遮蔽領域検出部２０３は、障害物領域の情報に基づいて、遮蔽領域を検出する。 The shielding area detection unit 203 detects the shielding area based on the obstacle area information.
具体的には、遮蔽領域検出部２０３は、例えばレーザーレーダにより計測された点群地図を、障害物特定部２０２で得られた障害物領域との差分により移動物を特定し、幾何学計算によって遮蔽領域を検出する。 Specifically, the shielding area detection unit 203 specifies a moving object based on a difference between the point cloud map measured by, for example, a laser radar and the obstacle area obtained by the obstacle specifying unit 202, and performs geometric calculation. Detect the occluded area.
そして、遮蔽領域検出部２０３は、検出した遮蔽領域の情報を、仮説予測部２０６に渡す。 Then, the shielding area detection unit 203 passes the detected shielding area information to the hypothesis prediction unit 206.
検出部２０４は、センサ情報を用いて、観測時刻における歩行者及び車両を検出する。 The detection unit 204 detects a pedestrian and a vehicle at the observation time using the sensor information.
具体的には、検出部２０４は、センサ情報から、歩行者を検出し、当該歩行者を追跡の対象である追跡対象物として、当該歩行者の位置及び速度を検出すると共に、車両を検出し、当該車両を追跡の対象である追跡対象物として、当該車両の位置および速度を検出する。 Specifically, the detection unit 204 detects a pedestrian from the sensor information, detects the pedestrian as a tracking target that is a tracking target, detects the position and speed of the pedestrian, and detects a vehicle. The position and speed of the vehicle are detected using the vehicle as a tracking target that is the target of tracking.
例えば、検出部２０４は、カメラ画像を用いた物体認識技術により画像中の人の矩形位置を検出すると共に、車両の矩形位置を検出する。 For example, the detection unit 204 detects the rectangular position of the person in the image and the rectangular position of the vehicle by the object recognition technique using the camera image.
そして、検出部２０４は、レーザーレーダにより計測された点群をカメラ画像に投影して、矩形内の点群から距離を推定することで、歩行者の位置及び車両の位置を検出する。また、検出部２０４は、前時刻における、矩形内の点群と、現時刻における、矩形内の点群との比較により、歩行者の速度及び移動方向も推定すると共に、車両の速度及び移動方向も推定する。 And the detection part 204 detects the position of a pedestrian and a vehicle by projecting the point cloud measured by the laser radar on a camera image, and estimating a distance from the point cloud in a rectangle. The detection unit 204 also estimates the pedestrian's speed and moving direction by comparing the point group in the rectangle at the previous time with the point group in the rectangle at the current time, and the speed and moving direction of the vehicle. Also estimate.
そして、検出部２０４は、検出した全ての歩行者を追跡している歩行者として、追跡している歩行者の状態（位置、速度、観測時刻）を、仮説予測部２０６に渡すと共に、検出した全ての車両を追跡している車両として、追跡している車両の状態（位置、速度、観測時刻）を、仮説予測部２０６に渡す。 And the detection part 204 detected while detecting the state (position, speed, observation time) of the tracking pedestrian as the pedestrian tracking all the detected pedestrians to the hypothesis prediction part 206. As a vehicle tracking all vehicles, the state (position, speed, observation time) of the tracked vehicle is passed to the hypothesis prediction unit 206.
状態記憶部２０５は、追跡している歩行者の各々について、当該歩行者の状態を示す仮説を格納すると共に、追跡している車両の各々について、当該車両の状態を示す仮説を格納する。ここで、歩行者の仮説は、歩行者の存在である正規分布を仮定した仮説（位置、速度、共分散）であり、追跡器に含まれる。また、車両の仮説は、車両の存在である正規分布を仮定した仮説（位置、速度、共分散）であり、追跡器に含まれる。また、仮説にはＩＤや属性を含めてもよい。 The state storage unit 205 stores a hypothesis indicating the state of the pedestrian for each tracked pedestrian, and stores a hypothesis indicating the state of the vehicle for each tracked vehicle. Here, the pedestrian hypothesis is a hypothesis (position, velocity, covariance) assuming a normal distribution that is the presence of a pedestrian, and is included in the tracker. The vehicle hypothesis is a hypothesis (position, velocity, covariance) assuming a normal distribution that is the existence of the vehicle, and is included in the tracker. The hypothesis may include an ID and an attribute.
具体的には、状態記憶部２０５は、状態更新部２０９により更新された追跡している歩行者の各々について、当該歩行者の状態（位置、速度を含む）、及び最後に観測した時刻を格納すると共に、状態更新部２０９により更新された追跡している車両の各々について、当該車両の状態（位置、速度を含む）、及び最後に観測した時刻を格納する。 Specifically, the state storage unit 205 stores the pedestrian's state (including position and speed) and the last observed time for each tracked pedestrian updated by the state update unit 209. At the same time, for each tracked vehicle updated by the state update unit 209, the state (including position and speed) of the vehicle and the last observed time are stored.
仮説予測部２０６は、追跡している歩行者の各々について、センサを用いた検出タイミングでの、当該歩行者の複数の仮説を予測する。 The hypothesis prediction unit 206 predicts a plurality of hypotheses of the pedestrian at the detection timing using the sensor for each pedestrian being tracked.
具体的には、仮説予測部２０６は、全ての追跡器内の仮説に対して、カルマンフィルタの予測ステップ（線形予測／共分散拡大）を設定されたステップ数だけ繰り返すことにより、当該追跡器の将来の移動可能範囲を予測する。 Specifically, the hypothesis prediction unit 206 repeats the Kalman filter prediction step (linear prediction / covariance expansion) for all hypotheses in the tracker by the set number of steps, thereby making the future of the tracker future. Predict the movable range of.
ここでは、追跡器ａについて仮説群
が生成されたとものとして、１ステップカルマン予測を用いた場合について説明する。仮説予測部２０６は、仮説ｘ０ａｉ毎に次の時刻の状態を示す仮説群
を予測する。
Here, the hypothesis group for the tracker a
A case where 1-step Kalman prediction is used will be described. The hypothesis prediction unit 206 is a hypothesis group indicating the state of the next time for each hypothesis x0ai.
Predict.
ｉ番目の仮説ｘ０ａｉは、下記式（１）のように表すことができる。 The i-th hypothesis x0ai can be expressed as the following formula (1).
ここで、（ｘ０ｐｉ）ｘ、（ｘ０ｐｉ）ｙは、それぞれ当該仮説のｘ、ｙ方向の位置を、（ｘ０ｖｉ）ｘ、（ｘ０ｖｉ）ｙは、それぞれ当該仮説のｘ、ｙ方向の速度を表す。 Here, (x 0pi) x, ( x 0pi) y are x respectively the hypothesis, the position in the y-direction, (x 0vi) x, ( x 0vi) y is of the hypothesis respective x, y-direction Represents speed.
そして、下記式（２）及び（３）を用いて、次の時刻の状態を予測する。図５に、追跡器ａについての予測結果のイメージを示す。 And the state of the following time is estimated using following formula (2) and (3). FIG. 5 shows an image of the prediction result for the tracker a.
ここで、
は、次の時間への時間幅であり、σｐｘ、σｐｙ、σｖｘ、σｖｙは共分散である。
here,
Is a time width to the next time, and σ px , σ py , σ vx , and σ vy are covariances.
そして、仮説予測部２０６は、追跡している歩行者の各々についての予測結果を、重複仮説削除部２０７に渡す。 The hypothesis prediction unit 206 then passes the prediction results for each pedestrian being tracked to the duplicate hypothesis deletion unit 207.
また、仮説予測部２０６は、追跡している車両の各々について、歩行者と同様に、センサを用いたタイミングでの、当該車両の複数の仮説を予測する。 Further, the hypothesis prediction unit 206 predicts a plurality of hypotheses of the vehicle at the timing using the sensor, like the pedestrian, for each of the vehicles being tracked.
また、仮説予測部２０６は、遮蔽領域の情報を用いて、図４に示すように、センサの画角外や、車両や歩行者が出現し得るランドマークに、車両や歩行者の仮説を新たに生成してもよい。ランドマークから歩行者や車両が交通環境である駐車場に入場する場面が想定されるからである。この場合、センシング装置１００が、駐車場内のランドマークの変化（例えば、エレベータの開閉等）を計測する構成としてもよい。 Further, the hypothesis prediction unit 206 uses the information on the occlusion area to update the hypothesis of the vehicle or the pedestrian outside the angle of view of the sensor or the landmark where the vehicle or the pedestrian can appear as shown in FIG. May be generated. This is because a scene in which a pedestrian or vehicle enters a parking lot that is a traffic environment from a landmark is assumed. In this case, the sensing device 100 may be configured to measure a change in a landmark in the parking lot (for example, opening and closing of an elevator).
重複仮説削除部２０７は、追跡している追跡対象物（歩行者又は車両）の各々について、当該追跡対象物の複数の仮説から、当該仮説の予測結果が持つ範囲と、同一の追跡対象物の他の仮説が持つ範囲との重複度合い、及び当該仮説の予測結果が持つ範囲と、障害物が存在する範囲との重複度合いに応じて、当該仮説を削除する。 The duplicate hypothesis deletion unit 207, for each tracking object (pedestrian or vehicle) that is being tracked, from a plurality of hypotheses of the tracking object, the range of the prediction result of the hypothesis, and the same tracking object The hypothesis is deleted according to the degree of overlap with the range of other hypotheses and the degree of overlap between the range of the prediction result of the hypothesis and the range where the obstacle exists.
具体的には、重複仮説削除部２０７は、追跡器が２つ以上の仮説で構成されている場合に、以下のように、仮説数の削減を図る。 Specifically, the duplicate hypothesis deletion unit 207 reduces the number of hypotheses as follows when the tracker is composed of two or more hypotheses.
まず、重複仮説削除部２０７は、予め作成した静止障害物地図ＤＢ２０８の静止障害物地図を用いて、障害物内に仮説の状態が含まれている場合に、当該仮説を削除する。 First, the duplicate hypothesis deletion unit 207 deletes a hypothesis when a state of a hypothesis is included in the obstacle, using the static obstacle map of the static obstacle map DB 208 created in advance.
次に、各予測ステップにおいて各仮説の組み合わせの各々についてＫｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ距離（ＫＬＤ）を計算し、さらに仮説間のＫＬＤの平均であるＪｅｎｓｅｎ−Ｓｈａｎｎｏｎ距離（ＪＳＤ）を算出する。 Next, in each prediction step, a Kullback-Leibler distance (KLD) is calculated for each combination of hypotheses, and a Jensen-Shannon distance (JSD) that is an average of KLDs between hypotheses is calculated.
例えば、上記の１ステップカルマンフィルタによる予測結果を用いた場合、ｉ番目の仮説ｘ０ａｉと、ｊ番目の仮説ｘ０ａｊとのＫＬＤは、下記式（４）を用いて求める（図６）。 For example, when the prediction result by the one-step Kalman filter is used, the KLD of the i-th hypothesis x 0ai and the j-th hypothesis x 0aj is obtained using the following equation (4) (FIG. 6).
次に、重複仮説削除部２０７は、仮説間のＫＬＤの平均を、下記式（５）を用いて求める。 Next, the duplicate hypothesis deletion unit 207 obtains an average of KLDs between hypotheses using the following equation (5).
そして、重複仮説削除部２０７は、ＪＳＤの小さい組み合わせから順に予め設定した値ε以下かどうかを評価し（下記式（６））、設定値ε以下の場合にはＪＳＤを構成するＫＬＤが小さい方の仮説を削除する（図７、図８）。 Then, the duplicate hypothesis deletion unit 207 evaluates whether the combination is smaller than a preset value ε in order from the smallest combination of JSDs (the following equation (6)). Are deleted (FIGS. 7 and 8).
削除した仮説ｘ０ａｋに関する評価中のＪＳＤの組み合わせ（ＪＳＤｋｉ、ＪＳＤｉｋ）も評価の対象外とする。なお、ＫＬＤが大きい方の仮説を削除する構成としてもよい。 A combination (JSD ki , JSD ik ) under evaluation regarding the deleted hypothesis x 0ak is also excluded from the evaluation. Note that a hypothesis having a larger KLD may be deleted.
また、予測された仮説と、特定された障害物領域との組み合わせの各々について、当該仮説の予測結果が持つ範囲と、障害物領域との重複度が閾値以上である場合には、当該仮説を削除する。 In addition, for each combination of the predicted hypothesis and the specified obstacle region, if the degree of overlap between the prediction result of the hypothesis and the obstacle region is equal to or greater than a threshold, the hypothesis is delete.
そして、重複仮説削除部２０７は、追跡している追跡対象物の各々について、仮説の削除処理を行った後の仮説予測部２０６による予測結果を、状態更新部２０９に渡す。 Then, the duplicate hypothesis deletion unit 207 passes the prediction result by the hypothesis prediction unit 206 after performing the hypothesis deletion process for each of the tracked tracking objects to the state update unit 209.
静止障害物地図ＤＢ２０８は、移動物が存在する地図上の静止している障害物の情報を含む地図である静止障害物地図を格納する。 The stationary obstacle map DB 208 stores a stationary obstacle map which is a map including information on a stationary obstacle on a map where a moving object is present.
状態更新部２０９は、追跡している歩行者の各々について、当該歩行者の複数の仮説を、仮説の予測結果と、当該歩行者の検出結果とに基づいて更新する。 The state update unit 209 updates, for each pedestrian tracked, a plurality of hypotheses of the pedestrian based on the hypothesis prediction result and the detection result of the pedestrian.
また、状態更新部２０９は、追跡している車両の各々について、当該車両の複数の仮説を、仮説の予測結果と、当該車両の検出結果とに基づいて更新する。 Further, the state update unit 209 updates a plurality of hypotheses of the vehicle for each tracked vehicle based on the prediction result of the hypothesis and the detection result of the vehicle.
具体的には、状態更新部２０９は、重複仮説削除部２０７により仮説の削除処理を行った後の仮説予測部２０６による予測結果と、歩行者の検出結果とに基づいて、追跡器と歩行者の検出結果とを対応付け、追跡器の各々について、対応付けされた歩行者の検出結果に基づいて、当該追跡器の複数の仮説の各々の状態量を更新することにより、当該追跡器が表す歩行者の複数の仮説を更新する。 Specifically, the state update unit 209 determines whether the tracker and the pedestrian are based on the prediction result by the hypothesis prediction unit 206 after the hypothesis deletion processing is performed by the duplicate hypothesis deletion unit 207 and the detection result of the pedestrian. The tracker represents each of the trackers by updating the state quantities of each of the plurality of hypotheses of the tracker based on the associated pedestrian detection results. Update multiple pedestrian hypotheses.
そして、状態更新部２０９は、追跡している追跡対象物（歩行者又は車両）の各々について、更新した当該追跡対象物の複数の仮説を、状態記憶部２０５及び衝突可能性判定部２１０に渡す。 Then, the state update unit 209 passes a plurality of updated hypotheses of the tracked object to each of the tracked tracking objects (pedestrians or vehicles) to the state storage unit 205 and the collision possibility determination unit 210. .
また、状態更新部２０９は、何れの追跡器とも対応付けられなかった歩行者の検出結果に基づいて、歩行者の複数の仮説を生成し、新たな歩行者の追跡器を生成する。状態更新部２０９は、何れの追跡器とも対応付けられなかった車両の検出結果に基づいて、車両の複数の仮説を生成し、新たな車両の追跡器を生成する。 Further, the state update unit 209 generates a plurality of hypotheses of the pedestrian based on the detection result of the pedestrian that is not associated with any tracker, and generates a new pedestrian tracker. The state update unit 209 generates a plurality of vehicle hypotheses based on the detection result of the vehicle that is not associated with any tracker, and generates a new vehicle tracker.
また、状態更新部３０９は、何れの歩行者の検出結果とも対応付けられなかった歩行者の追跡器のうち、観測時刻から一定時間以上経過している追跡器を削除する。状態更新部３０９は、何れの車両の検出結果とも対応付けられなかった車両の追跡器のうち、観測した時刻から一定時間以上経過している追跡器を状態記憶部２０５から削除する。 Moreover, the state update part 309 deletes the tracking device which has passed more than fixed time from observation time among the tracking devices of the pedestrian which was not matched with the detection result of any pedestrian. The state update unit 309 deletes, from the state storage unit 205, a tracker that has passed for a certain period of time from the observed time among the vehicle trackers that are not associated with any vehicle detection result.
衝突可能性判定部２１０は、追跡している歩行者の各々について、状態更新部２０９により更新された当該歩行者の複数の仮説と、更新された車両の複数の仮説とに基づいて、当該歩行者と、車両との衝突可能性を判定する。 The collision possibility determination unit 210 determines, for each pedestrian tracked, the walking based on the plurality of hypotheses of the pedestrian updated by the state update unit 209 and the plurality of hypotheses of the updated vehicle. The possibility of collision between the person and the vehicle is determined.
具体的には、衝突可能性判定部２１０は、追跡器が示す歩行者の各々について、状態更新部２０９により更新された当該歩行者の複数の仮説の位置及び速度と、車両の複数の仮説の位置及び速度とから、当該歩行者と車両が衝突する可能性を算出し、算出した可能性が閾値以上であれば、衝突する可能性があると判定する。 Specifically, for each pedestrian indicated by the tracker, the collision possibility determination unit 210 determines the position and speed of the plurality of hypotheses of the pedestrian updated by the state update unit 209 and the plurality of hypotheses of the vehicle. The possibility that the pedestrian and the vehicle will collide is calculated from the position and speed, and if the calculated possibility is equal to or greater than a threshold, it is determined that there is a possibility of collision.
なお、衝突可能性判定部２１０は、同様に、追跡している車両の各々について、状態更新部２０９により更新された当該車両の複数の仮説と、更新された他の車両の複数の仮説とに基づいて、当該車両と、他の車両との衝突可能性を判定する。 Similarly, for each of the vehicles that are being tracked, the collision possibility determination unit 210 divides a plurality of hypotheses of the vehicle updated by the state update unit 209 and a plurality of hypotheses of other updated vehicles. Based on this, the possibility of collision between the vehicle and another vehicle is determined.
そして、衝突可能性判定部２１０は、判定結果を出力部２１１に渡す。 Then, the collision possibility determination unit 210 passes the determination result to the output unit 211.
出力部２１１は、判定結果を出力する。 The output unit 211 outputs the determination result.
＜本発明の第１の実施の形態に係る状態推定装置の作用＞
次に、図９を参照して、本実施形態の状態推定装置２００の状態推定処理ルーチンについて説明する。
<Operation of the state estimation device according to the first embodiment of the present invention>
Next, with reference to FIG. 9, the state estimation processing routine of the state estimation apparatus 200 of this embodiment is demonstrated.
まず、ステップＳ１００において、入力部２０１は、センシング装置１００から、センサ情報の入力を受け付ける。 First, in step S <b> 100, the input unit 201 receives an input of sensor information from the sensing device 100.
ステップＳ１１０において、障害物特定部２０２は、上記ステップＳ１００により受け付けたセンサ情報に基づいて、障害物領域を特定する。 In step S110, the obstacle identifying unit 202 identifies an obstacle region based on the sensor information received in step S100.
ステップＳ１２０において、遮蔽領域検出部２０３は、上記ステップＳ１１０により特定した障害物領域の情報に基づいて、遮蔽領域を検出する。 In step S120, the shielding area detection unit 203 detects the shielding area based on the information on the obstacle area identified in step S110.
ステップＳ１３０において、検出部２０４は、上記ステップＳ１００により受け付けたセンサ情報を用いて、歩行者及び車両を検出する。 In step S130, the detection unit 204 detects a pedestrian and a vehicle using the sensor information received in step S100.
ステップＳ１４０において、仮説予測部２０６は、追跡している歩行者の各々について、センサを用いた検出タイミングでの、当該歩行者の複数の仮説を生成すると共に、追跡している車両の各々について、センサを用いた検出タイミングでの、当該車両の複数の仮説を生成する。 In step S140, the hypothesis prediction unit 206 generates a plurality of hypotheses of the pedestrian at the detection timing using the sensor for each of the tracking pedestrians, and for each of the tracking vehicles, A plurality of hypotheses of the vehicle are generated at the detection timing using the sensor.
ステップＳ１５０において、仮説予測部２０６は、追跡している歩行者の各々について、センサを用いた検出タイミングでの、当該歩行者の複数の仮説を予測すると共に、追跡している車両の各々について、センサを用いた検出タイミングでの、当該車両の複数の仮説を予測する。 In step S150, the hypothesis prediction unit 206 predicts a plurality of hypotheses of the pedestrian at a detection timing using a sensor for each of the tracking pedestrians, and for each of the tracking vehicles. A plurality of hypotheses of the vehicle are predicted at the detection timing using the sensor.
ステップＳ１６０において、重複仮説削除部２０７は、追跡している追跡対象物（歩行者、車両）の各々について、当該追跡対象物の複数の仮説から、当該仮説の予測結果が持つ範囲と、同一の追跡対象物の他の仮説が持つ範囲との重複度合いに応じて、当該仮説を削除する。また、重複仮説削除部２０７は、追跡している追跡対象物の各々について、当該追跡対象物の複数の仮説から、当該仮説の予測結果が持つ範囲と、障害物が存在する範囲との重複度合いに応じて、当該仮説を削除する。 In step S160, the overlapping hypothesis deletion unit 207 has the same range as the prediction result of the hypothesis from a plurality of hypotheses of the tracking target for each tracking target (pedestrian, vehicle) being tracked. The hypothesis is deleted according to the degree of overlap with the range of other hypotheses of the tracking target. In addition, for each of the tracking target objects being tracked, the overlapping hypothesis deletion unit 207 determines, from a plurality of hypotheses of the tracking target object, the degree of overlap between the range of the prediction result of the hypothesis and the range where the obstacle exists Depending on, the hypothesis is deleted.
ステップＳ１７０において、状態更新部２０９は、追跡している歩行者の各々について、当該歩行者の複数の仮説を、仮説の予測結果と、歩行者の検出結果とに基づいて更新する。また、状態更新部２０９は、追跡している車両の各々について、当該車両の複数の仮説を、仮説の予測結果と、車両の検出結果とに基づいて更新する。 In step S170, the state update unit 209 updates, for each pedestrian tracked, a plurality of hypotheses of the pedestrian based on the hypothesis prediction result and the pedestrian detection result. In addition, the state update unit 209 updates a plurality of hypotheses of each vehicle being tracked based on the hypothesis prediction result and the vehicle detection result.
ステップＳ１８０において、状態記憶部２０５は、追跡している追跡対象物（歩行者、車両）の各々について、当該追跡対象物の状態を示す仮説を複数格納する。 In step S180, the state storage unit 205 stores a plurality of hypotheses indicating the state of the tracking target object for each tracking target object (pedestrian, vehicle) being tracked.
ステップＳ１９０において、衝突可能性判定部２１０は、追跡している歩行者の各々について、状態更新部２０９により更新された当該歩行者の複数の仮説と、更新された車両の複数の仮説とに基づいて、当該歩行者と、車両との衝突可能性を判定する。また、衝突可能性判定部２１０は、追跡している車両の各々について、状態更新部２０９により更新された当該車両の複数の仮説と、更新された他の車両の複数の仮説とに基づいて、当該車両と、他の車両との衝突可能性を判定する。 In step S190, the collision possibility determination unit 210 is based on the plurality of hypotheses of the pedestrian updated by the state update unit 209 and the plurality of hypotheses of the updated vehicle for each pedestrian tracked. Thus, the possibility of collision between the pedestrian and the vehicle is determined. Further, the collision possibility determination unit 210, for each of the vehicles that are tracked, based on the plurality of hypotheses of the vehicle updated by the state update unit 209 and the plurality of hypotheses of other updated vehicles, The possibility of collision between the vehicle and another vehicle is determined.
ステップＳ２００において、出力部２１１は、判定結果を出力する。 In step S200, the output unit 211 outputs a determination result.
また、上記ステップＳ１６０は、図１０に示す重複仮説削除処理ルーチンによって実現される。 Further, step S160 is realized by the duplicate hypothesis deletion processing routine shown in FIG.
ステップＳ１６１において、重複仮説削除部２０７は、追跡している歩行者のうち、１番目の歩行者を選択する。 In step S161, the duplicate hypothesis deleting unit 207 selects the first pedestrian among the pedestrians being tracked.
ステップＳ１６２において、重複仮説削除部２０７は、選択されている歩行者の複数の仮説と、予め作成した静止障害物地図ＤＢ２０８の静止障害物地図を用いて、複数の仮説と障害物との重複度を計算する。 In step S162, the overlapping hypothesis deletion unit 207 uses the plurality of hypotheses of the selected pedestrian and the stationary obstacle map of the stationary obstacle map DB 208 created in advance, and the degree of overlap between the plurality of hypotheses and the obstacle. Calculate
ステップＳ１６３において、重複仮説削除部２０７は、障害物と重複する仮説があるか否かを判定する。 In step S163, the duplication hypothesis deletion unit 207 determines whether there is a hypothesis that overlaps the obstacle.
重複する仮説が無い場合（ステップＳ１６３のＮＯ）、ステップＳ１６５に進む。 If there is no overlapping hypothesis (NO in step S163), the process proceeds to step S165.
一方、重複する仮説がある場合（ステップＳ１６３のＹＥＳ）、ステップＳ１６４において、重複仮説削除部２０７は、重複する仮説を削除する。 On the other hand, when there are overlapping hypotheses (YES in step S163), in step S164, the overlapping hypothesis deleting unit 207 deletes the overlapping hypotheses.
ステップＳ１６５において、重複仮説削除部２０７は、複数の仮説の各々について、当該仮説と他の仮説との、仮説同士の重複度を計算する。また、重複仮説削除部２０７は、複数の仮説の各々について、当該仮説が持つ範囲と障害物領域との重複度を計算する。 In step S165, the duplicate hypothesis deleting unit 207 calculates, for each of the plurality of hypotheses, the degree of overlap between the hypotheses and the other hypotheses. Further, the duplicate hypothesis deleting unit 207 calculates, for each of a plurality of hypotheses, the degree of overlap between the range of the hypothesis and the obstacle region.
ステップＳ１６６において、重複仮説削除部２０７は、計算した重複度に基づいて、重複する仮説があるか否かを判定する。 In step S166, the duplicate hypothesis deleting unit 207 determines whether there is a duplicate hypothesis based on the calculated degree of duplication.
重複する仮説が無い場合（ステップＳ１６６のＮＯ），ステップＳ１６８に進む。 If there is no overlapping hypothesis (NO in step S166), the process proceeds to step S168.
一方、仮説同士で重複する仮説がある場合（ステップＳ１６６のＹＥＳ）、ステップＳ１６７において、仮説同士で重複する仮説の一方を削除する。また、障害物領域と重複する仮説がある場合（ステップＳ１６６のＹＥＳ）、ステップＳ１６７において、障害物領域と重複する仮説を削除する。 On the other hand, if there is a hypothesis that overlaps between hypotheses (YES in step S166), one of the hypotheses that overlap between hypotheses is deleted in step S167. If there is a hypothesis that overlaps with the obstacle area (YES in step S166), the hypothesis that overlaps with the obstacle area is deleted in step S167.
ステップＳ１６８において、重複仮説削除部２０７は、全ての歩行者について処理を行ったか否かを判定する。 In step S168, the duplicate hypothesis deleting unit 207 determines whether or not processing has been performed for all pedestrians.
全ての歩行者について処理を行っていない場合（ステップＳ１６８のＮＯ）、ステップＳ１６９において、次の歩行者を選択して、ステップＳ１６２〜Ｓ１６８の処理を繰り返す。 When processing is not performed for all pedestrians (NO in step S168), the next pedestrian is selected in step S169, and the processing in steps S162 to S168 is repeated.
一方、全ての歩行者について処理を行った場合（ステップＳ１６８のＹＥＳ）、リターンする。 On the other hand, when processing is performed for all pedestrians (YES in step S168), the process returns.
また、追跡している車両についても、上記図１０に示す重複仮説削除処理ルーチンと同様の処理ルーチンを実行する。 Further, a processing routine similar to the duplicate hypothesis deletion processing routine shown in FIG.
以上説明したように、本発明の実施の形態に係る状態推定装置によれば、追跡している追跡対象物の各々について、センサを用いた検出タイミングでの、追跡対象物の複数の仮説を予測し、当該追跡対象物の複数の仮説から、当該仮説の予測結果が持つ範囲に応じて、当該仮説を削除し、当該追跡対象物の複数の仮説を、当該仮説の予測結果と、当該追跡対象物の検出結果とに基づいて更新することにより、複雑な交通環境であっても、多様な移動物の状態推定を高速に行うことができる。 As described above, according to the state estimation apparatus according to the embodiment of the present invention, a plurality of hypotheses of the tracking target are predicted at the detection timing using the sensor for each tracking target being tracked. The hypothesis is deleted from the plurality of hypotheses of the tracking target according to the range of the prediction result of the hypothesis, and the plurality of hypotheses of the tracking target is replaced with the prediction result of the hypothesis and the tracking target. By updating based on the detection result of the object, the state estimation of various moving objects can be performed at high speed even in a complicated traffic environment.
＜本発明の第２の実施の形態に係る状態推定システムの概要＞
第１の実施形態では、仮説を削除する構成としたが、第２の実施の形態では、他の追跡器との関係や、ランドマーク地図との組み合わせによって多様な状態推定を生成する。すなわち、センサにより得られたセンシング結果から推定された仮説から、将来の状態推定を求め、状態推定に対して、他の追跡器との距離に基づいた修正や、ランドマークへの誘因を考慮した修正を行う。
<Outline of State Estimation System According to Second Embodiment of the Present Invention>
In the first embodiment, the hypothesis is deleted. However, in the second embodiment, various state estimates are generated depending on the relationship with other trackers and combinations with landmark maps. In other words, a future state estimate is obtained from a hypothesis estimated from the sensing results obtained by the sensor, and the correction based on the distance to other trackers and the incentive to the landmark are considered for the state estimate. Make corrections.
また、予め設定した地図により、仮説生成や状態推定を限定することで、より効果を高めることができる。 Moreover, the effect can be further enhanced by limiting hypothesis generation and state estimation using a preset map.
＜本発明の第２の実施の形態に係る状態推定システムの構成＞
本発明の第２の実施の形態に係る状態推定システム２０の構成について説明する。なお、第１の実施の形態に係る状態推定システム１０と同様の構成については、同一の符号を付して詳細な説明は省略する。
<Configuration of State Estimation System According to Second Embodiment of the Present Invention>
The configuration of the state estimation system 20 according to the second embodiment of the present invention will be described. In addition, about the structure similar to the state estimation system 10 which concerns on 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.
図１１に示すように、本発明の実施の形態に係る状態推定システム２０は、センシング装置１００と、状態推定装置３００とを備えて構成される。本実施形態では、交通環境が駐車場であり、追跡対象物が歩行者及び車両である場合を例に説明する（図３）。また、センシング装置１００が、車両上に設置される場合を例に説明する（図３）。 As shown in FIG. 11, the state estimation system 20 according to the embodiment of the present invention includes a sensing device 100 and a state estimation device 300. In the present embodiment, a case where the traffic environment is a parking lot and the tracking objects are pedestrians and vehicles will be described as an example (FIG. 3). Moreover, the case where the sensing apparatus 100 is installed on a vehicle is demonstrated to an example (FIG. 3).
センシング装置１００は、移動物の位置・速度の推定に必要な情報を計測する。 The sensing device 100 measures information necessary for estimating the position / velocity of the moving object.
具体的には、センシング装置１００は、カメラ、レーザーレーダ、電波受信機等のセンサを用いて、車両及び歩行者の位置・速度の推定に有益な情報を計測する。また、センシング装置１００は、センサにより、自車両の運動を表わすセンサ情報を計測する。 Specifically, the sensing device 100 measures information useful for estimating the position and speed of a vehicle and a pedestrian using sensors such as a camera, a laser radar, and a radio receiver. In addition, the sensing device 100 measures sensor information representing the motion of the host vehicle using a sensor.
そして、センシング装置１００は、計測したセンサ情報を、状態推定装置２００の入力部２０１に渡す。 Then, the sensing device 100 passes the measured sensor information to the input unit 201 of the state estimation device 200.
図１１に示すように、状態推定装置３００は、入力部２０１と、障害物特定部３０２と、遮蔽領域検出部２０３と、検出部２０４と、状態記憶部２０５と、仮説予測部３０６と、予定経路ＤＢ３１２と、近傍仮説修正部３１３と、ランドマーク修正部３１４と、ランドマーク地図ＤＢ３１５と、状態更新部３０９と、衝突可能性判定部３１０と、出力部２１１とを備えて構成される。 As illustrated in FIG. 11, the state estimation device 300 includes an input unit 201, an obstacle identification unit 302, a shielding area detection unit 203, a detection unit 204, a state storage unit 205, a hypothesis prediction unit 306, a schedule The route DB 312, the neighborhood hypothesis correction unit 313, the landmark correction unit 314, the landmark map DB 315, the state update unit 309, the collision possibility determination unit 310, and the output unit 211 are configured.
障害物特定部３０２は、センサ情報に基づいて、障害物領域を特定する。 The obstacle specifying unit 302 specifies an obstacle area based on the sensor information.
具体的には、障害物特定部３０２は、センシング装置１００が車両に設置されている場合には、当該車両の運動推定結果を用いて占有格子地図に対する投票を行うことにより、障害物領域を特定する。 Specifically, when the sensing device 100 is installed in the vehicle, the obstacle identifying unit 302 identifies the obstacle region by voting on the occupied grid map using the motion estimation result of the vehicle. To do.
そして、障害物特定部３０２は、特定した障害物領域の情報を遮蔽領域検出部２０３及び近傍仮説修正部３１３に渡す。 Then, the obstacle identifying unit 302 passes information on the identified obstacle region to the shielding region detecting unit 203 and the neighborhood hypothesis correcting unit 313.
遮蔽領域検出部２０３は、障害物領域の情報に基づいて、遮蔽領域を検出する。 The shielding area detection unit 203 detects the shielding area based on the obstacle area information.
具体的には、遮蔽領域検出部２０３は、センシング装置１００が車両に設置されている場合には、レーザーレーダにより計測された点群を投票することにより得られる占有格子地図に、カメラ画像による歩行者や車両の検出結果を投影し、移動物による遮蔽と、静止物による遮蔽を分離することにより、遮蔽領域を検出する。 Specifically, when the sensing device 100 is installed in a vehicle, the shielding area detection unit 203 walks by camera images on an occupied grid map obtained by voting a point cloud measured by a laser radar. The detection result of the person or vehicle is projected, and the shielding area is detected by separating the shielding by the moving object and the shielding by the stationary object.
そして、遮蔽領域検出部２０３は、検出した遮蔽領域の情報を、仮説予測部２０６に渡す。 Then, the shielding area detection unit 203 passes the detected shielding area information to the hypothesis prediction unit 206.
仮説予測部３０６は、追跡している追跡対象物の各々について、センサを用いた検出タイミングでの、当該追跡対象物の複数の仮説を予測する。 The hypothesis prediction unit 306 predicts a plurality of hypotheses of the tracked object at the detection timing using the sensor for each tracked object to be tracked.
具体的には、仮説予測部３０６は、全ての追跡器内の仮説に対して、カルマンフィルタの予測ステップ（線形予測／共分散拡大）を設定されたステップ数だけ繰り返すことにより、当該追跡器の将来の移動可能範囲を予測する。このとき、車両の追跡器については、予定経路ＤＢ３１２に格納された当該車両の移動する経路であって、検出結果と同じ座標系で定義されたものである予定経路の範囲に限定して、車両の複数の仮説を予測する。 Specifically, the hypothesis prediction unit 306 repeats the Kalman filter prediction step (linear prediction / covariance expansion) for all hypotheses in the tracker by the set number of steps, thereby making the future of the tracker future. Predict the movable range of. At this time, the vehicle tracker is limited to the range of the planned route that is the route traveled by the vehicle stored in the planned route DB 312 and defined in the same coordinate system as the detection result. Predict multiple hypotheses.
そして、仮説予測部３０６は、追跡している追跡対象物の各々についての予測結果を、状態更新部３０９、近傍仮説修正部３１３、及びランドマーク修正部３１４に渡す。また、仮説予測部３０６は、遮蔽領域検出部２０３が検出した遮蔽領域を、近傍仮説修正部３１３に渡す。 Then, the hypothesis prediction unit 306 passes the prediction results for each tracking target object being tracked to the state update unit 309, the neighborhood hypothesis correction unit 313, and the landmark correction unit 314. Further, the hypothesis prediction unit 306 passes the occlusion area detected by the occlusion area detection unit 203 to the neighborhood hypothesis correction unit 313.
予定経路ＤＢ３１２は、予定経路を格納している。 The planned route DB 312 stores planned routes.
近傍仮説修正部３１３は、追跡している追跡対象物の各々について、当該追跡対象物の仮説の予測結果が持つ範囲と、他の追跡対象物の仮説が持つ範囲との重複度合い、及び当該追跡対象物の仮説の予測結果が持つ範囲と、障害物との重複度合いに応じて、当該追跡対象物の仮説の修正量を求める。 The neighborhood hypothesis correction unit 313 determines, for each tracking target, the degree of overlap between the range of the prediction result of the hypothesis of the tracking target and the range of the hypothesis of the other tracking target, and the tracking The amount of correction of the hypothesis of the tracking target object is obtained according to the range of the prediction result of the hypothesis of the target object and the degree of overlap with the obstacle.
具体的には、まず、近傍仮説修正部３１３は、各追跡器同士、及び各追跡器と障害物とのユークリッド距離を算出し、追跡器の各々について、当該追跡器と最も距離が近い他の追跡器又は障害物との組を抽出する。 Specifically, first, the neighborhood hypothesis correcting unit 313 calculates the Euclidean distance between each tracker and between each tracker and the obstacle, and for each tracker, the other closest distance to the tracker is calculated. Extract pairs with trackers or obstacles.
例えば、最も近い２つの追跡器の組（追跡器ａと追跡器ｂ）が抽出されたとする（図１２）。 For example, assume that the two closest pairs of trackers (tracker a and tracker b) are extracted (FIG. 12).
次に、近傍仮説修正部３１３は、抽出した組において、追跡器ａの複数の仮説と、追跡器ｂの複数の仮説との組み合わせの各々についてＫＬＤを計算し、下記式（７）及び（８）を用いて、最もＫＬＤが短い仮説同士を求める（図１３）。 Next, the neighborhood hypothesis correcting unit 313 calculates KLD for each combination of the plurality of hypotheses of the tracker a and the plurality of hypotheses of the tracker b in the extracted set, and the following equations (7) and (8) ) To find hypotheses having the shortest KLD (FIG. 13).
ここで、ｉ＊は、追跡器ａの仮説のうち、最も追跡器ｂに近い仮説のＩＤであり、ｊ＊は、追跡器ｂの仮説のうち、最も追跡器ａに近い仮説のＩＤである。 Here, i * is an ID of a hypothesis closest to the tracker b among the hypotheses of the tracker a, and j * is an ID of a hypothesis closest to the tracker a among the hypotheses of the tracker b. .
そして、近傍仮説修正部３１３は、最小のＫＬＤを増大させる勾配方向の、すなわち、異なる追跡器内の仮説同士が互いに回避するような各仮説の修正量を求める。近傍仮説修正部３１３は仮説ｘａｉ ＊と仮説ｘｂｊ ＊とのＫＬＤであるＫＬＤａｉ ＊ ｂｊ ＊及びＫＬＤｂｊ ＊ ａｉ ＊が大きくなるように、下記式（９）及び式（１０）を用いて修正する（図１４）。 Then, the neighborhood hypothesis correction unit 313 obtains the correction amount of each hypothesis in the gradient direction that increases the minimum KLD, that is, the hypotheses in different trackers avoid each other. As near hypothesis correcting section 313 is KLD between hypotheses x ai * and hypothesis x bj * KLD ai * bj * and KLD bj * ai * is increased, using the following equation (9) and (10) It corrects (FIG. 14).
ここで、
は、仮説ｘａｉの修正量であり、
は、仮説ｘｂｊの修正量である。
here,
Is the correction amount of hypothesis x ai ,
Is the correction amount of hypothesis x bj .
なお、当該修正量を用いて仮説を修正すると、図１５に示すように、追跡器ａと追跡器ｂの仮説が回避するように、仮説が修正されることになる。 When the hypothesis is corrected using the correction amount, the hypothesis is corrected so as to avoid the hypotheses of the tracker a and the tracker b as shown in FIG.
また、近傍仮説修正部３１３は、最も距離が近い追跡器と障害物との組を抽出した場合にも、上記と同様に修正量を求める。 Also, the neighborhood hypothesis correction unit 313 obtains the correction amount in the same manner as described above even when the pair of the tracker and the obstacle with the shortest distance is extracted.
具体的には、追跡器の複数の仮説の各々について、障害物とのＫＬＤを計算し、最もＫＬＤが短い仮説を求め、最小のＫＬＤを増大させる勾配方向の、すなわち、当該追跡器の複数の仮説が回避するような各仮説の修正量を求める。 Specifically, for each of the plurality of hypotheses of the tracker, the KLD with the obstacle is calculated, the hypothesis with the shortest KLD is obtained, and the gradient direction in which the minimum KLD is increased, that is, the plurality of hypotheses of the tracker is calculated. The correction amount of each hypothesis that the hypothesis avoids is obtained.
そして、近傍仮説修正部３１３は、追跡している追跡対象物の各々について、当該追跡対象物の複数の仮説の修正量を、状態更新部３０９に渡す。 Then, the neighborhood hypothesis correction unit 313 passes the correction amounts of the plurality of hypotheses of the tracked object to the state update unit 309 for each tracked tracking object.
ランドマーク地図ＤＢ３１５は、歩行者や車両を誘引し得るようなランドマークの交通環境上の位置を格納する。例えば、図３において、歩行者出入口は歩行者を誘引し得るようなランドマークであり、車両出入口は車両を誘引し得るようなランドマークである。 The landmark map DB 315 stores the positions of landmarks on the traffic environment that can attract pedestrians and vehicles. For example, in FIG. 3, the pedestrian entrance is a landmark that can attract a pedestrian, and the vehicle entrance is a landmark that can attract a vehicle.
ランドマーク修正部３１４は、追跡している歩行者の各々について、当該歩行者の仮説の予測結果と、予め定められたランドマークの位置との距離に応じて、当該歩行者の仮説を修正する。 The landmark correction unit 314 corrects the pedestrian's hypothesis for each pedestrian tracked in accordance with the distance between the prediction result of the pedestrian's hypothesis and a predetermined landmark position. .
具体的には、ランドマーク修正部３１４は、ランドマーク地図ＤＢ３１５に格納された歩行者についてのランドマークの位置により、追跡している歩行者の各々について、当該歩行者の仮説を修正する修正量を求める。 Specifically, the landmark correction unit 314 corrects the pedestrian's hypothesis for each pedestrian tracked based on the landmark position for the pedestrian stored in the landmark map DB 315. Ask for.
まず、ランドマーク修正部３１４は、近傍仮説修正部３１３と同様に、追跡器とランドマークとの距離が最も短いランドマークを選択する。なお、追跡器とランドマークとの距離が閾値以下のランドマークのうち、最も短いランドマークを選択する構成としてもよい。 First, the landmark correcting unit 314 selects a landmark having the shortest distance between the tracker and the landmark, as in the neighborhood hypothesis correcting unit 313. Note that the shortest landmark may be selected from landmarks whose distance between the tracker and the landmark is equal to or less than a threshold.
例えば、ランドマークが歩行者出入口の場合（図１６）に、ランドマーク修正部３１４は、追跡器ａとランドマークとの距離が閾値以下のランドマークを選択する。なお、閾値以下のランドマークが複数ある場合には、一番距離が近いランドマークを選んで修正する。 For example, when the landmark is a pedestrian entrance (FIG. 16), the landmark correction unit 314 selects a landmark whose distance between the tracker a and the landmark is a threshold value or less. If there are a plurality of landmarks that are equal to or less than the threshold, the landmark with the shortest distance is selected and corrected.
次に、ランドマーク修正部３１４は、追跡器ａの各仮説を基準として、選択したランドマークｌとのＫＬＤを計算し、下記式（１１）を用いてランドマークｌとのＫＬＤが最も小さい仮説ｘａｉ ＊を求める（図１７）。 Next, the landmark correction unit 314 calculates a KLD with the selected landmark l on the basis of each hypothesis of the tracker a, and uses the following equation (11) to calculate the hypothesis with the smallest KLD with the landmark l. xai * is obtained (FIG. 17).
ここで、ｉ＊は、追跡器ａの仮説のうち、最もランドマークｌに近い仮説のＩＤである。 Here, i * is an ID of a hypothesis closest to the landmark l among the hypotheses of the tracker a.
そして、ランドマーク修正部３１４は、最小のＫＬＤを減少させる勾配方向の修正量を求める。すなわち、仮説ｘａｉ ＊とランドマークｌとのＫＬＤであるＫＬＤｌｊ ＊ ａｉ ＊が小さくなるように、下記式（１２）を用いて仮説ｘａｉ ＊の修正量を求める（図１８）。 Then, the landmark correction unit 314 calculates a correction amount in the gradient direction that reduces the minimum KLD. That is, the correction amount of the hypothesis x ai * is obtained using the following equation (12) so that the KLD lj * ai * which is the KLD between the hypothesis x ai * and the landmark l is reduced (FIG. 18).
ここで、
は、仮説ｘａｉの修正量である。
here,
Is the correction amount of hypothesis x ai .
他の追跡器、例えば追跡器ｂの各仮説についても、下記式（１３）及び（１４）を用いて同様に修正する。 Each hypothesis of another tracker, for example, tracker b, is similarly corrected using the following equations (13) and (14).
また、ランドマーク修正部３１４は、追跡している車両の各々について、当該車両の仮説の予測結果と、予め定められたランドマークの位置との距離に応じて、当該車両の仮説を修正する。この場合、ランドマーク地図ＤＢ３１５に格納された車両についてのランドマークの位置を用いて、歩行者の場合と同様に仮説を修正する。 Further, the landmark correction unit 314 corrects the hypothesis of the vehicle according to the distance between the prediction result of the hypothesis of the vehicle and the position of the landmark determined in advance for each vehicle being tracked. In this case, the hypothesis is corrected in the same manner as in the case of a pedestrian using the landmark position for the vehicle stored in the landmark map DB 315.
そして、ランドマーク修正部３１４は、追跡している追跡対象物の各々について、当該追跡対象物の複数の仮説の修正量を、状態更新部３０９に渡す。 Then, the landmark correction unit 314 passes the correction amounts of a plurality of hypotheses of the tracked object to the state update unit 309 for each tracked tracking object.
状態更新部３０９は、追跡している歩行者の各々について、当該歩行者の複数の仮説を、仮説の予測結果と、仮説の修正量と、歩行者の検出結果とに基づいて更新する。 The state updating unit 309 updates, for each pedestrian tracked, a plurality of hypotheses of the pedestrian based on the hypothesis prediction result, the hypothesis correction amount, and the pedestrian detection result.
具体的には、状態更新部３０９は、歩行者の追跡器の各々についての、近傍仮説修正部３１３により得られた修正量
と、ランドマーク修正部３１４によって得られた修正量
とを、仮説予測部３０６による当該追跡器の各仮説の予測結果に適用した結果と、歩行者の検出結果とに基づいて、追跡器と歩行者の検出結果とを対応付け、追跡器の各々について、対応付けされた歩行者の検出結果に基づいて、当該追跡器の複数の仮説の各々の状態量を更新することにより、当該追跡器が表す歩行者の複数の仮説を更新する。
Specifically, the state update unit 309 calculates the correction amount obtained by the neighborhood hypothesis correction unit 313 for each of the pedestrian trackers.
And the correction amount obtained by the landmark correction unit 314
Are associated with the prediction results of the respective hypotheses of the tracker by the hypothesis prediction unit 306 and the detection results of the pedestrians, and the trackers are associated with the detection results of the pedestrians. , Based on the detection result of the associated pedestrian, the state quantity of each of the plurality of hypotheses of the tracker is updated, thereby updating the plurality of pedestrian hypotheses represented by the tracker.
まず、状態更新部３０９は、仮説毎に、近傍仮説修正部３１３により得られた修正量
と、ランドマーク修正部３１４によって得られた修正量
とを、合成した仮説ｘａｉの修正量
を、下記式（１５）を用いて計算する（図１９）。
First, the state update unit 309 performs the correction amount obtained by the neighborhood hypothesis correction unit 313 for each hypothesis.
And the correction amount obtained by the landmark correction unit 314
The amount of correction of the synthesized hypothesis x ai
Is calculated using the following equation (15) (FIG. 19).
なお、修正量を加算合成する場合に、重みηを付けてもよい。仮説毎に重みηに異なる値を設定してもよいし、加算合成する際に重みηを設けてもよい。 In addition, when adding and synthesizing correction amounts, a weight η may be added. A different value may be set for the weight η for each hypothesis, or the weight η may be provided in addition synthesis.
次に、状態更新部３０９は、仮説毎に、仮説予測部３０６により予測された仮説ｘａｉの状態量と共分散を、修正量
を用いて修正する（下記式（１６）〜（１８）、図２０、２１）。
Next, for each hypothesis, the state update unit 309 changes the state amount and covariance of the hypothesis x ai predicted by the hypothesis prediction unit 306 into the correction amount.
(The following formulas (16) to (18), FIGS. 20 and 21).
次に、状態更新部３０９は、修正後の歩行者の追跡器の仮説と、歩行者の検出結果とに基づいて、歩行者の追跡器と歩行者の検出結果とを対応付け、歩行者の追跡器の各々について、対応付けされた歩行者の検出結果に基づいて、当該追跡器の複数の仮説の各々の状態量を更新する。 Next, the state update unit 309 associates the pedestrian tracker with the pedestrian detection result based on the corrected pedestrian tracker hypothesis and the pedestrian detection result, For each of the trackers, the state quantity of each of the plurality of hypotheses of the tracker is updated based on the detection result of the associated pedestrian.
同様に、状態更新部３０９は、車両の追跡器の各々についての、近傍仮説修正部３１３により得られた修正量を、仮説予測部３０６による当該追跡器の各仮説の予測結果に適用した結果と、車両の検出結果とに基づいて、車両の追跡器と車両の検出結果とを対応付け、追跡器の各々について、対応付けされた車両の検出結果に基づいて、当該追跡器の複数の仮説の各々の状態量を更新することにより、当該追跡器が表す車両の複数の仮説を更新する。 Similarly, the state update unit 309 applies the correction amount obtained by the neighborhood hypothesis correction unit 313 for each tracker of the vehicle to the prediction result of each hypothesis of the tracker by the hypothesis prediction unit 306. , Based on the vehicle detection result, the vehicle tracker and the vehicle detection result are associated with each other, and for each of the trackers, a plurality of hypotheses of the tracker are determined based on the associated vehicle detection result. By updating each state quantity, a plurality of hypotheses of the vehicle represented by the tracker are updated.
そして、状態更新部３０９は、追跡している追跡対象物の各々について、更新した当該追跡対象物の複数の仮説を、状態記憶部２０５及び衝突可能性判定部２１０に渡す。 Then, the state update unit 309 passes, for each tracked object to be tracked, the updated plurality of hypotheses of the tracked object to the state storage unit 205 and the collision possibility determination unit 210.
また、状態更新部３０９は、何れの追跡器とも対応付けられなかった歩行者の検出結果に基づいて、歩行者の複数の仮説を生成し、新たな歩行者の追跡器を生成する。状態更新部３０９は、何れの追跡器とも対応付けられなかった車両の検出結果に基づいて、車両の複数の仮説を生成し、新たな車両の追跡器を生成する。 Further, the state update unit 309 generates a plurality of pedestrian hypotheses based on detection results of pedestrians that are not associated with any of the trackers, and generates a new pedestrian tracker. The state update unit 309 generates a plurality of vehicle hypotheses based on the detection result of the vehicle not associated with any tracker, and generates a new vehicle tracker.
また、状態更新部３０９は、何れの歩行者の検出結果とも対応付けられなかった歩行者の追跡器のうち、最後に観測した時刻から一定時間以上経過している追跡器を削除する。状態更新部３０９は、何れの車両の検出結果とも対応付けられなかった車両の追跡器のうち、最後に観測した時刻から一定時間以上経過している追跡器を状態記憶部２０５から削除する。 Moreover, the state update part 309 deletes the tracking device which has passed more than fixed time from the last observed time among the tracking devices of the pedestrian which was not matched with the detection result of any pedestrian. The state update unit 309 deletes, from the state storage unit 205, a tracker that has passed for a certain period of time from the last observed time among the vehicle trackers that are not associated with any vehicle detection result.
衝突可能性判定部３１０は、追跡している歩行者の各々について、状態更新部３０９により更新された当該歩行者の複数の仮説と、自車両の運動を表すセンサ情報とに基づいて、自車両と、当該歩行者との衝突可能性を判定する。 The collision possibility determination unit 310 determines, for each pedestrian tracked, the own vehicle based on the plurality of hypotheses of the pedestrian updated by the state update unit 309 and sensor information representing the motion of the host vehicle. Then, the possibility of collision with the pedestrian is determined.
具体的には、衝突可能性判定部３１０は、追跡している歩行者の各々について、状態更新部３０９により更新された当該歩行者の複数の仮説の位置及び速度と、自車両の位置及び速度とから、当該歩行者と自車両とが衝突する可能性を算出し、算出した可能性が閾値以上であれば、衝突する可能性があると判定する。 Specifically, the collision possibility determination unit 310, for each pedestrian tracked, the position and speed of a plurality of hypotheses of the pedestrian updated by the state update unit 309, and the position and speed of the host vehicle From the above, the possibility that the pedestrian and the host vehicle will collide is calculated, and if the calculated possibility is equal to or greater than the threshold, it is determined that there is a possibility of collision.
また、衝突可能性判定部３１０は、追跡している車両の各々について、歩行者と同様に、状態更新部３０９により更新された当該車両の複数の仮説と、自車両の運動を表すセンサ情報とに基づいて、自車両と、当該車両との衝突可能性を判定する。 Further, the collision possibility determination unit 310, for each tracked vehicle, like the pedestrian, a plurality of hypotheses of the vehicle updated by the state update unit 309, and sensor information representing the motion of the host vehicle, Based on the above, the possibility of collision between the host vehicle and the vehicle is determined.
そして、衝突可能性判定部３１０は、判定結果を出力部２１１に渡す。 Then, the collision possibility determination unit 310 passes the determination result to the output unit 211.
＜本発明の第２の実施の形態に係る状態推定装置の作用＞
図２２は、本発明の第２の実施の形態に係る状態推定処理ルーチンを示すフローチャートである。なお、第１の実施の形態に係る状態推定処理ルーチンと同様の処理については、同一の符号を付して詳細な説明は省略する。
<Operation of the state estimation device according to the second embodiment of the present invention>
FIG. 22 is a flowchart showing a state estimation processing routine according to the second embodiment of the present invention. In addition, about the process similar to the state estimation process routine which concerns on 1st Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.
ステップＳ３００において、近傍仮説修正部３１３は、追跡している追跡対象物の各々について、当該追跡対象物の仮説の予測結果が持つ範囲と、他の追跡対象物の仮説が持つ範囲との重複度合い、及び当該追跡対象物の仮説の予測結果が持つ範囲と、障害物との重複度合いに応じて、当該追跡対象物の仮説の修正量を求める。 In step S300, the neighborhood hypothesis correcting unit 313 determines, for each tracked object to be tracked, the degree of overlap between the range of the predicted result of the tracked object hypothesis and the range of the other tracked object hypotheses. The amount of correction of the tracking target hypothesis is obtained according to the range of the prediction result of the hypothesis of the tracking target and the degree of overlap with the obstacle.
ステップＳ３１０において、ランドマーク修正部３１４は、追跡している追跡器の各々について、当該追跡器の仮説の予測結果と、予め定められたランドマークの位置との距離に応じて、当該追跡器の仮説を修正量を求める。 In step S310, the landmark correction unit 314 determines, for each tracker that is being tracked, according to the distance between the predicted result of the hypothesis of the tracker and a predetermined landmark position. Find the correction amount for the hypothesis.
ステップＳ３２０において、状態更新部３０９は、上記ステップＳ３００により得られた修正量と、上記ステップＳ３１０により得られた修正量とを合成した仮説の修正量を用いて、上記ステップＳ１５０により予測された仮説の状態と共分散を修正する。 In step S320, the state update unit 309 uses the hypothesis correction amount obtained by combining the correction amount obtained in step S300 and the correction amount obtained in step S310, and the hypothesis predicted in step S150. Correct the state and covariance of.
また、上記ステップＳ３００は、図２３に示す近傍仮説修正量算出処理ルーチンによって実現される。 Further, the above step S300 is realized by the neighborhood hypothesis correction amount calculation processing routine shown in FIG.
ステップＳ３０１において、近傍仮説修正部３１３は、追跡している歩行者の各追跡器同士、及び歩行者の各追跡器と障害物とのユークリッド距離を算出する。 In step S301, the neighborhood hypothesis correcting unit 313 calculates the Euclidean distance between the trackers of the pedestrians being tracked and between each tracker of the pedestrians and the obstacle.
ステップＳ３０２において、近傍仮説修正部３１３は、最も近い２つの追跡器の組を抽出する。 In step S302, the neighborhood hypothesis correcting unit 313 extracts a pair of two closest trackers.
ステップＳ３０３において、抽出した組において、追跡器ａの複数の仮説と、追跡器ｂの複数の仮説との組み合わせの各々についてＫＬＤを計算し、最もＫＬＤが短い仮説同士を求め、最小のＫＬＤを増大させる勾配方向の修正量を求め、リターンする。 In step S303, KLD is calculated for each of the combinations of the plurality of hypotheses of the tracker a and the plurality of hypotheses of the tracker b in the extracted set, the hypotheses having the shortest KLD are obtained, and the minimum KLD is increased. Find the amount of correction in the gradient direction to be returned and return.
また、追跡している車両についても、上記図２３に示す近傍仮説修正量算出処理ルーチンと同様の処理ルーチンを実行する。 For the vehicle being tracked, a processing routine similar to the neighborhood hypothesis correction amount calculation processing routine shown in FIG. 23 is executed.
また、上記ステップＳ３１０は、図２４に示すランドマーク修正量算出処理ルーチンによって実現される。 Further, the step S310 is realized by a landmark correction amount calculation processing routine shown in FIG.
ステップＳ３１１において、ランドマーク修正部３１４は、ランドマーク地図ＤＢ３１５に格納されたランドマークを取得する。 In step S311, the landmark correction unit 314 acquires the landmark stored in the landmark map DB 315.
ステップＳ３１２において、ランドマーク修正部３１４は、追跡している歩行者のうち、１番目の歩行者を選択する。 In step S312, the landmark correction unit 314 selects the first pedestrian among the pedestrians being tracked.
ステップＳ３１３において、ランドマーク修正部３１４は、選択している歩行者とランドマークとの距離が最も短いランドマークを選択する。 In step S313, the landmark correction unit 314 selects a landmark having the shortest distance between the selected pedestrian and the landmark.
ステップＳ３１４において、ランドマーク修正部３１４は、最小のＫＬＤを減少させる勾配方向の修正量を求める。 In step S314, the landmark correction unit 314 obtains a correction amount in the gradient direction that reduces the minimum KLD.
ステップＳ３１５において、ランドマーク修正部３１４は、全ての歩行者について処理を行ったか否かを判定する。 In step S315, the landmark correction unit 314 determines whether or not processing has been performed for all pedestrians.
全ての歩行者について処理を行っていない場合（ステップＳ３１５のＮＯ）、ステップＳ３１６において、次の歩行者を選択して、ステップＳ３１３〜Ｓ３１５の処理を繰り返す。 When processing is not performed for all pedestrians (NO in step S315), the next pedestrian is selected in step S316, and the processing in steps S313 to S315 is repeated.
一方、全ての歩行者について処理を行っている場合（ステップＳ３１５のＹＥＳ）、リターンする。 On the other hand, when processing is performed for all pedestrians (YES in step S315), the process returns.
また、追跡している車両についても、上記図２４に示すランドマーク修正量算出処理ルーチンと同様の処理ルーチンを実行する。 For the vehicle being tracked, a processing routine similar to the landmark correction amount calculation processing routine shown in FIG. 24 is executed.
以上説明したように、本発明の実施の形態に係る状態推定装置によれば、追跡している追跡対象物の各々について、センサを用いた検出タイミングでの、追跡対象物の複数の仮説を予測し、当該追跡対象物の複数の仮説から、当該仮説の予測結果が持つ範囲と、他の追跡対象物の仮説が持つ範囲との重複度合い、又は当該仮説の予測結果が持つ範囲と、障害物との重複度合いに応じて、当該仮説を修正し、当該追跡対象物の複数の仮説を、当該仮説の修正結果と、当該追跡対象物の検出結果とに基づいて更新することにより、複雑な交通環境であっても、多様な移動物の状態推定を精度よく行うことができる。 As described above, according to the state estimation apparatus according to the embodiment of the present invention, a plurality of hypotheses of the tracking target are predicted at the detection timing using the sensor for each tracking target being tracked. From the multiple hypotheses of the tracked object, the degree of overlap between the range of the predicted result of the hypothesis and the range of the hypothesis of the other tracked object, or the range of the predicted result of the hypothesis, and the obstacle By modifying the hypothesis according to the degree of overlap with the target and updating a plurality of hypotheses of the tracking target based on the correction result of the hypothesis and the detection result of the tracking target, Even in the environment, it is possible to accurately estimate the state of various moving objects.
＜本発明の第３の実施の形態に係る状態推定システムの概要＞
第１の実施形態では、仮説を削除する構成、第２の実施の形態では、仮説を修正する構成としたが、本実施形態では、これを組み合わせた構成について説明する。削除と修正量の順は任意の構成とすることができるが、本実施形態では、仮説を削除した後に、修正量を算出する。
<Outline of State Estimation System According to Third Embodiment of the Present Invention>
In the first embodiment, the hypothesis is deleted, and in the second embodiment, the hypothesis is corrected. In this embodiment, a combination of these is described. The order of deletion and correction amount can be set arbitrarily, but in this embodiment, the correction amount is calculated after the hypothesis is deleted.
また、第１の実施形態及び第２の実施形態では、カルマンフィルタのＫＬＤを用いて仮説の削除・修正を行ったが、本実施形態では、予測後の仮説に一定の大きさを想定することにより、仮説の削除・修正を行う。 Further, in the first and second embodiments, hypotheses are deleted and corrected using the KLD of the Kalman filter, but in this embodiment, by assuming a certain size in the hypothesis after prediction Delete / correct hypotheses.
＜本発明の第３の実施の形態に係る状態推定装置の構成＞
本発明の第３の実施の形態に係る状態推定システム３０の構成について説明する。なお、第１の実施の形態に係る状態推定システム１０及び第２の実施の形態に係る状態推定システム２０と同様の構成については、同一の符号を付して詳細な説明は省略する。
<Configuration of state estimation apparatus according to third embodiment of the present invention>
The configuration of the state estimation system 30 according to the third embodiment of the present invention will be described. In addition, about the structure similar to the state estimation system 10 which concerns on 1st Embodiment, and the state estimation system 20 which concerns on 2nd Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.
図２５に示すように、本発明の実施の形態に係る状態推定システム３０は、センシング装置１００と、状態推定装置４００とを備えて構成される。本実施形態では、第２の実施形態と同様に、交通環境が駐車場であり、追跡対象物が歩行者及び車両であり、センシング装置１００が、車両上に設置される場合を例に説明する（図３）。 As shown in FIG. 25, the state estimation system 30 according to the embodiment of the present invention includes a sensing device 100 and a state estimation device 400. In the present embodiment, as in the second embodiment, a case where the traffic environment is a parking lot, the tracking target is a pedestrian and a vehicle, and the sensing device 100 is installed on the vehicle will be described as an example. (Figure 3).
図２５に示すように、状態推定装置４００は、入力部２０１と、障害物特定部３０２と、遮蔽領域検出部２０３と、検出部２０４と、状態記憶部２０５と、仮説予測部３０６と、予定経路ＤＢ３１２と、重複仮説削除部４０７と、静止障害物地図ＤＢ２０８と、近傍仮説修正部４１３と、ランドマーク修正部４１４と、ランドマーク地図ＤＢ３１５と、状態更新部３０９と、衝突可能性判定部３１０と、出力部２１１とを備えて構成される。 As illustrated in FIG. 25, the state estimation device 400 includes an input unit 201, an obstacle identification unit 302, a shielding area detection unit 203, a detection unit 204, a state storage unit 205, a hypothesis prediction unit 306, and a schedule. Route DB 312, duplicate hypothesis deletion unit 407, stationary obstacle map DB 208, neighborhood hypothesis correction unit 413, landmark correction unit 414, landmark map DB 315, state update unit 309, and collision possibility determination unit 310 And an output unit 211.
重複仮説削除部４０７は、追跡している追跡対象物の各々について、当該歩行者の複数の仮説から、当該仮説の予測結果が持つ範囲と、同一の追跡対象物の他の仮説が持つ範囲との重複度合いに応じて、当該仮説を削除する。 The duplicate hypothesis deletion unit 407 includes, for each of the tracking objects being tracked, from a plurality of hypotheses of the pedestrian, a range that the hypothesis prediction result has, and a range that other hypotheses of the same tracking object have The hypothesis is deleted according to the degree of duplication.
具体的には、重複仮説削除部４０７は、追跡対象物の複数の仮説の各々について、当該仮説が示す位置を中心とする予め定めた半径の円と、同一の追跡対象物の他の仮説が示す位置を中心とする当該半径の円の各々との交点を算出し、当該仮説の円内に存在する交点を数える。 Specifically, the duplicate hypothesis deletion unit 407 determines, for each of a plurality of hypotheses of the tracking target, a circle with a predetermined radius centered on the position indicated by the hypothesis and another hypothesis of the same tracking target. The intersection point with each circle of the radius centered on the indicated position is calculated, and the intersection points existing in the hypothesis circle are counted.
例えば、図２６のように、中央に位置する仮説は円内に交点が１６個含まれ、他の仮説は円内に１３個の交点が含まれている。 For example, as shown in FIG. 26, the hypothesis located in the center includes 16 intersections in the circle, and the other hypotheses include 13 intersections in the circle.
次に、重複仮説削除部４０７は、円内に閾値以上の交点を含む仮説を削除する。例えば、閾値を１５個とすると、図２６における中央に位置する仮説を削除する（図２７）。 Next, the duplicate hypothesis deletion unit 407 deletes hypotheses that include intersections in the circle that are equal to or greater than the threshold. For example, if the threshold value is 15, the hypothesis located at the center in FIG. 26 is deleted (FIG. 27).
そして、重複仮説削除部４０７は、追跡している追跡対象物の各々について、仮説の削除処理を行った後の仮説予測部２０６による予測結果を、状態更新部３０９、近傍仮説修正部４１３及びランドマーク修正部４１４に渡す。 Then, the duplicate hypothesis deletion unit 407 displays the prediction result by the hypothesis prediction unit 206 after performing the hypothesis deletion processing for each tracking target object being tracked, the state update unit 309, the neighborhood hypothesis correction unit 413, and the land The data is transferred to the mark correction unit 414.
近傍仮説修正部４１３は、追跡している追跡対象物の各々について、当該追跡対象物の複数の仮説の各々に対し、当該仮説の予測結果が持つ範囲と、他の追跡対象物の仮説が持つ範囲との重複度合い、及び当該仮説の予測結果が持つ範囲と、障害物との重複度合いに応じて、当該仮説の修正量を求める。 The neighborhood hypothesis correcting unit 413 has, for each of the tracked objects to be tracked, the range of the prediction result of the hypothesis and the hypotheses of other tracked objects for each of the plurality of hypotheses of the tracked object. The amount of correction of the hypothesis is determined according to the degree of overlap with the range, the range of the prediction result of the hypothesis, and the degree of overlap with the obstacle.
具体的には、まず、近傍仮説修正部４１３は、各追跡器同士のユークリッド距離を算出し、最も近い２つの追跡器の組（追跡器ａと追跡器ｂ）を抽出する（図１２）。 Specifically, first, the neighborhood hypothesis correcting unit 413 calculates the Euclidean distance between the respective trackers, and extracts a pair of the two trackers (tracker a and tracker b) that are closest (FIG. 12).
次に、近傍仮説修正部４１３は、抽出した追跡器ａ及び追跡器ｂの組における一方の追跡器ａの複数の仮説の各々について、当該仮説が示す位置を中心とする予め定めた半径の円と、他方の追跡器ｂの各仮説が示すが位置を中心とする円の各々との交点を算出し、各円内に存在する交点を数える（図２８）。同様に、追跡器ｂの複数の仮説の各々についても、各円内に存在する交点を数える。 Next, for each of a plurality of hypotheses of one tracker a in the set of the tracker a and the tracker b, the neighborhood hypothesis correcting unit 413 has a circle with a predetermined radius centered on the position indicated by the hypothesis. As shown in each hypothesis of the other tracker b, the intersection points with each circle centered on the position are calculated, and the intersection points existing in each circle are counted (FIG. 28). Similarly, for each of a plurality of hypotheses of the tracker b, the intersections existing in each circle are counted.
また、近傍仮説修正部４１３は、一方の追跡器ａの複数の仮説の各々について、他方の追跡器ｂの仮説のうち、最も近い仮説を特定する。例えば、図２８において、追跡器ａの仮説ｘａ２については、追跡器ｂの仮説ｘｂ２が最も近い仮説である。同様に、追跡器ｂの複数の仮説の各々について、追跡器ａの仮説のうち、最も近い仮説を特定する。 In addition, the neighborhood hypothesis correcting unit 413 identifies the closest hypothesis among the hypotheses of the other tracker b for each of the plurality of hypotheses of the one tracker a. For example, in FIG. 28, the hypothesis x a2 of tracker a is hypothesized x b2 of tracker b is closest hypothesis. Similarly, the closest hypothesis among the hypotheses of the tracker a is specified for each of the plurality of hypotheses of the tracker b.
その後、近傍仮説修正部４１３は、一方の追跡器ａの複数の仮説の各々について、最も近い仮説へのベクトルの反対方向のベクトルに対して、当該仮説の円内に存在する交点の数及び定係数を乗じて、当該仮説の修正量を算出する（図２９）。同様に、追跡器ｂの複数の仮説の各々について、最も近い仮説へのベクトルの反対方向のベクトルに対して、当該仮説の円内に存在する交点の数及び定係数を乗じて、当該仮説の修正量を算出する。 Thereafter, the neighborhood hypothesis correcting unit 413 determines, for each of the plurality of hypotheses of one tracker a, the number of intersection points existing in the circle of the hypothesis and the constant for the vector in the opposite direction to the closest hypothesis. The correction amount of the hypothesis is calculated by multiplying by the coefficient (FIG. 29). Similarly, for each of a plurality of hypotheses of the tracker b, a vector in the opposite direction of the vector to the closest hypothesis is multiplied by the number of intersection points and a constant coefficient existing in the circle of the hypothesis, and The correction amount is calculated.
また、近傍仮説修正部４１３は、追跡対象物の追跡器の各々について、当該追跡器の複数の仮説の各々に対し、当該仮説が示す位置を中心とする予め定めた半径の円と、最も近い障害物領域との交点を算出し、各円内に存在する交点を数える。 Further, the neighborhood hypothesis correcting unit 413 is closest to each of the plurality of hypotheses of the tracker, with respect to each of the plurality of hypotheses of the tracked object, with a circle having a predetermined radius centered on the position indicated by the hypothesis. The intersection point with the obstacle area is calculated, and the intersection points existing in each circle are counted.
そして、近傍仮説修正部４１３は、追跡対象物の追跡器の各々について、当該追跡器の複数の仮説の各々に対し、最も近い障害物領域の中心へのベクトルの反対方向のベクトルに対して、当該仮説の円内に存在する交点の数及び定係数を乗じて、当該仮説の修正量を算出する。 Then, the neighborhood hypothesis correcting unit 413 performs, for each tracker of the tracking target, a vector in a direction opposite to the vector to the center of the nearest obstacle region with respect to each of the plurality of hypotheses of the tracker. The correction amount of the hypothesis is calculated by multiplying the number of intersections existing in the circle of the hypothesis and the constant coefficient.
そして、近傍仮説修正部４１３は、追跡している追跡対象物の各々について、当該追跡対象物の複数の仮説の修正量を、状態更新部３０９に渡す。 Then, the neighborhood hypothesis correction unit 413 passes the correction amounts of the plurality of hypotheses of the tracked object to the state update unit 309 for each tracked tracking object.
ランドマーク修正部４１４は、追跡している追跡対象物の各々について、当該仮説の予測結果と、予め定められたランドマークの位置との距離に応じて、当該仮説を修正する。 The landmark correction unit 414 corrects the hypothesis of each tracked target object in accordance with the distance between the prediction result of the hypothesis and a predetermined landmark position.
具体的には、まず、ランドマーク修正部４１４は、追跡器の複数の仮説の各々について、当該仮説を中心とする予め定めた半径の円と、ランドマーク地図ＤＢ３１５に格納されたランドマークｌを中心とする予め定めた半径の円との交点を算出し、当該仮説を中心とする円内に存在する交点を数える（図３０）。 Specifically, first, the landmark correction unit 414 calculates, for each of a plurality of hypotheses of the tracker, a circle with a predetermined radius centered on the hypothesis and the landmark l stored in the landmark map DB 315. The intersection point with a circle having a predetermined radius as the center is calculated, and the intersection points existing in the circle centered on the hypothesis are counted (FIG. 30).
また、ランドマーク修正部４１４は、追跡対象物の追跡器の各々について、当該追跡器の複数の仮説の各々に対し、ランドマークｌの中心へのベクトルに対して、当該仮説の円内に存在する交点の数及び定係数を乗じて、当該仮説の修正量を算出する（図３１）。 In addition, the landmark correction unit 414 exists for each tracker of the tracking target in a circle of the hypothesis with respect to each of a plurality of hypotheses of the tracker with respect to a vector to the center of the landmark l. The correction amount of the hypothesis is calculated by multiplying the number of intersecting points and the constant coefficient (FIG. 31).
そして、ランドマーク修正部４１４は、追跡している追跡対象物の各々について、当該追跡対象物の複数の仮説の修正量を、状態更新部３０９に渡す。 Then, the landmark correction unit 414 passes the correction amounts of a plurality of hypotheses of the tracked object to the state update unit 309 for each tracked tracking object.
＜本発明の第３の実施の形態に係る状態推定装置の作用＞
図３２は、本発明の第３の実施の形態に係る状態推定処理ルーチンを示すフローチャートである。なお、第１の実施の形態に係る状態推定処理ルーチン及び第２の実施の形態に係る状態推定処理ルーチンと同様の処理については、同一の符号を付して詳細な説明は省略する。
<Operation of State Estimation Device According to Third Embodiment of the Present Invention>
FIG. 32 is a flowchart showing a state estimation processing routine according to the third embodiment of the present invention. In addition, about the process similar to the state estimation process routine which concerns on 1st Embodiment, and the state estimation process routine which concerns on 2nd Embodiment, the same code | symbol is attached | subjected and detailed description is abbreviate | omitted.
以上説明したように、本発明の実施の形態に係る状態推定装置によれば、追跡している追跡対象物の各々について、センサを用いた検出タイミングでの、追跡対象物の複数の仮説を予測し、当該追跡対象物の複数の仮説から、当該仮説の予測結果が持つ範囲と、同一の追跡対象物の他の仮説が持つ範囲との重複度合いに応じて、当該仮説を削除し、当該追跡対象物の複数の仮説から、当該仮説の予測結果が持つ範囲と、他の追跡対象物の仮説が持つ範囲との重複度合い、又は当該仮説の予測結果が持つ範囲と、障害物との重複度合いに応じて、当該仮説を修正することにより、複雑な交通環境であっても、多様な移動物の状態推定を高速かつ精度よく行うことができる。 As described above, according to the state estimation apparatus according to the embodiment of the present invention, a plurality of hypotheses of the tracking target are predicted at the detection timing using the sensor for each tracking target being tracked. Then, the hypothesis is deleted from the plurality of hypotheses of the tracking target according to the degree of overlap between the range of the prediction result of the hypothesis and the range of other hypotheses of the same tracking target, and the tracking is performed. From the multiple hypotheses of the target object, the degree of overlap between the predicted result of the hypothesis and the range of the hypothesis of other tracked objects, or the degree of overlap between the range of the predicted result of the hypothesis and the obstacle Accordingly, by correcting the hypothesis, the state of various moving objects can be estimated quickly and accurately even in a complicated traffic environment.
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 The present invention is not limited to the above-described embodiment, and various modifications and applications can be made without departing from the gist of the present invention.
例えば、センシング装置１００は、第１の実施形態において、移動しない場所に設置される場合について説明したが、移動物上に設置されてもよい。また、センシング装置１００は、第２、第３の実施形態において、移動物上に設置される場合について説明したが、移動しない場所に設置されてもよい。 For example, although the sensing device 100 has been described in the first embodiment as being installed in a place that does not move, it may be installed on a moving object. Moreover, although the sensing apparatus 100 demonstrated in the 2nd and 3rd embodiment the case where it installed on a moving object, you may install in the place which does not move.
また、第３の実施形態において、仮説を中心とした予め定めた半径の円の交点を用いたが、所定の距離内の仮説やランドマークを算出して、仮説の削除、修正を行ってもよい。 In the third embodiment, the intersection of circles with a predetermined radius centered on the hypothesis is used. However, hypotheses and landmarks within a predetermined distance may be calculated and the hypotheses deleted or corrected. Good.
また、第２の実施形態及び第３の実施形態において、近傍仮説修正部は、追跡している歩行者の各々について、当該歩行者の複数の仮説から、当該仮説の予測結果が持つ範囲と、他の歩行者の仮説が持つ範囲との重複度合い、及び当該仮説の予測結果が持つ範囲と、障害物との重複度合いに応じて、当該仮説の修正量を求めたが、当該仮説の修正量を、当該仮説の予測結果が持つ範囲と、他の歩行者の仮説が持つ範囲との重複度合い、又は当該仮説の予測結果が持つ範囲と、障害物との重複度合いに応じて求める構成としてもよい。 Further, in the second embodiment and the third embodiment, the neighborhood hypothesis correcting unit, for each pedestrian being tracked, from the plurality of hypotheses of the pedestrian, the range of the prediction result of the hypothesis, The amount of correction of the hypothesis was calculated according to the degree of overlap with the range of other pedestrians' hypotheses and the range of prediction results of the hypothesis and the degree of overlap with obstacles. May be determined according to the degree of overlap between the range of the hypothesis prediction result and the range of other pedestrian hypotheses, or the range of the prediction result of the hypothesis and the degree of overlap with the obstacle. Good.
また、上記第１の実施形態、第２の実施形態において、第３の実施形態と同様に、予測後の仮説に一定の大きさを想定することにより、仮説の削除・修正を行う方法を適用してもよい。 Also, in the first embodiment and the second embodiment, as in the third embodiment, a method for deleting and correcting hypotheses by applying a certain size to the hypothesis after prediction is applied. May be.
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。 In the present specification, the embodiment has been described in which the program is installed in advance. However, the program can be provided by being stored in a computer-readable recording medium.
１０、２０、３０ 状態推定システム
１００ センシング装置
２００、３００、４００ 状態推定装置
２０１ 入力部
２０２、３０２ 障害物特定部
２０３ 遮蔽領域検出部
２０４ 検出部
２０５ 状態記憶部
２０６、３０６ 仮説予測部
２０７、４０７ 重複仮説削除部
２０８ 静止障害物地図ＤＢ
２０９、３０９ 状態更新部
２１０ 衝突可能性判定部
２１１ 出力部
３１０ 衝突可能性判定部
３１２ 予定経路ＤＢ
３１３、４１３ 近傍仮説修正部
３１４、４１４ ランドマーク修正部
３１５ ランドマーク地図ＤＢ
10, 20, 30 State estimation system 100 Sensing device 200, 300, 400 State estimation device 201 Input unit 202, 302 Obstacle identification unit 203 Occlusion area detection unit 204 Detection unit 205 State storage unit 206, 306 Hypothesis prediction unit 207, 407 Duplicate hypothesis deletion unit 208 Stationary obstacle map DB
209, 309 State update unit 210 Collision possibility determination unit 211 Output unit 310 Collision possibility determination unit 312 Scheduled route DB
313, 413 Neighborhood hypothesis correction unit 314, 414 Landmark correction unit 315 Landmark map DB
Claims (8)
追跡している追跡対象物の各々について、前記追跡対象物の状態を示す仮説であって、前記追跡対象物が存在する可能性がある範囲を持つ仮説を複数格納した状態記憶部と、
前記追跡している追跡対象物の各々について、前記センサを用いた検出タイミングでの、前記追跡対象物の複数の仮説を予測する仮説予測部と、
前記追跡している追跡対象物の各々について、前記追跡対象物の前記複数の仮説から、前記仮説の予測結果が持つ範囲に応じて、前記仮説を削除する重複仮説削除部と、
前記追跡している追跡対象物の各々について、前記追跡対象物の前記複数の仮説を、前記仮説の予測結果と、前記追跡対象物の検出結果とに基づいて更新する状態更新部と、
を含む状態推定装置。 A detection unit for detecting a tracking object using a sensor;
A state storage unit that stores a plurality of hypotheses indicating the state of the tracking object for each tracking object being tracked and having a range where the tracking object may exist,
A hypothesis prediction unit that predicts a plurality of hypotheses of the tracked object at a detection timing using the sensor for each of the tracked tracked objects;
For each of the tracking objects being tracked, a duplicate hypothesis deleting unit that deletes the hypothesis from the plurality of hypotheses of the tracking object according to a range of a prediction result of the hypothesis,
For each of the tracked tracking objects, a state update unit that updates the plurality of hypotheses of the tracking object based on the prediction result of the hypothesis and the detection result of the tracking object;
A state estimation apparatus including:
請求項１記載の状態推定装置。 The duplication hypothesis deletion unit, for each of the tracked tracking objects, from the plurality of hypotheses of the tracking object, the range of the prediction result of the hypothesis, and other hypotheses of the same tracking object The state estimation apparatus according to claim 1, wherein the hypothesis is deleted according to a degree of overlap with a range of the state.
前記重複仮説削除部は、前記追跡している追跡対象物の各々について、更に、前記追跡対象物の前記複数の仮説から、前記仮説の予測結果が持つ範囲と、前記障害物との重複度合いに応じて、前記仮説を削除する
請求項２記載の状態推定装置。 The detection unit detects a tracking object and an obstacle using a sensor,
The duplication hypothesis deletion unit further determines, for each of the tracking target objects being tracked, from the plurality of hypotheses of the tracking target object, the range of the prediction result of the hypothesis, and the degree of overlap between the obstacles. The state estimation apparatus according to claim 2, wherein the hypothesis is deleted in response.
追跡している追跡対象物の各々について、前記追跡対象物の状態を示す仮説であって、前記追跡対象物が存在する可能性がある範囲を持つ仮説を複数格納した状態記憶部と、
前記追跡している追跡対象物の各々について、前記センサを用いた検出タイミングでの、前記追跡対象物の複数の仮説を予測する仮説予測部と、
前記追跡している追跡対象物の各々について、前記追跡対象物の前記複数の仮説から、前記仮説の予測結果が持つ範囲と、他の追跡対象物の仮説が持つ範囲との重複度合い、又は前記仮説の予測結果が持つ範囲と、前記障害物との重複度合いに応じて、前記仮説を修正する近傍仮説修正部と、
前記追跡している追跡対象物の各々について、前記追跡対象物の前記複数の仮説を、前記仮説の修正結果と、前記追跡対象物の検出結果とに基づいて更新する状態更新部と、
を含む状態推定装置。 A detection unit that detects a tracking object and an obstacle using a sensor;
A state storage unit that stores a plurality of hypotheses indicating the state of the tracking object for each tracking object being tracked and having a range where the tracking object may exist,
A hypothesis prediction unit that predicts a plurality of hypotheses of the tracked object at a detection timing using the sensor for each of the tracked tracked objects;
For each of the tracking objects being tracked, from the plurality of hypotheses of the tracking object, the degree of overlap between the range of the prediction result of the hypothesis and the range of the hypothesis of another tracking object, or the A neighborhood hypothesis correction unit that corrects the hypothesis according to the range of the hypothesis prediction result and the degree of overlap with the obstacle,
For each of the tracking objects being tracked, a state update unit that updates the plurality of hypotheses of the tracking object based on the correction result of the hypothesis and the detection result of the tracking object;
A state estimation apparatus including:
を更に含む請求項４記載の状態推定装置。 The landmark correction part which corrects the hypothesis according to the distance between the prediction result of the hypothesis and a predetermined landmark position for each of the tracked tracking objects. State estimation device.
を更に含む請求項４又は５記載の状態推定装置。 For each of the tracking objects being tracked, from the plurality of hypotheses of the tracking object, the degree of overlap between the range of the hypothesis prediction result and the range of other hypotheses of the same tracking object The state estimation apparatus according to claim 4, further comprising: a duplicate hypothesis deleting unit that deletes the hypothesis.
センサを用いて、追跡対象物を検出する検出部、
追跡している追跡対象物の各々について、前記追跡対象物の状態を示す仮説であって、前記追跡対象物が存在する可能性がある範囲を持つ仮説を複数格納した状態記憶部、
前記追跡している追跡対象物の各々について、前記センサを用いた検出タイミングでの、前記追跡対象物の複数の仮説を予測する仮説予測部、
前記追跡している追跡対象物の各々について、前記追跡対象物の前記複数の仮説から、前記仮説の予測結果が持つ範囲に応じて、前記仮説を削除する重複仮説削除部、及び
前記追跡している追跡対象物の各々について、前記追跡対象物の前記複数の仮説を、前記仮説の予測結果と、前記追跡対象物の検出結果とに基づいて更新する状態更新部
として機能させるためのプログラム。 Computer
A detection unit that detects a tracking object using a sensor;
A state storage unit that stores a plurality of hypotheses indicating the state of the tracking object for each tracking object being tracked and having a range in which the tracking object may exist,
A hypothesis prediction unit that predicts a plurality of hypotheses of the tracked object at a detection timing using the sensor for each of the tracked tracked objects,
For each of the tracking objects being tracked, a duplicate hypothesis deletion unit that deletes the hypothesis from the plurality of hypotheses of the tracking object according to the range of the prediction result of the hypothesis, and the tracking A program for causing each of the tracking objects to function as a state update unit that updates the plurality of hypotheses of the tracking object based on a prediction result of the hypothesis and a detection result of the tracking object.
センサを用いて、追跡対象物と障害物とを検出する検出部、
追跡している追跡対象物の各々について、前記追跡対象物の状態を示す仮説であって、前記追跡対象物が存在する可能性がある範囲を持つ仮説を複数格納した状態記憶部、
前記追跡している追跡対象物の各々について、前記センサを用いた検出タイミングでの、前記追跡対象物の複数の仮説を予測する仮説予測部、
前記追跡している追跡対象物の各々について、前記追跡対象物の前記複数の仮説から、前記仮説の予測結果が持つ範囲と、他の追跡対象物の仮説が持つ範囲との重複度合い、又は前記仮説の予測結果が持つ範囲と、前記障害物との重複度合いに応じて、前記仮説を修正する近傍仮説修正部、及び
前記追跡している追跡対象物の各々について、前記追跡対象物の前記複数の仮説を、前記仮説の修正結果と、前記追跡対象物の検出結果とに基づいて更新する状態更新部
として機能させるためのプログラム。 Computer
A detection unit that detects a tracking object and an obstacle using a sensor;
A state storage unit that stores a plurality of hypotheses indicating the state of the tracking object for each tracking object being tracked and having a range in which the tracking object may exist,
A hypothesis prediction unit that predicts a plurality of hypotheses of the tracked object at a detection timing using the sensor for each of the tracked tracked objects,
For each of the tracking objects being tracked, from the plurality of hypotheses of the tracking object, the degree of overlap between the range of the prediction result of the hypothesis and the range of the hypothesis of another tracking object, or the The neighborhood hypothesis correcting unit that corrects the hypothesis according to the range of the hypothesis prediction result and the degree of overlap with the obstacle, and the plurality of the tracking objects for each of the tracking objects being tracked For updating the hypothesis based on the correction result of the hypothesis and the detection result of the tracking object.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018056620A JP7056842B2 (en) | 2018-03-23 | 2018-03-23 | State estimator and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018056620A JP7056842B2 (en) | 2018-03-23 | 2018-03-23 | State estimator and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019168953A true JP2019168953A (en) | 2019-10-03 |
| JP7056842B2 JP7056842B2 (en) | 2022-04-19 |
Family
ID=68106842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018056620A Active JP7056842B2 (en) | 2018-03-23 | 2018-03-23 | State estimator and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7056842B2 (en) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021071774A (en) * | 2019-10-29 | 2021-05-06 | 株式会社東芝 | Monitoring camera use vehicle system, state prediction server to be applied to the same, and attention calling device |
| JP2022539093A (en) * | 2020-04-20 | 2022-09-07 | 上海商▲湯▼▲臨▼港智能科技有限公司 | Target detection method and device, electronic device, storage medium, and program |
| WO2022230739A1 (en) * | 2021-04-27 | 2022-11-03 | 京セラ株式会社 | Object tracking device |
| WO2022230738A1 (en) * | 2021-04-27 | 2022-11-03 | 京セラ株式会社 | Object tracking device and object tracking method |
| WO2023022894A1 (en) * | 2021-08-18 | 2023-02-23 | Zoox, Inc. | Determining occupancy using unobstructed sensor emissions |
| JP7425223B2 (en) | 2020-10-28 | 2024-01-30 | 京セラ株式会社 | Object tracking device and object tracking method |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013077202A (en) * | 2011-09-30 | 2013-04-25 | Secom Co Ltd | Moving object tracking device |
-
2018
- 2018-03-23 JP JP2018056620A patent/JP7056842B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013077202A (en) * | 2011-09-30 | 2013-04-25 | Secom Co Ltd | Moving object tracking device |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021071774A (en) * | 2019-10-29 | 2021-05-06 | 株式会社東芝 | Monitoring camera use vehicle system, state prediction server to be applied to the same, and attention calling device |
| JP7301715B2 (en) | 2019-10-29 | 2023-07-03 | 東芝情報システム株式会社 | State Prediction Server and Alert Device Applied to Vehicle System Using Surveillance Camera |
| JP2022539093A (en) * | 2020-04-20 | 2022-09-07 | 上海商▲湯▼▲臨▼港智能科技有限公司 | Target detection method and device, electronic device, storage medium, and program |
| JP7425223B2 (en) | 2020-10-28 | 2024-01-30 | 京セラ株式会社 | Object tracking device and object tracking method |
| WO2022230739A1 (en) * | 2021-04-27 | 2022-11-03 | 京セラ株式会社 | Object tracking device |
| WO2022230738A1 (en) * | 2021-04-27 | 2022-11-03 | 京セラ株式会社 | Object tracking device and object tracking method |
| WO2023022894A1 (en) * | 2021-08-18 | 2023-02-23 | Zoox, Inc. | Determining occupancy using unobstructed sensor emissions |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7056842B2 (en) | 2022-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7056842B2 (en) | State estimator and program | |
| CN111670468B (en) | Moving body behavior prediction device and moving body behavior prediction method | |
| Nuss et al. | Fusion of laser and radar sensor data with a sequential Monte Carlo Bayesian occupancy filter | |
| JP5475138B2 (en) | Moving object prediction apparatus, virtual movable object prediction apparatus, program, moving object prediction method, and virtual movable object prediction method | |
| CN102194239B (en) | For the treatment of the method and system of view data | |
| US11093762B2 (en) | Method for validation of obstacle candidate | |
| KR100702663B1 (en) | Method for catadioptric vision based localization and mapping in a particle filter framework | |
| JP5535816B2 (en) | Moving object prediction apparatus and program | |
| Meissner et al. | Intersection-based road user tracking using a classifying multiple-model PHD filter | |
| Goldhammer et al. | Pedestrian's trajectory forecast in public traffic with artificial neural networks | |
| Loktev et al. | Diagnostics of external defects of railway infrastructure by analysis of its images | |
| Baig et al. | A robust motion detection technique for dynamic environment monitoring: A framework for grid-based monitoring of the dynamic environment | |
| KR20180027242A (en) | Apparatus and method for environment mapping of an unmanned vehicle | |
| Otto et al. | A joint integrated probabilistic data association filter for pedestrian tracking across blind regions using monocular camera and radar | |
| Nuss et al. | Decision-free true positive estimation with grid maps for multi-object tracking | |
| CN116088503A (en) | Dynamic obstacle detection method and robot | |
| JP6349272B2 (en) | Moving object tracking device | |
| Muresan et al. | Multimodal sparse LIDAR object tracking in clutter | |
| CN113077495B (en) | Online multi-target tracking method, system, computer equipment and readable storage medium | |
| Lundgren | Bayesian filtering for automotive applications | |
| CN115512542B (en) | Track restoration method and system considering shielding based on roadside laser radar | |
| JP6747461B2 (en) | Correlation device, object tracking device, and program | |
| Gies et al. | Extended existence probability using digital maps for object verification | |
| JP2019144900A (en) | State estimation device and program | |
| US20220129685A1 (en) | System and Method for Determining Object Characteristics in Real-time |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220214 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220308 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220325 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7056842 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |