JP2021154935A - Vehicle simulation system, vehicle simulation method and computer program - Google Patents
Vehicle simulation system, vehicle simulation method and computer program Download PDFInfo
- Publication number
- JP2021154935A JP2021154935A JP2020058790A JP2020058790A JP2021154935A JP 2021154935 A JP2021154935 A JP 2021154935A JP 2020058790 A JP2020058790 A JP 2020058790A JP 2020058790 A JP2020058790 A JP 2020058790A JP 2021154935 A JP2021154935 A JP 2021154935A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- unit
- detection
- error
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 323
- 238000000034 method Methods 0.000 title claims description 27
- 238000004590 computer program Methods 0.000 title claims description 22
- 238000001514 detection method Methods 0.000 claims abstract description 395
- 230000007704 transition Effects 0.000 claims abstract description 47
- 238000009795 derivation Methods 0.000 claims description 53
- 230000015556 catabolic process Effects 0.000 description 38
- 238000010191 image analysis Methods 0.000 description 32
- 238000013139 quantization Methods 0.000 description 30
- 238000012986 modification Methods 0.000 description 28
- 230000004048 modification Effects 0.000 description 28
- 238000013500 data storage Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 21
- 230000036544 posture Effects 0.000 description 17
- 230000006399 behavior Effects 0.000 description 16
- 238000004422 calculation algorithm Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 238000011156 evaluation Methods 0.000 description 12
- 230000006872 improvement Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 7
- 238000000611 regression analysis Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000013178 mathematical model Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011895 specific detection Methods 0.000 description 2
- 240000001973 Ficus microcarpa Species 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
Images
Abstract
Description
本開示はデータ処理技術に関し、特に車両シミュレーションシステム、車両シミュレーション方法およびコンピュータプログラムに関する。 The present disclosure relates to data processing techniques, in particular vehicle simulation systems, vehicle simulation methods and computer programs.
車載機器の開発フェーズや評価フェーズでは、開発や評価に要するコストを削減するため、現実の車両を用いる代わりに、現実の車両の挙動を模擬する車両シミュレーションシステムが用いられることがある。 In the development phase and evaluation phase of in-vehicle equipment, in order to reduce the cost required for development and evaluation, a vehicle simulation system that simulates the behavior of an actual vehicle may be used instead of using an actual vehicle.
センシングアルゴリズムの評価、課題抽出、改善に貢献できるだけの、車両シミュレーションシステムによるセンシング模擬結果の表示方法は、これまで十分に提案されていない。 So far, a method for displaying sensing simulation results by a vehicle simulation system that can contribute to evaluation, problem extraction, and improvement of sensing algorithms has not been sufficiently proposed.
本開示はこうした状況に鑑みてなされたものであり、1つの目的は、車両シミュレーションシステムにおけるセンシング模擬結果の有用性を高めることにある。 The present disclosure has been made in view of such circumstances, and one purpose is to enhance the usefulness of sensing simulation results in a vehicle simulation system.
上記課題を解決するために、本開示のある態様の車両シミュレーションシステムは、車両周辺の状態を検知する検知部について、車両周辺の状態の真値を説明変数とし、検知部による車両周辺の状態の検知結果と真値との誤差を目的変数とするモデルであって、異なる種類の誤差を目的変数とする複数のモデルを記憶する記憶部と、シミュレーションのパラメータとしての車両周辺の状態の真値を複数のモデルに入力することにより、複数のモデルの目的変数である複数種類の誤差を導出する導出部と、複数種類の誤差を統合した全体誤差の時系列での推移を示す画像を生成する生成部と、を備える。 In order to solve the above problems, in the vehicle simulation system of a certain aspect of the present disclosure, the true value of the state around the vehicle is used as an explanatory variable for the detection unit that detects the state around the vehicle, and the state around the vehicle by the detection unit is used as an explanatory variable. A model that uses the error between the detection result and the true value as the objective variable, and stores a storage unit that stores multiple models that use different types of errors as the objective variable, and the true value of the state around the vehicle as a simulation parameter. By inputting to multiple models, a derivation unit that derives multiple types of errors, which are the objective variables of multiple models, and a generation that integrates multiple types of errors to generate an image showing the transition of the total error over time. It has a part and.
本開示の別の態様は、車両シミュレーション方法である。この方法は、車両周辺の状態を検知する検知部について、車両周辺の状態の真値を説明変数とし、検知部による車両周辺の状態の検知結果と真値との誤差を目的変数とするモデルであって、異なる種類の誤差を目的変数とする複数のモデルを記憶する記憶部にアクセス可能なコンピュータが、シミュレーションのパラメータとしての車両周辺の状態の真値を複数のモデルに入力することにより、複数のモデルの目的変数である複数種類の誤差を導出し、複数種類の誤差を統合した全体誤差の時系列での推移を示す画像を生成する、ことを実行する。 Another aspect of the present disclosure is a vehicle simulation method. This method is a model in which the true value of the state around the vehicle is used as an explanatory variable for the detection unit that detects the state around the vehicle, and the error between the detection result of the state around the vehicle and the true value by the detection unit is used as the objective variable. A computer that can access a storage unit that stores a plurality of models with different types of errors as objective variables inputs the true value of the state around the vehicle as a simulation parameter into the plurality of models. It is executed that a plurality of types of errors, which are the objective variables of the model, are derived, and an image showing the transition of the total error in time series by integrating the multiple types of errors is generated.
なお、以上の構成要素の任意の組合せ、本開示の表現を、装置、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本開示の態様として有効である。 It should be noted that any combination of the above components and the expression of the present disclosure converted between an apparatus, a computer program, a recording medium on which a computer program is recorded, and the like are also effective as aspects of the present disclosure.
本開示によれば、車両シミュレーションシステムにおけるシミュレーション結果の有用性を高めることができる。 According to the present disclosure, the usefulness of the simulation result in the vehicle simulation system can be enhanced.
<第1実施例>
図1は、従来の車両シミュレーションシステム100の機能ブロックを示すブロック図である。本開示のブロック図において示される各ブロックは、ハードウェア的には、コンピュータのCPU・メモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者には理解されるところである。
<First Example>
FIG. 1 is a block diagram showing a functional block of a conventional
車両シミュレーションシステム100は、シミュレーション制御部10、ユーザインタフェース12、環境データ生成部14、画像解析部16、車両モデル部18を備える。シミュレーション制御部10は、車両の挙動のシミュレーションを制御する。また、シミュレーション制御部10は、ユーザインタフェース12、環境データ生成部14、画像解析部16、車両モデル部18とデータを送受信する。
The
ユーザインタフェース12は、ユーザ(またはユーザの端末)とのインタフェースを提供する。環境データ生成部14は、ユーザにより指定されたパラメータ(例えば歩行者までの距離や方位等)に応じて、後述の画像解析部16に解析させるための画像データ(CG)を生成する。例えば、環境データ生成部14は、自車の6メートル先に歩行者がいることを示すCGを生成する。
The
画像解析部16は、画像データを解析することにより、車両の自動走行を制御するための車両周辺の状態(障害物の位置等)を検知する。例えば、画像解析部16は、自車の進行方向6メートル先に歩行者がいることを示すCGを解析して、自車と歩行者との距離が6.2メートルであることを検知する。この場合、0.2メートルの誤差が生じている。なお、画像解析部16による解析対象は、実際の車両では車載カメラによる撮像画像となるが、車両シミュレーションシステム100では環境データ生成部14により生成されたCGとなる。
By analyzing the image data, the
車両モデル部18は、画像解析部16による解析結果をもとに、車両の挙動を決定し、すなわち、車両の自動走行をシミュレーションする。例えば、画像解析部16により自車の進行方向の6.2メートル先に歩行者がいることが検知された場合、車両モデル部18は、ブレーキを作動させること、その結果、歩行者の1メートル手前で停車することを出力してもよい。シミュレーション制御部10は、車両モデル部18によるシミュレーション結果を、所定の表示装置に表示させ、または、所定の記憶装置に格納する。
The
このように従来の車両シミュレーションシステム100では、車両周辺の状態を示す画像を作成し、その画像から車両周辺の状態を検知し、自動運転の内容をシミュレーションしていた。シミュレーションの網羅性を高めるためには、車両周辺の明るさ(天気等)や路面状況、障害物までの距離、車両速度等、様々なケースに対応する多くの画像を作成する必要があるが、多くの画像を作成するためには多くの時間や費用を要する。
As described above, in the conventional
また、車両周辺の状態を示す画像は、理論モデル(例えば車両速度や明るさ等の複数のパラメータに基づく机上の計算式)をもとに作成することも考えられるが、理論モデルにより作成された画像は、現実の環境と乖離することもある。その結果、車両シミュレーションの結果が、現実の車両の挙動と乖離する可能性がある。 An image showing the state around the vehicle may be created based on a theoretical model (for example, a desk calculation formula based on a plurality of parameters such as vehicle speed and brightness), but the image was created by the theoretical model. The image may deviate from the real environment. As a result, the result of the vehicle simulation may deviate from the actual behavior of the vehicle.
そこで第1実施例では、車両周辺の現実の状態を示す環境データ(言い換えれば現実環境のデータ)と、画像解析結果とに基づいて、数量化分析を用いた統計処理により数理モデル(以下の「センサモデル」とも呼ぶ。)を生成する。そして、センサモデルを使用して、車両の挙動をシミュレーションする。これにより、車両周辺の状態を検知するシミュレーションに、各ケースの画像を作成することが不要になり、シミュレーションのコストを低減でき、また、現実に即した車両挙動をシミュレーションすることができる。 Therefore, in the first embodiment, a mathematical model (hereinafter referred to as "the following" " Also called a "sensor model"). Then, the sensor model is used to simulate the behavior of the vehicle. As a result, it is not necessary to create an image of each case in the simulation for detecting the state around the vehicle, the cost of the simulation can be reduced, and the vehicle behavior can be simulated in a realistic manner.
まず、第1実施例のセンサモデルを説明する。第1実施例のセンサモデルは、車両のシミュレーションシステムにおいて、画像に基づく検知結果(すなわち画像解析部16および後述の画像解析部28による検知結果)に関して推定するためのモデルである。図2は、センサモデル構築のためのサンプルデータの例を示す。同図は、歩行者の識別に関するセンサモデルを構築するためのサンプルデータを示している。各サンプルは、歩行者の識別精度に影響を与える2つの要因として、車両から歩行者までの距離と天気とを含む。
First, the sensor model of the first embodiment will be described. The sensor model of the first embodiment is a model for estimating the detection result based on the image (that is, the detection result by the
要因「距離」は、車両から歩行者までの複数段階の距離(真値)に対応する10個のカテゴリを含む。例えば、あるカテゴリは、0.1メートルから2メートルの範囲となり、また、別のカテゴリは、2メートルから4メートルの範囲となる。要因「天気」は、晴れ、曇り、雨の3個のカテゴリを含む。各サンプルは、該当するカテゴリの値を「1」とし、非該当のカテゴリの値を「0」とする。これにより、定量的なデータだけでなく、定性的なデータ(言い換えれば質に関するデータ)も数量として扱うことができる。なお、要因は説明変数とも呼ばれる。また、要因の各カテゴリはダミー変数とも呼ばれる。 The factor "distance" includes 10 categories corresponding to a plurality of steps (true values) from the vehicle to the pedestrian. For example, one category ranges from 0.1 meters to 2 meters, and another category ranges from 2 meters to 4 meters. Factor "weather" includes three categories: sunny, cloudy, and rainy. In each sample, the value of the corresponding category is set to "1", and the value of the non-corresponding category is set to "0". As a result, not only quantitative data but also qualitative data (in other words, data on quality) can be treated as quantity. Factors are also called explanatory variables. Each category of factors is also called a dummy variable.
また、各サンプルは、画像解析の精度を示すデータとして、車両から歩行者までの距離の真値と、画像解析により検知された車両から歩行者までの距離との差(「検知距離誤差」とも呼ぶ。)を含む。実施例のセンサモデルは、車両から検知対象物(歩行者等)までの複数段階の距離に対応する複数個のダミー変数を含む。具体的には、距離の10カテゴリと天気の3カテゴリの合計13項目をダミー変数とし、検出距離誤差を目的変数として重回帰分析を行うことにより、各要因の各カテゴリが検出距離誤差に与える影響の大きさを示すセンサモデルを生成する。 In addition, each sample is the difference between the true value of the distance from the vehicle to the pedestrian and the distance from the vehicle to the pedestrian detected by the image analysis (also referred to as "detection distance error") as data indicating the accuracy of the image analysis. Call.) Including. The sensor model of the embodiment includes a plurality of dummy variables corresponding to a plurality of steps of distances from the vehicle to the object to be detected (pedestrian, etc.). Specifically, by performing multiple regression analysis with 10 categories of distance and 3 categories of weather as dummy variables and the detection distance error as the objective variable, the influence of each category of each factor on the detection distance error. Generate a sensor model that shows the size of.
要因の数をm、各要因のカテゴリ数をn1、・・・nm、サンプル数をNとして一般化すると、センサモデルは式1で表すことができる。
図3は、第1実施例のセンサモデル生成装置20の機能ブロックを示すブロック図である。センサモデル生成装置20は、センサデータ記憶部22、参照データ記憶部24、タグデータ記憶部26、画像解析部28、真値検知部30、誤差導出部32、真値量子化部34、タグ量子化部36、モデル生成部38を備える。
FIG. 3 is a block diagram showing a functional block of the sensor
図3に示す複数の機能ブロックの機能を実装した複数のモジュールを含むコンピュータプログラムが、センサモデル生成装置20のストレージに記憶されてもよい。センサモデル生成装置20のCPUは、このコンピュータプログラムをメインメモリに読み出して実行することにより、図3に示す各機能ブロックの機能を発揮してもよい。また、図3に示す複数の機能は、複数個の装置に分散されてもよく、それら複数個の装置がシステムとして連携することで実現されてもよい。
A computer program including a plurality of modules implementing the functions of the plurality of functional blocks shown in FIG. 3 may be stored in the storage of the
センサデータ記憶部22、参照データ記憶部24には、現実の車両を用いた試験等において収集されたデータを記憶する。センサデータ記憶部22は、検知の対象物について各種車載センサによるセンシング結果を記憶する。実施例では、センサデータ記憶部22は、車載カメラにより撮像された複数の画像データを記憶し、例えば、3メートル先に歩行者がいる状態を映した画像データ、6メートル先に歩行者がいる状態を映した画像データ、・・・等を記憶する。
The sensor
参照データ記憶部24は、検知の対象物に関する真値検出用のデータを記憶する。実施例では、参照データ記憶部24は、LIDAR(Light Detection and Ranging)による収集したデータであり、車両と対象物との距離の真値を含むデータを記憶する。タグデータ記憶部26は、タグデータとして、ユーザ(開発者や試験者等)により設定されたデータを記憶する。例えば、タグデータ記憶部26は、車両を用いた試験等がなされた日の天気を示すタグデータを記憶する。タグデータは、路面の種類(例えばアスファルトまたは土)や温度、季節等、様々なデータを含んでもよい。
The reference
なお、センサモデル生成装置20、センサデータ記憶部22、参照データ記憶部24に格納されるデータであって、同じ試験で収集または入力されたデータは、互いに対応付けられ1組のサンプルデータとなる。センサモデル生成装置20、センサデータ記憶部22、参照データ記憶部24には、複数の組のサンプルデータ(例えば図2で示したように1万組のサンプルデータ)が格納される。
The data stored in the
画像解析部28は、図1の画像解析部16に対応する。すなわち、画像解析部28は、センサデータ記憶部22に記憶された画像データをもとに、車両の自動走行を制御するための車両周辺の状態を検知する。具体的には、画像解析部28は、センサデータ記憶部22に記憶された複数のサンプルの画像データをもとに、複数のサンプルにおける車両と歩行者との距離を検知する。画像をもとに車両と歩行者との距離を導出する方法は公知技術を採用してよい。
The
真値検知部30は、参照データ記憶部24に記憶されたLIDARデータをもとに、車両周辺の状態を検知する。具体的には、真値検知部30は、参照データ記憶部24に記憶された複数のサンプルのLIDARデータをもとに、複数のサンプルにおける車両と歩行者との距離を検知する。ここで、画像を用いた距離検知よりLIDARを用いた距離検知の方が精度が高く、実質的に、LIDARによる距離検知の結果は、車両と歩行者との距離の真値を示す。すなわち、真値検知部30は、車両と歩行者との距離の真値を検知するとも言える。
The true
誤差導出部32は、サンプルごとに、真値検知部30による検知結果(実施例では車両と歩行者との距離の真値)と、画像解析部28による検知結果(実施例では画像を用いる車両と歩行者との検知距離)との差である検知距離誤差を算出する。
For each sample, the
真値量子化部34は、サンプルごとに、真値検知部30による検知結果(実施例では車両と歩行者との距離の真値)を、予め定められた説明変数の複数のカテゴリのいずれかに分類する。例えば、真値量子化部34は、図2で示したように、真値検知部30により検知された車両と歩行者との距離の真値を、10個のカテゴリのうち該当するカテゴリに分類してもよい。
The true
タグ量子化部36は、サンプルごとに、タグデータ記憶部26に記憶されたタグデータを、予め定められた説明変数の複数のカテゴリのいずれかに分類する。例えば、タグ量子化部36は、図2で示したように、天気を示すタグデータを、3個のカテゴリのうち該当するカテゴリに分類してもよい。
The
モデル生成部38は、誤差導出部32により算出された誤差と、真値量子化部34により選択されたカテゴリと、タグ量子化部36により選択されたカテゴリとの組み合わせをサンプルごとに作成する。モデル生成部38は、誤差導出部32により算出された誤差を目的変数とし、真値量子化部34により選択されたカテゴリと、タグ量子化部36により選択されたカテゴリとをダミー変数として統計処理(実施例では重回帰分析)を実行することにより、複数のカテゴリにかかる複数のカテゴリ係数を導出する。モデル生成部38は、カテゴリ係数を設定した回帰式(上記の式1)でセンサモデルとして生成し、センサモデルのデータとして求めた複数のカテゴリの係数をモデル記憶部40に格納する。
The
次に、センサモデル生成装置20により生成されたセンサモデルを使用する車両シミュレーションシステムを説明する。図4は、第1実施例の車両シミュレーションシステム110の機能ブロックを示すブロック図である。第1実施例の車両シミュレーションシステム110は、シミュレーション制御部10、ユーザインタフェース12、環境データ生成部14、車両モデル部18、センサモデル部50を備える。
Next, a vehicle simulation system using the sensor model generated by the sensor
図4に示す複数の機能ブロックの機能を実装した複数のモジュールを含むコンピュータプログラムが、車両シミュレーションシステム110のストレージに記憶されてもよい。車両シミュレーションシステム110のCPU(またはシステム内の装置のCPU)は、このコンピュータプログラムをメインメモリに読み出して実行することにより、図4に示す各機能ブロックの機能を発揮してもよい。また、図4に示す複数の機能は、複数個の装置に分散されてもよく、それら複数個の装置がシステムとして連携することで実現されてもよい。さらにまた、図4に示す複数の機能は、単一の装置に集約されてもよい。
A computer program including a plurality of modules implementing the functions of the plurality of functional blocks shown in FIG. 4 may be stored in the storage of the
第1実施例の車両シミュレーションシステム110の機能ブロックのうち、図1に示した従来の車両シミュレーションシステム100の機能ブロックと同一または対応する機能ブロックには同一の符号を付している。以下、図1に関連して説明済みの内容は再度の説明を適宜省略する。
Among the functional blocks of the
環境データ生成部14は、ユーザインタフェース12で受け付けられたパラメータ、または、ファイル等の外部ソースから入力されたパラメータに応じて、シミュレーションの前提となる環境データを生成する。環境データは、センサモデルの説明変数の値を含む。実施例の環境データは、真値データとして車両から歩行者までの距離を含み、または、車両から歩行者までの距離の算出に必要なデータを含み、タグデータとして天気を示す値を含む。
The environment
センサモデル部50は、従来の車両シミュレーションシステム100における画像解析部16の代替となる機能を提供する。センサモデル部50は、車両シミュレーションのパラメータとしての車両周辺の状態の真値(実施例では車両から歩行者までの距離)とタグデータをセンサモデルに入力することにより、画像解析部16が上記状態を示す画像を解析した場合の検知結果を推定する推定部として機能する。
The
車両モデル部18は、センサモデル部50による推定結果をもとに車両の挙動を決定し、すなわち、車両の自動走行をシミュレーションする。例えば、センサモデル部50により自車の進行方向の6.2メートル先に歩行者がいるという結果が得られた場合、車両モデル部18は、ブレーキを作動させること、その結果、歩行者の1メートル手前で停車することを出力してもよい。シミュレーション制御部10は、車両モデル部18によるシミュレーション結果を表示装置に表示させてもよく、または、記憶装置に格納してもよい。
The
図5は、図4のセンサモデル部50の詳細を示すブロック図である。センサモデル部50は、タグ量子化部52、真値量子化部54、誤差導出部56、模擬値導出部58、モデル記憶部40を含む。モデル記憶部40は、センサモデル生成装置20により生成されたセンサモデルを記憶する。
FIG. 5 is a block diagram showing details of the
タグ量子化部52は、環境データ生成部14により生成されたタグデータを、シミュレーション制御部10を介して受け付け、予め定められた説明変数の複数のカテゴリのいずれかに分類する。例えば、タグ量子化部52は、図2で示したように、天気を示すタグデータを、3個のカテゴリのうち該当するカテゴリに分類してもよい。
The
真値量子化部54は、環境データ生成部14により生成された真値データ、もしくは真値を算出用のデータ(以下合わせて「真値データ」と称する)を、シミュレーション制御部10を介して受け付け、予め定められた説明変数の複数のカテゴリのいずれかに分類する。例えば、真値量子化部54は、図2で示したように、車両から歩行者への距離の真値を、10個のカテゴリのうち該当するカテゴリに分類してもよい。
The true
誤差導出部56は、環境データ生成部14により生成された真値データおよびタグデータと、モデル記憶部40に記憶されたセンサモデル(例えば上記の式1)とにしたがって、検知距離誤差を導出する。実施例では、誤差導出部56は、センサモデルのダミー変数のうち、タグ量子化部52および真値量子化部54により選択されたカテゴリに対応するダミー変数の値を1(非選択のカテゴリに対応するダミー変数値は0)に設定することにより、1となるダミー変数の対応するカテゴリの係数を用いてセンサモデルの目的変数である検知距離誤差を算出する。
The
模擬値導出部58は、誤差導出部56により導出された検知距離誤差を、環境データ生成部14により生成された真値データに足すことにより、画像解析部16(画像解析部28)による検知結果をシミュレーションする。例えば、模擬値導出部58は、現実の車両の6メートル先に歩行者がいる場合に画像解析部16が検知するであろう歩行者までの距離(誤差を含む値であり、例えば6.2メートル)を導出する。模擬値導出部58により導出された値(例えば歩行者までの距離)は、シミュレーション制御部10を介して車両モデル部18へ入力され、車両の挙動がシミュレーションされる。
The simulated
以上の構成による動作を説明する。
まず、図3を参照しつつ、センサモデル生成装置20に関する動作を説明する。車両シミュレーションシステムを顧客やパートナー企業に提供すべき車載機器の開発者は、実際に車両を走行させて、車載カメラで車外の歩行者を撮像し、複数サンプルの撮像画像をセンサデータ記憶部22に記憶させる。それとともに開発者は、LIDAR装置で上記歩行者までの距離を計測させ、複数サンプルの距離の真値を示す計測結果を参照データ記憶部24に記憶させる。さらにまた、開発者は、天気等の定性的な内容を示す複数サンプルのタグデータをタグデータ記憶部26に記憶させる。
The operation by the above configuration will be described.
First, the operation of the
画像解析部28は、サンプルごとに、センサデータ記憶部22に格納された画像から歩行者までの距離を検知する。真値検知部30は、サンプルごとに、参照データ記憶部24に格納された計測結果から歩行者までの距離の真値を検知する。誤差導出部32は、サンプルごとに、画像に基づく検知距離と真値との差である検知距離誤差を導出する。真値量子化部34は、歩行者までの距離の真値のカテゴリを特定し、タグ量子化部36は、タグデータのカテゴリを特定する。
The
モデル生成部38は、歩行者までの距離の真値のカテゴリと、タグデータのカテゴリとをダミー変数とし、検知距離誤差を目的変数として、複数のサンプルによる重回帰分析を実行することで、センサモデルを生成する。モデル生成部38は、生成したセンサモデルをモデル記憶部40に格納する。
The
第1実施例のセンサモデル生成装置20によると、車両の挙動をシミュレーションする際に画像解析による検知結果が必要な場合、シミュレーションすべき各ケースの画像を用意すること、また、各ケースの画像を解析することが不要になり、シミュレーションに要する時間および費用を低減できる。また、車両周辺の実際の状態を示すデータを用いてセンサモデルを生成することで、現実に即した結果を出力するセンサモデルを生成できる。
According to the
次に、図4および図5を参照しつつ、車両シミュレーションシステム110に関する動作を説明する。ここでは、車両の近傍に歩行者が存在する場合の車両の挙動をシミュレーションすることとする。ユーザは、車両から歩行者までの距離と、天気とをシミュレーションのパラメータとして車両シミュレーションシステム110のユーザインタフェース12へ入力する。環境データ生成部14は、ユーザインタフェース12で受け付けられた車両から歩行者までの距離を示す真値データを生成し、また、ユーザインタフェース12で受け付けられた天気を示すタグデータを生成する。
Next, the operation of the
タグ量子化部52は、タグデータ(例えば図2の天気)のカテゴリを特定し、真値量子化部54は、真値データ(例えば図2の距離)のカテゴリを特定する。誤差導出部56は、モデル記憶部40に記憶されたセンサモデルの説明変数のカテゴリを示すダミー変数のうち、タグ量子化部52および真値量子化部54により特定されたカテゴリ(ダミー変数)の値を「1」とし、そのカテゴリに対応する係数(即ち、モデルデータ)をもちいることにより、目的変数である検知距離誤差を得る。模擬値導出部58は、車両から歩行者までの距離(真値)に検知距離誤差を足すことにより、画像解析部28により検知される車両から歩行者までの距離(誤差を含む)を推定する。
The
車両モデル部18は、模擬値導出部58により導出された車両から歩行者までの距離(誤差を含む)に基づいて、車両の挙動を決定する。シミュレーション制御部10は、車両モデル部18による決定内容をシミュレーション結果として、所定の出力装置に出力し、または、所定の記憶装置に記憶させる。
The
第1実施例の車両シミュレーションシステム110によると、車両の挙動をシミュレーションする際に画像解析による検知結果が必要な場合、シミュレーションすべき各ケースの画像を用意し、各ケースの画像を解析することが不要になり、シミュレーションに要する時間および費用を低減できる。また、シミュレーションの網羅性を高めやすくなる。さらにまた、車両周辺の実際の状態を用いて生成したセンサモデルを用いることで、現実に即した車両挙動等をシミュレーションすることができる。
According to the
以上、本開示を第1実施例をもとに説明した。第1実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。以下変形例を示す。 The present disclosure has been described above based on the first embodiment. The first embodiment is an example, and it will be understood by those skilled in the art that various modifications are possible for each component or combination of each processing process, and that such modifications are also within the scope of the present disclosure. A modified example is shown below.
第1変形例を説明する。車両シミュレーションシステム110のセンサモデル部50は、複数個のダミー変数に係る複数個の係数から、曲線フィッティングにより対象物(例えば歩行者)までの距離の真値に応じた係数をセンサモデルに適用する。
The first modification will be described. The
図6は、曲線フィッティングの例を示す。ここでは、センサモデルが、少なくとも58個のカテゴリ(説明変数)を含むこととする。例えば、車両と歩行者との距離を10センチ刻みでカテゴリとしてもよい。カテゴリ係数グラフ60は、センサモデルにおける一つの説明変数(即ち、誤差要因)の58個のカテゴリのそれぞれの係数(カテゴリ係数)を示す折れ線グラフである。センサモデル部50の誤差導出部56は、複数個のカテゴリ係数に対して曲線フィッティングを行うことにより近似曲線62(二次多項式近似曲線とも言える)を導出する。
FIG. 6 shows an example of curve fitting. Here, it is assumed that the sensor model includes at least 58 categories (explanatory variables). For example, the distance between the vehicle and the pedestrian may be classified as a category in increments of 10 cm. The
誤差導出部56は、車両から歩行者までの距離の真値に対応するカテゴリ係数を近似曲線62から取得する。例えば、距離が10センチ刻みの場合、距離の真値が3.2メートルであれば、誤差導出部56は、カテゴリ番号「32」における近似曲線62の値(例えば「0」)をカテゴリ係数として取得してもよい。誤差導出部56は、近似曲線62から取得したカテゴリ係数をダミー変数(図2の例ではダミー変数の値は「1」)の重みとして適用し、目的変数の値(例えば検知距離誤差)を導出してもよい。また、距離真値を連続量として横軸の座標に変換し、近似曲線式に代入し算出した値を上記距離真値に対応する係数として適用してもよい。これらの変形例によると、曲線フィッティングにより、入力された説明変数に対する適切な重み付けを実現できる。
The
第2変形例を説明する。車両シミュレーションシステム110のユーザインタフェース12は、乱数に関するデータの指定をユーザから受け付ける受付部として機能してもよい。センサモデル部50の模擬値導出部58は、ユーザから指定された乱数に関するデータをもとに、センサモデルを用いた推定値にホワイトノイズを足してもよい。
A second modification will be described. The
例えば、ユーザは、乱数に関するデータとして、擬似乱数列を生成するためのシードをユーザインタフェース12へ入力してもよい。模擬値導出部58は、ユーザから入力されたシードをもとに擬似乱数列を生成して、その擬似乱数列をもとにホワイトノイズのデータを生成し、車両と歩行者との距離の推定値にホワイトノイズを足してもよい。実環境のデータにはホワイトノイズの成分が含まれるため、本変形例によると、ホワイトノイズを加味して、より現実に即した推定結果を求めることができる。
For example, the user may input a seed for generating a pseudo-random number sequence into the
第3変形例を説明する。上記実施例では、車両と歩行者との距離をセンサモデルにより推定したが、実施例に記載の技術は、車両周辺の状態に関する様々なものをモデルにより推定する場合に適用可能である。第3変形例では、駐車枠(駐車区画とも言える)の位置をセンサモデルにより推定する例を示す。 A third modification will be described. In the above embodiment, the distance between the vehicle and the pedestrian is estimated by the sensor model, but the technique described in the embodiment can be applied to estimate various things related to the state around the vehicle by the model. In the third modification, an example in which the position of the parking frame (which can be said to be a parking lot) is estimated by the sensor model is shown.
図7は、変形例における車両周辺の状態を示す。本変形例では、駐車枠76をその4隅(FL、FR、BL、BR)のXY座標と、駐車枠76の方向(車両の進行方向に対する駐車枠76の角度であり、図7のθ)で表す。本変形例では、画像解析部により検知された駐車枠76の4隅それぞれの座標は、上記4隅(FL、FR、BL、BR)のカメラ72からの距離(例えば、前方右側のポイントFRの場合、RangeR)、カメラ72の光軸74との角度(例えば、前方右側のポイントFRの場合、βR)、および駐車枠76の方向(θ)の影響を受ける。本変形例のセンサモデル生成装置20は、カメラ72からの距離、カメラ72の光軸74との角度、および駐車枠76の方向のそれぞれをカテゴライズする。
FIG. 7 shows a state around the vehicle in the modified example. In this modification, the
具体的には、センサモデル生成装置20の画像解析部28は、車両の周辺が映る画像データから、車両周辺の状態として、駐車枠の位置(座標等)を検知する。真値検知部30は、LIDAR装置の検知結果に基づき、駐車枠の位置(座標等)の真値を検知する。モデル生成部38は、真値検知部30により検知された駐車枠76の座標(FRの座標とする)と、画像解析部28により検知された駐車枠76の座標(FRの座標とする)との差を目的変数として識別する。
Specifically, the
また、モデル生成部38は、カメラ72からの距離、カメラ72の光軸74との角度、および駐車枠76の方向θの、カメラの光軸74との角度を説明変数として扱う。これらのデータは、実施例と同様に、実際の車両を用いた試験により収集され、複数のサンプルが作成される。モデル生成部38は、複数のサンプルに基づく重回帰分析を実行して、各カテゴリ(ダミー変数)の係数を求める。なお、実際には、駐車枠76の4隅の座標のそれぞれに対応するセンサモデルが生成されてもよい。
Further, the
車両シミュレーションシステム110のシミュレーション制御部10は、シミュレーションのパラメータとして、4隅(FL、FR、BL、BR)の座標と駐車枠方向をユーザ等から受け付け(座標系は車両座標系でもよく、センサ座標系でもよい)、それらのパラメータをセンサモデル部50へ入力する。センサモデル部50は、シミュレーションのパラメータをセンサモデルへ入力することにより、画像解析部28による検知結果を推定し、すなわち、駐車枠76の座標を推定する。具体的には、センサモデル部50は、まず、入力された上記4隅(FL、FR、BL、BR)の座標と駐車枠方向を、説明変数であるカメラ72からの距離、カメラ72の光軸74との角度、および駐車枠76の方向に変換する。次に、センサモデル部50は、得られた説明変数の値に基づきカテゴリを求め、それに対応する係数を適用する。車両モデル部18は、センサモデル部50により推定された駐車枠76の座標に基づいて、車両の自動走行(例えば駐車枠76への自動入庫)をシミュレーションする。
The
第1実施例および変形例に記載の技術は、以下の項目によって特定されてもよい。
[項目1]
車両の周辺が映る画像データから、前記車両の自動走行を制御するための前記車両周辺の状態を検知する第1検知部と、
前記推定部より高い精度で、前記車両周辺の状態を検知する第2検知部と、
前記車両のシミュレーションシステムにおいて前記第1検知部による検知結果に関して推定するためのモデルであって、前記第2検知部により検知された状態を説明変数とし、前記第2検知部により検知された状態と、前記第1検知部により検知された状態との差を目的変数とするモデルを生成する生成部と、
を備えるモデル生成装置。
このモデル生成装置によると、車両をシミュレーションする際に第1検知部による検知結果が必要な場合、シミュレーションすべき各ケースの画像を用意すること、また、各ケースの画像を解析することが不要になり、シミュレーションのコストを低減できる。また、モデルの生成において車両周辺の実際の状態を用いることで、現実に即した結果を出力するモデルを生成できる。
[項目2]
車両の周辺が映る画像データから、前記車両の自動走行を制御するための前記車両周辺の状態を検知する検知部について、前記検知部による検知結果に関して推定するためのモデルであって、前記車両周辺の状態の真値を説明変数とし、前記車両周辺の状態の真値と、前記検知部により検知された状態との差を目的変数とするモデルを記憶する記憶部と、
シミュレーションのパラメータとしての前記車両周辺の状態の真値を前記モデルに入力することにより、前記検知部による検知結果を推定する推定部と、
前記推定部による推定結果をもとに前記車両の自動走行をシミュレーションするシミュレーション部と、
を備える車両シミュレーションシステム。
この車両シミュレーションシステムによると、車両をシミュレーションする際に第1検知部による検知結果が必要な場合、シミュレーションすべき各ケースの画像を用意すること、また、各ケースの画像を解析することが不要になり、シミュレーションのコストを低減できる。また、車両周辺の実際の状態を用いて生成したモデルを用いることで、現実に即した車両挙動等をシミュレーションすることができる。
[項目3]
前記モデルは、前記車両周辺の状態の真値である説明変数の複数段階の値に対応する複数個のダミー変数を含み、
前記推定部は、前記複数個のダミー変数に係る各々の係数から、曲線フィッティングにより前記車両周辺の状態の真値である説明変数の連続値に対する係数の連続量を求め、前記係数の連続量の中から前記説明変数の連続値に対応する係数を前記モデルに適用する、
項目2に記載の車両シミュレーションシステム。
この車両シミュレーションシステムによると、曲線フィッティングにより、説明変数に対する適切な重み付けを実現できる。
[項目4]
乱数に関するデータの指定をユーザから受け付ける受付部をさらに備え、
前記推定部は、前記乱数に関するデータをもとに、前記モデルを用いた推定値にホワイトノイズを足す、
項目2または3に記載の車両シミュレーションシステム。
この車両シミュレーションシステムによると、ホワイトノイズを加味して、より現実に即した推定結果を求めることができるとともに、乱数に関するデータの指定を可能にすることで、シミュレーションの再現性も持たせることができる。
[項目5]
第1検知部が、車両の周辺が映る画像データから、前記車両の自動走行を制御するための前記車両周辺の状態を検知し、
第2検知部が、前記第1検知部より高い精度で、前記車両周辺の状態を検知し、
前記車両のシミュレーションシステムにおいて前記第1検知部による検知結果に関して推定するためのモデルであって、前記第2検知部により検知された状態を説明変数とし、前記第2検知部により検知された状態と、前記第1検知部により検知された状態との差を目的変数とするモデルを生成する、
モデル生成方法。
このモデル生成方法によると、車両をシミュレーションする際に第1検知部による検知結果が必要な場合、シミュレーションすべき各ケースの画像を用意すること、また、各ケースの画像を解析することが不要になり、シミュレーションのコストを低減できる。また、モデルの生成において車両周辺の実際の状態を用いることで、現実に即した結果を出力するモデルを生成できる。
[項目6]
車両の周辺が映る画像データから、前記車両の自動走行を制御するための前記車両周辺の状態を検知する検知部について、前記検知部による検知結果に関して推定するためのモデルであって、前記車両周辺の状態の真値を説明変数とし、前記車両周辺の状態の真値と、前記検知部により検知された状態との差を目的変数とするモデルを記憶し、
シミュレーションのパラメータとしての前記車両周辺の状態の真値を前記モデルに入力することにより、前記検知部による検知結果を推定し、
前記推定部による推定結果をもとに前記車両の自動走行をシミュレーションする、
車両シミュレーション方法。
この車両シミュレーション方法によると、車両をシミュレーションする際に第1検知部による検知結果が必要な場合、シミュレーションすべき各ケースの画像を用意すること、また、各ケースの画像を解析することが不要になり、シミュレーションのコストを低減できる。車両周辺の実際の状態を用いて生成したモデルを用いることで、現実に即した車両挙動等をシミュレーションすることができる。
[項目7]
第1検知部が、車両の周辺が映る画像データから、前記車両の自動走行を制御するための前記車両周辺の状態を検知し、
第2検知部が、前記第1検知部より高い精度で、前記車両周辺の状態を検知し、
前記車両のシミュレーションシステムにおいて前記第1検知部による検知結果に関して推定するためのモデルであって、前記第2検知部により検知された状態を説明変数とし、前記第2検知部により検知された状態と、前記第1検知部により検知された状態との差を目的変数とするモデルを生成する、
ことをコンピュータに実行させるためのコンピュータプログラム。
このコンピュータプログラムによると、車両をシミュレーションする際に第1検知部による検知結果が必要な場合、シミュレーションすべき各ケースの画像を用意すること、また、各ケースの画像を解析することが不要になり、シミュレーションのコストを低減できる。また、モデルの生成において車両周辺の実際の状態を用いることで、現実に即した結果を出力するモデルを生成できる。
[項目8]
車両の周辺が映る画像データから、前記車両の自動走行を制御するための前記車両周辺の状態を検知する検知部について、前記検知部による検知結果に関して推定するためのモデルであって、前記車両周辺の状態の真値を説明変数とし、前記車両周辺の状態の真値と、前記検知部により検知された状態との差を目的変数とするモデルを記憶し、
シミュレーションのパラメータとしての前記車両周辺の状態の真値を前記モデルに入力することにより、前記検知部による検知結果を推定し、
前記推定部による推定結果をもとに前記車両の自動走行をシミュレーションする、
ことをコンピュータに実行させるためのコンピュータプログラム。
このコンピュータプログラムによると、車両をシミュレーションする際に第1検知部による検知結果が必要な場合、シミュレーションすべき各ケースの画像を用意すること、また、各ケースの画像を解析することが不要になり、シミュレーションのコストを低減できる。車両周辺の実際の状態を用いて生成したモデルを用いることで、現実に即した車両挙動等をシミュレーションすることができる。
The techniques described in the first embodiment and the modifications may be specified by the following items.
[Item 1]
From the image data showing the surroundings of the vehicle, a first detection unit that detects the state of the surroundings of the vehicle for controlling the automatic running of the vehicle, and
A second detection unit that detects the state around the vehicle with higher accuracy than the estimation unit, and
It is a model for estimating the detection result by the first detection unit in the vehicle simulation system, and the state detected by the second detection unit is used as an explanatory variable, and the state detected by the second detection unit is used. , A generation unit that generates a model with the difference from the state detected by the first detection unit as the objective variable, and
A model generator equipped with.
According to this model generator, when the detection result by the first detection unit is required when simulating a vehicle, it is not necessary to prepare an image of each case to be simulated and to analyze the image of each case. Therefore, the cost of simulation can be reduced. Further, by using the actual state around the vehicle in the model generation, it is possible to generate a model that outputs a realistic result.
[Item 2]
This is a model for estimating the detection result of the detection unit for detecting the state of the vicinity of the vehicle for controlling the automatic traveling of the vehicle from the image data showing the periphery of the vehicle. A storage unit that stores a model in which the true value of the state of is used as an explanatory variable and the difference between the true value of the state around the vehicle and the state detected by the detection unit is used as the objective variable.
An estimation unit that estimates the detection result by the detection unit by inputting the true value of the state around the vehicle as a simulation parameter into the model, and an estimation unit.
A simulation unit that simulates the automatic driving of the vehicle based on the estimation result by the estimation unit,
Vehicle simulation system with.
According to this vehicle simulation system, when the detection result by the first detection unit is required when simulating a vehicle, it is not necessary to prepare an image of each case to be simulated and to analyze the image of each case. Therefore, the cost of simulation can be reduced. In addition, by using a model generated using the actual state around the vehicle, it is possible to simulate the vehicle behavior and the like in line with reality.
[Item 3]
The model includes a plurality of dummy variables corresponding to a multi-step value of an explanatory variable which is a true value of the state around the vehicle.
The estimation unit obtains the continuous amount of the coefficient with respect to the continuous value of the explanatory variable which is the true value of the state around the vehicle by curve fitting from each coefficient related to the plurality of dummy variables, and obtains the continuous amount of the coefficient with respect to the continuous value of the explanatory variable. A coefficient corresponding to the continuous value of the explanatory variable is applied to the model.
The vehicle simulation system according to
According to this vehicle simulation system, curve fitting can achieve appropriate weighting of explanatory variables.
[Item 4]
It also has a reception unit that accepts data related to random numbers from the user.
The estimation unit adds white noise to the estimated value using the model based on the data related to the random number.
The vehicle simulation system according to
According to this vehicle simulation system, it is possible to obtain a more realistic estimation result by adding white noise, and by making it possible to specify data related to random numbers, it is possible to have reproducibility of the simulation. ..
[Item 5]
The first detection unit detects the state around the vehicle for controlling the automatic traveling of the vehicle from the image data showing the periphery of the vehicle.
The second detection unit detects the state around the vehicle with higher accuracy than the first detection unit.
It is a model for estimating the detection result by the first detection unit in the vehicle simulation system, and the state detected by the second detection unit is used as an explanatory variable, and the state detected by the second detection unit is used. , Generate a model with the difference from the state detected by the first detection unit as the objective variable.
Model generation method.
According to this model generation method, when the detection result by the first detection unit is required when simulating a vehicle, it is not necessary to prepare an image of each case to be simulated and to analyze the image of each case. Therefore, the cost of simulation can be reduced. Further, by using the actual state around the vehicle in the model generation, it is possible to generate a model that outputs a realistic result.
[Item 6]
This is a model for estimating the detection result of the detection unit for detecting the state of the vicinity of the vehicle for controlling the automatic traveling of the vehicle from the image data showing the periphery of the vehicle. A model is stored in which the true value of the state of is used as an explanatory variable and the difference between the true value of the state around the vehicle and the state detected by the detection unit is used as the objective variable.
By inputting the true value of the state around the vehicle as a simulation parameter into the model, the detection result by the detection unit is estimated.
Simulate the automatic driving of the vehicle based on the estimation result by the estimation unit.
Vehicle simulation method.
According to this vehicle simulation method, when the detection result by the first detection unit is required when simulating a vehicle, it is not necessary to prepare an image of each case to be simulated and to analyze the image of each case. Therefore, the cost of simulation can be reduced. By using a model generated using the actual state around the vehicle, it is possible to simulate the vehicle behavior and the like in line with reality.
[Item 7]
The first detection unit detects the state around the vehicle for controlling the automatic traveling of the vehicle from the image data showing the periphery of the vehicle.
The second detection unit detects the state around the vehicle with higher accuracy than the first detection unit.
It is a model for estimating the detection result by the first detection unit in the vehicle simulation system, and the state detected by the second detection unit is used as an explanatory variable, and the state detected by the second detection unit is used. , Generate a model with the difference from the state detected by the first detection unit as the objective variable.
A computer program that lets a computer do things.
According to this computer program, when the detection result by the first detection unit is required when simulating a vehicle, it is not necessary to prepare an image of each case to be simulated and to analyze the image of each case. , The cost of simulation can be reduced. Further, by using the actual state around the vehicle in the model generation, it is possible to generate a model that outputs a realistic result.
[Item 8]
This is a model for estimating the detection result of the detection unit for detecting the state of the vicinity of the vehicle for controlling the automatic traveling of the vehicle from the image data showing the periphery of the vehicle. A model is stored in which the true value of the state of is used as an explanatory variable and the difference between the true value of the state around the vehicle and the state detected by the detection unit is used as the objective variable.
By inputting the true value of the state around the vehicle as a simulation parameter into the model, the detection result by the detection unit is estimated.
Simulate the automatic driving of the vehicle based on the estimation result by the estimation unit.
A computer program that lets a computer do things.
According to this computer program, when the detection result by the first detection unit is required when simulating a vehicle, it is not necessary to prepare an image of each case to be simulated and to analyze the image of each case. , The cost of simulation can be reduced. By using a model generated using the actual state around the vehicle, it is possible to simulate the vehicle behavior and the like in line with reality.
<第2実施例>
第2実施例の概要を説明する。従来の車両シミュレーションシステムでは、シミュレーション結果において、CGの認識結果のみ、または、シミュレーションにおける車両周辺の状態の真値(理想値とも言え、例えば、自車両近傍の他車両の真の位置)のみを描いていた。そのため、シミュレーション結果が、センシングアルゴリズムや制御アルゴリズムの評価、課題抽出、改善等に対して十分に貢献しないことがあった。
<Second Example>
The outline of the second embodiment will be described. In the conventional vehicle simulation system, only the CG recognition result or the true value of the state around the vehicle in the simulation (which can be said to be an ideal value, for example, the true position of another vehicle in the vicinity of the own vehicle) is drawn in the simulation result. Was there. Therefore, the simulation results may not sufficiently contribute to the evaluation of sensing algorithms and control algorithms, problem extraction, improvement, and the like.
第2実施例の車両シミュレーションシステムは、第1実施例の車両シミュレーションシステムと同様に、センサモデルを用いてセンシング結果(誤差を含む)を推定する。また、第2実施例の車両シミュレーションシステムは、センシング結果の推定値をセンシング対象の真値とともに表示させる。さらにまた、第2実施例の車両シミュレーションシステムは、センシング結果の推定値とセンシング対象の真値との誤差に関する情報をさらに出力する。第2実施例の車両シミュレーションシステムによると、センシングアルゴリズムや制御アルゴリズムの評価、課題抽出、改善等に対して一層有用なシミュレーション結果を提供することができる。 Similar to the vehicle simulation system of the first embodiment, the vehicle simulation system of the second embodiment estimates the sensing result (including the error) using the sensor model. Further, the vehicle simulation system of the second embodiment displays the estimated value of the sensing result together with the true value of the sensing target. Furthermore, the vehicle simulation system of the second embodiment further outputs information regarding an error between the estimated value of the sensing result and the true value of the sensing target. According to the vehicle simulation system of the second embodiment, it is possible to provide more useful simulation results for evaluation of sensing algorithms and control algorithms, problem extraction, improvement, and the like.
以下、第1実施例の構成要素と同一または対応する第2実施例の構成要素には、第1実施例と同じ符号を付して説明する。第2実施例では、第1実施例で説明済の内容は再度の説明を適宜省略し、主に、第1実施例と異なる点を説明する。 Hereinafter, the components of the second embodiment that are the same as or correspond to the components of the first embodiment will be described with the same reference numerals as those of the first embodiment. In the second embodiment, the contents already explained in the first embodiment will be omitted from the description as appropriate, and the points different from those in the first embodiment will be mainly described.
第2実施例のセンサモデルも、第1実施例のセンサモデルと同様に、車両周辺の状態に関する複数項目の真値を説明変数とし、車両に搭載された検知部による車両周辺の状態の検知結果と上記真値との差を目的変数とする数理モデル(例えば回帰式)である。検知部は、車両に搭載されるセンサ装置であり、車両周辺の状態(例えば歩行者や障害物の位置等)を検知する。検知部は、例えば、カメラ、レーダー装置、ライダー装置、ソナーの少なくとも1つを含んでもよい。 Similar to the sensor model of the first embodiment, the sensor model of the second embodiment also uses the true values of a plurality of items related to the state around the vehicle as explanatory variables, and the detection result of the state around the vehicle by the detection unit mounted on the vehicle. This is a mathematical model (for example, a regression equation) in which the difference between the true value and the above true value is used as the objective variable. The detection unit is a sensor device mounted on the vehicle and detects a state around the vehicle (for example, the position of a pedestrian or an obstacle). The detector may include, for example, at least one of a camera, a radar device, a rider device, and a sonar.
第2実施例のセンサモデルは、距離誤差を推定するためのセンサモデル(以下「距離誤差モデル」とも呼ぶ。)と、方位誤差を推定するためのセンサモデル(以下「方位誤差モデル」とも呼ぶ。)を含む。距離誤差モデルにおける目的変数は、車両から検知対象物(例えば歩行者や障害物)までの距離に関する検知結果と真値との差(以下「距離誤差」とも呼ぶ。)である。方位誤差モデルにおける目的変数は、車両に対する検知対象物の方位に関する検知結果と真値との差(以下「方位誤差」とも呼ぶ。)である。距離誤差の単位は「メートル」であってもよい。また、方位誤差の単位は「度」であってもよい。 The sensor model of the second embodiment is also referred to as a sensor model for estimating a distance error (hereinafter, also referred to as a “distance error model”) and a sensor model for estimating an orientation error (hereinafter, also referred to as a “direction error model”). )including. The objective variable in the distance error model is the difference between the true value and the detection result regarding the distance from the vehicle to the detection object (for example, a pedestrian or an obstacle) (hereinafter, also referred to as “distance error”). The objective variable in the directional error model is the difference between the detection result and the true value (hereinafter, also referred to as “direction error”) regarding the orientation of the object to be detected with respect to the vehicle. The unit of distance error may be "meter". Further, the unit of the directional error may be "degree".
図8は、距離誤差モデル構築のためのサンプルデータの例を示す。サンプルデータは、実車を用いた現実のテスト環境における真値が収集されたものである。サンプルデータにおける目的変数の項目「距離誤差」には、上記のテスト環境で計測された値が設定される。距離誤差モデルの説明変数の項目は、距離、方位、照度、姿勢を含む。距離は、車両から検知対象物までの距離であり、具体的には、車両に搭載された検知部から検知対象物までの距離である。方位は、車両に対する検知対象物の方位(方角とも言える)であり、具体的には、車両に搭載された検知部の光軸と検知対象物とがなす角度(例えば−90°から90°の範囲内の値)である。照度は、車両周辺の照度である。姿勢は、検知対象物の姿勢である。図8では、検知対象物が歩行者である場合の姿勢の例を示している。 FIG. 8 shows an example of sample data for constructing a distance error model. The sample data is a collection of true values in an actual test environment using an actual vehicle. The value measured in the above test environment is set in the item "distance error" of the objective variable in the sample data. The items of the explanatory variables of the distance error model include distance, direction, illuminance, and attitude. The distance is the distance from the vehicle to the detection target, and specifically, the distance from the detection unit mounted on the vehicle to the detection target. The direction is the direction (which can be said to be the direction) of the object to be detected with respect to the vehicle. Specifically, the angle between the optical axis of the detection unit mounted on the vehicle and the object to be detected (for example, −90 ° to 90 °). Value within the range). The illuminance is the illuminance around the vehicle. The posture is the posture of the object to be detected. FIG. 8 shows an example of a posture when the detection target is a pedestrian.
第1実施例で示したサンプルデータ(図3)と同様に、複数の説明変数のそれぞれは、複数のカテゴリを含む。各サンプルは、実車を用いた現実のテスト環境における真値をもとに、該当するカテゴリの値が「1」に設定され、非該当のカテゴリの値が「0」に設定される。なお、数値型の説明変数(図8では距離、方位、照度)をカテゴライズする場合、刻みは均等でなくてもよい。例えば、照度の場合、0〜1000ルクスの照度は刻み「10」とし、1000ルクスより大きい照度は刻み「100」としてもよい。 Similar to the sample data (FIG. 3) shown in the first embodiment, each of the plurality of explanatory variables includes a plurality of categories. In each sample, the value of the corresponding category is set to "1" and the value of the non-corresponding category is set to "0" based on the true value in the actual test environment using the actual vehicle. When categorizing numerical explanatory variables (distance, direction, illuminance in FIG. 8), the steps do not have to be uniform. For example, in the case of illuminance, the illuminance of 0 to 1000 lux may be set to "10", and the illuminance larger than 1000 lux may be set to "100".
方位誤差モデル構築のためのサンプルデータについて、目的変数は方位誤差(実測値)となるが、説明変数の項目は距離誤差モデルと同じである。すなわち、方位誤差モデル構築のための説明変数も、距離、方位、照度、姿勢を含み、各説明変数は複数のカテゴリに分けられる。ここで、説明変数の項目数をm、説明変数の各項目のカテゴリ数をn1、・・・nm、サンプル数をNとして一般化すると、距離誤差モデルおよび方位誤差モデルは、第1実施例に記載の式1で表すことができる。
Regarding the sample data for constructing the directional error model, the objective variable is the directional error (measured value), but the items of the explanatory variables are the same as those of the distance error model. That is, the explanatory variables for constructing the directional error model also include the distance, the azimuth, the illuminance, and the posture, and each explanatory variable is divided into a plurality of categories. Here, if the number of items of the explanatory variable is m, the number of categories of each item of the explanatory variable is n 1 , ... nm , and the number of samples is N, the distance error model and the orientation error model are first implemented. It can be expressed by the
第2実施例のセンサモデル生成装置20の構成は、第1実施例のセンサモデル生成装置20の構成(図3)と同様である。センサモデル生成装置20のモデル生成部38は、距離誤差モデルのサンプルデータに対する重回帰分析を行って、残差の平方和が最小になるように各説明変数の各カテゴリにかかるカテゴリ係数(重み)を導出する。モデル生成部38は、導出したカテゴリ係数を設定した回帰式(上記の式1)を距離誤差モデルとして生成し、距離誤差モデルのデータをモデル記憶部40に格納する。方位誤差モデルの生成方法も同様である。
The configuration of the sensor
また、第2実施例のセンサモデルは、車両に搭載された検知部による検知率(すなわち本来検知すべき対象物を検知できる割合)を推定するためのセンサモデル(以下「検知率モデル」とも呼ぶ。)をさらに含む。検知率モデルは、車両周辺の状態に関する複数項目の真値を説明変数とし、検知部による車両周辺の状態の検知有無を目的変数とする数理モデルである。 Further, the sensor model of the second embodiment is a sensor model for estimating the detection rate (that is, the rate at which an object that should be originally detected can be detected) by the detection unit mounted on the vehicle (hereinafter, also referred to as "detection rate model"). .) Is further included. The detection rate model is a mathematical model in which the true values of a plurality of items related to the state around the vehicle are used as explanatory variables, and the presence or absence of detection of the state around the vehicle by the detection unit is used as the objective variable.
図9は、検知率モデル構築のためのサンプルデータの例を示す。検知率モデル構築のための説明変数は、距離誤差モデルと同じである。すなわち、検知率モデル構築のための説明変数も、距離、方位、照度、姿勢を含み、各説明変数は複数のカテゴリに分けられている。検知率モデル構築のための目的変数は、検知OKの場合に「1」、検知NGの場合に「0」が設定される。 FIG. 9 shows an example of sample data for constructing a detection rate model. The explanatory variables for constructing the detection rate model are the same as those for the distance error model. That is, the explanatory variables for constructing the detection rate model also include the distance, the direction, the illuminance, and the posture, and each explanatory variable is divided into a plurality of categories. The objective variable for constructing the detection rate model is set to "1" when the detection is OK and "0" when the detection is NG.
第2実施例のセンサモデル生成装置20は、検知率モデルを生成するために、検知有無判定部をさらに備える。検知有無判定部は、誤差導出部32による誤差の導出に代えて、検知すべき対象物を画像解析部28(すなわちセンシングアルゴリズム)により検知したか否かを判定する。検知有無判定部は、検知したと判定した場合、サンプルデータに検知OKを示す「1」を設定し、検知しなかったと判定した場合、サンプルデータに検知NGを示す「0」を設定する。
The sensor
センサモデル生成装置20のモデル生成部38は、距離誤差モデルおよび方位誤差モデルと同様の方法にて検知率モデルを生成する。具体的には、モデル生成部38は、検知率モデルのサンプルデータに対する重回帰分析を行って、残差の平方和が最小になるように各説明変数の各カテゴリにかかるカテゴリ係数(重み)を導出する。モデル生成部38は、導出したカテゴリ係数を設定した回帰式(上記の式1)を検知率モデルとして生成し、検知率モデルのデータをモデル記憶部40に格納する。実施例の検知率モデルは、検知可能性が低いほど0に近い値を出力し、検知可能性が高いほど1に近い値を出力する。
The
変形例として、検知対象物の姿勢ごとに大量のサンプルデータが収集されてもよい。モデル生成部38は、姿勢ごとにサンプルデータを分類し、分類後のサンプルデータをもとに、距離d、方位θ、照度lの組合せごとの検知率(例えば平均値)を導出してもよい。モデル生成部38は、姿勢ごと、かつ、距離d、方位θ、照度lの組合せごとに検知率を並べた表(ここでは「検知率表」と呼ぶ。)を生成してもよい。図10は、ある姿勢についての検知率表の例を示す。
As a modification, a large amount of sample data may be collected for each posture of the detection object. The
モデル生成部38は、姿勢ごとの検知率表を用いて、距離、方位、照度を係数とする多項式近似曲線を検知対象物の姿勢ごとに生成してもよい。この多項式近似曲線は式2で表すことができる。
モデル生成部38は、多項式近似により式2のa1、a2、b1、b2、c1、c2、d0を導出してもよい。モデル生成部38は、検知対象物の複数の姿勢に対応する複数の多項式近似曲線(式2)を複数の検知率モデルとしてモデル記憶部40に格納してもよい。この変形例の車両シミュレーションでは、複数の検知率モデルのうち検知対象物の姿勢に対応する検知率モデルを用いて検知率を推定する。
The
第2実施例の車両シミュレーションシステム110の構成は、第1実施例の車両シミュレーションシステム110の構成(図4)と同様である。また、第2実施例のセンサモデル部50の構成も、第1実施例のセンサモデル部50の構成(図5)と同様である。第2実施例のセンサモデル部50は、車両周辺の状態を検知する検知部について、シミュレーション制御部10からシミュレーションのパラメータとして車両周辺の状態の真値が与えられた場合に上記検知部による車両周辺の状態の検知結果を推定する推定部として機能する。
The configuration of the
具体的には、センサモデル部50の誤差導出部56は、シミュレーションのパラメータとしての車両周辺の状態の真値を距離誤差モデルへ入力し、距離誤差モデルからの出力として距離誤差を取得する。また、誤差導出部56は、シミュレーションのパラメータとしての車両周辺の状態の真値を方位誤差モデルへ入力し、方位誤差モデルからの出力として方位誤差を取得する。シミュレーションのパラメータは、検知部から検知対象物までの距離と方位、車両周辺の照度、検知対象物の姿勢についてそれぞれの真値を含む。
Specifically, the
センサモデル部50の模擬値導出部58は、第1実施例と同様に、誤差導出部56により取得された誤差を、シミュレーションにおける車両周辺の状態の真値に加算することで、検知部による検知結果の推定値を導出する。例えば、模擬値導出部58は、誤差導出部56により取得された距離誤差を、シミュレーションにおける検知部から検知対象物までの距離真値に加算することで、検知部により検知される距離の推定値を導出する。また、模擬値導出部58は、誤差導出部56により取得された方位誤差を、シミュレーションにおける検知部に対する検知対象物の方位真値に加算することで、検知部により検知される方位の推定値を導出する。
Similar to the first embodiment, the simulated
また、センサモデル部50の模擬値導出部58は、シミュレーションのパラメータとしての車両周辺の状態の真値を検知率モデルへ入力し、検知部による検知率の推定値を導出する。例えば、模擬値導出部58は、シミュレーションのパラメータとして車両周辺の照度、検知対象物の姿勢を検知率モデルへ入力し、さらに、検知部から検知対象物までの距離と方位の複数パターンの組み合わせを検知率モデルへ入力することにより、検知率モデルからの出力として、距離と方位の組み合わせパターンごとの検知率推定値を取得する。すなわち、模擬値導出部58は、距離と方位の複数パターンの組み合わせに対応する複数個の検知率推定値を取得する。
Further, the simulated
模擬値導出部58は、シミュレーションの結果として、(1)距離推定に関する情報、(2)方位推定に関する情報、(3)検知率推定に関する情報をシミュレーション制御部10へ出力する。(1)距離推定に関する情報は、検知部により検知される距離の推定値、シミュレーションにおける距離の真値、距離誤差の値、距離誤差の内訳を含む。(2)方位推定に関する情報は、検知部により検知される方位の推定値、シミュレーションにおける方位の真値、方位誤差の値、方位誤差の内訳を含む。(3)検知率推定に関する情報は、距離と方位の複数パターンの組み合わせに対応する複数個の検知率推定値を含む。
As a result of the simulation, the simulated
距離誤差の内訳は、距離誤差モデルにおける複数のカテゴリに対する複数のカテゴリ係数のうち、距離誤差の導出において使用されたカテゴリのカテゴリ係数(言い換えれば車両周辺状態の真値が該当するカテゴリのカテゴリ係数であり、以下「有効カテゴリ係数」と呼ぶ。)を含む。実施例での距離誤差の内訳は、距離誤差モデルにおける説明変数の項目名称(例えば「距離」、「方位」等)と有効カテゴリ係数の組を複数組含む。同様に、方位誤差の内訳は、方位誤差モデルにおける複数のカテゴリに対する複数のカテゴリ係数のうち、方位誤差の導出において使用されたカテゴリのカテゴリ係数(言い換えれば車両周辺状態の真値が該当するカテゴリのカテゴリ係数(有効カテゴリ係数)を含む。実施例での方位誤差の内訳は、方位誤差モデルにおける説明変数の項目名称と有効カテゴリ係数の組を複数組含む。 The breakdown of the distance error is the category coefficient of the category used in deriving the distance error (in other words, the category coefficient of the category to which the true value of the vehicle surrounding state corresponds) among the multiple category coefficients for multiple categories in the distance error model. Yes, and includes (hereinafter referred to as "effective category coefficient"). The breakdown of the distance error in the embodiment includes a plurality of sets of the item names (for example, "distance", "direction", etc.) of the explanatory variables in the distance error model and the effective category coefficients. Similarly, the breakdown of the azimuth error is the category coefficient of the category used in deriving the azimuth error (in other words, the true value of the vehicle surrounding state) among the multiple category coefficients for the plurality of categories in the azimuth error model. The categorical coefficient (effective categorical coefficient) is included. The breakdown of the azimuth error in the embodiment includes a plurality of sets of the item name of the explanatory variable and the effective categorical coefficient in the azimuth error model.
第2実施例のシミュレーション制御部10は、車両シミュレーションの結果を示す画像を生成する機能を含む。図11は、第2実施例のシミュレーション制御部10の機能ブロックを示すブロック図である。シミュレーション制御部10は、パラメータ取得部120、パラメータ入力部122、模擬値取得部124、結果画像生成部126、表示制御部128を備える。
The
図11に示す複数の機能ブロックの機能が実装された複数のモジュールを含むコンピュータプログラムが、車両シミュレーションシステム110のストレージに記憶されてもよい。車両シミュレーションシステム110のCPU(またはシステム内の装置のCPU)は、このコンピュータプログラムをメインメモリに読み出して実行することにより、図11に示す各機能ブロックの機能を発揮してもよい。また、図11に示す複数の機能ブロックの複数の機能は、複数個の装置に分散されてもよく、それら複数個の装置がシステムとして連携することで実現されてもよい。さらにまた、図11に示す複数の機能ブロックの複数の機能は、単一の装置に集約されてもよい。
A computer program including a plurality of modules in which the functions of the plurality of functional blocks shown in FIG. 11 are implemented may be stored in the storage of the
パラメータ取得部120は、ユーザインタフェース12(ユーザ端末等)に対してユーザ(開発者や試験者等)が入力したシミュレーションのパラメータを取得する。シミュレーションのパラメータは、所定の記憶部に予め格納されてもよく、パラメータ取得部120は、その記憶部からシミュレーションのパラメータを読み出してもよい。既述したように、シミュレーションのパラメータは、検知部から検知対象物までの距離と方向、車両周辺の照度、検知対象物の姿勢を含む。
The
パラメータ入力部122は、パラメータ取得部120により取得されたシミュレーションのパラメータをセンサモデル部50へ出力することにより、センサモデル部50にシミュレーション処理を実行させる。既述したように、センサモデル部50は、シミュレーション制御部10から入力されたシミュレーションのパラメータを距離誤差モデル、方位誤差モデル、検知率モデルに入力し、各モデルの出力値を含むシミュレーション結果をシミュレーション制御部10へ出力する。
The
模擬値取得部124は、センサモデル部50による車両シミュレーションの結果を取得する。具体的には、模擬値取得部124は、センサモデル部50から出力された上述の(1)距離推定に関する情報、(2)方位推定に関する情報、(3)検知率推定に関する情報を取得する。
The simulated
結果画像生成部126は、模擬値取得部124により取得されたシミュレーション結果をもとに、そのシミュレーション結果を示す画像(以下「シミュレーション結果画像」とも呼ぶ。)を生成する。結果画像生成部126は、シミュレーション結果画像に含まれる後述の複数の要素を生成する。例えば、結果画像生成部126は、シミュレーション結果画像として、シミュレーションにおける車両周辺の状態の真値と、車両の検知部による検知結果の推定値とを異なる態様で示す画像を生成する。
The result
表示制御部128は、結果画像生成部126により生成されたシミュレーション結果画像のデータを表示装置(実施例ではユーザインタフェース12)へ出力し、シミュレーション結果画像を表示装置に表示させる。
The
シミュレーション結果画像について詳細に説明する。図12は、シミュレーション結果画像の例を示す。シミュレーション結果画像140は、複数の要素として、車両画像141、検知位置画像142、真位置画像144、距離誤差インジケータ146、方位誤差インジケータ148、検知範囲画像150を含む。車両画像141は、シミュレーション対象の検知部を搭載した車両を示す画像である。
The simulation result image will be described in detail. FIG. 12 shows an example of a simulation result image. The
検知位置画像142は、検知部が検知対象物を検知する位置(シミュレーションにより推定された位置であり、「検知位置」と呼ぶ。)を示す画像である。結果画像生成部126は、シミュレーション結果に含まれる距離推定値および方位推定値に基づいて検知位置を求め、その検知位置に検知位置画像142を配置する。真位置画像144は、シミュレーションにおける検知対象物の真の位置(「真位置」と呼ぶ。)を示す画像である。結果画像生成部126は、シミュレーションパラメータとしての距離真値および方位真値に基づいて真位置を求め、その真位置に真位置画像144を配置する。
The
また、検知位置画像142は、検知位置と、車両画像141の検知部の位置とを結ぶ線を含む。また、真位置画像144は、真位置と、車両画像141の検知部の位置とを結ぶ線を含む。結果画像生成部126は、検知位置画像142と真位置画像144とを異なる態様に設定し、言い換えれば、検知位置画像142と真位置画像144の外観を異ならせる。例えば、検知位置画像142と真位置画像144には、異なる態様の図形、線、または塗りつぶしが設定されてもよい。また、検知位置画像142と真位置画像144には、異なる色彩や、異なるサイズ、点線・実線の違い、陰影の有無の違いが設定されてもよい。これにより、シミュレーション結果において、検知位置と真位置とを直観的に区別でき、その違いを容易に把握することができる。
Further, the
距離誤差インジケータ146は、検知位置と真位置との距離誤差の大きさを示す画像である。距離誤差インジケータ146は、検知位置と、車両画像141の検知部の位置とを結ぶ線の長さと、真位置と、車両画像141の検知部の位置とを結ぶ線の長さとの差分を強調態様(注意喚起色や太線等)で示すものである。結果画像生成部126は、シミュレーション結果の距離誤差に応じて距離誤差インジケータ146を設定する。これにより、シミュレーション結果において、距離誤差の把握を容易なものにできる。
The
方位誤差インジケータ148は、検知位置と真位置との方位誤差の大きさを示す画像である。方位誤差インジケータ148は、車両画像141の検知部の位置から検知位置への方位と、車両画像141の検知部の位置から真位置への方位との差分を強調態様(注意喚起色や太線等)で示すものである。結果画像生成部126は、シミュレーション結果の方位誤差に応じて方位誤差インジケータ148を設定する。これにより、シミュレーション結果において、方位誤差の把握を容易なものにできる。
The
検知範囲画像150は、車両の検知部による検知範囲を示す画像である。実施例のシミュレーション制御部10は、検知部の種類や製品特性に応じて予め定まる検知部の検知範囲のデータを予め記憶する検知範囲記憶部(不図示)をさらに備える。結果画像生成部126は、車両の検知部の検知範囲のデータを記憶部から取得し、その検知範囲(図12では扇形の範囲)を示す検知範囲画像150を生成する。結果画像生成部126は、検知範囲の各位置の色を検知部による検知率に応じた色に設定する。これにより、車両シミュレーション結果において、対象物の位置により異なりうる検知率の把握を容易なものにできる。
The
具体的には、結果画像生成部126は、車両シミュレーション結果としての距離と方位の複数パターンの組み合わせに対応する複数個の検知率推定値にしたがって、検知範囲の各位置の検知率推定値を特定する。結果画像生成部126は、検知率推定値が相対的に低い位置には相対的に明度が低い色(暗い色)を設定する一方、検知率推定値が相対的に高い位置には相対的に明度が高い色(明るい色)を設定する。言い換えれば、結果画像生成部126は、検知率推定値が低い位置ほど、その位置に設定する色の明度を低くし、検知率推定値が高い位置ほど、その位置に設定する色の明度を高くする。図13の検知範囲画像150は、検知部の光軸152近傍では検知率が高く、検知範囲の端付近では検知率が低いことを示している。
Specifically, the result
また、シミュレーション結果画像140は、ユーザの所定操作に応じて、真位置と検知位置との差の内訳をさらに表示するよう構成される。図13は、シミュレーション結果画像の例を示す。同図は、シミュレーション結果画像140において方位誤差インジケータ148を選択する操作が入力された場合に、方位誤差の内訳を示す画像である誤差内訳154が表示されることを示している。例えば、結果画像生成部126は、シミュレーション結果画像のデータとともにユーザインタフェース12へ提供する表示制御スクリプトコード(JavaScript(登録商標)等)に、方位誤差インジケータ148がマウスオーバーされた場合に誤差内訳154をポップアップ表示させるコードを設定してもよい。
Further, the
なお、シミュレーション結果画像140は、距離誤差インジケータ146が選択された場合、距離誤差の内訳を示す誤差内訳154を表示させるよう構成される。
The
第2実施例における誤差内訳154は、距離誤差モデルまたは方位誤差モデルにおける複数項目の説明変数それぞれの重みを示すものである。既述したように、センサモデル部50から出力されるシミュレーション結果は、距離誤差の内訳として、距離誤差モデルにおける説明変数の項目名称と有効カテゴリ係数の組を複数組含む。また、シミュレーション結果は、方位誤差の内訳として、方位誤差モデルにおける説明変数の項目名称と有効カテゴリ係数の組を複数組含む。結果画像生成部126は、距離誤差モデルにおける各説明変数の有効カテゴリ係数の比率を示すように距離誤差の内訳を示す誤差内訳154を生成する。結果画像生成部126は、方位誤差モデルにおける各説明変数の有効カテゴリ係数の比率を示すように方位誤差の内訳を示す誤差内訳154を生成する。誤差内訳154の表示により、検知位置と真位置との差を生じさせた要因をユーザに分かり易く提示することができる。
The
図13の誤差内訳154では、各説明変数の有効カテゴリ係数の比率を円グラフで示したが、誤差内訳154は、異なる種類の統計図表を含んでもよい。図14は、各説明変数の有効カテゴリ係数の比率を積み上げ棒グラフにより示す誤差内訳156の表示例を示している。図14の誤差内訳156は、方位誤差と距離誤差の両方の内訳を示す。この場合、方位誤差インジケータ148と距離誤差インジケータ146のどちらが選択された場合にも同じ内容の誤差内訳156を表示させてもよい。なお、誤差内訳は、モデルの各説明変数の有効カテゴリ係数の比率以外の情報を示すものでもよい。例えば、誤差内訳は、モデルの各説明変数の名称のみを示すものであってもよく、また、方位誤差の値または距離誤差の値を示すものであってもよい。
In the
以上、本開示を第2実施例をもとに説明した。第2実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。 The present disclosure has been described above based on the second embodiment. The second embodiment is an example, and it will be understood by those skilled in the art that various modifications are possible for each component or combination of each processing process, and that such modifications are also within the scope of the present disclosure.
上記第2実施例では、シミュレーション結果画像をユーザインタフェース12へ提供して表示させたが、変形例として、シミュレーション結果画像を所定の記憶装置に記憶させてもよい。例えば、シミュレーション制御部10は、表示制御部128に代えて、または表示制御部128とともに、複数シチュエーションの車両シミュレーションの結果を示す複数のシミュレーション結果画像140を所定の記憶部に記憶させる結果画像保存部(不図示)をさらに備えてもよい。表示制御部128は、記憶部に記憶された複数のシミュレーション結果画像のうちユーザから指定された1つ以上のシミュレーション結果画像をユーザインタフェース12に表示させてもよい。
In the second embodiment, the simulation result image is provided to the
第2実施例および変形例に記載の技術は、以下の項目によって特定されてもよい。
[項目2−1]
車両の周辺の状態を検知する検知部について、シミュレーションのパラメータとして前記車両の周辺の状態の真値が与えられた場合に前記検知部による前記車両の周辺の状態の検知結果を推定する推定部と、
前記シミュレーションの結果を示す画像として、前記車両の周辺の状態の真値と、前記検知部による検知結果の推定値の両方を含み、前記真値と前記推定値とを異なる態様で示す画像を生成する生成部と、
を備える車両シミュレーションシステム。
この車両シミュレーションシステムによると、車両の周辺の状態の真値と、検知部による検知結果(推定値)との比較が容易なシミュレーション結果を提供できる。これにより、例えば、検知部が用いる検知アルゴリズムの評価や改善を一層効果的に支援することができる。
[項目2−2]
前記シミュレーションの結果を示す画像は、前記真値と前記推定値との差を示す画像をさらに含む、
項目2−1に記載の車両シミュレーションシステム。
この車両シミュレーションシステムによると、車両の周辺の状態の真値と、検知部による検知結果(推定値)との差を直観的に把握可能なシミュレーション結果を提供できる。
[項目2−3]
前記シミュレーションの結果を示す画像は、所定の操作に応じて、前記真値と前記推定値との差の内訳をさらに表示するよう構成される、
項目2−1または2−2に記載の車両シミュレーションシステム。
この車両シミュレーションシステムによると、車両の周辺の状態の真値と、検知部による検知結果(推定値)との差の詳細を把握可能なシミュレーション結果を提供できる。
[項目2−4]
前記推定部は、前記車両の周辺の状態に関する複数項目の真値を説明変数とし、前記検知部による前記車両の周辺の状態の検知結果と真値との差を目的変数とするセンサモデルに、シミュレーションのパラメータとして前記車両の周辺の状態に関する複数項目の真値を入力することにより前記検知部による検知結果を推定し、
前記真値と前記推定値との差の内訳は、複数項目の説明変数の重みを示すものである、
項目2−3に記載の車両シミュレーションシステム。
この車両シミュレーションシステムによると、車両の周辺の状態の真値と、検知部による検知結果(推定値)との差を生じさせた主な要因を把握可能なシミュレーション結果を提供できる。
[項目2−5]
前記生成部は、前記シミュレーションの結果を示す画像として、前記検知部による検知範囲を示す画像をさらに生成し、前記検知範囲の各位置の色を、前記検知部による検知率に応じた色に設定する、
項目1から4のいずれかに記載の車両シミュレーションシステム。
この車両シミュレーションシステムによると、検知部による検知範囲と検知率を直観的に把握可能なシミュレーション結果を提供できる。
[項目2−6]
車両の周辺の状態を検知する検知部について、シミュレーションのパラメータとして前記車両の周辺の状態の真値が与えられた場合に前記検知部による前記車両の周辺の状態の検知結果を推定し、
前記シミュレーションの結果を示す画像として、前記車両の周辺の状態の真値と、前記検知部による検知結果の推定値の両方を含み、前記真値と前記推定値とを異なる態様で示す画像を生成する、
ことをコンピュータが実行する車両シミュレーション方法。
この車両シミュレーション方法によると、車両の周辺の状態の真値と、検知部による検知結果(推定値)との比較が容易なシミュレーション結果を提供できる。これにより、例えば、検知部が用いる検知アルゴリズムの評価や改善を一層効果的に支援することができる。
[項目2−7]
車両の周辺の状態を検知する検知部について、シミュレーションのパラメータとして前記車両の周辺の状態の真値が与えられた場合に前記検知部による前記車両の周辺の状態の検知結果を推定し、
前記シミュレーションの結果を示す画像として、前記車両の周辺の状態の真値と、前記検知部による検知結果の推定値の両方を含み、前記真値と前記推定値とを異なる態様で示す画像を生成する、
ことをコンピュータに実行させるためのコンピュータプログラム。
このコンピュータプログラムによると、車両の周辺の状態の真値と、検知部による検知結果(推定値)との比較が容易なシミュレーション結果を提供できる。これにより、例えば、検知部が用いる検知アルゴリズムの評価や改善を一層効果的に支援することができる。
The techniques described in the second embodiment and the modifications may be specified by the following items.
[Item 2-1]
Regarding the detection unit that detects the state around the vehicle, the estimation unit that estimates the detection result of the state around the vehicle by the detection unit when the true value of the state around the vehicle is given as a simulation parameter. ,
As an image showing the result of the simulation, both the true value of the state around the vehicle and the estimated value of the detection result by the detection unit are included, and an image showing the true value and the estimated value in different modes is generated. Generation part and
Vehicle simulation system with.
According to this vehicle simulation system, it is possible to provide a simulation result that makes it easy to compare the true value of the state around the vehicle with the detection result (estimated value) by the detection unit. Thereby, for example, it is possible to more effectively support the evaluation and improvement of the detection algorithm used by the detection unit.
[Item 2-2]
The image showing the result of the simulation further includes an image showing the difference between the true value and the estimated value.
The vehicle simulation system according to item 2-1.
According to this vehicle simulation system, it is possible to provide a simulation result that can intuitively grasp the difference between the true value of the state around the vehicle and the detection result (estimated value) by the detection unit.
[Item 2-3]
The image showing the result of the simulation is configured to further display the breakdown of the difference between the true value and the estimated value according to a predetermined operation.
The vehicle simulation system according to item 2-1 or 2-2.
According to this vehicle simulation system, it is possible to provide a simulation result capable of grasping the details of the difference between the true value of the state around the vehicle and the detection result (estimated value) by the detection unit.
[Item 2-4]
The estimation unit uses the true values of a plurality of items related to the surrounding state of the vehicle as explanatory variables, and uses the difference between the detection result of the peripheral state of the vehicle and the true value as the objective variable in the sensor model. By inputting the true values of a plurality of items related to the surrounding state of the vehicle as simulation parameters, the detection result by the detection unit is estimated.
The breakdown of the difference between the true value and the estimated value indicates the weights of the explanatory variables of a plurality of items.
The vehicle simulation system according to item 2-3.
According to this vehicle simulation system, it is possible to provide a simulation result capable of grasping the main factors that caused the difference between the true value of the state around the vehicle and the detection result (estimated value) by the detection unit.
[Item 2-5]
The generation unit further generates an image showing the detection range by the detection unit as an image showing the result of the simulation, and sets the color of each position of the detection range to a color corresponding to the detection rate by the detection unit. do,
The vehicle simulation system according to any one of
According to this vehicle simulation system, it is possible to provide a simulation result that can intuitively grasp the detection range and the detection rate by the detection unit.
[Item 2-6]
Regarding the detection unit that detects the state around the vehicle, when the true value of the state around the vehicle is given as a simulation parameter, the detection result of the state around the vehicle is estimated by the detection unit.
As an image showing the result of the simulation, both the true value of the state around the vehicle and the estimated value of the detection result by the detection unit are included, and an image showing the true value and the estimated value in different modes is generated. do,
A vehicle simulation method in which a computer performs that.
According to this vehicle simulation method, it is possible to provide a simulation result that makes it easy to compare the true value of the state around the vehicle with the detection result (estimated value) by the detection unit. Thereby, for example, it is possible to more effectively support the evaluation and improvement of the detection algorithm used by the detection unit.
[Item 2-7]
Regarding the detection unit that detects the state around the vehicle, when the true value of the state around the vehicle is given as a simulation parameter, the detection result of the state around the vehicle is estimated by the detection unit.
As an image showing the result of the simulation, both the true value of the state around the vehicle and the estimated value of the detection result by the detection unit are included, and an image showing the true value and the estimated value in different modes is generated. do,
A computer program that lets a computer do things.
According to this computer program, it is possible to provide a simulation result that makes it easy to compare the true value of the state around the vehicle with the detection result (estimated value) by the detection unit. Thereby, for example, it is possible to more effectively support the evaluation and improvement of the detection algorithm used by the detection unit.
<第3実施例>
本実施例に関して、第1実施例、第2実施例と相違する点を中心に以下説明し、共通する点の説明を省略する。本実施例の構成要素のうち第1実施例、第2実施例の構成要素と同一または対応する構成要素には同一の符号を付して説明する。なお、第3実施例では、シミュレーションの単位を「フレーム」とも呼ぶ。複数フレームは、一連のシミュレーションのシナリオに沿った同じ時間軸上での複数回のシミュレーションを意味する。
<Third Example>
The present embodiment will be described below focusing on the differences from the first embodiment and the second embodiment, and the common points will be omitted. Among the components of this embodiment, the components that are the same as or correspond to the components of the first embodiment and the second embodiment will be described with the same reference numerals. In the third embodiment, the unit of simulation is also referred to as a "frame". Multiple frames mean multiple simulations on the same time axis along a series of simulation scenarios.
第3実施例の車両シミュレーションシステム110の構成は、図4に示す第1実施例および第2実施例の車両シミュレーションシステム110の構成と同じである。第3実施例の車両シミュレーションシステム110は、第1実施例および第2実施例の車両シミュレーションシステム110と同様に、センサモデルを用いて検知部によるセンシング結果を推定する。また、第3実施例の車両シミュレーションシステム110は、複数種類のセンサモデル(第3実施例では距離誤差モデル、方位誤差モデル)により推定された複数種類の誤差に関する情報を時系列に表示させる。これにより、車両のセンシングシステム、車両の制御システムやセンシングアルゴリズムの評価や課題抽出、改善に貢献する
The configuration of the
図15は、第3実施例のセンサモデル部50の機能ブロックを示すブロック図である。センサモデル部50は、モデル記憶部40、タグ量子化部52、真値量子化部54、誤差導出部56、模擬値導出部58、出力部160を備える。
FIG. 15 is a block diagram showing a functional block of the
これら複数の機能ブロックの機能が実装されたコンピュータプログラムが、車両シミュレーションシステム110のストレージに記憶されてもよい。車両シミュレーションシステム110のCPU(またはシステム内の装置のCPU)は、このコンピュータプログラムをメインメモリに読み出して実行することにより、図15に示す各機能ブロックの機能を発揮してもよい。また、図15に示す複数の機能ブロックは、複数個の装置に分散されてもよく、それら複数個の装置がシステムとして連携することで実現されてもよい。さらにまた、図15に示す複数の機能ブロックは、単一の装置に集約されてもよい。図16に関連して後述する、シミュレーション制御部10の複数の機能ブロックも同様である。
A computer program in which the functions of the plurality of functional blocks are implemented may be stored in the storage of the
モデル記憶部40は、車両周辺の状態を検知する検知部について、車両周辺の状態の真値を説明変数とし、上記検知部による車両周辺の状態の検知結果と真値との誤差を目的変数とする誤差モデルであって、異なる種類の誤差を目的変数とする複数の誤差モデルを記憶する。第3実施例では、モデル記憶部40は、複数の誤差モデルとして、第2実施例で説明した距離誤差モデルと方位誤差モデルを記憶する。さらにモデル記憶部40は、第2実施例で説明した検知率モデルも記憶する。
The
タグ量子化部52、真値量子化部54、誤差導出部56、模擬値導出部58は、第2実施例のタグ量子化部52、真値量子化部54、誤差導出部56、模擬値導出部58と同様であるため詳細な説明を省略する。誤差導出部56は、シミュレーションのパラメータとしての車両周辺の状態の真値を複数の誤差モデルに入力することにより、複数の誤差モデルの目的変数である複数種類の誤差(第3実施例では距離誤差と方位誤差)を導出する機能を含む。
The
出力部160は、誤差導出部56により導出された距離誤差(第2実施例に記載の距離誤差の内訳を含む)と方位誤差(第2実施例に記載の方位誤差の内訳を含む)をシミュレーション制御部10へ出力する。また、出力部160は、模擬値導出部58により導出された、検知部により検知される距離の推定値(以下「距離推定値」)と、検知部により検知される方位の推定値(以下「方位推定値」)と、検知率推定値とをシミュレーション制御部10へ出力する。
The
図16は、第3実施例のシミュレーション制御部10の機能ブロックを示すブロック図である。第3実施例のシミュレーション制御部10は、第2実施例のシミュレーション制御部10に対応し、検知部によるセンシングの模擬結果を取得し、その模擬結果をユーザに提示する。第3実施例のシミュレーション制御部10は、パラメータ取得部120、パラメータ入力部122、模擬結果記憶部162、モデル推定値取得部164、合計誤差導出部166、画像生成部168、画像提供部170を備える。
FIG. 16 is a block diagram showing a functional block of the
模擬結果記憶部162は、センサモデルを用いて得られた誤差や推定値を含むデータであり、後述の模擬結果画像180を生成するためのデータ(以下「模擬結果データ」とも呼ぶ。)を記憶する。第3実施例の模擬結果データは、シミュレーションにおいて検知すべき対象物(歩行者等)ごとに、時間経過に伴う複数フレームそれぞれの、距離誤差およびその内訳、方位誤差およびその内訳、距離推定値、方位推定値、合計誤差(後述)を含む。また、模擬結果データは、複数フレームそれぞれの、距離と方位の複数パターンの組み合わせに対応する複数個の検知率推定値を含む。なお、模擬結果記憶部162は、センサモデルに入力されたシミュレーションのパラメータであり、すなわち、シミュレーションにおいて検知すべき対象物ごとの、各フレームにおける真値(距離真値および方位真値)も記憶する。
The simulated
パラメータ取得部120とパラメータ入力部122は、第2実施例のパラメータ取得部120とパラメータ入力部122と同様である。ただし、第3実施例では、パラメータ取得部120は、時間経過に伴う複数フレーム分のシミュレーションのパラメータを取得する。また、パラメータ取得部120は、シミュレーションのパラメータを模擬結果記憶部162に格納する。パラメータ入力部122は、複数フレーム分のシミュレーションのパラメータをセンサモデル部50に入力する。各フレームのシミュレーションのパラメータは、検知すべき複数の物体(検知対象物)に関する真値を含む。
The
第2実施例に記載したように、シミュレーションのパラメータは、検知部から検知対象物までの距離と方位、車両周辺の照度、検知対象物の姿勢それぞれの真値(シミュレーションにおける真値)を含む。複数フレーム分のパラメータ間では、検知対象物と車両との位置関係(例えば距離と方位)が少しずつ変化していく。センサモデル部50は、シミュレーション制御部10から入力された、検知対象物ごとの、複数フレーム分のシミュレーションのパラメータを距離誤差モデル、方位誤差モデル、検知率モデルに入力する。センサモデル部50は、各モデルの出力値を含む、検知対象物ごとの、複数フレーム分のシミュレーション結果をシミュレーション制御部10へ出力する。
As described in the second embodiment, the simulation parameters include the true values (true values in the simulation) of the distance and direction from the detection unit to the detection target, the illuminance around the vehicle, and the posture of the detection target. The positional relationship between the detection target and the vehicle (for example, distance and direction) changes little by little between the parameters for a plurality of frames. The
モデル推定値取得部164は、センサモデル部50から出力されたシミュレーション結果であり、具体的には、検知対象物ごとの、複数フレームそれぞれの、距離誤差およびその内訳、方位誤差およびその内訳、距離推定値、方位推定値を模擬結果記憶部162に格納する。また、モデル推定値取得部164は、複数フレームそれぞれの、距離と方位の複数パターンの組み合わせに対応する複数個の検知率推定値を模擬結果記憶部162に格納する。
The model estimation
合計誤差導出部166は、検知対象物ごとに、複数フレームのそれぞれにおける複数種類の誤差を統合した複数フレームそれぞれの全体誤差を導出する。図17は、或る検知対象物に関する全体誤差の導出例を示す。図17の各行は、1つのフレームで導出された距離誤差e1と方位誤差e2を示している。第3実施例では、合計誤差導出部166は、距離誤差e1と方位誤差e2のそれぞれを、最大値が1、最小値が0なるようスケーリングする。図17では、スケーリング後の距離誤差をe1’、スケーリング後の方位誤差をe2’で示している。
The total
続いて合計誤差導出部166は、スケーリング後の距離誤差e1’と、スケーリング後の方位誤差をe2’とを重みを付けて正規化(第3実施例では合計する)ことにより、各フレームにおける全体的な誤差の大きさを示す指標値である統合誤差eを算出する。e1’とe2’それぞれの重みであるw1とw2は、各種類の誤差の重視度合いに応じて定められる。例えば、距離誤差を重視する場合、w1=0.6、w2=0.4であってもよい。また、w1とw2の合計を1とするため、統合誤差eは0以上1以下の値になる。
Subsequently, the total
合計誤差導出部166は、検知対象物ごと、かつフレームごとの距離誤差e1と方位誤差e2とをもとに、検知対象物ごと、かつフレームごとの全体誤差を導出する。合計誤差導出部166は、検知対象物ごと、かつフレームごとの全体誤差を模擬結果記憶部162に格納する。
The total
図16に戻り、画像生成部168は、模擬結果記憶部162に記憶された模擬結果データをもとに、検知部の性能や特性を示す模擬結果画像のデータを生成する。画像提供部170は、画像生成部168により生成された模擬結果画像のデータを、ユーザインタフェース12を介してユーザ端末(PCやスマートフォン、タブレット端末等)へ出力し、ユーザ端末に模擬結果画像を表示させる。
Returning to FIG. 16, the
以上の構成による車両シミュレーションシステム110の動作を説明する。
ユーザは、複数フレーム分の車両シミュレーションのシナリオをユーザ端末に入力する。環境データ生成部14は、ユーザ端末に入力されたシミュレーションのシナリオを、ユーザインタフェース12を介して取得する。環境データ生成部14は、シミュレーションのシナリオにしたがって、複数の検知対象物の、複数フレーム分の真値データとタグデータ(以下「シミュレーションパラメータ」とも呼ぶ。)を生成する。環境データ生成部14は、複数の検知対象物の、複数フレーム分のシミュレーションパラメータをシミュレーション制御部10へ出力する。
The operation of the
The user inputs a vehicle simulation scenario for a plurality of frames into the user terminal. The environment
シミュレーション制御部10のパラメータ取得部120は、環境データ生成部14で生成された、複数の検知対象物の、複数フレーム分のシミュレーションパラメータを受け付ける。パラメータ入力部122は、複数の検知対象物の、複数フレーム分のシミュレーションパラメータをセンサモデル部50へ入力する。センサモデル部50は、検知対象物ごとに、複数フレーム分のシミュレーションパラメータを距離誤差モデル、方位誤差モデル、および検知率モデルに入力し、これらのモデルの出力値(目的変数値)を含む複数フレーム分のシミュレーション結果をシミュレーション制御部10へ出力する。
The
シミュレーション制御部10のモデル推定値取得部164は、センサモデル部50から出力された複数フレーム分のシミュレーション結果を受け付け、模擬結果記憶部162に格納する。合計誤差導出部166は、検知対象物ごとに、各フレームのシミュレーション結果に含まれる距離誤差と方位誤差とをもとに各フレームの合計誤差を導出し、模擬結果記憶部162に格納する。
The model estimation
ユーザが車両シミュレーションの結果を確認すべき際、ユーザ端末は、ユーザの操作に応じて、車両シミュレーション結果を車両シミュレーションシステム100に要求する。シミュレーション制御部10の画像生成部168は、ユーザインタフェース12を介して、ユーザ端末からの要求を受け付け、模擬結果記憶部162に記憶されたデータをもとに模擬結果画像を生成する。画像提供部170は、画像生成部168により生成された模擬結果画像を、ユーザインタフェース12を介してユーザ端末へ送信し、ユーザ端末に模擬結果画像を表示させる。
When the user should confirm the result of the vehicle simulation, the user terminal requests the vehicle simulation result from the
図18は、模擬結果画像の例を示す。模擬結果画像180は、複数種類の誤差(第3実施例では距離誤差183および方位誤差184)を統合した全体誤差182の時系列での推移を示す誤差推移画像181を含む。画像生成部168は、複数フレームそれぞれの距離誤差、方位誤差、全体誤差を時間軸185に並べることにより誤差推移画像181を生成する。ここでの距離誤差と方位誤差は、スケーリング後かつ重み付け後の値であり、図17の(e1’×w1)と(e2’×w2)に対応する。このように、センシングにおける全体誤差の時系列での推移を示すことにより、検知部およびセンシングアルゴリズムの性能や特性を判りやすくユーザに提示できる。
FIG. 18 shows an example of a simulated result image. The
また、画像生成部168は、誤差推移画像181において、全体誤差182に占める距離誤差183の成分と方位誤差184の成分とを異なる態様(例えば異なる模様や色彩)に設定する。これにより、全体誤差182に占める複数種類の誤差の成分比を判りやすくユーザに提示できる。
Further, the
また、画像生成部168は、時間軸185上の或る時間位置において複数種類の誤差のうち少なくとも一部の誤差が所定値以上である場合、あるいは、検知率推定値に基づいて生成された推定結果が「検知できない」である場合、その時間位置において車両周辺の状態が検知漏れであることを示すオブジェクト(図18の検知漏れ区間186)を誤差推移画像181上に配置する。これにより、車両シミュレーションの期間において対象物を検知できなかった時間位置を判りやすくユーザに提示できる。
Further, the
また、シミュレーション制御部10の模擬結果記憶部162に記憶される模擬結果データには、検知対象物ごとに、誤検知(存在しない検知対象物を検知すること)が発生した時間位置も記録される。画像生成部168は、誤検知が発生した時間位置において誤検知が発生したことを示すオブジェクト(図18の誤検知区間188)を誤差推移画像181上に配置する。また、画像生成部168は、検知漏れ区間186と誤検知区間188とを異なる態様(例えば異なる模様や色彩)に設定する。これにより、車両シミュレーションの期間において誤検知が発生した時間位置を判りやすくユーザに提示できる。
Further, in the simulation result data stored in the simulation
図19も、模擬結果画像の例を示す。画像生成部168は、車両シミュレーションにおける複数の検知対象物の中からユーザが特定の検知対象物を選択した場合、選択された検知対象物に対する全体誤差182(距離誤差183と方位誤差184を含む)の時系列での推移を示す誤差推移画像181を生成する。
FIG. 19 also shows an example of a simulated result image. When the user selects a specific detection target from a plurality of detection targets in the vehicle simulation, the
具体的には、画像生成部168は、複数の検知対象物(例えば歩行者1、歩行者2等)の中からいずれかの検知対象物を選択可能なプルダウンメニュー190を模擬結果画像180に配置する。例えば、歩行者1に対する全体誤差182を示す模擬結果画像180がユーザ端末に表示された状況で、ユーザがプルダウンメニュー190にて歩行者2を選択した場合、画像生成部168は、歩行者2が選択されたことを、ユーザインタフェース12を介して受け付ける。画像生成部168は、歩行者2に対する全体誤差182の推移を示す模擬結果画像180を新たに生成する。画像提供部170は、新たに生成された模擬結果画像180をユーザ端末へ送信して表示させる。
Specifically, the
これにより、複数の検知対象物に対するシミュレーション結果を、ユーザの操作に応じて切り替えて表示させることができ、検知対象物の種類や位置に応じた検知部の性能や特性を判りやすくユーザに提示できる。 As a result, the simulation results for a plurality of detection objects can be switched and displayed according to the user's operation, and the performance and characteristics of the detection unit according to the type and position of the detection object can be presented to the user in an easy-to-understand manner. ..
図20も、模擬結果画像の例を示す。画像生成部168は、模擬結果画像180において或る時間位置(図20では時間位置192)が指定された場合、その時間位置における車両周辺の状態の真値と、検知部による車両周辺の状態の検知結果の推定値とを模擬結果記憶部162から取得し、その真値と推定値とを異なる態様で示す新たな画像を生成する。第3実施例における上記の新たな画像は、図20の誤差詳細画像194である。図20の誤差詳細画像194は、プルダウンメニュー190で選択された歩行者2の位置の真値と、検知部による歩行者2の位置の検知結果を示している。
FIG. 20 also shows an example of a simulated result image. When a certain time position (
第3実施例の誤差詳細画像194は、図12〜図14に示した第2実施例のシミュレーション結果画像140と同じ内容を含む。例えば、誤差詳細画像194において距離誤差インジケータまたは方位誤差インジケータがユーザにより選択された場合、距離誤差の内訳または方位誤差の内訳が表示される。画像生成部168は、第2実施例におけるシミュレーション結果画像140の生成と同じ方法で誤差詳細画像194を生成する。画像提供部170は、画像生成部168により生成された誤差詳細画像194をユーザ端末へ送信して、誤差推移画像181と誤差詳細画像194の両方を含む模擬結果画像180をユーザ端末に表示させる。
The
図21も、模擬結果画像の例を示す。模擬結果画像180に対してユーザから所定の操作(例えば真値の表示を指示する操作)が入力された場合、画像生成部168は、ユーザインタフェース12を介してその操作を受け付ける。画像生成部168は、全体誤差182の時系列での推移と、車両周辺の状態の真値の時系列での推移とを同じ時間軸185に沿って並べた新たな模擬結果画像180を生成する。画像提供部170は、画像生成部168により生成された新たな模擬結果画像180をユーザ端末へ送信して表示させる。
FIG. 21 also shows an example of a simulated result image. When a predetermined operation (for example, an operation for instructing the display of a true value) is input to the
図21の模擬結果画像180(上記の新たな模擬結果画像180)は、距離真値推移196を含む。距離真値推移196は、1つの検知対象物について、車両からの距離真値の時系列での推移を示している。誤差推移画像181と距離真値推移196とを同じ時間軸185に並べて提示することにより、ユーザによるシミュレーション結果の分析を支援することができる。図21の例では、(1)車両と検知対象物との距離が遠い場合に検知漏れが発生すること、(2)車両と検知対象物との距離が近くなるほど、距離の検知誤差が小さくなる傾向があること、を把握することができる。
The
図22も、模擬結果画像の例を示す。図22の模擬結果画像180(上記の新たな模擬結果画像180)は、方位真値推移198を含む。方位真値推移198は、1つの検知対象物について、車両(検知部)からの方位真値の時系列での推移を示している。誤差推移画像181と方位真値推移198とを同じ時間軸185に並べて提示することにより、ユーザによるシミュレーション結果の分析を支援することができる。図22の例では、(1)検知対象物が検知部の画角の端に位置するときに検知漏れが多いこと、(2)検知対象物が検知部の画角の中央(光軸方向)に寄るほど、方位の検知誤差が小さくなる傾向があること、を把握することができる。
FIG. 22 also shows an example of a simulated result image. The
なお、距離真値推移196および方位真値推移198の内容は、プルダウンメニュー190で選択された検知対象物に応じて切り替えられてよい。例えば、画像生成部168は、プルダウンメニュー190で特定の検知対象物が選択された場合、選択された検知対象物に関する距離真値推移196または方位真値推移198を生成し、誤差推移画像181と並べて表示させてもよい。
The contents of the distance
以上、本開示を第3実施例をもとに説明した。第3実施例は例示であり、各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。 The present disclosure has been described above based on the third embodiment. The third embodiment is an example, and it will be understood by those skilled in the art that various modifications are possible for each component or combination of each processing process, and that such modifications are also within the scope of the present disclosure.
第1変形例を説明する。上記第3実施例の車両シミュレーションシステム100は、車両のセンシングシミュレーションにおいて距離誤差モデルと方位誤差モデルを用い、距離誤差、方位誤差、およびこれらに基づく全体誤差を含む模擬結果画像180を生成した。変形例として、他の種類の誤差モデルを用い、他の種類の誤差を示す模擬結果画像180を生成してもよい。
The first modification will be described. The
例えば、車両のセンシングシミュレーションは、駐車枠の検知に関するものであってもよい。この場合、駐車枠の左端点の距離誤差を目的変数とする左距離誤差モデルと、駐車枠の右端点の距離誤差を目的変数とする右距離誤差モデルと、駐車枠の枠方向の方位誤差を目的変数とする方位誤差モデルを用いてもよい。そして、左端点の距離誤差、右端点の距離誤差、枠方向の方位誤差、およびこれらに基づく全体誤差を含む模擬結果画像180を生成してもよい。
For example, the vehicle sensing simulation may relate to the detection of a parking frame. In this case, the left distance error model with the distance error of the left end point of the parking frame as the objective variable, the right distance error model with the distance error of the right end point of the parking frame as the objective variable, and the orientation error in the frame direction of the parking frame are used. An orientation error model as an objective variable may be used. Then, a
また、車両シミュレーションシステムは、静止物体の検知に関するものであってもよい。この場合、静止物体の中心点の位置誤差を目的変数とする中心点位置誤差モデル、静止物体の幾何情報(形状等)の誤差を目的変数とする幾何誤差モデルと、静止物体のサイズの誤差を目的変数とするサイズ誤差モデルを用いてもよい。そして、中心点の位置誤差、幾何情報の誤差、サイズの誤差、およびこれらに基づく全体誤差を含む模擬結果画像180を生成してもよい。
Further, the vehicle simulation system may be related to the detection of a stationary object. In this case, the center point position error model with the position error of the center point of the stationary object as the objective variable, the geometric error model with the error of the geometric information (shape, etc.) of the stationary object as the objective variable, and the size error of the stationary object are used. A size error model as an objective variable may be used. Then, a
第2変形例を説明する。センサモデルの説明変数は、実施例に例示したものに限られない。例えば、車両の検知部のSfM(Structure from Motion)機能に関するセンサモデル(距離誤差モデルや方位誤差モデル等)では、車両の速度や角速度等の車両移動情報を説明変数に含めてもよい。 A second modification will be described. The explanatory variables of the sensor model are not limited to those illustrated in the examples. For example, in a sensor model (distance error model, orientation error model, etc.) related to the SfM (Structure from Motion) function of the vehicle detection unit, vehicle movement information such as vehicle speed and angular velocity may be included in the explanatory variables.
第3変形例を説明する。第3実施例の模擬結果画像180では、図19に示すように、複数の検知対象物のうち選択された検知対象物についての全体誤差182、距離誤差183、方位誤差184を表示させた。変形例として、画像生成部168は、複数の検知対象物それぞれの全体誤差182、距離誤差183、方位誤差184を同時に表示する模擬結果画像180を生成してもよい。または、画像生成部168は、複数の検知対象物の全体誤差182、距離誤差183、方位誤差184の平均値を表示する模擬結果画像180を生成してもよい。
A third modification will be described. In the
第3実施例および変形例に記載の技術は、以下の項目によって特定されてもよい。
[項目3−1]
車両周辺の状態を検知する検知部について、前記車両周辺の状態の真値を説明変数とし、前記検知部による前記車両周辺の状態の検知結果と前記真値との誤差を目的変数とするモデルであって、異なる種類の誤差を目的変数とする複数のモデルを記憶する記憶部と、
シミュレーションのパラメータとしての前記車両周辺の状態の真値を前記複数のモデルに入力することにより、前記複数のモデルの目的変数である複数種類の誤差を導出する導出部と、
前記複数種類の誤差を統合した全体誤差の時系列での推移を示す画像を生成する生成部と、
を備える車両シミュレーションシステム。
この車両シミュレーションシステムによると、検知部の性能や特性を把握容易なシミュレーション結果を提供できる。これにより、例えば、検知部が用いる検知アルゴリズムの評価や改善を一層効果的に支援することができる。
[項目3−2]
前記生成部は、前記画像として、前記全体誤差に占める前記複数種類の誤差それぞれの成分を異なる態様で示す画像を生成する、
項目3−1に記載の車両シミュレーションシステム。
この車両シミュレーションシステムによると、全体誤差に占める複数種類の誤差それぞれの成分を判りやすく提示でき、検知部の性能や特性を一層判りやすく提示することができる。
[項目3−3]
前記生成部は、或る時間位置において前記複数種類の誤差のうち少なくとも一部の誤差が所定値以上である場合、前記画像として、前記時間位置において前記車両周辺の状態が検知漏れであることを示す画像を生成する、
項目3−1または3−2に記載の車両シミュレーションシステム。
この車両シミュレーションシステムによると、シミュレーション期間における検知漏れの区間を提示でき、検知部の性能や特性を一層判りやすく提示することができる。
[項目3−4]
前記生成部は、前記画像において或る時間位置が指定された場合、その時間位置における前記車両周辺の状態の真値と、前記検知部による前記車両周辺の状態の検知結果の推定値とを異なる態様で示す新たな画像を生成する、
項目3−1から3−3のいずれかに記載の車両シミュレーションシステム。
この車両シミュレーションシステムによると、車両の周辺の状態の真値と、検知部による検知結果(推定値)との比較が容易なシミュレーション結果をさらに提供でき、検知部が用いる検知アルゴリズムの評価や改善を一層効果的に支援することができる。
[項目3−5]
前記シミュレーションのパラメータは、検知すべき複数の物体に関する真値を含み、
前記生成部は、前記複数の物体の中からユーザが特定の物体を選択した場合、選択された物体に対する全体誤差の時系列での推移を示す画像を生成する、
項目3−1から3−4のいずれかに記載の車両シミュレーションシステム。
この車両シミュレーションシステムによると、検知すべき物体ごとの全体誤差の推移を提示でき、検知部の性能や特性を判りやすく提示することができる。
[項目3−6]
前記生成部は、前記画像として、前記全体誤差の時系列での推移と、前記車両周辺の状態の真値の時系列での推移とを同じ時間軸に並べた画像を生成する、
項目3−1から3−5のいずれかに記載の車両シミュレーションシステム。
この車両シミュレーションシステムによると、全体誤差の推移と真値の推移とを比較容易なシミュレーション結果を提供でき、検知部の性能や特性を一層判りやすく提示することができる。
[項目3−7]
車両周辺の状態を検知する検知部について、前記車両周辺の状態の真値を説明変数とし、前記検知部による前記車両周辺の状態の検知結果と前記真値との誤差を目的変数とするモデルであって、異なる種類の誤差を目的変数とする複数のモデルを記憶する記憶部にアクセス可能なコンピュータが、
シミュレーションのパラメータとしての前記車両周辺の状態の真値を前記複数のモデルに入力することにより、前記複数のモデルの目的変数である複数種類の誤差を導出し、 前記複数種類の誤差を統合した全体誤差の時系列での推移を示す画像を生成する、
ことを実行する車両シミュレーション方法。
この車両シミュレーション方法によると、検知部の性能や特性を把握容易なシミュレーション結果を提供できる。これにより、例えば、検知部が用いる検知アルゴリズムの評価や改善を一層効果的に支援することができる。
[項目3−8]
車両周辺の状態を検知する検知部について、前記車両周辺の状態の真値を説明変数とし、前記検知部による前記車両周辺の状態の検知結果と前記真値との誤差を目的変数とするモデルであって、異なる種類の誤差を目的変数とする複数のモデルを記憶する記憶部にアクセス可能なコンピュータに、
シミュレーションのパラメータとしての前記車両周辺の状態の真値を前記複数のモデルに入力することにより、前記複数のモデルの目的変数である複数種類の誤差を導出し、
前記複数種類の誤差を統合した全体誤差の時系列での推移を示す画像を生成する、
ことを実行させるコンピュータプログラム。
このコンピュータプログラムによると、検知部の性能や特性を把握容易なシミュレーション結果を提供できる。これにより、例えば、検知部が用いる検知アルゴリズムの評価や改善を一層効果的に支援することができる。
The techniques described in the third embodiment and the modifications may be specified by the following items.
[Item 3-1]
For the detection unit that detects the state around the vehicle, the true value of the state around the vehicle is used as an explanatory variable, and the error between the detection result of the state around the vehicle and the true value by the detection unit is used as the objective variable. There is a storage unit that stores multiple models with different types of errors as objective variables,
By inputting the true value of the state around the vehicle as a simulation parameter into the plurality of models, a derivation unit for deriving a plurality of types of errors which are objective variables of the plurality of models, and a derivation unit.
A generation unit that generates an image showing the transition of the total error in time series by integrating the plurality of types of errors, and
Vehicle simulation system with.
According to this vehicle simulation system, it is possible to provide simulation results that make it easy to grasp the performance and characteristics of the detection unit. Thereby, for example, it is possible to more effectively support the evaluation and improvement of the detection algorithm used by the detection unit.
[Item 3-2]
The generation unit generates, as the image, an image showing the components of the plurality of types of errors in the total error in different modes.
The vehicle simulation system according to item 3-1.
According to this vehicle simulation system, the components of each of a plurality of types of errors in the total error can be presented in an easy-to-understand manner, and the performance and characteristics of the detection unit can be presented in an easy-to-understand manner.
[Item 3-3]
When at least a part of the plurality of types of errors is equal to or greater than a predetermined value at a certain time position, the generation unit indicates that the state around the vehicle at the time position is a detection omission as the image. Generate the image to show,
The vehicle simulation system according to item 3-1 or 3-2.
According to this vehicle simulation system, it is possible to present a section of detection omission during the simulation period, and it is possible to present the performance and characteristics of the detection unit in an easy-to-understand manner.
[Item 3-4]
When a certain time position is specified in the image, the generation unit differs between the true value of the state around the vehicle at that time position and the estimated value of the detection result of the state around the vehicle by the detection unit. Generate a new image shown in the embodiment,
The vehicle simulation system according to any one of items 3-1 to 3-3.
According to this vehicle simulation system, it is possible to further provide a simulation result that makes it easy to compare the true value of the state around the vehicle with the detection result (estimated value) by the detection unit, and evaluate and improve the detection algorithm used by the detection unit. We can support more effectively.
[Item 3-5]
The simulation parameters include true values for multiple objects to be detected.
When the user selects a specific object from the plurality of objects, the generation unit generates an image showing the transition of the total error with respect to the selected object in time series.
The vehicle simulation system according to any one of items 3-1 to 3-4.
According to this vehicle simulation system, the transition of the overall error for each object to be detected can be presented, and the performance and characteristics of the detection unit can be presented in an easy-to-understand manner.
[Item 3-6]
As the image, the generation unit generates an image in which the transition of the total error in the time series and the transition of the true value of the state around the vehicle in the time series are arranged on the same time axis.
The vehicle simulation system according to any one of items 3-1 to 3-5.
According to this vehicle simulation system, it is possible to provide a simulation result that makes it easy to compare the transition of the total error and the transition of the true value, and it is possible to present the performance and characteristics of the detection unit in an easy-to-understand manner.
[Item 3-7]
For the detection unit that detects the state around the vehicle, the true value of the state around the vehicle is used as an explanatory variable, and the error between the detection result of the state around the vehicle and the true value by the detection unit is used as the objective variable. There is a computer that can access a storage unit that stores multiple models with different types of errors as objective variables.
By inputting the true value of the state around the vehicle as a simulation parameter into the plurality of models, a plurality of types of errors, which are the objective variables of the plurality of models, are derived, and the entire of the plurality of types of errors is integrated. Generate an image showing the transition of errors over time,
A vehicle simulation method to do that.
According to this vehicle simulation method, it is possible to provide a simulation result that makes it easy to grasp the performance and characteristics of the detection unit. Thereby, for example, it is possible to more effectively support the evaluation and improvement of the detection algorithm used by the detection unit.
[Item 3-8]
For the detection unit that detects the state around the vehicle, the true value of the state around the vehicle is used as an explanatory variable, and the error between the detection result of the state around the vehicle and the true value by the detection unit is used as the objective variable. A computer that can access a storage unit that stores multiple models with different types of errors as objective variables.
By inputting the true value of the state around the vehicle as a simulation parameter into the plurality of models, a plurality of types of errors, which are the objective variables of the plurality of models, are derived.
An image showing the transition of the total error in time series by integrating the plurality of types of errors is generated.
A computer program that lets you do things.
According to this computer program, it is possible to provide a simulation result that makes it easy to grasp the performance and characteristics of the detection unit. Thereby, for example, it is possible to more effectively support the evaluation and improvement of the detection algorithm used by the detection unit.
上述した実施例および変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施例および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施例および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。 Any combination of the examples and modifications described above is also useful as an embodiment of the present disclosure. The new embodiments resulting from the combination have the effects of the combined examples and the modifications. It is also understood by those skilled in the art that the functions to be fulfilled by each of the constituent elements described in the claims are realized by a single component or a cooperation thereof shown in the examples and modifications.
10 シミュレーション制御部、 12 ユーザインタフェース、 40 モデル記憶部、 50 センサモデル部、 56 誤差導出部、 58 模擬値導出部、 110 車両シミュレーションシステム、 166 合計誤差導出部、 168 画像生成部、 170 画像提供部。 10 Simulation control unit, 12 User interface, 40 Model storage unit, 50 Sensor model unit, 56 Error derivation unit, 58 Simulated value derivation unit, 110 Vehicle simulation system, 166 Total error derivation unit, 168 Image generation unit, 170 Image provision unit ..
Claims (8)
シミュレーションのパラメータとしての前記車両周辺の状態の真値を前記複数のモデルに入力することにより、前記複数のモデルの目的変数である複数種類の誤差を導出する導出部と、
前記複数種類の誤差を統合した全体誤差の時系列での推移を示す画像を生成する生成部と、
を備える車両シミュレーションシステム。 For the detection unit that detects the state around the vehicle, the true value of the state around the vehicle is used as an explanatory variable, and the error between the detection result of the state around the vehicle and the true value by the detection unit is used as the objective variable. There is a storage unit that stores multiple models with different types of errors as objective variables,
By inputting the true value of the state around the vehicle as a simulation parameter into the plurality of models, a derivation unit for deriving a plurality of types of errors which are objective variables of the plurality of models, and a derivation unit.
A generation unit that generates an image showing the transition of the total error in time series by integrating the plurality of types of errors, and
Vehicle simulation system with.
請求項1に記載の車両シミュレーションシステム。 As the image, the generation unit generates an image showing the components of the plurality of types of errors in the total error in different modes.
The vehicle simulation system according to claim 1.
請求項1または2に記載の車両シミュレーションシステム。 When at least a part of the plurality of types of errors is equal to or greater than a predetermined value at a certain time position, the generation unit indicates that the state around the vehicle at the time position is a detection omission as the image. Generate the image to show,
The vehicle simulation system according to claim 1 or 2.
請求項1から3のいずれかに記載の車両シミュレーションシステム。 When a certain time position is specified in the image, the generation unit differs between the true value of the state around the vehicle at that time position and the estimated value of the detection result of the state around the vehicle by the detection unit. Generate a new image shown in the embodiment,
The vehicle simulation system according to any one of claims 1 to 3.
前記生成部は、前記複数の物体の中からユーザが特定の物体を選択した場合、選択された物体に対する全体誤差の時系列での推移を示す画像を生成する、
請求項1から4のいずれかに記載の車両シミュレーションシステム。 The simulation parameters include true values for multiple objects to be detected.
When the user selects a specific object from the plurality of objects, the generation unit generates an image showing the transition of the total error with respect to the selected object in time series.
The vehicle simulation system according to any one of claims 1 to 4.
請求項1から5のいずれかに記載の車両シミュレーションシステム。 As the image, the generation unit generates an image in which the transition of the total error in the time series and the transition of the true value of the state around the vehicle in the time series are arranged on the same time axis.
The vehicle simulation system according to any one of claims 1 to 5.
シミュレーションのパラメータとしての前記車両周辺の状態の真値を前記複数のモデルに入力することにより、前記複数のモデルの目的変数である複数種類の誤差を導出し、
前記複数種類の誤差を統合した全体誤差の時系列での推移を示す画像を生成する、
ことを実行する車両シミュレーション方法。 For the detection unit that detects the state around the vehicle, the true value of the state around the vehicle is used as an explanatory variable, and the error between the detection result of the state around the vehicle and the true value by the detection unit is used as the objective variable. There is a computer that can access a storage unit that stores multiple models with different types of errors as objective variables.
By inputting the true value of the state around the vehicle as a simulation parameter into the plurality of models, a plurality of types of errors, which are the objective variables of the plurality of models, are derived.
An image showing the transition of the total error in time series by integrating the plurality of types of errors is generated.
A vehicle simulation method to do that.
シミュレーションのパラメータとしての前記車両周辺の状態の真値を前記複数のモデルに入力することにより、前記複数のモデルの目的変数である複数種類の誤差を導出し、
前記複数種類の誤差を統合した全体誤差の時系列での推移を示す画像を生成する、
ことを実行させるコンピュータプログラム。 For the detection unit that detects the state around the vehicle, the true value of the state around the vehicle is used as an explanatory variable, and the error between the detection result of the state around the vehicle and the true value by the detection unit is used as the objective variable. A computer that can access a storage unit that stores multiple models with different types of errors as objective variables.
By inputting the true value of the state around the vehicle as a simulation parameter into the plurality of models, a plurality of types of errors, which are the objective variables of the plurality of models, are derived.
An image showing the transition of the total error in time series by integrating the plurality of types of errors is generated.
A computer program that lets you do things.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020058790A JP7320756B2 (en) | 2020-03-27 | 2020-03-27 | Vehicle simulation system, vehicle simulation method and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020058790A JP7320756B2 (en) | 2020-03-27 | 2020-03-27 | Vehicle simulation system, vehicle simulation method and computer program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021154935A true JP2021154935A (en) | 2021-10-07 |
JP7320756B2 JP7320756B2 (en) | 2023-08-04 |
Family
ID=77916878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020058790A Active JP7320756B2 (en) | 2020-03-27 | 2020-03-27 | Vehicle simulation system, vehicle simulation method and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7320756B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024069690A1 (en) * | 2022-09-26 | 2024-04-04 | 日産自動車株式会社 | Driving assistance method and driving assistance device |
WO2024069689A1 (en) * | 2022-09-26 | 2024-04-04 | 日産自動車株式会社 | Driving assistance method and driving assistance device |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006021641A (en) | 2004-07-08 | 2006-01-26 | Nissan Motor Co Ltd | Vehicle periphery display device and its display method |
JP4557819B2 (en) | 2005-06-21 | 2010-10-06 | アルパイン株式会社 | Vehicle periphery information providing device |
JP5627261B2 (en) | 2010-03-25 | 2014-11-19 | 大和製衡株式会社 | Weighing device |
JP2014182112A (en) | 2013-03-21 | 2014-09-29 | Toyota Motor Corp | NOx CONCENTRATION MEASUREMENT APPARATUS |
JP2016157206A (en) | 2015-02-23 | 2016-09-01 | 株式会社日立製作所 | Symptom diagnosis system, symptom diagnosis method, and symptom diagnosis device |
JP2017215196A (en) | 2016-05-31 | 2017-12-07 | パナソニックIpマネジメント株式会社 | Radar device |
JP2020109386A (en) | 2018-12-28 | 2020-07-16 | パナソニックIpマネジメント株式会社 | Model generation device, vehicle simulation system, model generation method and computer program |
JP6609391B1 (en) | 2019-03-20 | 2019-11-20 | 株式会社 日立産業制御ソリューションズ | Prediction model creation device, prediction model creation method, and prediction model creation program |
JP7365633B2 (en) | 2019-09-30 | 2023-10-20 | パナソニックIpマネジメント株式会社 | Vehicle simulation system, vehicle simulation method and computer program |
JP7349626B2 (en) | 2019-12-27 | 2023-09-25 | パナソニックIpマネジメント株式会社 | Model generation device, vehicle simulation system, model generation method, vehicle simulation method, and computer program |
-
2020
- 2020-03-27 JP JP2020058790A patent/JP7320756B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024069690A1 (en) * | 2022-09-26 | 2024-04-04 | 日産自動車株式会社 | Driving assistance method and driving assistance device |
WO2024069689A1 (en) * | 2022-09-26 | 2024-04-04 | 日産自動車株式会社 | Driving assistance method and driving assistance device |
Also Published As
Publication number | Publication date |
---|---|
JP7320756B2 (en) | 2023-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113269073B (en) | Ship multi-target tracking method based on YOLO V5 algorithm | |
CN106767852B (en) | A kind of method, apparatus and equipment generating detection target information | |
US10832478B2 (en) | Method and system for virtual sensor data generation with depth ground truth annotation | |
CN106228125B (en) | Method for detecting lane lines based on integrated study cascade classifier | |
CN111563442A (en) | Slam method and system for fusing point cloud and camera image data based on laser radar | |
CN110069972A (en) | Automatic detection real world objects | |
US20190138848A1 (en) | Realistic sensor simulation and probabilistic measurement correction | |
CN110136186B (en) | Detection target matching method for mobile robot target ranging | |
JP7320756B2 (en) | Vehicle simulation system, vehicle simulation method and computer program | |
JP2020109602A (en) | Model generation device, vehicle simulation system, model generation method and computer program | |
CN110307903A (en) | A kind of method of the contactless temperature dynamic measurement of poultry privileged site | |
CN110909656B (en) | Pedestrian detection method and system integrating radar and camera | |
CN115424237A (en) | Forward vehicle identification and distance detection method based on deep learning | |
JP7365633B2 (en) | Vehicle simulation system, vehicle simulation method and computer program | |
JP7349626B2 (en) | Model generation device, vehicle simulation system, model generation method, vehicle simulation method, and computer program | |
CN117076928A (en) | Bridge health state monitoring method, device and system and electronic equipment | |
CN116665170A (en) | Training of target detection model, target detection method, device, equipment and medium | |
CN113822892B (en) | Evaluation method, device and equipment of simulated radar and computer storage medium | |
Daudt et al. | Learning to understand earth observation images with weak and unreliable ground truth | |
CN113656918A (en) | Four-rotor simulation test method applied to finished product elevated warehouse scene | |
CN114442808A (en) | Pose tracking module testing method, device, equipment, system and medium | |
JP7320755B2 (en) | Vehicle simulation system, vehicle simulation method and computer program | |
Tousi et al. | A new approach to estimate depth of cars using a monocular image | |
JP2020143920A (en) | Model generation device, vehicle simulation system, model generation method, vehicle simulation method, and computer program | |
CN117523428B (en) | Ground target detection method and device based on aircraft platform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220915 |
|
TRDD | Decision of grant or rejection written | ||
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230630 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230713 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7320756 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
SZ03 | Written request for cancellation of trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z03 |