JP6742802B2 - 対象物体の将来状態を計算により予測する方法の性能を向上するための方法、運転者支援システム、そのような運転者支援システムを備える車両、並びに対応するプログラムの記憶媒体及びプログラム - Google Patents

対象物体の将来状態を計算により予測する方法の性能を向上するための方法、運転者支援システム、そのような運転者支援システムを備える車両、並びに対応するプログラムの記憶媒体及びプログラム Download PDF

Info

Publication number
JP6742802B2
JP6742802B2 JP2016092932A JP2016092932A JP6742802B2 JP 6742802 B2 JP6742802 B2 JP 6742802B2 JP 2016092932 A JP2016092932 A JP 2016092932A JP 2016092932 A JP2016092932 A JP 2016092932A JP 6742802 B2 JP6742802 B2 JP 6742802B2
Authority
JP
Japan
Prior art keywords
prediction
vehicle
driver
behavior
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016092932A
Other languages
English (en)
Other versions
JP2016212872A (ja
Inventor
シュムドリッヒ イェンス
シュムドリッヒ イェンス
レバン スヴェン
レバン スヴェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Research Institute Europe GmbH
Original Assignee
Honda Research Institute Europe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Research Institute Europe GmbH filed Critical Honda Research Institute Europe GmbH
Publication of JP2016212872A publication Critical patent/JP2016212872A/ja
Application granted granted Critical
Publication of JP6742802B2 publication Critical patent/JP6742802B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4045Intention, e.g. lane change or imminent movement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/802Longitudinal distance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本発明は、物体の将来の状態を計算により予測する方法の性能を向上する方法に関する。また、本発明は、そのような方法を実行する対応する運転者支援システム、そのような運転支援システムを備える車両、並びにプログラム記憶媒体、及び対応するプログラム、に関する。
近年、運転者支援システムは、ますます使い勝手の良いものとなっている。車両コントロール(ブレーキ、スロットル、及び又はステアリングなど)のアクチュエーションに影響を与える機能が向上したことにより、運転者支援システムは、運転者を支援するためのパワフルな手段となった。ただし、もちろん、交通状況を正しく推定する能力については、限られたものとなっている。その結果、そのような運転者支援システムを備えたホスト車両がその一部となっているシーンについての評価が、誤ったものとなる場合があり得る。決定を行ったり車両運転に直接的な影響を与えることについて運転者支援を行うことが、道路上における安全、特に高密度な交通量状態での安全を増進し得ることは、間違いない。しかしながら、他方では、そのようなシステムが許容されるか否かは、“誤った”予測の回数が少ないこと、あるいは、車両制御との自動インタラクションがそのシーンについての運転者自身の解釈とは異なるようなものである回数が少ないこと、に強く依存する。
そのようなシステムがより許容されるようにするための一つのアプローチとして、対象物体により実行されると考えられる特定のタイプの挙動についての予測結果を生成する機能を有する、いわゆるコンテキストベース予測を生成することが行われている。このコンテキストベース予測は、いわゆる物理的予測をも用いる予測システムにおける第1の予測ステップである。物理的予測は、対象車両により実行されると予測される特定のタイプの挙動についての情報を含むコンテキストベース予測の結果を用い、且つ当該結果の正しさの確認または棄却の判断の基礎となる物理的な予測を実行して、予測方法全体における第2の予測ステップを構成する。そのようなシステムは、特許文献1に記載されている。そのようなシステムの利点は、対象物体の将来の移動挙動が、当該挙動が既に開始されたときにのみ判断されるのではなく、状況全体についての分析のみから発生しそうな挙動を特定し得る或る時点において、当該挙動が既に考慮され得ることである。例えば、他の車両が割り込んでくる可能性の高いレーン変更状況が早期に認識され、したがって、ホスト車両は、そのレーン変更が実際に開始される前に、警告を発したり自動的に減速を行って、急制動状況を回避することができる。
上述したように、そのようなシステムは、予測システムによる当該シーンについての解釈があまり頻繁に予測誤りを発生させることのない場合にのみ、ホスト車両の運転者により許容されることとなろう。当該システムは、特定の状況において運転者が持つ通常の意図(意向)又は当該運転者の実行する挙動が、予測システムの提案した挙動または実行した挙動と異なっていることを認識する能力を有する場合には、より許容されるものとなり得る。
欧州特許出願公開2562060(A1)号明細書
すなわち、対象物体の将来の状態を計算により予測する方法の性能を向上することが必要である。
本発明によると、本性能向上は、現在のシステム性能を分析し、例えば、予測結果の重みづけを行ったり、将来の予測サイクルにおいて予測アルゴリズムに用いるパラメータを適合させることにより、当該予測結果や予測アルゴリズムを適合させることで、実現される。そのような予測により対象物体の将来の状態を推定するため、まず、この対象物体を含む交通環境を表わすデータを取得する。これらのデータに基づき、少なくとも一つの予測ステップが実行される。
予測結果に基づき、当該結果を表し且つ推定された対象物体及び又は自車両の将来の状態を表す信号を生成する。この予測結果は、例えば、車両の位置、速度、加速度、挙動、軌道、及び制御動作の少なくとも一つを含む対象物体または自車両についての予測された将来状態についての情報を含む。
この信号は、例えば、ホスト車両の運転者が、その対象車両について予測された将来状態についてどのように反応すべきかを判断できるように、当該運転者に対し警告を示すのに用いられるか、又は自車両の運転を自律的に又は半自律的に制御するのに用いられ得る。
本発明によると、状況が更に展開したときに対象物体又は自車両が実際にどのような状態になるかが、観察(又は観測)される。その時点における観測された実際の状態と推定された将来状態との比較に基づいて、予測の品質が推定される。満足な品質が得られないときは、予測結果、及び又は予測アルゴリズムに用いられるパラメータの適合が行われる。
観測された実際の状態は、例えばスロットル、ステアリング、又はブレーキなどの制御器に対する運転者の操作などの、対象物体又は自車両の状態のいずれかであり得る。あるいは、対象物体の実際の位置、速度、挙動等であり得る。その後、観測された状態が、対象物体の状態についての予測とどの程度一致しているかが特定される。すなわち、予測の品質が評価される。その後、この品質の評価に基づいて、モデルパラメータが適合されて将来の予測サイクルに用いられるか、又は将来の予測サイクルにおける予測結果が適合される。
すなわち、予測結果と対象物体の実際の状態との間の類似性の分析、又は予測結果と当該予測結果に関連するホスト車両運転者の挙動との間の類似性の分析により、システムの性能(パフォーマンス)が向上(改善)され得る。この性能向上は、評価された品質を考慮に入れて、予測アルゴリズムのパラメータを適合するか、又は将来の予測サイクルの結果を適合することにより、達成される。
さらなる詳細及び態様については、従属請求項に記載される。
予測において少なくともコンテキストベース予測ステップ及び又は物理的予測ステップが実行されることが有利である。コンテキストベース予測ステップでは、対象物体が将来において特定の移動挙動を実行する確率が、推定される将来状態として算出される。この算出された確率に基づくコンテキストベース予測結果が、出力される。このコンテキストベース予測結果は、将来においてその対象車両が実行するであろう挙動の種類についての情報を提供する。例えば、上述したレーン変更状況では、対象車両についての、当該対象車両の運転者がレーン変更(すなわち、割り込み)を実行するか否かが出力される。物理的予測ステップでは、好ましくはコンテキストベース予測結果と、それに対応するパラメトリック軌道モデルと、を考慮して、例えば、推定される対象物体の将来状態としての当該対象物体の将来位置が推定される。物理的予測ステップは、出力として物理的予測結果を提供する。
予測される将来状態と観測された将来状態との不整合率(不一致率、mismatch rate)を特定することにより予測の品質を評価することは、有利である。そのような不整合率は、簡単に算出することができ、予測が状況の展開をどの程度の頻度で正しく推定しなかったかを測る客観的尺度を提供する。
予測結果を重み付けするための信頼度値が算出され得るか、及び又は物理的予測のパラメトリック軌道モデルに用いられるパラメータセットが補正される。当該重み付け又は補正されたパラメータセットは、将来において予測が実行されるときに用いられる。
好ましくは、当該信頼度値は、観測された実際の状態と予測結果との不整合率が予め定められた所定の閾値を超えている場合にのみ、重み付けされるか又は調整される。そのような閾値を設定することにより、予測システムの挙動を安定化し、単一の誤った予測に対して反応することを防止して、信頼性のある予測が実行されるようにすることができる。
さらに、偽陽性予測(誤検知的予測、false positive predictions)が発生した場合には、当該コンテキストベース予測からの予測結果がその後の処理に与える影響が低減されるように、予測結果の信頼度値が減少されることが好ましい。より少ない程度においてのみ当該予測結果が考慮されることとなるためである。偽陽性予測は、例えば、対象車両が割り込みを行うとの予測であって、実際には当該対象車両はその後に割り込みを行わなかったことが認識された、という場合の予測をいう。これに対し、発生しないと予測した特定の挙動が実際には発生してしまうというような偽陰性予測(見逃し的予測、false negative predictions)の場合には、当該コンテキストベース予測結果の信頼度値は増加されることが好ましい。偽陰性予測は、例えば、対象車両は割り込みを行わないという予測であって、実際には当該対象車両はその後に割り込みを行なったことが認識された、という場合の予測をいう。
さらに、実行される挙動及び実行されない挙動に関する予測を個別に改善すべく、特定の挙動についての偽陰性予測と偽陽性予測とに関する個別の不整合率を決定する。
誤った予測結果の原因を詳細に分析できるように、物理的予測結果による推定状態と整合する観測された実際の状態、コンテキストベース予測結果と整合するが物理的予測結果において推定された位置と整合しない観測された実際の状態、及びコンテキストベース予測結果と整合せず且つ推定された位置とも整合しない観測された実際の状態が、それぞれ個別に保存されることが、さらに好ましい。その後、これらの、対象車両について観測され保存された実際の状態に基づき、パラメータ最適化アルゴリズムが実行され得る。ただし、コンテキストベース予測アルゴリズムのパラメトリック軌道モデルのパラメータについてのパラメータ最適化が行われ得るだけでなく、当該最適化されたパラメータに基づいて予測される将来移動挙動を決定するための閾値も設定され得る。
最後に、パラメータの最適化に用いた観測された状態の数を制限することが好ましい。この制限は、観測された実際の状態を保存する時間期間を制限することや、対象車両について観測された挙動(例えば、当該対象車両の位置)の保存数を直接的に制限することにより、行うことができる。
本発明のさらなる態様及び特徴についての説明のため、以下では、添付図面に基づいて実施の形態の詳細を説明する。
一般的な予測システムのシステム概観図である。 運転者支援システムの性能を向上するための本方法を説明するための第1の状況を示す図である。 本発明の方法の実行について説明するための図である。 システム性能向上を実行するための他の手段を説明するための第2の状況を示す図である。 第2の状況に従って本方法を説明するための図である。 ホスト車両の運転者の操作に基づいた性能の向上について説明するための、第3の状況を示す図である。 状況3における本発明の方法について説明するための図である。 本予測システムの詳細を示す図である。
本システム及び方法の態様及び好ましい実施形態について詳細に説明する前に、本方法についての説明が、コンテキストベース予測ステップと物理的予測ステップを用いる2段階予測アルゴリズムを用いた対象物体についての移動挙動予測に基づいて行われる点に留意されたい。ただし、本方法は、単一の予測ステップのみを用いる予測についても用いることができる。さらに、以下に示す説明において、将来状態とは、挙動の種類、車両位置、及び車両制御動作をいう。ただし、もちろん、予測され及び又は観測され得る他の将来状態も、本発明の対象となり得る。さらに他の例として、速度も使用され得る。また、以下の説明は、車両運転を少なくとも部分的に自動制御する先進運転者支援システム(advanced driver assistance system)において本発明を用いることに関するものであることにも留意されたい。ただし、もちろん、本発明をそのような先進運転者支援システムにおいて実施することが必要であるということではない。
図1は、先進運転者支援システム1の概観図である。本システムは、少なくとも一つの対象物体(車両)についての、推定される将来状態の一例である将来移動挙動を予測するのに用いられる予測システム2を備え、及びグローバルシーンコンテキスト(GSC、global scene context)ユニット3を含む。図1に示すように、ホスト車両の交通環境に関する(又は、当該環境を表現する)データ10が、一つ又は複数のセンサ6.1、6.2、6.3、...から取得される。センサ6.1、6.2、...は、異なるタイプのセンサ又は同じタイプのセンサとすることができ、特に、ホスト車両の走行方向前方を観測できるように当該ホスト車両に搭載され得る。センサ6.1、6.2、6.3、...は、ホスト車両を含む複数の交通参加者間の互いの関係を特定できるように、相対的な速度、位置、又はその他の変数を測定するよう構成される。
交通環境に関するデータ10は、車車間(car-to-car)又は路車間(car-to-infrastructure)の通信手段7、無線交通サービス受信機8、カーナビゲーション手段9、GNSS受信機5などの情報ソースから取得したり、又はその他の、ホスト車両の交通環境の個々の情報要素(information elements)に関する外部の又は内部の(車載の)情報ソースとのインターフェースから取得するものとすることもできる。
交通環境を表現する取得されたデータ10は、予測システムユニット2へ出力される。予測システムユニット2は、予測結果15を車両アクチュエーション手段17へ出力する。これにより、当該予測結果15に基づいて、ステアリング、ブレーキ、又はスロットルなどのホスト車両の制御器が、直接的に作動されるか、又は図1においては不図示の制御ユニットを用いて作動されることとなる。通常、予測結果15に基づいて生成されるアクチュエーション信号(作動信号)は、スロットル制御及び又はブレーキ制御に用いられる。さらに、これに加えて又はこれに代えて、予測結果15は、運転者警告手段16(例えば、最も単純な例としては信号ランプ)から運転者警告を出力させる。
ホスト車両の交通環境を表現するデータ10が予測システムユニット2に出力されるほか、交通環境を表現するデータ10は、グローバルシーンコンテキスト評価ユニット(GSC評価ユニット)11にも出力され得る。GSC評価ユニット11は、そのデータを処理し、交通環境を表現するデータ10に基づいてグローバルシーンコンテキスト情報(GSC情報)12を生成する。
GSC評価ユニット11は、グローバルシーンコンテキストを特定するべく、交通環境を表現する入力データ10の個々の要素を分析する。例えば、GSC評価ユニット11は、センサ6.1、6.2、...により認識された全ての交通参加者の速度を分析して、車両についてのグローバルな速度制限を特定すべきか否かを判断する。
GSC情報12は、モジュレーション信号コンバータユニット(GSCコンバータユニット)13に出力される。ユニット13は、これを処理し、予測システムユニット2のための予測適合情報14を生成する。
コンバータユニット13は、GSC評価ユニット11から受信した推定されたGSC情報12から、予測をどのように修正するかについての具体的な情報を導出するよう構成されている。コンバータユニット13による出力は、例えば、予測システムユニット2における挙動予測ステップの結果を直接的に修正するためのパラメータを含み得る。
予測システムユニット2は、交通環境に関する取得されたデータ10に基づいて直接指標を算出する直接指標算出ユニットを備える。交通環境を表現するデータ10は、位置、速度、...に関する情報を含み、コンテキストベース予測のための間接指標を算出するための間接指標算出ユニット(詳細は後述する)へ更に出力される。これらの間接指標は、間接指標算出ユニット内においてセンサ6.1、6.2、6.3の信号から算出された、従来技術に従い算出された間接指標を含み得る。指標の算出と交通物体についての挙動予測の実行とに関する情報については、以下において詳述する。
図3内の拡大詳細図において図示するように、直接指標は物理的予測ユニット24に提供され、間接指標は(及び、場合により直接指標も付加的に)予測システムユニット2のコンテキストベース予測ユニット23に提供される。コンテキストベース予測算出の結果は、その後、例えば検証のためや尤度チェックのため、物理的予測算出ユニット24へ出力される。最後に、予測システムユニット2により予測結果15が出力され、これにより、例えば運転者警告の通知が、対応する運転者警告ユニット16において実行されることとなる。予測結果15は、コンテキストベース予測結果、物理的予測結果、又はその両者、で構成され得る点に留意されたい。さらに、これに加えて又はこれに代えて、車両アクチュエーションユニット17に信号が出力され。当該車両アクチュエーションユニット17は、当該信号に基づき直接的に、又は予測システムユニット2が出力した信号を入力として受信する制御ユニットにより、作動され得る。通常は、当該出力信号を用いて、スロットル制御及び又はブレーキ制御が行われる。
以下において詳述するように、本発明は、特に(ただし、これに限定することなく)、運転者支援システム1の性能を向上し得る。これまで説明したようなシステムは、予測精度の点で本来的に限界がある。予測結果が実際の交通状況の展開により良く一致するように本システムを向上させるため、本システムは、さらに、観測状態メモリ(図示の実施形態では、観測された挙動を保存するメモリ18)、及び又は運転者動作観測手段19、及びシステム評価器20を備える。以下に詳述するように、メモリ18を用いて、交通状況の実際の展開が予測結果と整合(一致)するか否かに関して分析され得るように、例えば位置データなどの取得されたデータが保存される。これは、システム評価器20により実行される。すなわち、システム評価器20では、予測結果と交通状況の実際の展開との一致が分析されて、予測の品質が評価される。
これに代えて、例えば運転者がスロットル(アクセル)を踏んだか否かといった運転者動作を観測するものとしてもよい。これにより、そのような運転者の挙動が予測結果に対応するものか否か、又は当該運転者挙動が、予測結果に基づいて運転者支援システム1により提案され又は制御された動作に反するものであるか否かが、判断される。
予測結果に関連して、対象車両の実際の状態(例えば、対象車両の挙動)や自車両の実際の状態を分析することにより、運転者支援システムは、自身の性能に関して最適される。すなわち、予測精度が向上する。実際の状態としての運転者動作を、予測結果に基づいて提案され又は実行された動作と比較することにより、システム性能が、個々の運転者の要望を考慮しつつ改善される。以下においてこれら2つの態様について詳細に説明するが、それらの詳細な説明を行う前に、まず、好ましい予測アルゴリズム及び本発明についての理解のため、関連語句の簡単な定義を示した後、コンテキストベース予測と物理的予測とについて説明する。
〔定義〕
ホスト車両: ホスト車両とは、交通状況の中に存在する車両であって、本発明に従う運転者支援システムを備え、且つ、センサと、他の交通車両の可能性のある将来挙動の計算を可能とするコンピューティングシステムと、を備えた車両である。
センサ: センサは、或る時点における交通シーンを表現するための適切な情報を出力することのできる何らかの手段であり得る。そのようなセンサは、カメラ、レーダ、ライダ(lidar)等であり得る。
対象物体(対象車両):対象物体又は対象車両とは、少なくとも一つのセンサを用いて情報を生成することにより観測される、将来挙動の推測対象である物体又は車両である。
xi t: 時刻tにおける対象物体iであり、
Figure 0006742802
で表わされる。ここで、
Figure 0006742802
は、それぞれ、時刻tにおける物体iの横方向位置と縦方向(長さ方向)位置、
Figure 0006742802
は、それぞれ、時刻tにおける物体iの横方向速度と縦方向(長さ方向)速度、
Figure 0006742802
は、それぞれ、時刻tにおける物体iの横方向加速度と縦方向(長さ方向)加速度、である。
St: 時刻tにおけるシーン(「状況」又は「場面」ともいう)を表し、当該シーンには、時刻tにおいて認知されている全ての交通物体(traffic object)と道路環境(レーン、レーンマーキング、交通標識、交通信号灯、など)が含まれる。
B={b}: 交通物体(“参加者(participant)”)が行う挙動の集合(セット)である。以下では、交通参加者xi tが時刻tで行う挙動を、bi t∈Bを用いて表わす。
〔指標〕
次の指標I
Figure 0006742802
を、次式に示す関数の集合として定義する。
Figure 0006742802
ここで、vj t は、時刻tにおける対象車両の将来又は実行中の挙動についての情報を運ぶ測定可能な変数であり、cj t は、変数vj tの正しさについての信頼度である。信頼度cj tは、Stの全ての要素のセンサ信頼度(sensor confidence)を結合して得られ、vj t の計算に際して評価される。ここで、センサ信頼度とは、検出された情報の信頼性を表わす数値である。一般性を失うことなく、指標は、vj t∈[0,1]となるように定義することができる。すなわち、vj t の値は、例えばフェルミ関数を用いることにより、0と1の間に正規化される。そのような正規化は、後述するように、指標を組み合わせる際に有用となる。
直接指標と間接指標とを区別して説明する。
〔直接指標 ID⊂I〕
直接指標は、検出対象とすべき挙動が開始されたときに、かつ、その時にのみ、観測することのできる変数を提供する。例えば、レーン変更を予測する場合の直接指標は、横方向速度、レーンに対する横方向相対位置、レーンに対する相対的な方向変化、又は、他の交通参加者に対する相対的な方向変化である。
このような方向は常に観測が可能であるが、方向変化は車両がレーンを変更しつつあるときに観測される。レーン変更を行う場合、車両はヨー軸の周りで回転するためである。横方向速度は、時間と共に変化する横方向の位置の変化であるので、位置の変化が検出される。
〔間接指標 II⊂I〕
間接指標は、予測された挙動が開始される前に観測が可能となっている変数を提供する。間接指標は、次式に示すように、直接指標の集合以外の、他の全ての可能な指標の集合として定義される。
Figure 0006742802
間接指標には、以下に示す2つのタイプがある。
1.第1のタイプは、少なくとも一つの交通参加者と一つ又は複数の他の交通参加者又は静的なシーン要素(static scene elements)との間の関係についての情報に関するものである。
例えば、以下に示す指標の少なくとも一つを用いることができる:
≪左ギャップ適合(fitting-left-gap)≫
Figure 0006742802
は、xi tの位置、速度、及び長さに適合するギャップ空間が、左レーンで利用可能となっているか又は間もなく利用可能となるときに、値
Figure 0006742802
を出力する。
ここで、xi tの左隣のレーンにおけるxi tの先行物体をxlp tで表わし、xi tの左隣のレーンにおけるxi tの後続物体をxls tで表わすものとする。ギャップは、前方位置、後方位置、前方速度、及び後方速度により定まる。前方位置と前方速度は、xlp tの位置及び速度に等しく、後方速度はxls tの速度に等しい。後方位置は、xls tの位置に、xls tの長さと、速度に応じた安全マージンと、を加算した位置である。
Figure 0006742802
である場合、すなわち、xi tの左側に先行物体がない場合、前方位置と前方速度は、無限大に設定される。また、
Figure 0006742802
の場合、すなわち、xi tの左側に後続物体がない場合、後方位置と後方速度は、ゼロに設定される。
車両xi tに対するギャップgの適合性は、以下の複数の要因により定まる:
・xi tの長さと、そのギャップの大きさとの比
・そのギャップの前方境界に対するxi tの縦方向TTC(接触余裕時間、Time To Contact)。このTTCは、xi tとxlp tとの間の縦方向TTCとして定義され、次式で与えられる。
Figure 0006742802

・そのギャップの後方境界との、xi tの縦方向TTC
・そのギャップが利用可能となる時刻(いわゆる“ギャップ実現時刻”(Time To Gap、TTG)。xi tがギャップgより後ろに位置する場合、TTGは、そのギャップの後方境界までの縦方向TTCに等しい。xi tがギャップgより前に位置する場合、TTGは、そのギャップの前方境界までの縦方向TTCに等しい。そのギャップが現在存在している場合、TTGはゼロである。
≪右ギャップ適合(fitting-right-gap)≫
上記と同様に、
Figure 0006742802
は、xi tの右隣のレーンにおいて調整用ギャップ(fitting gap)が利用可能であるときに、値
Figure 0006742802
を出力する。
このギャップは、右側レーンにおける先行物体xrp tと後続物体xrs tとにより定まる。
≪先行物体接近(approaching-predecessor)≫
この指標
Figure 0006742802
は、xi tが自身の走行するレーン上において近くの先行物体に近づくと、値
Figure 0006742802
を出力する。
これは、xi tと先行物体との間の縦方向TTCから導出される。
≪左レーン適合(fitting-left-lane)≫
Figure 0006742802
は、xi tの左レーンがxi tの走行に適しているときに、値
Figure 0006742802
を出力する。これは、xi tと左レーン上の先行物体との間のTTCにより、及び又はxi tの現在の速度を、左レーン上の平均速度と比較することにより、算出される。
≪現在レーン適合(fitting-current-lane)≫
Figure 0006742802
は、xi tの現在のレーンがxi tの走行に適しているときに、値
Figure 0006742802
を出力する。これは、xi tとその先行物体との間のTTCにより、及び又はxi tの現在の速度を、xi tのレーン上での平均速度と比較することにより、算出される。
≪右レーン適合(fitting-right-lane)≫
Figure 0006742802
は、xi tの右側のレーンがxi tの走行に適しているときに、値
Figure 0006742802
を出力する。これは、xi tと右側レーン上の先行物体との間のTTCにより、及び又はxi tの現在の速度を、右側レーン上の平均速度と比較することにより、算出される。
≪テールゲーティング(tailgating)≫
この指標
Figure 0006742802
は、xi tが自身の走行するレーン上の先行物体にテールゲートしている(ぴったり付いて走っている)ときに、値
Figure 0006742802
を出力する。
この値は、xi tと先行物体との間の縦方向距離を、速度に応じた安全距離で除算して得られる比により算出される。
≪ギャップへの退避(evade-to-gap)≫
この指標
Figure 0006742802
は、xi tが自身の走行するレーン上の先行物体に接近しつつあり、かつ、調整用ギャップが現在使用可能であるか又は先行物体との衝突前に使用可能となる場合に、値
Figure 0006742802
を出力する。
この値は、指標
Figure 0006742802
と、指標
Figure 0006742802
と、を組み合わせて、縦方向TTCとTTGとの差により算出される。ここで、(・)は、任意の引数用のプレースホルダーである。
≪ギャップ調整加速(accelerate-to-gap)≫
この指標
Figure 0006742802
は、xi tが加速(又は減速)しており、かつ、ギャップの位置又は速度(すなわち、左隣又は右隣のレーン上にいる先行物体及び後続物体がそれら物体の速度で移動することにより、ギャップが移動している場合)に対しより良好に適合するようにするためその加速が必要である場合に、値
Figure 0006742802
を生成する。
この値は、ギャップの加速とxi tの加速とを考慮しつつ、かつ上述の指標により与えられる結果を統合してTTCを計算することにより求められる。
≪TTC無配慮加速(accelerate-despite-ttc)≫
この指標
Figure 0006742802
は、xi tが先行物体より速く加速しており、かつ、この2者間のTTCが少ないときに、値
Figure 0006742802
を生成する。
≪後続物体接近(successor-approaching)≫
この指標
Figure 0006742802
は、xi tの走行するレーン上にいる近くの後続物体がxi tに接近しているときに、値
Figure 0006742802
を生成する。これは、xi tの後続物体とxi tとの間の縦方向TTCから導出される。
≪空レーン(free-lane)≫
この指標
Figure 0006742802
は、xi tの前方のレーンが空である場合、すなわち、センサの検知可能範囲内に先行物体が存在しない場合に、値
Figure 0006742802
を出力する。
≪レーン退避による追越容認(free-lane-and-let-overtake)≫
この指標
Figure 0006742802
は、以下の場合に、値
Figure 0006742802
を出力する。
・xi tの先行物体が存在しないとき。当該先行物体が存在するか否かは、
Figure 0006742802
により示される。
・隣接するレーン上にギャップが存在するとき。当該ギャップが存在するか否かは、
Figure 0006742802
により示される。
・xi tの走行レーン上に非常に高速の後続物体xs tが存在し、xi tはgへ抜け出すことができ、xs tは追い越すことができる状況であって、xi tは速度をgに合わせることなく元のレーンへ戻ることができるとき。この状況は、xi tとgとの間の縦方向TTCと、xs t及びxs tの後続物体で形成されるギャップとxi tとの間のTTGと、を比較することにより判断される。
≪交通標識(traffic-signs)≫
この指標グループは、交通標識を守るためにxi tが自身の挙動を適応させなければならないときに、値
Figure 0006742802
を与える。
たとえば、「速度標識」指標や「速度制限」指標は、xi tがその速度標識が示す速度より高速で走行しているときに、大きな値(high value)を出力する。「追い越し禁止」指標は、xi tが左レーン(高速レーン)上を走行し、かつ、追い越し禁止標識の適用対象であるときに、大きな値を出力する。
≪レーンマーク(lane markings)≫
この指標グループは、レーンマークを守るためにxi tが自身の挙動を適応させなければならない場合に、値
Figure 0006742802
を出力する。
例えば、「道路終端」指標は、xi tが、まもなく終端するレーンを走行しているときに、大きな値を出力するものとすることができる。あるいは、「破線」指標は、xi tがレーン変更が許されていないレーンを走行しているときに、小さな値を出力するものとすることができる。
≪上記指標の組み合わせ≫
上述した指標を組み合わせて新しい指標を構成することができる。
例えば、指標
Figure 0006742802
と、指標
Figure 0006742802
とを組み合わせて、ギャップが使用可能であり、かつ、xi tがxp tに近付きつつあるときに、大きな値を出力する指標を作成することができる。組み合わせは、一方の指標の大きな値が他方の指標の中間値を補うような方法で行う。このような組み合わせは、次のような2つの値の重み付け加算により実現することができる。
Figure 0006742802
であって
Figure 0006742802
2.間接指標の第2のタイプは、その挙動を予測すべき交通参加者により能動的に伝えられる運転者の意思に関する情報を伝えるものである。
このタイプの指標として、例えば以下の指標がある。
≪方向指示灯(turning-signal)≫
この指標は、対象車両の方向指示灯が動作しているときに大きな値を出力する。
≪ブレーキ灯(breaking-light)≫
この指標は、対象車両のブレーキ灯が動作しているときに大きな値を出力する。
≪車車間通信(car-to-car-communication)≫
この指標グループは、通信により取得される送信車両の速度又は方向の変化に反応することができる。
上述した指標の代わりに、[0,1]の範囲に正規化されていない指標を用いることもできる。特に、指標が存在するか否かを示すための閾値を定義することもできる。すなわち、閾値を超えていれば、その指標は存在するとみなされる。
〔物理的予測〕
物理的予測では、測定された位置を、状況モデルにおける軌跡と比較する。物理的予測では、動きの発生に関し、実際に生じる可能性のある軌跡の集合を決定する。また、この予測においては、コンテキストベース予測/振る舞い認知が誤りを生じた時点を示すこともできる(自己検証)
物理的予測では、予測器
Figure 0006742802
の集合を用いる。
交通参加者iの、直近のT+1個の状態の履歴を、
Figure 0006742802
で表わす。
ここで、μ(pz, a)=px を、パラメトリック軌跡モデル(parametric trajectory model)とし、当該モデルは、縦方向位置pzとパラメータ集合aが与えられると、横方向位置pxを返すものとする。
また、Ab={a} を、振る舞いbについての異なる軌跡をカバーする、μについてのパラメータの集合とする。
物理的予測器である
Figure 0006742802
の仕事は、状態履歴Xi tと現在の状態Stが与えられた時に、xi tが振る舞いbを行って時刻t+Δtにおいて位置
Figure 0006742802
に存在する尤もらしさ(尤度、likelihood)を求めることである。この尤度は、次式で求められる。
Figure 0006742802
式(9)において、νb(・)は、いわゆる検証関数(validator function)である。xi tが時刻t+Δtにおいて位置
Figure 0006742802
に存在しないことを示す証拠がないときに、νb(・) が
Figure 0006742802
を返すことは、重要な性質である。νb(・)は、xi tが上記の位置に存在しないことを示す証拠がある場合に限り、1より小さい値を返す。その結果、物理的予測器φb(・)は、xi tが振る舞いbi t+ΔTを実行するか否かを予測するコンテキストベース予測に依拠して、空間を制限する、すなわち、xi tによるその振る舞いの仕方(態様)を絞り込むのである。
検証関数は、次式により証拠を検証する
Figure 0006742802
λp(px, pz, a) は、パラメータaによりモデル化された軌跡の上に位置(px, pz)が存在する尤度を算出する。この計算は、次式のように行われる。
Figure 0006742802
λh(Xi t, a) は、パラメータaによりモデル化された軌跡から履歴Xi tが発生したとする尤度を算出する。この計算は、次式により行われる。
Figure 0006742802
λs(St, a)は、パラメータaによりモデル化された軌跡が現在の状況に合致する尤度を算出する。この算出は、交通参加者が、他の交通参加者の振る舞いに依存する特定の振る舞いをどのように行うか、に関する統計に基づいて行われる。これらのパラメータとしては、他の交通参加者とのTTCが大きくなる軌跡を与えるパラメータのほうが、当該TTCが小さくなる軌跡を与えるパラメータよりも好ましい。
モデルと測定される位置との間のくい違いを算出するための式(12)に代えて、他の任意の方法を用いることができる。
ドライバが特定の振る舞いを実行する場合、その理由はそのドライバが置かれた状況に強く依存する。例えば、高速道路では、ドライバは他の車両を追い越すためにレーンを変更するが、市街地の交差点では、右左折レーンに入るためにレーン変更を行う。
したがって、コンテキストベース予測に用いられる指標も、状況に強く依存するものとなる。
その実行、すなわち、その振る舞いの実行のされ方も、現在の状況に依存する。例えば、高速道路と市街地では、車両の動きが異なるため、レーン変更の軌跡は全く異なったものとなる。
この現象は、各振る舞いbに対し複数の状況依存モデルを定義することにより扱うことができる。このモデルは、いわゆる状況モデルmj bであり、次式で定義される。
Figure 0006742802
すなわち、交通参加者についての予測を行うべき各状況に対し、それぞれ一つの状況モデルを定義することができる。これらの状況モデルは、特定のコンテキストベース予測γj b、特定の指標II b、特定のパラメトリックモデルμb、及び当該モデルに適合させるためのパラメータセットAbを含む。
すべての利用可能な状況モデルにおいて予測を計算することは計算能力を極度に消耗するので、デジタル地図情報やセンサ情報に基づいて、モデルセレクタにより必要な状況モデルを予め選択するものとすることができる。例えば、レーンマーク(例えば黄色のレーンマーク)を認識したことをもって、建築現場におけるレーン変更を扱うための特定のモデルをアクティブ化(有効に)するものとすることができる。接近する高速道路の入り口や出口についての地図データにより、レーン合流等を扱うモデルをアクティブ化することができる。さらに、GPS測位を使って、追い越し用の好ましいレーン(a preferred lane for overtaking)などの、地方固有の規則をアクティブ化することもできる。以下の説明においては、ホスト車両は、左側でのみ追い越しが許容される交通システム内を走行しており、かつ、ホスト車両と他の交通参加者とが高速道路又はこれに類するタイプの道路を走行しているものと仮定する。
図2には、本発明に従う方法及び運転者支援システムを説明するための第1の状況が示されている。図2は、2つの異なる交通システムにおける、同様の交通状況を示している。図2のA)は、他車両の左側からでのみ当該他車両に対する追い越しが許される、ヨーロッパにおける右側交通を示している。すなわち、図2には、レーンcと、当該レーンcの(車両走行方向に沿って)左側のレーンlが示されている。レーンc上では、車両Bが第1の速度で走行している。対象車両Aは、同じレーンcを車両Bより速い速度で走行し、後方から車両Bに接近しつつある。この図においては、各車両の速度が、実線矢印の長さで示されている。
自車両Eは、レーンl上をより高速で走行しており、車両A及び車両Bに接近しつつある。ヨーロッパ用に設定された、上述のようなコンテキストベース予測を行う機能を有する従来の予測システムは、このような交通状況においては、対象車両Aがレーンlに割り込んで来るものと予想するであろう。上述したようなヨーロッパの交通システムに関しては、対象車両Aは、もちろん車両Bをその左側においてのみ追い越すことができるので、したがってこのコンテキストベース予測は正しいものとなる。
例えば米国において、これと同じ予測システム又は運転者支援システムを使用した場合には、この状況は異なるものとなる。ここで、車両A、B、及びEのそれぞれの速度は、上述したヨーロッパの例の場合と同様であるとする。米国の場合には、ヨーロッパの場合とは異なり、追い越し対象である車両の(走行方向に沿って)右側に隣接するレーンからであれば当該追い越しが許される。したがって、灰色の矢印で示すように、対象車両Aは、車両Bをその右側で追い越すことができる。ここで、対象車両Aが対象車両Bをその右側で追い越すように実際の交通状況が展開し、他方、コンテキストベース予測の予測結果が、もちろん、ヨーロッパの場合と同様であったとすると、この状況についての予測と実際の展開とは、一致(整合)しないものとなる。観測された実際の挙動(右側での追い越し)と予測された挙動(レーンL上への割り込み)との間では、一致の程度が低いことが認識され得る。“対象車両Aはレーンlに割り込むであろう”とするこの予測結果により運転者支援システムが運転者に警告を発したとすると、自車両Eの運転者は混乱するであろう。より深刻には、ホスト車両Eが自動運転されている場合であれば、対象車両Aが割り込んで来るであろうとする予測結果のため、車両Eの速度が早々に減速されてしまうこととなり得る。
次に、図3を参照して、本発明の方法及びシステムを用いてそのような誤った予測の回数がどのように低減されるかを説明する。図3は、基本的には図1に相当する簡単化された図であるが、システム全体の性能向上につながる信号フローが図示されている。上述において既に説明したように、自車両Eの交通環境に関する情報を含むデータ10が、予測システム2に与えられる。データ10はメモリ18にも与えられるので、当該システムは対象車両Aについて観測された挙動を知る。すなわち、米国交通システムに関する図示の場合のように交通状況が更に展開した後には、対象車両Aの実際の挙動と、対象車両Aについての予測された挙動と、の比較が可能となる。したがって、上述したような状況においては、実際の挙動と予測された挙動とは、不整合(不一致)であるものと判断される。この判断は、システム評価器20において実行される。システム評価器20には、メモリ18から、対象車両Aの実際の挙動についての情報が与えられる。そのような情報は、メモリ18から、“生データ”(例えば、連続する特定の時刻における一連の位置情報)を提供することにより、又はそのような“生データ”についての解釈として、与えられ得る。そのような解釈は、例えば、対象車両Aが割り込まなかったという単なる情報であり得る。そのような場合、メモリ18は、実際には、データの単なる保存場所を超える機能を有するものであって、データ10を対象車両の状態に関して分析して、そのような実際の状態を保存できるものであり得ることは明らかである。
他方で、予測システム2は、予測結果(単数又は複数)をシステム評価器20に送り、システム評価器20内において予測の品質評価を実行できるようにする。この比較の結果は、その後、モジュレーション信号コンバータ13へフィードバックされる。
予測結果を取得するため、予測システム2内において直接指標と間接指標とが算出され、少なくとも間接指標に基づいてコンテキストベース予測が実行される。さらに、直接指標に基づいて、及びコンテキストベース予測の結果にも基づいて、物理的予測が実行される。
コンテキストベース予測結果及び物理的予測結果は、予測システム2により出力され、上述したように、システム評価器20へ提供される。
上述した例では、コンテキストベース予測結果と対象車両Aの実際の挙動との比較はミスマッチ(不一致、不整合)を生じている。システム評価器20の判断結果は、その後、モジュレーション信号コンバータ13により将来の予測サイクルのために用いられる。コンバータ13の出力は、予測システム2へ送られ、将来の予測サイクルにおいて用いることが可能となる。モジュレーション信号コンバータ13は、システムコンバータ20により出力された情報から、偽陰性予測及び偽陽性予測についての個々の不整合率(不一致率、mismatch rate)を取得するよう構成されている。偽陽性予測は、上述の例(割り込みが予測されたが観測されなかった)に対応するものであるが、もちろん、ヨーロッパの交通状況においては、例えば、コンテキストベース予測が“対象車両Aは割り込みをしない”と予測したが、実際には車両Aの運転者は割り込みを行うことを決断した、ということもあり得る。
予測システムユニット2内では、モジュレーション信号コンバータ13により出力されたモジュレーション信号14に基づいて、予測の適合が実行される。例えば、モジュレーション信号コンバータ13は、モジュレーション信号として、コンテキストベース予測についての信頼度値を出力する。そのような信頼度値は、不整合率が予め定めた閾値未満であるとき、1となる。たとえば、偽陽性予測の不整合率が55%未満の場合を考える。この不整合率がそのような閾値を超えるものである場合には、肯定的な予測結果を示すそのコンテキストベース予測についての信頼度値は減少される。他方、偽陰性予測の不整合率が、個別に設定された又は偽陽性予測についての値と同じに設定された閾値を超えている場合には、その偽陰性予測についての信頼度値は増加される。
図示の例では、モジュレーション信号としてコンテキストベース予測の予測結果についての信頼度値を用いている。これは、予測システムユニット2を拡大した詳細図において、破線矢印で示されている。信頼度値を用いて、コンテキストベース予測サブユニット23の出力が修正され、その後、このような修正されたコンテキストベース予測結果が、予測についてのさらなるステップにおいて用いられ、特に、物理的予測サブユニット24において物理的予測ステップのための入力としても用いられる。
システム性能を向上するための他の実施形態について、以下に説明する。まず、本発明を用いない運転者支援システムの問題について説明する。世界の様々なエリアにおいては、発生する平均的な走行状況は互いに異なっている。例えば、中国の高速道路における交通密度は異なったものであり得るので、レーン変更を実行する際の角度は、ヨーロッパとは異なるものとなり得る。まず、ヨーロッパの高速道路における状況について再度説明する。これは、基本的には図2Aを用いて説明した状況と同様であるが、より後の時刻におけるものである。このことは、対象車両Aが、すでにレーン変更を開始しており、物理的予測により予測された軌道に沿って走行していることから認識され得る。すなわち、対象車両Aの実際の軌道は、物理的予測結果と一致している。
状況は、図4のB)では異なっている。ここでは、同じパラメトリック軌道モデル(図4に示すヨーロッパの状況(A部分)に対しては正しいモデル)が適用され、したがって、時々刻々の対象車両Aの予測された位置は破線矢印のとおりである。しかしながら、実際には、例えば中国のような他の交通環境においては、通常はより低速に制限されるため、より急角度でレーン変更が行われるので、対象車両Aの実際の軌道は、予測された軌道から逸れることとなる。このことが、太線矢印で示されている。この場合、物理的予測結果と対象車両Aの実際の挙動とは一致しない。物理的予測の品質を向上するため、対象車両Aの実際の軌道がわかるように、この場合も、交通環境に関するデータ10がメモリ18に保存される。この軌道に関する情報は、モジュレーション信号コンバータ13に与えられる。モジュレーション信号コンバータ13は、例えば割り込みの場合には実際の軌道についての知識に基づいて、モデルパラメータを最適化することができる。この場合も、そのような最適化は、システム評価器20により所定の値を超える不整合率が認識され得る場合にのみ実行されることが好ましい。これに代えて、パラメータの最適化は、例えば予測の品質尺度である不整合率がそのような閾値を超えないときにも実行されるものとすることができる。不整合は、実際の軌道の、予測された軌道からのずれが、予め定めた所定の値を超えた場合に、認識される。
予測システムユニット2には、モジュレーション信号コンバータ13により定められて出力された、モジュレーション信号内で規定された、適合されたパラメータ又はパラメータセットが与えられる。モジュレーション信号コンバータ13内では、パラメトリック軌道モデルに用いられるパラメータの最適化が、特定の挙動に関する対象車両Aの軌道のような、保存されているすべての実際の状態に基づいて、又はイベント履歴の一部に基づいて、実行され得る。
パラメータの最適化が必要であることがシステム評価器20により示された場合、モジュレーション信号コンバータ13は、対象車両Aの対応する軌道をメモリ18から読み出すことができる。処理すべきデータの量を減らすため、特定の挙動に関する所定の数の最新の軌道のみをメモリ18に保存することができる。これに代えて、パラメータ最適化に用いる軌道の数が時間当たりのイベントの数に依存するように、或る時間期間の間のみそのような軌道を保存しておくものとしてもよい。メモリ18内に保存された位置履歴(一般的には、データ10)は、全ての予想され且つ正しかったレーン変更(一般的には、真陽性(true positives))又は予想されなかったレーン変更(一般的には、偽陰性)及び予想されたが誤っていたレーン変更(一般的には、偽陽性)について、個別に保存されることが特に好ましい。これらの位置履歴に基づいて、次に、モジュレーション信号コンバータ13内でパラメータ最適化アルゴリズムが実行され得る。そのようなアルゴリズムの例は、最小二乗誤差法(least-square error method)、焼きなまし法(simulated an annealing,)、離散勾配ベースモデル(discrete gradient based models)、及び進化的最適化(evolutionary optimization)である。パラメータ最適化は、モジュレーション信号コンバータ13において、オンラインで又はオフラインで実行され得る。最適化は、基本的には、モジュレーション信号コンバータ13において異なるパラメータセットに基づいて算出された予測結果と対象車両Aの実際の軌道との比較であり、これにより、最も一致する予測結果を与えたパラメータセットが、予測システムユニット2において更なる予測に用いられ得る。すなわち、モジュレーション信号コンバータ13内で最適化されたパラメータセットが、予測ユニット2に与えられる。
図4を参照して説明した例では、それは、レーン変更の急峻さについてのパラメータであるモデルスロープであり、レーン変更が図4の図示下部に示したように実行される場合には、減少させたモデルスロープが、モジュレーション信号により予測システムユニット2へ送られる。
また、図5に示す予測システムユニット2の詳細図(基本的には図3と同様)には、スロープパラメータを含むモジュレーション信号が物理的予測サブユニット24へ提供されることが、破線により示されている。すなわち、この場合には、コンテキストベース予測の算出は変更されない。コンテキストベース予測結果に加えて、スロープパラメータが、入力として物理的予測サブユニット24に提供される。その後、予測システム2により実行される次の予測サイクルは、物理的モデルに用いられるパラメトリック軌道のパラメータの一つである新しいスロープパラメータに基づいて行われる。
次に、運転者支援システム1の性能を最適化するための他のアプローチについて説明する。まず、従来の運転者支援システムでは運転者に対し不満足な結果を提供することとなり得る状況について、説明する。まず、図6の図示上部に、第1の時刻における状況が示されている。上記において説明した状況と同様に、対象車両Bの現在の走行速度は対象車両Aの走行速度より小さく、対象車両Aは先行車Bに接近していく。図示の状況においては、運転者支援システムは、対象車両Aの割り込みを予測(コンテキストベース予測)し、したがって自車両Eを自動的に減速し得るが、自車両Eの運転者は、自車両Eの前の対象車両Bを対象車両Aに追い抜かさせたくないと決断する。
したがって、当該運転者は、加速のためスロットルを操作し、その結果、自動制御の場合には減速動作がオーバライドされ、ギャップが閉じる。そうでない場合に運転者支援システムにより実行されることとなる挙動、すなわち、自車両Eの減速は、このように、運転者の判断によりオーバライドされる。この場合、以前における運転者支援システムのための提案は、適合されない。すなわち、そのような状況が新たに生ずるごとに、自車両Eの運転者は、常にスロットルを操作してシステム1を無効化しなければならない。運転者支援システムの作動(アクチュエーション)を無効化した結果が、図6の図示下部に示されている。ここでは、自車両Eは、その後の時刻において、最初の時刻におけるよりも高速で走行している。すなわち、最初の状況においては対象車両Aが利用可能であったギャップはもはや存在せず、したがって、予測システムユニット2は、対象車両Aの割り込みはもはや実行されないだろう、と正しく認識することとなる。
本発明によれば、運転者動作は自車両の実際の状態として観測され、したがって、システムは、運転者が、ホスト車両Eについて提案され又は開始された減速(推定された将来状態)とは異なり、他の挙動(すなわち、加速)を選択したか、又は少なくとも運転者支援システムの目標速度と異なる速度で走行することを決断したものと認識することができる。
ホスト車両Eのそのような減速は、コンテキストベース予測結果のみに基づくものであり、物理的予測結果に基づくものではない点に留意されたい。上記と同様に、システム評価器ユニット20は、予測システムユニット2の結果を受け取る。したがって、システム評価器ユニット20は、対象車両Aの運転者が割り込みを意図している、というコンテキストベース予測結果を知る。運転者動作が観測され、当該観測の結果はシステム評価器ユニット20にも提供されるので、システム評価器20は、提案され又は仮定された挙動に反して自車両の運転者が他の運転挙動をどの程度頻繁に実行したか、を認識することができる。対象物体についてのコンテキストベース予測結果の結末である提案され又は推奨された挙動が、例えば30%の頻度で無効化された場合、システム評価器20は、モジュレーション信号コンバータ13へ提供される情報信号を出力する。この情報信号は、コンテキストベース予測の条件を設定するパラメータが適合を必要としていることを示す、モジュレーション信号コンバータ13のための情報を含んでいる。本運転者支援システムでは、図7に示すように、モジュレーション信号コンバータユニット13は、上述において既に説明したように、推定されたグローバルシーンコンテキストに関する情報を受け取る。そのようなグローバルシーンコンテキストに基づき、例えば、穏やかな交通量(mild traffic)か高密度の交通量(dense traffic)かが区別される。そのようなグローバルシーンコンテキストに基づき、モジュレーション信号コンバータユニット13は、モジュレーション信号としてスケーリングファクタ(scaling factors)を生成する。当該信号は、予測システムと、予測システムユニット2の詳細図に示すように間接指標生成サブユニットと、に送られる。これらのスケーリングファクタは、また、モジュレーション信号コンバータ13により、システム評価器ユニット20から受信した情報に基づいて予測性能を向上するために用いられる。すなわち、モジュレーション信号コンバータユニット13内では、コンテキストベース予測のための間接指標を当該コンテキストベース予測の結果が個々の運転者の希望とより良くフィットするように重み付けすべく、当該重み付けに用いることのできるスケーリングファクタはどれか、が決定される。
例えば、穏やかな交通量(mild traffic)の際に用いられるスケーリングファクタは、対象車両Aの割り込みの確率が自車両のレーン上のギャップが小さいほど減少するように、間接指標を重み付けする。すなわち、スケーリングファクタが“通常の交通密度(normal traffic density)”に対応するパラメータに初期設定されている場合、モジュレーション信号コンバータ13は、運転者がコンテキストベース予測結果の基礎であるシステムの決定をいつもオーバライドする場合には、“穏やかな交通量(mild traffic)”に設定する。その後、モジュレーション信号“穏やかな交通量”に従って間接指標の重み付けを行うスケーリングファクタに基づいて、将来の予測が実行される。これにより、自車両レーンlに非常に大きなギャップが存在する場合にのみ、割り込みが予測されることとなる。その結果、通常の交通状態において割り込みが予測されることとなっていたギャップサイズに対しては、もはや割り込みは予測されないこととなり、したがって、自車両の運転者は混乱を生じず、システムは、予測結果が適合されているので、自動的には減速を実行しない。すなわち、その後においては、そのような状況でも自車両の運転者の介入は不要となる。
図8は、モジュレーション信号内の、モジュレーション信号コンバータ13から受信したそのような適合されたスケーリングファクタが、割り込みを決定するための基礎となる指標に対しどのように影響するかについての、他の可能性を示す図である。例えば、間接指標“先行車接近”についてのスケーリングファクタ又は重み付け係数が0.8に設定され、指標“強加速”についての重み付けファクタが1.0に設定され、指標“左ギャップ適合”についての重み付け係数が0.6に設定される。そして、組み合わされた又は集められた重み付け指標値に基づいて、さらなるコンテキストベース予測が実行され、当該予測の処理自身についての更なる適合の実行は必要とされない。
これらの例は、好ましいアルゴリズムに基づいてモジュレーション信号コンバータ13の動作原理を説明したものであることに留意されたい。予測アルゴリズムのパラメータの修正及び結果の修正は種々の方法で行い得るが、これらは、予測の品質(例えば、不整合率)についての尺度を生成する種々のオプションとは独立である。モジュレーション信号コンバータ13により出力されるモジュレーション信号は、コンテキストベース予測のための指標値及び又は物理的予測のための軌道を含むパラメータセットを変更しつつ、予測信頼度のスケーリング(scaling)、又はアクションの開始指示(トリガ)を行うための当該信頼度に適用される閾値のスケーリング、のいずれかを用いることができる。他方で、システム評価器20は、観測された挙動を、コンテキストベース予測による予測された挙動、及び又は物理的予測の予測された挙動、又は運転者挙動、と比較することができる。モジュレーション信号コンバータの出力のいずれかは、システム評価器の何らかの出力に基づき得る。
予め保存された複数のパラメータセットは、既に“穏やかな交通量(mild traffic)”、“通常の交通密度(normal traffic density)”、などについて記述されているので、これらの予め保存された複数のパラメータセットから更なるパラメータを選択することができる。ただし、パラメータセットの適合は、現在のパラメータから開始してパラメータ値を修正することにより行うこともできる。この修正は、特に、少しずつ(incrementally)又は連続的に(continuously)実行することができる。

Claims (18)

  1. 物体の将来の状態を計算により予測する方法の性能を向上するための方法であって、
    −対象物体()を含む交通環境を表現するデータ(10)を取得するステップと、
    −前記交通環境内の前記対象物体(A)又は自車両(E)の将来状態を推定する少なくとも一つの予測を実行するステップと、
    −前記対象物体(又は前記自車両()についての推定された将来状態を表現する予測結果を示す信号(15)を生成するステップと、
    前記推定された将来状態に対応する、前記対象物体(A)又は前記自車両()の実際の状態を観測するステップと、
    −前記観測された実際の状態と、前記推定された将来状態の前記予測結果(20)と、を比較することにより前記予測の品質を推定するステップと、
    前記推定された品質に基づいて前記予測結果、又は前記予測結果を得るために用いられるパラメータを、適合するステップと、を有し、
    前記観測は、少なくとも前記自車両の運転者の挙動又は前記自車両の運転者により行われた操作の観測を含み、
    前記推定は、前記自車両の運転者の挙動又は操作が、前記予測結果に応じたものであるか、又は、前記予測結果に基づいて提案され又は実行された動作に矛盾するか、の決定を含む
    方法。
  2. 前記少なくとも一つの予測を実行するステップは、コンテキストベース予測(23)を実行するステップを含む、
    ことを特徴とする、請求項1に記載の方法。
  3. 前記少なくとも一つの予測を実行するステップは、物理的予測(24)を実行するステップを含む、
    ことを特徴とする、請求項1又は2に記載の方法。
  4. 前記予測された将来状態及び前記観測された実際の状態は前記対象物体(A)の挙動でありを含み前記品質は、前記対象物体(A)について前記予測された将来状態と前記観測された実際の状態との間の不整合率を決定することにより予測され
    前記不整合率に基づいて、前記予測結果を得るために用いられるパラメータセットが変更されるか、又は予測結果の信頼度値が重み付けされる、
    ことを特徴とする、請求項1ないし3のいずれか一項に記載の方法。
  5. 前記信頼度値は、前記観測された状態と、複数の予測についての前記予測された状態と、の間の前記不整合率が所定の閾値を超えている場合に適合される、
    ことを特徴とする、請求項4に記載の方法。
  6. 前記信頼度値は、特定の状態が、予測されたが実際には観測されない、という偽陽性予測の場合に減少される、
    ことを特徴とする、請求項5に記載の方法。
  7. 前記信頼度値は、特定の状態が、発生しないと予測されたが観測された、という偽陰性予測の場合に増加される、
    ことを特徴とする、請求項5に記載の方法。
  8. 偽陰性予測と偽陽性予測とに対し、個別の前記不整合率が決定される、
    ことを特徴とする、請求項4ないし7のいずれか一項に記載の方法。
  9. 保存された観測された実際の状態に基づき、パラメータ最適化アルゴリズムが実行される、
    ことを特徴とする、請求項1ないし6のいずれか一項に記載の方法。
  10. 前記最適化されたパラメータについての新しい閾値が、前記保存された観測された実際の状態により決定される、
    ことを特徴とする、請求項に記載の方法。
  11. 前記観測された実際の状態は、所定の時間期間の間のみ、及び又は状態についての所定の観測数に亘ってのみ、保存される、
    ことを特徴とする、請求項9又は10に記載の方法。
  12. −前記予測結果は、将来の状態として、自車両の運転者により実行されると予想される、又は運転者支援システムにより制御されると予想される、自車両の挙動を表現するものであり、
    −前記実際の状態は、運転者により実行される動作である、
    ことを特徴とする、請求項1ないし11のいずれか一項に記載の方法。
  13. パラメータセットに基づき、コンテキストベース予測ステップ(23)に用いられる間接指標の適合が実行される、
    ことを特徴とする、請求項12に記載の方法。
  14. 車両(E)に搭載されて請求項1ないし12のいずれか一項に記載の方法を実行するよう設計された、運転者支援システム。
  15. 前記運転者支援システム(1)は、アダプティブ・クルーズコントロールである、
    ことを特徴とする、請求項14に記載の運転者支援システム。
  16. 前記運転者支援システム(1)は、前記予測結果に応じた出力信号に基づいて、自車両(E)の少なくともスロットル制御又はブレーキ制御に影響を与えるものである、
    請求項14又は15に記載の運転者支援システムを備える車両。
  17. コンピュータ上で実行されたときに又はコンピュータ上にロードされたときに、当該コンピュータにデータを記録し再生する方法を実行させることとなるコンピュータ読み取り可能なプログラムを保存する、プログラム記憶媒体であって、前記プログラムは、請求項1ないし13のいずれか一項に記載の前記データを記録し再生する方法のステップで構成される、プログラム記憶媒体。
  18. コンピュータ上で実行されたときに又はコンピュータ上にロードされたときに、当該コンピュータにデータを記録し再生する方法を実行させることとなるプログラムであって、請求項1ないし13のいずれか一項に記載の前記データを記録し再生する方法のステップで構成される、プログラム。
JP2016092932A 2015-05-04 2016-05-06 対象物体の将来状態を計算により予測する方法の性能を向上するための方法、運転者支援システム、そのような運転者支援システムを備える車両、並びに対応するプログラムの記憶媒体及びプログラム Active JP6742802B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15166244 2015-05-04
EP15166244.2 2015-05-04

Publications (2)

Publication Number Publication Date
JP2016212872A JP2016212872A (ja) 2016-12-15
JP6742802B2 true JP6742802B2 (ja) 2020-08-19

Family

ID=53039340

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016092932A Active JP6742802B2 (ja) 2015-05-04 2016-05-06 対象物体の将来状態を計算により予測する方法の性能を向上するための方法、運転者支援システム、そのような運転者支援システムを備える車両、並びに対応するプログラムの記憶媒体及びプログラム

Country Status (3)

Country Link
US (1) US9878710B2 (ja)
EP (1) EP3091509A1 (ja)
JP (1) JP6742802B2 (ja)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10118610B2 (en) * 2016-08-31 2018-11-06 Ford Global Technologies, Llc Autonomous vehicle using path prediction
CN110505837B (zh) * 2017-04-14 2023-01-17 索尼公司 信息处理设备、信息处理方法和记录介质
WO2018220673A1 (ja) * 2017-05-29 2018-12-06 株式会社日立情報通信エンジニアリング 状態予測制御装置及び状態予測制御方法
JP6792704B2 (ja) 2017-06-02 2020-11-25 本田技研工業株式会社 自動運転車の制御のための車両制御装置及び方法
JP6901555B2 (ja) * 2017-06-02 2021-07-14 本田技研工業株式会社 自動運転車の制御のための車両制御装置及び方法
US10739775B2 (en) * 2017-10-28 2020-08-11 Tusimple, Inc. System and method for real world autonomous vehicle trajectory simulation
JP6923458B2 (ja) * 2018-01-22 2021-08-18 日立Astemo株式会社 電子制御装置
JP7064356B2 (ja) * 2018-03-14 2022-05-10 株式会社日立製作所 将来状態推定装置および将来状態推定方法
US10679362B1 (en) * 2018-05-14 2020-06-09 Vulcan Inc. Multi-camera homogeneous object trajectory alignment
US10926777B2 (en) * 2018-10-18 2021-02-23 Toyota Research Institute, Inc. Vehicles and methods of controlling a vehicle to accommodate vehicle cut-in
US11577750B2 (en) 2018-11-08 2023-02-14 Bayerische Motoren Werke Aktiengesellschaft Method and apparatus for determining a vehicle comfort metric for a prediction of a driving maneuver of a target vehicle
US10967853B2 (en) 2019-02-11 2021-04-06 Ford Global Technologies, Llc Enhanced collision mitigation
CN109885943B (zh) * 2019-02-26 2023-05-16 百度在线网络技术(北京)有限公司 行车决策的预测方法、装置、存储介质和终端设备
DE102019002790B4 (de) * 2019-04-16 2023-05-04 Mercedes-Benz Group AG Verfahren zur Prädiktion einer Verkehrssituation für ein Fahrzeug
JP7363118B2 (ja) * 2019-06-14 2023-10-18 マツダ株式会社 外部環境認識装置
US11300967B2 (en) 2019-10-25 2022-04-12 Toyota Research Institute, Inc. System and method for collection of performance data by a vehicle
CN111681452B (zh) * 2020-01-19 2022-05-31 重庆大学 一种基于Frenet坐标系下的无人驾驶汽车动态换道轨迹规划方法
KR20210114689A (ko) * 2020-03-11 2021-09-24 주식회사 만도 차량 및 그 제어 방법
CN113511150B (zh) * 2020-04-10 2023-03-31 采埃孚汽车科技(上海)有限公司 一种集成的电子控制单元及车辆的控制方法
US12030507B2 (en) * 2020-06-29 2024-07-09 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Method and system for predicting a trajectory of a target vehicle in an environment of a vehicle
KR102324978B1 (ko) * 2020-08-26 2021-11-12 도로교통공단 신뢰도를 높인 자율주행 평가용 vr 영상 개발 방법 및 이를 이용한 자율주행 안전운전능력 평가시스템
US20220227390A1 (en) * 2021-01-15 2022-07-21 Tusimple, Inc. Proactive lane change for autonomous vehicles
CN112389427B (zh) * 2021-01-19 2021-04-02 腾讯科技(深圳)有限公司 车辆轨迹优化方法、装置、电子设备和存储介质
WO2023013105A1 (ja) * 2021-08-02 2023-02-09 日立Astemo株式会社 進路推定装置、および、進路推定方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6968266B2 (en) * 2002-04-30 2005-11-22 Ford Global Technologies, Llc Object detection in adaptive cruise control
JP4400418B2 (ja) * 2004-10-29 2010-01-20 日産自動車株式会社 車間距離制御装置及び車間距離制御方法並びに運転操作支援装置及び運転操作支援方法
JP5195079B2 (ja) * 2008-06-27 2013-05-08 トヨタ自動車株式会社 運転支援装置
US8564657B2 (en) * 2009-05-29 2013-10-22 Honda Research Institute Europe Gmbh Object motion detection system based on combining 3D warping techniques and a proper object motion detection
JP5482323B2 (ja) * 2010-03-12 2014-05-07 株式会社豊田中央研究所 運転支援装置及びプログラム
EP2562060B1 (en) 2011-08-22 2014-10-01 Honda Research Institute Europe GmbH A method and system for predicting movement behavior of a target traffic object
EP2845779B1 (en) * 2013-09-09 2018-08-01 Honda Research Institute Europe GmbH Driving assistance technique for active vehicle control
EP2865576B1 (en) * 2013-10-22 2018-07-04 Honda Research Institute Europe GmbH Composite confidence estimation for predictive driver assistant systems
JP6532786B2 (ja) * 2015-08-07 2019-06-19 株式会社日立製作所 車両走行制御装置及び速度制御方法

Also Published As

Publication number Publication date
US9878710B2 (en) 2018-01-30
EP3091509A1 (en) 2016-11-09
JP2016212872A (ja) 2016-12-15
US20160325743A1 (en) 2016-11-10

Similar Documents

Publication Publication Date Title
JP6742802B2 (ja) 対象物体の将来状態を計算により予測する方法の性能を向上するための方法、運転者支援システム、そのような運転者支援システムを備える車両、並びに対応するプログラムの記憶媒体及びプログラム
JP6375221B2 (ja) 対象とする交通物体の移動挙動を予測するための方法及びシステム
JP6614777B2 (ja) 予測的レーン変更支援のための方法及びシステム、プログラムソフトウェア製品、並びに乗り物
JP5580852B2 (ja) 交通参加者の動きを予測する方法、システム、プログラム及び車両
US9784592B2 (en) Turn predictions
JP6985203B2 (ja) 挙動予測装置
US10037036B2 (en) Method and arrangement for determining safe vehicle trajectories
US9889858B2 (en) Confidence estimation for predictive driver assistance systems based on plausibility rules
US10625776B2 (en) Driving assistance technique for active vehicle control
US11332134B2 (en) Predicting lane changes of other vehicles
CN107209998B (zh) 车道线识别装置以及车道线识别方法
US11400942B2 (en) Vehicle lane trajectory probability prediction utilizing kalman filtering with neural network derived noise
US11295609B1 (en) Travel assistance method and travel assistance device
CN114906164A (zh) 用于自主驾驶的轨迹验证
JP7356892B2 (ja) 車両の走行環境推定方法、及び、走行環境推定システム
WO2023230740A1 (zh) 一种异常驾驶行为识别的方法、装置和交通工具
JP2018028743A (ja) 車両制御装置
JP2020119526A (ja) 動力車両のドライバーアシストシステムまたは運転システムのアシスト機能または自動運転機能のための主要対象物選定
JP7400911B1 (ja) 自動運転装置
US11741698B2 (en) Confidence-estimated domain adaptation for training machine learning models
US20240166204A1 (en) Vehicle Collision Threat Assessment
JP2023127063A (ja) 走行車線判定装置
CN114148344A (zh) 一种车辆行为预测方法、装置及车辆

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170802

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170804

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181029

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200729

R150 Certificate of patent or registration of utility model

Ref document number: 6742802

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250