JP7323548B2 - 自動車の環境情報を融合させるためのフュージョンシステム - Google Patents

自動車の環境情報を融合させるためのフュージョンシステム Download PDF

Info

Publication number
JP7323548B2
JP7323548B2 JP2020552277A JP2020552277A JP7323548B2 JP 7323548 B2 JP7323548 B2 JP 7323548B2 JP 2020552277 A JP2020552277 A JP 2020552277A JP 2020552277 A JP2020552277 A JP 2020552277A JP 7323548 B2 JP7323548 B2 JP 7323548B2
Authority
JP
Japan
Prior art keywords
fusion
environmental
environmental information
fused
variables
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020552277A
Other languages
English (en)
Other versions
JP2021519462A (ja
Inventor
ファラー・ライナー
ミヒェル・ハンス－ウルリヒ
フルトゥニキ・イェレナ
Original Assignee
バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト filed Critical バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト
Publication of JP2021519462A publication Critical patent/JP2021519462A/ja
Application granted granted Critical
Publication of JP7323548B2 publication Critical patent/JP7323548B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、自動車の環境情報を融合させるためのフュージョンシステムに関する。
本明細書の範囲内では、用語「自動運転」は、自動化された縦方向制御若しくは横方向制御による運転又は自動化された縦方向制御若しくは横方向制御による自動運転と解釈され得る。用語「自動運転」は、任意の自動化レベルによる自動運転を含む。代表的な自動化レベルは、支援運転、半自動運転、高度自動運転、及び全自動運転である。これらの自動化レベルは、連邦道路交通研究所（ＢＡＳｔ）によって規定された。（連邦道路交通研究所の刊行物「Ｆｏｒｓｃｈｕｎｇ ｋｏｍｐａｋｔ」（２０１２年１１月発行）参照）。当該支援運転の場合、運転者は、縦方向制御又は横方向制御を持続して実行する一方で、当該システムは、その都度の別の機能を特定の範囲内で請け負う。半自動運転（ＴＡＦ）の場合、当該システムは、縦方向制御及び横方向制御を特定の期間に対して及び／又は特別な状況で請け負う。この場合、運転者は、支援運転の場合と同様に当該システムを持続して監視する必要がある。高度自動運転（ＨＡＦ）の場合、運転者が、当該システムを持続して監視することが必要なしに、当該システムが、縦方向制御及び横方向制御を特定の期間に対して請け負う。しかし、当該運転者は、特定の期間内は運転操縦を請け負うことができる。全自動運転（ＶＡＦ）の場合、当該システムは、特別な適用状況に対して運転を全ての状況で自動的に対処できる。この適用状況に対しては、運転者は、もはや不要である。上記のＢＡＳｔの規定にしたがう４つの自動化レベルは、規格ＳＡＥ Ｊ３０１６（ＳＡＥ－Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｉｎｇ）に相当する。例えば、ＢＡＳｔにしたがう高度自動運転（ＨＡＦ）は、規格ＳＡＥ Ｊ３０１６のレベル３に相当する。さらに、ＳＡＥ Ｊ３０１６では、ＢＡＳｔの規定に含まれていないＳＡＥレベル５が、最高の自動化レベルとしてさらに規定されている。ＳＡＥレベル５は、当該システムが全ての運転中に全ての状況を人間の運転者のように対処できる無人運転に相当する。運転者が、通常はもはや不要である。
連邦道路交通研究所の刊行物「Ｆｏｒｓｃｈｕｎｇ ｋｏｍｐａｋｔ」（２０１２年１１月発行）
本発明の課題は、自動車の環境情報を融合させるための改良されたフュージョンシステムを提供することにある。
この課題は、独立請求項に記載の特徴によって解決される。好適な実施の形態は、従属請求項に記載されている。１つの独立請求項に依存する１つの請求項の追加の特徴が、当該独立請求項の特徴なしに、又は当該独立請求項の特徴の一部との組み合わせだけで、固有で且つ当該独立請求項の全ての特徴の組み合わせに依存しない、独立請求項、分割出願又は後願の対象にされ得る発明を構成し得ることが提唱されている。これは、本明細書に記載されている、当該独立請求項の特徴に依存しない発明を構成し得る技術事項対しても同様に成立する。
本発明の第一の観点は、自動車用のフュージョンシステムに関する。
この場合、フュージョンシステムは、少なくとも２つの環境センサと、これらの環境センサの環境情報を融合させるための、これらの環境センサに結合された１つのニューラルネットワークとを有する。
多くの場合に人口のニューラルネットワークとも呼ばれるニューラルネットワークは、人口ニューロンから成るネットワークである。この場合、当該ニューロンは、通常は複数の層に分割されていて、互いに接続されている。
さらに、フュージョンシステムは、これらの環境センサの環境情報を融合させるためのフュージョン装置を有する。特に、この場合、特許請求の範囲のうちの１つの請求項に記載のフュージョン装置が取り扱われ、当該装置は、運転状況に関する環境に対して固有である状況変数を受け取るように構成されている。
この場合、フュージョン装置は、特に、状況変数に依存して、当該融合に対する１つの環境センサの影響に対して固有の少なくとも１つの影響変数を決定するように構成されている。
さらに、フュージョンシステムは、特に、影響変数に依存して、これらの環境センサからの環境情報を融合させるように構成されている。
フュージョンシステムは、フュージョン装置とニューラルネットワークとに結合された制御装置をさらに有する。この場合、当該制御装置は、フュージョン装置によって融合された環境情報に依存して、ニューラルネットワークによって融合された環境情報を適合し、当該適合された環境情報を自動車の運転者支援システムに提供するように構成されている。
例えば、制御装置は、フュージョン装置によって融合された環境情報に依存して、ニューラルネットワークによって融合された環境情報が、運転者支援システムに提供されるのか、又はフュージョン装置によって融合された環境情報が運転者支援システムに提供されるのかを選択できる。
この代わりに、制御装置は、フュージョン装置によって融合された環境情報に依存して、ニューラルネットワークによって融合された環境情報を解釈し、当該解釈の結果を運転者支援システムに提供してもよい。
例えば、融合された環境情報は、１つの物体が十分に大きい確率で存在するそれぞれ１つの空間領域である場合、制御装置は、当該両空間領域を互いに結合し、当該結合結果を運転者支援システムに提供できる。
この場合、本発明は、確かにフュージョン装置が、よりぼやけて融合された環境情報をより高いばらつきで出力できるが、このフュージョン装置が、場合によっては比較的高い確率で物体の実際の滞在領域を網羅するという認識に基づく。これに対して、例えばニューラルネットワークが、鮮明に融合された環境情報を小さいばらつきで出力できるが、このニューラルネットワークは、場合によっては比較的より低い確率で物体の実際の滞在領域を網羅できる。
この場合、例えば、制御装置は、ニューラルネットワークによって融合された環境情報と、フュージョン装置によって融合された環境情報との重なり部分を運転者支援システムに提供できる。
好適な実施の形態では、フュージョンシステムは、フュージョン装置に結合された１つのプロトコル装置を有する。
この場合、プロトコル装置は、フュージョン装置によって提供された、結合された環境情報に対して、運転状況に関する環境に対して固有である少なくとも１つの状況変数を記憶するように、及び／又は状況変数に依存して決定され、融合に対する１つの環境センサの影響に対して固有の少なくとも１つの影響変数を記憶するように構成されている。
この場合、本発明は、ニューラルネットワークが多くの場合にこのニューラルネットワークの比較的大きい状態空間のために「ブラックボックス」と呼ばれるという認識に基づく。しかし、それにもかかわらず、当該ニューラルネットワークをフュージョン装置に結合することによって、当該フュージョンシステムの計算結果が確定的に追跡され得る。何故なら、当該計算結果は、特に、当該フュージョン装置によって設定された範囲内で変動するからである。
別の好適な実施の形態では、フュージョンシステムは、自動車の少なくとも２つの環境センサの環境情報を融合させるためのフュージョン装置を有する。
環境センサは、例えばカメラセンサ、レーダーセンサ、ライダーセンサ又は超音波センサでもよい。
この場合、フュージョン装置は、走行状況に関する環境に対して固有である状況変数を受け取るように構成されている。
特に、状況変数は、自動車の状況に対して固有の変数である。例えば、状況変数は、周囲の光の光度に対して固有の変数（例えば、明るさ値又は二進値「明」／「暗」）である。代わりに、状況変数は、例えば、時刻に対して固有の変数又は時刻自体でもよい。代わりに、状況変数は、例えば、環境情報を融合させるための識別子（Ｅｒｋｅｎｎｕｎｇｓｚｉｅｌ）（占有識別子（Ｂｅｌｅｇｔｅｒｋｅｎｎｕｎｇ）又は非占有識別子（Ｆｒｅｉｅｒｋｅｎｎｕｎｇ））でもよい。代わりに、環境情報は、例えば、天候に対して固有の変数でもよい。代わりに、環境情報は、例えば、自動車の位置に対して固有の変数でもよい。この場合、（例えば、座標によって示される）絶対位置又は交通状況が、位置とみなされ得る。
この場合、状況変数は、特に環境センサとは違う装置からフュージョン装置に伝達される。この場合、当該装置は、センサ又は制御機器でもよい。
さらに、フュージョン装置は、特に、状況変数に依存して、当該融合に対する１つの環境センサの影響に対して固有の少なくとも１つの影響変数を決定するように構成されている。
この場合、影響変数は、特に、１つの環境センサに割り当てられた重み付け係数である。この重み付け係数は、この環境センサの影響を少なくとも２つの環境センサの線形結合で示す。
さらに、フュージョン装置は、影響変数に依存して、環境センサからの環境情報を融合させ、当該融合された環境情報を自動車に備えられた運転者支援システムに提供するように構成されている。
運転者支援システムは、例えば、縦方向制御及び／又は横方向制御のための運転者支援システムでもよい。
好適な実施の形態では、フュージョン装置は、状況変数と少なくとも１つの環境センサの機能特性との間の関係に依存して影響変数を決定するように構成されている。
この場合、特に、フュージョン装置は、フュージョン特性の検出時に１つの環境センサの機能を考慮するように構成されている。これは、例えば、機能装置の開発時に既に実行され得る。
自動車の周囲の光条件が比較的悪いことを、状況変数が示す場合、例えば融合に対する１つのカメラセンサの影響は、比較的小さく設定され得る。他方で、自動車の周囲の光条件が比較的良好であることを、状況変数が示す場合は、融合に対する１つのカメラセンサの影響は、比較的大きく設定され得る。
別の好適な実施の形態では、フュージョンシステムは、当該運転者支援システム（ＦＡＳ）への提供前に、当該融合された環境情報を補助変数に依存して解釈するように構成されている。
この場合、当該補助変数及び当該融合された環境情報の解釈は、特に演繹的な知識に依存して確定され得る。
この場合、特に、フュージョン装置は、環境センサによって検出された物体の移動に依存して、融合された環境情報を補助変数として解釈するように構成されている。
例えば、当該物体が、将来の時点で何処に存在するかが、物理運動方程式に基づいて過去における当該物体の移動方向と移動速度とから推測され得る。
この場合、この知識は、融合された環境情報を解釈するために使用され得る。例えば、当該融合された環境情報は、物体が十分に大きい確率で存在する空間領域である場合、この空間領域は、当該物体の動力学、すなわち過去における当該物体の運動方向と移動速度とを考慮することによって解釈され得て、したがってより明確に特定され得る。
代わりに又はさらに、フュージョン装置は、特に、環境センサによって検出された物体の挙動モデルに依存して、融合された環境情報を補助変数として解釈するように構成されている。
この場合、当該挙動モデルは、例えば経験的に特定され得て、フィルタ、例えばカルマンフィルタのパラメータとしてフュージョン装置内に記憶され得る。
この場合、当該挙動モデルは、物体がその移動方向を変更される確率を示してもよい。当該物体が、道路利用者である場合、当該挙動モデルは、方向指示器の使用を伴う又は伴わない当該道路利用者の車線変更又は方向変更に対する確率でもよい。
代わりに又はさらに、フュージョン装置は、特に、交通規則に依存して、融合された環境情報を補助変数として解釈するように構成されている。
特に物体が、道路利用者である場合、交通規則は、道路利用者がどの車線上に存在するのか、交通利用者がその移動速度又は移動方向を変更するか否かを明確に指摘し得る。
同様に、この知識は、融合された環境情報が特定されるように、当該融合された環境情報を解釈するために使用され得る。
本発明の別の思想は、自動車の少なくとも２つの環境センサの環境情報を融合させるための方法に関する。
当該方法の１つのステップは、運転状況に関する環境に対して固有である状況変数を受け取ることである。
当該方法の別の１つのステップは、状況変数に依存して、融合に対する１つの環境センサの影響に対して固有の少なくとも１つの影響変数を決定することである。
当該方法の別の１つのステップは、影響変数に依存して、環境センサからの環境情報を融合させることである。
当該方法の最後のステップは、融合された環境情報を提供することである。
本発明の第１の観点による本発明のフュージョン装置に対する上記の構成は、本発明の第２の観点による本発明の方法に対しても同様に成立する。この点に関して特許請求の範囲に明確に記載されていない本発明の方法の好適な実施の形態は、上記の又は特許請求の範囲に記載されている本発明のフュージョン装置の好適な実施の形態に対応する。
以下に、本発明を実施の形態に基づいて添付図面を参照して説明する。
本発明のフュージョン装置の実施の形態を示す。 本発明のフュージョン装置の実施の形態を示す。 本発明のフュージョン方法の実施の形態を示す。
図１ａは、自動車の少なくとも２つの環境センサＵ１，Ｕ２の環境情報を融合させるためのフュージョン装置ＦＥを示す。この場合、フュージョン装置ＦＥは、走行状況に関する環境に対して固有である状況変数を受け取るように構成されている。
当該状況変数は、特にセンサＧによって検出された変数であり、例えば、自動車の周囲の明るさに対して固有の変数である。
さらに、フュージョン装置ＦＥは、状況変数に依存して、当該融合に対する１つの環境センサの影響に対して固有の少なくとも１つの影響変数ｇ１，ｇ２を決定するように構成されている。
特に、フュージョン装置ＦＥが、環境センサＵ１，Ｕ２の環境情報を線形結合によって融合させるときは、これらの影響変数ｇ１，ｇ２はそれぞれ、１つの環境センサＵ１，Ｕ２に割り当てられた重み付け係数でもよい。
フュージョン装置ＦＥは、影響変数ｇ１，ｇ２に依存して、環境センサＵ１，Ｕ２からの環境情報を融合させ、当該融合された環境情報ｖｍを自動車に備えられた運転者支援システムＦＡＳに提供する。
この場合、フュージョン装置ＦＥは、状況変数と少なくとも１つの環境センサＵ１，Ｕ２の機能特性との間の関係に依存して影響変数ｇ１，ｇ２を決定するように構成されている。
特に、環境センサＵ１，Ｕ２のうちの１つの環境センサが、カメラに基づくセンサの場合、状況変数が、自動車の周囲の暗い明るさを示すときに、融合された環境情報ｖｍに対するこの環境センサＵ１の環境情報の影響は、比較的小さく成り得る。
さらに、フュージョン装置ＦＥは、当該運転者支援システム（ＦＡＳ）への提供前に、当該融合された環境情報ｖｍを補助変数に依存して解釈するように構成されている。
この場合、補助変数は、例えば、フュージョン装置ＦＥに備えられた補助変数記憶装置Ｈから読み出され得る。
この場合、フュージョン装置ＦＥは、例えば、環境センサＵ１，Ｕ２によって検出された物体の移動に依存して、融合された環境情報ｖｍを解釈できる。
この代わりに、フュージョン装置ＦＥは、例えば、環境センサＵ１，Ｕ２によって検出された物体の挙動モデルに依存して、融合された環境情報を補助変数として解釈してもよい。
この代わりに、フュージョン装置ＦＥは、交通規則に依存して、融合された環境情報ｖｍを補助変数として解釈してもよい。
図１ｂは、自動車用のフュージョンシステムを示す。この場合、当該フュージョンシステムは、少なくとも２つの環境センサＵ１，Ｕ２と、これらの環境センサＵ１，Ｕ２の環境情報を融合させるための、これらの環境センサＵ１，Ｕ２に結合されたニューラルネットワークＰＶと、これらの環境センサＵ１，Ｕ２の環境情報を融合させるための本発明のフュージョン装置ＦＥと、フュージョン装置ＦＥと一緒にニューラルネットワークＰＶに結合された制御装置ＡＶとを有する。
この場合、制御装置ＡＶは、フュージョン装置ＦＥによって融合された環境情報ｖｍに依存して、ニューラルネットワークＰＶによって融合された環境情報ｐｍを適合し、当該適合された環境情報ａｉを自動車の運転者支援システムＦＡＳに提供するように構成されている。
例えば、制御装置ＡＶは、フュージョン装置ＦＥによって融合された環境情報ｖｍに依存して、ニューラルネットワークＰＶによって融合された環境情報ｐｍが、運転者支援システムＦＡＳに提供されるのか、又はフュージョン装置ＦＥによって融合された環境情報ｖｍが運転者支援システムＦＡＳに提供されるのかを選択できる。
この代わりに、制御装置ＡＶは、フュージョン装置ＦＥによって融合された環境情報ｖｍに依存して、ニューラルネットワークＰＶによって融合された環境情報ｐｍを解釈し、当該解釈の結果を運転者支援システムＦＡＳに提供してもよい。
例えば、融合された環境情報ｐｍは、１つの物体が十分に大きい確率で存在するそれぞれ１つの空間領域である場合、制御装置ＡＶは、当該両空間領域を互いに結合し、当該結合結果を運転者支援システムＦＡＳに提供できる。
さらに、フュージョンシステムは、フュージョン装置ＦＥに結合されたプロトコル装置ＬＶを有する。プロトコル装置ＬＶは、フュージョン装置ＦＥによって提供された、結合された環境情報ｖｍに対して、運転状況に関する環境に対して固有である少なくとも１つの状況変数を記憶するように、及び／又は状況変数に依存して決定され、融合に対する１つの環境センサの影響に対して固有の少なくとも１つの影響変数ｇ１，ｇ２を記憶するように構成されている。
図２は、本発明のフュージョン方法の実施の形態を示す。
この場合、１つの物体が実際に存在する空間領域が、環境センサＵ１，Ｕ２によって検出される。様々な環境に起因して、一般に、環境センサＵ１，Ｕ２は、当該物体が存在する正確な空間領域を網羅しない。
それ故に、フュージョン装置ＦＥは、環境センサＵ１，Ｕ２の環境情報を融合させるように構成されている。フュージョン装置ＦＥは、運転状況に関する環境に対して固有である状況変数を受け取る。フュージョン装置ＦＥは、当該状況変数に依存して、当該融合に対する１つの環境センサの影響に対して固有の少なくとも１つの影響変数ｇ１，ｇ２を決定する。
次いで、環境センサＵ１，Ｕ２の環境情報が、影響変数ｇ１，ｇ２に依存してフュージョン装置ＦＥによって融合される。この場合、当該融合された環境情報は、当該物体が存在する空間領域を個々の環境センサＵ１，Ｕ２の環境情報としてより高い品質で新たに付与する。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の態様として以下の構成も包含し得る：
１．
自動車用のフュージョンシステムにおいて、
・前記フュージョンシステムは、
・少なくとも２つの環境センサ（Ｕ１，Ｕ２）と、
・これらの環境センサ（Ｕ１，Ｕ２）の環境情報を融合させるための、これらの環境センサ（Ｕ１，Ｕ２）に結合された１つのニューラルネットワーク（ＰＶ）と、
・これらの環境センサ（Ｕ１，Ｕ２）の環境情報を融合させるための１つのフュージョン装置（ＦＥ）と、
・このフュージョン装置（ＦＥ）と前記ニューラルネットワーク（ＰＶ）とに結合された制御装置（ＡＶ）とを有し、
・前記制御装置（ＡＶ）は、前記フュージョン装置（ＦＥ）によって融合された環境情報（ｖｍ）に依存して、前記ニューラルネットワーク（ＰＶ）によって融合された環境情報（ｐｍ）を適合し、
・当該適合された環境情報（ａｉ）を前記自動車の運転者支援システム（ＦＡＳ）に提供するように構成されている当該フュージョンシステム。
２．
前記フュージョンシステムは、前記フュージョン装置（ＦＥ）に結合された１つのプロトコル装置（ＬＶ）を有し、このプロトコル装置（ＬＶ）は、前記フュージョン装置（ＦＥ）によって提供された、結合された環境情報（ｖｍ）に対して、運転状況に関する環境に対して固有である少なくとも１つの状況変数を記憶するように、及び／又は状況変数に依存して決定され、融合に対する１つの環境センサの影響に対して固有の少なくとも１つの影響変数（ｇ１，ｇ２）を記憶するように構成されている上記１に記載のフュージョンシステム。
３．
前記フュージョン装置（ＦＥ）は、
・運転状況に関する環境に対して固有である状況変数を受け取り、
・前記状況変数に依存して、融合に対する１つの環境センサの影響に対して固有の少なくとも１つの影響変数（ｇ１，ｇ２）を決定し、
・前記影響変数（ｇ１，ｇ２）に依存して、複数の前記環境センサ（Ｕ１，Ｕ２）の環境情報を融合させ、
・当該融合された環境情報（ｖｍ）を前記自動車に備えられた運転者支援システム（ＦＡＳ）に提供するように構成されている上記１又は２に記載のフュージョンシステム。
４．
前記フュージョン装置（ＦＥ）は、状況変数と少なくとも１つの環境センサ（Ｕ１，Ｕ２）の機能特性との間の関係に依存して影響変数（ｇ１，ｇ２）を決定するように構成されている上記１～３のいずれか１つに記載のフュージョンシステム。
５．
前記フュージョン装置（ＦＥ）は、融合された環境情報（ｖｍ）を前記運転者支援システム（ＦＡＳ）に提供する前に補助変数に依存して解釈するように構成されている上記１～４のいずれか１つに記載のフュージョンシステム。
６．
前記フュージョン装置（ＦＥ）は、前記環境センサ（Ｕ１，Ｕ２）によって検出された１つの物体の移動に依存して、当該融合された環境情報（ｖｍ）を補助変数として解釈するように構成されている上記５に記載のフュージョンシステム。
７．
前記フュージョン装置（ＦＥ）は、前記環境センサ（Ｕ１，Ｕ２）によって検出された物体の挙動モデルに依存して、当該融合された環境情報（ｖｍ）を補助変数として解釈するように構成されている上記５又は６に記載のフュージョンシステム。
８．
前記フュージョン装置（ＦＥ）は、交通規則に依存して、当該融合された環境情報（ｖｍ）を補助変数として解釈するように構成されている上記５、６又は７に記載のフュージョンシステム。
Ｕ１ 環境センサ
Ｕ２ 環境センサ
ＦＥ フュージョン装置
Ｇ センサ
Ｈ 補助変数記憶装置
ＦＡＳ 運転者支援システム
ＰＶ ニューラルネットワーク
ＬＶ プロトコル装置
ＡＶ 制御装置

Claims (7)

  1. 自動車用のフュージョンシステムにおいて、
    ・前記フュージョンシステムは、
    ・少なくとも２つの環境センサ（Ｕ１，Ｕ２）と、
    ・これらの環境センサ（Ｕ１，Ｕ２）の環境情報を融合させるための、これらの環境センサ（Ｕ１，Ｕ２）に結合された１つのニューラルネットワーク（ＰＶ）と、
    ・これらの環境センサ（Ｕ１，Ｕ２）の環境情報を融合させるための１つのフュージョン装置（ＦＥ）と、
    ・このフュージョン装置（ＦＥ）と前記ニューラルネットワーク（ＰＶ）とに結合された制御装置（ＡＶ）とを有し、
    ・前記制御装置（ＡＶ）は、前記フュージョン装置（ＦＥ）によって融合された環境情報（ｖｍ）に依存して、前記ニューラルネットワーク（ＰＶ）によって融合された環境情報（ｐｍ）を適合し、
    ・当該適合された環境情報（ａｉ）を前記自動車の運転者支援システム（ＦＡＳ）に提供するように構成されている当該フュージョンシステム。
  2. 前記フュージョン装置（ＦＥ）は、
    ・運転状況に関する環境に対して固有である状況変数を受け取り、
    ・前記状況変数に依存して、融合に対する１つの環境センサの影響に対して固有の少なくとも１つの影響変数（ｇ１，ｇ２）を決定し、
    ・前記影響変数（ｇ１，ｇ２）に依存して、複数の前記環境センサ（Ｕ１，Ｕ２）の環境情報を融合させ、
    ・当該融合された環境情報（ｖｍ）を前記自動車に備えられた運転者支援システム（ＦＡＳ）に提供するように構成されている請求項１に記載のフュージョンシステム。
  3. 前記フュージョンシステムは、前記フュージョン装置（ＦＥ）に結合された１つのプロトコル装置（ＬＶ）を有し、このプロトコル装置（ＬＶ）は、前記フュージョン装置（ＦＥ）によって提供された、結合された環境情報（ｖｍ）に対して、運転状況に関する環境に対して固有である少なくとも１つの前記状況変数を記憶するように、及び／又は前記状況変数に依存して決定され、融合に対する１つの前記環境センサの影響に対して固有の少なくとも１つの前記影響変数（ｇ１，ｇ２）を記憶するように構成されている請求項２に記載のフュージョンシステム。
  4. 前記フュージョン装置（ＦＥ）は、状況変数と少なくとも１つの環境センサ（Ｕ１，Ｕ２）の機能特性との間の関係に依存して影響変数（ｇ１，ｇ２）を決定するように構成されている請求項１～３のいずれか１項に記載のフュージョンシステム。
  5. 前記フュージョン装置（ＦＥ）は、当該運転者支援システム（ＦＡＳ）への提供前に、当該融合された環境情報（ｖｍ）を補助変数に依存して解釈するように構成されていて、
    前記補助変数は、前記環境センサ（Ｕ１，Ｕ２）によって検出された１つの物体の移動である請求項１～４のいずれか１項に記載のフュージョンシステム。
  6. 前記フュージョン装置（ＦＥ）は、当該運転者支援システム（ＦＡＳ）への提供前に、当該融合された環境情報（ｖｍ）を補助変数に依存して解釈するように構成されていて、
    前記補助変数は、前記環境センサ（Ｕ１，Ｕ２）によって検出された物体の挙動モデルである請求項１～５のいずれか１項に記載のフュージョンシステム。
  7. 前記フュージョン装置（ＦＥ）は、当該運転者支援システム（ＦＡＳ）への提供前に、当該融合された環境情報（ｖｍ）を補助変数に依存して解釈するように構成されていて、
    前記補助変数は、交通規則である請求項１～６のいずれか１項に記載のフュージョンシステム。
JP2020552277A 2018-04-09 2019-04-02 自動車の環境情報を融合させるためのフュージョンシステム Active JP7323548B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102018205248.4A DE102018205248A1 (de) 2018-04-09 2018-04-09 Fusionssystem zur Fusion von Umfeldinformation für ein Kraftfahrzeug
DE102018205248.4 2018-04-09
PCT/DE2019/100303 WO2019196986A1 (de) 2018-04-09 2019-04-02 Fusionssystem zur fusion von umfeldinformation für ein kraftfahrzeug

Publications (2)

Publication Number Publication Date
JP2021519462A JP2021519462A (ja) 2021-08-10
JP7323548B2 true JP7323548B2 (ja) 2023-08-08

Family

ID=66323620

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020552277A Active JP7323548B2 (ja) 2018-04-09 2019-04-02 自動車の環境情報を融合させるためのフュージョンシステム

Country Status (6)

Country Link
US (1) US11836987B2 (ja)
JP (1) JP7323548B2 (ja)
KR (1) KR102467969B1 (ja)
CN (1) CN111801681A (ja)
DE (1) DE102018205248A1 (ja)
WO (1) WO2019196986A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020110730A1 (de) 2020-04-21 2021-10-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Erhöhung der Verfügbarkeit einer automatisierten Fahrfunktion oder eines Fahrerassistenzsystems
CN114866184B (zh) * 2022-03-07 2024-01-16 笔特科技(深圳)有限公司 通信与传感信号一体融合方法、分解方法及相关装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009282783A (ja) 2008-05-22 2009-12-03 Fuji Heavy Ind Ltd リスク融合認識システム
JP2017513162A (ja) 2014-03-20 2017-05-25 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 車両を運転するための方法と装置
WO2017122784A1 (en) 2016-01-14 2017-07-20 Preferred Networks, Inc. Time series data adaptation and sensor fusion systems, methods, and apparatus

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4100500A1 (de) 1991-01-10 1992-07-16 Bodenseewerk Geraetetech Signalverarbeitungsanordnung zur klassifizierung von objekten aufgrund der signale von sensoren
DE102007002562A1 (de) * 2007-01-17 2008-07-24 Audi Ag Verfahren und Vorrichtung zur dynamischen Klassifikation von Objekten und/oder Verkehrssituationen
DE102009006113B4 (de) * 2008-03-03 2019-03-28 Volkswagen Ag Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten
CN103256939B (zh) * 2013-04-15 2015-09-23 李德毅 智能车辆利用变粒度路权雷达图进行信息融合的方法
US10328932B2 (en) * 2014-06-02 2019-06-25 Magna Electronics Inc. Parking assist system with annotated map generation
DE102015210881A1 (de) * 2015-06-15 2016-12-15 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung von Position und/oder Orientierung eines Fahrzeugs
DE102017006599A1 (de) * 2017-07-12 2018-03-01 Daimler Ag Verfahren zum Betrieb eines Fahrzeugs
US10395144B2 (en) * 2017-07-24 2019-08-27 GM Global Technology Operations LLC Deeply integrated fusion architecture for automated driving systems
US11050162B2 (en) * 2017-12-02 2021-06-29 Metawave Corporation Method and apparatus for object detection with integrated environmental information
US11500099B2 (en) * 2018-03-14 2022-11-15 Uatc, Llc Three-dimensional object detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009282783A (ja) 2008-05-22 2009-12-03 Fuji Heavy Ind Ltd リスク融合認識システム
JP2017513162A (ja) 2014-03-20 2017-05-25 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 車両を運転するための方法と装置
WO2017122784A1 (en) 2016-01-14 2017-07-20 Preferred Networks, Inc. Time series data adaptation and sensor fusion systems, methods, and apparatus

Also Published As

Publication number Publication date
JP2021519462A (ja) 2021-08-10
KR20200116495A (ko) 2020-10-12
DE102018205248A1 (de) 2019-10-10
US11836987B2 (en) 2023-12-05
CN111801681A (zh) 2020-10-20
WO2019196986A1 (de) 2019-10-17
US20210370959A1 (en) 2021-12-02
KR102467969B1 (ko) 2022-11-16

Similar Documents

Publication Publication Date Title
CN111434554B (zh) 基于乘客和环境感知驾驶风格简档来控制自主车辆
JP6756661B2 (ja) 車両電子制御装置
US11126195B2 (en) System and method for detecting occluded objects based on image processing
CN110406530B (zh) 一种自动驾驶方法、装置、设备和车辆
EP3588226B1 (en) Method and arrangement for generating control commands for an autonomous road vehicle
CN114391088B (zh) 轨线规划器
CN112292719A (zh) 使自我车辆的轨迹与运动的外来对象适配
CN111923927A (zh) 用于交互感知交通场景预测的方法和装置
JP7323548B2 (ja) 自動車の環境情報を融合させるためのフュージョンシステム
JP7511544B2 (ja) 動的空間シナリオの分析
US20220058402A1 (en) Adaptive camera settings to improve efficiency
CN115179959A (zh) 基于行驶道路自适应更新阈值的智能驾驶车辆行为预测方法
US10860020B2 (en) System and method for adaptive perception in a vehicle
EP3857169B1 (fr) Dispositif de planification d'un chemin et/ou d'une trajectoire d'un vehicule automobile
CN113382908A (zh) 用于获取车辆动作预测的***及相应方法
CN113228131A (zh) 用于提供周围环境数据的方法和***
JP7350188B2 (ja) 運転支援装置、学習装置、運転支援方法、運転支援プログラム、学習済モデルの生成方法、学習済モデル生成プログラム
CN117320945A (zh) 用于确定自主车辆控制中的运动预测的运动模型的方法和***
US20210067369A1 (en) Vehicle sensor network system and method
CN113119984A (zh) 高级驾驶辅助***和高级驾驶辅助方法
US20210142225A1 (en) Ensemble of narrow ai agents
US20200391750A1 (en) Learn association for multi-object tracking with multi sensory data and missing modalities
JP7143538B2 (ja) 運転支援装置および運転支援方法
US20240132100A1 (en) Method for assistive or automated vehicle control
US20210097710A1 (en) Operating a motor vehicle with stereo camera and lidar

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210930

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230727

R150 Certificate of patent or registration of utility model

Ref document number: 7323548

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150