JP6714513B2 - 車両のナビゲーションモジュールに対象物の存在を知らせる車載装置 - Google Patents

車両のナビゲーションモジュールに対象物の存在を知らせる車載装置 Download PDF

Info

Publication number
JP6714513B2
JP6714513B2 JP2016564576A JP2016564576A JP6714513B2 JP 6714513 B2 JP6714513 B2 JP 6714513B2 JP 2016564576 A JP2016564576 A JP 2016564576A JP 2016564576 A JP2016564576 A JP 2016564576A JP 6714513 B2 JP6714513 B2 JP 6714513B2
Authority
JP
Japan
Prior art keywords
score
module
combination
vehicle
synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016564576A
Other languages
English (en)
Other versions
JP2017521745A (ja
Inventor
ハビエル イバニェス−グスマン,
ハビエル イバニェス−グスマン,
ヴァンサン フレモン,
ヴァンサン フレモン,
ステファーヌ ボネ,
ステファーヌ ボネ,
ミランダ ネト, アルテュール ドゥ
ミランダ ネト, アルテュール ドゥ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Original Assignee
Renault SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS filed Critical Renault SAS
Publication of JP2017521745A publication Critical patent/JP2017521745A/ja
Application granted granted Critical
Publication of JP6714513B2 publication Critical patent/JP6714513B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04Traffic conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3697Output of additional, non-guidance related information, e.g. low fuel level
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862Combination of radar systems with sonar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865Combination of radar systems with lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/80Spatial relation or speed relative to objects
    • B60W2554/804Relative longitudinal speed

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本発明は、特に自動運転の自動車である、車両のナビゲーションモジュールに対象物の存在を知らせる車載装置に関する。
対象物、特に実際の障害物または潜在的な障害物となる対象物の存在を知らせる目的は、自動運転が置かれた環境を自然ないしは強制的に把握する能力を自動運転の移動システムに持たせることである。ビデオ、ライダーおよび/もしくはレーダタイプ、または超音波タイプのセンサから取得したデータを処理することによって、特に、その場面での様々な対象物までの距離やその速度に基づいて、その環境に関する局所的で動的なデジタルマップを作成することによって、この状況認識が得られる。このマップは、適切な自動移動を計画、実施するうえで基礎知識の役割を果たす。この種の自動運転車両においては、この状況認識プロセスが、決定および動作に先立って実行される最初のタスクとなる。この状況認識プロセスは、センサデータから得られる基本特性を時間の経緯とともに抽出、統合して、コンピュータに理解できるようにすることによって、環境およびそれ自体の具体的な状況を提供する。
この状況認識タスクは2つの機能を実行する。すなわち、この状況認識タスクによって、まず、近くの環境において移動または静止している様々な対象物を検出できるようになり、次に、車両に対するそれら対象物の位置、その速度、その方向、そのサイズなど、それらの対象物の状況を推定できるようになる。したがって、この認識は軌道生成モジュールへの入力の役割を果たし、これを使用して、起こり得る衝突を予測し、障害物回避を実行することができる。この状況認識は、自動運転車両にとって最も重要な情報源と考えられる。
ここ数年、アシストブレーキシステム(ABS)に使用されることが増えている、いわゆる「インテリジェント」センサが市場に出回ってきている。これらのインテリジェントセンサは、対象物を検出するだけでなく、その対象物の特徴を示すこともできる。それにもかかわらず、こうしたセンサは完璧ではなく、したがって、相補的なセンサの使用を組合せすることによって認識システムの性能を改善する必要がある。複数のセンサを使用することで、冗長性の原理を取り入れて、さらに頑強な認識システムにすることが可能になり、こうしたシステムが自動運転ナビゲーションに不可欠である。マルチセンサのデータを組合せするこうした手法では、その目的は、様々なセンサからの情報を組合せして、認識された状況の信頼性、確度、および完全性を改善することである。この種のシステムからの出力は、対象物の属性および完全性の測定値を伴う対象物のリストである。認識タスクにおいて、完全性は、雑音(確率的誤差)、不確実な測定値、および異常な測定値を考慮しながら、信頼される情報を提供する能力として定義してもよい。
大抵の認識のアプローチは汎用的なものを目指しており、したがって、目標とする用途にとって最適な特性について問題を抱えており、ハイレベルの情報を提供して自動運転ナビゲーションの計画を支援することができない。この新規の技術的解決法を用いて、マルチセンサの認識の完全性を改善し、観測シーンから得られる文脈情報および意味情報を抽出し、それらを考慮に入れることで、自動運転ナビゲーションの意思決定を支援することを提案する。
文書EP0928428B1には、たとえば、自動運転の移動システムでの距離測定センサの測定品質を評価する方法が記載されている。ここで、評価対象のセンサと同じセルの占有状態に到達する他の測定センサの数に応じて、そのセルに対して測定品質が評価され、占有状況を確認するセンサの数が増えるにつれて、この測定された品質が高まる。
しかし、記載された方法には、1つまたは複数の対象物の存在を車両ナビゲーションモジュールに知らせるための装置内で使用することに関して数多くの欠点がある。これらの欠点のうち、セルを分離するグリッドをまたいでいる対象物、特に2つのセンサ測定の間で一方の側から他方の側に動いている移動対象物についての測定の不確実性に関連している、セルについての必要性の欠点が留意され得る。次いで、ここで生じる問題の1つは、環境を複数のセルに区分化するグリッドを不要にできるようにすることである。生じる別の問題は、可能な限り効果的に各対象物の存在をナビゲーションモジュールに知らせるのに十分なデータを有するということである。
より全般的には、従来技術にまだ残っている別の問題は、検出の性能、および単なる品質評価を超えて検出を活用する性能を改善するということである。
従来技術の問題を解消するために、本発明の装置は、少なくとも1つの対象物の存在を車両のナビゲーションモジュールにリアルタイムで知らせる装置であって、
車両に対する前記対象物の第1の取得位置および第1の取得速度を含む、第1のセンサデータを生成する第1のセンサと、
車両に対する前記対象物の第2の取得位置および第2の取得速度を含む第2のセンサデータを生成する少なくとも1つの第2のセンサと、
前記第1の取得位置および第1の取得速度からの第1の同期位置、ならびに前記第2の取得位置および第2の取得速度からの少なくとも1つの第2の同期位置を含む同期データを生成する同期モジュールと、
前記第1の同期位置および前記第2の同期位置に係る組合せ位置を含む組合せデータを生成して、組合せデータの全部または一部をナビゲーションモジュールに伝達することによって前記少なくとも1つの対象物の存在を前記ナビゲーションモジュールに知らせるために、組合せ(merge)モジュールと
を備えることを特徴とする。
有利には、この装置は、存在が通知される各対象物に関連し、組合せデータから生成されるリスク指標で組合せデータを完成するように構成された、リスク評価モジュールを備える。
具体的には、リスク評価モジュールは、融合データからスコアを算出するための1セットのブロックと、この1セットのスコア算出ブロックのいくつかまたはその全てによって算出されるスコアを組合せして、スコアを組合せすることによって各対象物のリスク指標を生成するためのブロックとを含む。
より具体的には、前記セットは、距離スコア算出ブロック、角度スコア算出ブロック、速度スコア算出ブロック、および/または対象物タイプスコア算出ブロックを含む。
より具体的には、前記セットはまた、地図データからのスコアをさらに算出するための、少なくとも1つのブロックを含む。
より具体的には、前記組合せブロックはまた、算出されたスコアのいくつかまたはその全てを加重和計算することによって、各スコアを組合せするように構成される。
組合せモジュールは、第1の同期位置および第2の同期位置からの前記組合せ位置に同期した少なくとも1つの補足位置を組合せするように構成されることが有効である。
有利には、組合せモジュールによってアクセスされる同期データは、各同期位置に関連する位置分散をさらに含み、この関連する分散によって重み付けされた各同期位置の加算を実行して、各同期位置を組合せする。
有利には、同期データはさらに、各同期位置に関連する位置分散を含み、その結果、組合せモジュールは、前記同期位置間のマハラノビス距離が所定の閾値を下回るときに、前記組合せデータをナビゲーションモジュールに伝達することによって同じ対象物の存在をナビゲーションモジュールに知らせるよう、第1の同期位置および第2の同期位置からの組合せ位置を含む組合せデータを生成し、前記マハラノビス距離が所定の閾値を上回るときに、互いに異なる対象物の存在をナビゲーションモジュールに知らせるよう、第1の同期位置および第2の同期位置からの組合せ位置を含む組合せデータを生成しないように構成される。
本発明はまた、本発明による装置を備えることを特徴とする自動車にある。
以下の詳細な説明を読む過程において、本発明の他の特徴および利点が明らかになろう。この説明を理解するためには添付図面を参照されたい。
本発明による信号伝達装置を装備した車両を示す図である。 車両に装備される装置の有用性を説明するための、車両の環境の概略図である。 車両に装備される装置の有用性を説明するための、車両の環境の概略図である。 本発明による装置の概略ブロック図である。 図4からの装置の同期モジュールの概略ブロック図である。 図4からの装置の組合せモジュールの概略ブロック図である。 リスク因子スコア算出ブロックの流れ図である。 リスク因子スコア算出ブロックの流れ図である。 リスク因子スコア算出ブロックの流れ図である。 リスク因子スコア算出ブロックの流れ図である。 リスク指標を生成するためのスコア組合せブロックの流れ図である。 本発明による方法の各ステップを示す図である。
説明の残りの部分において、同一の構造または類似の機能を有する各要素は、同じ参照番号によって指定される。
図1には、前輪21と、後輪22と、ステアリングコラム8を介して前輪21を操舵するためのハンドル9とを従来のように備えた車両12が示してある。電気、内燃機関、またはハイブリッドの推進駆動システム11の加速および減速は、オンボード電子システム10によって制御され、オンボード電子システム10は、マニュアルモードでハンドル9によって制御されるかまたは自動運転モードでナビゲーションモジュール60によって制御される旋回角αを、やはりステアリングコラム上8で監視するようにプログラムされている。ナビゲーションモジュール60は、本来知られているように、必ずしもそうでないが、たとえば文書WO2014/009631に記載されているような軌道制御装置を備える。オンボード電子システム10はさらに、車両12上の動作手段に、特に、車両が衝突するリスクの高いことを検出した場合に車輪21、22を制動するための普通なら知られている機械式手段に直接または間接的に接続される。オンボード電子システム10は、センサの数は4つに制限されないがセンサ1、2、3、4に接続され、次に説明するように、車両に設置されて、デジタル処理モジュールによって車両の環境についての受信情報を処理することが好ましい。
図2には、対象物13、14、15によって占められた車両12の起こり得る環境が示してあり、これらの対象物は、固定されたまたは移動する障害物となることがあり、ナビゲーションモジュール60は、これらの障害物を考慮して、この環境内でこれらの障害物のうちの1つとぶつかるリスクなしに車両12の動きを制御しなければならない。センサ1は、必ずしもそうではないが、たとえばレーダ認識センサであり、その認識領域が、車両前方の1点鎖線で示してある。センサ2は、必ずしもそうではないが、たとえばビデオカメラであり、その認識領域が、車両前方の破線で示してある。様々な技術を利用するセンサを使用することは、数多くの理由から有益である。たとえば、照明および視認性の条件が可能にする場合には、ビデオカメラによって、各対象物のタイプ、対象物13および14それぞれについての歩行者タイプ、対象物15に対して接近する車両のタイプ、地面に不連続なラインでマーキングされた道路中心のタイプを、より高い精度で区別することができるようになる。タイプの区別は、レーダ認識センサの場合は低いレベルであるが、レーダ認識センサは、照明および視認性の条件の影響を受けにくい検出を可能にする。純粋に例示的で、かつ包括的でない例として、ステレオビデオカメラ、ライダー、超音波または赤外線タイプなどの他のタイプのセンサを使用してもよい。使用されるセンサのうち少なくとも2つは、インテリジェントセンサである。
センサが取り込む信号に何らかの処理を実行して、対象物13、14、15を検出し、検出された各対象物について、センサに対する座標系で取り込まれた対象物の位置および速度を含むセンサデータを生成するように構成されているとき、センサはインテリジェントと呼ばれる。たとえば、有利には、センサはまた、センサを車両のどこに設置されるかを考慮して、センサ1、2に対する座標系で得られた位置および速度の座標から、車両12に対する座標系に入れ替えられた位置座標x、yおよび速度座標Vx、Vyに移行するためのパラメータを有してもよい。各インテリジェントセンサiによって生成されるデータは、センサによって検出される対象物の数N、タイムスタンプコードtsp、および待ち時間インジケータtをヘッダとして含む、検出された対象物O、O、OのリストLciとして構成されることが好ましい。
リストLciの先頭にタイムスタンプコードtspを生成するために、センサは、ユニバーサルクロック、たとえばアプリケーションモジュール60で規定通りに利用可能なGNSS(全地球航法衛星システム)のクロックにアクセスすることができる。次いで、センサ1、2は、リストLci(センサ1についてはLc1、センサ2についてはLc2)を生成する時点を、コードtspに記す。センサ1、2は、リアルタイムでの信号の取込みの時点と、リストLciを生成する時点との間の時間、すなわち信号を処理してリストLciを生成するまでの遅延を待ち時間インジケータtに同時に記す。待ち時間インジケータtは、認識済みの信号自体の速度を考慮することもできる。たとえば、音の速度は光の速度よりもはるかに低いことが知られている。
説明の残りの部分で述べるように、本発明はまた、リストLciの先頭にタイムスタンプコードtspを生成しないセンサで実施してもよい。
リストLci内の各対象物O、O、Oは、対象物識別子Id、対象物の位置座標x、yによって識別される対象物の位置、対象物の速度座標Vx、Vyによって識別される対象物の移動速度、統計的分散σx、σyによって評価される位置の不確実性、対象物のタイプ(対象物13または14では歩行者、対象物15では車両)、および対象物の寸法を含む属性のサブリストに関連づけられ、このとき、このデータはセンサiによって取り込まれ、このセンサがリストLciを生成し、iは1からQまで変化し、Qはセンサの数を示す。
したがって、センサ1の認識領域とセンサ2の認識領域の両方にある、車両の前方に位置する対象物13、14、15のそれぞれには、属性の2つのサブリストが対応し、一方がセンサ1のリストLc1内の対象物に関連し、もう一方がセンサ2のリストLc2内の同じ対象物に関連する。
図3には、対象物13、14、15によって占められた、車両12の別の起こり得る環境が示してある。図3に示す環境は十字路に関連し、ここでは、対象物が、道路を横切ろうとしている歩行者タイプの対象物14のように左側からやって来るのと同様に、やはり道路を横切ろうとしている歩行者タイプの対象物13のように右側からやって来る可能性もある。
センサ3は、必ずしもそうである必要はないがたとえばレーダ認識センサまたはビデオカメラであり、車両の前方および右側に断続的な1点鎖線で示した認識領域をカバーする。センサ4は、必ずしもそうである必要はないがたとえばセンサ3と同じタイプのセンサであり、車両の前方および左側に断続的な1点鎖線で示した認識領域をカバーする。
したがって、センサ1の認識領域とセンサ3の認識領域の両方にある、車両の前方および右側に位置する対象物13には、属性の2つのサブリストが対応し、一方がセンサ1のリストLc1内の対象物13に関連し、もう一方がセンサ3のリストLc3内の対象物13に関連する。同様に、センサ1の認識領域とセンサ4の認識領域の両方にある、車両の前方および左側に位置する対象物14には、属性の2つのサブリストが対応し、一方がセンサ1のリストLc1内の対象物14に関連し、もう一方がセンサ4のリストLc4に記載された対象物14に関連する。センサ1の認識領域と、センサ2の認識領域と、センサ4の認識領域とにある、車両のさらに前方の左側に位置する対象物15には、属性の3つ以上のサブリストが対応し、それぞれが、センサ1のリストLc1、センサ2のリストLc2、およびセンサ4のリストLc4のそれぞれにおける対象物15に関連する。有利には、十分なセンサを設けて、少なくとも2×2の重畳された領域のセクタを有する、車両12の周囲全てをカバーする認識領域を生成することが可能である。したがって、センサの数Qが4つを超えてもよく、この数が2つに等しくなるとすぐ有益になることが明らかとなろう。
センサ1、2、3、4は、図4に概略を示す装置に接続され、これは有線接続によって直接接続されるか、あるいは、CANタイプ、LINタイプ、イーサネット自動車タイプ、もしくは他のバスタイプなどのうちの1つのローカルバス、または場合によっては、車両外部の固定センサを使用するものと本発明が解釈される場合は、外部の通信モジュールを介して接続される。その結果、例としてのみ本明細書で説明される実施形態では、センサ1、2、3、4のうちの1つによってそれぞれ生成されるリストLc1、Lc2、Lc3、Lc4のそれぞれによって、構成されたセンサデータが同期モジュール20に伝達される。
図5を使用して、同期モジュール20の構造および動作をより詳細に説明する。
前述の通り、Q個のセンサのそれぞれが、ここではリストLciとして構成されるデータを生成するように構成され、iは1からQまで変化する。リストLciは、対象物Oの数Nを含み、kは1からNまで変化する。対象物の数Nは、あるリストLciと別のリストとで互いに異なっていてもよいことに留意されよう。したがって、図3の例では、Nは、対象物13、14、15を含むリストLc1についての値3、単一の対象物15を含むリストLc2についての値1、単一の対象物13を含むリストLc3についての値1、および対象物14および15を含むリストLc4についての値2を有する。
図5で分かるように、リストLciからの各対象物Oには、センサiによって取り込まれた対象物Oの位置および速度を含む属性のサブリストが関連づけられており、車両12に対する座標系において、位置は、その座標x、yによって定量化され、速度は、その座標Vx、Vyによって定量化される。あるセンサによって生成されるデータは、別のセンサによって生成されるデータに対して非同期であるが、それというのも、取込み時間が、あるセンサと別のセンサとで必ずしも同期していないからであり、信号を処理する時間、特に対象物を識別し、各対象物の属性を定量化するのに要する時間が、あるセンサと別のセンサとで変化し、またそれより程度は小さいが、あるセンサ技術と別のセンサ技術とで互いに異なるので、信号自体の速度により、信号が対象物から生じる時点と、この信号がセンサによって認識される時点との間に遅延を生じることがある。各センサの供給者が、一般には、待ち時間インジケータtを決定する立場にあり、これが、処理時間と、必要ならば信号の速度にリンクしている遅延と、場合によっては、供給者が保持するセンサの既知の技術に応じて容易に評価できる他の遅延とを組合せする。利用する技術に応じて、待ち時間インジケータの値tは、処理負荷に応じて、供給者によってセンサのメモリ内にセットされるか、または専用プロセッサの技術分野において本来知られているようにセンサ自体によってリアルタイムに算出される。
対象物13、14、15、および/または車両12の起こり得る動きにより、対象物の位置は、タイムスタンプtspが示す時点、すなわちセンサからのデータが生成される時点と、センサによって取り込まれた位置に対象物が実際にあった以前の時点tsp−tとの間で変化している可能性がある。
同期モジュール20は、同期時間tsynと、センサiによって検出された対象物が、関連する属性のサブリストに示されるセンサによって取り込まれた位置に実際にあった以前の時点tsp−tとを隔てる遅延Δtを計算するように構成されたサブモジュール24を備える。
関連するセンサの全てと同じ同期時間tsynを共有するために、サブモジュール24は、基準クロック23、たとえばユニバーサル基準時間を提供するGNSS(全地球航法衛星システム)タイプのクロックにアクセスする。
リストLciの先頭における待ち時間インジケータtの値は各センサiに特有なので、これはセンサ自体から生じる。
車両に設置されたセンサが、有線接続または各センサによって送出されるフレームに高い優先順位が割り当てられるLINもしくはCANタイプのリアルタイムネットワークによって直接モジュール20に接続されている場合、すなわち、センサによるデータの生成時点が、モジュール20、特にサブモジュール24による受信時点と同様であると見なすことができる場合、基準クロック23の利益を有するサブモジュール24の入力において、タイムスタンプコードtspをリストLciに直接取り入れることが可能である。これにより、この場合にはタイムスタンプコードtspを送信する必要がなく、したがってユニバーサル基準時間を提供するクロックにアクセスする必要がない、より簡略なセンサを使用することが可能になる。
各センサによって送信されるフレームに低い優先順位が割り当てられて、有線接続によって、たとえば、より対線上での802.3タイプもしくはCANタイプのリアルタイムネットワークによって、車両に設置されたセンサが直接モジュール20に接続されない場合、またはセンサが車両の外部に存在する場合に、たとえば遠隔通信ネットワークを介して接続されない場合、すなわち、センサによってデータが生成される時点が、モジュール20、特にサブモジュール24によって受信される時点よりも著しく早いと見なしてもよい場合には、センサの出力において、またはセンサの近くのシステムの出力において、タイムスタンプコードtspをリストLciに直接取り入れることが好ましく、どちらか一方が、ユニバーサル基準時間を提供するクロックにアクセスすることによってタイムスタンプコードtspを送信するように構成される。
センサタイプの多様性、信号およびデータの伝送時間、またはモジュール20自体の処理負荷に関連した同期差を解消するため、サブモジュール24は、同期時点tsynと、サブモジュール24によって処理するためにセンサiによってデータが生成された以前の時点tspとの間の遅延tsyn−tspを確認検査するように構成されることが好ましい。
遅延tsyn−tspが、追跡不能閾値tTF以上である場合、生成データおよび値tspを有する時点に関連するデータは考慮されず、サブモジュール24は、受信データから同期したデータについてリストLciを生成しない。
遅延tsyn−tspが、追跡不能閾値tTF未満の場合、図5に示す例において、サブモジュール24は、同期した対象物のリストLsiにより、遅延Δtを使用して同期データ構造を生成する。各リストLsiは、センサiとの関連づけを継続し、iの値は、たとえばセンサ1、2、3、4に対してそれぞれ1、2、3、4である。各リストLciにおいてtspおよびtの値が互いに異なってもよいが、全てのリストLsiは、この全てのリストLsiに共通の同期時点を示す、同じ値のtsynを含む。各リストLsiは、同期した対象物の数Nを含んでもよく、この数は、対応するリストLciに含まれる数Nと等しい。
当該リストLsi内の各対象物Oは、センサiによって検出された対象物Oの位置および速度を含む、属性のサブリストに関連づけられている。ここで、位置は、全ての対象物に共通であり、かつ、同じ対象物についてはその対象物を検出した全てのセンサに共通である時点tsynに推定された、その座標xs、ysによって定量化される。
サブモジュール24は、算出された遅延Δtをサブモジュール25に伝達し、このサブモジュール25は、検出された対象物のリストLci内の対象物Oに対応する属性のサブリスト中の取り込んだ位置および速度にアクセスして、以下の式を使用して対象物Oの同期位置を計算する。
xs:=x+VxΔt
ys:y+VyΔt
サブモジュール25の出力における属性のサブリストでは、遅延Δtの間、対象物Oの速度を一定と見なせる程度まで、対象物Oの速度がその座標Vx、Vyによって定量化され続けてもよい。すると、モジュール20によって生成されるデータは、全てのセンサに対して同期している。
モジュール20によって生成される同期データを含む各リストLsi(単なる例として、図4のリストLs1、Ls2、Ls3、Ls4)が、組合せモジュール30に伝送されて(より詳細には、次に図6を参照して説明する)、車両12の環境の瞬時のスナップショットを得る。
組合せモジュール30の目的は、複数のセンサを使用することで追加される情報の冗長度を活用することによって、情報の信頼度を上げることである。
モジュール30のサブモジュール31は、モジュール30に伝送された各リストLsiを連続してスキャンして組合せデータを生成する。この組合せデータは、様々なセンサの様々なリストLsiにおける全ての対象物を含む組合せリストLfによって、図6に示した実施形態に構成される。ここで、iは、1、2、およびそれ以上に等しい。
リストLf内の対象物Ofj(jは1からMまで変化する)の数Mは、したがって対象物Oskの数Nそれぞれよりも概ね大きくなり、各センサに関連する同期した対象物の各リストLsiにおいて、kは1からNまで変化する。
組合せデータは初期化されて、モジュール30によってスキャンされる第1の同期データとなり、この同期データは第1のセンサ1によって生成されるデータである。図6に示した例では、属性のサブリストを指し示すことによって、初めにリストLfがリストLs1を複製し、この属性のそれぞれは、リストLs1が指し示す属性のサブリストを複製する。リストLfが指し示す属性の各サブリストに、さらなる属性Sdeを追加して、当該属性のサブリストに関連する対象物Oの検出スコアを定量化することが有益である。検出スコアは1の値に初期化される。
受信された各同期リストLsiから、サブモジュール31が、最後のセンサに対応する最後の同期リストに到達するまで、たとえば以下のように同期リストLsiを組合せリストLfと組合せする。
モジュール30のサブモジュール32が、図12を参照して次に説明するプロセスステップを含むプロセスステップを実行するようにプログラムされている。サブモジュール31は、このサブモジュール31によって伝達されるデータを待つスタンバイステップ318において、初めに同期リストLsiからサブモジュール32にデータを伝達する。
ステップ319では、サブモジュール32は、まず対象物Oskに関連する第1のサブリストに向かう。ここでリストLsiにおいてk=1である。
ステップ320では、サブモジュール32は、サブモジュール32が位置している現在の指数kを持つ対象物Oskにリンクしたコード分散Σskにアクセスする。
同期時点tsynにおいて、車両12に対する物体Oskの位置を定量化するためのランダム変数Xs、Ysをインスタンス化するものとしてセンサから得られる横座標および縦座標の値xs、ysを考慮すると、起こり得るインスタンスの広がりは、各ランダム変数の分散var(Xs)、var(Ys)、およびランダム変数間の共分散cov(Xs、Ys)、cov(Ys、Xs)によって測定することができ、これに基づいて、コード分散行列Σskが次式F1で定義されることを思い出されたい。
Figure 0006714513
独立した確率変数Xs、Ysを考慮すると、共分散行列Σskも次式F2で記述できることを思い出されたい。
Figure 0006714513
上式で、σxsおよびσysはそれぞれ、インスタンスxs、ysを中心とする、ランダム変数Xsの標準偏差およびランダム変数Ysの標準偏差をそれぞれ指定する。
標準偏差は容易に決定することができ、または、その2乗は当該センサの技術的特性から容易かつ直接求めることができ、このことは供給者に知られているはずである。それらの値が一定である場合、これを装置のメモリに記憶することができる。それらの値が、視認性、周囲温度、またはセンサによって検出可能な他の大気中の要因に応じて変化する場合は、リストLci内で伝送し、次いでリストLsiに転送することができる。また、標準偏差の平方σ xs、σ ysそれぞれと、たとえばゼロ平均不確実性を中心とする正規法則Nにおける、センサの測定不確実性δxs、δysとの間の関係を本来知られている方法で確立してもよい。
それぞれ、δxs≒N(0,σ xs)、δys≒N(0,σ ys
ステップ321では、サブモジュール32は、対象物Ofjに関連する第1のサブリストにそれ自体を配置することによって開始する。ここでリストLfにおいてj=1である。
ステップ322では、サブモジュール32は、サブモジュール32が位置している現在の指数jを持つ対象物Ofjにリンクした共分散行列Σfjにアクセスする。
共分散行列Σfjは、同期時点tsynにおける車両12に対する代表的な対象物の位置Ofjを定量化するために、横座標および縦座標の値xf、yfについて上記のように定義される。すると、共分散行列Σfjは、ここに次式F3で記述することができる。
Figure 0006714513
上式で、σxfおよびσyfはそれぞれ、インスタンスxf、yfを中心とする、ランダム変数Xfの標準偏差および変数Yfの標準偏差をそれぞれ指定する。
ステップ323では、サブモジュール32は、1つまたは複数の組合せ判定基準が満たされているかどうかを確認検査する。1つの顕著な判定基準は、対象物OskとOfjの間のマハラノビス距離dμ(Osk、Ofj)がハッシュ閾値tηよりも小さいことである。ここで説明する実施形態では、マハラノビス距離は、対象物OskおよびOfjの横座標および縦座標の値xs、xf、ys、yfから、次式F4によって算出される。
Figure 0006714513
組合せ判定基準が満たされる場合、特に、マハラノビス距離がハッシュ閾値よりも小さい場合、サブモジュール32は、対象物Oskを対象物Ofjと組合せ(ψ)して以下のようにして算出された新規の属性値を得ることによって、また特にベイズの公式を位置座標に適用することによって、対象物Ofjを修正するステップ324を実行する。
Figure 0006714513
修正された組合せ済みの対象物Ofjのその他の属性は、適切な標準偏差を用いて、または他の何らかの方式でベイズの公式を適用することによって、再度資格を与えることができる。
たとえば、ベイズの公式を速度座標に適用したいと考える場合、サブモジュール32が同期速度座標の標準偏差にアクセスできることが必要である。組合せされた対象物Ofjの速度座標Vxf、Vyfも、同期された対象物Oskの速度座標Vxs、Vysと、組合せされた対象物Ofjの速度座標Vxf、Vyfとの簡略な算術平均をとることによって再度資格を与えることができる。これは、たとえば、対象物の空間次元Dimについても同様である。
たとえばタイプ属性など、属性によっては、より多大な困難を伴わなければ、平均を計算するのに向かないものがある。組合せに適した検出済みの対象物の間でタイプが異なり得る状況では、この領域で最も信頼性の高いタイプのセンサに由来するタイプを保持する解決策、累積タイプの解決策、複数のセンサに由来する対象物の場合には、判定することによって続行する解決策、または満たすべき組合せ判定基準としてタイプの同等性を考慮する解決策など、様々な解決策を想定してもよい。
ステップ323において、組合せ判定基準または組合せ判定基準のうちの1つが満たされない場合、特にマハラノビス距離がハッシュ閾値以上である場合、サブモジュール32はステップ325を実行する。このステップ325では、リストLf内の対象物Ofjに関連する次のサブリストまで進むように指数jを増やした後に、指数j=Mを有する最終サブリストに到達し、それがステップ326で検査されることになる。現在の指数kを有する同期された対象物Oskと、リストLfからの組合せされた対象物のうちの1つとを組合せするために、1つまたは複数の組合せ判定基準が満たされているかどうか確認検査するためのjがM以下である場合、ステップ326はステップ322にループする。
指数jの値がMより大きいことは、対象物Oskを対象物Ofjのうちの1つと組合せすることによって、その対象物Ofjを修正することが不可能であることを示す。ステップ326の試験への肯定応答はステップ327を起動する。ステップ327では、リストLfにある対象物の数Mを1だけ増加して、現在の同期された対象物Oskを複製する指数j=Mを有する組合せされた対象物Ofjをそこに追加することになる。
同期された現在の対象物OskがリストLf内の組合せされた既存の対象物Ofjのうちの1つと組合せされたステップ324に続いて、または代替的に、同期された現在の対象物OskがリストLfに追加されて、組合せされた新規の対象物OfMを生成するステップ327に続いて、ステップ328では、リストLsiで受信される同期された対象物の数Nを指数kが超えない場合、ステップ320にループすることによって、指数kを増やして、リストLsi内に指数kを有する次の対象物Oskに関連づけられたサブリストにサブモジュール32を配置する。
このオーバーシュートの存在を試験するステップ329では、サブモジュール32は、試験への肯定応答の場合に重み付けステップ318にループして、モジュール31に制御を戻して、センサから生成されたリストの最後まで次のリストLsiに取り組む。
リストLfからの同じ対象物Ofjと、リストLsiからの2つの異なる対象物Oskとを組合せしないよう、ステップ319で空集合φに初期化された集合εを設けてもよく、これは、既に修正されたか、またはリストLsiからの前の対象物Oskから作成されたリストLfからの対象物Ofjの各指数jをリストするものである。次いで、サブモジュール32がステップ328を通るときに、ステップ324またはステップ327で検査された指数jが集合εに供給されて、ステップ325において、集合εの外側にある次の指数jを取り込む。
したがって、サブモジュール31の出力は、リスク評価サブモジュール33に、組合せデータの形で属性を伴う組合せされた対象物の完全なリストLfを提供する。
サブモジュール33は、地図データ構造40にアクセスして、データ構造50においてアクセス可能なコンテキストデータとともに、対象物Ofjのそれぞれに関してリストインジケータを構成する。サブモジュール33は、既知の他の方法を使用して車両12を精密に回転させ、このとき、GNSS受信機、データ構造40においてアクセス可能なデジタルナビゲーション地図、および視覚による幾何プリミティブを抽出するためのアルゴリズムを使用する。これらの方法は、たとえば、Tao Z、Bonnifait P、およびFremont V、およびIbanez−Guzman Jによる「Lane marking aided vehicle localization」、IEEE Conference on Intelligent Transportation Systems(IEEE ITSC2013)、2013年10月6日〜9日、Hague、Netherlands、の学術論文に記載された方法である。
データ構造40から抽出されるナビゲーション地図のデジタル処理により、サブモジュール33は、車両の幾何学的環境における車両の位置を正確に出力して、車両12および他の移動対象物との相互作用の発生源である、存在する様々な対象物を環境内で特定できるようになる。サブモジュール33は、ハイレベルの命令をナビゲーションシステムに提供するために、このようにして構成された道路状況の構成とコンテキストを組合せして、各対象物に関連するリスクのレベルを規定する。車両が都市環境内を移動する特定の場合は、車両が移動する状況のトポロジ、構造、および標識に関連した、障害物にリンクするリスクの概念を評価することにより、地図データを使用することで環境の意味論的記述を改善することが可能になる。道路標示、交差点、標識および他の道路特有のものを使用して、現場で検出されるそれぞれの対象物にリンクしたリスク指標を改善する。たとえば、前方から一直線に来るが自身の車線に残っている車両は、交差点で左からやって来る車両よりも潜在的に危険性が低い。
リスト評価サブモジュール33は、図7〜図10に示すブロックをモデルにしたブロック133、233、333、433によってそれぞれ生成された互いに異なるスコアを組合せすることにより、各対象物Ofjに関連したリスク指標を生成する。
図7および図8には、障害物のデカルト位置および角位置、ならびに実質的にコンテキスト地図データに基づいて、スコアを生成する様子が示してある。たとえば、対象物がより近くなり、車両12の車線に侵入するにつれて、この対象物はより危険になる。十字路に進入する際、検出された対象物がどの程度危険なのか、たとえば対象物が左から来るのか、それとも右から来るのかを定量化するには、距離および角度のデータが重要である。
図7を参照すると、ブロック133は、対象物Ofjと車両12とを隔てている距離Dを計算する。たとえば、車両12に対する座標系において、対象物の座標xf、yfから通常のやり方で距離Dが算出される。次いで、ブロック133は、算出された距離Dと、データ構造40から得られた最長距離Dmaxとを比較する。
距離Dが最長距離Dmaxよりも長い場合、距離スコアSdがゼロに設定される。距離Dがゼロの場合、距離スコアSdは、その最大値、たとえば1に設定される。距離Dの他の値については、ブロック133は、たとえば距離Dで示される最長距離の比率を1から差し引くことによって、ゼロと1の間のスコアを計算する。
最大距離Dmaxは、それを超えると、検出された対象物にリンクした距離スコアSdにリンクする任意のリスク因子を考慮する必要がない距離である。最長距離の値は、センサの範囲、車両12の実現可能な制動距離、または所定のリスク評価戦略にリンクした他の値に等しいと見なしてもよい。
図8を参照すると、ブロック233は、対象物Ofjの照準軸と車両12の縦軸とを隔てている角度θを計算する。たとえば、車両12に対する座標系において、対象物の座標xf、xyに適用される古典的な三角法の規則から通常のやり方で角度θが算出される。次いで、ブロック233は、算出された角度θと、データ構造40から得られた最大角度θmaxとを比較する。
角度θがゼロの場合、角度スコアSθがゼロに設定される。角度θが最大角度θmaxよりも大きい場合、角度スコアSθは、その最大値、たとえば1に設定される。角度θの他の値については、ブロック233は、たとえば角度θで示される最大角度θmaxの比率に等しい、ゼロと1の間のスコアを計算する。
最大角度θmaxは、それを超えると、検出された対象物の目標角度スコアSθにリンクしたリスク因子が著しく高くなる角度である。最大角度の値は、センサの角度範囲、車両12の方向転換能力、または所定のリスク評価戦略にリンクした他の値に等しいと見なしてもよい。
図9を参照すると、ブロック333は、車両12に対して対象物Ofjが移動している速度Vを計算する。たとえば、車両12に対する座標系において、対象物の速度座標Vxf、Vyfから通常のやり方で速度Vが算出される。次いで、ブロック333は、算出された速度Vと、データ構造40または他から得られた最高速度Vmaxとを比較する。
速度Vが最高速度Vmaxよりも高い場合、速度スコアSvが1に設定される。速度Vがゼロである場合、速度スコアSvは、その最小値、たとえばゼロに設定される。速度Vの他の値については、ブロック333は、たとえば速度Vで示される最高速度の比率として、ゼロと1の間のスコアを計算する。
最高速度Vmaxは、それを超えると、検出された対象物の動きについての速度スコアSvにリンクしたリスク因子が著しく高くなる速度である。最高速度の値は、車両に向かう向き、車両12の可能な制動距離、または所定のリスク評価戦略にリンクした他の値に応じて可変であると見なしてもよい。
図10に示すブロック433の機能は、遭遇した障害物のタイプに応じて脆弱性スコアを割り当てるように、障害物のタイプに基づいてスコアを生成することである。たとえば歩行者は自動車よりも脆弱であり、したがって、リスクの評価においては、より大きな重要度を与えなければならない。
ブロック433は、対象物Ofjに関連するサブリストから、障害物のタイプ(タイプf)を抽出する。次いで、ブロック433は、現在の対象物のタイプに対応する障害物のタイプを見つけるまで、障害物のタイプにそれぞれ割り当てられた脆弱性スコアの対応表50をスキャンする。
タイプスコアStは、表50において処理された対象物のタイプ(タイプF)と等しいタイプ(タイプo)に関連づけられている値So(タイプo)に設定される。
図11を参照して次に説明するように、ブロック533により、組合せモジュール30は、対象物OfjのリストLfeを生成できるようになる。
ブロック533は、ブロック133、233、333、433によって生成されるスコアに、所期の用途に依存し、たとえばナビゲーション要求事項に応じて平均重み付けしてもよい組合せ規則を適用する。ファジー論理または救援機能など、他の決定支援形式を使用して、使用される組合せ規則を規定してもよい。組合せプロセスの結果、リスク指標lrが生成され、ブロック533は、この時点でリストLfeが指し示している対象物Ofjのサブリストにそのリスク指標lrを追加する。

Claims (6)

  1. 少なくとも1つの対象物(13、14、15)の存在を車両(12)のナビゲーションモジュール(60)にリアルタイムで知らせる装置であって、
    前記車両(12)に対する前記対象物の第1の取得位置および第1の取得速度を含む、第1のセンサデータを生成する第1のセンサ(1)と、
    前記車両(12)に対する前記対象物の第2の取得位置および第2の取得速度を含む第2のセンサデータを生成する少なくとも1つの第2のセンサ(2、3)と、
    前記第1の取得位置および第1の取得速度からの第1の同期位置、ならびに前記第2の取得位置および第2の取得速度からの少なくとも1つの第2の同期位置を含む同期データを生成する同期モジュール(20)と、
    前記第1の同期位置および前記第2の同期位置からの組合せ位置を含む組合せデータを生成して、前記組合せデータの全部または一部をナビゲーションモジュール(60)に伝達することによって前記少なくとも1つの対象物(13、14、15)の存在を前記ナビゲーションモジュール(60)に知らせ、および、前記車両と前記対象物の間の距離に関する距離スコア、前記車両と前記対象物の間の角度に関する角度スコア、前記車両に対する前記対象物の動きの速度に関する速度スコア、および前記対象物のタイプごとに異なるスコアが割り当てられた対象物のタイプに基づく対象物スコアに基づいた、前記対象物に関するリスク指標を決定するための組合せモジュール(30)と
    を備え
    前記組合せモジュール(30)が、存在が通知される対象物(13、14、15)毎の前記リスク指標と合わせて前記組合せデータを完成することを特徴とする装置。
  2. 前記組合せモジュール(30)が、組合せデータからスコアを算出するための1組のスコア算出ブロック(133、233、333、433)と、前記1組のスコア算出ブロックのいくつかまたはその全てによって算出されるスコアを組合せて、スコアを組合せすることによって対象物毎の前記リスク指標を生成するための1つの組合せブロック(533)を使用することを特徴とする、請求項1に記載の装置。
  3. 前記1組のスコア算出ブロック(133、233、333、433)が、前記距離スコアを計算する距離スコア算出ブロック(133)、前記角度スコアを計算する角度スコア算出ブロック(233)、前記速度スコアを計算する速度スコア算出ブロック(333)、および前記対象物スコアを計算する対象物タイプスコア算出ブロック(433)を含むことを特徴とする、請求項2に記載の装置。
  4. 前記1組のスコア算出ブロック(133、233、333、433)が、地図データを使用して、前記距離スコア、前記角度スコア、および前記速度スコアを算出することを特徴とする、請求項2または3に記載の装置。
  5. 同期モジュール(20)によって生成される同期データがさらに、各同期位置に関連する位置分散を含み、
    組合せモジュール(30)は、前記第1の同期位置および前記第2の同期位置の間のマハラノビス距離が所定の閾値を下回るときに、前記組合せデータを前記ナビゲーションモジュール(60)に伝達することによって同じ対象物の存在を前記ナビゲーションモジュール(60)に知らせるよう、前記第1の同期位置および前記第2の同期位置からの組合せ位置を含む前記組合せデータを生成し、前記マハラノビス距離が前記所定の閾値を上回るときに、2つの互いに異なる対象物の存在を前記ナビゲーションモジュール(60)に知らせるよう、前記第1の同期位置および前記第2の同期位置からの組合せ位置を含む組合せデータを生成しないように構成されることを特徴とする、請求項1からのいずれか一項に記載の装置。
  6. 請求項1からのいずれか一項に記載の装置を備えることを特徴とする車両(12)。
JP2016564576A 2014-04-30 2015-04-09 車両のナビゲーションモジュールに対象物の存在を知らせる車載装置 Active JP6714513B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1453910A FR3020616B1 (fr) 2014-04-30 2014-04-30 Dispositif de signalisation d'objets a un module de navigation de vehicule equipe de ce dispositif
FR1453910 2014-04-30
PCT/FR2015/050939 WO2015166156A1 (fr) 2014-04-30 2015-04-09 Dispositif de signalisation d'objets a un module de navigation de vehicule equipe de ce dispositif

Publications (2)

Publication Number Publication Date
JP2017521745A JP2017521745A (ja) 2017-08-03
JP6714513B2 true JP6714513B2 (ja) 2020-06-24

Family

ID=51688143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016564576A Active JP6714513B2 (ja) 2014-04-30 2015-04-09 車両のナビゲーションモジュールに対象物の存在を知らせる車載装置

Country Status (6)

Country Link
US (1) US10035508B2 (ja)
EP (1) EP3137355B1 (ja)
JP (1) JP6714513B2 (ja)
CN (1) CN106255899B (ja)
FR (1) FR3020616B1 (ja)
WO (1) WO2015166156A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10527730B2 (en) * 2015-10-22 2020-01-07 Toyota Motor Engineering & Manufacturing North America, Inc. Object detection system
DE102016000209A1 (de) * 2016-01-11 2017-07-13 Trw Automotive Gmbh Steuerungs-System und Verfahren zum Ermitteln einer Straßenbelagsunregelmäßigkeit
US10761196B2 (en) 2016-02-18 2020-09-01 Aeye, Inc. Adaptive ladar receiving method
US9933513B2 (en) 2016-02-18 2018-04-03 Aeye, Inc. Method and apparatus for an adaptive ladar receiver
JP6256531B2 (ja) * 2016-06-10 2018-01-10 三菱電機株式会社 物体認識処理装置、物体認識処理方法および自動運転システム
EP3418150B1 (en) * 2016-08-29 2024-05-29 Mazda Motor Corporation Vehicle control device
US10095238B2 (en) * 2016-12-14 2018-10-09 Ford Global Technologies, Llc Autonomous vehicle object detection
US11392133B2 (en) 2017-06-06 2022-07-19 Plusai, Inc. Method and system for object centric stereo in autonomous driving vehicles
US11042155B2 (en) * 2017-06-06 2021-06-22 Plusai Limited Method and system for closed loop perception in autonomous driving vehicles
JP6856452B2 (ja) * 2017-06-14 2021-04-07 トヨタ自動車株式会社 物標判定装置及び運転支援システム
US10656652B2 (en) 2017-08-10 2020-05-19 Patroness, LLC System and methods for sensor integration in support of situational awareness for a motorized mobile system
US10334331B2 (en) 2017-08-25 2019-06-25 Honda Motor Co., Ltd. System and method for synchronized vehicle sensor data acquisition processing using vehicular communication
US10168418B1 (en) 2017-08-25 2019-01-01 Honda Motor Co., Ltd. System and method for avoiding sensor interference using vehicular communication
US10757485B2 (en) * 2017-08-25 2020-08-25 Honda Motor Co., Ltd. System and method for synchronized vehicle sensor data acquisition processing using vehicular communication
US10831202B1 (en) * 2017-09-01 2020-11-10 Zoox, Inc. Onboard use of scenario description language
CA3075736A1 (en) 2017-09-15 2019-11-14 Aeye, Inc. Intelligent ladar system with low latency motion planning updates
KR102428660B1 (ko) * 2017-11-08 2022-08-03 현대자동차주식회사 차량 및 차량의 제어방법
FR3076045A1 (fr) * 2017-12-22 2019-06-28 Orange Procede de surveillance d'un environnement d'un premier element positionne au niveau d'une voie de circulation, et systeme associe
WO2019166141A1 (en) * 2018-03-01 2019-09-06 Jaguar Land Rover Limited Vehicle control method and apparatus
WO2019232355A1 (en) * 2018-05-31 2019-12-05 TuSimple System and method for proximate vehicle intention prediction for autonomous vehicles
US11104334B2 (en) 2018-05-31 2021-08-31 Tusimple, Inc. System and method for proximate vehicle intention prediction for autonomous vehicles
US11181929B2 (en) 2018-07-31 2021-11-23 Honda Motor Co., Ltd. System and method for shared autonomy through cooperative sensing
US11163317B2 (en) 2018-07-31 2021-11-02 Honda Motor Co., Ltd. System and method for shared autonomy through cooperative sensing
EP3642684B1 (en) * 2018-08-24 2021-10-06 Baidu.com Times Technology (Beijing) Co., Ltd. Data transfer logic for transferring data between sensors and planning and control of autonomous driving vehicle
CN110376583B (zh) * 2018-09-30 2021-11-19 毫末智行科技有限公司 用于车辆传感器的数据融合方法及装置
CN110971327A (zh) * 2018-09-30 2020-04-07 长城汽车股份有限公司 用于环境目标的时间同步方法及装置
CN110378178B (zh) * 2018-09-30 2022-01-28 毫末智行科技有限公司 目标跟踪方法及装置
JP7166988B2 (ja) * 2019-06-26 2022-11-08 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US11635495B1 (en) 2021-03-26 2023-04-25 Aeye, Inc. Hyper temporal lidar with controllable tilt amplitude for a variable amplitude scan mirror
US11604264B2 (en) 2021-03-26 2023-03-14 Aeye, Inc. Switchable multi-lens Lidar receiver
US11630188B1 (en) 2021-03-26 2023-04-18 Aeye, Inc. Hyper temporal lidar with dynamic laser control using safety models
US20220308187A1 (en) 2021-03-26 2022-09-29 Aeye, Inc. Hyper Temporal Lidar Using Multiple Matched Filters to Determine Target Retro-Reflectivity
US11480680B2 (en) 2021-03-26 2022-10-25 Aeye, Inc. Hyper temporal lidar with multi-processor return detection
US11493610B2 (en) 2021-03-26 2022-11-08 Aeye, Inc. Hyper temporal lidar with detection-based adaptive shot scheduling
US20220317249A1 (en) 2021-03-26 2022-10-06 Aeye, Inc. Hyper Temporal Lidar with Switching Between a Baseline Scan Mode and a Pulse Burst Mode

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19641261C1 (de) 1996-10-07 1998-02-12 Siemens Ag Verfahren zur Bewertung der Meßqualität eines Entfernungsmeßsensors an einem autonomen mobilen System
US5979586A (en) * 1997-02-05 1999-11-09 Automotive Systems Laboratory, Inc. Vehicle collision warning system
WO2004031877A1 (de) * 2002-09-27 2004-04-15 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zur ermittlung des fahrzeugumfeldes
JP2005001642A (ja) * 2003-04-14 2005-01-06 Fujitsu Ten Ltd 盗難防止装置、監視装置、及び盗難防止システム
JP3960317B2 (ja) * 2004-03-03 2007-08-15 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
MX2007014997A (es) * 2005-06-01 2008-04-22 Innosurance Inc Recoleccion y analisis de datos de operacion de vehiculo de motor.
US20070182623A1 (en) * 2006-02-03 2007-08-09 Shuqing Zeng Method and apparatus for on-vehicle calibration and orientation of object-tracking systems
US8135605B2 (en) * 2006-04-11 2012-03-13 Bank Of America Corporation Application risk and control assessment tool
DE102009006113B4 (de) * 2008-03-03 2019-03-28 Volkswagen Ag Vorrichtung und Verfahren zur Sensorfusion mit dynamischen Objekten
JP5345350B2 (ja) * 2008-07-30 2013-11-20 富士重工業株式会社 車両の運転支援装置
US8935055B2 (en) * 2009-01-23 2015-01-13 Robert Bosch Gmbh Method and apparatus for vehicle with adaptive lighting system
JP5526717B2 (ja) * 2009-02-27 2014-06-18 日産自動車株式会社 車両用運転操作補助装置、車両用運転操作補助方法および自動車
JP5210233B2 (ja) * 2009-04-14 2013-06-12 日立オートモティブシステムズ株式会社 車両用外界認識装置及びそれを用いた車両システム
JP2011002355A (ja) * 2009-06-19 2011-01-06 Clarion Co Ltd ナビゲーション装置および車両制御装置
EP2562053B1 (en) * 2011-08-25 2016-04-27 Volvo Car Corporation Method, computer program product and system for determining whether it is necessary to utilize a vehicle's safety equipment and vehicle comprising these
US9747802B2 (en) * 2011-09-19 2017-08-29 Innovative Wireless Technologies, Inc. Collision avoidance system and method for an underground mine environment
FR2993376B1 (fr) 2012-07-12 2014-07-25 Renault Sa Procede de controle de trajectoire d'un vehicule autonome a roues directrices
DE102012216112A1 (de) * 2012-09-12 2014-03-13 Robert Bosch Gmbh Verfahren und Informationssystem zur Ermittlung eines vom Fahrer beabsichtigen oder nicht beabsichtigten Fahrspurwechsels bei einer Fahrt eines Fahrzeugs
JP5846109B2 (ja) * 2012-11-20 2016-01-20 株式会社デンソー 衝突判定装置及び衝突回避システム
CN103558856A (zh) * 2013-11-21 2014-02-05 东南大学 动态环境下服务动机器人导航方法

Also Published As

Publication number Publication date
WO2015166156A1 (fr) 2015-11-05
CN106255899B (zh) 2022-03-04
FR3020616B1 (fr) 2017-10-27
US10035508B2 (en) 2018-07-31
FR3020616A1 (fr) 2015-11-06
CN106255899A (zh) 2016-12-21
JP2017521745A (ja) 2017-08-03
EP3137355B1 (fr) 2021-09-01
EP3137355A1 (fr) 2017-03-08
US20170043771A1 (en) 2017-02-16

Similar Documents

Publication Publication Date Title
JP6714513B2 (ja) 車両のナビゲーションモジュールに対象物の存在を知らせる車載装置
JP6800899B2 (ja) 視界に制限のある交差点への接近のためのリスクベースの運転者支援
US9922565B2 (en) Sensor fusion of camera and V2V data for vehicles
US8160811B2 (en) Method and system to estimate driving risk based on a hierarchical index of driving
US20190311272A1 (en) Behavior prediction device
GB2541274A (en) Collision mitigation and avoidance
EP4089659A1 (en) Map updating method, apparatus and device
US11321211B1 (en) Metric back-propagation for subsystem performance evaluation
JP6418574B2 (ja) 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム
US11892300B2 (en) Method and system for determining a model of the environment of a vehicle
US10095238B2 (en) Autonomous vehicle object detection
GB2558752A (en) Vehicle vision
EP4101717A1 (en) Method and system for identifying confidence level of autonomous driving system
WO2021060018A1 (ja) 信号処理装置、信号処理方法、プログラム、及び、移動装置
US20190302777A1 (en) Autonomous driving trajectory determination device
JP7043765B2 (ja) 車両走行制御方法及び装置
CN115223131A (zh) 一种自适应巡航的跟随目标车辆检测方法、装置及汽车
CN109195849B (zh) 摄像装置
US20210180960A1 (en) Road attribute detection and classification for map augmentation
CN113771845A (zh) 预测车辆轨迹的方法、装置、车辆和存储介质
CN111326002A (zh) 一种自动驾驶汽车环境感知的预测方法、装置及***
US11881031B2 (en) Hierarchical processing of traffic signal face states
WO2023145494A1 (ja) 情報処理装置及び情報処理方法
US20230331256A1 (en) Discerning fault for rule violations of autonomous vehicles for data processing
US20240233390A9 (en) Identification of unknown traffic objects

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191009

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200326

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200605

R150 Certificate of patent or registration of utility model

Ref document number: 6714513

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250