JP2016115334A - 意味付け交通空間についての適合型射線ベースのシーン分析を行うための方法及びシステム、並びにそのようなシステムを備える車両 - Google Patents

意味付け交通空間についての適合型射線ベースのシーン分析を行うための方法及びシステム、並びにそのようなシステムを備える車両 Download PDF

Info

Publication number
JP2016115334A
JP2016115334A JP2015189920A JP2015189920A JP2016115334A JP 2016115334 A JP2016115334 A JP 2016115334A JP 2015189920 A JP2015189920 A JP 2015189920A JP 2015189920 A JP2015189920 A JP 2015189920A JP 2016115334 A JP2016115334 A JP 2016115334A
Authority
JP
Japan
Prior art keywords
ray
spatial
cell
semantic
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015189920A
Other languages
English (en)
Other versions
JP6591842B2 (ja
Inventor
フリッチ ジャニック
Fritsch Jannik
フリッチ ジャニック
ワイスヴァンゲ トーマス
Weisswange Thomas
ワイスヴァンゲ トーマス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Research Institute Europe GmbH
Original Assignee
Honda Research Institute Europe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Research Institute Europe GmbH filed Critical Honda Research Institute Europe GmbH
Publication of JP2016115334A publication Critical patent/JP2016115334A/ja
Application granted granted Critical
Publication of JP6591842B2 publication Critical patent/JP6591842B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】適合的な時空間射線ベースのアプローチに基づいて意味交通空間のシーン分析をコンピュータにより行う方法及びシステムを提供する。【解決手段】交通シーンの空間分析を行う本方法は、意味コンテキストデータを含む空間意味環境マップを取得するステップと、前記空間環境マップ上の少なくとも一つの位置についての少なくとも一つの特徴を、当該位置の前記意味コンテキストを考慮して算出するステップと、前記少なくとも一つの算出された特徴に基づいて前記少なくとも一つの位置についてのカテゴリを決定するステップと、を有する。前記特徴は、空間次元及び時間次元の少なくとも一つにおいて延在する少なくとも一つの射線に沿って入力値を積分又は積算することにより算出される射線ベースの特徴である。【選択図】図１１

Description

本発明は、自動化されコンピュータ化された、車両（vehicle）のための運転者支援の分野に関する。本発明は、特に、意味付け交通空間（semantic traffic spaces）についての、適合型時空間射線ベースのアプローチ（an adaptive spatio-temporal ray based approach）に基づくシーン分析を、コンピュータにより実行するための方法、対応するプログラム、そのようなシステムを実装した車両、及び当該システムそれ自身に関するものである。
〔技術分野〕
本発明は、例えば、コンピュータ・ビジョン、パターン認識、分類（classification）、および機械学習の少なくとも一つに基づく運転者支援の分野に属する。本発明は、特に、自動車、モータバイク、又はその他の任意の乗り物の一部であり得るセンサベースのコンピューティング・モジュールにおいて実施することができる。本発明は、制約を設けない中心市街地シナリオにおいて自動車を走行させる際に遭遇するような、現実的な実世界の交通環境において適用することができる。
車両における自動化された運転者支援システムは、多くの場合、車両環境を物理的に検知するセンサと、センサ出力信号の供給を受けて車両の操舵や制御に関して運転者を支援する出力信号を算出する演算ユニット（computing unit）と、を備える。出力信号は、視覚的又は音響的な通知手段に出力することができ、及び／又は車両のアクチュエータを制御するためのコントローラユニットへ出力され得る。車両のアクチュエータは、例えばエアバッグシステムのインフレータのような安全装置の一部、又は、例えばブレーキ、アクセル、操舵装置のような車両の動きに影響を及ぼすアクチュエータ、であり得る。
“アダプティブクルーズコントロール”（ACC、Adaptive Cruise Control）システム（例えば、ISO-Norm 15622:2010に記載されている）のような自動運転者支援システム（ADAS、Automated Driver Assistance Systems）は、運転者の快適性と安全性とを増進する。ＡＣＣシステムは、特にホスト車両の長さ方向の制御（例えば、運転者によって指定された目標速度に関連して行われる、例えば、自動車、モータバイク、自転車、トラックといった他の車両、または歩行者などの、他の交通物体の位置までの範囲の制御）を行うのに使用される。運転者支援システム（例えば、車線変更アシスタント）は、予測システムの助けを借りた、車両の交通環境における他の交通参加者についての将来挙動の予測に基づいている。
以下の説明において“自車両”という用語は、本発明を備えた予測システムが搭載され、且つ、交通関連データを取得するセンサ及び又はその他の手段と、少なくとも一つの他の交通車両についての可能性のある又は尤もらしい将来挙動の算出を可能とする計算システムと、を備える、或る交通場面に存在する車両について用いられる。また、自車両のことを、ホスト車両と称する場合もある。
センサは、ホスト車両の環境を物理的に検知することにより、或る時刻における交通シーンを表現するのに適した情報を出力することのできる、任意の手段であり得る。そのようなセンサは、１つ又は複数のカメラ、レーダ、ライダ、レーザスキャナなどを含むものであり得る。一つ又は複数のセンサまたはその他のデータソースにより与えられる交通シーンを表す任意の種類の情報を取得するため、データ取得手段が、本運転者支援システムの一部を構成するものとすることができる。最先端の車両においては、人間である運転者は、“アクティブ・セーフティ・システム（能動的安全システム、Active Safety Systems）”の支援を受けることが多い。そのようなアクティブ・セーフティ・システム（以下では、“運転者支援システム”とも称する）は、車両環境を物理的に検知して運転者支援機能を実行するのに必要な情報を抽出するレーン維持支援システム（lane keeping assistance system）であり得る。このセンサ信号（検知信号）の処理に基づき、運転者支援システムは、視覚的及び又は音響的な表現手段に出力することのできる信号を出力する。あるいは、当該信号は、その動作が車両の状態や運転条件を変化させることとなるアクチュエータ（操舵、ブレーキ、安全ベルトへのプリテンション付与、エアバッグ、・・・）に出力され得る。
運転者支援システムとの関連性の高い車両環境に関するそのような情報の一つのタイプは、“道路地形”である。本発明において道路地形とは、車両が走行するか、または走行する可能性のある道路の表面のタイプとして理解される。すなわち、道路地形とは、運転者支援タスクにとって意味的（semantically）に重要な環境の一部である。道路地形は、その上位のレベルにおいて、歩道、オフロード地形、安全地帯なども含む。車両にとってアクセス可能な表面を有するすべての領域は、車両が利用することのできる交通スペースの一部を形成し得る。
運転者支援システムにとって重要な、車両環境に関する他の種類の情報は、周囲に存在する物体（周辺物）である。典型的な道路シナリオにおいて車両が遭遇するそのような周辺物は、大抵の場合、車が乗り上げられないような高さを持っている。そのような高さのある物体は、例えば、他の車両、ビルティング、木、道路標識などである。
上述した種類の情報による具体的な道路地形の特定は、一般に、例えばカメライメージ、深さ情報、あるいはＧＰＳ／地図データ等を出力する種々のセンサを用いて実行され得る。
車両の操縦または将来の操縦オプションを評価する際には、車両環境の表現が用いられる。車両環境についてのそのような表現の一つは、“占有グリッド”形式の情報である。占有グリッドは、二次元の、地図に似た環境の表現であり、占有グリッドを構成する各グリッドは、そのグリッドが障害物によって占有されているか否か、及びそのグリッドが道路地形に属するか否か、についての情報を含んでいる。占有グリッド（グリッド）は、また、当該グリッドを構成する複数の、個々の格子セルにより表され得る。
〔従来技術〕
得られたカメラ画像から、選択された位置を分類することによって道路地形を検出することについては、特許文献１に記載されている。画素コンフィデンスの平面図投影（a top-view projection of pixel confidences）における位置（複数）が、ベースポイントとして選択される。ベースポイントの空間特徴は、環境の視覚的および物理的な特性を捕捉する値連続な信頼度表現（a value continuous confidence representation）に基づいて生成される。ベースポイント（複数）からは、向きを持つまっすぐな射線（rays）が、固定された一連の角度方向に従って、それぞれ異なる方向に延びている。抽出された特徴は、センサデータのローカル特性と、特徴抽出プロセスでの空間的関係と、を用いた道路地形の分類の際に利用される。この分類により、車両が乗り入れる可能性のある交通スペースの部分に“道路地形”や“自レーン”などの意味ラベル（semantic label）が割り当てられる。
特許文献２には、交通監視データから取得されたデータについての画像処理に基づいて、一般的な交通場面を“事故”、“混雑／交通渋滞”などのカテゴリ（クラス）に分類することが記載されている。
特許文献３には、他の存在物の目線から交通場面を分類することにより、当該他の存在物がレーン割り込み（cut-in）操縦又はレーン離脱（cut-out）操縦を実行するか否かを、他の存在物までの相対距離と、道路の境界及び占有スペースまでの相対距離と、に基づいて決定する状況分析が記載されている。特許文献３では、取得した画像データに基づいて、車車間通信及び路車間通信を介して受信したデータを分類し、占有グリッドと地図情報とを用いる。分類された交通場面は、他の存在物の将来挙動を予測するのに使用される。
これらの従来技術における交通シーンを分類するためのアプローチは、検知されたコンテキスト、すなわち取得された空間データを考慮する。すなわち、当該分類は、例えば光センサ手段が検知可能な状態であるときの、直接的に測定可能な情報だけに基づいている。すなわち、従来技術における上記分類は、直接的には測定できないが分析対象である交通シーンの理解に対し強い影響を及ぼす特徴についての認識が欠けている。
公知の状況認識においては、シーンの総合的な空間レイアウトは無視され、交通シーン内に存在する異なる存在物間（道路も一つの存在物として表現され得る）の関係が評価されるだけである。現在あるシーン分類法は、従来の画像処理法を用いて、交通シーン全体にラベル付けを行うか、又は交通参加者を相互に関連付けて、シーンにおける具体的な状況を特定する。しかしながら、検知された環境の意味区分（semantics）の空間レイアウト（例えば、どこに道路があるか）は無視され、その代わりに、先行技術では、例えば“路上にある”というような、存在物間の明白な関係に焦点を当てる。
センサ手段は、例えばレーンマーキング、縁石、路面といった交通シーンのコンテキストの検知を可能とする空間データを取得することに適しているが、従来技術のアプローチでは、そのような検知された空間データの解釈は行われない。従来技術は、検知されたコンテキストに依拠して交通空間分析を行う。意味コンテキスト（semantic context）に関する更なる情報は、無視される。意味コンテキストは、検知されたコンテキストを解釈して、交通シーンの要素にカテゴリを割り当てる。検知されたコンテキストが“道路”を特定するものである場合、意味コンテキストは、例えば、カテゴリ“自レーン（自車線）領域”であることを明示する。
欧州特許出願公開第２５７４９５８（Ａ１）号明細書 欧州特許出願公開第０９１１７７９（Ａ２）号明細書 独国特許出願公開第１０２０１２００８６５９（Ａ１）号明細書
〔技術的課題及び発明〕
目的は、交通シーンの分析及び分類を、従来技術のアプローチに比べて改良することである。
方法に関する独立請求項、並びに対応するシステム、車両、およびプログラムに関する請求項に記載の発明は、各セル（場所とも表現される）の空間的な意味コンテキスト（semantic context）を考慮することにより、特定の場所若しくはセル、又は自車両の環境全体の、空間的なシーン特性の分類の利点を用いて、この課題を解決する。
本課題を解決する交通シーン空間分析のための方法は、意味コンテキスト・データを含んだ空間意味環境マップ（spatial semantic environment map）を取得するステップを含む。セルの意味コンテキストを考慮した多次元の空間環境マップ上の、少なくとも一つのセルについての少なくとも一つの特徴が算出される。これに続く、前記少なくとも一つの算出された特徴に基づいて前記少なくとも一つのセルについてのカテゴリを決定するステップにおいて、前記少なくとも一つの特徴に対応するセルについての分類（classification）が実行される。そして、前記分類の結果は、交通シーンの予測や、運転者への情報提供及び警告のための車両アクチュエータによる更なる動作のため、前記少なくとも一つのセルについての決定されたカテゴリに関するデータを含んだ分析信号として出力される。
従来技術おける従来のアプローチとは異なり、各セルの空間的な意味コンテキストを考慮に入れることによって、特定のセルや自車両の環境全体の空間的なシーン特性の分類が実行される。すなわち、特許を請求する空間分析のための方法は、検知された環境だけでなく、検知された値をどのように解釈すべきかを示す、抽象値（abstract values）を積分して抽出された特徴をも評価する。直接的に検知された環境の空間レイアウトは、検知された値の意味区分（semantics）の空間レイアウトを表す特徴を用いることにより補足（拡張）される。特許を請求する前記方法に従う特徴は、例えば“自レーン（自車線）領域”といった意味コンテキストを考慮して算出されるものであり、したがってセンサ手段によって検知されるようなレーンマーキング間のアスファルト領域よりも高いレベルの抽象化に基づくものである。
本分類方法は、センサ手段によって検知されるような環境の画像では直接的に見ることのできない又は測定できないラベルについての分類プロセスにおいて、ラベルに関する利点を更に提供する。カテゴリ（クラス）に関するそのようなラベルは、例えば“危険”というラベルであり得る。
前記少なくとも一つの算出された特徴は、空間次元と時間次元の少なくとも１つにおいて、ラベル付けの対象であるセルから延びる少なくとも一つの射線（ray）に沿って入力値を積分（積算、integrate）することによって算出される射線ベースの特徴（射線ベース特徴）（ray-based feature）であることが特に好ましい。したがって、特許を請求する本方法は、単なる空間における交通環境の分析を超えるものであり、将来における、すなわち時間次元における、又は三次元空間に加えて時間方向を含む時空間次元における、交通環境についての予測される展開を分析する能力をも提供する。
望ましくは、前記少なくとも一つの射線は、ラベル付けの対象である前記少なくとも一つのセルの意味コンテキストに基づいて決定される射線形状（ray shape）を有する。特に、基礎を為す意味コンテキスト・データの空間分布（“空間基層（spatial substrate）”）に従って適合された適合化した射線形状のような、より一般的な射線形状への拡張は、高品質な情報を生成するための強力な分析ツールを提供する。
前記少なくとも一つの射線が、道路の一般的形状に対応する射線形状を有する空間的に延在する射線であること、及び又は、前記少なくとも一つの空間的に延在する射線が、当該道路の進路（コース、course）に沿っていること、及び又は周囲の道路セグメントの方向に垂直であること、及び又は空間意味環境マップ上の少なくとも一つのエリアをバイパスすること、が特に好ましい。空間的に延びるこの射線は、当該射線の出発点である原点セル（origin cell）（すなわち、ラベル付け対象であるセル）のラベルに基づいて決定され得る。
従来の状況認識は、一般に、意味コンテキストに関するシーンの総合的な空間レイアウトを無視する。本発明は、意味コンテキストの空間レイアウトに基づいて算出される特徴に基づいてシーンを分類し、したがって空間解釈を提供する。空間解釈は、そのシーンにおける異なる存在物間の関係についての単なる評価を超えるものである。すなわち、本発明の方法は、交通シーンの意味解釈の空間配置を分析に組み込むという利点を提供する。意味区分の空間配置は、単に“道路上にある”というような明示的な関係に焦点を当てるのではなく、例えば実際に道路がどこにあるのか、いくつの道路があるのか、についての情報を提供する。
本発明は、射線形状を当該射線の原点セル（origin cell）の意味コンテキストに適合させることで、特徴算出が適応的な形で実行されるという更なる利点を提供する。本発明の方法は、更に、サンプリングのため、交通空間に、射線ベースの特徴を算出するための一般的な射線を提供する。特徴の算出に用いられる任意の射線は、従来技術において既知の、原点セルから規則的な角度方向に延びるまっすぐな射線だけでなく、基礎を為す表現の内容の空間的複雑さを考慮したものであり、時間次元をも有し得る。一般化された任意の射線は、例えば道路の曲線に沿うように曲がったものであってもよく、又は交差点エリアでは原点セルのレーンから到達目標レーンへ転回するように屈曲したものであり得る。自車両の環境についての時空間表現が個別の時刻tにおける当該環境の時空間表現を表す複数のレイヤで構成されている場合には、一般化された任意の射線は、それぞれが当該環境の時空間表現の異なる時間レイヤ（スライス）に対応する複数の射線部分で構成され得る。
本発明の方法は、また、交通シーン全体を分類するのに適したものであり、特にその環境内の特定のエリアのカテゴリを、それらが自車両に関して持つ意味を用いて決定するのに適している。
一の好ましい実施形態では、前記少なくとも一つの特徴は、前記少なくとも一つの射線に沿って積分された積分入力値が少なくとも一つの予め定められた所定の閾値を超える距離に対応する。
一の実施形態では、交通シーンの空間評価のための本方法は、空間意味環境マップ上の少なくとも一つの他のセルに関して個別に実行される。
一の好ましい実施形態では，本方法は、空間意味環境マップ上の前記少なくとも１つのセルにラベル付けすることを含む。当該ラベルは、前記少なくとも一つのセルについて決定されたカテゴリに基づいて決定される。位置に対して付されるラベルは、分析（評価）の結果としてそのセルについて決定されたカテゴリ又はクラスに対応するものであり、例えば、“危険”、“混雑”、“狭隘部”、“可能性のある占有部（potentially occupied）”、“相手優先エリア（yielding area）”、“停止エリア”、“歩行者エリア”…などである。
一の実施形態では、本方法は、射線ベース特徴の集合のうちのそれぞれの射線ベース特徴について、又は射線ベース特徴のうちの選択された数の射線ベース特徴について、カテゴリを決定することを含む。
一の好ましい実施形態では，本方法は、交通シーンの空間分析に基づいて、当該交通シーンの一般的なシーンカテゴリを決定することを含む。交通シーンの一般的なシーンカテゴリは、例えば“交通渋滞”、“駐車場”、“歩行者エリア”、“共有道路”、“危険”、“低速制限”、…といった総合的なシーン分類を提示する。
一の実施形態では、空間意味環境マップは、エリアタイプのラベルが付された一つ又は複数のセルに対応するエリアを含むか、及び又は、それぞれが時間次元における異なる時刻を示す複数の層を含む。入力された空間意味マップ内のエリアは、例えば“道路”、“歩道”、“横断歩道”、“車両（自動車）”、“交差点”などの、例えばレーンタイプのラベルが付され得る。
本技術的課題は、交通シーンの空間分析のためのシステムによって解決される。当該システムは、意味コンテキスト・データを含む空間意味環境マップを取得するよう構成された取得手段と、少なくとも一つのセルの意味コンテキストに基づく射線形状を持った少なくとも一つの射線を決定するよう構成された射線決定手段と、前記空間意味環境マップ上の少なくとも一つのセルについての少なくとも一つの特徴を、当該セルの意味コンテキストを考慮して決定するよう構成された空間射線特徴抽出手段と、前記少なくとも一つの算出された特徴に基づいて前記少なくとも一つのセルについてのカテゴリを決定するよう構成された分類手段と、前記少なくとも一つのセルについて決定されたカテゴリに関するデータを含む、交通シーンを分析するための分析信号を、生成し及び出力するよう構成された出力手段と、を備える。
交通シーンの空間分析のための本システムは、少なくとも一つの特徴を射線ベースの特徴として算出するよう構成された空間射線特徴抽出手段を含むことが特に好ましい。当該射線ベースの特徴は、空間次元および時間次元の少なくとも１つにおいて延在する少なくとも一つの射線に沿って入力値を積分（又は積算、integrate）することによって算出される。
一の好ましい実施形態では、交通シーンの空間分析のための本システムは、前記少なくとも一つのセルの意味コンテキストに基づいて或る射線形状を有する前記少なくとも一つの射線を決定するよう構成された射線形状決定手段を更に有する。
本技術的課題は、交通シーンの空間分析のためのシステムを備える車両によって、更に有利に解決される。交通シーンの空間分析のためのシステムを備える前記車両は、その出力信号に基づいて当該車両（自車両）の制御に影響を与えるよう構成された運転者支援システムを備えることができる。前記制御への影響付与は、前記車両の横方向制御又は縦方向操縦に影響を与える直接的なアクチュエータによって、又は視覚的手段、音響的手段、及び触覚的手段の少なくとも一つの手段によって運転者に情報を提供し若しくは警告を行うことにより、行われ得る。
更に、本技術的課題は、コンピュータ又はデジタルシグナルプロセッサ上で実行されたときに本発明の実施形態に従う方法ステップを実行するための、プログラムコード手段を有するコンピュータプログラムによって解決される。
本発明の方法及びシステムを、添付の図面を参照してより詳細に説明する。
本発明の方法の一実施形態を示すフロー図である。 本発明の一実施形態に用いられる射線生成の一例を示す図である。 空間射線に基づく特徴の算出に用いられる空間グリッドの一例である。 図３Ａに示す空間グリッドにおける一の空間位置についての、空間射線に基づく特徴算出の一例を示す図である。 空間射線に基づく特徴算出を例示する図である。 一実施形態に従う空間射線形状を示す図である。 一実施形態に従う空間射線形状を示す図である。 一実施形態に従う空間シーン分類を示す図である。 一実施形態に従う空間シーン分類を示す図である。 一実施形態に従う、相手優先空間の分類を示す図である。 一実施形態に従う、相手優先空間の分類の他の例を示す図である。 一実施形態に従う時空間シーン分類を示す図である。 一実施形態に従う時空間シーン分類を示す図である。 一実施形態に従う、主要な処理モジュールのブロック図である。
図において、同じ数字を有する構成要素は同じ構成要素を意味するものとする。
〔発明の詳細な説明〕
本発明の方法は、自車両上で若しくは自車両により実行され、又は一つ又は複数のセンサ手段を備える自車両に搭載された対応するコンピュータ・システム上で若しくは当該コンピュータ・システムにより実行される。
センサは、或る時刻における交通シーンを表現するのに適した情報を取得することのできる任意の手段であり得る。そのようなセンサは、カメラ、レーダ、ライダ等であり得る。情報を取得するための能動的又は受動的なセンサ手段の他に、例えば通信システム、車車間通信システム、又は路車間通信などの他の手段により、更なる情報が取得され得る。
本発明の例示的な実施形態について説明する前に、ここに用いる用語のいくつかについて、その一般的な定義を示す。
以下において、シーン（空間シーンとも称する）とは、ホスト車両（自車両）の周囲の、現在の環境の状態を意味する。環境の状態は、シーンの部分（例えば、道路の形状、当該シーン内の場所のタイプ、走行可能エリアについての情報、自車両が入ることのできない地形に関する情報、交通場面）で構成される。
計算手段（コンピューティング手段）により、少なくとも検知手段が出力する取得データに基づいて、交通物体の状態の表現が生成される。
交通物体の状態は、以下のパラメータの一つ又は複数により定義され得る：
位置、方向、速度、及びそれらの何らかの導関数。
自車両は、適切な近似確率分布（APD、approximate probability distributions）により他の交通物体の状態を表現する。
例えば、他の交通物体の個々の状態は、それぞれ、その交通物体が実際にその状態にある確率を表す或る確率値を持つ。
存在物ベースの表現（entity-based representation）は、或るシーンを特徴付ける全ての部分を、当該シーンの対応する部分の特性（複数）を示す一つのベクトルとして解釈する。そのシーン部分を構成する車両は、例えば、その車両のタイプ、その車両の位置、速度、その車両の走行方向、その車両の加速度に対応する要素を持ったベクトルで表され得る。
空間表現は、シーンの全ての部分を、その環境の或るエリアをカバーするものとして解釈する。空間表現は、通常、環境を表す個々のグリッド上への平面投影として見ることのできるエリアである。アスファルトによってカバーされたグリッド上のグリッドセルで構成されるエリアや、道路に属するものとして解釈されたグリッドセルで構成されるエリアは、空間表現の一例である。
存在物の状況（存在物状況）とは、多くの交通存在物の間の関係を記述するシーンの一部を意味する。交通存在物は、自車両、他の交通物体、及び道路構造をも含む。存在物状況は、例えば、右側から標識のない交差点に到達した他の車両に対して道を譲らなければならない車両を定義し得る。
検知されたコンテキストとは、センサ手段により取得された空間データをいう。検知された空間データは、例えば、レーンマーキングや、アスファルトなどの道路の表面を含み得る。
意味コンテキストとは、カテゴリを表すラベルを割り当てるため、検知されたコンテキストを解釈したものと定義される。セルのカテゴリは、一つ又は複数の特徴を評価して信頼度値と共にカテゴリを出力する分類プロセスの、処理結果である。カテゴリと、これに対応するラベルは、例えば、“自身のレーンエリア”（“自レーン”）であり得る。
いくつかのアプローチでは、コンテキスト情報を用いてモデルを直接的に適合させて、センサ情報を検証する。コンテキスト情報とは、自車両の現在状態だけでなく、それ以外の範囲（例えば自車両周辺の他車両や、特定の道路環境（例えば道路形状、交差点における交通規則、レーン情報）に関する情報）をも含んだ情報である。
空間意味環境マップ１は、複数のグリッドセル２で構成されたグリッドを現す環境の多次元表現である。各グリッドセルは、グリッドポイント（グリッド位置）によって表され得る。各グリッドセルは、そのグリッドセルの意味コンテキスト（特徴）を表す一つ又は複数のラベルを含み得る。空間意味環境マップは、例えば、表面の二次元マップであってもよいし、各層が別々の時刻tにおけるそれぞれの意味ラベルを有する二次元環境を表す、複数の層を含んでいるものとすることもできる。
図１は、本発明の一実施形態に係る交通シーンの空間分析のための方法を表すフロー図である。
ステップＳ１において、自車両の環境が検出され、取得されたセンサデータが処理される。この処理は、例えば、センサからの生データについての前処理、直接指標および間接指標の評価、コンテキスト情報の評価、予測情報の生成、で構成され得る。ステップＳ１における交通シーンについての空間検知の生成の結果は、それぞれに一つ又は複数の意味ラベルが割り当てられた、複数の平面視のグリッドセルを用いて、自車両の環境についての空間表現により表され得る。意味ラベルは、例えば、“占有部”、“道路”“レーン”、“自レーン”、“車両”等を含み得る。ステップＳ１の後に、環境の意味表現（semantic representation）が、空間環境マップの形式で出力される。この空間環境マップは、２次元以上のものとすることができ、特に、一つ以上の層（スライス）を離散時間方向に含んだものとすることができる。
本発明の方法は、次に、空間の射線（rays）又は時空間の射線に沿って複数の特徴を算出する対象となる、空間位置に対応した複数のグリッドセルを選択する。
ステップＳ２において、それらの射線についての射線形状が決定される。射線形状は、空間意味環境マップに含まれた基礎となる意味表現のコンテキストに対して適合される。一の実施形態では、予め定義されて射線形状集合（プール）内に保存された全ての射線形状が用いられる。他の実施形態では、利用可能な射線形状集合の全体から射線形状の特定のサブセットのみが選択される。射線形状の選択には、射線形状について予め定義された一つ又は複数のテンプレートを選択すること、及び当該選択されたテンプレートを（例えば、特定のカーブした道路の半径や、特定の交差点地形に対して適合することにより）意味コンテキストの特定の空間レイアウトに対して適合させること、を含み得る。射線形状は、また、当該射線の開始点である原点セル（originating cell）に関連付けられた支配的な走行方向に従うように選択されるものとすることができる。射線形状の選択、又は射線の形状を記述する射線形状関数の選択は、また、与えられた分類タスクにも依存したものとされる。例えば“相手優先エリア”を分類するタスクでは、例えば基礎となる意味コンテキストが右側通行システムにおける優先通行規則を持つ交差点を含む場合には、右曲がりの射線が最も有益である。例えば“狭隘部”のカテゴリの分類タスクを行う場合には、道路形状に対して垂直な射線形状が有益な情報を提供する。
空間的な、及び又は時間的な射線形状を決定した後に、ステップＳ３において空間射線ベースの特徴抽出が実行される。空間射線ベースの特徴抽出の原理については、図２に関連してより詳細に後述する。
ステップＳ３において、空間環境マップの基礎を為すグリッドを構成しているグリッドセルについての意味ラベルのうちの一のラベルの値、又は当該意味ラベルのグループの全体の値を積分（積分、integrate）することにより、一つ又は複数の特徴が算出される。積分される値は、意味ラベルに関する２進値又は信頼度値である。射線に沿った値の積分が実行され、その積分値が一つ又は複数の予め定められた閾値を超えるまでの、当該射線に沿った距離（単数又は複数）が測定される。特徴は、このような方法で決定された一つ又は複数の距離で構成され得る。
次に、ステップＳ４において、所与の原点セル（origin cell）の全ての射線についての全ての入力特徴が、空間シーン分類のための分類器に与えられる。算出された特徴に基づいて、上記所与の原点セルについてのカテゴリが決定される。原点セルについて決定されたカテゴリまたはクラスは、その原点セルについてのカテゴリまたはクラスを一種のラベルとして含むことができ、その原点セルについてのそれぞれのカテゴリの信頼度値又は確率をも含み得る。
ステップＳ４における空間シーン分類の結果として、シーン全体についてのラベルが出力され得る。一の実施形態では、ステップＳ３の結果、特定の分類器によりラベルが付された原点セルの空間マップが生成される。自動化された走行支援システムの軌道計画モジュールは、この空間マップ上で車両の軌道を計画し得る。生成されたマップの密度または精度は、原点セルとして選択されたグリッドセルの数によって変化し得る。“危険”のラベルが付されたセルで構成される空間マップは、或る危険を有する領域を回避するような自車両についての軌道を計画する目的に用いられ得る。
一の実施形態では、すべての原点セルの特徴を結合して単一の記述子（descriptor）にする。この場合には、一の分類器が、ステップＳ２における特徴抽出のための基礎データを提供する空間表現全体の、一般的なシーン及び又は環境状態カテゴリを決定する。
本発明から逸脱することなく、記述子を構成することのみを目的として、抽出された特徴の一部について、特徴のプーリング（pooling）を行うこともできる。
図２は、図１における射線ベース特徴抽出ステップＳ３を実行するための例示的なステップのシーケンスを示している。ステップＳ３１からＳ３３における特徴抽出は、基礎をなす原理を説明するため、直線的な射線を用いた特種な例を示している。任意の射線形状（例えばカーブする射線）を用いて特徴を抽出する場合には、図２に示すステップＳ３１からＳ３３に対応したステップが実行されることとなる。
図３に示す空間意味環境マップ１は、２次元であり、複数のグリッドポイント２で構成されたグリッドを現わしている。各グリッドポイント２は、グリッドセルを表している。すなわち、グリッドポイント２とグリッドセルとは、以下の説明においては、射線ベース特徴抽出の原理から逸脱することなく、交換可能に同じ意味を持つものとして用いられ得る。
射線ベース特徴抽出ステップＳ３は、図２のステップＳ３１において、空間意味環境マップ１上の特定の位置を表すものとして少なくとも一つの原点セル３（BP - ベースポイント又はベースセルとも称する）を選択することから始まる。好ましくは、空間意味環境マップ１上の複数の位置が原点セル３として選択され、選択された原点セル３から延びる空間射線４が算出される。
図２のステップＳ３２において、少なくとも一つの又は複数の空間射線４が生成される。空間射線４のそれぞれは、原点セルの意味コンテキストに基づいて算出される特定の射線形状を有する。例えば利用可能な射線形状の集合から、特定の射線形状が選択され得る。空間意味環境マップ１における原点セルの意味コンテキストラベルを、特定の射線形状を選択する際の基準とすることができる。選択された特定の射線形状を原点セル周囲の具体的な幾何学寸法に適合させることによって、更に一の射線形状が算出され得る。各原点セル（ベースポイント）３から、複数の空間射線４が、空間意味環境マップ１の境界まで、又は特定の射線エンドポイントまたは最大長まで延びるものとすることができる。
ここでは空間射線４が空間に延在する射線形状を形成するものとして説明したが、空間及び時間において延在する射線形状や、時間においてのみ延在する射線形状といった他の射線形状も可能である。予め定義され保存された複数の射線形状から、時空間シーン分類（spatio-temporal scene categorization）のための適切な射線形状を選択し得る。適切な射線形状は、保存された多くのテンプレートからシーンコンテキストに応じて選択され、特定のシーンコンテキストに対して適合され得る。適切な射線形状は、検知された空間的および／または時間的なシーンの少なくとも一つから算出され得る。
次のステップＳ３３において、生成された空間射線４に基づいて特徴ベクトルが抽出される。
車両環境の具体的な位置としてのグリッドセル３についての空間特徴の生成は、ステップＳ２において算出された空間射線形状に従って射線４を抽出することを含む。射線は、空間意味環境マップ上のグリッドセル３の位置から始まる任意の形状が与えられたラインとして定義され、当該射線に沿って例えば信頼度値を分析することにより空間特徴が抽出される。射線４に沿った信頼度値の分析は、例えば、射線４に沿って信頼度値を積分し、その積分値が、ある数値である吸収閾値（absorption threshold）を超える位置で射線長を抽出することにより、行われる。
空間意味環境マップ１を、距離表現（metric representation）における定義された数の原点セル３についての入力として、空間特徴ベクトルが抽出される。原点セルの分布は、この例では、図３Ａに示すように、グリッド上で定義される。空間意味環境マップ１について空間レイアウトは、異なる原点セル３（複数）において射線４により捕捉される。射線４は、特定の原点セル３から始まってその距離表現（metric representation）の境界で終端する或る射線形状（その途中において方向が変化し得る）を持ったラインに沿う全ての信頼度値を含む。この情報を、定義された数の特徴値に変換するため、射線４に沿った信頼度値の積分値が算出される。これは、射線４に沿った信頼度の吸収と考えることができる。或る数Ｔ個の吸収閾値ti（i='1, 2, 3, ...）が定義される。原点から射線４上において積分値が或る閾値tiに達する位置までの距離である吸収距離AD(ti)が、空間特徴として得られる。ここに、iは、閾値の番号である。選択された原点セル３のそれぞれ、及び算出された射線形状を有する射線４のそれぞれについて、Ｒ個の射線についての空間特徴が生成される。
好ましくは、環境における具体的な場所について、少なくとも一つの射線と少なくとも一つの吸収閾値とを用いて、その相対位置を、空間意味環境マップ１上の信頼度値により与えられるローカル特性にコード化する、特徴ベクトルが生成される。好ましくは、一の特定のグリッドセル３についての複数の射線４により、Ｒ＊Ｔ個の吸収距離が算出される。吸収距離は、空間シーン分類のための空間特徴を形成する特徴ベクトルの要素として作用する。吸収距離は、特性の空間意味環境マップ１において捕捉される、予め定義されたグリッドセル３に対する相対的な、シーンの空間レイアウトを表す。
好ましくは、射線４に沿った信頼度値の分析は、射線４に沿って信頼度値を積分し、当該積分値が吸収閾値（或る数値）を超える場所で射線長を抽出することにより行われる。しかしながら、射線に沿ってグリッドセルのラベルを解析する方法として、発生回数をカウントするなどの他の方法を用いることも可能である。
好ましくは、セルにより表される環境内の具体的な位置に関し、少なくとも一つの射線４と、少なくとも一つの吸収閾値と、を用いて、その相対位置を、空間意味環境マップ上の数値により与えられるローカル特性にコード化する、特徴ベクトルが生成される。
射線ベース特徴抽出は、隣のグリッド位置の分析のみを行うのではなく、分析に際して射線４に沿ったさらに遠くの位置も考慮されるという利点を有する。特に、特徴抽出及びこれに続く分類において考慮対象となる、より複雑な意味構造（semantic structures）を、任意に形成された射線４により統合することができる。
図３Ａには、道路１の或るセグメント上に空間グリッドが示されている。空間グリッドは、規則的に行列状に配置された空間位置２としての複数のグリッドポイント２で構成されている。空間グリッドの最上列には、一のグリッドポイント２が、選択された原点セル３（開始点、ベースポイント、BP）として示されている。選択された原点セル３を用い、図３Ｂにいり、射線ベース特徴の生成の原理を説明する。空間グリッド内のグリッドポイント２のそれぞれは、当該空間グリッドのグリッドセルを表し得る。
図３Ａには、空間グリッドが、均等なグリッドセルにより形成された規則的な格子として示されているが、異なる形状の格子で構成される他のグリッドも可能である。グリッドは、グリッドセル、又はそれぞれが本発明から逸脱することなく一つのセルを表しているグリッドポイント、によって表されるものとすることができる。
図３Ｂには、車両の環境における具体的な位置についての空間特徴の生成が図示されている。空間特徴の生成は、射線４を決定することを含む。射線は、環境内の原点セルから始まる任意形状のラインとして定義される。射線４に沿って信頼度値が分析され、空間特徴が抽出される。一つの例として、中央部のレーンマーキングと左右の側部に置かれた縁石とを持つ２車線道路１の、或る長さについての単純化された信頼度マップ上における、一の原点セル３についての空間レイアウト計算が示されている。反時計回りに４．１、４．２、４．３、４．４、４．５、４．６の番号が振られた６つの射線４に沿って、空間特徴が抽出される。さらに、第３の射線4.3について、２つの閾値t1及びt2についての吸収距離AD3(t1)及びAD3(t2)が示されている。
図３Ｂの射線4.3に沿って、一つの意味ラベルの信頼度値が累算される。
この累算は、値を積分することにより行われ、積分された意味ラベルについての曲線１０が得られる。
図３Ｃには、吸収距離８を示す横座標と累算値（ここでは、積分値９）を示す縦座標軸とともに、累算値が示されている。積分値９は、吸収距離AD3(t1)において閾値t1を超えており、AD3(t2)において閾値t2を超えている。一の実施形態では、吸収距離AD3 (t1) 及びAD3 (t2)は、特徴ベクトル１３の要素として保存される。この特徴ベクトル１３が、図１のステップＳ４における分類のための入力として用いられる。
好ましくは、射線に沿った信頼度値の分析は、射線４．３に沿って信頼度値を積分し、積分値１０が少なくとも一つの閾値（或る数値）t1、t2を超える位置で射線長AD3(t1)及びAD3(t2)を抽出することにより行われる。
好ましくは、環境における具体的な原点セル３について、少なくとも一つの射線４と、少なくとも一つの吸収閾値t1、t2と、を用いて 、その相対位置を、信頼度マップにより与えられるローカル特徴にコード化する、特徴ベクトル１３が生成される。射線特徴を用いることにより、例えば或る角度方向と距離における特性のような、よりグローバルな環境の、特定の空間情報を捕捉することが可能となる。
図２に示すフロー図は、１つの射線４と或る閾値tiとにより与えられる吸収距離を算出するための、上述したアルゴリズムの可能な実施形態を示している。
図２および図３Ｃに記載した積分ベースの吸収距離の代わりに、他の手法を用いて空間特徴を算出することもできる。例えば、閾値ベースの吸収距離AD3(t1) 及びAD3(t2)を抽出する代わりに、積分値を、例えば当該積分値の形状などの他の特性について分析してもよい。射線抽出という概括的なアイデアに従う他の例として、射線４に沿った生の信頼度値の勾配を、特徴値とすることができる。
図４Ａおよび図４Ｂには、空間意味コンテキストに適合された射線形状の例が示されている。図４Ａでは、空間意味環境マップ１は、“自動車”、“自レーン”、“対向レーン”、“歩道”、“オフロード”、及び“占有部”などの、複数のカテゴリを含んでいる。図４Ａの左部分は、図４Ａの右部分に示す空間意味環境マップ１における各カテゴリについての対応する領域インジケータ（area indicator）を定義している。図４Ａの右部分は、カーブした道路の一部についての空間意味環境表現を示している。図４Ａのグリッドセル３．１は、道路のグローバルな形状に沿った射線形状を有する射線４．１、４．２を発している。原点セル３．２としての図４Ａのグリッドセル２は、原点セル３．２における道路のローカルな方向に対し垂直な方向に向けることによりそのシーンのローカルな意味（semantics）に適合された、射線４．３、４．４を発している。
図４Ｂに示す空間意味表現は、原点セル３のそれぞれの意味ラベルに基づいた、射線４の他の異なる射線形状の例を示している。原点セル３．３は、図４Ｂの右部分の空間意味環境マップに従うラベル“交差点エリア”を持つ。選択又は算出された射線形状は、原点セル３．３から矩形の交差点エリアの角部まで延びるまっすぐな射線４．５、４．６、４．７、４．８を含む。一方で、原点セル３．４は、可能性のある全ての起点のレーンと、原点セル４．４を通過する車両についての将来のレーンと、をカバーするのに適した射線形状を有する直線状の射線４．９、４．１０、４．１１、４．１２を発している。
すなわち、図４Ａ及び図４Ｂには、４つの異なる原点セル３と、原点セル３のそれぞれの意味ラベルに従う異なる射線形状を有する複数の射線４と、が示されている。
図５は、本発明の一実施形態に従う空間シーン分類の一例を示している。図５の原点セル３．１、３．２を表すグリッドポイント２のそれぞれは、多くの空間射線４．１、４．２、４．３を発している。各空間射線４．１、４．２、４．３の形状は、原点セル３．１、３．２の意味コンテキストにより決定される。それぞれの射線形状は、図５の上部に図示するように、交差点における道路のコースに沿うように決定されている。
図２の方法ステップＳ３１〜Ｓ３３を実行することにより、空間射線特徴が抽出される。特に、射線４．１、４．２、４．３に沿って、定義された意味カテゴリまたはラベルの値が積分される。図５では、ラベル“自動車”の意味値（semantic value）が積分される。射線４．１、４．２、４．３の積分値が所定の閾値tiに到達する距離ADtが、特徴として用いられる。図５に示す例では、射線４．１について算出された特徴ADtは、１０ｍ離れたところで閾値tに達している。特徴ADtの算出は、射線４．１に沿ってラベル“自動車”を積分することによって実行される。
図５Ａの中央部分には、原点セル３．１及び３．２についての射線空間特徴の例が示されている。算出されたそれぞれの空間射線特徴は、原点セル１に対して、ADt（射線４．１、自動車）＝１０ｍ、ADt（射線４．２、自動車）＝無限値（infinite value （inf））である。原点セル３．２の射線４．３についての対応する値は、ADt（射線４．３、自動車）＝無限値である。
それぞれの原点セル３．１、３．２についての他の特徴ADtの算出は、これに対応した方法で実行される。特徴抽出の結果は、図５の中央部分に示されている。抽出された特徴が、空間シーン分類のための分類ステップＳ４において用いられる。上述した例では、意味カテゴリ“相手優先”の分類器は、所与のグリッドセルの、全てのラベルの積分値と、全ての閾値tと、についての、全ての射線４．１、４．２、４．３の結合された特徴を用いて、このグリッドセルにおけるカテゴリ“相手優先”についての信頼度値を算出する。
全てのグリッドセルについての分類を実行し、例えば算出した信頼度値を閾値と比較することにより、環境全体の空間シーン表現を得る。得られた空間シーン表現は、カテゴリ“相手優先”に関する詳細な空間情報を提供する。図５の下部の例示的なシーン表現は、自車両が他の車両のために道を譲らなければならない領域を、或るテクスチャによって示している。生成された空間シーン表現は、例えばラベルが付された空間意味環境マップの形で、自動化された運転支援システムにおいて更に処理すべく予測システムに出力され、自車両のアクチュエータ又はディスプレイへ送るアクチュエーション信号の基礎を構成する。
図６は、 本発明の一実施形態に従う、空間シーン分類のための他の例を示している。図６の上部には、交通シーンの空間意味表現が示されている。この交通シーンは、各走行方向にそれぞれ１レーンを有し、２台の車両が走行するカーブ道路の１部分を表している。それらの自動車の１台は対向車線上にあり、他の１台は道路の側部にあって自レーンを部分的に塞いでいる。空間シーン分析のため、多くのグリッドポイントが原点セル３．１、３．２、３．３、３．４、３．５として選択されている。空間射線４．１、４．２、４．３、４．４、４．５は、空間シーンコンテキストに従って（図示の実施形態では、道路の曲率に従うように）算出された射線形状を有する。特徴抽出ステップのシーケンスは、これに対応した形態で図２のフロー図及び図５についての説明に従う。図６の中央部には、原点セル３．１、３．２、３．３、３．４、３．５について抽出された特徴がリストされている。図６では、単一の分類器が、全ての原点セル３．１、３．２、３．３、３．４、３．５について抽出された特徴の結合を用いて、グローバルなシーンカテゴリ“狭隘部”の信頼度値を算出している。グローバルなシーンカテゴリ“狭隘部”は、操縦のための空間が一般に制限されるであろう交通シーンの特徴を示している。抽出された空間射線特徴ADt（射線４．１、自動車）＝４ｍ、ADt（射線４．２、自動車）＝７ｍ、ADt（射線４．３、自動車）＝無限値、ADt（射線４．４、自動車）＝無限値、ADt（射線４．５、自動車）＝１ｍ、より、結合された信頼度値である狭隘部（３．１、３．２、３．３、３．４、３．５）＝０．７５が算出されている。これは、操縦のための限られた横方向余裕についての信頼度をリニア値（linear value）によって表したものである。
図７は、本発明の一実施形態を用いて相手優先空間を分類する例を示している。交通空間の全ての位置について、当該交通空間のこの位置を通り過ぎていく車両が他の車両に道を譲らなければならないか否かの判断が、本方法を用いて行われている。
図７の上部には、入力データが、交差点エリアにおける種々のレーン及び自動車にラベルを付けた空間意味表現の形式で示されている。この意味表現のグリッドセル２のそれぞれについて、射線形状が、相手優先空間を決定する本タスクと、各射線４の原点セル３．１、３．２、３．３の意味ラベルと、に依存して算出される。交差点への進入レーン上の全てのグリッドセル２は、当該交差点において対向進入レーン方向に右へ転回する射線４を発するように決定される。図７では、原点セル３．１、３．２としてのグリッドセル２が、そのような射線形状を示している。交差点エリア内の原点セル３．３としてのグリッドセル２は、対向する直線レーンまで延びるように算出された射線形状を持った射線４．３を発している。図７の例では、原点セル３．３は、ここに示された道路セグメントの交差点エリア内におけるグリッドセル２の一例である。
射線４．１、４．２、４．３の射線形状を決定して、原点セル３．１、３．２、３．３についての対応する射線４．１、４．２、４．３を算出した後に、特徴の第一グループが算出される。本実施形態における特徴の第一グループは、射線４に沿って意味ラベル“自動車”が発生する回数をカウントするものであり、射線４に沿ってラベル“自動車”が最初に発生するまでの射線４上の距離が測定される。図７の例では、グリッドセル３．１、３．２から延びる右転回射線４．１、４．２の結果として、原点セル３．１についての特徴Ｆ１は１０ｍ、原点セル３．２についての特徴Ｆ１は無限値として算出される。図７の原点セル３．３から延びている直線状の射線４．３については、図示の例では特徴Ｆ２が３ｍとして算出される。
特徴を抽出した後に、空間シーン分類のステップＳ４が実行される。空間シーン分類のため、前もって相手優先領域の注釈が付されたデータを用いて対応するプロセスによって訓練された分類器が使用される。訓練の結果、分類器は、特徴Ｆ１が小さい（例えば、１５ｍより小さい）か、又は、特徴Ｆ２が非常に小さい（例えば、１０ｍ未満）のときに、カテゴリ“相手優先”に属するものとしてグリッドセル２を分類するものになっているとする。この分類器を、図７の交通シーンのグリッドセル２に適用すると、本発明に係る方法の実施形態は、結果として、図７の下半分に図示するような空間シーン表現を出力する。図７の空間シーン表現では、グリッドセル２がカテゴリ“相手優先”に属するものとして分類されたことが、それらが有する“相手優先”というカテゴリ又はラベルのグラフィック表現によって示されている。配置の対応関係を示すため、図７上部に示す空間意味シーン表現の例示的な原点セル３．１、３．２、３．３が、空間シーン表現の図７下部にも示されている。
図８は、本発明の一実施形態に従う空間シーン表現の他の例を示している。図８上部に示す空間意味表現は、図７に示した交通シーンに対応する交差点の状況を表している。図８に示す交通シーンは、他の規制の例として停止線１４が追加されている点が図７に示す交通シーンと異なっている。
本発明の方法は、図７に関連して前述したように実行される。上記追加した交通規則を考慮するため、追加の特徴が抽出される。この特徴は、右に転回する全ての射線４に沿って算出される、停止線１４までの距離に対応する。図８上部の空間意味表現に示す例では、追加特徴Ｆ３が、原点セル３．１については６ｍと算出され、原点セル３．２については無限値として算出される。
さらに、この分類器は、
（（Ｆ１が小さい（例えば、１５ｍ未満））AND（Ｆ３がＦ１より大きい））OR
（Ｆ２が非常に小さい（例えば、１０ｍ未満））
であるときに、カテゴリ“相手優先”に分類するように、より多くの、この新たな特徴のセットにより訓練される。図８の下部は、追加の特徴を抽出してシーンを分類した後の、その結果として得られる空間シーン表現を示している。停止線１４を有する交通シーンについて示されたこの例は、交通フローの意味解釈に影響を与える交通信号及びその他の交通物体を含むように更に拡張することができる。基礎を為す空間意味環境マップと、特徴抽出ステップＳ３と、分類ステップＳ４と、に追加の時間次元を含めるよう更に拡張を行うことは、空間シーン分析についての本方法に自動車の速度を含ませるのに適している。
図９は、空間意味コンテキストに適合された、空間及び時間において延在する形状を持つ射線形状の一の例を示している。
図９は、個別の複数の時刻についての空間意味表現を示している。個別の時刻t、t+1、t+2、t+3、・・・のそれぞれに対して一つずつ、空間意味環境マップのスライス（層）の形式の空間意味表現が与えられている。グリッドセル２が、現在時刻tについての原点セル３として選択される。選択された原点セル３は、或る速度を有するラベル“自動車”を持つ。
算出された射線４．０、４．１、４．２、４．３、４．４は、２次元空間内において、対向車線に沿って延びる射線形状を有する。
ただし、図９では、車線は、意味時空間表現の異なるスライスにおける特徴を抽出するステップにおいて評価される。意味時空間表現は、交通シーンの空間レイアウトを表現する複数のスライス（各スライスは、個別の時刻を表している）で構成される。図９における車線４は、意味時空間表現の時刻tについてのスライスにおいて評価された第１の射線部分４．０と、意味時空間表現の時刻t+1についてのスライスにおいて評価された第２の射線部分４．１と、意味時空間表現の時刻t+2についてのスライスにおいて評価された第３の射線部分４．２と、意味時空間表現の時刻t+3についてのスライスにおいて評価された第４の射線部分４．３と、で構成されている。したがって、図９における射線４．０、４．１、４．２、４．３の具体的な射線形状により、将来における異なる時刻の意味空間レイアウトに関する交通シーンの分析が可能となる。
図９の時空間射線４．０、４．１、４．２、４．３を用いて、閾値を用いた特徴算出を行うことができる。時空間射線４．０、４．１、４．２、４．３に基づいて算出された特徴は、単位［原点セルの速度に対する相対的な時間］を持つ。これに対し、空間射線に基づいて 算出された特徴は、距離の単位［ｍ］を持つ。
図１０には、時空間シーン表現 の他の例が示されている。図１０は、複数の時刻における交通シーンの空間意味表現を示している。個別の時刻t、t+1、t+2、t+3、・・・のそれぞれに対して一つずつ、空間意味環境マップのスライスの形式の空間意味表現が与えられている。一のグリッドセル２が、現在の時刻tについての原点セル３として選択される。 選択された原点セル３は、ラベル“対向レーン”を有する。
算出された射線４は、時間領域でのみ延在し２次元空間においては延在しない射線形状持つ。意味時空間表現は、交通シーンの空間レイアウトを表現する複数のスライス（それぞれのスライスは、個別の時刻を表す）で構成されている。図１０に示す射線４は、原点セル４から、時間のみに関して延在しており、従って、原点セル４のラベルについての将来の変化をカバーしている。すなわち、図９の射線４の空間的な射線形状により、その交通シーンの将来の異なる時刻についての意味空間レイアウトに関して、当該交通シーンを分析することができる。すなわち、原点セル４についてのラベルの変化は、図１０に示す時間に沿って延在する射線４に沿って特徴を抽出することにより評価することができる。抽出された特徴は、時間の単位を有し、原点セル４に或るラベルが割り当てられる時刻を明らかにする。
図１１は、本発明の方法のステップを実行して意味付け交通空間についての適合型空間射線ベースのシーン分析を行う機能ユニット（手段）を備えた自動運転者支援システムの概要を示している。本システムは、運転支援のためのアクティブ・セーフティ・システムにおいてコンテキスト情報を出力したり、自律運転用のアクチュエータコマンドを生成するための制御情報を出力するのに用いられ得る。
カメラ１５、１６、レーダセンサ１７、ライダセンサ、レーザスキャナなどの一つ又は複数のセンサ手段、ＧＰＳなどの位置特定システム１８は、センサ処理手段１９のための入力データを提供する。車車間通信、路車間通信（car-to-infrastructure communication）、無線交通サービス等の他のシステムから取得される更なるセンサデータ２１とデータ２２が、交通シーンのコンテキストに関する情報を提供する。意味及び空間分析手段２３（意味＆空間分析手段２３）は、センサ処理手段１９及びコンテキスト処理手段２０から受信した処理されたセンサデータ及び処理されたコンテキスト・データから、空間意味環境マップ１を生成するよう構成されている。この空間意味環境マップ１は、本発明の適合型空間射線ベースのシーン分析を実行するための処理モジュールの一つである空間意味マップ取得手段２４により取得される。取得された空間意味環境マップは、一の実施形態では、時間情報も含み得る。時間情報は、例えば、その車両のＡＤＡＳの部分を構成する予測システム２５から取得され得る。時間情報を含む空間意味環境マップ１は、例えば、複数のスライス（層）で構成されており、各スライスは、時刻t、t+1、t+2、．．．についての空間意味情報を表している。
空間射線形状決定手段２６、空間射線特徴抽出手段２７、及び空間シーン分類手段２８は、それぞれ、更なる処理のため、空間意味マップ取得手段２４から、取得された空間意味環境マップ１を受け取る。
射線形状決定手段２５は、少なくとも一つの原点セルの意味コンテキスト又は解決すべき分類タスクに基づく射線形状を有する、少なくとも一つの射線を決定する。少なくとも一つの位置が、空間意味マップ取得手段２４から受信したグリッド内の原点セル４に対応する。
空間射線特徴抽出手段２７は、原点セルの意味コンテキストを考慮して、空間意味環境マップ１上の少なくとも一つの原点セルについての少なくとも一つの特徴を算出する。一の実施形態では、空間射線特徴抽出手段２７は、空間次元及び時間次元の少なくとも一つにおいて原点セル３から延在する少なくとも一つの射線に沿って意味入力値を積分することにより、少なくとも一つの特徴を射線ベースの特徴として算出するよう適合されている。空間射線４は、射線形状決定手段２６が原点セル３の意味コンテキストに基づいて決定した射線形状を有する。空間射線特徴抽出手段２７における特徴の算出は、例えば意味ラベルの発生を実行し、又は射線４に沿って入力値を積分することにより実行され得る。
空間シーン分類手段２８は、空間射線特徴算出手段２７により算出される少なくとも一つの算出された特徴に基づいて、少なくとも一つの原点セル３についてのカテゴリ又はクラスを決定するよう適合されている。
出力手段２９は、少なくとも一つの位置についての決定されたカテゴリに関するデータで構成される、交通シーン分析のための分析信号を生成し、及び出力する。出力信号は、車両及び運転者インタフェース手段３０（車両＆運転者インタフェース３０）へ送信される。車両＆運転者インタフェース手段３０に出力された出力信号及びこれに含まれるデータは、例えば他車両の将来挙動を予測するための予測ユニットなどのＡＤＡＳシステムの他の処理モジュールや、自車両の制御に影響を与える作動手段、あるいは、シーン分析の結果である音響的、視覚的、触覚的信号により自車両の運転者に情報を提供する手段、に分配される。
本発明は、ここに示す例示的な実施形態に限定されるものではない。そうではなく、実施形態の個々の特徴は、互いに有利に結合され得る。

Claims (15)

  1. 交通シーンの空間分析を行う方法であって、
    意味コンテキストデータを含む空間意味環境マップ（１）を取得するステップ（Ｓ１）と、
    前記空間環境マップ上の少なくとも一つのセル（３）についての少なくとも一つの特徴を、前記セル（３）の前記意味コンテキストを考慮して算出するステップ（Ｓ３）と、
    前記少なくとも一つの算出された特徴に基づいて前記少なくとも一つのセル（３）についてのカテゴリを決定するステップ（Ｓ４）と、
    交通シーンを予測するため前記少なくとも一つのセル（３）の前記決定されたカテゴリに関するデータを含む分析信号を生成し及び出力するステップと、
    を有する、方法。
  2. 前記少なくとも一つの特徴は、空間次元及び時間次元の少なくとも一つにおいて前記少なくとも一つのセル（３）から延在する少なくとも一つの射線（４）に沿って入力値を積算することによって算出される射線ベース特徴である、
    ことを特徴とする、請求項１に記載の方法。
  3. 前記少なくとも一つの射線（４）は、それが開始する前記少なくとも一つのセル（３）の前記意味コネテキストに基づいて決定された射線形状を有する、
    ことを特徴とする、請求項２に記載の方法。
  4. 前記少なくとも一つの射線（４）は、空間に延在する射線（４）であり、
    当該空間的に延在する射線（４）は、道路の一般的形状に対応する射線形状を有するか、及び又は前記少なくとも一つの空間的に延在する射線（４）は、前記道路のコースに従うか、及び又は周囲の道路セグメントの方位に対し垂直であるか、及び又は空間意味環境マップ（１）上の少なくとも一つのエリアをバイパスする、
    ことを特徴とする、請求項２又は３に記載の方法。
  5. 前記少なくとも一つの特徴は、前記少なくとも一つの射線（４）に沿って積分又は積算された入力値が少なくとも一つの予め定められた閾値を超える位置での距離に対応する、
    ことを特徴とする、請求項２ないし４のいずれか一項に記載の方法。
  6. 交通シーンの空間評価のための前記方法が、前記空間意味環境マップ（１）の少なくとも一つの更なるセル（３）について個別に実行される、
    ことを特徴とする、請求項２ないし５のいずれか一項に記載の方法。
  7. 前記空間意味環境マップ（１）の前記少なくとも一つのセル（３）に、それぞれラベルを適用するステップ、を備え、
    前記ラベルは、前記少なくとも一つのセル（３）についての前記決定されたカテゴリに基づいて決定される、
    ことを特徴とする、請求項１ないし６のいずれか一項に記載の方法。
  8. 射線ベース特徴の集合のそれぞれの射線ベース特徴について、又は射線ベース特徴の集合のうちの選択された数の射線ベース特徴について、前記カテゴリを決定するステップ、を有する、
    ことを特徴とする、請求項２ないし７のいずれか一項に記載の方法。
  9. 前記交通シーンの前記空間分析に基づいて前記交通シーンについての概括的なシーンカテゴリを決定するステップ、を有する、
    ことを特徴とする、請求項２ないし８のいずれか一項に記載の方法。
  10. 前記空間意味環境マップ（１）は、エリアタイプによりラベル付けされたエリアを含み、及び又は、
    前記空間意味環境マップは（１）は、複数の層で構成され、当該層は、時刻次元における異なる時刻に関するものである、
    ことを特徴とする、請求項２ないし９のいずれか一項に記載の方法。
  11. 交通シーンの空間分析のためのシステムであって、
    意味コンテキストデータを含む空間意味環境マップ（１）を取得するよう構成された取得手段（２４）と、
    前記空間環境マップ上の少なくとも一つのセル（３）についての少なくとも一つの特徴を、前記セル（３）の前記意味コンテキストを考慮して算出するよう構成された空間射線特徴抽出手段（２６）と、
    前記少なくとも一つの算出された特徴に基づいて前記少なくとも一つのセル（３）についてのカテゴリを決定するよう構成された分類手段（２８）と、
    交通シーンを予測するため前記少なくとも一つのセル（３）の前記決定されたカテゴリに関するデータを含む分析信号を生成し及び出力するステップよう構成された出力手段（２９）と、
    を備える、システム。
  12. 前記空間射線特徴抽出手段（２７）は、前記少なくとも一つの特徴を、空間次元及び時間次元の少なくとも一つにおいて延在する少なくとも一つの射線（４）に沿って入力値を積分又は積算することによって算出される射線ベース特徴として算出する、よう構成されている、
    ことを特徴とする、請求項１１に記載の交通シーンの空間分析のためのシステム。
  13. 前記少なくとも一つのセル（３）の前記意味コネテキストに基づく射線形状を有する前記少なくとも一つの射線（４）を決定するよう構成された射線形状決定手段（２６）を更に備える、
    ことを特徴とする、請求項１２に記載の交通シーンの空間分析のためのシステム。
  14. 請求項１１ないし１３のいずれか一項に記載の交通シーンの空間分析のためのシステムを含む車両であって、
    前記運転者支援システムは、前記運転者支援システムの出力信号に基づいて自車両の制御に影響を与えるよう構成されている、
    ことを特徴とする車両。
  15. コンピュータ又はデジタルシグナルプロセッサ上で実行されたときに請求項１ないし１０のいずれか一項に記載のステップを実行する、プログラムコード手段を有するコンピュータプログラム。
JP2015189920A 2014-12-10 2015-09-28 意味付け交通空間についての適合型射線ベースのシーン分析を行うための方法及びシステム、並びにそのようなシステムを備える車両 Active JP6591842B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14197121.8A EP3032454B1 (en) 2014-12-10 2014-12-10 Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system
EP14197121.8 2014-12-10

Publications (2)

Publication Number Publication Date
JP2016115334A true JP2016115334A (ja) 2016-06-23
JP6591842B2 JP6591842B2 (ja) 2019-10-16

Family

ID=52231814

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015189920A Active JP6591842B2 (ja) 2014-12-10 2015-09-28 意味付け交通空間についての適合型射線ベースのシーン分析を行うための方法及びシステム、並びにそのようなシステムを備える車両

Country Status (3)

Country Link
US (1) US9767368B2 (ja)
EP (1) EP3032454B1 (ja)
JP (1) JP6591842B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018170719A (ja) * 2017-03-30 2018-11-01 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法及びプログラム
JP2019182401A (ja) * 2018-04-16 2019-10-24 バイドゥ ユーエスエイ エルエルシーＢａｉｄｕ ＵＳＡ ＬＬＣ 自動運転車に用いられる学習に基づく速度計画装置
WO2020053611A1 (en) 2018-09-12 2020-03-19 Toyota Motor Europe Electronic device, system and method for determining a semantic grid of an environment of a vehicle
JPWO2021049231A1 (ja) * 2019-09-11 2021-03-18

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108184202B (zh) * 2016-12-08 2021-03-30 中国电信股份有限公司 基站的覆盖场景的确定方法以及装置
US20180349746A1 (en) * 2017-05-31 2018-12-06 Uber Technologies, Inc. Top-View Lidar-Based Object Detection
US10809361B2 (en) * 2017-05-31 2020-10-20 Uatc, Llc Hybrid-view LIDAR-based object detection
US10872228B1 (en) 2017-09-27 2020-12-22 Apple Inc. Three-dimensional object detection
EP3495992A1 (en) * 2017-12-07 2019-06-12 IMRA Europe SAS Danger ranking using end to end deep neural network
US11009359B2 (en) * 2018-01-05 2021-05-18 Lacuna Technologies Inc. Transportation systems and related methods
CN108509917B (zh) * 2018-03-30 2020-03-03 北京影谱科技股份有限公司 基于镜头类相关性分析的视频场景分割方法和装置
CN108764137A (zh) * 2018-05-29 2018-11-06 福州大学 基于语义分割的车辆行驶车道定位方法
US11100669B1 (en) 2018-09-14 2021-08-24 Apple Inc. Multimodal three-dimensional object detection
US11335189B2 (en) 2019-04-04 2022-05-17 Geotab Inc. Method for defining road networks
US10699564B1 (en) 2019-04-04 2020-06-30 Geotab Inc. Method for defining intersections using machine learning
US11335191B2 (en) 2019-04-04 2022-05-17 Geotab Inc. Intelligent telematics system for defining road networks
US11403938B2 (en) 2019-04-04 2022-08-02 Geotab Inc. Method for determining traffic metrics of a road network
US11341846B2 (en) 2019-04-04 2022-05-24 Geotab Inc. Traffic analytics system for defining road networks
CN110442128B (zh) * 2019-07-20 2022-08-16 河北科技大学 基于特征点提取蚁群算法的agv路径规划方法
CN110458047B (zh) * 2019-07-23 2023-01-10 北京理工大学 一种基于深度学习的越野环境场景识别方法及***
WO2021134742A1 (zh) * 2020-01-02 2021-07-08 华为技术有限公司 一种处理预测运动轨迹的方法、显示约束屏障的方法以及装置
CN111932869A (zh) * 2020-06-25 2020-11-13 厦门迅优通信科技有限公司 一种基于交通流粒子性特征的三参数分析法
DE102020211649A1 (de) * 2020-09-17 2022-03-17 Conti Temic Microelectronic Gmbh Verfahren und System zum Erstellen eines Straßenmodells
CN113189610B (zh) * 2021-04-28 2024-06-14 中国科学技术大学 地图增强的自动驾驶多目标追踪方法和相关设备
CN114036254A (zh) * 2021-12-02 2022-02-11 广州小鹏自动驾驶科技有限公司 一种地图构建方法、地图构建装置、车辆及存储介质
CN116343104B (zh) * 2023-02-03 2023-09-15 中国矿业大学 视觉特征与向量语义空间耦合的地图场景识别方法及***
CN117274353B (zh) * 2023-11-20 2024-02-20 光轮智能(北京)科技有限公司 合成图像数据生成方法、控制装置及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013073620A (ja) * 2011-09-28 2013-04-22 Honda Research Inst Europe Gmbh ドライバ支援システムのための、道路地形を検出する方法及びシステム
JP2013164837A (ja) * 2011-03-24 2013-08-22 Toyota Infotechnology Center Co Ltd シーン判定方法およびシーン判定システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19746570A1 (de) 1997-10-22 1999-05-06 Daimler Chrysler Ag Verfahren und Vorrichtung zur großflächigen Verkehrslageüberwachung
US7065573B2 (en) * 2000-12-05 2006-06-20 Philippe C. Byrnes Automatic traffic and quality of service control system for communications networks
EP2256667B1 (en) * 2009-05-28 2012-06-27 Honda Research Institute Europe GmbH Driver assistance system or robot with dynamic attention module
US8559673B2 (en) * 2010-01-22 2013-10-15 Google Inc. Traffic signal mapping and detection
US20120078495A1 (en) * 2010-09-27 2012-03-29 Honeywell International Inc. Aircraft situational awareness improvement system and method
DE102012008659A1 (de) 2012-05-03 2012-11-29 Daimler Ag Verhahren zur Situationsanalyse von Einscher,-Ausscher-, Einfädel- und/oder Ausfädelvorgängen von Fahrzeugen

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013164837A (ja) * 2011-03-24 2013-08-22 Toyota Infotechnology Center Co Ltd シーン判定方法およびシーン判定システム
JP2013073620A (ja) * 2011-09-28 2013-04-22 Honda Research Inst Europe Gmbh ドライバ支援システムのための、道路地形を検出する方法及びシステム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JANNIK FRITSCH ET AL.: """", IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, vol. 15, no. 4, JPN6019013543, 31 August 2014 (2014-08-31), US, pages 1586 - 1596, ISSN: 0004112907 *
TOBIAS KUHNL ET AL.: ""Spatial Ray Features for Real-Time Ego-Lane Extraction"", 2012 15TH INTERNATIONAL IEEE CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS, JPN6019013541, 16 September 2012 (2012-09-16), US, pages 288 - 293, XP032264072, ISSN: 0004018876, DOI: 10.1109/ITSC.2012.6338740 *
TOBIAS KUHNL ET AL.: ""Visual Ego-Vehicle Lane Assignment using Spatial Ray Features"", 2013 IEEE INTELLIGENT VEHICLES SYMPOSIUM(IV), JPN6019013542, 23 June 2013 (2013-06-23), US, pages 1101 - 1106, ISSN: 0004112906 *
伊藤 元邦、外２名: ""道路シーンの視覚認識に基づく運転支援システム"", 日本ロボット学会誌, vol. 19, no. 5, JPN6019013540, 15 July 2001 (2001-07-15), JP, pages 61 - 69, ISSN: 0004112905 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018170719A (ja) * 2017-03-30 2018-11-01 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法及びプログラム
JP2019182401A (ja) * 2018-04-16 2019-10-24 バイドゥ ユーエスエイ エルエルシーＢａｉｄｕ ＵＳＡ ＬＬＣ 自動運転車に用いられる学習に基づく速度計画装置
US11126199B2 (en) 2018-04-16 2021-09-21 Baidu Usa Llc Learning based speed planner for autonomous driving vehicles
WO2020053611A1 (en) 2018-09-12 2020-03-19 Toyota Motor Europe Electronic device, system and method for determining a semantic grid of an environment of a vehicle
JPWO2021049231A1 (ja) * 2019-09-11 2021-03-18
WO2021049231A1 (ja) * 2019-09-11 2021-03-18 日立オートモティブシステムズ株式会社 占有格子地図管理装置
JP7261892B2 (ja) 2019-09-11 2023-04-20 日立Astemo株式会社 占有格子地図管理装置

Also Published As

Publication number Publication date
JP6591842B2 (ja) 2019-10-16
EP3032454A1 (en) 2016-06-15
US20160171316A1 (en) 2016-06-16
US9767368B2 (en) 2017-09-19
EP3032454B1 (en) 2018-09-26

Similar Documents

Publication Publication Date Title
JP6591842B2 (ja) 意味付け交通空間についての適合型射線ベースのシーン分析を行うための方法及びシステム、並びにそのようなシステムを備える車両
Bachute et al. Autonomous driving architectures: insights of machine learning and deep learning algorithms
US11714413B2 (en) Planning autonomous motion
CN113165652B (zh) 使用基于网格的方法检验预测轨迹
JP6731819B2 (ja) 移動体軌道予測システム
US8160811B2 (en) Method and system to estimate driving risk based on a hierarchical index of driving
US11386671B2 (en) Refining depth from an image
JP6800575B2 (ja) 自己の乗り物のドライバを支援する方法およびシステム
WO2020112649A1 (en) Probabilistic risk assessment for trajectory evaluation
JP5620147B2 (ja) 可動物予測装置及びプログラム
US20170329332A1 (en) Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object
US20210406559A1 (en) Systems and methods for effecting map layer updates based on collected sensor data
US20210389133A1 (en) Systems and methods for deriving path-prior data using collected trajectories
KR20230004212A (ko) 대상체 검출을 위한 교차 모달리티 능동 학습
CN115618932A (zh) 基于网联自动驾驶的交通事件预测方法、装置及电子设备
CN115713687A (zh) 用于确定对象动态参数的方法、***和介质
JP2024019629A (ja) 予測装置、予測方法、プログラムおよび車両制御システム
CN117387647A (zh) 融合车载传感器数据与道路传感器数据的道路规划方法
JP5747593B2 (ja) 規範車速算出装置及びプログラム
EP4137845A1 (en) Methods and systems for predicting properties of a plurality of objects in a vicinity of a vehicle
JP6449699B2 (ja) 環境認識システム
CN114067552A (zh) 一种基于路侧激光雷达的行人过街轨迹追踪与预测方法
CN113178088A (zh) 向车辆广播的基础设施部件
US20240028035A1 (en) Planning autonomous motion
Gupta et al. Dynamic object detection using sparse LiDAR data for autonomous machine driving and road safety applications

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20170802

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170804

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180411

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190919

R150 Certificate of patent or registration of utility model

Ref document number: 6591842

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250