JP2017227580A - 物体認識装置、物体認識方法および自動運転システム - Google Patents

物体認識装置、物体認識方法および自動運転システム Download PDF

Info

Publication number
JP2017227580A
JP2017227580A JP2016125160A JP2016125160A JP2017227580A JP 2017227580 A JP2017227580 A JP 2017227580A JP 2016125160 A JP2016125160 A JP 2016125160A JP 2016125160 A JP2016125160 A JP 2016125160A JP 2017227580 A JP2017227580 A JP 2017227580A
Authority
JP
Japan
Prior art keywords
data
correlation
sensor
observation
observation data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016125160A
Other languages
English (en)
Other versions
JP6194520B1 (ja
Inventor
森 正憲
Masanori Mori
正憲 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2016125160A priority Critical patent/JP6194520B1/ja
Priority to US15/623,650 priority patent/US10853669B2/en
Priority to DE102017210108.3A priority patent/DE102017210108A1/de
Priority to CN201710479934.1A priority patent/CN107544491B/zh
Application granted granted Critical
Publication of JP6194520B1 publication Critical patent/JP6194520B1/ja
Publication of JP2017227580A publication Critical patent/JP2017227580A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/277Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)

Abstract

【課題】 この発明は、物体の認識精度を向上させて、物体を誤認識してしまうリスクを低減する物体認識装置の提供を目的とする。【解決手段】 本発明に係る物体認識装置4は、複数のセンサ1、2からの自車周辺物体の検出データに応じて、センサごとの観測データを作成、出力するデータ受信部5と、この観測データと前回処理周期における物体データとの対応関係を示す相関データを、相関基準値に基づいて求め、観測データと相関データとを出力する相関処理部6と、前回処理周期における物体データに含まれる状態ベクトルを相関データに基づいて更新すると共に、観測データのうち最新に対応した観測データとなる最新相関データをセンサごとに物体データに含めて更新し、更新された物体データを出力する更新処理部7とを備え、相関処理部6は、今回処理周期における観測データと同じセンサの最新相関データを優先的に用いて、相関基準値を求めるものである。【選択図】 図1

Description

本発明は、自車に搭載した複数のセンサからそれぞれ受信した物体の検出データを統合する物体認識装置、物体認識方法および自動運転システムに関するものである。
自車に複数のセンサを搭載し、各センサからの検出データを統合・融合する手法としては、センサフュージョンという手法が知られている。センサフュージョンでは、各センサからの複数の検出データにおいて、どの検出データが同一の物体の検出データであるかの対応付けを決定する必要がある。
特許文献1に記載の物体認識装置では、第1のセンサ、第2のセンサでそれぞれ物体を検出する。その後、第1のセンサの検出データを等速直線運動モデルで外挿して第2のセンサの検出時刻に時刻合わせを行い、時刻合わせが行われた各検出データの一致度を評価する。さらに、各検出データの一致度に基づいて第1のセンサの時刻合わせ後の検出データに対して運動補償を加算する運動モデルを設定しながら、第1のセンサに対する第2のセンサのバイアス誤差を推定する。この物体認識装置では、推定したバイアス誤差に基づき、第2のセンサのバイアス誤差を補正して、センサ間の座標のずれを解消することで、第1のセンサ、第2のセンサの両検出データを同一の物体のものとして認識している。
特許第5595181号公報
特許文献1に記載の物体認識装置では、各センサの設置状態が経年変化することにより、座標の原点、軸の向きが一定のずれを起こしていると仮定し、このずれをバイアス誤差とみなして推定する。しかしながら、例えば電波レーダと光学カメラといった異種センサを用いる場合、センサ間の座標のずれがなくても、各センサの検出データとして検出された物体の位置がそもそもセンサ間でずれていることがある。この位置ずれは一定ではなく、センサの種類や物体ごとに異なっていたり、また遠方ほどずれ量が増大したりする。このとき、従来の物体認識装置では、このずれをバイアス誤差とみなせないので、各センサの検出データが同じ物体のものであっても異なる物体のものであるとして誤認識してしまう問題点があった。なお、異種のセンサにおいてこの問題は顕著であるが、同じ検出方法であって分解能が違うセンサ同士、例えば光学カメラと光学カメラ、電波レーダと電波レーダであってもこのような問題が起こる。
本発明は、上記のような問題点を解決するためになされたものであり、物体の認識精度を向上させて、物体を誤認識してしまうリスクを低減することを目的とする。
この発明の物体認識装置は、自車周辺の物体を複数のセンサで検出し、物体の位置情報となる検出データを、それぞれのセンサから入力するものであって、複数のセンサからの検出データに応じて、センサごとの観測データを作成して出力するデータ受信部と、データ受信部から出力された観測データと前回処理周期における物体データとの対応関係を示す相関データを、相関基準値に基づいて求めると共に、観測データと相関データとを出力する相関処理部と、前回処理周期における物体データに含まれ、物体の位置情報に関する状態ベクトルを、相関処理部から出力された相関データに基づいて更新すると共に、観測データのうち最新に対応した観測データとなる最新相関データをセンサごとに物体データに含めて更新し、更新された物体データを出力する更新処理部とを備え、相関処理部は、今回処理周期における観測データと同じセンサの最新相関データを優先的に用いて、相関基準値を求めることを特徴とするものである。
本発明によれば、物体の認識精度を向上させて、物体を誤認識してしまうリスクを低減できるという効果を奏する。
本発明の実施の形態1の構成を示すブロック図。 本発明の実施の形態1の動作を示すフローチャート(前半)。 本発明の実施の形態1の動作を示すフローチャート(後半)。 本発明の実施の形態1における「第nのセンサの観測データで相関・更新」ステップ(ST200)の詳細動作を示すフローチャート。 本発明の実施の形態1における「物体データの予測値・相関基準値を設定」ステップ(ST202)の詳細動作を示すフローチャート。 本発明の実施の形態1における「物体データを更新」ステップ(ST207)の詳細動作を示すフローチャート。 本発明の実施の形態1において、第1のセンサの検出回数N1が1、第2のセンサの検出回数N2が0の状況で、新たに第2のセンサからの観測データが入力された場面における予測値・相関基準値の設定を示す模式図。 本発明の実施の形態1において、第1のセンサの検出回数N1が1、第2のセンサの検出回数N2が1の状況で、新たに第1のセンサからの観測データが入力された場面における予測値・相関基準値の設定を示す模式図。 本発明の実施の形態1において、図7の状況における予測値・相関基準値の設定が妥当であることを説明するための不適切な予測値・相関基準値の設定例を示す模式図(参考図)。 本発明の実施の形態1において、第1のセンサの検出回数N1が2、第2のセンサの検出回数N2が1の状況で、新たに第2のセンサからの観測データが入力された場面における予測値・相関基準値の設定を示す模式図。
実施の形態1.
以下、本発明の実施の形態1について図面を用いて説明する。図1は、本発明の実施の形態における物体認識装置4を含む自動運転システムの構成を示すブロック図である。図1における自動運転システムは、複数のセンサとしての第1のセンサ1および第2のセンサ2、車両情報センサ3、物体認識装置4、物体認識装置4に内蔵されるデータ受信部5、相関処理部6および更新処理部7、さらに、表示部8ならびに車両制御部9を備える。このシステムが車両に搭載されており、これら構成について以下に詳述する。
第1のセンサ1と第2のセンサ2とは、物体から放射あるいは反射した光や電磁波などを受信して、信号処理や画像処理を適用し、自車から物体までの距離、方位角、自車に対する相対速度など、自車周辺の物体の位置情報を計測するセンサである。例えば、ミリ波レーダ、レーザレーダ、超音波センサ、赤外線センサ、光学カメラなどが挙げられる。
第1のセンサ1と第2のセンサ2の自車における搭載位置、物体を検知可能な範囲は既知であるとする。第1のセンサ1と第2のセンサ2の搭載位置等は任意に設定できる。物体認識装置4は、第1のセンサ1と第2のセンサ2とで検出された物体のそれぞれの観測データについて、同一の物体の情報を一つに統合することで認識精度を向上させることができるため、第1のセンサ1と第2のセンサ2の物体に対する検知範囲は、重複する(共通部分が存在する)ことが望ましい。
第1のセンサ1、第2のセンサ2のどちらか一方のセンサで検出できない物体につき、他方のセンサでは検出可能とするため、第1のセンサ1と第2のセンサ2とは相異なるセンサ方式とすることが望ましい。例えば、第1のセンサ1をミリ波レーダ、第2のセンサ2を光学カメラとして、第1のセンサ1を自車の前方バンパー部中央に、第2のセンサ2を自車のルームミラー裏側にそれぞれ搭載することにより、第1のセンサ1および第2のセンサ2は、自車の前方において重複する検知範囲を有することができる。これらセンサによって、検知範囲に属する複数の物体が検出される。本発明は、このように異種のセンサを用いる場合に特に好適であるが、同じ検出方法のセンサであって分解能が違うセンサを用いる場合等においても適用可能である。
第1のセンサ1が計測した物体の位置情報を第1のセンサの検出データとする。一方、第2のセンサ2が計測した物体の位置情報を第2のセンサの検出データとする。
車両情報センサ3は、自車の速度、車輪速、ステアリング角、ヨーレートなど、自車の状態を計測するセンサである。あるいは、車両情報センサ3はGPS(Global Positioning System)を用いて、自車の緯度、経度、進行方向を計測するセンサであっても良い。このように、車両情報センサ3が取得した、自車周辺の物体認識に必要な自車の情報を総称して自車データという。
物体認識装置4は、データ受信部5、相関処理部6、更新処理部7を有し、例えば、メモリに記憶されたプログラムを実行するCPUと、システムLSI等の処理回路によって実現される。
データ受信部5は、第1のセンサ1からの第1のセンサの検出データ、第2のセンサ2からの第2のセンサの検出データ、および車両情報センサ3からの自車データを受信し、各検出データを観測データとして必要に応じて加工して、相関処理部6に所定の処理周期毎に出力する。
相関処理部6は、観測データと、後述する更新処理部7からの物体データとの対応関係を決定する。さらに、観測データと、物体データと、この対応関係をまとめた相関データとを、更新処理部7に出力する。ここで、対応関係があるとは、ある観測データと、ある物体データとが同一の物体のものである、又はその可能性が高いと対応付けられた場合のことを言う。
更新処理部7は、相関データに基づいて、物体データを更新して出力する。物体データは、例えば、検出された物体の位置、速度、加速度等の物体の状態ベクトル、この状態ベクトルの生成・更新に用いた第1のセンサ1および第2のセンサ2のそれぞれの観測データの検出回数、第1のセンサ1および第2のセンサ2のそれぞれの観測データのうち最新に対応した観測データ(以下、最新相関データと呼ぶ)、第1のセンサ1および第2のセンサ2のそれぞれの観測データと最新に対応してからの経過時間、ロスト回数等を含んでいる。なお、第1のセンサ1、第2のセンサ2によって複数の物体が検出され、物体ごとに物体データが作成されるものである。
物体データの状態ベクトルは、例えば、最小二乗法、カルマンフィルタ、粒子フィルタ等、公知の方法を用いて更新する。
物体データにおいて、第1のセンサ1の観測データの検出回数、第2のセンサ2の観測データの検出回数をそれぞれN1、N2と定義し、第1のセンサ1の観測データ、第2のセンサ2の観測データと最新に対応してからの経過時間をそれぞれΔT1、ΔT2と定義する。
更新処理部7の物体データの一部または全部は、例えば自車内部のインストゥルメントパネルやヘッドマウントディスプレイ等で構成させる表示部8に出力され、運転者等にセンサ情報を表示する。あるいは、物体データの一部または全部は、例えばブレーキ制御装置やステアリング制御装置等で構成される車両制御部9に出力され、車両制御部9は、この物体データを用いて、他車との車間距離を維持するための制御、自車の車線を維持するための制御、自車の自動ブレーキ制御等を行う。
以下、本実施の形態1の動作について、図2(図2A,図2B)から図5までを用いて説明する。
物体認識装置4は、所定の動作周期で以下の動作を繰り返し実行する。図2(図2A,図2B)は、ある処理周期tk(時刻tkから開始)における動作について示す。
まず、更新処理部7は、すべての物体データについて、更新フラグを0にセットする(ST101)。次に、データ受信部5は、第1のセンサ1と第2のセンサ2からのそれぞれの検出データを受信する(ST102)。また、データ受信部5は、車両情報センサ3から自車データを受信する。それぞれの検出データおよび自車データの受信は、1つ前の処理周期tk-1の開始時刻tk-1から時刻tkまでの期間内に行われる。
なお、第1のセンサ1と第2のセンサ2の両方から常に検出データを受信するわけではなく、どちらか一方のセンサからのみの受信であったり、両方のセンサからとも受信しなかったりする場合がある。
また、データ受信部5は、それぞれの検出データを受信した時刻を受信時刻として確定する。以下、第1のセンサ1、第2のセンサ2からの検出データの受信時刻を、それぞれT1、T2とする。受信時刻T1、T2は、1つ前の処理周期tk-1の開始時刻tk-1より後であって、今の処理周期tkの開始時刻tkよりも前の実数値で表される。
さらにまた、データ受信部5は、第1のセンサ1または第2のセンサ2からの検出データと、車両情報センサ3からの自車データとを、必要に応じて加工して、各センサごとの観測データを生成する。例えば、検出データに物体の相対速度が含まれる場合は、自車データに含まれる自車速度と組み合わせることで物体の対地速度を求めて、観測データとする。また、検出データを受信した時刻と関連づける加工を行うこともでき、正負の符号を伴ったベクトル量として表すこともできる。なお、データ受信部5は、第1のセンサ1および第2のセンサ2からの検出データの受信がない場合、観測データは生成しない。
ST102の終了後、「第1のセンサの検出データを受信?」ステップ(ST103)に移行し、データ受信部5は、第1のセンサ1からの検出データを、時刻tk-1から時刻tkまでの時間内に受信完了したかどうかを判定する。第1のセンサ1からの検出データを受信完了していればYes、そうでなければNoとする。なお、第1のセンサ1からの第1のセンサの検出データを受信完了したが、中身が空(すべて無効な検出データ)だった場合もNoとして良い。
ST103でYesの場合、「第2のセンサの検出データを受信?」ステップ(ST105)に移行し、データ受信部5は、第1のセンサ1の場合と同様に、第2のセンサ2からの検出データを、時刻tk-1から時刻tkまでの時間内に受信完了したかどうかを判定する。
これら2つの「第1のセンサの検出データを受信?」「第2のセンサの検出データを受信?」ステップ(ST103、ST105)がともにYesの場合は、さらに、「T1<T2?」ステップ(ST106)に進む。
ST106では、データ受信部5は、第1のセンサ1、第2のセンサ2からの受信時刻T1、T2の大小を比較する。受信時刻T1がT2よりも小さければ、即ち第1のセンサ1の方が早く受信していればYes、そうでなければNoとする。
このST106において、T1<T2であるならば、データ受信部5、相関処理部6、更新処理部7は、「第1のセンサの観測データで相関・更新」ステップ(ST110)、「第2のセンサの観測データで相関・更新」ステップ(ST112)の順に動作する。各ステップの詳細動作は後述する。その後、後述のST113に移行する。
一方、T1<T2でないならば、データ受信部5、相関処理部6、更新処理部7は、「第2のセンサの観測データで相関・更新」ステップ(ST109)、「第1のセンサの観測データで相関・更新」ステップ(ST111)の順に動作する。その後、後述のST113に移行する。
以上のように、データ受信部5、相関処理部6、更新処理部7は、受信した検出データに対して、各センサ1、2の受信時刻の順番に基づいて処理を行う。
また、「第1のセンサの検出データを受信?」ステップ(ST103)がYesであり、「第2のセンサの検出データを受信?」ステップ(ST105)がNoであるならば、データ受信部5、相関処理部6、更新処理部7は、「第1のセンサの観測データで相関・更新」ステップ(ST108)の動作をおこなう。その後、後述のST113に移行する。
また、「第1のセンサの検出データを受信?」ステップ(ST103)がNoであり、「第2のセンサの検出データを受信?」ステップ(ST104)がYesであるならば、データ受信部5、相関処理部6、更新処理部7は、「第2のセンサの観測データで相関・更新」ステップ(ST107)の動作をおこなう。その後、後述のST113に移行する。
また、「第1のセンサの検出データを受信?」「第2のセンサの検出データを受信?」ステップ(ST103、ST104)がともにNoであるならば、データ受信部5、相関処理部6、更新処理部7は何も処理を行わず、後述のST113に移行する。
次に、「物体データのループ開始」ステップ(ST113)において、更新処理部7は、記憶されているすべての物体データから、まだ選択済でない物体データを1つ選択して、選択状態を選択済にセットし、「更新あり?」ステップ(ST114)に進む。すべての物体データが選択済であれば、「物体データのループ終了」ステップ(ST119)に進み、物体データのループ処理を終了する。
「更新あり?」ステップ(ST114)において、更新処理部7は、選択した物体データについて、更新フラグが1であるか判定する。更新フラグが1であれば、「ロスト回数:=0」ステップ(ST115)に進み、物体データのロスト回数を0にリセットする。そうでなければ、更新処理部7は「ロスト回数++」ステップ(ST116)に進み、物体データのロスト回数をインクリメントする。ここで、ロストとは、選択した物体データが今回の処理周期tkで更新されなかった、即ち、その物体データを有する物体と同一の物体と認識される物体が今回の処理周期tkでは検出されなかったことを意味する。
次に、「ロスト回数≧閾値?」ステップ(ST117)において、更新処理部7は、選択した物体データのロスト回数が予め設定された閾値以上であるか判定する。この閾値は自然数であり、例えば3に設定する。そのロスト回数が閾値以上であれば、「物体データを削除」ステップ(ST118)に進む。一方、閾値未満であれば、「物体データのループ終了」ステップ(ST119)から「物体データのループ開始」ステップ(ST113)へと戻り、次の選択済でない物体データの選択に移る。
「物体データを削除」ステップ(ST118)において更新処理部7は、選択した物体データが、第1のセンサ1、第2のセンサ2、いずれのセンサからの観測データとも対応しなくなり、物体をいずれのセンサでも検出できなくなったと判断して、この選択した物体データを削除する。削除後は、「物体データのループ終了」ステップ(ST119)に移行する。
以上のようにループ処理を行い、すべての物体データが選択済となれば、物体データのループ処理を終了し、更新処理部7は、更新された物体データを相関処理部6、また、表示部8、車両制御部9に出力して、時刻tkにおける処理を終了する。なお、すべての物体データが更新なしの場合であっても、更新処理部7から出力された物体データは更新された物体データとして扱う。
次に、「第1のセンサの観測データで相関・更新」ステップ(ST108、110、111)、「第2のセンサの観測データで相関・更新」ステップ(ST107、109、112)の詳細動作について、図3を用いて説明する。以下に示す図3、図4、図5の説明では、相関処理部6において用いられる物体データは、今回の処理周期tkよりも1つ前の前回の処理周期tk-1における物体データである。一方で、更新処理部7から更新されて出力される物体データは、今回の処理周期tkにおける物体データとなるが、この物体データは次回処理周期tk+1において、前回処理周期における物体データとして相関処理部6において用いられる。
「第1のセンサの観測データで相関・更新」ステップ(ST108、110、111)、「第2のセンサの観測データで相関・更新」ステップ(ST107、109、112)において、第1のセンサ1と第2のセンサ2とは対照的な動作をする。そこで、図3では、n∈{1,2}、m∈{1,2}\{n}として、「「第nのセンサの観測データで相関・更新」処理開始」ステップ(ST200)から始まる処理を説明する。
まず、ST200は「物体データのループ開始」ステップ(ST201)に進み、相関処理部6は、更新処理部7から入力した複数の物体データのうち、まだ選択済でない物体データを1つ選択して、選択状態を選択済にセットし、「物体データの予測値・相関基準値を設定」ステップ(ST202)に進む。設定後、「物体データのループ終了」ステップ(ST203)に移行する。この「物体データの予測値・相関基準値を設定」ステップ(ST202)の詳細動作は後述する。
まだ選択済みでない物体データがある場合、「物体データのループ開始」ステップ(ST201)に戻り、同様のループ処理を行う。すべての物体データが選択済となれば、「物体データのループ終了」ステップ(ST203)において、物体データのループ処理を終了して、「第nのセンサの観測データと物体データとの相関を決定」ステップ(ST204)に進む。
次に、「第nのセンサの観測データと物体データとの相関を決定」ステップ(ST204)において、相関処理部6は、データ受信部5から入力された第nのセンサの観測データと、更新処理部7から入力された物体データとの対応関係を、「物体データの予測値・相関基準値を設定」ステップ(ST202)の実行結果である物体データに係る相関基準値を用いて決定する。
相関基準値は、物体データに含まれる過去の処理周期の状態ベクトルから算出した今回の処理周期tkにおける状態ベクトルの予測値を、必要に応じて加工して設定されたものである。予測値の算出方法としては、等速直線運動等の所定の運動条件に従って算出する方法が挙げられる。この相関基準値は、予測値と同じ値とすることもできるし、予測値から補正された値とすることもできる。詳細は後述する。
観測データと物体データとの対応関係は、例えば公知の方式を用いて決定することができる。例えば、相関処理部6は、物体データに係る相関基準値から一定の範囲内(例えば、観測誤差標準偏差の3倍以内)に入る第nのセンサの複数の観測データのうち、物体の予測位置となる相関基準値に最も近い観測データを割り当てる。そうすることで、観測データと物体データとを対応付けできる。そうした対応関係を、観測データと物体データに相関がある、とも換言できる。その後、相関処理部6は、第nのセンサの観測データ、物体データ、それらの対応関係をまとめた相関データを更新処理部7に出力する。
「第nのセンサの観測データと物体データとの相関を決定」ステップ(ST204)の処理が終わると、「観測データのループ開始」ステップ(ST205)に移行し、更新処理部7は、相関処理部6から入力された相関データについて、第nのセンサの観測データのうち、まだ選択済でない観測データを1つ選択して、選択状態を選択済にセットし、「対応する物体データあり?」ステップ(ST206)に進む。
すべての観測データが選択済であれば、「観測データのループ終了」ステップ(ST210)に進み、観測データのループ処理を終了する。また、後述する「物体データを更新」ステップ(ST207)および「Nm:=0、Nn:=1、ΔTm:=∞、ΔTn:=0」ステップ(ST209)の処理終了後も、「観測データのループ終了」ステップ(ST210)に移行し、まだ選択済みでない観測データについて、「観測データのループ開始」ステップ(ST205)に戻り、ループ処理を行う。
「対応する物体データあり?」ステップ(ST206)において、更新処理部7は、相関処理部6から入力された相関データについて、選択した観測データに対応する物体データが存在するかを判定する。選択した観測データに対応する物体データが存在すれば、「物体データを更新」ステップ(ST207)に進む。そうでなければ、「物体データを新規生成」ステップ(ST208)に進む。「物体データを更新」ステップ(ST207)の詳細動作は後述する。
「物体データを新規生成」ステップ(ST208)に移行した場合、選択した観測データが、これまでに記憶された複数の物体データの中には、対応する物体データが存在しなかったので、更新処理部7は、新しい物体をいずれかのセンサ1、2で検出したと判断して、新しい物体データを生成する。そして「Nm:=0、Nn:=1、ΔTm:=∞、ΔTn:=0」ステップ(ST209)に移行し、生成した新しい物体データについて、入力した第nのセンサの観測データの検出回数Nnを1に、同データと最新に対応してからの経過時間ΔTnを0に、他方の第mのセンサの観測データの検出回数Nmを0に、同データと最新に対応してからの経過時間ΔTmを無限大に、それぞれセットする。
次に、「物体データの予測値・相関基準値を設定」ステップ(ST202)の詳細動作について、図4を用いて説明する。
まず、「「物体データの予測値・相関基準値を設定」処理開始」ステップ(ST300)から、「ΔTn:=ΔTn+Δt、ΔTm:=ΔTm+Δt」ステップ(ST301)に移行し、相関処理部6は、選択した物体データについて、センサのそれぞれの観測データと最新に対応してからの経過時間ΔTn、ΔTmに、前回「第nのセンサの観測データで相関・更新」ステップまたは「第mのセンサの観測データで相関・更新」ステップが動作してからの経過時間Δtを加算する。経過時間Δtは、例えば、「第1のセンサの検出データを受信?」ステップ(ST103)、「第2のセンサの検出データを受信?」ステップ(ST105)がともにYesで、さらに「T1<T2?」ステップ(ST106)がYesであり、現在「第2のセンサの観測データで相関・更新」ステップ(ST112)を実行中であれば、Δt=T2−T1である。
ST301の処理終了後、「Nm=0 かつ Nn=1 かつ ΔTn≧Th?」ステップ(ST302)に移行し、相関処理部6は、選択した物体データについて、第mのセンサの観測データの検出回数Nmが0であり、かつ第nのセンサの観測データNnが1であり、かつ第nのセンサの観測データと最新に対応してからの経過時間ΔTnが予め設定された閾値Th以上であるか判定する。この条件を満たすならば、「物体データを削除」ステップ(ST303)に進む。ここで、閾値Thとは、例えば第nのセンサのサンプリング周期の1.5倍である。
「物体データを削除」ステップ(ST303)において、相関処理部6は、選択した物体データについて、第nのセンサの観測データと最新に対応してから一定時間以上経過しても第nのセンサの観測データと再び対応しなかったので、最新に対応した第nのセンサの観測データは誤検出であると判断し、選択した物体データを削除して、「「物体データの予測値・相関基準値を設定」処理終了」ステップ(ST304)に移行し、「物体データの予測値・相関基準値を設定」ステップの処理を終了する。
一方、ST302においてNoの場合、「(Nm=1 かつ Nn=0) または(Nm=1 かつ Nn=1 かつ ΔTn≧Th?)」ステップ(ST305)に移行し、相関処理部6は、選択した物体データについて、ST305に記述した条件を満たすか否かを判定する。この条件を満たすならば、「第mのセンサの最新相関データで予測」ステップ(ST306)に進む。
「第mのセンサの最新相関データで予測」ステップ(ST306)において、相関処理部6は、選択した物体データについて、第mのセンサの観測データと対応してから、第nのセンサの観測データと対応していないか、もしくは、第nのセンサの観測データと一度対応してから一定時間以上経過した状況であるので、特に後者の場合は一度対応した第nのセンサの観測データは誤検出であると判断し、第mのセンサの最新相関データを用いて今回処理周期tkにおける状態ベクトルを予測する。
そして、「相関基準値:=予測値」ステップ(ST307)に進み、物体データに係る状態ベクトルの予測値を相関基準値に設定した後、ST304に移行し、「物体データの予測値・相関基準値を設定」ステップの処理を終了する。
一方で、ST305においてNoの場合、「Nm≦1 かつ Nn=1 かつ ΔTn<Th?」ステップ(ST308)に移行し、相関処理部6は、選択した物体データについて、ST308に記述した条件を満たすか否かを判定する。この条件を満たすならば、「第nのセンサの最新相関データで予測」ステップ(ST309)に進む。
「第nのセンサの最新相関データで予測」ステップ(ST309)において、相関処理部6は、選択した物体データについて、第mのセンサの観測データと過去に多くても1回対応する一方で、第nのセンサの観測データとは最新に対応してからの経過時間が閾値Th以内であるので、最新に対応した第nのセンサの観測データは正常検出であると判断し、第nのセンサの最新相関データを用いて今回処理周期tkにおける状態ベクトルを予測する。
そして、「相関基準値:=予測値」ステップ(ST310)に進み、物体データに係る状態ベクトルの予測値を相関基準値に設定した後、ST304に移行し、「物体データの予測値・相関基準値を設定」ステップの処理を終了する。
ST308においてNoの場合、「物体データで予測」ステップ(ST311)に進む。
「物体データで予測」ステップ(ST311)において、相関処理部6は、選択した物体データに含まれる過去の処理周期における状態ベクトルを用いて、新たに今回処理周期tkにおける状態ベクトルの予測値を算出する。
次に、「相関基準値:=予測値」ステップ(ST312)に進み、物体データに係る状態ベクトルの予測値を相関基準値に設定する。
次に、「Nm≧2 かつ Nn≧1 かつ ΔTn<Th?」ステップ(ST313)に移行し、相関処理部6は、選択した物体データについて、ST313に記述した条件を満たすか否かを判定する。この条件を満たすならば、「相関基準値を第nのセンサの最新相関データで補正」ステップ(ST314)に進む。そうでないならば、ST304に移行し、「物体データの予測値・相関基準値を設定」ステップの処理を終了する。
「相関基準値を第nのセンサの最新相関データで補正」ステップ(ST314)では、以下に詳述するように、相関処理部6は、選択した物体データに係る相関基準値について、第nのセンサの最新相関データで補正する。
一般に、第nのセンサの観測データの検出位置のずれは一定ではなく、物体や検出位置によって異なるものの、前回の観測からの経過時間が閾値Th以内であれば、第nのセンサにおける同一物体についての検出位置ずれの変化量は小さい。そこで、物体データに係る状態ベクトルの予測値と第nのセンサの最新相関データから検出位置ずれ量を推定し、この検出位置ずれ量(後述するδ)を用いて予測値を補正することで、今回の第nのセンサの観測データの検出位置ずれをキャンセルすることができる。
例えば、第nのセンサの観測データの受信時刻がtであり、選択した物体データに係る相関基準値(すなわち、状態ベクトルの予測値)が位置x_p(t)、速度v_p(t)であり、第nのセンサの最新相関データの位置がz_oldであり、第nのセンサの最新相関データの受信時刻がt_oldであり、物体は等速直線運動するものと仮定する。このとき、時刻t_oldにおける仮の状態ベクトル(位置x_p(t_old)、速度v_p(t_old))を、下記の数(1)で表すように仮想的に算出する。
x_p(t_old)=x_p(t)+(t_old−t)×v_p(t)、 v_p(t_old)=v_p(t) ・・・(1)
補正量δは、第nのセンサの最新相関データの位置z_oldとの差分として、下記の数(2)で表される。
δ=z_old−x_p(t_old) ・・・(2)
したがって、物体データに係る補正後の相関基準値の位置x_pp(t)および速度v_pp(t)は下記の数(3)で表される。
x_pp(t)=x_p(t)+(z_old−x_p(t_old))、 v_pp(t)=v_p(t) ・・・(3)
ST314ではこのように相関基準値を補正したのち、ST304に移行し、「物体データの予測値・相関基準値を設定」ステップの処理を終了する。
次に、「物体データを更新」ステップ(ST207)の詳細動作について、図5を用いて説明する。
まず、「物体データを更新」処理開始ステップ(ST400)から、「Nn=0 または(Nn=1 かつ ΔT≧Th)?」ステップ(ST401)に移行し、更新処理部7は、選択した観測データに対応する物体データについて、ST401に記述した条件を満たすか否かを判定する。この条件を満たすならば、物体データは、第nのセンサの観測データと初めて対応するか、もしくは過去に一度第nのセンサの観測データと対応してから閾値Th以上経過しているので、特に後者の場合は過去に対応した第nのセンサの観測データは誤検出であると判断して、「第nのセンサの最新相関データを更新」ステップ(ST402)に進む。
一方、ST401においてNoの場合、「Nm≦1 かつ Nn=1?」ステップ(ST405)に移行し、更新処理部7は、選択した観測データに対応する物体データについて、ST405に記述した条件を満たすか否かを判定する。この条件を満たすならば、「第nのセンサの観測データで初期化」ステップ(ST406)に進む。そうでなければ、「フィルタ処理」ステップ(ST407)に進む。
「第nのセンサの観測データで初期化」ステップ(ST406)において、更新処理部7は、選択した観測データに対応する物体データについて、第nのセンサの最新相関データと、選択した観測データとを用いて状態ベクトルを初期化する。例えば、物体データの第nのセンサの最新相関データの位置がz_old、その受信時刻がt_oldであり、選択した観測データの位置がzであり、その受信時刻がtであり、物体は等速直線運動するものと仮定する。このとき、物体データの位置x_s(t)および速度v_s(t)は下記の数(4)として表され、状態ベクトルを初期化する。そして、「第nのセンサの最新相関データを更新」ステップ(ST402)に進む。
x_s(t)=z、 v_s(t)=(z−z_old)/(t−t_old) ・・・(4)
一方、「フィルタ処理」ステップ(ST407)では、更新処理部7は、選択した観測データに対応する物体データについて、選択した観測データを用いて、状態ベクトルを更新する。状態ベクトルは、使用するセンサの誤差特性に従ってフィルタの係数を調整しながら、例えば、最小二乗法、カルマンフィルタ、粒子フィルタ等を用いて更新することができる。そして、「第nのセンサの最新相関データを更新」ステップ(ST402)に進む。なお、初期化もフィルタ処理も状態ベクトルの更新処理の一種である。
「第nのセンサの最新相関データを更新」ステップ(ST402)において、更新処理部7は、選択した観測データに対応する物体データについて、第nのセンサの最新相関データとして、選択した観測データを設定する。その後、ST403に移行して、第nのセンサの検出回数Nnをインクリメントし、第nのセンサの観測データと最新に対応してからの経過時間ΔTnを0に、更新フラグを1にそれぞれセットする。セット終了後、「「物体データを更新」処理終了」ステップ(ST404)に移行し、物体データの更新処理を終了する。
本実施の形態1の具体的な動作を、第1のセンサ1、第2のセンサ2からの観測データが入力された状況における予測値・相関基準値の設定を示す模式図(図6乃至図9)を用いて説明する。
図6は、N1=1、N2=0の状況で、新たに第2のセンサ2の観測データを入力している場面を示している。このとき、図4の「(N1=1 かつ N2=0) 、または(N1=1 かつ N2=1 かつ ΔT2≧Th?)」ステップ(ST305)の条件に該当するので、第1のセンサ1の観測データを用いて、相関基準値を求める。詳細には、第1のセンサ1の観測データを起点とする矢印の先端が、物体データに係る状態ベクトルの予測値(相関基準値)となるよう設定される。また、点線楕円の内部は、物体データと対応する可能性のある観測データの範囲を表す。第2のセンサ2の観測データがこの範囲内となるので、物体データと第2のセンサ2の観測データとは対応すると判定される。
続いて図7は、図6に示した場面の後、すなわちN1=1、N2=1の状況で、新たに第1のセンサの観測データを入力している場面を示している。このとき、図4の「N2≦1 かつ N1=1 かつ ΔT1<Th?」ステップ(ST308)の条件に該当するので、第1のセンサ1の最新相関データを用いて物体データの状態ベクトルが予測されることとなり、第1のセンサ1の観測データを起点とする矢印の先端が、物体データに係る状態ベクトルの予測値(相関基準値)となるよう設定される。最新の第1のセンサ1の観測データが図6と同様の範囲内(点線楕円内)となるので、物体データと最新の第1のセンサ1の観測データとは対応すると判定される。ここでは、第1のセンサ1の観測データと第2のセンサ2の観測データが物体データにそれぞれ含まれているものの、今回の処理周期において検出されたのは第1のセンサ1の観測データ(最新の第1のセンサの観測データ)であるため、第1のセンサ1の観測データを用いることを優先し、その第1のセンサ1の観測データから相関基準値を求めている。
この状況では、物体データを更新するにあたり、図5の「N2≦1 かつ N1=1?」ステップ(ST405)の条件に該当するので、第1のセンサ1の観測データを用いて物体データの状態ベクトルを初期化する。
図8を用いて、本実施の形態1に記載の物体認識装置を採用しなかった場合の参考例を説明する。図8では、これまでに対応した観測データをセンサの如何(第1のセンサ1か第2のセンサ2か)を問わずに用いて、物体データに係る状態ベクトルの予測値および相関基準値を設定する方法として、例えば、第1のセンサ1の観測データと第2のセンサ2の観測データの位置を結んだ矢印の先端を、物体データに係る状態ベクトルの予測値および相関基準値として設定する方法を示している。しかし、この方法を用いた場合、第1のセンサ1の観測データと第2のセンサ2の観測データとは検出位置がずれているため、これらを単純に結んでしまうと、検出位置のずれによって速度誤差が増大し、最新の第1のセンサ1の観測データが、物体データと対応する可能性のある観測データの範囲内(点線楕円内)に入らない。そのため、物体データとして既に記録されている物体が検出されているにも関わらず、その物体として認識することができない問題がある。一方、本実施の形態1ではこの問題を回避することができる、すなわち、センサ間の検出データのずれが一定でない場合でも、検出データと物体データとを正しく対応させ、センサシステム全体の認識精度を向上させることができる。
続いて図9は、図7に示した場面の後、すなわちN1=2、N2=1の状況で、新たに第2のセンサ2の観測データを入力している場面を示している。このとき、図4に示す「N1=0 かつ N2=1 かつ ΔT2≧Th?」ステップ(ST302)、「(N1=1 かつ N2=0) 、または(N1=1 かつ N2=1 かつ ΔT2≧Th?)」ステップ(ST305)、「N1≦1 かつ N2=1 かつ ΔT2<Th?」ステップ(ST308)のいずれの条件にも該当しない。そこで、ST311、ST312へ進み、例えば、第1のセンサ1の観測データで初期化された物体の状態ベクトルを用いて予測することとなり、実線矢印の先端が物体データに係る状態ベクトルの予測値(相関基準値)として一旦設定される。このまま相関基準値を補正しない場合は、第1のセンサ1の観測データと第2のセンサ2の観測データとは検出位置がずれていることから、最新の第2のセンサ2の観測データは物体データと対応する可能性のある観測データの範囲(点線楕円)外となるので、物体データと最新の第2のセンサ2の観測データとは対応しないと判定されてしまう。
この状況では、図4の「N1≧2 かつ N2≧1 かつ ΔT2<Th?」ステップ(ST313)の条件に該当するので、図9に示す補正量δを用いて予測値を補正し、新たに相関基準値を補正後相関基準値として設定する。詳細はST314における処理について上記に説明した通りである。すると、最新の第2のセンサ2の観測データが、物体データと対応する可能性のある観測データの範囲(点線楕円)内となるので、この物体データと最新の第2のセンサ2の観測データとは対応すると判定される。
以上のように図9に示す処理では、既に記録されている物体データと今回処理周期における観測データ(最新の第2のセンサの観測データ)とを対応させる処理において、まず、第1のセンサ1の観測データを用いて今回処理周期における状態ベクトルの予測値を算出する。次に、この予測値を用いて第2のセンサ2の観測データを受信した時刻における仮の状態ベクトルを算出する。さらに、実際の第2のセンサの観測データとこの仮の状態ベクトルの差分量を補正量として、予測値を補正量に基づいて補正し、補正後の状態ベクトルの予測値(補正後相関基準値)を求める。その後、今回処理周期における観測データと物体データとの対応可能性を、この補正後相関基準値を用いて判定し、今回対応付けられた観測データを用いて物体データを更新している。
この補正により、センサ間の検出データのずれが一定でない場合でも、観測データと物体データとが同一の物体のものであるとした対応可能性の判定精度を向上させ、センサシステム全体の認識精度を更に向上させることができる。
なお、本実施の形態1は自車に搭載したセンサが2個の場合について説明したが、センサが3個以上の場合でも同様の効果を有する。
車両制御部9は、物体認識装置4より得られた物体データ(自車と自車の周辺物体との距離、周辺物体の位置などの情報)を用いて、自車が前方の物体に衝突した際の被害を軽減する衝突被害軽減ブレーキシステム、前方の車両に追従するアダプティブクルーズコントロールシステムの制御などを行う。つまり、物体認識装置4からの物体の認識結果に基づき、衝突被害軽減ブレーキシステムやアダプティブクルーズコントロールシステム等を利用した、自車の自動運転を行うことができる。
以上に示した本実施の形態1の物体認識装置4は、以下のように概要をまとめることができる。
本実施の形態1の物体認識装置4には、自車周辺の物体を複数のセンサ1、2で受信、検出し、検出データ(物体の位置情報)が、それぞれのセンサ1,2から入力される。
物体認識装置4の構成の一つであるデータ受信部5は、複数のセンサ1、2から検出データを入力する。この検出データに応じて、第1のセンサ1、第2のセンサ2ごとの観測データを作成し出力する。より具体的には、データ受信部5は、車両情報センサ3から自車データ(自車周辺の物体認識に必要な自車の情報)を入力し、これら検出データと自車データとを必要に応じて加工して、第1のセンサ1、第2のセンサ2ごとの観測データとして予め定められた周期で、相関処理部6に出力する。
物体認識装置4の構成の一つである相関処理部6は、データ受信部5から入力された観測データと、前回処理周期における物体データとの対応関係を示す相関データを、相関基準値に基づいて求める。さらに、相関処理部6は、少なくとも観測データおよび相関データを更新処理部7に出力する。より具体的には、物体データは、過去の処理周期で入力された観測データに基づいて作成され、第1のセンサ1又は第2のセンサ2により検出された物体の位置情報等の関連情報を含むものであり、初めて検出された物体については新規に作成されるものである。また、相関データとは、この観測データと物体データとが、同一物体のものであるか否かの対応関係を示すものである。
物体認識装置4の構成の一つである更新処理部7は、前回処理周期における物体データに含まれる状態ベクトルを、相関処理部6から入力された相関データに基づいて更新する。さらに、最新相関データをセンサ1、2ごとに各物体データに含めて更新する。このように更新された物体データを相関処理部6、表示部8又は車両制御部9に出力する。より具体的には、状態ベクトルは物体の位置情報(位置、速度等)に基づき作成されるものである。また、最新相関データとは、観測データのうち、物体データに最新に対応した(対応付けられた)観測データのことである。
相関処理部6は、今回処理周期における観測データと同じセンサ1、2の最新相関データを優先的に用いて、相関基準値を求める。より具体的には、第1のセンサ1、第2のセンサ2それぞれの最新相関データが物体データに記憶されている状況で、今回処理周期において第1のセンサ1からの観測データが入力された場合、第1のセンサ1の最新相関データを用いて相関基準値を求める。この相関基準値は、過去の処理周期で検出された物体について今回処理周期における位置情報(状態ベクトル)を予測した予測値として表されることもあれば、その予測値を補正したものとして表されることもある。
さらに、相関処理部6は、今回処理周期における状態ベクトルの予測値を用いて、物体データと過去の処理周期に対応した観測データがセンサ1、2に受信された時刻に遡って、その時刻における仮の状態ベクトルを算出する。そして、相関処理部6は、仮の状態ベクトルと過去に対応した観測データとの差分を補正量として、予測値をこの補正量に基づいて補正したものを、今回処理周期における相関基準値とすることも可能である。ここでの動作は、ST311からST314における処理に基づくものである。
さらにまた、相関処理部6は、物体データと過去の処理周期に対応した各センサ1、2の観測データの検出回数が、センサ1、2毎に予め定めた整数以下であるとき、この検出回数に応じて、今回処理周期における状態ベクトルの予測値を求めるために用いられるセンサ1、2を切り替えることも可能である。すなわち、ある物体について、物体データと各センサ1、2の観測データとが同一の物体のものであるとして対応付けられた回数が設定した整数以下であるとき、この回数に応じて、第1のセンサ1の観測データを用いるか、第2のセンサ2の観測データを用いるかを切り替えるものとすることも可能である。
これにより、ある物体を検出し始めた直後において、観測データに用いられるセンサをより適切に選択し、センサシステム全体の認識精度を更に向上させることができる。
ここまでは本発明を物体認識装置4として説明してきたが、以上に説明した実施の形態の構成、動作に限定されることはなく、本発明の範囲内において、実施の形態を適宜、変形、省略したりすることは可能である。ところで、本発明は以下に示すように物体認識方法としても成り立つものである。
第1のステップでは、自車周辺の物体を複数のセンサ1、2で受信、検出し、物体の位置情報となる検出データを、それぞれのセンサ1、2から入力する。
第2のステップでは、複数のセンサ1、2からの検出データに応じて、センサ1、2ごとの観測データを作成して出力する。
第3のステップでは、第2のステップで出力された観測データと、前回処理周期における物体データとの対応関係を示す相関データを、相関基準値に基づいて求める。加えて、少なくとも観測データおよび相関データを出力する。
第4のステップでは、前回処理周期における物体データに含まれ、物体の位置情報に関する状態ベクトルを、第3のステップで出力された相関データに基づいて更新する。さらに、観測データのうち最新に対応した観測データとなる最新相関データをセンサごとに物体データに含めて更新する。このように更新された物体データを出力する。
さらに、第3のステップでは、今回処理周期における観測データと同じセンサの最新相関データを優先的に用いて、相関基準値を求めている。
また、本発明は物体認識装置、物体認識方法としてのみ成り立つものではなく、以下に示すように、自動運転システムとしても成り立つものである。
本実施の形態1の自動運転システムは、自車周辺の物体を複数のセンサ1、2で検出し、物体の位置情報となる検出データを、それぞれのセンサ1、2から入力する。
自動運転システムの構成の一つであるデータ受信部5は、複数のセンサ1、2からの検出データに応じて、センサ1、2ごとの観測データを作成して出力する。
自動運転システムの構成の一つである相関処理部6は、データ受信部5から入力された観測データと前回処理周期における物体データとの対応関係を示す相関データを、相関基準値に基づいて求める。さらに、相関処理部6は、少なくとも観測データと相関データとを出力する。
自動運転システムの構成の一つである更新処理部7は、前回処理周期における物体データに含まれ、物体の位置情報に関する状態ベクトルを、相関処理部6から入力された相関データに基づいて更新する。さらに、観測データのうち最新に対応した観測データとなる最新相関データをセンサ1、2ごとに物体データに含めて更新する。このようにして更新された物体データを出力する。
自動運転システムの構成の一つである車両制御部9は、更新処理部7から入力された、更新された物体データに基づいて、自車の動作を制御する。
さらに、相関処理部6では、今回処理周期における観測データと同じセンサの最新相関データを優先的に用いて、相関基準値を求める。
以上のように、この発明は、従来のものと比べて物体の認識精度が向上したので、物体を認識するための物体認識装置、物体認識方法および自動運転システムに適している。
1 第1のセンサ、2 第2のセンサ、3 車両情報センサ、4 物体認識装置、5 データ受信部、6 相関処理部、7 更新処理部、8 表示部、9 車両制御部

Claims (6)

  1. 自車周辺の物体を複数のセンサで検出し、前記物体の位置情報となる検出データを、それぞれの前記センサから入力する物体認識装置において、
    前記複数のセンサからの前記検出データに応じて、前記センサごとの観測データを作成して出力するデータ受信部と、
    前記データ受信部から入力された前記観測データと前回処理周期における物体データとの対応関係を示す相関データを、相関基準値に基づいて求めると共に、前記観測データと前記相関データとを出力する相関処理部と、
    前記前回処理周期における物体データに含まれ、前記物体の前記位置情報に関する状態ベクトルを、前記相関処理部から入力された前記相関データに基づいて更新すると共に、前記観測データのうち最新に対応した前記観測データとなる最新相関データを前記センサごとに前記物体データに含めて更新し、更新された前記物体データを出力する更新処理部とを備え、
    前記相関処理部は、今回処理周期における前記観測データと同じ前記センサの前記最新相関データを優先的に用いて、前記相関基準値を求める
    ことを特徴とする物体認識装置。
  2. 前記相関処理部は、前記今回処理周期における前記状態ベクトルの予測値を用いて、前記物体データと過去の処理周期に対応した前記観測データが受信された時刻に遡って、その時刻における仮の前記状態ベクトルを算出し、前記仮の状態ベクトルとその時刻における前記観測データとの差分を補正量として、前記予測値を前記補正量に基づいて補正したものを前記相関基準値とすることを特徴とする請求項1記載の物体認識装置。
  3. 前記相関処理部は、前記物体データと過去の処理周期に対応したそれぞれの前記センサの前記観測データの検出回数が、前記センサごとに予め定めた整数以下であるときは、前記検出回数に応じて、前記状態ベクトルの予測値を求めるために用いられる前記センサを切り替えることを特徴とする請求項1乃至2記載の物体認識装置。
  4. 前記複数のセンサのうち少なくとも1つは、他の前記センサとは異種の前記センサを用いることを特徴とする請求項1乃至3記載の物体認識装置。
  5. 自車周辺の物体を複数のセンサで検出し、前記物体の位置情報となる検出データを、それぞれの前記センサから入力する第1のステップと、
    前記複数のセンサからの前記検出データに応じて、前記センサごとの観測データを作成して出力する第2のステップと、
    前記第2のステップで出力された前記観測データと前回処理周期における物体データとの対応関係を示す相関データを、相関基準値に基づいて求めると共に、前記観測データと前記相関データとを出力する第3のステップと、
    前記前回処理周期における物体データに含まれ、前記物体の前記位置情報に関する状態ベクトルを、前記第3のステップで出力された前記相関データに基づいて更新すると共に、前記観測データのうち最新に対応した前記観測データとなる最新相関データを前記センサごとに前記物体データに含めて更新し、更新された前記物体データを出力する第4のステップとを備え、
    前記第3のステップでは、今回処理周期における前記観測データと同じ前記センサの前記最新相関データを優先的に用いて、前記相関基準値を求める
    ことを特徴とする物体認識方法。
  6. 自車周辺の物体を複数のセンサで検出し、前記物体の位置情報となる検出データを、それぞれの前記センサから入力する自動運転システムにおいて、
    前記複数のセンサからの前記検出データに応じて、前記センサごとの観測データを作成して出力するデータ受信部と、
    前記データ受信部から入力された前記観測データと前回処理周期における物体データとの対応関係を示す相関データを、相関基準値に基づいて求めると共に、前記観測データと前記相関データとを出力する相関処理部と、
    前記前回処理周期における物体データに含まれ、前記物体の前記位置情報に関する状態ベクトルを、前記相関処理部から入力された前記相関データに基づいて更新すると共に、前記観測データのうち最新に対応した前記観測データとなる最新相関データを前記センサごとに前記物体データに含めて更新し、更新された前記物体データを出力する更新処理部と、
    前記更新処理部から入力された前記更新された物体データに基づいて、前記自車の動作を制御する車両制御部とを備え、
    前記相関処理部は、今回処理周期における前記観測データと同じ前記センサの前記最新相関データを優先的に用いて、前記相関基準値を求める
    ことを特徴とする自動運転システム。
JP2016125160A 2016-06-24 2016-06-24 物体認識装置、物体認識方法および自動運転システム Active JP6194520B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016125160A JP6194520B1 (ja) 2016-06-24 2016-06-24 物体認識装置、物体認識方法および自動運転システム
US15/623,650 US10853669B2 (en) 2016-06-24 2017-06-15 Object recognition device, object recognition method and self-driving system
DE102017210108.3A DE102017210108A1 (de) 2016-06-24 2017-06-16 Objekterkennungsvorrichtung, Objekterkennungsverfahren und Selbstfahrsystem
CN201710479934.1A CN107544491B (zh) 2016-06-24 2017-06-22 物体识别装置、物体识别方法以及自动驾驶***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016125160A JP6194520B1 (ja) 2016-06-24 2016-06-24 物体認識装置、物体認識方法および自動運転システム

Publications (2)

Publication Number Publication Date
JP6194520B1 JP6194520B1 (ja) 2017-09-13
JP2017227580A true JP2017227580A (ja) 2017-12-28

Family

ID=59854849

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016125160A Active JP6194520B1 (ja) 2016-06-24 2016-06-24 物体認識装置、物体認識方法および自動運転システム

Country Status (4)

Country Link
US (1) US10853669B2 (ja)
JP (1) JP6194520B1 (ja)
CN (1) CN107544491B (ja)
DE (1) DE102017210108A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019142563A1 (ja) * 2018-01-22 2019-07-25 日立オートモティブシステムズ株式会社 電子制御装置
WO2019188745A1 (ja) * 2018-03-28 2019-10-03 パイオニア株式会社 情報処理装置、制御方法、プログラム及び記憶媒体
JP2020063934A (ja) * 2018-10-16 2020-04-23 三菱電機株式会社 物体認識装置およびこれを用いた車両制御装置並びに物体認識方法およびこれを用いた車両制御方法
JP2021160662A (ja) * 2020-04-02 2021-10-11 三菱電機株式会社 物体認識装置および物体認識方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11067996B2 (en) 2016-09-08 2021-07-20 Siemens Industry Software Inc. Event-driven region of interest management
US11555913B2 (en) 2017-11-13 2023-01-17 Mitsubishi Electric Corporation Object recognition device and object recognition method
CN110501709B (zh) * 2018-05-18 2023-03-07 财团法人工业技术研究院 目标检测***、自主车辆以及其目标检测方法
JP6576511B1 (ja) * 2018-05-29 2019-09-18 三菱電機株式会社 物体認識装置および物体認識方法
JP6959445B2 (ja) * 2018-06-22 2021-11-02 日立Astemo株式会社 センサ認識統合装置
JP7087767B2 (ja) * 2018-07-20 2022-06-21 株式会社デンソー 移動物体検出装置
JP6685619B1 (ja) 2018-12-10 2020-04-22 三菱電機株式会社 物体認識装置および物体認識方法
KR102636740B1 (ko) * 2018-12-17 2024-02-15 현대자동차주식회사 차량 및 그 제어방법
KR102569904B1 (ko) * 2018-12-18 2023-08-24 현대자동차주식회사 표적 차량 추적 장치 및 그의 표적 차량 추적 방법과 그를 포함하는 차량
JP2020178305A (ja) * 2019-04-22 2020-10-29 キヤノン株式会社 情報処理システム、情報処理装置、情報処理方法及びプログラム
US20220155448A1 (en) * 2019-05-16 2022-05-19 Mitsubishi Electric Corporation Information processing device, information processing method, and storage medium
JP7363118B2 (ja) * 2019-06-14 2023-10-18 マツダ株式会社 外部環境認識装置
US11550322B1 (en) * 2019-09-30 2023-01-10 Aurora Operations, Inc. External environment sensor data prioritization for autonomous vehicle
US11526175B1 (en) 2019-09-30 2022-12-13 Aurora Operations, Inc. Sensor data prioritization for autonomous vehicle based on vehicle operation data
CN110703732B (zh) * 2019-10-21 2021-04-13 北京百度网讯科技有限公司 相关性检测方法、装置、设备及计算机可读存储介质
CN112560972B (zh) * 2020-12-21 2021-10-08 北京航空航天大学 基于毫米波雷达先验定位和视觉特征融合的目标检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05100021A (ja) * 1991-10-07 1993-04-23 Nec Eng Ltd 複数レーダ自動追尾処理方式
JPH08124080A (ja) * 1994-10-20 1996-05-17 Honda Motor Co Ltd 車両の障害物検出装置
US5850625A (en) * 1997-03-13 1998-12-15 Accurate Automation Corporation Sensor fusion apparatus and method
JPH1144754A (ja) * 1997-07-29 1999-02-16 Mitsubishi Electric Corp 目標追尾方法及び装置
US8378880B1 (en) * 2011-09-23 2013-02-19 Lockheed Martin Corporation Explicit probabilistic target object selection and engagement
JP2016004014A (ja) * 2014-06-19 2016-01-12 日本電気株式会社 目標追尾装置、目標追尾方法、プログラム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5595181A (en) 1979-01-16 1980-07-19 Matsushita Electric Ind Co Ltd Logarithmic converter
AUPR899401A0 (en) * 2001-11-21 2001-12-13 Cea Technologies Pty Limited Method and apparatus for non-motion detection
US7460951B2 (en) * 2005-09-26 2008-12-02 Gm Global Technology Operations, Inc. System and method of target tracking using sensor fusion
JP2007187618A (ja) * 2006-01-16 2007-07-26 Omron Corp 物体識別装置
US7991550B2 (en) * 2006-02-03 2011-08-02 GM Global Technology Operations LLC Method and apparatus for on-vehicle calibration and orientation of object-tracking systems
US9030320B2 (en) * 2006-10-11 2015-05-12 Thermal Matrix USA, Inc. Real time threat detection system using integrated passive sensors
US8812226B2 (en) * 2009-01-26 2014-08-19 GM Global Technology Operations LLC Multiobject fusion module for collision preparation system
CN201508493U (zh) * 2009-03-16 2010-06-16 厦门矿通科技有限公司 矿井机车无人控制***
US8259997B2 (en) * 2009-07-13 2012-09-04 Moment Factory Real-time tracking system
JP5595181B2 (ja) 2010-08-24 2014-09-24 三菱電機株式会社 追尾装置
US8818702B2 (en) * 2010-11-09 2014-08-26 GM Global Technology Operations LLC System and method for tracking objects
JP5554261B2 (ja) * 2011-02-24 2014-07-23 アルパイン株式会社 立体物検出装置および立体物検出方法
US9177195B2 (en) * 2011-09-23 2015-11-03 Shoppertrak Rct Corporation System and method for detecting, tracking and counting human objects of interest using a counting system and a data capture device
JP5821526B2 (ja) * 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
EP2799902A1 (en) * 2013-04-30 2014-11-05 Baselabs GmbH Method and apparatus for the tracking of multiple objects
US9335766B1 (en) * 2013-12-06 2016-05-10 Google Inc. Static obstacle detection
US10156847B2 (en) * 2014-07-25 2018-12-18 Hitachi, Ltd. Autonomous moving device
CN104392625B (zh) * 2014-11-26 2016-06-08 浙江大学 一种基于多种传感器的车辆自动驾驶***及方法
US9823344B2 (en) * 2014-12-08 2017-11-21 Northrop Grumman Systems Corporation Feature-based tracking of moving objects
CN104537834A (zh) * 2014-12-21 2015-04-22 北京工业大学 一种智能车在城市道路行驶中的路口识别与路口轨迹规划的方法
JP6417994B2 (ja) * 2015-02-09 2018-11-07 株式会社デンソー 車両用表示制御装置及び車両用表示制御方法
US10054678B2 (en) * 2015-07-30 2018-08-21 Toyota Motor Engineering & Manufacturing North America, Inc. Minimizing incorrect sensor data associations for autonomous vehicles
WO2017057041A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
GB2564764B (en) * 2015-11-13 2021-11-10 Flir Systems Sonar sensor fusion and model based virtual and augmented reality systems and methods
US10678240B2 (en) * 2016-09-08 2020-06-09 Mentor Graphics Corporation Sensor modification based on an annotated environmental model
US10031523B2 (en) * 2016-11-07 2018-07-24 Nio Usa, Inc. Method and system for behavioral sharing in autonomous vehicles
US10160448B2 (en) * 2016-11-08 2018-12-25 Ford Global Technologies, Llc Object tracking using sensor fusion within a probabilistic framework
US10699305B2 (en) * 2016-11-21 2020-06-30 Nio Usa, Inc. Smart refill assistant for electric vehicles
US10558217B2 (en) * 2017-08-28 2020-02-11 GM Global Technology Operations LLC Method and apparatus for monitoring of an autonomous vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05100021A (ja) * 1991-10-07 1993-04-23 Nec Eng Ltd 複数レーダ自動追尾処理方式
JPH08124080A (ja) * 1994-10-20 1996-05-17 Honda Motor Co Ltd 車両の障害物検出装置
US5850625A (en) * 1997-03-13 1998-12-15 Accurate Automation Corporation Sensor fusion apparatus and method
JPH1144754A (ja) * 1997-07-29 1999-02-16 Mitsubishi Electric Corp 目標追尾方法及び装置
US8378880B1 (en) * 2011-09-23 2013-02-19 Lockheed Martin Corporation Explicit probabilistic target object selection and engagement
JP2016004014A (ja) * 2014-06-19 2016-01-12 日本電気株式会社 目標追尾装置、目標追尾方法、プログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MAHENDRA MALLICK, ET AL.: "Comparison of track-to-track fusion algorithms using video sensors on multiple unmanned aerial vehic", PROC. OF SPIE, vol. 6969, JPN7017002249, 20 March 2008 (2008-03-20), pages 69690 - 1, ISSN: 0003596251 *
OLIVER E. DRUMMOND: ""Track Fusion With Feedback"", PROC.SPIE, SIGNAL AND DATA PROCESSING OF SMALL TARGETS, vol. 2759, JPN7016003352, 31 May 1996 (1996-05-31), pages 342 - 360, ISSN: 0003596250 *
松崎貴史、外4名: ""複数センサデータ融合におけるKGBE法によるセンサバイアス誤差推定アルゴリズム"", 第52回自動制御連合講演会講演論文集, JPN6012024756, 21 November 2009 (2009-11-21), pages 6 - 1, ISSN: 0003596249 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019142563A1 (ja) * 2018-01-22 2019-07-25 日立オートモティブシステムズ株式会社 電子制御装置
JP2019128639A (ja) * 2018-01-22 2019-08-01 日立オートモティブシステムズ株式会社 電子制御装置
US11511763B2 (en) 2018-01-22 2022-11-29 Hitachi Astemo, Ltd. Electronic control device
WO2019188745A1 (ja) * 2018-03-28 2019-10-03 パイオニア株式会社 情報処理装置、制御方法、プログラム及び記憶媒体
JP2020063934A (ja) * 2018-10-16 2020-04-23 三菱電機株式会社 物体認識装置およびこれを用いた車両制御装置並びに物体認識方法およびこれを用いた車両制御方法
US11615627B2 (en) 2018-10-16 2023-03-28 Mitsubishi Electric Corporation Object recognition apparatus, vehicle control apparatus, object recognition method, and vehicle control method
JP2021160662A (ja) * 2020-04-02 2021-10-11 三菱電機株式会社 物体認識装置および物体認識方法
JP7412254B2 (ja) 2020-04-02 2024-01-12 三菱電機株式会社 物体認識装置および物体認識方法

Also Published As

Publication number Publication date
CN107544491B (zh) 2020-11-24
US10853669B2 (en) 2020-12-01
CN107544491A (zh) 2018-01-05
JP6194520B1 (ja) 2017-09-13
US20170372149A1 (en) 2017-12-28
DE102017210108A1 (de) 2017-12-28

Similar Documents

Publication Publication Date Title
JP6194520B1 (ja) 物体認識装置、物体認識方法および自動運転システム
CN110226108B (zh) 定位装置及定位方法
US9767372B2 (en) Target detection apparatus and target detection method
US20210199814A1 (en) Positioning method and device, and server and system
JP2017215196A (ja) レーダ装置
CN112415502B (zh) 雷达装置
US20130271607A1 (en) Positioning apparatus and positioning method
US10679077B2 (en) Road marking recognition device
JP4753765B2 (ja) 障害物認識方法
JP4975350B2 (ja) 車載用ナビゲーション装置
US10643466B2 (en) Vehicle search system, vehicle search method, and vehicle used therefor
US11397440B2 (en) Vehicle control system, external electronic control unit, vehicle control method, and application
US20200210725A1 (en) Image collection system, image collection method, image collection device, recording medium, and vehicle communication device
JP4703886B2 (ja) ナビゲーション装置
US20190197730A1 (en) Semiconductor device, imaging system, and program
JP2017227529A (ja) レーダ装置および追従対象決定方法
JP2018189463A (ja) 車両位置推定装置及びプログラム
US20220099843A1 (en) Location method using gnss signals
JP2906894B2 (ja) 車間距離検出装置
CN111198390A (zh) 用于估算车辆位置的装置及方法
JP2023118759A (ja) 測定装置、測定方法およびプログラム
CN113795726B (zh) 自身位置修正方法及自身位置修正装置
JP7107660B2 (ja) 車載システム、物標認識方法及びコンピュータプログラム
JP6820762B2 (ja) 位置推定装置
CN114264310A (zh) 定位及导航方法、装置、电子设备、计算机存储介质

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170724

R151 Written notification of patent or utility model registration

Ref document number: 6194520

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250