JP7363118B2 - 外部環境認識装置 - Google Patents
外部環境認識装置 Download PDFInfo
- Publication number
- JP7363118B2 JP7363118B2 JP2019111070A JP2019111070A JP7363118B2 JP 7363118 B2 JP7363118 B2 JP 7363118B2 JP 2019111070 A JP2019111070 A JP 2019111070A JP 2019111070 A JP2019111070 A JP 2019111070A JP 7363118 B2 JP7363118 B2 JP 7363118B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- abnormality
- external environment
- vehicle
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
- G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9323—Alternative operation using light waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9324—Alternative operation using ultrasonic waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9327—Sensor installation details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
- G01S2013/9327—Sensor installation details
- G01S2013/93271—Sensor installation details in the front of the vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Acoustics & Sound (AREA)
- Traffic Control Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
Description
図1は、車両制御システム10の構成を例示する。車両制御システム10は、移動体の一例である車両(この例では自動四輪車)に設けられる。この車両は、マニュアル運転とアシスト運転と自動運転とに切り換え可能である。マニュアル運転は、ドライバの操作(例えばアクセルの操作など)に応じて走行する運転である。アシスト運転は、ドライバの操作を支援して走行する運転である。自動運転は、ドライバの操作なしに走行する運転である。車両制御システム10は、自動運転およびアシスト運転において、車両に設けられたアクチュエータ101を制御することで車両の動作を制御する。例えば、アクチュエータ101は、エンジン、トランスミッション、ブレーキ、ステアリングなどを含む。
複数のカメラ11は、互いに同様の構成を有する。カメラ11は、自車両の外部環境を撮像することで、自車両の外部環境を示す画像データを取得する。カメラ11により得られた画像データは、演算装置20に送信される。なお、カメラ11は、移動体の外部環境を撮像する撮像部の一例である。
複数のレーダ12は、互いに同様の構成を有する。レーダ12は、自車両の外部環境を検出する。具体的には、レーダ12は、自車両の外部環境へ向けて電波(探知波の一例)を送信して自車両の外部環境からの反射波を受信することで、自車両の外部環境を検出する。レーダ12の検出結果は、演算装置20に送信される。なお、レーダ12は、移動体の外部環境を検出する検出部の一例である。検出部は、移動体の外部環境へ向けて探知波を送信して移動体の外部環境からの反射波を受信することで、移動体の外部環境を検出する。
位置センサ13は、自車両の位置(例えば緯度および経度)を検出する。例えば、位置センサ13は、全地球測位システムからのGPS情報を受信し、GPS情報に基づいて自車両の位置を検出する。位置センサ13により検出された自車両の位置は、演算装置20に送信される。
車両状態センサ14は、自車両の状態(例えば速度や加速度やヨーレートなど)を検出する。例えば、車両状態センサ14は、自車両の速度を検出する車速センサ、自車両の加速度を検出する加速度センサ、自車両のヨーレートを検出するヨーレートセンサなどにより構成される。車両状態センサ14により検出された自車両の状態は、演算装置20に送信される。
ドライバ状態センサ15は、自車両を運転するドライバの状態(例えばドライバの健康状態や感情や身体挙動など)を検出する。例えば、ドライバ状態センサ15は、ドライバを撮像する車内カメラ、ドライバの生体情報を検出する生体情報センサなどにより構成される。ドライバ状態センサ15により検出されたドライバの状態は、演算装置20に送信される。
運転操作センサ16は、自車両に加えられる運転操作を検出する。例えば、運転操作センサ16は、自車両のハンドルの操舵角を検出する操舵角センサ、自車両のアクセルの操作量を検出するアクセルセンサ、自車両のブレーキの操作量を検出するブレーキセンサなどにより構成される。運転操作センサ16により検出された運転操作は、演算装置20に送信される。
通信部17は、自車両の外部に設けられた外部装置との間で通信を行う。例えば、通信部17は、自車両の周囲に位置する他車両(図示を省略)からの通信情報、ナビゲーションシステム(図示を省略)からの交通情報などを受信する。通信部17により受信された情報は、演算装置20に送信される。
コントロールユニット18は、演算装置20により制御され、自車両に設けられたアクチュエータ101を制御する。例えば、コントロールユニット18は、パワートレイン装置、ブレーキ装置、ステアリング装置などを含む。パワートレイン装置は、後述する駆動指令値に示された目標駆動力に基づいて、アクチュエータ101に含まれるエンジンおよびトランスミッションを制御する。ブレーキ装置は、後述する制動指令値に示された目標制動力に基づいて、アクチュエータ101に含まれるブレーキを制御する。ステアリング装置は、後述する操舵指令値に示された目標操舵量に基づいてアクチュエータ101に含まれるステアリングを制御する。
ヒューマンマシンインターフェース19は、演算装置20と自車両の乗員(特にドライバ)との間において情報の入出力を行うために設けられる。例えば、ヒューマンマシンインターフェース19は、情報を表示するディスプレイ、情報を音声出力するスピーカ、音声を入力するマイク、自車両の乗員(特にドライバ)による操作が与えられる操作部などを含む。操作部は、タッチパネルやボタンである。
演算装置20は、自車両に設けられたセンサ類の出力および車外から送信された情報などに基づいて、自車両が走行すべき経路である目標経路を決定し、目標経路を走行するために必要となる自車両の運動である目標運動を決定する。そして、演算装置20は、自車両の運動が目標運動となるように、コントロールユニット18を制御してアクチュエータ101の動作を制御する。例えば、演算装置20は、1つまたは複数の演算チップを有する電子制御ユニット(ECU)により構成される。言い換えると、演算装置20は、1つまたは複数のプロセッサ、1つまたは複数のプロセッサを動作させるためのプログラムやデータを記憶する1つまたは複数のメモリなどを有する電子制御ユニット(ECU)により構成される。
図2は、外部環境認識部21の構成を例示する。この例では、外部環境認識部21は、画像処理チップ31と、人工知能アクセラレータ32と、制御チップ33とにより構成される。画像処理チップ31と人工知能アクセラレータ32と制御チップ33の各々は、プロセッサと、プロセッサを動作させるためのプログラムやデータなどを記憶するメモリとにより構成される。
前処理部40は、カメラ11により得られた画像データに対して前処理を行う。前処理には、画像データに示された画像の歪みを補正する歪み補正処理、画像データに示された画像の明度を調整するホワイトバランス調整処理などが含まれる。
認識処理部41は、前処理部40により前処理された画像データに基づいて、自車両の外部環境を認識する。
統合データ生成部42は、認識処理部41の認識結果に基づいて、統合データを生成する。統合データは、認識処理部41により認識された自車両の外部環境に含まれる移動可能領域および物標が統合されたデータである。この例では、統合データ生成部42は、認識処理部41の認識結果と、レーダ12の検出結果(すなわちレーダ12により検出された自車両の外部環境)とに基づいて、統合データを生成する。
二次元データ生成部43は、統合データ生成部42により生成された統合データに基づいて、二次元データを生成する。二次元データは、統合データに含まれる移動可能領域および物標が二次元化されたデータである。
なお、この例では、統合データ生成部42と二次元データ生成部43がオブジェクトデータ生成部45を構成している。オブジェクトデータ生成部45は、認識処理部41の認識結果に基づいてオブジェクトデータを生成する。オブジェクトデータは、認識処理部41により認識された自車両の外部環境を表現するデータである。この例では、オブジェクトデータ生成部45は、認識処理部41の認識結果と、レーダ12の検出結果(すなわちレーダ12により検出された自車両の外部環境)とに基づいて、オブジェクトデータを生成する。
異常検出部44は、オブジェクトデータ生成部45により生成されたオブジェクトデータの異常に基づいて、カメラ11と認識処理部41とオブジェクトデータ生成部45とを含むデータ処理系統の異常を検出する。この例では、カメラ11と認識処理部41とオブジェクトデータ生成部45とを含むデータ処理系統は、カメラ11から前処理部40と認識処理部41と統合データ生成部42を順に経由して二次元データ生成部43に至るデータ処理系統である。例えば、異常検出部44は、データ処理系統の異常を検出する異常検出処理において、深層学習により生成された学習モデルを用いてオブジェクトデータの異常を検出するように構成されてもよい。この学習モデルは、オブジェクトデータの異常を検出するための学習モデルである。なお、異常検出部44は、他の周知の異常検出技術を用いてオブジェクトデータの異常を検出するように構成されてもよい。
次に、図3を参照して、外部環境認識部21の基本動作について説明する。
まず、前処理部40は、カメラ11により得られた画像データに対して前処理を行う。この例では、前処理部40は、複数のカメラ11により得られた複数の画像データの各々に対して前処理を行う。前処理には、画像データに示された画像の歪み(この例ではカメラ11の広角化による歪み)を補正する歪み補正処理や、画像データに示された画像のホワイトバランスを調整するホワイトバランス調整処理などが含まれる。なお、カメラ11により得られた画像データに歪みがない場合(例えば通常のレンズを有するカメラを用いる場合)は、歪み補正処理が省略されてもよい。
次に、認識処理部41は、画像データD1に対して分類処理を行う。この例では、認識処理部41は、複数のカメラ11により得られた複数の画像データの各々に対して分類処理を行う。分類処理では、認識処理部41は、画像データD1に示された画像を画素単位で分類し、その分類結果を示す分類情報を画像データD1に付加する。この分類処理により、認識処理部41は、画像データD1に示された画像(自車両の外部環境を示す画像)の中から移動可能領域および物標を認識する。例えば、認識処理部41は、深層学習により生成された学習モデルを用いて分類処理を行う。この学習モデルは、画像データD1に示された画像を画素単位で分類するための学習モデルである。なお、認識処理部41は、他の周知の分類技術を用いて分類処理を行うように構成されてもよい。
次に、認識処理部41は、画像データに対して、移動可能領域データ生成処理を行う。移動可能領域データ生成処理では、認識処理部41は、画像データD1に示される画像の中から分類処理により移動可能領域(この例では車道50)に分類された画素領域を特定し、その特定された画素領域に基づいて移動可能領域データを生成する。移動可能領域データは、認識処理部41により認識された移動可能領域を表現するデータ(この例では二次元マップデータ)である。この例では、認識処理部41は、同一の時点において複数のカメラ11により取得された複数の画像データの各々において特定された移動可能領域に基づいて、移動可能領域データを生成する。例えば、移動可能データ生成処理には、周知の二次元データ生成技術が用いられてもよい。
また、認識処理部41は、物標情報生成処理を行う。物標情報生成処理では、認識処理部41は、第1情報生成処理と、第2情報生成処理と、情報統合処理とを行う。
次に、統合データ生成部42は、ステップS13において生成された移動可能領域データと、ステップS14において生成された物標情報とを統合することにより、統合データD3を生成する。統合データD3は、認識処理部41により認識された移動可能領域(この例では車道50)および物標60が統合されたデータ(この例では三次元マップデータ)である。例えば、統合データ生成部42は、周知のデータ統合技術を用いて、移動可能領域データと物標情報とから統合データD3を生成するように構成されてもよい。
次に、二次元データ生成部43は、統合データD3を二次元化することにより、二次元データD4を生成する。二次元データD4は、統合データD3に含まれる移動可能領域(この例では車道50)および物標60が二次元化されたデータ(この例では二次元マップデータ)である。例えば、二次元データ生成部43は、周知の二次元化技術を用いて、統合データD3から二次元データD4を生成するように構成されてもよい。
次に、図8を参照して、外部環境認識部21のデータ量の変化について説明する。
次に、図9を参照して、異常検出部44による異常検出処理(データ処理系統の異常を検出する処理)について説明する。
まず、異常検出部44は、オブジェクトデータ生成部45により生成されたオブジェクトデータ(この例では統合データまたは二次元データ)を取得する。
次に、異常検出部44は、オブジェクトデータの異常が発生しているか否かを判定する。オブジェクトデータの異常が発生している場合には、ステップS23の処理が行われ、そうでない場合には、ステップS24の処理が行われる。
オブジェクトデータの異常が発生している場合、異常検出部44は、カメラ11と認識処理部41とオブジェクトデータ生成部45とを含むデータ処理系統の異常が発生していると判定する。
一方、オブジェクトデータの異常が発生していない場合、異常検出部44は、カメラ11と認識処理部41とオブジェクトデータ生成部45とを含むデータ処理系統の異常が発生していないと判定する。
次に、オブジェクトデータの異常について説明する。この例では、オブジェクトデータの異常には、オブジェクトデータの静的な異常と、オブジェクトデータの時間的変化の異常(動的な異常)とがある。すなわち、この例では、異常検出部44は、オブジェクトデータの静的な異常およびオブジェクトデータの時間的変化の異常のうち少なくとも一方が発生している場合に、データ処理系統の異常が発生していると判定し、オブジェクトデータの静的な異常およびオブジェクトデータの時間的変化の異常の両方が発生していない場合に、データ処理系統の異常が発生していないと判定する。
オブジェクトデータの静的な異常は、単一の時点において取得された画像データに基づいて生成されたオブジェクトデータに基づいて検出される。オブジェクトデータの静的な異常の例としては、オブジェクトデータのデータ量の異常、オブジェクトデータに表現された自車両の外部環境の異常などが挙げられる。
オブジェクトデータの時間的変化の異常は、それぞれ異なる時点において取得された複数の画像データに基づいて生成された複数のオブジェクトデータに基づいて検出される。オブジェクトデータの時間的変化の異常の例としては、オブジェクトデータのデータ量の時間的変化の異常、オブジェクトデータに表現された自車両の外部環境の時間的変化の異常などが挙げられる。
次に、図10,図11,図12を参照して、データ処理系統の異常とオブジェクトデータの異常との因果関係について具体例を挙げて説明する。
例えば、カメラ11により得られた画像データD1を蓄積するラインバッファ(図示を省略)において異常が生じると、ラインバッファから出力される画像データには、ストライプ状のノイズが発生する。この場合、ラインバッファから出力された画像データに基づいて認識処理部41が認識処理を行うと、認識処理部41において物標60の認識漏れや誤認識が発生する可能性がある。このように、認識処理部41において物標60の認識漏れや誤認識が発生すると、図10の二点鎖線で示すように、認識処理部41の認識結果に基づいて生成された二次元データD4から本来存在すべき他車両61が消えてしまい、その他車両61を追跡することができなくなる可能性がある。このように、カメラ11と認識処理部41とオブジェクトデータ生成部45とを含むデータ処理系統の一部を構成するラインバッファに異常が生じると、オブジェクトデータに表現された自車両の外部環境に異常が生じることになる。
また、カメラ11の露光時間が短すぎるという異常がカメラ11に発生すると、カメラ11により得られる画像データに示される画像が全体的に暗くなる。この場合、画像データに示される画像の明度の不足により、認識処理部41において車道50(移動可能領域)および物標60の認識漏れや誤認識が発生する可能性がある。このように、認識処理部41において車道50および物標60の認識漏れや誤認識が発生すると、図11の二点鎖線で示すように、認識処理部41の認識結果に基づいて生成された二次元データD4から本来存在すべき他車両61が消えてしまい、その他車両61を追跡することができなくなる。また、二次元データD4から本来存在すべき車道50の境界線が消えてしまい、車道50を更新することができなくなる可能性がある。このように、カメラ11と認識処理部41とオブジェクトデータ生成部45とを含むデータ処理系統の一部を構成するカメラ11に異常が生じると、オブジェクトデータに表現された自車両の外部環境に異常が生じることになる。
また、前処理部40の歪み補正処理に異常が生じると、前処理部40から出力される画像データに示される画像に歪みが残り、その結果、認識処理部41において車道50(移動可能領域)および物標60の認識漏れや誤認識が発生する可能性がある。このように、認識処理部41において車道50および物標60の認識漏れや誤認識が発生すると、図12の二点鎖線で示すように、認識処理部41の認識結果に基づいて生成された二次元データD4から本来存在すべき他車両61が消えてしまい、その他車両61を追跡することができなくなる可能性がある。また、二次元データD4に表現される車道50の境界線(図12の例では車線境界線)に歪みが生じてしまう可能性がある。このように、カメラ11と認識処理部41とオブジェクトデータ生成部45とを含むデータ処理系統の一部を構成する前処理部40に異常が生じると、オブジェクトデータに表現された自車両の外部環境に異常が生じることになる。
以上のように、この実施形態の演算装置20では、異常検出の対象となるデータ処理系統を二重化することなく、データ処理系統の異常を検出することができる。これにより、異常検出の対象となるデータ処理系統を二重化する場合よりも、異常検出機能の追加に伴う回路規模および消費電力の増加を低減することができる。
なお、オブジェクトデータの異常は、統合データおよび二次元データの両方の異常であってもよい。すなわち、異常検出部44は、統合データおよび二次元データの両方の異常に基づいて、データ処理系統の異常を検出するように構成されてもよい。具体的には、この実施形態の変形例1では、異常検出部44は、統合データおよび二次元データのうち少なくとも一方に異常が発生している場合に、データ処理系統に異常が発生していると判定し、統合データおよび二次元データの両方に異常が発生していない場合に、データ処理系統の異常が発生していないと判定する。なお、この変形例1においても、オブジェクトデータの異常には、オブジェクトデータの静的な異常と、オブジェクトデータの時間的変化の異常(動的な異常)とがあってもよい。
この実施形態の変形例1の演算装置20では、異常検出部44は、統合データおよび二次元データの両方の異常に基づいて、データ処理系統の異常を検出する。このように、統合データの異常に基づく異常検出処理(データ処理系統の異常を検出する処理)と二次元データの異常に基づく異常検出処理の両方を行うことにより、データ処理系統の異常を素早く検出することができるとともに、データ処理系統の異常を広範囲に検出することができる。
また、異常検出部44は、オブジェクトデータの異常の継続時間に基づいて、データ処理系統の異常を検出するように構成されてもよい。具体的には、この変形例2では、異常検出部44は、オブジェクトデータの異常の継続時間が予め定められた正常時間を上回る場合に、データ処理系統に異常が発生していると判定し、オブジェクトデータの異常の継続時間が正常時間を上回らない場合に、データ処理系統に異常が発生していないと判定する。なお、この変形例2においても、オブジェクトデータの異常には、オブジェクトデータの静的な異常と、オブジェクトデータの時間的変化の異常(動的な異常)とがあってもよい。
この実施形態の変形例2の演算装置20では、異常検出部44は、オブジェクトデータに表現される外部環境の異常の継続時間に基づいて、データ処理系統の異常を検出する。これにより、データ処理系統の異常の過検出を低減することができる。例えば、データ処理系統の異常ではない別の原因(例えば瞬時的なノイズなど)によりオブジェクトデータに表現される外部環境が僅かな時間だけ異常となる場合に、データ処理系統の異常が誤検出される、という事態を回避することができる。これにより、データ処理系統の異常の検出を適切に行うことができる。
以上の説明では、移動体として車両(自動四輪車)を例に挙げたが、これに限定されない。例えば、移動体は、船舶、列車、航空機、自動二輪車、自立移動型のロボット、掃除機、ドローンなどであってもよい。
11 カメラ(撮像部)
12 レーダ(検出部)
13 位置センサ
14 車両状態センサ
15 ドライバ状態センサ
16 運転操作センサ
17 通信部
18 コントロールユニット
19 ヒューマンマシンインターフェース
20 演算装置
21 外部環境認識部
22 候補経路生成部
23 車両挙動認識部
24 ドライバ挙動認識部
25 目標運動決定部
26 運動制御部
31 画像処理チップ
32 人工知能アクセラレータ
33 制御チップ
40 前処理部
41 認識処理部
42 統合データ生成部
43 二次元データ生成部
44 異常検出部
45 オブジェクトデータ生成部
50 車道(移動可能領域)
60 物標
61 他車両
62 標識
63 街路樹
71 歩道
72 空地
80 建物
100 自車両(移動体)
101 アクチュエータ
Claims (5)
- 移動体の外部環境を認識する外部環境認識装置であって、
前記移動体の外部環境を撮像する撮像部により得られた画像データに基づいて、該移動体の外部環境を認識する認識処理部と、
前記認識処理部の認識結果に基づいて、該認識処理部により認識された外部環境を表現するオブジェクトデータを生成するオブジェクトデータ生成部と、
前記オブジェクトデータの異常に基づいて、前記撮像部と前記認識処理部と前記オブジェクトデータ生成部とを含むデータ処理系統の異常を検出する異常検出部とを備え、
前記オブジェクトデータの異常は、該オブジェクトデータの時間的変化の異常を含む
ことを特徴とする外部環境認識装置。 - 請求項1において、
前記オブジェクトデータ生成部は、
前記認識処理部の認識結果に基づいて、該認識処理部により認識された外部環境に含まれる移動可能領域および物標が統合された統合データを生成する統合データ生成部と、
前記統合データに基づいて、該統合データに含まれる移動可能領域および物標が二次元化された二次元データを生成する二次元データ生成部とを含み、
前記オブジェクトデータは、前記統合データと前記二次元データとを含み、
前記オブジェクトデータの異常は、前記統合データおよび前記二次元データのいずれか一方の異常である
ことを特徴とする外部環境認識装置。 - 請求項1において、
前記オブジェクトデータ生成部は、
前記認識処理部の認識結果に基づいて、該認識処理部により認識された外部環境に含まれる移動可能領域および物標が統合された統合データを生成する統合データ生成部と、
前記統合データに基づいて、該統合データに含まれる移動可能領域および物標が二次元化された二次元データを生成する二次元データ生成部とを含み、
前記オブジェクトデータは、前記統合データと前記二次元データとを含み、
前記オブジェクトデータの異常は、前記統合データおよび前記二次元データの両方の異常である
ことを特徴とする外部環境認識装置。 - 請求項1~3のいずれか1つにおいて、
前記オブジェクトデータの異常は、該オブジェクトデータに表現される外部環境の時間的変化の異常である
ことを特徴とする外部環境認識装置。 - 請求項1~4のいずれか1つにおいて、
前記異常検出部は、前記オブジェクトデータの異常の継続時間に基づいて、前記データ処理系統の異常を検出する
ことを特徴とする外部環境認識装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019111070A JP7363118B2 (ja) | 2019-06-14 | 2019-06-14 | 外部環境認識装置 |
PCT/JP2020/011536 WO2020250526A1 (ja) | 2019-06-14 | 2020-03-16 | 外部環境認識装置 |
CN202080043189.6A CN114008698A (zh) | 2019-06-14 | 2020-03-16 | 外部环境识别装置 |
US17/618,501 US20220237921A1 (en) | 2019-06-14 | 2020-03-16 | Outside environment recognition device |
EP20822363.6A EP3985643A4 (en) | 2019-06-14 | 2020-03-16 | OUTSIDE ENVIRONMENT DETECTION DEVICE |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019111070A JP7363118B2 (ja) | 2019-06-14 | 2019-06-14 | 外部環境認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020204820A JP2020204820A (ja) | 2020-12-24 |
JP7363118B2 true JP7363118B2 (ja) | 2023-10-18 |
Family
ID=73781759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019111070A Active JP7363118B2 (ja) | 2019-06-14 | 2019-06-14 | 外部環境認識装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220237921A1 (ja) |
EP (1) | EP3985643A4 (ja) |
JP (1) | JP7363118B2 (ja) |
CN (1) | CN114008698A (ja) |
WO (1) | WO2020250526A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4081420A1 (en) | 2019-12-26 | 2022-11-02 | Ricoh Company, Ltd. | In-vehicle display device and program |
JP2023015621A (ja) * | 2021-07-20 | 2023-02-01 | スタンレー電気株式会社 | 車両位置特定装置、車両位置特定方法、配光制御装置、車両用灯具システム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017022475A1 (ja) | 2015-07-31 | 2017-02-09 | 日立オートモティブシステムズ株式会社 | 自車周辺情報管理装置 |
WO2018061425A1 (ja) | 2016-09-29 | 2018-04-05 | パナソニックIpマネジメント株式会社 | センサ故障検出装置およびそのための制御方法 |
JP2018184021A (ja) | 2017-04-24 | 2018-11-22 | 日立オートモティブシステムズ株式会社 | 車両の電子制御装置 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110190972A1 (en) * | 2010-02-02 | 2011-08-04 | Gm Global Technology Operations, Inc. | Grid unlock |
AU2011293083B2 (en) * | 2010-08-23 | 2016-01-07 | Status Technologies Pty Ltd | A vehicle safety warning and information system |
JP5816050B2 (ja) * | 2011-10-25 | 2015-11-17 | 日立オートモティブシステムズ株式会社 | バッテリ温度制御装置 |
JP2014006243A (ja) * | 2012-05-28 | 2014-01-16 | Ricoh Co Ltd | 異常診断装置、異常診断方法、撮像装置、移動体制御システム及び移動体 |
JP2014058210A (ja) * | 2012-09-18 | 2014-04-03 | Hitachi Automotive Systems Ltd | 車両制御装置および車両制御システム |
JP6032195B2 (ja) * | 2013-12-26 | 2016-11-24 | トヨタ自動車株式会社 | センサ異常検出装置 |
JP6180968B2 (ja) * | 2014-03-10 | 2017-08-16 | 日立オートモティブシステムズ株式会社 | 車両制御装置 |
JP6137081B2 (ja) * | 2014-07-29 | 2017-05-31 | 株式会社デンソー | 車載機器 |
CN104567725A (zh) * | 2014-12-17 | 2015-04-29 | 苏州华兴致远电子科技有限公司 | 车辆运行故障检测***及方法 |
US9878710B2 (en) * | 2015-05-04 | 2018-01-30 | Honda Research Institute Europe Gmbh | Method for improving performance of a method for computationally predicting a future state of a target object, driver assistance system, vehicle including such driver assistance system and respective program storage medium and program |
JP6437891B2 (ja) * | 2015-07-03 | 2018-12-12 | 日立オートモティブシステムズ株式会社 | 自動車の制御装置 |
KR101678095B1 (ko) * | 2015-07-10 | 2016-12-06 | 현대자동차주식회사 | 차량, 및 그 제어방법 |
JP6803657B2 (ja) * | 2015-08-31 | 2020-12-23 | 日立オートモティブシステムズ株式会社 | 車両制御装置および車両制御システム |
JP6698320B2 (ja) * | 2015-11-16 | 2020-05-27 | 日立オートモティブシステムズ株式会社 | 処理装置および車両制御システム |
CN107226091B (zh) * | 2016-03-24 | 2021-11-26 | 松下电器(美国)知识产权公司 | 物体检测装置、物体检测方法以及记录介质 |
JP6194520B1 (ja) * | 2016-06-24 | 2017-09-13 | 三菱電機株式会社 | 物体認識装置、物体認識方法および自動運転システム |
JP6611353B2 (ja) | 2016-08-01 | 2019-11-27 | クラリオン株式会社 | 画像処理装置、外界認識装置 |
EP3536556B1 (en) * | 2016-11-01 | 2020-09-23 | Panasonic Intellectual Property Corporation of America | Display method and display device |
JP6971020B2 (ja) * | 2016-11-14 | 2021-11-24 | 株式会社日立製作所 | 異常検出装置および異常検出方法 |
JP6494050B2 (ja) * | 2017-03-31 | 2019-04-03 | 株式会社Subaru | 自動操舵制御装置 |
JP6683178B2 (ja) * | 2017-06-02 | 2020-04-15 | トヨタ自動車株式会社 | 自動運転システム |
JP6521468B2 (ja) * | 2017-06-15 | 2019-05-29 | 株式会社Subaru | 自動操舵制御装置 |
US11366443B2 (en) * | 2017-06-15 | 2022-06-21 | Hitachi, Ltd. | Controller |
JP6751691B2 (ja) * | 2017-06-15 | 2020-09-09 | ルネサスエレクトロニクス株式会社 | 異常検出装置及び車両システム |
US10496469B2 (en) * | 2017-07-25 | 2019-12-03 | Aurora Labs Ltd. | Orchestrator reporting of probability of downtime from machine learning process |
US11110932B2 (en) * | 2017-11-03 | 2021-09-07 | Toyota Research Institute, Inc. | Methods and systems for predicting object action |
JP6959179B2 (ja) * | 2018-04-26 | 2021-11-02 | 株式会社クボタ | 作業車 |
-
2019
- 2019-06-14 JP JP2019111070A patent/JP7363118B2/ja active Active
-
2020
- 2020-03-16 EP EP20822363.6A patent/EP3985643A4/en not_active Ceased
- 2020-03-16 CN CN202080043189.6A patent/CN114008698A/zh active Pending
- 2020-03-16 WO PCT/JP2020/011536 patent/WO2020250526A1/ja unknown
- 2020-03-16 US US17/618,501 patent/US20220237921A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017022475A1 (ja) | 2015-07-31 | 2017-02-09 | 日立オートモティブシステムズ株式会社 | 自車周辺情報管理装置 |
WO2018061425A1 (ja) | 2016-09-29 | 2018-04-05 | パナソニックIpマネジメント株式会社 | センサ故障検出装置およびそのための制御方法 |
JP2018184021A (ja) | 2017-04-24 | 2018-11-22 | 日立オートモティブシステムズ株式会社 | 車両の電子制御装置 |
Also Published As
Publication number | Publication date |
---|---|
CN114008698A (zh) | 2022-02-01 |
EP3985643A1 (en) | 2022-04-20 |
EP3985643A4 (en) | 2022-07-27 |
WO2020250526A1 (ja) | 2020-12-17 |
JP2020204820A (ja) | 2020-12-24 |
US20220237921A1 (en) | 2022-07-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11657604B2 (en) | Systems and methods for estimating future paths | |
CN110494863B (zh) | 确定自主车辆的可驾驶自由空间 | |
KR101963422B1 (ko) | 자율 주행 가능 차량용 충돌-회피 시스템 | |
CN110248861B (zh) | 在车辆操纵过程中使用机器学习模型来引导车辆 | |
CN113767389A (zh) | 从用于自主机器应用的经变换的真实世界传感器数据模拟逼真的测试数据 | |
CN110618678A (zh) | 自主机器应用中的行为引导路径规划 | |
CN111133448A (zh) | 使用安全到达时间控制自动驾驶车辆 | |
CN114450724A (zh) | 用于自主机器应用的多活动者环境中的未来轨迹预测 | |
CN114270294A (zh) | 使用眩光作为输入的注视确定 | |
CN115136148A (zh) | 投影使用鱼眼镜头捕获的图像用于自主机器应用中的特征检测 | |
CN114764782A (zh) | 多视图汽车和机器人***中的图像合成 | |
JP7363118B2 (ja) | 外部環境認識装置 | |
WO2020250519A1 (ja) | 外部環境認識装置 | |
US20230245468A1 (en) | Image processing device, mobile object control device, image processing method, and storage medium | |
JP2021124957A (ja) | 車両用制御装置 | |
JP7400222B2 (ja) | 外部環境認識装置 | |
JP7298323B2 (ja) | 外部環境認識装置 | |
CN113609888A (zh) | 利用平面单应性和自监督的场景结构理解进行对象检测 | |
CN112989914B (zh) | 具有自适应加权输入的注视确定机器学习*** | |
CN112989914A (zh) | 具有自适应加权输入的注视确定机器学习*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230529 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230918 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7363118 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |