JP2020205498A - 外部環境認識装置 - Google Patents
外部環境認識装置 Download PDFInfo
- Publication number
- JP2020205498A JP2020205498A JP2019111369A JP2019111369A JP2020205498A JP 2020205498 A JP2020205498 A JP 2020205498A JP 2019111369 A JP2019111369 A JP 2019111369A JP 2019111369 A JP2019111369 A JP 2019111369A JP 2020205498 A JP2020205498 A JP 2020205498A
- Authority
- JP
- Japan
- Prior art keywords
- external environment
- environment recognition
- vehicle
- unit
- recognition device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 68
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 230000001360 synchronised effect Effects 0.000 claims abstract description 13
- 230000005856 abnormality Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 description 29
- 238000000034 method Methods 0.000 description 29
- 230000033001 locomotion Effects 0.000 description 19
- 230000006399 behavior Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/402—Type
- B60W2554/4029—Pedestrians
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Biomedical Technology (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】同期処理をするための処理リソースを節約する。【解決手段】外部環境認識装置は、それぞれに車外環境の情報を検知する情報検知部20aを有し、情報検知部20aの検知範囲の少なくとも一部同士が互いに重複する重複領域RFを有するように配置された複数の外部環境認識センサ20と、各外部環境認識センサ20の検出結果から重複領域RFにおける同一の物体を抽出し、重複領域RFにおける同一の物体の互いの位置がずれている場合に、複数の外部環境認識センサ20を同期させる同期処理をする同期処理部とを備える。【選択図】図2
Description
ここに開示された技術は、自律移動体に用いられる外部環境認識装置に関する技術分野に属する。
外部環境を認識して移動や走行、飛行等(以下、総称して単に「移動」ともいう)を行う自律移動体では、複数のカメラ等のセンサデバイスを用いて外部の環境を認識し、その認識結果を基に移動方向、移動速度等が決定される。自律移動体では、外部の環境を正しく認識するために、自律移動体に複数のカメラを設置し、それらの同期処理を行ったり、複数のカメラで撮像された画像に対してタイミングを揃えるような画像処理を行う技術が知られている。
例えば、特許文献1には、画像処理部から周期的に出力される同期信号をトリガに、カメラが画像処理部に対して画像信号を出力する技術が開示されている。
また、特許文献2には、重複する撮像領域を有する2つの撮像手段の双方の撮像画像を基に車両の周辺を監視する監視装置が開示されている。特許文献2では、2つの撮像手段の画像から外部の環境を認識する際に、時間軸上でずれた画像を用いることになることを避けるために、撮像タイミングとの間のずれが補正された所定情報を生成する情報生成手段を備えている。
しかしながら、特許文献1のような方法を用いた場合、画像処理部から周期的に出力される同期信号が出力される度に、カメラの同期処理が実行されるので、同期が必要のないときにまで同期処理が行われる場合があり、処理リソースの無駄が生じるという問題がある。
特許文献2では、画像処理装置での補正処理が必要であり、演算装置の処理負荷が増加したり、複雑な処理が必要になる恐れがある。特に、外部環境の認識精度を上げるために、設置するカメラの台数を増やしたり、フレームレートを向上させる等、扱う情報量が増大したりした場合に、処理が複雑になったり、処理負荷が重くなる恐れがある。
ここに開示された技術は、斯かる点に鑑みてなされたものであり、外部環境を認識する外部環境認識センサの同期処理をするための処理リソースを節約することにある。
前記課題を解決するために、ここに開示された技術の一態様では、車両の走行を制御する外部環境認識装置を対象として、それぞれに車外環境の情報を検知する情報検知部を有し、該情報検知部の検知範囲の少なくとも一部同士が互いに重複する重複領域を有するように配置された複数の外部環境認識センサと、前記各外部環境認識センサの検出結果から前記重複領域における同一の物体を抽出し、前記重複領域における前記同一の物体の互いの位置がずれている場合に、前記複数の外部環境認識センサを同期させる同期処理をする同期処理部とを備える、という構成とした。
この構成によると、重複領域における同一の物体の互いの位置がずれている場合に、複数の外部環境認識センサの同期処理をするので、位置ずれの発生したタイミングにあわせて、同期処理を実行することができる。また、位置ずれが発生しない場合には、同期処理を実行しないようにすることができるので、特許文献1のように、周期的に同期処理を実行する場合と比較して、同期処理をするための処理リソースを節約することができる。さらに、外部環境認識センサからの出力信号の段階で同期させることができる、すなわち、車外環境の認識といった各種画像処理等の前の段階の信号について同期を取ることができるので、画像処理等の処理負荷を低減することができる。
前記外部環境認識装置において、前記複数の外部環境認識センサは、前記重複領域を有するように配置された複数のカメラを含み、前記同期処理部は、前記複数のカメラの重複領域の画像から同一の物体を抽出し、前記同一の物体の中から静止物体を特定し、当該静止物体同士を互いに重ねあわせることで、前記同一の物体の互いの位置がずれているか否かを判定する、という構成でもよい。
この構成によると、静止物体同士を重ねあわせるので、位置ずれの検出精度を高めることができる。
前記外部環境認識装置において、前記同期処理部は、前記自律移動体の移動速度が所定の閾値未満のときに前記同期処理を行う、という構成でもよい。
この構成によると、自律移動体の移動による振動等の影響を受けにくい状態で検出された情報を基に同期処理を行うことができるので、同期処理の安定性や正確性を向上させることができる。
前記外部環境認識装置において、前記同期処理部が前記同期処理を実行した後に、前記同一物体の互いの位置ずれが解消されなかった場合に、前記外部環境認識センサの異常を報知する異常報知手段を備える、という構成でもよい。
これにより、例えば、外部環境認識センサの取付位置のずれのように、外部環境認識センサの物理的な位置ずれを検出し、ユーザー等に知らせることができる。
以上説明したように、ここに開示された技術によると、位置ずれが発生したタイミングにあわせて、同期処理を実行することができるので、相対的に早い段階での同期処理を行うことができるとともに、同期処理のためのリソースを節約することができる。
以下、例示的な実施形態について、図面を参照しながら詳細に説明する。なお、以下の実施形態では、自律移動体として自動運転機能を有する自動車を例に挙げて説明する。ただし、本開示に係る外部環境認識装置が適用できる自律移動体は、自動車に限定されるものではなく、例えば、自律移動型の走行ロボット、掃除機、ドローン等に適用することが可能である。
図1は、本実施形態に係る車両10の制御系の構成を概略的に示すブロック図である。車両10は、アシスト運転及び自動運転ができるように構成されている。
本実施形態において、車両10は、アシスト運転及び自動運転を可能にするために、センサデバイス30からの出力や、車外のネットワークから受けた情報に基づいて、車両10が走行すべき経路を算出するとともに、該経路を追従するための車両10の運動を決定する演算装置100を有する。演算装置100は、1つ又は複数のチップで構成されたマイクロプロセッサであって、CPUやメモリ等を有している。なお、図1においては、本実施形態に係る経路生成機能を発揮するための構成を中心に示しており、演算装置100が有する全ての機能を示しているわけではない。
演算装置100に情報を出力するセンサデバイス30は、例えば、(1)車両10のボディ等に設けられかつ車外環境を撮影する複数のカメラ20、(2)車両10のボディ等に設けられかつ車外の物標等を検知する複数のレーダ32、(3)全地球測位システム(Global Positioning System:GPS)を利用して、車両10の位置(車両位置情報)を検出する位置センサ33、(4)車速センサ、加速度センサ、ヨーレートセンサ等の車両10の挙動を検出するセンサ類で構成された車両10の状態を取得する車両状態センサ34、(5)車内カメラ等により構成され、車両10の乗員の状態を取得する乗員状態センサ35、(6)運転者の運転操作を検出するための運転操作情報取得部36、を含む。また、演算装置100には、車外のネットワークと接続された車外通信部41を介して自車両10の周囲に位置する他車両からの通信情報やナビゲーションシステムからの交通情報が入力される。
各カメラ20は、車両10の周囲を水平方向に360°撮影できるようにそれぞれ配置されている。具体的に、各カメラ20は、図2に示すように、CCD(Charged Coupled devices)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を用いて車外環境を示す光学画像を撮像して画像データを生成する撮像部20a(情報検出部に相当)を備えている。また、図3に示すように、各カメラ20は、隣接して配置されたカメラ20との間で、撮像部20aによる撮像範囲の一部同士が互いに重複する重複領域RFを有するように配置されている。図3では、車両10に8台のカメラ20が設置された例を示しており、以後の説明の便宜上、車両10の左前に設置されたカメラ20から順に時計回りに21,22,…,28の符号を付している。また、図3では、それぞれのカメラ21,22,…,28の撮像範囲について模式的に図示し、それぞれの撮像範囲に、R21,R22,…,R28の符号を付している。さらに、図3では、上記重複領域をドットで表示して、RFの符号を付している。また、車両10の前方を撮像するカメラ21,22の重複領域RFには、RF1の符号を付している。同様に、カメラ21,28の重複領域RFにRF2、カメラ22,23の重複領域にRF3の符号を付している。
各カメラ20は、撮像部20aでの撮像データを演算装置100に出力する。各カメラ20の撮像データは、演算装置100以外にも、HMI(Human Machine Interface)ユニット61に入力される。HMIユニット61は、取得した画像データに基づく情報を車内のディスプレイ装置等に表示する。カメラ20は、車両10の車外環境の撮像するための撮像デバイスに相当する。
各レーダ32は、カメラ20と同様に、検出範囲が車両10の周囲を水平方向に360°広がるようにそれぞれ配置されている。レーダ32の種類は、特に限定されず、例えば、ミリ波レーダ等を採用することができる。なお、具体的な図示は省略するが、各レーダ32が、撮像が可能に構成されたイメージングレーダーやレーザーレーダー等であってもよい。そして、各レーダ32が、上記のカメラ20と同様に、撮像データを演算装置100に出力するように構成されていてもよい。その場合、レーダ32は、車両10の車外環境の撮像するための撮像デバイスに相当する。
演算装置100は、カメラ20やレーダ32等のセンサデバイス30からの出力や、車外のネットワークから車外通信部41を介して受けた情報に基づいて、車両10の目標運動を決定し、決定された目標運動を実現するための駆動力、制動力、操舵量を算出し、算出結果をエンジンやブレーキ等を制御するコントロールユニット50に出力するように構成されている。
図1に示すように、演算装置100は、車両10の目標運動を設定するために、カメラ20等のセンサデバイス30からの出力や、車外通信部41からの入力情報を基に車外環境を認識する車外環境認識部110と、車外環境認識部110で認識された車外環境に応じて、車両10が走行可能な1つ又は複数の候補経路を算出する候補経路生成部151と、車両状態センサ34からの出力を基にして車両10の挙動を推定する車両挙動推定部152と、乗員状態センサ35からの出力を基にして、車両10の乗員の挙動を推定する乗員挙動推定部153と、車両10が走行すべき経路を決定する経路決定部154と、経路決定部154が設定した経路を追従するための車両10の目標運動を決定する車両運動決定部155とを有する。
〈車外環境認識部〉
図2に示すように、車外環境認識部110は、各カメラ20からの出力を基に車外環境を認識するものであり、物体認識部111と、マップ生成部112と、同一物体認識部113と、位置ずれ検出部114とを備える。
図2に示すように、車外環境認識部110は、各カメラ20からの出力を基に車外環境を認識するものであり、物体認識部111と、マップ生成部112と、同一物体認識部113と、位置ずれ検出部114とを備える。
物体認識部111は、カメラ20から受信した撮像データや、レーダ32から受信した反射波のピークリスト等を基に、車外の物体が何であるかを認識する。例えば、物体認識部111は、上記の撮像データやピークリスト等によって車外の物体を検知し、演算装置100に格納されているデータベース等にある識別情報等を用いて、車外の物体が何であるかを識別し、「車外の物体情報」として認識する。物体認識部111は、レーダ32の出力を受けており、上記「車外の物体情報」として、車両1の周辺に存在する物標の位置や速度等を含む「物標の測位情報」を取得してもよい。物体認識部111では、「車外の物体情報」や「物標の測位情報」を基に、車外の各物体についての分類分けを行うとともに、それぞれの物体の位置情報を認識する。ここでいう分類とは、例えば、物体が「静止物体」なのか「動く可能性のある物体」なのかという大きな区分で分けてもよいし、「人物」「標識」「横断歩道」のように、具体的な対象物単位で分けてもよい。なお、物体認識部111において、ニューラルネットワークなどにより車外の物体が何であるかを識別/分類するようにしてもよい。また、物体認識部111が、センサデバイス30を構成する各センサからの出力情報により、車両10の位置と速度等を把握するようにしてもよい。
マップ生成部112は、物体認識部111で認識された車外の物体情報を基にして、車両10の周囲の3次元情報と車外環境モデルとを対照することにより、道路および障害物を含む車外環境を認識し、それをマップにする処理を行う。車外環境モデルは、例えば深層学習によって生成された学習済みモデルであって、車両周囲の3次元情報に対して、道路や障害物等を認識することができる。なお、マップ生成部112は、周囲の3次元もしくは2次元マップ、またはその両方を生成するように構成されていてもよい。
具体的に、例えば、マップ生成部112は、物体認識部111で認識された車外の物体情報を基にして、フリースペースすなわち物体が存在しない領域を特定する。ここでの処理には、例えば深層学習によって生成された学習済みモデルが利用される。そして、マップ生成部112は、フリースペースを表す2次元のマップを生成する。また、マップ生成部112は、物標の測位情報を利用して、車両10の周囲を表す3次元マップを生成する。ここでは、カメラ20の設置位置および撮像方向の情報、レーダ32の設置位置および送信方向の情報が用いられる。そして、マップ生成部112は、生成された3次元マップと、車外環境モデルとを対比することによって、道路及び障害物を含む車外環境を認識し、認識結果を候補経路生成部151に出力する。なお、深層学習では、多層ニューラルネットワーク(DNN:Deep Neural Network)が用いられる。多層ニューラルネットワークとして、例えば、CNN(Convolutional Neural Network)がある。候補経路生成部151では、車外環境認識部110の出力、位置センサ33の出力、及び車外通信部41を介して外部ネットワーク等から受信された情報等を基にして、車両10が走行可能な候補経路が生成される。
同一物体認識部113は、物体認識部111で認識された車外の物体情報を基にして、隣接するカメラ21,22,…,28の撮像結果を対照して、重複領域RFにおける同一の物体(以下、単に同一物体という)を抽出する。
具体的に、例えば、図3では、車両10が交差点の手前で停車しており、車両10前方の横断歩道を人物Pが車両10の進行方向に対して横断している例を示している。そして、同一物体認識部113は、例えば、車両10前方の重複領域RF1において、車両前方に設置された両方のカメラ21,22の画像データに含まれている物体を、同一物体として抽出する。例えば、図3及び後述する図5A,5Bの例では、人物P、横断歩道71、縁石72等が同一物体として抽出される。すなわち、同一物体認識部113による抽出処理は、重複領域RFを撮像している両カメラ21,22の撮影結果を対照することにより行われる。なお、同一物体は、上記に限定されるものではなく、他車両、標識等の別の物体であってもよい。
位置ずれ検出部114は、重複領域における同一物体の互いの位置がずれているかどうかを判定し、位置ずれが発生している場合に、複数のカメラ20を同期させる同期指示信号を出力する。例えば、図3の例において、カメラ21で重複領域RFを撮像した画像から抽出された物体と、カメラ22で重複領域RFを撮像した画像から抽出された物体とを対照して同一物体を抽出し、互いの同一物体に位置ずれがないかどうかを判定する。位置ずれの判定方法は、特に限定されないが、例えば、物体認識部111で、同一物体の中で静止物体と認識された物体同士を互いに重ねあわせ、他の同一物体の位置ずれがないかどうかを確認する方法が採用できる。本実施形態では、物体認識部111、同一物体認識部113及び位置ずれ検出部114により同期処理部に相当する機能が実現されている例を示している。
(外部環境認識装置の動作)
次に、図4〜図6を参照しつつ、外部環境認識装置の動作について説明する。
次に、図4〜図6を参照しつつ、外部環境認識装置の動作について説明する。
図4において、ステップS11からステップS13は、各カメラ20で画像が撮像されてから物体認識部111による同一物体の抽出までを示している。
ステップS11では、図6に示すように、まず、位置ずれ検出部114から各カメラ21,22,…,28に同期処理信号が送られて、同期処理が実行される。同期処理後、各カメラ21,22,…,28が撮像を開始する。各カメラ21,22,…,28は、自機内のクロック信号に基づいて、撮像結果を物体認識部111に送信する。物体認識部111では、各カメラ21,22,…,28から受信される撮像データを画像データに変換し、画像データに含まれる物体を検知する。図6では、説明の理解が容易になるように、「P」の文字の後に、カメラの識別番号を付し、ハイフンの後に、同一タイミングの画像について同じ番号が付されるようにしている。例えば、図6において、P1−1は、カメラ21で撮像された1番目の画像を示し、P1−2は、カメラ21で撮像された2番目の画像を示し、P2−1は、カメラ22で撮像された1番目の画像を示している。そして、w、x、y、zは、それぞれ、z=y+1=x+2=w+3の関係にあるものとする。
ステップS12では、物体認識部111は、各物体についての分類分けを行うとともに、それぞれの物体の位置を推定する。各物体の位置の推定方法は、特に限定されないが、例えば、撮像データから3次元空間を復元する手法を使用して推定してもよい。また、例えば、各カメラ21,22,…,28の取付位置を基に推定してもよいし、基準となる物体を決めて、その基準となる物体との位置関係を基に推定してもよい。
ステップS13では、同一物体認識部113は、重複領域RF内における同一物体の抽出をする。例えば、図5A及び図5Bは、上段左側にカメラ21での撮像結果、上段右側にカメラ22での撮像結果を示している。それぞれの撮像結果の仮想線の内側の領域が重複領域RF1となっている。図5A及び図5Bの例では、同一物体認識部113は、各図の上段左右の両画像データにおいて、例えば、横断歩道71、横断歩道71を渡っている人物P、画像の奥側に見えるL字状の縁石72、停止線73を同一物体として認識する。このとき、同一物体認識部113は、時間的に前後する画像を参照したり、予め格納されたテンプレート等を参照して、同一物体のうち、横断歩道71、縁石72、停止線73は静止物体であり、人物Pは動いている物体であることを特定するようにしてもよい。
次のステップS14では、位置ずれ検出部114は、カメラ21で撮像された重複領域RFの画像と、カメラ22で撮像された重複領域RFの画像との間の位置ずれを検出する。図5Aは位置ずれがない場合の画像例を示しており、図5Bは位置ずれがある場合の画像例を示している。位置ずれ検出部114は、例えば、カメラ21,22の両撮像画像から、同一物体でかつ静止物体としての縁石72の手前側のコーナー72aを特定し、それらを互いに重ねあわせることで、両画像の位置合わせをし、コーナー72a以外の物体の重なり具合を見ることで、両画像の位置ずれを検出する。そうすることで、例えば、図5Aでは、すべての同一物体において位置ずれがないことが検出される。
図4に戻り、ステップS14で位置ずれが検出されなかった場合、次のステップS15でNO判定となり、フローは前述のステップS11に戻る。
一方で、図5Bでは、人物Pに画像ぶれが発生して位置ずれがあることが検出される。位置ずれ検出部114において、位置ずれが検出されると、位置ずれ検出部114は、例えば図6に示すように、位置ずれが発生していることを示すフラグを立てる。図6の例では、カメラ21の画像P1−wと、カメラ28の画像P8−wとは、同じタイミングの画像であるが、カメラ22の画像P2−xがカメラ21,28と異なるタイミングの画像であるため、位置ずれが発生し、位置ずれ検出フラグが立っている。
図4に戻り、ステップS14で位置ずれが検出された場合には、次のステップS15でYES判定となり、位置ずれ検出部114は、カメラ20の同期処理が実施ずみかどうかを確認する(ステップS16)。すなわち、位置ずれ検出部114は、後述するステップS17での同期処理がすでに実行済みかどうかを確認する。
ステップS16において、カメラ20の同期処理が未実施の場合(ステップS16でNOの場合)、位置ずれ検出部114は、位置ずれが発生しているカメラ20を同期させる同期処理をする(ステップS17)。例えば、位置ずれ検出部114は、同期処理の対象となるカメラ20に対して同期処理信号を送信することにより、カメラ20の同期処理を行う。ここでの同期処理は、図6に示すように、すべてのカメラを対象として同期処理を行うようにしてもよいし、位置ずれが確認された重複領域RFを撮像しているカメラ20(図5Bの例では、カメラ21,22)に対して同期処理を行うようにしてもよい。具体的なカメラ20の同期処理の方法は、従来から知られている方法を用いることができるので、ここではその詳細説明を省略する。ステップS17での同期処理が終わると、フローは、ステップS11に戻る。
一方で、ステップS16において、カメラ20の同期処理がすでに実施ずみの場合(ステップS16でYESの場合)、演算装置100は、位置ずれが同期処理によっては解消されなかったことを報知する(ステップS18)。カメラ20の同期処理で位置ずれが解消されない場合、外部からの衝撃等により、「カメラ20の取付位置自体がずれている」というように物理的な位置ずれの可能性があるため、運転者等に状況確認を促すことができる。なお、ステップS18における報知方法は、特に限定されず、例えば、警告音、警告灯、カーナビ等の表示画面等を介して報知することができる。
図1に戻り、以下において、候補経路生成部151よりも後段のブロックについて、簡単に説明する。
車両挙動推定部152は、車速センサ、加速度センサ、ヨーレートセンサ等の車両の挙動を検出するセンサ類の出力から、車両の状態を推定する。車両挙動推定部152は、車両の挙動を示す車両6軸モデルを生成する。
乗員挙動推定部153は、乗員状態センサ35の検出結果から、特に、運転者の健康状態や感情を推定する。健康状態としては、例えば、健康、軽い疲労、体調不良、意識低下等がある。感情としては、例えば、楽しい、普通、退屈、イライラ、不快等がある。
経路決定部154は、乗員挙動推定部153の出力に基づいて、車両10が走行すべき経路を決定する。候補経路生成部151が生成した経路が1つである場合には、経路決定部154は当該経路を車両10が走行すべき経路とする。候補経路生成部151が生成した経路が複数ある場合には、乗員挙動推定部153の出力を考慮して、例えば、複数の候補経路のうち乗員(特に運転者)が最も快適と感じる経路、すなわち、障害物を回避するに当たって慎重過ぎるなどの冗長さを運転者に感じさせない経路を選択する。
車両運動決定部155は、経路決定部154が決定した走行経路について、目標運動を決定する。目標運動とは、走行経路を追従するような操舵および加減速のことをいう。また、車両運動決定部155は、車両6軸モデルを参照して、経路決定部154が選択した走行経路について、車体の動きを演算する。
物理量算出部は、目標運動を達成するための駆動力、制動力、操舵量を算出するものであり、駆動力算出部161、制動力算出部162、及び操舵量算出部163で構成されている。駆動力算出部161は、目標運動を達成するために、パワートレイン装置(エンジン及びトランスミッション)が生成すべき目標駆動力を算出する。制動力算出部162は、目標運動を達成するために、ブレーキ装置が生成すべき目標制動力を算出する。操舵量算出部163は、目標運動を達成するために、ステアリング装置が生成すべき目標操舵量を算出する。
周辺機器動作設定部170は、車両運動決定部155の出力に基づいて、ランプやドアなどの車両10のボディ関係のデバイスの動作を設定する。なお、デバイスには、自動車が走行する際や駐停車している際に制御されるアクチュエータやセンサ等の装置類が含まれる。
〈演算装置の出力先〉
演算装置100での演算結果は、コントロールユニット50及びボディ系マイコン60に出力される。コントロールユニット50は、パワートレインマイコン51、ブレーキマイコン52、ステアリングマイコン53で構成される。具体的に、パワートレインマイコン51には、駆動力算出部161が算出した目標駆動力に関する情報が入力され、ブレーキマイコン52には、制動力算出部162が算出した目標制動力に関する情報が入力され、ステアリングマイコン53には、操舵量算出部163が算出した目標操舵量に関する情報が入力され、ボディ系マイコン60には、周辺機器動作設定部170が設定したボディ関係の各デバイスの動作に関する情報が入力される。なお、ステアリングマイコン53は、電動パワーステアリング(EPAS)用のマイコンを含む。
演算装置100での演算結果は、コントロールユニット50及びボディ系マイコン60に出力される。コントロールユニット50は、パワートレインマイコン51、ブレーキマイコン52、ステアリングマイコン53で構成される。具体的に、パワートレインマイコン51には、駆動力算出部161が算出した目標駆動力に関する情報が入力され、ブレーキマイコン52には、制動力算出部162が算出した目標制動力に関する情報が入力され、ステアリングマイコン53には、操舵量算出部163が算出した目標操舵量に関する情報が入力され、ボディ系マイコン60には、周辺機器動作設定部170が設定したボディ関係の各デバイスの動作に関する情報が入力される。なお、ステアリングマイコン53は、電動パワーステアリング(EPAS)用のマイコンを含む。
以上をまとめると、本実施形態の外部環境認識装置は、それぞれに車外環境を撮像する撮像部20aを有し、撮像部20aの撮像範囲の少なくとも一部同士が互いに重複する重複領域RFを有するように配置された複数のカメラ20と、各カメラ20の撮像結果から重複領域RFにおける同一の物体(例えば、人物P)を抽出し、重複領域RFにおける同一の物体の互いの位置がずれている場合に、複数のカメラ20を同期させる同期処理をする同期処理部とを備える。
本実施形態によると、外部環境認識装置において、重複領域RFにおける同一の物体の互いの位置がずれている場合に、複数のカメラ20を同期させる同期処理をするので、位置ずれの発生したタイミングにあわせて、カメラ20の同期処理を実行することができる。また、カメラ20の撮像結果に位置ずれが発生しない場合、すなわち、カメラ20同士が互いに同期が取れている状態が継続している期間については、同期処理を実行しないようにすることができる。これにより、特許文献1のように、周期的に同期処理を実行する場合と比較して、同期処理をするための処理リソースを節約することができる。さらに、カメラ20に対して同期処理を行うので、カメラ20から同期処理後の出力信号を得ることができる。すなわち、車外環境の認識のための各種画像処理等を行う前の段階の信号を同期させることができるので、画像処理等の処理負荷を低減することができる。
(その他の実施形態)
上記実施形態では、外部環境認識センサとして、カメラ20を用いた例を示しているが、外部環境認識センサは、カメラ20に限定されず、他のセンサデバイス30であってもよい。例えば、外部環境認識センサとして、カメラ20に加えて、または、代えて、レーダ32を用いてもよい。
上記実施形態では、外部環境認識センサとして、カメラ20を用いた例を示しているが、外部環境認識センサは、カメラ20に限定されず、他のセンサデバイス30であってもよい。例えば、外部環境認識センサとして、カメラ20に加えて、または、代えて、レーダ32を用いてもよい。
上記実施形態では、重複領域RFの中から静止物体(例えば、縁石72)を抽出し、静止物体(例えば、縁石72のコーナー72a)同士を互いに重ねあわせることで、同一の物体(例えば、人物P)の互いの位置がずれていることを検出する例を示したが、同一の物体の互いの位置がずれているか否かの判定方法は、これに限定されない。例えば、カメラ20の取付位置は固定されているので、互いに重なる領域の位置関係を、カメラ20の取付位置を基に直接重ねあわせるようにしてもよいし、物体間の物理的な距離を基に判定してもよい。ただし、静止物体を特定して、それを互いに重ねあわせることで、より正確に位置合わせをすることができる。
上記実施形態では、車両10が交差点に停止しているときに、外部環境認識装置が同期処理を行っている例を示したが、車両10の走行中に、図4と同様のフロー(位置ずれ検出と同期処理)を実行するようにしてもよい。
また、複数の重複領域の画像を用いて、位置ずれが発生しているカメラ20を特定するようにしてもよい。具体的には、カメラ21,22の重複領域RF1に加えて、カメラ21,28の重複領域RF2と、カメラ22,23の重複領域RF3とにおいて、上記実施形態と同様の位置ずれ検出処理を実行する。このとき、重複領域RF1において、図5Bに示すような位置ずれが発生した場合に、重複領域RF2でも同様の位置ずれが発生していれば、カメラ20に位置連れが発生していると特定することができる。このように、位置ずれが発生しているカメラを特定することで、そのカメラのみに同期処理を実行したり、ユーザー等に報知したりすることができる。
ここに開示された技術は、自律移動体の外部環境を認識する外部環境認識装置として有用である。
10 車両(自律移動体)
20 カメラ(外部環境認識センサ)
20a 撮像部(情報検知部)
20 カメラ(外部環境認識センサ)
20a 撮像部(情報検知部)
Claims (4)
- 自律移動体の外部環境を認識する外部環境認識装置であって、
それぞれに車外環境の情報を検知する情報検知部を有し、該情報検知部の検知範囲の少なくとも一部同士が互いに重複する重複領域を有するように配置された複数の外部環境認識センサと、
前記各外部環境認識センサの検出結果から前記重複領域における同一の物体を抽出し、前記重複領域における前記同一の物体の互いの位置がずれている場合に、前記複数の外部環境認識センサを同期させる同期処理をする同期処理部とを備える
ことを特徴とする外部環境認識装置。 - 請求項1に記載の外部環境認識装置において、
前記複数の外部環境認識センサは、前記重複領域を有するように配置された複数のカメラを含み、
前記同期処理部は、前記複数のカメラの重複領域の画像から同一の物体を抽出し、前記同一の物体の中から静止物体を特定し、当該静止物体同士を互いに重ねあわせることで、前記同一の物体の互いの位置がずれているか否かを判定する
ことを特徴とする外部環境認識装置。 - 請求項1に記載の外部環境認識装置において、
前記同期処理部は、前記自律移動体の移動速度が所定の閾値未満のときに検出された前記重複領域における同一の物体の抽出結果を基に前記同一の物体の互いの位置がずれているか否かを判定する
ことを特徴とする外部環境認識装置。 - 請求項1に記載の外部環境認識装置において、
前記同期処理部が前記同期処理を実行した後に、前記同一の物体の互いの位置ずれが解消されなかった場合に、前記外部環境認識センサの異常を報知する異常報知手段を備える
ことを特徴とする外部環境認識装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019111369A JP2020205498A (ja) | 2019-06-14 | 2019-06-14 | 外部環境認識装置 |
EP20821843.8A EP3982625B1 (en) | 2019-06-14 | 2020-03-13 | Outside environment recognition device |
PCT/JP2020/011261 WO2020250520A1 (ja) | 2019-06-14 | 2020-03-13 | 外部環境認識装置 |
US17/618,517 US11961307B2 (en) | 2019-06-14 | 2020-03-13 | Outside environment recognition device |
CN202080038377.XA CN113875223B (zh) | 2019-06-14 | 2020-03-13 | 外部环境识别装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019111369A JP2020205498A (ja) | 2019-06-14 | 2019-06-14 | 外部環境認識装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020205498A true JP2020205498A (ja) | 2020-12-24 |
Family
ID=73781762
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019111369A Pending JP2020205498A (ja) | 2019-06-14 | 2019-06-14 | 外部環境認識装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11961307B2 (ja) |
EP (1) | EP3982625B1 (ja) |
JP (1) | JP2020205498A (ja) |
CN (1) | CN113875223B (ja) |
WO (1) | WO2020250520A1 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003348575A (ja) * | 2002-05-27 | 2003-12-05 | Fuji Heavy Ind Ltd | ステレオ式車外監視装置およびその制御方法 |
JP2008211373A (ja) * | 2007-02-23 | 2008-09-11 | Toyota Motor Corp | 車両用周辺監視装置及び車両用周辺監視方法 |
WO2013094115A1 (ja) * | 2011-12-19 | 2013-06-27 | 日本電気株式会社 | 時刻同期情報算出装置、時刻同期情報算出方法および時刻同期情報算出プログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7868913B2 (en) | 2003-10-10 | 2011-01-11 | Nissan Motor Co., Ltd. | Apparatus for converting images of vehicle surroundings |
JP2005117554A (ja) | 2003-10-10 | 2005-04-28 | Nissan Motor Co Ltd | 車両周囲画像変換装置 |
CN102860016A (zh) * | 2010-04-19 | 2013-01-02 | 松下电器产业株式会社 | 立体图像拍摄装置以及立体图像拍摄方法 |
FR2967324B1 (fr) * | 2010-11-05 | 2016-11-04 | Transvideo | Procede et dispositif de controle du dephasage entre cameras stereoscopiques |
JP5568458B2 (ja) | 2010-12-24 | 2014-08-06 | 京セラ株式会社 | ステレオカメラ装置 |
JP2015052548A (ja) * | 2013-09-09 | 2015-03-19 | 富士重工業株式会社 | 車外環境認識装置 |
JP6194819B2 (ja) * | 2014-03-03 | 2017-09-13 | Smk株式会社 | 画像処理システム |
JP6313646B2 (ja) * | 2014-04-24 | 2018-04-18 | 日立オートモティブシステムズ株式会社 | 外界認識装置 |
JP6752024B2 (ja) * | 2016-02-12 | 2020-09-09 | 日立オートモティブシステムズ株式会社 | 画像処理装置 |
CN106686303A (zh) * | 2016-12-05 | 2017-05-17 | 上海小蚁科技有限公司 | 相机***和用于控制多个相机的方法 |
US10798368B2 (en) * | 2018-03-13 | 2020-10-06 | Lyft, Inc. | Exposure coordination for multiple cameras |
JP7271215B2 (ja) * | 2019-02-18 | 2023-05-11 | キヤノン株式会社 | 同期制御装置、同期制御方法、及びプログラム |
-
2019
- 2019-06-14 JP JP2019111369A patent/JP2020205498A/ja active Pending
-
2020
- 2020-03-13 CN CN202080038377.XA patent/CN113875223B/zh active Active
- 2020-03-13 US US17/618,517 patent/US11961307B2/en active Active
- 2020-03-13 EP EP20821843.8A patent/EP3982625B1/en active Active
- 2020-03-13 WO PCT/JP2020/011261 patent/WO2020250520A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003348575A (ja) * | 2002-05-27 | 2003-12-05 | Fuji Heavy Ind Ltd | ステレオ式車外監視装置およびその制御方法 |
JP2008211373A (ja) * | 2007-02-23 | 2008-09-11 | Toyota Motor Corp | 車両用周辺監視装置及び車両用周辺監視方法 |
WO2013094115A1 (ja) * | 2011-12-19 | 2013-06-27 | 日本電気株式会社 | 時刻同期情報算出装置、時刻同期情報算出方法および時刻同期情報算出プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2020250520A1 (ja) | 2020-12-17 |
EP3982625B1 (en) | 2024-05-29 |
US20220237920A1 (en) | 2022-07-28 |
US11961307B2 (en) | 2024-04-16 |
EP3982625A1 (en) | 2022-04-13 |
CN113875223B (zh) | 2024-02-06 |
EP3982625A4 (en) | 2022-08-17 |
CN113875223A (zh) | 2021-12-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6944308B2 (ja) | 制御装置、制御システム、および制御方法 | |
US20210403037A1 (en) | Arithmetic operation system for vehicles | |
US11242066B2 (en) | Vehicle control apparatus and vehicle control system and vehicle control method thereof | |
US11970186B2 (en) | Arithmetic operation system for vehicles | |
CN112046500A (zh) | 自动驾驶装置和方法 | |
JPWO2017029847A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN110239549B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
US10940860B2 (en) | Vehicle control device, vehicle control method, and storage medium | |
CN112046481B (zh) | 自动驾驶装置和方法 | |
CN112046502B (zh) | 自动驾驶装置和方法 | |
US20200302233A1 (en) | Training data generation apparatus | |
CN110281934B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
US11332124B2 (en) | Vehicular control system | |
JP7112255B2 (ja) | 車両データの時刻同期装置及び方法 | |
US20220222936A1 (en) | Outside environment recognition device | |
JP7363118B2 (ja) | 外部環境認識装置 | |
WO2020250520A1 (ja) | 外部環境認識装置 | |
CN115959112A (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
CN115179863A (zh) | 移动体的控制装置及控制方法、存储介质以及车辆 | |
JP7298323B2 (ja) | 外部環境認識装置 | |
CN112172804B (zh) | 车辆控制装置、车辆控制方法及存储介质 | |
JP7441839B2 (ja) | 異常検出装置と異常検出方法およびプログラムと情報処理システム | |
US20240112582A1 (en) | Moving body prediction device, traffic safety support system, and storage medium | |
JP2024007722A (ja) | 運転支援装置 | |
CN115214654A (zh) | 车辆控制装置、车辆控制方法及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230313 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230704 |