JP2022126350A - 認識装置、移動体、認識方法、およびプログラム - Google Patents
認識装置、移動体、認識方法、およびプログラム Download PDFInfo
- Publication number
- JP2022126350A JP2022126350A JP2021024376A JP2021024376A JP2022126350A JP 2022126350 A JP2022126350 A JP 2022126350A JP 2021024376 A JP2021024376 A JP 2021024376A JP 2021024376 A JP2021024376 A JP 2021024376A JP 2022126350 A JP2022126350 A JP 2022126350A
- Authority
- JP
- Japan
- Prior art keywords
- lighting
- unit
- traffic
- traffic light
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000001514 detection method Methods 0.000 claims abstract description 92
- 238000003384 imaging method Methods 0.000 claims abstract description 40
- 238000004891 communication Methods 0.000 claims description 73
- 238000012545 processing Methods 0.000 description 44
- 230000008569 process Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000010365 information processing Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 239000000446 fuel Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/22—Display screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/25—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using haptic output
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/09623—Systems involving the acquisition of information from passive traffic signs by means mounted on the vehicle
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/166—Navigation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/176—Camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/21—Optical features of instruments using cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/10—Automotive applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、信号機の点灯状況を認識する認識装置、移動体、認識方法、およびプログラムに関する。
特許文献1には、カメラでの信号認識または無線通信で取得した信号認識のいずれか一方の認識結果を車速に応じて切り替えて車内のディスプレイに表示する技術が開示されている。
撮像部(カメラ)で得られた画像に基づいて信号機の点灯状況を認識する装置では、撮像部の撮像周期と信号機の点灯周期との差などに起因して、誤認識を起こすことがある。そのため、撮像部を用いて信号機の点灯状況を認識する際の信頼性を向上させることが望まれる。
そこで、本発明は、撮像部を用いて認識される信号機の点灯状況の信頼性を向上させることが可能な技術を提供することを目的とする。
上記目的を達成するために、本発明の一側面としての認識装置は、移動体に搭載され、信号機の点灯状況を認識する認識装置であって、前記移動体の外界を周期的に撮像する撮像部と、前記撮像部で周期的に得られる画像ごとに、画像内に含まれる前記信号機の点灯態様を逐次検出する検出部と、前記検出部により前記信号機の同じ点灯態様が所定時間継続して検出された場合に、当該点灯態様を前記信号機の点灯状況として決定する決定部と、を備え、前記所定時間は、前記撮像部の撮像周期の2倍以上である、ことを特徴とする。
本発明によれば、例えば、撮像部を用いて認識される信号機の点灯状況の信頼性を向上させることが可能な技術を提供することができる。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
<第1実施形態>
本発明に係る第1実施形態の認識装置について説明する。本発明に係る認識装置は、移動体に搭載され、移動体の外界を撮像する撮像部(カメラ)を用いて信号機の点灯状況(点灯状態)を認識する装置である。移動体としては、道路を走行する車両が挙げられうる。以下では、車両としての四輪車に対して本発明に係る認識装置を適用(搭載)する例について説明するが、鞍乗型車両(自動二輪車、三輪車)など四輪車以外の車両に対しても、本発明に係る認識装置を適用することもできる。
本発明に係る第1実施形態の認識装置について説明する。本発明に係る認識装置は、移動体に搭載され、移動体の外界を撮像する撮像部(カメラ)を用いて信号機の点灯状況(点灯状態)を認識する装置である。移動体としては、道路を走行する車両が挙げられうる。以下では、車両としての四輪車に対して本発明に係る認識装置を適用(搭載)する例について説明するが、鞍乗型車両(自動二輪車、三輪車)など四輪車以外の車両に対しても、本発明に係る認識装置を適用することもできる。
まず、車両1の全体的な制御系について図1を参照しながら説明する。図1は、車両1の制御装置2を示すブロック図である。図1では、車両1の概略が平面図と側面図とで図示されており、車両1としてはセダンタイプの四輪の乗用車が例示されている。
制御装置2は、車両1の各部を制御する。制御装置2は車内ネットワークにより通信可能に接続された複数のECU20~29を含む。各ECU(Electronic Control Unit)は、CPUに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含む。記憶デバイスにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ECUはプロセッサ、記憶デバイスおよびインタフェース等を複数備えていてもよい。例えば、ECU20は、プロセッサ20aとメモリ20bとを備える。メモリ20bに格納されたプログラムが含む命令をプロセッサ20aが実行することによって、ECU20による処理が実行される。これに代えて、ECU20は、ECU20による処理を実行するためのASIC等の専用の集積回路を備えてもよい。他のECUについても同様である。
以下、各ECU20~29が担当する機能等について説明する。なお、ECUの数や担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、あるいは、統合したりすることが可能である。
ECU20は、本実施形態に係る車両1(自車両)の自動運転に関わる車両制御を実行する。自動運転においては、車両1の操舵および車速(加減速)の少なくとも一方を自動制御する。本実施形態の場合、車両1の操舵および車速の双方を自動制御する例を示す。
ECU21は、電動パワーステアリング装置3を制御する。電動パワーステアリング装置3は、ステアリングホイール31に対する運転者の運転操作(操舵操作)に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置3は、操舵操作をアシストしたり、あるいは、前輪を自動操舵したりするための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両1の運転状態が自動運転の場合、ECU21は、ECU20からの指示に対応して電動パワーステアリング装置3を自動制御し、車両1の進行方向を制御する。
ECU22および23は、車両の周囲状況を検知する検知ユニット41~43の制御および検知結果の情報処理を行う。検知ユニット41は、撮像により車両1の外界を周期的に撮像する撮像デバイスである(以下では、カメラ41と表記することがある)。本実施形態の場合、カメラ41は車両1の前方を撮影可能なように、車両1のルーフ前部でフロントウィンドウの車室内側に取り付けられる。カメラ41が撮影した画像の解析(画像処理)により、車両1の前方に位置する信号機(交通信号機)などの物標の解析や、信号機の表示や道路上の車線の区画線(白線等)を抽出可能である。
検知ユニット42(ライダ検知部)は、Light Detection and Ranging(LIDAR:ライダ)であり(以下では、ライダ42と表記することがある)、光により車両1の周囲の物標を検知したり、物標との距離を測距したりする。本実施形態の場合、ライダ42は5つ設けられており、車両1の前部の各隅部に1つずつ、後部中央に1つ、後部各側方に1つずつ設けられている。また、検知ユニット43(レーダ検知部)は、ミリ波レーダであり(以下では、レーダ43と表記することがある)、電波により車両1の周囲の物標を検知したり、物標との距離を測距したりする。本実施形態の場合、レーダ43は5つ設けられており、車両1の前部中央に1つ、前部各隅部に1つずつ、後部各隅部に一つずつ設けられている。
ECU22は、一方のカメラ41と、各ライダ42の制御および検知結果の情報処理を行う。ECU23は、他方のカメラ41と、各レーダ43の制御および検知結果の情報処理を行う。車両の周囲状況を検知する装置を二組備えたことで、検知結果の信頼性を向上でき、また、カメラ、ライダ、レーダといった種類の異なる検知ユニットを備えたことで、車両の周辺環境の解析を多面的に行うことができる。本実施形態において、ECU22およびECU23は、カメラ41で周期的に得られた画像ごとに、画像内に含まれる信号機の点灯態様を逐次検出する検出部として機能しうる。ここで、信号機の表示には、車両の進行可否を指示する信号機の色表示(点灯色(赤、青、黄))と、車両の進行可能方向を指示する信号機の矢印表示とが含まれうる。
ECU24は、ジャイロセンサ5、GPSセンサ24b、通信装置24cの制御および検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ5は車両1の回転運動を検知する。ジャイロセンサ5の検知結果や、車輪速等により車両1の進路を判定することができる。GPSセンサ24bは、車両1の現在位置を検知する。通信装置24cは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。通信装置24cは、例えば、VICS(Vehicle Information and Communication System)(登録商標)などの道路の交通状況を監視するシステムの情報提供用サーバと無線通信を行い、自車両Mが走行中の道路や走行予定の道路の交通状況を示す交通情報を取得する。交通情報には、設定された経路上における渋滞情報、渋滞地点を通過するための所要時間情報、故障車・工事情報、速度規制・車線規制情報などの交通障害情報が含まれる。
ECU24は、記憶デバイスに構築された地図情報のデータベース24aにアクセス可能であり、ECU24は現在地から目的地へのルート探索等を行う。データベース24aはネットワーク上に配置可能であり、通信装置24cがネットワーク上のデータベース24aにアクセスして、情報を取得することが可能である。
ECU25は、車車間通信、路車間通信、またはスマートフォン等の情報処理装置と通信可能な通信装置25aを備える。例えば、通信装置25aは、周辺の他車両と無線通信を行い、車両間での情報交換を行ったり、外部の情報処理装置等との無線通信により情報交換を行ったりすることが可能である。本実施形態において、通信装置25aおよび通信装置24cは、信号機の点灯状況を示す情報(色表示、矢印表示の点灯情報)を無線通信により受信する受信部として機能しうる。
ECU26は、パワープラント6を制御する。パワープラント6は車両1の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。なお、パワープラント6の構成は、この例に限られず、電動機を動力源とした電気自動車、エンジン及び電動機を兼ね備えたハイブリッド自動車等を含む。このうち、電気自動車は、例えば、二次電池、水素燃料電池、金属燃料電池、アルコール燃料電池等の電池により放電される電力を使用して駆動される。
ECU26は、例えば、アクセルペダル7Aに設けた操作検知センサ7aにより検知した運転者の運転操作(アクセル操作あるいは加速操作)に対応してエンジンの出力を制御したり、車速センサ7cが検知した車速等の情報に基づいて変速機の変速段を切り替えたりする。車両1の運転状態が自動運転の場合、ECU26は、ECU20からの指示に対応してパワープラント6を自動制御し、車速(車両1の速度および加減速)を制御する。
ECU27は、方向指示器8(ウィンカ)を含む灯火器(ヘッドライト、テールライト等)を制御する。図1の例の場合、方向指示器8は車両1の前部、ドアミラーおよび後部に設けられている。
ECU28は、入出力装置9の制御を行う。入出力装置9は運転者を含む乗員に対する情報の出力と、乗員からの情報の入力の受け付けを行う。音声出力装置91は乗員に対して音声により情報を報知する。表示装置92は運転者に対して画像の表示により情報を報知する。表示装置92は、例えば運転席および助手席の正面に配置され、ヒューマンマシンインターフェースとして機能するタッチパネル式のインストルメントパネル等を構成する。
例えば、ECU28は、ECU24により探索された現在地から目的地への経路上において、車両1(自車両)の位置情報と地図情報から取得した、車両1が現在走行している複数の車線を含む道路情報を表示装置92に表示する表示制御を行う。また、ECU28は、音声出力装置91および表示装置92を制御して、音声、地図表示、及び音声による案内情報を運転者に提供する。
なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。また、音声、表示、振動または光のうちの複数を組み合わせて情報を報知してもよい。更に、報知すべき情報のレベル(例えば緊急度)に応じて、組み合わせを異ならせたり、報知態様を異ならせたりしてもよい。
入力装置93は運転者が操作可能な位置に配置され、車両1に対する指示を入力するスイッチ群および乗員の音声を入力する音声入力装置を含む。
ECU29は、ブレーキ装置10やパーキングブレーキ(不図示)を制御する。ブレーキ装置10は例えばディスクブレーキ装置であり、車両1の各車輪に設けられ、車輪の回転に抵抗を加えることで車両1を減速あるいは停止させる。ECU29は、例えば、ブレーキペダル7Bに設けた操作検知センサ7bにより検知した運転者の運転操作(ブレーキ操作)に対応してブレーキ装置10の作動を制御する。車両1の運転状態が自動運転の場合、ECU29は、ECU20からの指示に対応してブレーキ装置10を自動制御し、車両1の減速および停止を制御する。ブレーキ装置10やパーキングブレーキは、車両1の停止状態を維持するために作動することもできる。また、パワープラント6の変速機がパーキングロック機構を備える場合、これを車両1の停止状態を維持するために作動することもできる。
[認識装置の構成]
次に、本実施形態の認識装置100の構成例について、図2を参照しながら説明する。図2は、本実施形態の認識装置100の構成例を示すブロック図である。認識装置100は、上述したように、カメラを用いて信号機(交通信号機)の点灯状況(点灯状態)を認識する装置であり、システムバス150を介して相互に通信可能に接続された撮像部110、処理部120、表示部130、および通信部140を含みうる。
次に、本実施形態の認識装置100の構成例について、図2を参照しながら説明する。図2は、本実施形態の認識装置100の構成例を示すブロック図である。認識装置100は、上述したように、カメラを用いて信号機(交通信号機)の点灯状況(点灯状態)を認識する装置であり、システムバス150を介して相互に通信可能に接続された撮像部110、処理部120、表示部130、および通信部140を含みうる。
撮像部110は、例えば図1のカメラ41であり、所定の撮像周期(例えば60m秒)で車両1の外界を周期的に撮像する。撮像部110は、車両1の周囲に存在する物体や標識を含む物標に関する外界情報を取得する外界センサとして理解されてもよい。なお、以下では、撮像部110をカメラ110と表記することがある。
処理部120は、例えば図1の制御装置2(ECU20~29)であり、CPUに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含むコンピュータによって構成されうる。本実施形態の場合、当該記憶デバイスには、信号機の点灯状態を認識するためのプログラム(以下では、認識プログラムと表記することがある)が格納されており、認識プログラムに含まれる命令をプロセッサが実行することにより、処理部120による信号機の点灯状況の認識処理が実行されうる。また、本実施形態の処理部120は、検出部121と、決定部122(認定部)と、出力部123とを含みうる。
検出部121は、例えば図1のECU23およびECU24であり、カメラ110で周期的に得られる画像ごとに、画像内に含まれる信号機の点灯態様を逐次検出する。具体的には、検出部121は、カメラ110で得られた画像に対して公知の画像処理を行うことにより、画像内に含まれる物標(オブジェクト)として信号機を特定(抽出)するとともに、特定した信号機の点灯態様を検出することができる。信号機の点灯態様とは、例えば、信号機の色表示(青、黄、赤)のうち何色が点灯しているか、信号機の矢印表示が点灯しているか否かなどを含みうる。
決定部122は、例えば図1のECU20であり、検出部121で検出された信号機の点灯態様に基づいて、信号機の点灯状況を決定(認定、認識)する。本実施形態の場合、決定部122は、検出部121により信号機の同じ点灯態様が所定時間継続して検出された場合に、当該所定時間継続して検出された点灯態様を信号機の現在(実際)の点灯状況として決定(認定、認識)する。所定時間は、カメラ110の撮像周期の2倍以上に設定されうる。また、所定時間は、カメラ110で周期的に得られる画像に対して検出部121により信号機の同じ点灯態様が継続して検出される所定回数で規定されてもよい。所定回数は、換言すると、検出部121により同じ点灯態様であると継続的に検出される画像の枚数(即ち撮像回数)であり、2回以上に設定されうる。以下では、決定部122が所定回数を用いて判断し、所定回数が3回に設定されている例について説明する。
出力部123は、例えば図1のECU28であり、決定部122で決定された信号機の点灯状況を示す情報(以下では点灯情報と呼ぶことがある)を表示部130に出力し、点灯情報を表示部130に表示させる。また、出力部123は、ECU20で実行される車両1の自動運転(車両制御)において点灯情報が使用されるように、ECU20における自動運転制御を担当するユニットに、決定部122から得られた点灯情報を出力してもよい。
表示部130は、例えば図1の表示装置92に対応するディスプレイであり、出力部123から出力された点灯情報を表示する。また、通信部140は、例えば図1の通信装置24cおよび通信装置25aであり、車両1が走行する道路に設置された外部通信装置(送信装置)から、信号機の点灯状況を示す情報を無線通信により受信する。外部通信装置は、例えば、ビーコン方式、または、携帯電話向け通信規格により標準化されたモバイル用の通信ネットワークを用いたセルラー方式の通信装置として構成されうる。通信部140は、車両1の周辺に存在する複数の信号機(一例として、車両1の進行方向に配置されている複数の信号機)についての点灯状況を示す情報を外部通信装置から取得しうる。なお、以下では、外部通信装置から受信した情報を、外部情報と表記することがある。
[処理の概要]
次に、処理部120が実行する認識処理の概要について説明する。上述したように、処理部120(決定部122)は、カメラ110で周期的に得られた画像から検出部121により検出される信号機の点灯態様が、同じ点灯態様で所定回数(ここでは3回)継続した場合に、継続して検出された点灯状態を信号機の現在(実際)の点灯状況として決定する。
次に、処理部120が実行する認識処理の概要について説明する。上述したように、処理部120(決定部122)は、カメラ110で周期的に得られた画像から検出部121により検出される信号機の点灯態様が、同じ点灯態様で所定回数(ここでは3回)継続した場合に、継続して検出された点灯状態を信号機の現在(実際)の点灯状況として決定する。
図3は、処理部120(決定部122)において信号機TSの点灯状況を認識する認識処理を説明するための模式図である。図3(a)は、決定部122に入力される情報、即ち、検出部121により検出された信号機TSの点灯態様を示す情報を時系列で示している。具体的には、図3(a)は、検出部121において、カメラ110で得られた画像に対して画像処理を行い、当該画像に含まれる信号機TSの点灯態様を検出した結果を時系列で示している。また、図3(b)は、決定部122から出力される情報、即ち、決定部122で決定された信号機TSの点灯状況を示す情報(点灯情報)を時系列で示している。具体的には、図3(b)は、検出部121で検出された信号機TSの点灯態様に基づいて決定部122で決定される信号機TSの点灯情報を時系列で示している。ここで、図3における「t」は、カメラ110で周期的に得られる画像の時系列番号、即ち、各画像から検出部121により検出される信号機TSの点灯態様を示す情報の時系列番号を表しているが、カメラ110の撮像周期(換言すると、検出部121の検出周期)に対応する時刻と理解されてもよい。t=1~4は、処理部120で継続的に行われている認識処理の一部を抜き出したものを時系列で表すために用いているだけであり、認識処理で最初~4番目に得られることを表すものではない。後述する図4および図7における「t」も同様である。
t=1では、検出部121において、カメラ110で得られた画像から、信号機TSの点灯態様が赤点灯Rであると検出され、決定部122においても、信号機TSの点灯状況が赤点灯Rであると決定されている。次いで、t=2では、検出部121は、図3(a)に示すように、カメラ110で次に得られた画像から、信号機TSの点灯態様が青点灯Bであると検出する。しかしながら、この段階では、検出部121により継続して検出された信号機TSの点灯態様(青点灯B)の回数が未だ1回であり、所定回数(3回)に達していないため、図3(b)に示すように、決定部122は、前回決定した信号機TSの点灯状況(赤点灯R)を保持させる。
t=3では、検出部121は、図3(a)に示すように、カメラ110で次に得られた画像から、信号機TSの点灯態様が青点灯Bであると検出する。しかしながら、この段階では、検出部121により継続して検出された信号機TSの点灯態様(青点灯B)の回数が未だ2回であり、所定回数(3回)に達していないため、図3(b)に示すように、決定部122は、前回決定した信号機TSの点灯状況(赤点灯R)を保持させる。次いで、t=4では、検出部121は、図3(a)に示すように、カメラ110で次に得られた画像から、信号機TSの点灯態様が青点灯Bであると検出する。この段階において、検出部121により継続して検出された信号機TSの点灯態様(青点灯B)の回数が所定回数(3回)に達するため、図3(b)に示すように、決定部122は、信号機TSの点灯状況を青点灯Bであると決定する。
本実施形態の決定部122は、上記の認識処理を実行することにより、検出部121で誤検出および/または未検出が生じた場合であっても、信号機TSの点灯状況を精度よく決定(認識)することが可能となる。即ち、検出部121での誤検出および/または未検出に基づいて信号機TSの点灯状況を決定することを回避・低減することが可能となる。検出部121の誤検出とは、図4(a)のt=2に示すように、実際には信号機TSが赤点灯しているにも関わらず、青点灯Bであると検出部121が検出することである。検出部121の未検出とは、図4(b)のt=2に示すように、実際には信号機TSが点灯(赤点灯)しているにも関わらず、その点灯が検出部121で検出されないことである。また、上記の認識処理により決定部122で決定された信号機TSの点灯状況を示す情報(点灯情報)は、出力部123により表示部130(ディスプレイ)に供給され、当該表示部130に表示されうる。決定部122から出力される点灯情報は、前述したように、ECU20で実行される車両1の自動運転(車両制御)に用いられてもよい。
ここで、本実施形態の決定部122は、信号機の点灯状況を示す外部情報を通信部140により外部通信装置から受信した場合、当該外部情報に基づいて信号機TSの点灯状況を決定してもよい。外部通信装置から得られる外部情報は、信号機の点灯状況を示す情報としての信頼性が高い傾向にある。そのため、決定部122は、検出部121により信号機TSの同じ点灯態様が継続して検出された時間(回数)が所定時間(所定回数)未満であっても、通信部140により外部通信装置から外部情報を受信した場合には、当該外部情報に基づいて信号機の点灯状況を決定することができる。
図5には、車両1が走行する道路が模式的に表されている。図5に示す例では、車両1の進行方向は矢印Aの方向であり、車両1の進行方向には複数の信号機TS1~TS3が配置されている。信号機TS1~TS3の各々は、進行可否を指示する色表示(点灯色(赤、青、黄))と、直進を許可する直進矢印表示と、右折を許可する右折矢印表示とを含む。また、道路には、複数の外部通信装置CA1~CA2が配置されている。外部通信装置CA1は信号機TS1の手前に配置されており、外部通信装置CA2は信号機TS2の手前(信号機TS1と信号機TS2との間)に配置されている。外部通信装置CA1~CA2の各々は、車両1の周辺に存在する複数の信号機(信号機TS1~TS3を含む)についての点灯状況を示す外部情報を、ビーコン方式で車両1に送信(提供)する装置である。一例として、信号機TSの手前に配置された外部通信装置CA1は、図6に示すように、信号機TS1~TS3の各々についての点灯状況を示す外部情報を車両1に供給(送信)する。図6は、外部通信装置CA1から供給される外部情報の一例を示している。
図7は、処理部120(決定部122)における認識処理を説明するための模式図である。図7では、検出部121で検出された信号機TSの点灯態様だけでなく、外部通信装置CAから得られた外部情報にも更に基づいて信号機TSの点灯状況を認識する認識処理の例を示している。図7(a)は、決定部122に入力される情報、即ち、検出部121により検出された信号機TSの点灯態様を示す情報を時系列で示している。図7(b)は、外部通信装置(例えばCA1)から供給された信号機TSの点灯態様を示す外部情報を時系列で示している。図7(c)は、決定部122から出力される情報、即ち、決定部122で決定された信号機TSの点灯状況を示す点灯情報を時系列で示している。
t=1では、検出部121において、カメラ110で得られた画像から、信号機TSの点灯態様が赤点灯Rであると検出され、決定部122においても、信号機TSの点灯状況が赤点灯Rであると決定されている。この段階では、外部情報は未受信である。次いで、t=2では、検出部121は、図7(a)に示すように、カメラ110で次に得られた画像から、信号機TSの点灯態様が青点灯Bであると検出する。この段階では、外部情報は未受信である。また、検出部121により継続して検出された信号機TSの点灯態様(青点灯B)の回数が未だ1回であり、所定回数(3回)に達していない。そのため、図7(c)に示すように、決定部122は、前回決定した信号機TSの点灯状況(赤点灯R)を保持させる。
t=3では、検出部121は、図7(a)に示すように、カメラ110で次に得られた画像から、信号機TSの点灯態様が青点灯Bであると検出する。一方、外部通信装置CA1から、信号機TSの点灯状況が青点灯Bであるとの外部情報が通信部140によって受信される。この段階では、検出部121により継続して検出された信号機TSの点灯態様(青点灯B)の回数が未だ2回であり、所定回数(3回)に達していないが、図7(b)に示すように、外部通信装置から青点灯Bとの外部情報が得られている。そのため、図7(c)に示すように、決定部122は、当該外部情報を優先的に用いて、信号機TSの点灯状況を青点灯Bであると決定する。次いで、t=4では、メラ110で次に得られた画像から検出部121により検出された信号機TSの点灯態様が青点灯Bであり(図7(a)参照)、外部情報でも青点灯Bである(図7(b)参照)。そのため、図7(c)に示すように、決定部122は、信号機TSの点灯状況を青点灯Bであると決定する。このように外部通信装置から供給される外部情報を更に用いることにより、信号機TSの点灯状況を精度よく且つ迅速に決定(認識)することが可能となる。
[認識処理のフロー]
次に、処理部120で実行される認識処理のフローについて説明する。図8は、処理部120で実行される認識処理を示すフローチャートである。図8に示すフローチャートは、繰り返し実行されるものであり、ステップS16が終了した後もステップS11から新たに開始されうる。
次に、処理部120で実行される認識処理のフローについて説明する。図8は、処理部120で実行される認識処理を示すフローチャートである。図8に示すフローチャートは、繰り返し実行されるものであり、ステップS16が終了した後もステップS11から新たに開始されうる。
ステップS11では、処理部120は、カメラ110に車両1の外界(本実施形態では前方)を撮像させることにより、車両1の外界の画像を取得する。ステップS12では、処理部120(検出部121)は、カメラ110で得られた画像内に含まれる信号機TSの点灯態様を検出する。例えば、検出部121は、カメラ110で得られた画像に対して公知の画像処理を行うことにより、画像内の信号機TSにおける点灯色を点灯態様として検出することができる。次いで、ステップS13では、処理部120(決定部122)は、検出部121により検出された信号機TSの点灯態様が、同じ点灯態様で所定回数(本実施形態では3回)継続したか否かを判断する。同じ点灯態様が所定回数継続した場合にはステップS16に進み、同じ点灯態様が所定回数継続していない場合にはステップS14に進む。
ステップS14では、処理部120(決定部122)は、通信部140により外部通信装置CAから外部情報を取得したか否かを判断する。外部情報とは、前述したように、信号機TSの点灯状況を示す情報であり、例えばビーコン方式やセルラー方式によって取得されうる。外部情報を取得した場合にはステップS15に進み、外部情報を取得していない場合にはステップS11に戻る。次いで、ステップS15では、処理部120(決定部122)は、ステップS14で通信部140により外部情報を取得してからの経過時間が規定期間内であるか否かを判断する。信号機TSの点灯状況は刻々と変化するものであるため、取得した外部情報における信号機TSの点灯状況が古いものであると、後述するステップS16において信号機TSの現在の点灯状況を精度よく決定することが困難になる。そのため、本ステップS15では、外部情報を用いることができる有効期間として規定期間(規定時間)が設けられ、当該外部情報を取得してからの経過時間が規定期間内か否かが判断される。規定期間は信号機TSにおいて同じ点灯色が維持している時間(例えば、青点灯の時間、赤点灯の時間)を示す情報に基づいて設定されるとよい。同じ点灯色が維持している時間を示す情報としては、例えば、図6の「変更予定」に示される時間の情報であってもよい。また、規定期間は、信号機TSごとに設定されてもよいし、複数の信号機TSで共通に設定されてもよい。
ここで、前述したように、外部通信装置CAから受信した外部情報に、車両1の周辺に存在する複数の信号機TSについて点灯状況を示す情報が含まれる場合がある。この場合、決定部122は、複数の信号機TSのうち、外部情報を取得してからの経過時間が規定期間内である信号機TSについては、当該外部情報に基づいて現在の点灯状況を決定しうる。一方、複数の信号機TSのうち、外部情報を取得してからの経過時間が規定期間外である信号機TSについては、当該外部情報を用いずに、検出部121での検出結果に基づいて現在の点灯状況を決定するとよい。
ステップS16では、処理部120(決定部122)は、信号機TSの点灯状況を決定(認定、認識)する。例えば、検出部121により信号機TSの同じ点灯態様が所定回数(3回)継続して検出された場合、決定部122は、所定回数計測して検出された点灯態様を、信号機TSの現在(実際)の点灯状況として決定する。一方、外部通信装置CAから外部情報を受信し、且つ、当該外部情報を受信してからの経過時間が規定期間内である場合、決定部122は、当該外部情報を優先的に用いて、当該外部情報に含まれる信号機TSの点灯状況を、信号機TSの現在(実際)の点灯状況として決定する。
ここで、上記の例では、ステップS15において規定期間を確認した結果として点灯状態を規定期間内であればステップS16にて点灯状態を決定するが、他の手法として、ステップS15にて規定期間の処理を行わず、ステップS16にて検出部121により検出された点灯状態と、外部通信装置CAから受信した外部情報とが一致した信号機情報を点灯状態として決定してもよい。例えば、検出部121では信号機の青色を検出しており、外部通信装置CAから受信した外部情報も同様に信号機が青色としている場合には、規定期間を考慮せずに、当該信号機の点灯状態を青色と決定してもよい。
また、規定時間を反映しない場合にも外部通信装置CAにより信号機の表示情報を受信する場合に、当該外部通信装置CAから、進行方向に配置される信号機の点灯色、進行方向指示に加え、それらの最低点灯時間と最高点灯時間とが送信されることを活用することができる。例えば、点灯色は青色であり、最低点灯時間0秒、最高点灯時間10秒として通信される場合があり、その場合、通信による信号機情報の取得は成功しているものの、対象信号機が0秒後に黄色点灯に変化する可能性があり、信号機の点灯予測情報としては不確実となってしまう等の確実性を判断可能である。
このように通信部140で受信した外部情報(信号機情報)と撮像部110で得られた情報とを比較した後に表示することで精度の高い表示を行うことが出来る。また、比較の際に、最低点灯時間を考慮し、基準時間を設定してもよい。すなわち、移動体が交差点に突入すると推定される時間より最低基準時間(最低点灯時間)が長い場合には、通信部140で受信した情報(外部情報9を優先し、他方、短い場合には、通信部140で受信した情報と撮像部121で得られた情報とを比較してもよい。
上述したように、本実施形態の認識装置100は、カメラ110で周期的に得られる画像ごとに、画像内の信号機TSの点灯態様を検出し、同じ点灯態様が所定回数継続して検出された場合に、当該点灯態様を、信号機TSの現在(実際)の点灯状況として決定する。これにより、画像から信号機TSの点灯態様を検出する際に誤検出や未検出が生じた場合であっても、誤検出や未検出に基づいて現在の信号機TSの点灯状況を決定(認識)することを回避・低減することができる。即ち、信号機TSの現在の点灯状況を精度よく且つ正確に認識し、撮像部を用いて認識される信号機の点灯状況の信頼性を向上させることができる。
<第2実施形態>
第1実施形態では、信号機TSの色表示に対して上記の認識処理を行う例を説明したが、信号機TSの矢印表示に対しても上記の認識処理を行うことができる。ただし、矢印表示は、一般に、公知の画像処理では検出が難しく、検出部121において誤検出や未検出が生じ易い。そのため、矢印表示に対して認識処理を行う場合では、色表示に対して用いられた所定時間の代わりに、当該所定時間より長い時間に設定された第2所定時間を用いるとよい。同様に、色表示に対して用いられた所定回数の代わりに、当該所定回数より多い回数に設定された第2所定回数を用いてもよい。なお、認識装置100の構成や上記以外の処理の内容については第1実施形態と同様であるため、ここでの説明を省略する。
第1実施形態では、信号機TSの色表示に対して上記の認識処理を行う例を説明したが、信号機TSの矢印表示に対しても上記の認識処理を行うことができる。ただし、矢印表示は、一般に、公知の画像処理では検出が難しく、検出部121において誤検出や未検出が生じ易い。そのため、矢印表示に対して認識処理を行う場合では、色表示に対して用いられた所定時間の代わりに、当該所定時間より長い時間に設定された第2所定時間を用いるとよい。同様に、色表示に対して用いられた所定回数の代わりに、当該所定回数より多い回数に設定された第2所定回数を用いてもよい。なお、認識装置100の構成や上記以外の処理の内容については第1実施形態と同様であるため、ここでの説明を省略する。
<第3実施形態>
第1実施形態で説明したように、決定部122での決定された信号機の点灯状況を示す点灯情報(決定結果)は、ECU20での自動運転に用いられることがある。このように点灯情報を自動運転で用いる場合、当該点灯情報には高い正確性が求められうる。そのため、点灯情報を自動運転で用いる場合には、点灯情報を自動運転で用いない場合に比べて所定時間を長く設定する(または、所定回数を多く設定する)とよい。例えば、点灯情報を表示部130に表示するだけに用いる場合における所定回数が3回に設定されている場合、点灯情報を自動運転に用いる場合には、当該所定回数が4回以上の値に設定されるとよい。これにより、点灯情報をより正確に得ることができるため、自動運転の精度の向上、乗員への違和感の低減が可能となる。なお、認識装置100の構成や上記以外の処理の内容については第1実施形態と同様であるため、ここでの説明を省略する。また、本実施形態では、第2実施形態を適用することもできる。
第1実施形態で説明したように、決定部122での決定された信号機の点灯状況を示す点灯情報(決定結果)は、ECU20での自動運転に用いられることがある。このように点灯情報を自動運転で用いる場合、当該点灯情報には高い正確性が求められうる。そのため、点灯情報を自動運転で用いる場合には、点灯情報を自動運転で用いない場合に比べて所定時間を長く設定する(または、所定回数を多く設定する)とよい。例えば、点灯情報を表示部130に表示するだけに用いる場合における所定回数が3回に設定されている場合、点灯情報を自動運転に用いる場合には、当該所定回数が4回以上の値に設定されるとよい。これにより、点灯情報をより正確に得ることができるため、自動運転の精度の向上、乗員への違和感の低減が可能となる。なお、認識装置100の構成や上記以外の処理の内容については第1実施形態と同様であるため、ここでの説明を省略する。また、本実施形態では、第2実施形態を適用することもできる。
<第4実施形態>
カメラ110で得られた画像には、車両1の進行方向における進行指示を行う信号機TSに加えて、車両1の進行方向とは異なる方向における進行指示を行う信号機や、先の交差点の信号機など、複数の信号機が映っている場合がある。このようにカメラ110で得られた画像内に複数の信号機が含まれる場合、検出部121は、車両1の進行方向の信号機であることを示す確実度(確からしさ、信頼度)を信号機ごとに求め、複数の信号機のうち当該確実度が最も高い信号機について点灯態様を検出するとよい。例えば、検出部121は、画像内に含まれる複数の信号機の各々について、画像内での点灯部分の面積を算出し、算出した当該面積の大きさを確実度とすることができる。このように確実度を算出することで、画像内に複数の信号機が含まれる場合であっても、車両1の進行方向の信号機TSを特定することが可能となる。また、確実度に関しては複数の信号機の情報を統合した後に、他の地図情報や通信で得た情報と突き合わせることで確実度を向上させてもよい。なお、認識装置100の構成や上記以外の処理の内容については第1実施形態と同様であるため、ここでの説明を省略する。また、本実施形態では、第2~第3実施形態を適用することもできる。
カメラ110で得られた画像には、車両1の進行方向における進行指示を行う信号機TSに加えて、車両1の進行方向とは異なる方向における進行指示を行う信号機や、先の交差点の信号機など、複数の信号機が映っている場合がある。このようにカメラ110で得られた画像内に複数の信号機が含まれる場合、検出部121は、車両1の進行方向の信号機であることを示す確実度(確からしさ、信頼度)を信号機ごとに求め、複数の信号機のうち当該確実度が最も高い信号機について点灯態様を検出するとよい。例えば、検出部121は、画像内に含まれる複数の信号機の各々について、画像内での点灯部分の面積を算出し、算出した当該面積の大きさを確実度とすることができる。このように確実度を算出することで、画像内に複数の信号機が含まれる場合であっても、車両1の進行方向の信号機TSを特定することが可能となる。また、確実度に関しては複数の信号機の情報を統合した後に、他の地図情報や通信で得た情報と突き合わせることで確実度を向上させてもよい。なお、認識装置100の構成や上記以外の処理の内容については第1実施形態と同様であるため、ここでの説明を省略する。また、本実施形態では、第2~第3実施形態を適用することもできる。
<実施形態のまとめ>
1.上記実施形態の認識装置は、
移動体(例えば1)に搭載され、信号機(例えばTS)の点灯状況を認識する認識装置(例えば100)であって、
前記移動体の外界を周期的に撮像する撮像部(例えば110)と、
前記撮像部で周期的に得られる画像ごとに、画像内に含まれる前記信号機の点灯態様を逐次検出する検出部(例えば121)と、
前記検出部により前記信号機の同じ点灯態様が所定時間継続して検出された場合に、当該点灯態様を前記信号機の点灯状況として決定する決定部(例えば122)と、
を備え、
前記所定時間は、前記撮像部の撮像周期の2倍以上である。
この実施形態によれば、画像から信号機の点灯態様を検出する際に誤検出や未検出が生じた場合であっても、誤検出や未検出に基づいて現在の信号機の点灯状況を決定(認識)することを回避・低減することができる。即ち、信号機の現在の点灯状況を精度よく且つ正確に認識し、撮像部を用いて認識される信号機の点灯状況の信頼性を向上させることができる。
1.上記実施形態の認識装置は、
移動体(例えば1)に搭載され、信号機(例えばTS)の点灯状況を認識する認識装置(例えば100)であって、
前記移動体の外界を周期的に撮像する撮像部(例えば110)と、
前記撮像部で周期的に得られる画像ごとに、画像内に含まれる前記信号機の点灯態様を逐次検出する検出部(例えば121)と、
前記検出部により前記信号機の同じ点灯態様が所定時間継続して検出された場合に、当該点灯態様を前記信号機の点灯状況として決定する決定部(例えば122)と、
を備え、
前記所定時間は、前記撮像部の撮像周期の2倍以上である。
この実施形態によれば、画像から信号機の点灯態様を検出する際に誤検出や未検出が生じた場合であっても、誤検出や未検出に基づいて現在の信号機の点灯状況を決定(認識)することを回避・低減することができる。即ち、信号機の現在の点灯状況を精度よく且つ正確に認識し、撮像部を用いて認識される信号機の点灯状況の信頼性を向上させることができる。
2.上記実施形態において、
前記決定部は、前記検出部により前記信号機の同じ点灯態様が前記所定時間継続して検出されない場合には、前回決定した前記信号機の点灯状況を保持する。
この実施形態によれば、信号機の現在の点灯状況を確実に決定することができない限りは、信号機の点灯状況を示す情報を変更しないため、精度を向上させることが可能となる。
前記決定部は、前記検出部により前記信号機の同じ点灯態様が前記所定時間継続して検出されない場合には、前回決定した前記信号機の点灯状況を保持する。
この実施形態によれば、信号機の現在の点灯状況を確実に決定することができない限りは、信号機の点灯状況を示す情報を変更しないため、精度を向上させることが可能となる。
3.上記実施形態において、
前記所定時間は、前記検出部により前記信号機の同じ点灯態様が継続して検出される所定回数で規定され、
前記所定回数は2回以上である。
この実施形態によれば、所定時間の代わりに所定回数を用いる場合においても、所定時間を用いる場合と同様に、信号機の現在の点灯状況を精度よく且つ正確に認識することができる。
前記所定時間は、前記検出部により前記信号機の同じ点灯態様が継続して検出される所定回数で規定され、
前記所定回数は2回以上である。
この実施形態によれば、所定時間の代わりに所定回数を用いる場合においても、所定時間を用いる場合と同様に、信号機の現在の点灯状況を精度よく且つ正確に認識することができる。
4.上記実施形態において、
前記決定部で決定された前記信号機の点灯状況を示す情報を表示部(例えば130)に出力する出力部(例えば123)を更に備える。
この実施形態によれば、信号機の点灯状況をユーザ(例えば運転者)に通知することができる。
前記決定部で決定された前記信号機の点灯状況を示す情報を表示部(例えば130)に出力する出力部(例えば123)を更に備える。
この実施形態によれば、信号機の点灯状況をユーザ(例えば運転者)に通知することができる。
5.上記実施形態において、
前記決定部は、前記所定時間を用いた前記信号機の点灯状況の決定を、前記移動体の進行可否を指示する前記信号機の色表示に対して行う。
この実施形態によれば、信号機の色表示(点灯色(赤、青、黄))の点灯状況を精度よく且つ正確に認識することができる。
前記決定部は、前記所定時間を用いた前記信号機の点灯状況の決定を、前記移動体の進行可否を指示する前記信号機の色表示に対して行う。
この実施形態によれば、信号機の色表示(点灯色(赤、青、黄))の点灯状況を精度よく且つ正確に認識することができる。
6.上記実施形態において、
前記決定部は、前記移動体の進行可能方向を指示する前記信号機の矢印表示について点灯状況を決定する場合、前記所定時間の代わりに、前記所定時間より長い第2所定時間を用いる。
この実施形態によれば、公知の画像処理では検出が難しく、誤検出や未検出が生じ易い信号機の矢印表示についても、点灯状況を精度よく且つ正確に認識することができる。
前記決定部は、前記移動体の進行可能方向を指示する前記信号機の矢印表示について点灯状況を決定する場合、前記所定時間の代わりに、前記所定時間より長い第2所定時間を用いる。
この実施形態によれば、公知の画像処理では検出が難しく、誤検出や未検出が生じ易い信号機の矢印表示についても、点灯状況を精度よく且つ正確に認識することができる。
7.上記実施形態において、
前記信号機の点灯に関する情報を無線通信により受信する通信部(例えば140)を更に備え、
前記決定部は、前記検出部により前記信号機の同じ点灯態様が継続して検出された時間が前記所定時間未満であっても、前記通信部で前記情報を受信した場合には、前記情報に基づいて前記信号機の点灯状況を決定する。
この実施形態によれば、無線通信により受信した情報は、画像から検出される情報に比べて信頼性が高い傾向にあるため、そのような情報を積極的に用いることで、信号機の点灯状況をより精度よく且つ正確に認識することができる。
前記信号機の点灯に関する情報を無線通信により受信する通信部(例えば140)を更に備え、
前記決定部は、前記検出部により前記信号機の同じ点灯態様が継続して検出された時間が前記所定時間未満であっても、前記通信部で前記情報を受信した場合には、前記情報に基づいて前記信号機の点灯状況を決定する。
この実施形態によれば、無線通信により受信した情報は、画像から検出される情報に比べて信頼性が高い傾向にあるため、そのような情報を積極的に用いることで、信号機の点灯状況をより精度よく且つ正確に認識することができる。
8.上記実施形態において、
前記通信部は、前記移動体が走行する道路に設置された外部通信装置(例えばCA)から、前記移動体の周辺に存在する複数の信号機について前記情報を受信し、
前記決定部は、
前記複数の信号機のうち、前記通信部で前記情報を受信してからの経過時間が規定期間内である信号機については、前記情報に基づいて点灯状況を決定し、
前記経過時間が前記規定期間外である信号機については、前記検出部での検出結果に基づいて前記点灯状況を決定する。
この実施形態によれば、認識装置による情報の取得状況に応じて、各信号機の点灯状況を適切に認識することができる。
前記通信部は、前記移動体が走行する道路に設置された外部通信装置(例えばCA)から、前記移動体の周辺に存在する複数の信号機について前記情報を受信し、
前記決定部は、
前記複数の信号機のうち、前記通信部で前記情報を受信してからの経過時間が規定期間内である信号機については、前記情報に基づいて点灯状況を決定し、
前記経過時間が前記規定期間外である信号機については、前記検出部での検出結果に基づいて前記点灯状況を決定する。
この実施形態によれば、認識装置による情報の取得状況に応じて、各信号機の点灯状況を適切に認識することができる。
9.上記実施形態において、
前記検出部は、前記撮像部で得られた画像内に複数の信号機が含まれる場合、前記移動体の進行方向の信号機であることを示す確実度を信号機ごとに求め、前記複数の信号機のうち前記確実度が最も高い信号機について点灯態様を検出する。
この実施形態によれば、撮像部で取得された画像内に複数の信号機が含まれる場合であっても、車両の進行方向の信号機を特定し、特定した信号機についての点灯態様を検出することができる。つまり、車両の進行方向の信号機についての点灯状況を認識することができる。
前記検出部は、前記撮像部で得られた画像内に複数の信号機が含まれる場合、前記移動体の進行方向の信号機であることを示す確実度を信号機ごとに求め、前記複数の信号機のうち前記確実度が最も高い信号機について点灯態様を検出する。
この実施形態によれば、撮像部で取得された画像内に複数の信号機が含まれる場合であっても、車両の進行方向の信号機を特定し、特定した信号機についての点灯態様を検出することができる。つまり、車両の進行方向の信号機についての点灯状況を認識することができる。
10.上記実施形態において、
前記決定部は、前記信号機の点灯状況の決定結果が前記移動体の操舵および車速の自動制御に用いられる場合、前記決定結果が前記自動制御に用いられない場合に比べて前記所定時間を長く設定する。
この実施形態によれば、信号機の点灯状況の決定結果を自動運転に用いる場合、当該決定結果をより正確に得ることができるため、自動運転の精度の向上、乗員への違和感の低減が可能となる。
前記決定部は、前記信号機の点灯状況の決定結果が前記移動体の操舵および車速の自動制御に用いられる場合、前記決定結果が前記自動制御に用いられない場合に比べて前記所定時間を長く設定する。
この実施形態によれば、信号機の点灯状況の決定結果を自動運転に用いる場合、当該決定結果をより正確に得ることができるため、自動運転の精度の向上、乗員への違和感の低減が可能となる。
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。
100:認識装置、110:撮像部(カメラ)、120:処理部、121:検出部、122:決定部、123:出力部、130:表示部、140:通信部
Claims (13)
- 移動体に搭載され、信号機の点灯状況を認識する認識装置であって、
前記移動体の外界を周期的に撮像する撮像部と、
前記撮像部で周期的に得られる画像ごとに、画像内に含まれる前記信号機の点灯態様を逐次検出する検出部と、
前記検出部により前記信号機の同じ点灯態様が所定時間継続して検出された場合に、当該点灯態様を前記信号機の点灯状況として決定する決定部と、
を備え、
前記所定時間は、前記撮像部の撮像周期の2倍以上である、ことを特徴とする認識装置。 - 前記決定部は、前記検出部により前記信号機の同じ点灯態様が前記所定時間継続して検出されない場合には、前回決定した前記信号機の点灯状況を保持する、ことを特徴とする請求項1に記載の認識装置。
- 前記所定時間は、前記検出部により前記信号機の同じ点灯態様が継続して検出される所定回数で規定され、
前記所定回数は2回以上である、ことを特徴とする請求項1又は2に記載の認識装置。 - 前記決定部で決定された前記信号機の点灯状況を示す情報を表示部に出力する出力部を更に備える、ことを特徴とする請求項1乃至3のいずれか1項に記載の認識装置。
- 前記決定部は、前記所定時間を用いた前記信号機の点灯状況の決定を、前記移動体の進行可否を指示する前記信号機の色表示に対して行う、ことを特徴とする請求項1乃至4のいずれか1項に記載の認識装置。
- 前記決定部は、前記移動体の進行可能方向を指示する前記信号機の矢印表示について点灯状況を決定する場合、前記所定時間の代わりに、前記所定時間より長い第2所定時間を用いる、ことを特徴とする請求項5に記載の認識装置。
- 前記信号機の点灯に関する情報を無線通信により受信する通信部を更に備え、
前記決定部は、前記検出部により前記信号機の同じ点灯態様が継続して検出された時間が前記所定時間未満であっても、前記通信部で前記情報を受信した場合には、前記情報に基づいて前記信号機の点灯状況を決定する、ことを特徴とする請求項1乃至6のいずれか1項に記載の認識装置。 - 前記通信部は、前記移動体が走行する道路に設置された外部通信装置から、前記移動体の周辺に存在する複数の信号機について前記情報を受信し、
前記決定部は、
前記複数の信号機のうち、前記通信部で前記情報を受信してからの経過時間が規定期間内である信号機については、前記情報に基づいて点灯状況を決定し、
前記経過時間が前記規定期間外である信号機については、前記検出部での検出結果に基づいて前記点灯状況を決定する、ことを特徴とする請求項7に記載の認識装置。 - 前記検出部は、前記撮像部で得られた画像内に複数の信号機が含まれる場合、前記移動体の進行方向の信号機であることを示す確実度を信号機ごとに求め、前記複数の信号機のうち前記確実度が最も高い信号機について点灯態様を検出する、ことを特徴とする請求項1乃至8のいずれか1項に記載の認識装置。
- 前記決定部は、前記信号機の点灯状況の決定結果が前記移動体の操舵および車速の自動制御に用いられる場合、前記決定結果が前記自動制御に用いられない場合に比べて前記所定時間を長く設定する、ことを特徴とする請求項1乃至9のいずれか1項に記載の認識装置。
- 請求項1乃至10のいずれか1項に記載の認識装置を備えることを特徴とする移動体。
- 信号機の点灯状況を認識する認識方法であって、
移動体の外界を周期的に撮像する撮像部で周期的に得られる画像ごとに、画像内に含まれる前記信号機の点灯態様を逐次検出する検出工程と、
前記検出工程で前記信号機の同じ点灯態様が所定時間継続して検出された場合に、当該点灯態様を前記信号機の点灯状況として決定する決定工程と、
を含み、
前記所定時間は、前記撮像部の撮像周期の2倍以上である、ことを特徴とする認識方法。 - 請求項12に記載の認識方法の各工程をコンピュータに実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021024376A JP2022126350A (ja) | 2021-02-18 | 2021-02-18 | 認識装置、移動体、認識方法、およびプログラム |
US17/582,046 US12039787B2 (en) | 2021-02-18 | 2022-01-24 | Recognition device, moving object, recognition method, and storage medium |
CN202210095068.7A CN114954241A (zh) | 2021-02-18 | 2022-01-26 | 识别装置、移动体、识别方法以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021024376A JP2022126350A (ja) | 2021-02-18 | 2021-02-18 | 認識装置、移動体、認識方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022126350A true JP2022126350A (ja) | 2022-08-30 |
Family
ID=82801520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021024376A Pending JP2022126350A (ja) | 2021-02-18 | 2021-02-18 | 認識装置、移動体、認識方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US12039787B2 (ja) |
JP (1) | JP2022126350A (ja) |
CN (1) | CN114954241A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4105108B1 (en) * | 2021-06-15 | 2024-05-22 | Ford Global Technologies, LLC | A method and system for controlling a user-initiated vehicle-operation-command |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009061871A (ja) | 2007-09-05 | 2009-03-26 | Auto Network Gijutsu Kenkyusho:Kk | 画像表示システム及び画像表示装置 |
DE102013100804A1 (de) * | 2013-01-28 | 2014-07-31 | Conti Temic Microelectronic Gmbh | Verfahren zur Erkennung von gepulst betriebenen Lichtquellen |
JP7255706B2 (ja) * | 2019-11-12 | 2023-04-11 | 日産自動車株式会社 | 信号機認識方法及び信号機認識装置 |
MX2022005541A (es) * | 2019-11-12 | 2022-11-28 | Nissan Motor | Metodo de reconocimiento de semaforo y dispositivo de reconocimiento de semaforo. |
US11490023B2 (en) * | 2020-10-30 | 2022-11-01 | Ford Global Technologies, Llc | Systems and methods for mitigating light-emitting diode (LED) imaging artifacts in an imaging system of a vehicle |
-
2021
- 2021-02-18 JP JP2021024376A patent/JP2022126350A/ja active Pending
-
2022
- 2022-01-24 US US17/582,046 patent/US12039787B2/en active Active
- 2022-01-26 CN CN202210095068.7A patent/CN114954241A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220262134A1 (en) | 2022-08-18 |
CN114954241A (zh) | 2022-08-30 |
US12039787B2 (en) | 2024-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3121076A2 (en) | Vehicle control device | |
CN106097774A (zh) | 车道变更支援装置 | |
JP7152339B2 (ja) | 走行制御装置、走行制御方法、およびプログラム | |
CN111532267B (zh) | 车辆及其控制装置以及控制方法 | |
CN111731296B (zh) | 行驶控制装置、行驶控制方法以及存储程序的存储介质 | |
CN109720343B (zh) | 车辆控制设备 | |
JP7157780B2 (ja) | 自動運転車用情報提示装置 | |
JP2017156954A (ja) | 自動運転システム | |
CN114365208B (zh) | 驾驶辅助装置、驾驶辅助方法以及存储介质 | |
US20190278266A1 (en) | Vehicle controlling apparatus and vehicle | |
US12039787B2 (en) | Recognition device, moving object, recognition method, and storage medium | |
JP4118743B2 (ja) | 車載システム | |
US11820282B2 (en) | Notification apparatus, vehicle, notification method, and storage medium | |
JP2021142839A (ja) | 車両及びその制御装置 | |
JP7198741B2 (ja) | 車両操作権管理装置、車両操作権管理方法及びプログラム | |
CN115230732A (zh) | 远程功能选择装置 | |
JPWO2019038918A1 (ja) | 走行制御装置、および車両 | |
JP2021143908A (ja) | 車両制御装置、車両、車両制御方法およびプログラム | |
JP2010237828A (ja) | 車両操作診断装置、車両操作診断方法及びコンピュータプログラム | |
JP7507707B2 (ja) | 制御装置、移動体、制御方法及びプログラム | |
JPWO2020136893A1 (ja) | 通信システム、通信端末、制御方法、プログラム、およびプログラムを記憶する記憶媒体 | |
JP2020142717A (ja) | 車両制御装置、車両制御方法、車両およびプログラム | |
JP7252993B2 (ja) | 制御装置、移動体、制御方法及びプログラム | |
JP2019148900A (ja) | 車両用制御装置、車両及び経路案内装置 | |
JP7044292B1 (ja) | 車両群 |