JP6629169B2 - Traffic light recognition device, vehicle, and traffic light recognition method - Google Patents
Traffic light recognition device, vehicle, and traffic light recognition method Download PDFInfo
- Publication number
- JP6629169B2 JP6629169B2 JP2016222179A JP2016222179A JP6629169B2 JP 6629169 B2 JP6629169 B2 JP 6629169B2 JP 2016222179 A JP2016222179 A JP 2016222179A JP 2016222179 A JP2016222179 A JP 2016222179A JP 6629169 B2 JP6629169 B2 JP 6629169B2
- Authority
- JP
- Japan
- Prior art keywords
- traffic light
- recognition
- vehicle
- traffic
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、カメラが撮像した複数の周辺画像に基づいて信号機を認識する信号機認識装置、車両及び信号機認識方法に関する。 The present invention relates to a traffic signal recognition device, a vehicle, and a traffic signal recognition method for recognizing a traffic signal based on a plurality of peripheral images captured by a camera.
特許文献1では、計算量の増加を抑えながら、充分な応答性の維持が得られるようにした走行環境認識装置を提供することを目的としている([0009]、要約)。当該目的を達成するため、特許文献1(要約)では、撮像装置2の外にもレーダ3を設け、撮像装置2では車両の走行方向の画像情報を得、レーダ3では車両前方の先行車両や静止物までの距離、方位を得る。画像処理装置1は、撮像装置2から得られる画像内で、レーダ3から得た距離と方位により、先行車両の対応付けを行ない、これにより先行車両の認識に必要な画像信号処理が簡単に得られるようにする。その上で静止物、信号機、横断歩道等の位置を推定して車両周囲の走行環境を認識する。また、道路地図装置4は、GISアンテナ5から得た車両位置を道路地図上に対応付け、車両前方の交差点の有無、交差点までの距離情報を画像処理装置1に出力する。
An object of
また、特許文献1では、道路に設けられた信号機を認識する信号機認識処理が開示される。この信号機認識処理では、交差点までの距離と、予め設定してある信号機の高さの知識から、信号機が存在すると推定される領域(信号機領域110)を決定し、その内部の色情報から信号状態を認識する([0111])。
Further,
上記のように、特許文献1では、交差点までの距離及び信号機の高さに基づいて信号機領域110を決定し、その内部の色情報から信号状態を認識する([0111])。しかしながら、例えば車両が下り坂を走行し、先行車両がその先の平坦路を走行している場合、周辺画像において、先行車両は相対的に高い位置に存在することとなる。そのような状態で先行車両が信号機領域110内に入った場合、自車は、先行車両を信号機と誤認識するおそれがある。自車が平坦路を走行し、先行車両がその先の上り坂を走行している場合も同様である。
As described above, in
また、特許文献1では、交差点までの距離及び信号機の高さに基づいて決定した信号機領域110内の色情報から信号状態を認識しているため、信号状態の判定は、各時点の周辺画像それぞれについて個別に行われているものと解される。例えば連続する複数の周辺画像と比較して、単一の周辺画像から得られる色情報は少ないと考えられる。このため、特許文献1では、信号状態の認識精度に改善の余地がある。
Further, in
本発明は上記のような課題を考慮してなされたものであり、信号機の認識精度の向上及び信号機の認識確定の迅速化の少なくとも一方を実現可能な信号機認識装置、車両及び信号機認識方法を提供することを目的とする。 The present invention has been made in consideration of the above-described problems, and provides a traffic signal recognition device, a vehicle, and a traffic signal recognition method capable of realizing at least one of improving the recognition accuracy of a traffic signal and speeding up the determination of the traffic signal. The purpose is to do.
本発明に係る信号機認識装置は、
自車に設けられたカメラが撮像した複数の周辺画像に基づいて信号機を認識する第1信号機認識処理を実行する信号機認識装置であって、
前記第1信号機認識処理において、前記信号機認識装置は、
少なくとも1枚の前記周辺画像から抽出した信号機候補について、その後の周辺画像における高さの変化を判定し、
前記高さの変化に基づいて前記信号機候補が前記信号機であるとの認識を確定し、
前記信号機の情報を出力し、
前記信号機認識装置は、
前記自車の走行路が下り坂であることを示す勾配の閾値である第1勾配閾値と、前記自車の走行路が上り坂であることを示す勾配の閾値である第2勾配閾値の少なくとも一方を設定し、
地図情報データベースに記憶されている、又は勾配センサが検出した前記自車の走行路の勾配情報を取得し、
第1利用条件を満たす場合、前記第1信号機認識処理の認識結果を利用し、
前記第1利用条件を満たさない場合、前記第1信号機認識処理の認識結果を利用せず、
前記第1利用条件は、前記勾配情報が示す勾配が前記第1勾配閾値を下回ること、及び前記勾配が第2勾配閾値を上回ることの少なくとも一方を含む
ことを特徴とする。
The traffic light recognition device according to the present invention,
A traffic signal recognition device that performs a first traffic signal recognition process for recognizing a traffic signal based on a plurality of peripheral images captured by a camera provided in a vehicle,
In the first traffic light recognition process, the traffic light recognition device includes:
For a traffic light candidate extracted from at least one of the peripheral images, a change in height in a subsequent peripheral image is determined,
Based on the change in the height, determine the recognition that the traffic light candidate is the traffic light,
Outputting information on the traffic light ,
The traffic light recognition device,
At least a first gradient threshold that is a gradient threshold indicating that the traveling path of the own vehicle is a downhill, and a second gradient threshold that is a gradient threshold indicating that the traveling path of the own vehicle is an uphill. Set one,
Acquires the gradient information of the traveling path of the own vehicle stored in the map information database or detected by the gradient sensor,
When the first use condition is satisfied, the recognition result of the first traffic light recognition process is used,
If the first use condition is not satisfied, the recognition result of the first signal recognition process is not used,
The first use condition is characterized in that the gradient indicated by the gradient information includes at least one of being lower than the first gradient threshold and the gradient being higher than a second gradient threshold .
本発明によれば、信号機候補の高さの変化に基づいて信号機の認識を確定する。このため、例えば1枚の周辺画像のみから信号機の認識を確定する場合と比較して、より多い情報量に基づいて信号機の認識を確定することが可能となる。従って、信号機の認識精度を高めることが可能となる。 According to the present invention, recognition of a traffic light is determined based on a change in height of a traffic light candidate. For this reason, it becomes possible to determine the recognition of the traffic signal based on a larger amount of information than in the case where the recognition of the traffic signal is determined from only one peripheral image, for example. Therefore, it is possible to improve the recognition accuracy of the traffic light.
また、1枚の周辺画像のみから信号機の認識を確定する処理等の他の処理と並行して第1信号機認識処理を用いる場合、第1信号機認識処理では、より多い情報量に基づいて信号機の認識を確定するため、信号機の認識確定を早めることが可能となる。 When the first traffic light recognition process is used in parallel with other processes such as a process of determining the traffic light recognition from only one peripheral image, the first traffic light recognition process uses the traffic light based on a larger amount of information. Since the recognition is determined, it is possible to hasten the recognition of the traffic light.
前記信号機認識装置は、前記自車の走行路が下り坂であることを示す勾配の閾値である第1勾配閾値と、前記自車の走行路が上り坂であることを示す勾配の閾値である第2勾配閾値の少なくとも一方を設定する。前記信号機認識装置は、地図情報データベースに記憶されている、又は勾配センサが検出した前記自車の走行路の勾配情報を取得する。前記信号機認識装置は、第1利用条件を満たす場合、前記第1信号機認識処理の認識結果を利用する。前記信号機認識装置は、前記第1利用条件を満たさない場合、前記第1信号機認識処理の認識結果を利用しない。前記第1利用条件は、前記勾配情報が示す勾配が前記第1勾配閾値を下回ること、及び前記勾配が第2勾配閾値を上回ることの少なくとも一方を含む。 The traffic signal recognition device includes a first gradient threshold value that is a gradient threshold indicating that the traveling path of the own vehicle is a downhill, and a gradient threshold value that indicates that the traveling path of the own vehicle is an uphill. setting at least one of the second slope threshold. The traffic signal recognition device is stored in the map information database, or gradient sensor acquires gradient information of the road of the vehicle detected. The traffic signal recognition device, when the first usage condition is satisfied, using the recognition result of the first traffic recognition process. The traffic signal recognition device, does not satisfy the first use condition, do not want to use the recognition result of the first traffic recognition process. The first use condition, said that the gradient information slope indicates less than the first slope threshold, and at least one of the including of the said gradient is above a second slope threshold.
これにより、自車の走行路が下り坂又は上り坂である場合、第1信号機認識処理の認識結果を利用することで、高精度に信号機を認識可能となる。 Accordingly, when the traveling path of the own vehicle is a downhill or an uphill, the traffic signal can be recognized with high accuracy by using the recognition result of the first traffic signal recognition process.
なお、前記第1利用条件が満たされない場合、前記信号機認識装置は、少なくとも1枚の前記周辺画像から前記信号機候補を抽出すると共に、前記信号機候補の抽出に用いた前記周辺画像に現れる前記信号機候補の特性(高さ、色、形状等)に基づいて前記信号機候補が前記信号機であるとの認識を確定する第3信号機認識処理を実行してもよい。 When the first use condition is not satisfied, the traffic light recognition device extracts the traffic light candidate from at least one of the peripheral images, and extracts the traffic light candidate appearing in the peripheral image used for extracting the traffic light candidate. A third traffic light recognition process for determining that the traffic light candidate is the traffic light based on the characteristics (height, color, shape, etc.) of the traffic light may be executed.
前記第1信号機認識処理において、前記信号機認識装置は、前記自車と前記信号機候補の距離が短くなるに従って前記周辺画像内における前記信号機候補の高さが高くなることを前記信号機の認識確定条件の1つとしてもよい。これにより、非常に遠方に存在する信号機以外の光源、先行車両のテールライト等が信号機であると誤認識することを防止することが可能となる。 In the first traffic light recognition process, the traffic light recognition device determines that the height of the traffic light candidate in the peripheral image increases as the distance between the vehicle and the traffic light candidate decreases, It may be one. As a result, it is possible to prevent a light source other than a traffic light very distant, a taillight of a preceding vehicle, and the like from being erroneously recognized as a traffic light.
前記第1信号機認識処理では、前記信号機認識装置は、前記自車が走行する道路の上側又はその付近に前記信号機候補が位置することを前記信号機の認識確定条件の1つとしてもよい。これにより、信号機の認識に要する演算負荷を低減することが可能となる。 In the first traffic light recognition process, the traffic light recognition device may determine that the traffic light candidate is located above or near a road on which the vehicle travels, as one of the traffic light recognition determination conditions. As a result, it is possible to reduce the calculation load required for recognizing the traffic light.
前記第1信号機認識処理において、前記信号機認識装置は、前記少なくとも1枚の周辺画像から抽出した前記信号機候補について、その後の周辺画像における前記自車と前記信号機候補との距離の変化及び前記信号機候補の高さの変化を判定してもよい。前記信号機認識装置は、前記距離の変化及び前記高さの変化に基づいて前記信号機候補が前記信号機であるとの認識を確定してもよい。これにより、信号機候補の高さの変化に加え、自車と信号機候補の距離の変化に基づいて信号機の認識を確定する。従って、より高精度に信号機を認識することが可能となる。 In the first traffic light recognition process, the traffic light recognition device determines, for the traffic light candidate extracted from the at least one peripheral image, a change in a distance between the vehicle and the traffic light candidate in a subsequent peripheral image and the traffic light candidate. May be determined. The traffic light recognition device may determine that the traffic light candidate is the traffic light based on the change in the distance and the change in the height. Thus, the recognition of the traffic light is determined based on the change in the distance between the own vehicle and the traffic light candidate in addition to the change in the height of the traffic light candidate. Therefore, it is possible to recognize the traffic light with higher accuracy.
前記信号機認識装置は、地図情報に基づいて前記信号機が存在するはずの位置である信号機想定位置又は前記信号機が存在するはずの領域である信号機想定領域を設定してもよい。前記信号機認識装置は、前記信号機候補の位置と前記信号機想定位置の距離が距離閾値を下回ること、又は前記信号機候補が前記信号機想定領域内にあることを前記信号機の認識確定条件の1つとしてもよい。これにより、信号機が存在する位置又は領域を基準として信号機の認識を行うことで、信号機の認識精度をさらに高めることが可能となる。 The traffic signal recognition device may set a traffic signal assumed position, which is a position where the traffic signal should exist, or a traffic signal assumed area, which is an area where the traffic signal should exist, based on the map information. The traffic signal recognition device may be that the distance between the position of the traffic light candidate and the assumed traffic light position is less than a distance threshold, or that the traffic light candidate is within the traffic light assumed area as one of the recognition decision conditions of the traffic light. Good. This makes it possible to further increase the recognition accuracy of the traffic light by recognizing the traffic light based on the position or area where the traffic light exists.
前記信号機認識装置は、前記第1信号機認識処理により認識を確定した前記信号機をトラッキングしながら前記信号機の情報を連続的に出力してもよい。これにより、高精度に認識した信号機を、時間の経過に応じて関連付けながら利用することが可能となる。 The traffic light recognition device may continuously output information on the traffic light while tracking the traffic light whose recognition has been determined by the first traffic light recognition process. This makes it possible to use the traffic signal recognized with high accuracy while associating it with the passage of time.
本発明に係る車両は、
上記の信号機認識装置と、
前記信号機認識装置が認識した前記信号機の情報を用いて加減速を自動的に制御する加減速制御部と
を備えることを特徴とする。
The vehicle according to the present invention includes:
Said traffic light recognition device,
An acceleration / deceleration control unit that automatically controls acceleration / deceleration using information on the traffic signal recognized by the traffic signal recognition device.
これにより、信号機の認識精度の向上及び信号機の認識確定の迅速化の少なくとも一方が実現可能となるため、車両の商品性を高めることが可能となる。 This makes it possible to improve at least one of the recognition accuracy of the traffic light and the speedy determination of the recognition of the traffic light, so that the commercial value of the vehicle can be improved.
本発明に係る信号機認識方法は、自車に設けられたカメラが撮像した複数の周辺画像に
基づいて信号機を認識するものであって、
少なくとも1枚の前記周辺画像から抽出した信号機候補について、その後の周辺画像における高さの変化を判定するステップと、
前記高さの変化に基づいて前記信号機候補が前記信号機であるとの認識を確定する第1信号機認識処理を実行するステップと、
前記自車の走行路が下り坂であることを示す勾配の閾値である第1勾配閾値と、前記自車の走行路が上り坂であることを示す勾配の閾値である第2勾配閾値の少なくとも一方を設定するステップと、
地図情報データベースに記憶されている、又は勾配センサが検出した前記自車の走行路の勾配情報を取得するステップと、
を有し、
第1利用条件を満たす場合、前記第1信号機認識処理の認識結果を利用し、
前記第1利用条件を満たさない場合、前記第1信号機認識処理の認識結果を利用せず、
前記第1利用条件は、前記勾配情報が示す勾配が前記第1勾配閾値を下回ること、及び前記勾配が第2勾配閾値を上回ることの少なくとも一方を含む
ことを特徴とする。
Traffic signal recognition method according to the present invention, a camera provided on the vehicle is not more of also you recognize traffic based on the plurality of peripheral image captured,
Even without least the extracted traffic signal candidates from a single of the peripheral image, a step of determining the change in height in the subsequent peripheral image,
Performing a first traffic light recognition process for determining that the traffic light candidate is the traffic light based on the change in height ;
At least a first gradient threshold that is a gradient threshold indicating that the traveling path of the own vehicle is a downhill, and a second gradient threshold that is a gradient threshold indicating that the traveling path of the own vehicle is an uphill. Setting one,
A step of acquiring gradient information of the traveling path of the vehicle stored in the map information database or detected by the gradient sensor;
Has,
When the first use condition is satisfied, the recognition result of the first traffic light recognition process is used,
If the first use condition is not satisfied, the recognition result of the first signal recognition process is not used,
The first use condition is characterized in that the gradient indicated by the gradient information includes at least one of being lower than the first gradient threshold and the gradient being higher than a second gradient threshold .
本発明によれば、信号機の認識精度の向上及び信号機の認識確定の迅速化の少なくとも一方を実現可能となる。 ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to implement at least one of the improvement of the recognition accuracy of a traffic light, and the speedy determination of the recognition of a traffic light.
A.一実施形態
<A−1.構成>
[A−1−1.全体構成]
図1は、本発明の一実施形態に係る走行制御装置としての走行電子制御装置36(以下「走行ECU36」又は「ECU36」という。)を含む車両10の構成を示すブロック図である。車両10(以下「自車10」ともいう。)は、走行ECU36に加え、車両周辺センサ群20と、車体挙動センサ群22と、運転操作センサ群24と、通信装置26と、ヒューマン・マシン・インタフェース28(以下「HMI28」という。)と、駆動力制御システム30と、制動力制御システム32と、電動パワーステアリングシステム34(以下「EPSシステム34」という。)とを有する。
A. One Embodiment <A-1. Configuration>
[A-1-1. overall structure]
FIG. 1 is a block diagram showing a configuration of a
[A−1−2.車両周辺センサ群20]
車両周辺センサ群20は、車両10の周辺に関する情報(以下「車両周辺情報Ic」ともいう。)を検出する。車両周辺センサ群20には、複数の車外カメラ50と、複数のレーダ52と、LIDAR54(Light Detection And Ranging)と、グローバル・ポジショニング・システム・センサ56(以下「GPSセンサ56」という。)とが含まれる。
[A-1-2. Vehicle Peripheral Sensor Group 20]
The vehicle
複数の車外カメラ50(以下「カメラ50」ともいう。)は、車両10の周辺(前方、側方及び後方)を撮像した周辺画像Fsに関する画像情報Iimageを出力する。各カメラ50は、周辺画像Fsを連続的に取得する。換言すると、各カメラ50は、周辺画像Fsを動画として取得するビデオカメラである。但し、カメラ50は、例えば、後述する第1例外認識処理又は第2例外認識処理に利用する観点からすれば、周辺画像Fsを連続的に取得可能なスチルカメラであってもよい。
The plurality of out-of-vehicle cameras 50 (hereinafter, also referred to as “
複数のレーダ52は、車両10の周辺(前方、側方及び後方)に送信した電磁波に対する反射波を示すレーダ情報Iradarを出力する。LIDAR54は、車両10の全方位にレーザーを連続的に発射し、その反射波に基づいて反射点の三次元位置を測定して三次元情報Ilidarとして出力する。GPSセンサ56は、車両10の現在位置Pcurを検出する。車外カメラ50、レーダ52、LIDAR54及びGPSセンサ56は、車両周辺情報Icを認識する周辺認識装置である。
The plurality of
[A−1−3.車体挙動センサ群22]
車体挙動センサ群22は、車両10(特に車体)の挙動に関する情報(以下「車体挙動情報Ib」ともいう。)を検出する。車体挙動センサ群22には、車速センサ60と、加速度センサ62と、ヨーレートセンサ64と、傾斜センサ66とが含まれる。
[A-1-3. Body behavior sensor group 22]
The vehicle body
車速センサ60は、車両10の車速V[km/h]及び進行方向Dtを検出する。加速度センサ62は、車両10の加速度G[m/s/s]を検出する。加速度Gは、前後加速度α、横加速度Glat及び上下加速度Gvを含む(一部の方向のみの加速度Gとしてもよい。)。
The
ヨーレートセンサ64は、車両10のヨーレートY[rad/s]を検出する。傾斜センサ66(勾配センサ)は、車両10の進行方向Dtに対する車両10(車体)の傾斜角A[°]を検出する。車体のピッチングを無視すれば、傾斜角Aは、自車10の走行レーン302の勾配Gr[°]を意味する。
The
[A−1−4.運転操作センサ群24]
運転操作センサ群24は、運転者による運転操作に関する情報(以下「運転操作情報Io」ともいう。)を検出する。運転操作センサ群24には、アクセルペダルセンサ80と、ブレーキペダルセンサ82と、舵角センサ84と、操舵トルクセンサ86とが含まれる。
[A-1-4. Driving operation sensor group 24]
The driving
アクセルペダルセンサ80(以下「APセンサ80」ともいう。)は、アクセルペダル90の操作量θap(以下「AP操作量θap」ともいう。)[%]を検出する。ブレーキペダルセンサ82(以下「BPセンサ82」ともいう。)は、ブレーキペダル92の操作量θbp(以下「BP操作量θbp」ともいう。)[%]を検出する。舵角センサ84は、ステアリングハンドル94の舵角θst[deg]を検出する。操舵トルクセンサ86は、ステアリングハンドル94に加えられた操舵トルクTst[N・m]を検出する。
The accelerator pedal sensor 80 (hereinafter also referred to as “
[A−1−5.通信装置26]
通信装置26は、外部機器との無線通信を行う。ここでの外部機器には、例えば、交通情報サーバとしての外部サーバ250が含まれる。交通情報サーバは、渋滞情報、事故情報、工事情報等の交通情報を各車両10に対して提供する。或いは、外部サーバ250は、経路案内サーバであってもよい。経路案内サーバは、通信装置26から受信した車両10の現在位置Pcur及び目標地点Pgoalに基づいて、目標地点Pgoalまでの予定経路Rvを走行ECU36に代わって生成又は算出する。
[A-1-5. Communication device 26]
The
なお、本実施形態の通信装置26は、車両10に搭載(又は常時固定)されているものを想定しているが、例えば、携帯電話機又はスマートフォンのように車両10の外部へ持ち運び可能なものであってもよい。
Note that the
[A−1−6.HMI28]
HMI28は、乗員からの操作入力を受け付けると共に、乗員に対して各種情報の提示を、視覚的、聴覚的及び触覚的に行う。HMI28には、自動運転スイッチ110(以下「自動運転SW110」ともいう。)と、スピーカ112と、表示部114とが含まれる。
[A-1-6. HMI28]
The
自動運転SW110は、乗員の操作により自動運転制御の開始及び終了を指令するためのスイッチである。自動運転SW110に加えて又はこれに代えて、その他の方法(図示しないマイクロホンを介しての音声入力等)により自動運転制御の開始又は終了を指令することも可能である。表示部114は、例えば、液晶パネル又は有機ELパネルを含む。表示部114は、タッチパネルとして構成されてもよい。
The
[A−1−7.駆動力制御システム30]
駆動力制御システム30は、エンジン120(駆動源)及び駆動電子制御装置122(以下「駆動ECU122」という。)を有する。上述のAPセンサ80及びアクセルペダル90を駆動力制御システム30の一部として位置付けてもよい。駆動ECU122は、AP操作量θap等を用いて車両10の駆動力制御を実行する。駆動力制御に際し、駆動ECU122は、エンジン120の制御を介して車両10の走行駆動力Fdを制御する。
[A-1-7. Driving force control system 30]
The drive
[A−1−8.制動力制御システム32]
制動力制御システム32は、ブレーキ機構130及び制動電子制御装置132(以下「制動ECU132」という。)を有する。上述のBPセンサ82及びブレーキペダル92を制動力制御システム32の一部として位置付けてもよい。ブレーキ機構130は、ブレーキモータ(又は油圧機構)等によりブレーキ部材を作動させる。
[A-1-8. Braking force control system 32]
The braking
制動ECU132は、BP操作量θbp等を用いて車両10の制動力制御を実行する。制動力制御に際し、制動ECU132は、ブレーキ機構130等の制御を介して車両10の制動力Fbを制御する。
The braking
[A−1−9.EPSシステム34]
EPSシステム34は、EPSモータ140と、EPS電子制御装置142(以下「EPS ECU142」又は「ECU142」という。)とを有する。上述の舵角センサ84、操舵トルクセンサ86及びステアリングハンドル94をEPSシステム34の一部として位置付けてもよい。
[A-1-9. EPS system 34]
The
EPS ECU142は、走行ECU36からの指令に応じてEPSモータ140を制御して、車両10の舵角θstを制御する。
The
[A−1−10.走行ECU36]
(A−1−10−1.走行ECU36の概要)
走行ECU36は、運転者による運転操作を要さずに目標地点Pgoalまで車両10を運転する自動運転制御を実行するものであり、例えば、中央処理装置(CPU)を含む。ECU36は、入出力部150、演算部152及び記憶部154を有する。
[A-1-10. Travel ECU 36]
(A-1-10-1. Outline of Traveling ECU 36)
The traveling
なお、走行ECU36の機能の一部を車両10の外部に存在する外部サーバ250に担わせることも可能である。例えば、車両10自体では、後述する行動計画部172及び/又は地図データベース200を有さず、上記経路案内サーバから予定経路Rv及び/又は地図情報Imapを取得する構成も可能である。
A part of the functions of the
(A−1−10−2.入出力部150)
入出力部150は、ECU36以外の機器(センサ群20、22、24、通信装置26等)との入出力を行う。
(A-1-10-2. Input / output unit 150)
The input /
(A−1−10−3.演算部152)
演算部152は、各センサ群20、22、24、通信装置26、HMI28及び各ECU122、132、142等からの信号に基づいて演算を行う。そして、演算部152は、演算結果に基づき、通信装置26、駆動ECU122、制動ECU132及びEPS ECU142に対する信号を生成する。
(A-1-10-3. Calculation unit 152)
The
図1に示すように、走行ECU36の演算部152は、周辺認識部170と、行動計画部172と、走行制御部174とを有する。これらの各部は、記憶部154に記憶されているプログラムを実行することにより実現される。前記プログラムは、通信装置26を介して外部サーバ250から供給されてもよい。前記プログラムの一部をハードウェア(回路部品)で構成することもできる。
As illustrated in FIG. 1, the
周辺認識部170は、車両周辺センサ群20からの車両周辺情報Icに基づいてレーンマーク(図3のレーンマーク画像514a、514b、514c参照)及び周辺障害物(図2の先行車両320等)を認識する。例えば、レーンマークは、画像情報Iimageに基づいて認識する。周辺認識部170は、認識したレーンマークに基づいて車両10の走行レーン302(図2等)を認識する。
The
また、周辺障害物は、画像情報Iimage、レーダ情報Iradar及び三次元情報Ilidarを用いて認識する。周辺障害物には、他車(図2の先行車両320等)等の移動物体と、建物、道路標識(例えば信号機330(図2))等の静止物体とが含まれる。周辺障害物が信号機330である場合、周辺認識部170は、信号機330の色C、矢印等を判定する。
The surrounding obstacle is recognized using the image information Iimage, the radar information Iradar, and the three-dimensional information Ilidar. The peripheral obstacle includes a moving object such as another vehicle (such as the preceding
周辺認識部170は、信号機330を認識する信号機認識制御を行う信号機認識部180を有する。信号機認識制御については、図2〜図8を参照して後述する。
The
行動計画部172は、HMI28を介して入力された目標地点Pgoalまでの自車10の予定経路Rvを算出し、予定経路Rvに沿った経路案内を行う。
The
走行制御部174は、車体挙動を制御する各アクチュエータの出力を制御する。ここにいうアクチュエータには、エンジン120、ブレーキ機構130及びEPSモータ140が含まれる。走行制御部174は、アクチュエータの出力を制御することで、車両10(特に車体)の挙動量(以下「車体挙動量Qb」という。)を制御することとなる。ここにいう車体挙動量Qbには、車速V、前後加速度α、舵角θst、横加速度Glat及びヨーレートYが含まれる。
The traveling
走行制御部174は、自車10の加減速を制御する加減速制御部190と、自車10の旋回を制御する旋回制御部192とを有する。加減速制御部190は、自動駆動力制御及び自動制動力制御を実行する、自動駆動力制御は、主としてエンジン120の出力を制御することにより、車両10の走行駆動力Fd(又は正の加速度α)を制御する。自動制動力制御は、主としてブレーキ機構130の出力を制御することにより、車両10の制動力Fb(又は負の加速度α若しくは減速度β)を制御する。旋回制御部192は、自動旋回制御を実行する。自動旋回制御は、主として、EPSモータ140の出力を制御することにより、車両10の舵角θst(又は横加速度Glat若しくはヨーレートY)を制御する。
The traveling
(A−1−10−4.記憶部154)
記憶部154は、演算部152が利用するプログラム及びデータ(地図データベース200を含む。)を記憶する。地図データベース200(以下「地図DB200」という。)には、道路地図の情報(地図情報Imap)が記憶される。
(A-1-10-4. Storage unit 154)
The
記憶部154は、例えば、ランダム・アクセス・メモリ(以下「RAM」という。)を備える。RAMとしては、レジスタ等の揮発性メモリと、フラッシュメモリ等の不揮発性メモリとを用いることができる。また、記憶部154は、RAMに加え、リード・オンリー・メモリ(以下「ROM」という。)を有してもよい。
The
<A−2.本実施形態の自動運転制御>
[A−2−1.本実施形態の自動運転制御の概要]
上記のように、本実施形態の走行ECU36は、自動運転制御を実行する。自動運転制御では、運転者による運転操作を要さずに目標地点Pgoalまで車両10を運転する。但し、自動運転制御では、運転者がアクセルペダル90、ブレーキペダル92又はステアリングハンドル94を操作した場合、当該操作を運転に反映してもよい。本実施形態の自動運転制御では、自動駆動力制御と、自動制動力制御と、自動旋回制御を組み合わせて用いる。
<A-2. Automatic operation control of the present embodiment>
[A-2-1. Overview of automatic operation control according to present embodiment]
As described above, the traveling
自動駆動力制御は、走行駆動力Fdを制御して車両10を走行させる。この際、ECU36は、走行駆動力Fdの目標値(例えば、目標エンジントルク)を設定し、この目標値に応じてアクチュエータ(エンジン120)を制御する。
In the automatic driving force control, the
自動制動力制御は、車両10の制動力Fbを制御して車両10を減速させる。この際、ECU36は、制動力Fbの目標値(例えば、目標減速度βtar)を設定し、この目標値に応じてアクチュエータ(ブレーキ機構130)を制御する。
In the automatic braking force control, the
自動旋回制御は、車両10の舵角θstを制御して車両10を旋回させる。ここにいう車両10の旋回は、カーブ路を走行する場合のみならず、車両10の右左折、走行レーンの変更、別レーンへの合流及び走行レーンの維持を含む。ECU36は、舵角θstの目標値(例えば、目標ヨーレートYtar又は目標横加速度Glattar)を設定し、この目標値に応じてアクチュエータ(EPSモータ140)を制御する。自動旋回制御には、レーン維持アシストシステム制御(以下「LKAS制御」ともいう。LKAS:Lane Keeping Assist System)が含まれる。
The automatic turning control turns the
[A−2−2.信号機認識制御]
(A−2−2−1.検討事項)
図2は、本実施形態の自車10が上り坂310を走行している場面を示す図である。上り坂310は、道路300(以下「走行路300」ともいう。)の一部を成す。道路300は、自車10の走行レーン302と反対レーン(図示せず。図3の反対レーン画像512参照)とを有する。図2では、自車10の走行レーン302において自車10の前を他車320(以下「先行車両320」という。)が走行している。また、上り坂310の先に存在する下り坂312には、信号機330が存在している。図2における仮想線Lxは、自車10の進行方向Dtを示す補助線である。
[A-2-2. Traffic light recognition control]
(A-2-2-1. Considerations)
FIG. 2 is a diagram illustrating a scene in which the
図3は、図2の自車10のカメラ50が取得した周辺画像Fsの一例を簡略的に示す図である。図3の周辺画像Fsには、道路300の画像500(以下「道路画像500」ともいう。)と、先行車両320の画像520(以下「先行車両画像520」ともいう。)と、信号機330の画像530(以下「信号機画像530」ともいう。)とが含まれている。
FIG. 3 is a diagram schematically illustrating an example of the peripheral image Fs acquired by the
道路画像500は、自車10の走行レーン302を示す走行レーン画像502と、反対レーン(図示せず)を示す反対レーン画像512とを含む。走行レーン画像502は、レーンマーク画像514a、514bにより規定され、反対レーン画像512は、レーンマーク画像514b、514cにより規定される。先行車両画像520には、テールライト322の画像522(以下「テールライト画像522」という。)が含まれる。
The
図2の場面では、仮想線Lxよりも下に信号機330が位置している。このため、信号機330が赤である場合、ECU36は、信号機330の発光を先行車両320のテールライト322(図2)の発光と誤認識して、信号機330を信号機として認識できないおそれがある。
In the scene of FIG. 2, the
図4は、本実施形態の自車10が下り坂312を走行している場面を示す図である。図4では、下り坂312の先に存在する平坦路340には、図2とは別の信号機330が存在している。図2と同様、図4における仮想線Lxは、自車10の進行方向Dtを示す補助線である。
FIG. 4 is a diagram illustrating a scene where the
図4において、自車10が平坦路340を走行している場面と比較して、信号機330は、仮想線Lxに対して比較的上方に位置することになる。このため、信号機330の高さH(後述)が所定範囲内にあることを信号機330の認識確定条件とする場合、ECU36は、信号機330を信号機として認識できないおそれがある。
In FIG. 4, the
そこで、本実施形態では、自車10の道路300の勾配Grが比較的大きい場合でも精度良く信号機330を認識可能な第1追跡認識制御及び第2追跡認識制御を用いる(詳細は図5、図7及び図8を参照して後述する。)。
Therefore, in the present embodiment, the first tracking recognition control and the second tracking recognition control capable of accurately recognizing the
(A−2−2−2.信号機認識制御の具体的な流れ)
図5は、本実施形態の信号機認識制御の全体的な流れを示すフローチャートである。上記のように、信号機認識制御は信号機330を認識する制御である。ステップS11において、ECU36は、自車10の現在位置Pcur、進行方向Dt及び地図情報Imapに基づいて自車10が信号機330に接近しているか否かを判定する。当該判定は、例えば、自車10の現在位置Pcur(又は後述する信号機候補Iscの位置)と、自車10前方の信号機330が設けられた交差点の位置(信号機想定位置)との距離Dxが距離閾値THd以内であるか否かにより判定する。或いは、ECU36は、地図情報Imapに基づいて信号機330が存在するはずの領域である信号機想定領域Rsaを設定し、自車10の現在位置Pcur(又は後述する信号機候補Iscの位置)が信号機想定領域Rsa内にあるか否かにより判定してもよい。
(A-2-2-2. Specific flow of traffic light recognition control)
FIG. 5 is a flowchart showing the overall flow of the traffic light recognition control of the present embodiment. As described above, the traffic light recognition control is control for recognizing the
自車10が信号機330に接近している場合(S11:真)、ステップS12に進む。自車10が信号機330に接近していない場合(S11:偽)、今回の処理を終了して、所定時間経過後にステップS11に戻る。
When the
ステップS12において、ECU36は、自車10の走行レーン302の勾配Grを示す勾配情報Igを取得する。本実施形態では、上り坂(図2の上り坂310等)を示す勾配Grを正の値とし、下り坂(図2の下り坂312等)を示す勾配Grを負の値とする。但し、反対の定義も可能である。勾配情報Igの取得は、例えば、地図DB200から現在位置Pcurに対応する情報として取得することができる。或いは、傾斜センサ66(勾配センサ)が検出した傾斜角Aをそのまま用いて又は補正して勾配Grとして取得することも可能である。
In step S12, the
ステップS13において、ECU36は、自車10の走行レーン302が平坦路(図4の平坦路340等)であるか否かを、勾配情報Igに基づいて判定する。具体的には、ECU36は、勾配情報Igが示す勾配Grが負の第1勾配閾値THg1以上であり且つ正の第2勾配閾値THg2以下である場合(THg1≦Gr≦THg2)、自車10の走行レーン302が平坦路であると判定する。反対に、勾配Grが第1勾配閾値THg1未満である場合(Gr<THg1)、換言すると、走行レーン302が下り坂である場合、ECU36は、走行レーン302が平坦路340でないと判定する。また、第2勾配閾値THg2を超える場合(Gr>THg2)、換言すると、走行レーン302が上り坂である場合、ECU36は、走行レーン302が平坦路でないと判定する。
In step S13, the
自車10の走行レーン302が平坦路である場合(S13:真)、ステップS14に進む。ステップS14において、ECU36は、カメラ50からの単一の(換言すると1フレームの)周辺画像Fsから信号機330の認識を確定する通常認識処理(第3信号機認識処理)を実行する。ここにいう「信号機330の認識を確定する」とは、認識されたものが信号機330であるとして、加減速制御に用いることを意味する。通常認識処理については、図6を参照して後述する。
If the traveling
自車10の走行レーン302が平坦路でない場合(S13:偽)、ステップS15、S16に進む。本実施形態では、ステップS15、S16を並列処理する。或いは、ステップS15、S16のいずれか一方を先に、他方を後に行うことも可能である。
If the traveling
ステップS15において、ECU36は、カメラ50からの複数の周辺画像Fsから信号機330の認識を確定する第1例外認識処理(第1信号機認識処理)を実行する。第1例外認識処理については、図7を参照して後述する。
In step S15, the
ステップS16において、ECU36は、カメラ50からの複数の周辺画像Fsから信号機330の認識を確定する第2例外認識処理(第2信号機認識処理)を実行する。第2例外認識処理については、図8を参照して後述する。
In step S16, the
ステップS14又はステップS15、S16の後、ステップS17において、ECU36は、今回の処理(S14〜S16)で信号機330が認識されたか否かを判定する。ここにいう信号機330の認識は、後述する信号機候補Iscが信号機330であるとの認識が確定したことを意味する。信号機330が認識された場合(S17:真)、ステップS18に進む。信号機330が認識されなかった場合(S17:偽)、今回の信号機認識制御を終了して、所定時間の経過後にステップS11に戻る。
After step S14 or steps S15 and S16, in step S17, the
ステップS18において、ECU36は、前回の処理(前回のS14〜S16)で認識した信号機330との関連付け(すなわちトラッキング)が可能であるか否かを判定する。当該判定は、前回の処理から今回の処理までの経過時間及び車速Vに応じて、前回認識された信号機330の存在が予測される位置(又は領域内)に、今回認識された信号機330が存在するか否かにより判定される。
In step S18, the
前回認識された信号機330とのトラッキングが可能である場合(S18:真)、ステップS19において、ECU36は、トラッキングを行う。なお、第1・第2例外認識処理(S15、S16)の両方で信号機330が認識された場合、ECU36は、例えば、前回の処理でトラッキングに用いた方の結果を今回の処理でも利用する。一方、前回認識された信号機330とのトラッキングが可能でない場合(S18:偽)、ステップS20において、ECU36は、トラッキングを開始する。
When tracking with the
ステップS19又はS20の後、ECU36は、認識結果(すなわち、トラッキングした信号機330の情報Is(以下「信号機情報Is」ともいう。))を出力する。ここにいう信号機情報Isには、信号機330の位置Ps(又は距離D)及び色Cが含まれる。
After step S19 or S20, the
なお、ECU36は、トラッキングしている信号機330を自動運転制御の利用対象から外すまでトラッキングし続ける。このため、トラッキング中の信号機330について、ECU36は、連続する周辺画像Fsそれぞれについて(又は所定の間隔で)、利用対象として選択し続けるか否か(換言すると、利用対象除外条件を満たすか否か)を判定する。
Note that the
ここでの利用対象除外条件としては、例えば、以下の条件を単独で又は組み合わせて用いることができる。
・自車10による交差点の通過に伴って信号機330の一部又は全部が周辺画像Fsに存在しなくなったこと
・何らかの理由で信号機330の全部が周辺画像Fsから消失したこと
・信号機330と認識したものが、信号機330とは異なる特性を示したこと(例えば、後述する図7のステップS54及び/又は図8のステップS74と同様の要件が満たされなくなったこと)
As the use object exclusion condition here, for example, the following conditions can be used alone or in combination.
-Some or all of the
[A−2−3.通常認識処理]
図6は、本実施形態における通常認識処理のフローチャートである。上記のように、通常認識処理では、カメラ50からの単一の周辺画像Fs(1つのフレーム)から信号機330の認識(又は検出)を確定する。
[A-2-3. Normal recognition processing]
FIG. 6 is a flowchart of the normal recognition process in the present embodiment. As described above, in the normal recognition processing, recognition (or detection) of the
ステップS31において、ECU36は、単一の周辺画像Fs(ここでは「周辺画像Fs1」と呼ぶ。)内に信号機330の候補Isc(以下「信号機候補Isc」ともいう。)が存在するか否かを判定する。本実施形態において、候補Iscは、信号機330に特有の色Cを有する領域として抽出される。例えば、日本国の車両用信号機330であれば、青色、黄色及び赤色の三色で発光することが通常である。そこで、これら三色のいずれかの色Cが周辺画像Fs1内で検出された場合、候補Iscとして設定する。
In step S31, the
なお、候補Iscが複数存在する場合、ECU36は、それぞれの候補Iscについて通常認識処理を実行する。信号機候補Iscが存在する場合(S31:真)、ステップS32に進む。信号機候補Iscが存在しない場合(S31:偽)、今回の通常認識処理を終了する。
When there are a plurality of candidates Isc, the
ステップS32において、ECU36は、信号機候補Iscが、自車10と同じ方向のレーンLN上又はその付近にあるか否かを判定する。ここにいう「自車10と同じ方向のレーンLN」とは、片側一車線の道路では、自車10の走行レーン302を指す。また、片側二車線の道路では、自車10の走行レーン302とこれに隣り合うレーン(同じ方向に走行するためのもの)を指す。さらに、「付近」は、「レーンLN上」以外に信号機330が存在し得る範囲を指す。
In step S32, the
候補IscがレーンLN上又はその付近にあるか否かの判定は、例えば、次のように行う。すなわち、ECU36は、カメラ50が取得した周辺画像Fs1に基づいて、レーンマークLM及び信号機候補Iscを、平面視での二次元空間上に投影する。そして、レーンマークLMにより規定されるレーンLNの範囲内に候補Iscが位置するか否かを特定する。換言すると、ECU36は、候補IscがレーンLN上に位置するか否かを判定する。
The determination as to whether or not the candidate Isc is on or near the lane LN is performed, for example, as follows. That is, the
信号機候補Iscが、自車10と同じ方向のレーンLN上又はその付近にある場合(S32:真)、ステップS33に進む。信号機候補Iscが、自車10と同じ方向のレーンLN上にない場合(S32:偽)、ステップS35に進む。 When the traffic light candidate Isc is on or near the lane LN in the same direction as the own vehicle 10 (S32: true), the process proceeds to step S33. If the traffic light candidate Isc is not on the lane LN in the same direction as the host vehicle 10 (S32: false), the process proceeds to step S35.
ステップS33において、ECU36は、周辺画像Fs1における信号機候補Iscの距離D及び高さHが信号機330の特徴を示しているか否かを判定する。距離Dは、自車10の現在位置Pcurと信号機候補Iscの位置Pscの間の距離[m]である。車外カメラ50がステレオカメラとして構成される場合、信号機候補Iscの位置Pscは、ステレオカメラそれぞれの周辺画像Fsに基づいて算出する。或いは、周辺画像Fsとレーダ情報Iradarを組み合わせて位置Pscを算出してもよい。或いは、車外カメラ50が単眼カメラとして構成される場合、ECU36は、単眼カメラの撮像時間の異なる2つの周辺画像Fsから単眼立体視により距離Dを求めてもよい。信号機候補Iscの高さHは、周辺画像Fsにおける候補IscとレーンLNとの間の距離[画素数又はm]として定義される。
In step S33, the
周辺画像Fs1において、信号機330の高さHは、距離Dに対応して変化する。すなわち、距離Dが比較的長い場合、高さHは低くなり、距離Dが比較的短い場合、高さHは高くなる。そこで、ECU36は、距離Dに応じて高さHが取り得る範囲を選択し、周辺画像Fs1内の高さHがこの範囲に含まれる場合、候補Iscが信号機330の特徴を示していると判定する。
In the peripheral image Fs1, the height H of the
距離D及び高さHが信号機330の特徴を示している場合(S33:真)、ステップS34に進む。距離D又は高さHが信号機330の特徴を示していない場合(S33:偽)、ステップS35に進む。 If the distance D and the height H indicate the characteristics of the traffic light 330 (S33: true), the process proceeds to step S34. If the distance D or the height H does not indicate the characteristics of the traffic light 330 (S33: false), the process proceeds to step S35.
ステップS34において、ECU36は、信号機候補Iscが信号機330であるとの認識を確定する。これにより、ECU36は、信号機330の色Cに応じて自車10の加減速を制御する。ステップS35において、ECU36は、信号機候補Iscが信号機330でないとの認識を確定する。
In step S34, the
[A−2−4.第1例外認識処理]
図7は、本実施形態における第1例外認識処理のフローチャートである。上記のように、第1例外認識処理では、カメラ50からの複数の周辺画像Fs(フレーム)から信号機330の認識(又は検出)を確定する。第2例外認識処理との相違点は、第1例外認識処理が信号機候補Iscの高さHの変化を用いるのに対し、第2例外認識処理では信号機候補Iscの色Cの変化を用いる点等にある。なお、候補Iscが複数存在する場合、ECU36は、それぞれの候補Iscについて第1例外認識処理を実行する。
[A-2-4. First exception recognition process]
FIG. 7 is a flowchart of the first exception recognition process in the present embodiment. As described above, in the first exception recognition process, recognition (or detection) of the
図7のステップS51、S52は、図6のステップS31、S32と同様である。すなわち、ステップS51において、ECU36は、単一の周辺画像Fs1内に信号機候補Iscが存在するか否かを判定する。本実施形態において、候補Iscは、信号機330に特有の色Cを有する領域として抽出される。
Steps S51 and S52 in FIG. 7 are the same as steps S31 and S32 in FIG. That is, in step S51, the
上記のように、日本国の車両用信号機330であれば、青色、黄色及び赤色の三色で発光することが通常である。そこで、これら三色のいずれかの色Cが周辺画像Fs1内で検出された場合、候補Iscとして設定する。
As described above, the
候補Iscが複数存在する場合、ECU36は、それぞれの候補Iscについて第1例外認識処理を実行する。また、ステップS52において、ECU36は、信号機候補Iscが、自車10と同じ方向のレーンLN上又はその付近にあるか否かを判定する。図6のステップS31、S32と、図7のステップS51、S52とを共通のステップとしてもよい。
If a plurality of candidates Isc exist, the
信号機候補Iscが、自車10と同じ方向のレーンLN上又はその付近にある場合(S52:真)、ステップS53に進む。信号機候補Iscが、自車10と同じ方向のレーンLN上又はその付近にない場合(S52:偽)、ステップS57に進む。 If the traffic light candidate Isc is on or near the lane LN in the same direction as the own vehicle 10 (S52: true), the process proceeds to step S53. If the traffic light candidate Isc is not on or near the lane LN in the same direction as the own vehicle 10 (S52: false), the process proceeds to step S57.
ステップS53において、ECU36は、ステップS51、S52で使用した周辺画像Fs(Fs1)の後の周辺画像Fs(Fs2、Fs3、、、)において、候補Iscの距離Dの変化及び高さHの変化を判定する。ここで用いる周辺画像Fsの数は、距離Dの変化及び高さHの変化を有意に判定可能な数(例えば、2〜300のいずれかの値)とすることができる。なお、距離D及び高さHの初期値をステップS51等において算出してもよい。
In step S53, the
ステップS54において、ECU36は、ステップS53で判定した信号機候補Iscの距離Dの変化及び高さHの変化が信号機330の特徴を示しているか否かを判定する。距離D及び高さHの定義は、通常認識処理(図6)と同様である。
In step S54, the
自車10が信号機330に接近すると、周辺画像Fs上の信号機330は、自車10との距離Dが短くなると共に、高さHが高くなる。そこで、距離Dの変化及び高さHの変化に関する信号機330の特徴は、自車10が進むに連れて距離Dが短くなり且つ高さHが高くなることを用いることができる。
When the
距離Dの変化及び高さHの変化が信号機330の特徴を示している場合(S54:真)、ステップS55において、ECU36は、候補Iscが信号機330であるとの認識を確定する。距離Dの変化又は高さHの変化が信号機330の特徴を示していない場合(S54:偽)、ステップS56に進む。
When the change in the distance D and the change in the height H indicate the characteristics of the traffic light 330 (S54: true), in step S55, the
ステップS56において、ECU36は、候補Iscを判定対象から除外する候補除外条件が成立したか否かを判定する。候補除外条件は、例えば、距離Dの変化又は高さHの変化が明らかに信号機330を示すものではないことを用いることができる。或いは、距離D自体又は高さH自体が明らかに信号機330を示すものではないことを用いてもよい。
In step S56, the
候補除外条件が成立しない場合(S56:偽)、ステップS52に戻る。候補除外条件が成立した場合(S56:真)、ステップS57において、ECU36は、信号機候補Iscが信号機330でないとの認識を確定する。
If the candidate exclusion condition is not satisfied (S56: false), the process returns to step S52. When the candidate exclusion condition is satisfied (S56: true), in step S57, the
[A−2−5.第2例外認識処理]
図8は、本実施形態における第2例外認識処理のフローチャートである。上記のように、第2例外認識処理では、カメラ50からの複数の周辺画像Fs(フレーム)から信号機330の認識(又は検出)を確定する。第1例外認識処理との相違点は、第1例外認識処理が信号機候補Iscの高さHの変化を用いるのに対し、第2例外認識処理では信号機候補Iscの色Cの変化を用いる点等にある。なお、候補Iscが複数存在する場合、ECU36は、それぞれの候補Iscについて第2例外認識処理を実行する。
[A-2-5. Second exception recognition processing]
FIG. 8 is a flowchart of the second exception recognition process in the present embodiment. As described above, in the second exception recognition process, recognition (or detection) of the
図8のステップS71、S72は、図6のステップS31、S32及び図7のステップS51、S52と同様である。すなわち、ステップS71において、ECU36は、単一の周辺画像Fs1内に信号機候補Iscが存在するか否かを判定する。本実施形態において、候補Iscは、信号機330に特有の色Cを有する領域として抽出される。ここでの特有の色は、ステップS51と同様、青色、黄色及び赤色の三色とすることができる。
Steps S71 and S72 in FIG. 8 are the same as steps S31 and S32 in FIG. 6 and steps S51 and S52 in FIG. That is, in step S71, the
或いは、以下の理由により、上記三色のうち青色のみをステップS71で判定してもよい。すなわち、通常認識処理(図6)では単一の周辺画像Fs1のみにおいて候補Iscの抽出及び信号機330の認識確定を行う。これに対し、第2例外認識処理(図8)では複数の周辺画像Fs(Fs1、Fs2、Fs3、、、)における候補Iscの特定の変化を用いて信号機330を認識する。また、上記三色のうち黄色及び赤色については、トンネル等に設けられるナトリウムランプの光にそれらの成分が含まれている一方、青色については、その成分を含む光が稀である。そこで、ステップS71で判定する色を青色のみとするとすることで、候補Iscを抽出する精度を高めることが可能となる。
Alternatively, only the blue color among the three colors may be determined in step S71 for the following reason. That is, in the normal recognition processing (FIG. 6), the extraction of the candidate Isc and the recognition of the
なお、上記の理由から青色を優先的に用いる場合、青色の場合にステップS73を開始するタイミングを、黄色及び赤色よりも早めるように構成することも可能である。例えば、ステップS71の判定に、自車10から信号機候補Iscまでの距離が距離閾値以下であるか否かを加える場合、黄色及び赤色の場合の距離閾値よりも、青色の場合の距離閾値を長くしてもよい。或いは、青色については距離の条件を設けず、黄色及び赤色については距離の条件(閾値等)を設けてもよい。
In addition, when blue is preferentially used for the above-mentioned reason, it is possible to configure so that the timing of starting step S73 in the case of blue is earlier than that of yellow and red. For example, when adding whether or not the distance from the
同様に、ステップS71の判定に、周辺画像Fsにおける候補Iscの面積(周辺画像Fs上)が面積閾値以上であるか否かを加える場合、黄色及び赤色の場合の面積閾値よりも、青色の場合の面積閾値を小さくしてもよい。或いは、青色については面積の条件を設けず、黄色及び赤色については面積の条件(閾値等)を設けてもよい。 Similarly, when determining whether or not the area of the candidate Isc in the peripheral image Fs (on the peripheral image Fs) is equal to or larger than the area threshold, the determination in step S71 is performed in a case where the area is more blue than the area threshold in yellow and red. May be reduced. Alternatively, the condition of the area may not be set for blue, and the condition of the area (threshold or the like) may be set for yellow and red.
また、ステップS72において、ECU36は、信号機候補Iscが、自車10と同じ方向のレーンLN上又はその付近にあるか否かを判定する。図6のステップS31、S32及び図7のステップS51、S52と、図8のステップS71、S72とを共通のステップとしてもよい。
In step S72, the
信号機候補Iscが、自車10と同じ方向のレーンLN上又はその付近にある場合(S72:真)、ステップS73に進む。信号機候補Iscが、自車10と同じ方向のレーンLN上又はその付近にない場合(S72:偽)、ステップS77に進む。 When the traffic light candidate Isc is on or near the lane LN in the same direction as the own vehicle 10 (S72: true), the process proceeds to step S73. If the traffic light candidate Isc is not on or near the lane LN in the same direction as the own vehicle 10 (S72: false), the process proceeds to step S77.
ステップS73において、ECU36は、ステップS71、S72で使用した周辺画像Fs(Fs1)の後の周辺画像Fs(Fs2、Fs3、、、)において、候補Iscの距離Dの変化及び色Cの変化を判定する。ここで用いる周辺画像Fsの数は、距離Dの変化及び色Cの変化を有意に判定可能な数(例えば、2〜300のいずれかの値)とすることができる。なお、距離D及び色Cの初期値をステップS71等において算出してもよい。
In step S73, the
ステップS74において、ECU36は、ステップS73で判定した信号機候補Iscの距離Dの変化及び色Cの変化が信号機330の特徴を示しているか否かを判定する。距離Dの定義は、通常認識処理(図6)及び第1例外認識処理(図7)と同様である。また、距離Dの変化に関する信号機330の特徴は、自車10が進むに連れて距離Dが短くなることを用いることができる。
In step S74, the
色Cに関し、例えば、日本国の車両用信号機330であれば、青→黄→赤→青→黄→赤→・・・の順に変化することが通常である。このため、色Cの変化がこの規則に沿っていれば、候補Iscが信号機330であると認識可能である。そこで、本実施形態では、上記三色のうち二色の変化(例えば、青→黄)が生じたことをもって、色Cの変化が信号機330の特徴を示したと判定する。或いは、上記三色のうち三色の変化(例えば、青→黄→赤)が生じたことをもって、色Cの変化が信号機330の特徴を示したと判定してもよい。或いは、信号機330が矢印信号を含む場合、点灯パターンが複雑となる。この点を考慮し、点灯パターンを地図情報Imapから取得し、ECU36は、当該点灯パターンと色Cの変化が一致しているかを判定してもよい。
Regarding the color C, for example, in the case of a
なお、信号機330では、単一のライトが異なる色で発光するのではなく、複数のライトそれぞれが別々の色(固定色)で発光する。このため、色Cの変化は、位置のずれを伴うものであることを、色Cの変化の条件の一部とすることができる。
In the
距離Dの変化及び色Cの変化が信号機330の特徴を示している場合(S74:真)、ステップS75において、ECU36は、候補Iscが信号機330であるとの認識を確定する。距離Dの変化又は色Cの変化が信号機330の特徴を示していない場合(S74:偽)、ステップS76に進む。
When the change in the distance D and the change in the color C indicate the characteristics of the traffic light 330 (S74: true), in step S75, the
ステップS76において、ECU36は、候補Iscを判定対象から除外する候補除外条件が成立したか否かを判定する。候補除外条件は、例えば、距離Dの変化又は色Cの変化が明らかに信号機330を示すものではないことを用いることができる。或いは、距離D自体又は色C自体が明らかに信号機330を示すものではないことを用いてもよい。
In step S76, the
候補除外条件が成立しない場合(S76:偽)、ステップS72に戻る。候補除外条件が成立した場合(S76:真)、ステップS77において、ECU36は、信号機候補Iscが信号機330でないとの認識を確定する。
If the candidate exclusion condition is not satisfied (S76: false), the process returns to step S72. When the candidate exclusion condition is satisfied (S76: true), in step S77, the
<A−3.本実施形態の効果>
以上のように、本実施形態の第1例外認識処理によれば、信号機候補Iscの高さHの変化に基づいて信号機330の認識を確定する(図5のS15及び図7)。このため、例えば1枚の周辺画像Fsのみから信号機330の認識を確定する場合(図6の通常認識処理等)と比較して、より多い情報量に基づいて信号機330の認識を確定することが可能となる。従って、信号機330の認識精度を高めることが可能となる。
<A-3. Effects of this embodiment>
As described above, according to the first exception recognition process of the present embodiment, recognition of the
また、1枚の周辺画像Fsのみから信号機330の認識を確定する処理等の他の処理と並行して第1例外認識処理を用いる場合、第1例外認識処理では、より多い情報量に基づいて信号機330の認識を確定するため、信号機330の認識確定を早めることが可能となる。
When the first exception recognition process is used in parallel with other processes such as the process of determining the recognition of the
本実施形態において、走行ECU36(信号機認識装置)は、自車10の道路300が下り坂(例えば図2及び図4の下り坂312)であることを示す勾配Grの閾値である第1勾配閾値THg1と、自車10の道路300が上り坂(例えば図2の上り坂310)であることを示す勾配Grの閾値である第2勾配閾値THg2を設定する(図5のS13)。走行ECU36は、地図DB200(地図情報データベース)に記憶されている、又は傾斜センサ66(勾配センサ)が検出した自車10の道路300の勾配情報Igを取得する(図5のS12)。勾配情報Igが示す勾配Grが第1勾配閾値THg1を下回る場合又は勾配Grが第2勾配閾値THg2を上回る場合(S13:偽)、換言すると第1利用条件を満たす場合、走行ECU36は、第1例外認識処理(S15)及び第2例外認識処理(S16)の認識結果を利用する(S21)。勾配Grが第1勾配閾値THg1を上回り且つ第2勾配閾値THg2を下回る場合(S13:真)、換言すると第1利用条件を満たさない場合、第1例外認識処理及び第2例外認識処理の認識結果を利用しない。
In the present embodiment, the traveling ECU 36 (the traffic signal recognition device) determines that the
これにより、自車10の道路300が下り坂312又は上り坂310である場合、第1例外認識処理及び第2例外認識処理の認識結果を利用することで、高精度に信号機330を認識可能となる。
Thus, when the
第1例外認識処理(図7)において、走行ECU36(信号機認識装置)は、自車10と信号機候補Iscの距離Dが短くなるに従って周辺画像Fs内における信号機候補Iscの高さHが高くなることを信号機330の認識確定条件の1つとする(S54)。これにより、非常に遠方に存在する信号機330以外の光源、先行車両320のテールライト322等が信号機330であると誤認識することを防止することが可能となる。
In the first exception recognition process (FIG. 7), the traveling ECU 36 (the traffic light recognition device) determines that the height H of the traffic light candidate Isc in the peripheral image Fs increases as the distance D between the
第1例外認識処理(図7)及び第2例外認識処理(図8)において、走行ECU36(信号機認識装置)は、自車10が走行する道路300の上側又はその付近に信号機候補Iscが位置することを信号機330の認識確定条件の1つとする(S52、S72)。これにより、信号機330の認識に要する演算負荷を低減することが可能となる。
In the first exception recognition process (FIG. 7) and the second exception recognition process (FIG. 8), the traveling ECU 36 (the traffic signal recognition device) locates the traffic light candidate Isc above or near the
第1例外認識処理(図7)において、走行ECU36(信号機認識装置)は、1枚の周辺画像Fs1から抽出した信号機候補Iscについて、その後の周辺画像Fs2、Fs3、、、における自車10と信号機候補Iscとの距離Dの変化及び信号機候補Iscの高さHの変化を判定する(S53)。ECU36は、距離Dの変化及び高さHの変化に基づいて信号機候補Iscが信号機330であるとの認識を確定する(S54)。これにより、信号機候補Iscの高さHの変化に加え、自車10と信号機候補Iscの距離Dの変化に基づいて信号機330の認識を確定する。従って、より高精度に信号機330を認識することが可能となる。
In the first exception recognition process (FIG. 7), the traveling ECU 36 (the traffic light recognition device) determines whether the
第1例外認識処理(図7)及び第2例外認識処理(図8)において、走行ECU36(信号機認識装置)は、地図情報Imapに基づいて信号機330が存在するはずの領域である信号機想定領域Rsaを設定し、信号機候補Iscが信号機想定領域Rsa内にあることを信号機330の認識確定条件の1つとする(図5のS11)。これにより、信号機330が存在する領域を基準として信号機330の認識を行うことで、信号機330の認識精度をさらに高めることが可能となる。
In the first exception recognition process (FIG. 7) and the second exception recognition process (FIG. 8), the traveling ECU 36 (the traffic light recognition device) uses the traffic light assumed area Rsa, which is the area where the
本実施形態において、走行ECU36(信号機認識装置)は、第1信号機認識処理(図7)又は第2例外認識処理(図8)により認識を確定した信号機330をトラッキングしながら信号機情報Isを連続的に出力する(図5、図7及び図8)。これにより、高精度に認識した信号機330を、時間の経過に応じて関連付けながら利用することが可能となる。
In the present embodiment, the traveling ECU 36 (traffic light recognition device) continuously converts the traffic light information Is while tracking the
本実施形態の第2例外認識処理(図8)によれば、信号機候補Iscの色Cの変化に基づいて信号機330の認識を確定する(図5のS16及び図8)。このため、例えば1枚の周辺画像Fs1のみから信号機330の認識を確定する場合(図6の通常認識処理等)と比較して、より多い情報量に基づいて信号機330の認識を確定することが可能となる。従って、信号機330の認識精度を高めることが可能となる。
According to the second exception recognition process (FIG. 8) of the present embodiment, the recognition of the
また、1枚の周辺画像Fs1のみから信号機330の認識を確定する制御等の他の制御と並行して第2例外認識処理を用いる場合、第2例外認識処理では、より多い情報量に基づいて信号機330の認識を確定するため、信号機330の認識確定を早めることが可能となる。
When the second exception recognition process is used in parallel with other control such as control for determining the recognition of the
本実施形態の第2例外認識処理(図8)において、走行ECU36(信号機認識装置)は、信号機候補Iscの色Cとして青色が検出されたこと(S71:真)を契機として、その後の周辺画像Fsにおける信号機候補Iscの色Cの変化の判定(S73)を開始し得る。 In the second exception recognition process (FIG. 8) of the present embodiment, the traveling ECU 36 (traffic light recognition device) triggers the detection of blue as the color C of the traffic light candidate Isc (S71: true), and the subsequent peripheral image The determination of the change in the color C of the traffic light candidate Isc in Fs (S73) may be started.
トンネル等では、黄色及び赤色の成分を含む光を発するナトリウムランプが用いられることがある。このため、黄色及び赤色と比較して、青色の方が信号機330を示している確率が高いと考えられる。そこで、信号機候補Iscの色として青色が検出されたことを契機として、その後の周辺画像Fsにおける信号機候補Iscの色Cの変化の判定を開始することで、信号機330の認識精度の低下を抑制しつつ、演算負荷を低減することが可能となる。
In a tunnel or the like, a sodium lamp that emits light containing yellow and red components may be used. Therefore, it is considered that the probability that blue indicates the
第2例外認識処理(図8)において、走行ECU36(信号機認識装置)は、1枚の周辺画像Fs1から抽出した信号機候補Iscについて、その後の周辺画像Fs2、Fs3、、、における自車10と信号機候補Iscとの距離Dの変化及び信号機候補Iscの色Cの変化を判定する(S73)。ECU36は、距離Dの変化及び色Cの変化に基づいて信号機候補Iscが信号機330であるとの認識を確定する(S74)。これにより、信号機候補Iscの色Cの変化に加え、自車10と信号機候補Iscの距離Dの変化に基づいて信号機330の認識を確定する。従って、より高精度に信号機330を認識することが可能となる。
In the second exception recognition process (FIG. 8), the traveling ECU 36 (the traffic light recognition device) determines whether the
本実施形態の車両10は、走行ECU36(信号機認識装置)と、走行ECU36が認識した信号機330の情報を用いて加減速を自動的に制御する加減速制御部190とを備える(図1)。これにより、信号機330の認識精度の向上及び信号機330の認識確定の迅速化の少なくとも一方が実現可能となるため、車両10の商品性を高めることが可能となる。
The
B.変形例
なお、本発明は、上記実施形態に限らず、本明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。例えば、以下の構成を採用することができる。
B. Modifications The present invention is not limited to the above-described embodiment, but can, of course, adopt various configurations based on the description in the present specification. For example, the following configuration can be adopted.
<B−1.適用対象>
上記実施形態では、走行ECU36(走行制御装置)を自動車(car)としての車両10(vehicle)に用いることを想定していた(図1)。しかしながら、例えば、信号機候補Iscの高さH又は色Cの変化に基づいて信号機330の認識を確定する観点からすれば、これに限らない。例えば、車両10(又は乗り物)は、鉄道、船舶、航空機等の移動物体であってもよい。或いは、車両10は、その他の装置(例えば、各種のロボット、製造装置)に用いることもできる。
<B-1. Applicable object>
In the above embodiment, it is assumed that the travel ECU 36 (travel control device) is used for a vehicle 10 (vehicle) as an automobile (car) (FIG. 1). However, for example, from the viewpoint of determining the recognition of the
<B−2.車両10の構成>
[B−2−1.センサ群20、22、24]
上記実施形態の車両周辺センサ群20には、複数の車外カメラ50と、複数のレーダ52と、LIDAR54と、GPSセンサ56とが含まれた(図1)。しかしながら、例えば、信号機候補Iscの高さH又は色Cの変化を判定する観点からすれば、これに限らない。複数の車外カメラ50に、車両10の前方を検出するステレオカメラが含まれる場合、レーダ52及び/又はLIDAR54を省略することも可能である。或いは、単眼立体視を用いる場合又は車外カメラ50により距離情報を取得しない場合、車外カメラ50を単眼カメラとして構成してもよい。
<B-2. Configuration of
[B-2-1.
The vehicle
上記実施形態の車体挙動センサ群22には、車速センサ60、加速度センサ62、ヨーレートセンサ64及び傾斜センサ66が含まれた(図1)。しかしながら、例えば、信号機候補Iscの高さH又は色Cの変化に基づいて信号機330の認識を確定する観点からすれば、これに限らない。例えば、車速センサ60、加速度センサ62、ヨーレートセンサ64及び傾斜センサ66のいずれか1つ又は複数を省略することも可能である。
The vehicle body
上記実施形態の運転操作センサ群24には、APセンサ80、BPセンサ82、舵角センサ84及び操舵トルクセンサ86が含まれた(図1)。しかしながら、例えば、信号機候補Iscの高さH又は色Cの変化に基づいて信号機330の認識を確定する観点からすれば、これに限らない。例えば、APセンサ80、BPセンサ82、舵角センサ84及び操舵トルクセンサ86のいずれか1つ又は複数を省略することも可能である。
The driving
[B−2−2.アクチュエータ]
上記実施形態では、自動運転制御で対象となるアクチュエータとして、エンジン120、ブレーキ機構130及びEPSモータ140を用いた(図1)。しかしながら、例えば、信号機候補Iscの高さH又は色Cの変化に基づいて信号機330の認識を確定する観点からすれば、これに限らない。例えば、エンジン120、ブレーキ機構130及びEPSモータ140のいずれか1つ又は2つを自動運転制御の対象から外すことも可能である。いずれかのアクチュエータを自動運転制御の対象から外した場合、対象から外されたアクチュエータに関する制御は、運転者が行うこととなる。さらに、上記のように、EPSモータ140の代わりに、左右の車輪のトルク差を用いて旋回すること(いわゆるトルクベクタリング)も可能である。
[B-2-2. Actuator]
In the above-described embodiment, the
<B−3.走行ECU36の制御>
[B−3−1.自動運転制御]
上記実施形態では、加減速及び旋回を自動で行う車両10に本発明を適用した(図1)。しかしながら、例えば、信号機候補Iscの高さH又は色Cの変化に基づいて信号機330の認識を確定する観点からすれば、これに限らない。例えば、加速、減速(自動ブレーキのみの場合を含む。)及び旋回の1つ又は2つのみを自動で行う車両10に本発明を適用することも可能である。或いは、図示しないナビゲーション装置に本発明を適用することもできる。その場合、信号機330の位置を判定することで、信号機330(又は交差点)の有無を知らせること、GPSセンサ56が検出した現在位置Pcurの補正を行うこと等が可能である。
<B-3. Control of
[B-3-1. Automatic operation control]
In the above embodiment, the present invention is applied to the
[B−3−2.信号機認識制御]
上記実施形態では、平坦路340(図5のS13:真)において通常認識処理(図6)のみを実行した(S14)。しかしながら、例えば、信号機候補Iscの高さH又は色Cの変化に基づいて信号機330の認識を確定する観点からすれば、これに限らない。例えば、通常認識処理に加え又はこれに代えて、第1例外認識処理(図7)及び第2例外認識処理(図8)の一方又は両方を行うことも可能である。
[B-3-2. Traffic light recognition control]
In the above embodiment, only the normal recognition process (FIG. 6) is executed (S14) on the flat road 340 (S13 in FIG. 5: true). However, for example, from the viewpoint of determining the recognition of the
上記実施形態では、上り坂310又は下り坂312(図5のS13:偽)において第1例外認識処理(図7)及び第2例外認識処理(図8)を実行した(S15、S16)。しかしながら、例えば、信号機候補Iscの高さH又は色Cの変化に基づいて信号機330の認識を確定する観点からすれば、これに限らない。
In the above embodiment, the first exception recognition process (FIG. 7) and the second exception recognition process (FIG. 8) are executed on the uphill 310 or the downhill 312 (S13 in FIG. 5: false) (S15, S16). However, for example, from the viewpoint of determining the recognition of the
例えば、上り坂310又は下り坂312の一方のみを判定することも可能である。また、第1例外認識処理又は第2例外認識処理の一方のみを行うことも可能である。或いは、勾配Grに合わせて信号機330が取り得る高さHを変化させる場合、第1例外認識処理(図7)及び第2例外認識処理(図8)の一方又は両方に加えて通常認識処理を行うことも可能である。或いは、通常認識処理、第1例外認識処理及び第2例外認識処理を継続的に行い、その判定結果の採否を勾配情報Igに基づいて決定してもよい。
For example, it is also possible to determine only one of the uphill 310 and the
上記実施形態では、勾配Grに応じて処理を切り替えた(図5のS13〜S16)。しかしながら、例えば、信号機候補Iscの高さH又は色Cの変化に基づいて信号機330を認識する観点からすれば、これに限らない。例えば、勾配Grから独立して処理を行うことも可能である。また、通常認識処理のみを行う勾配Grの範囲、第1例外認識処理のみを行う勾配Grの範囲と、通常認識処理及び第1例外認識処理の両方を行う勾配Grの範囲を設けてもよい。第2例外認識処理も同様である。
In the above embodiment, the processing is switched according to the gradient Gr (S13 to S16 in FIG. 5). However, for example, from the viewpoint of recognizing the
通常認識処理(図6)では、単一の周辺画像Fs1内に信号機候補Iscがあるか否かを判定した(S31)。しかしながら、例えば、信号機候補Iscを抽出する観点からすれば、これに限らない。例えば、複数の周辺画像Fs内に信号機候補Iscがあるか否かを判定してもよい。第1例外認識処理(図7)のステップS51及び第2例外認識処理(図8)のステップS71も同様である。 In the normal recognition process (FIG. 6), it was determined whether or not there is a traffic light candidate Isc in the single peripheral image Fs1 (S31). However, for example, from the viewpoint of extracting the traffic light candidate Isc, the present invention is not limited to this. For example, it may be determined whether there is a traffic light candidate Isc in a plurality of peripheral images Fs. The same applies to step S51 of the first exception recognition process (FIG. 7) and step S71 of the second exception recognition process (FIG. 8).
上記実施形態では、第1例外認識処理(図7)と第2例外認識処理(図8)を別々に実行した(図5)。しかしながら、例えば、信号機候補Iscの高さH及び色Cの変化に基づいて信号機330を認識する観点からすれば、これに限らず、両方の例外認識処理を1つにまとめることも可能である。例えば、信号機候補Iscの距離D、高さH及び色Cの変化が信号機330の特徴を示しているか否かに基づいて、候補Iscが信号機330であるとの判定を確定してもよい。
In the above embodiment, the first exception recognition process (FIG. 7) and the second exception recognition process (FIG. 8) are executed separately (FIG. 5). However, for example, from the viewpoint of recognizing the
上記実施形態の信号機認識制御では、自車10の現在位置Pcurと信号機330が設けられた交差点の位置との距離Dに基づいて自車10が信号機330に接近しているか否かを判定した(図5のS11)。しかしながら、例えば、自車10が信号機330に接近していること(信号機330が存在するはずの領域又は信号機330が存在する可能性が高い領域に自車10が接近していること)を判定する観点からすれば、これに限らない。例えば、自車10の走行路300周辺に路側ビーコン等の外部装置が存在する場合、ECU36は、当該外部装置から信号機330の存在に関する情報を取得してもよい。或いは、信号機認識部180が、自動運転が可能な情報(例えば信号機330の色C)は認識できないが、信号機330(交通標識)の有無(信号機330全体の形状認識等)は判定できる場合、当該判定に基づいてステップS11を行うこともできる。
In the traffic signal recognition control of the embodiment, it is determined whether or not the
上記実施形態の信号機認識制御(図5〜図8)では、個別の判定を積み重ねることで結論を出した。しかしながら、例えば、信号機候補Iscの高さH又は色Cの変化に基づいて信号機330の認識を確定する観点からすれば、これに限らない。例えば、図5〜図8に示す各ステップ(例えば図5のS11、図6のS31〜S33、図7のS51、S52、S54、図8のS71、S72、S74)での判定事項をそれぞれポイントで評価し、ポイントの合計値がポイント閾値を上回るとき、信号機330であるとの認識を確定してもよい。
In the traffic light recognition control (FIGS. 5 to 8) of the above-described embodiment, a conclusion is made by stacking individual determinations. However, for example, from the viewpoint of determining the recognition of the
[B−3−3.通常認識処理]
上記実施形態の通常認識処理では、信号機候補Iscの色C、距離D及び高さHに基づいて候補Iscが信号機330であるとの認識確定を判定した(図6のS31、S33)。しかしながら、例えば、少なくとも1枚の周辺画像Fsから抽出した信号機候補Iscについて、候補Iscの抽出に用いた周辺画像Fsに現れる候補Iscの特性(高さ、色、形状等)に基づいて信号機330であるとの認識を確定する観点からすれば、これに限らない。例えば、通常認識処理では、色C、距離D及び高さHに加え又はこれらのいずれかに代えて、周辺画像Fsにおける候補Iscの形状又は面積に基づいて候補Iscが信号機330であるとの認識確定を判定してもよい。
[B-3-3. Normal recognition processing]
In the normal recognition processing of the above embodiment, it is determined whether or not the recognition that the candidate Isc is the
[B−3−4.第1例外認識処理]
上記実施形態の第1例外認識処理では、信号機候補Iscの距離Dの変化及び高さHの変化の両方を判定した(図7のS53)。しかしながら、例えば、信号機候補Iscの高さHの変化に基づいて信号機330の認識を確定する観点からすれば、これに限らず、距離Dの変化の判定を省略してもよい。
[B-3-4. First exception recognition process]
In the first exception recognition process of the embodiment, both the change in the distance D and the change in the height H of the traffic light candidate Isc are determined (S53 in FIG. 7). However, for example, from the viewpoint of determining the recognition of the
[B−3−5.第2例外認識処理]
上記実施形態の第2例外認識処理では、信号機候補Iscの距離Dの変化及び色Cの変化の両方を判定した(図8のS73)。しかしながら、例えば、信号機候補Iscの色Cの変化に基づいて信号機330の認識を確定する観点からすれば、これに限らず、距離Dの変化の判定を省略してもよい。
[B-3-5. Second exception recognition processing]
In the second exception recognition process of the above embodiment, both the change in the distance D and the change in the color C of the traffic light candidate Isc were determined (S73 in FIG. 8). However, for example, from the viewpoint of determining the recognition of the
<B−4.その他>
上記実施形態では、図5〜図8に示す順番で各ステップを実行した。しかしながら、例えば、各ステップの目的を実現可能な範囲であれば(換言すると、本発明の効果を得られる場合)、各ステップの順番は入れ替えることが可能である。例えば、図5のステップS13の後に(ステップS14〜S16それぞれの前で)ステップS11を行うことが可能である。また、図7のステップS51、S52の順番を入れ替えること又は同時に実行することも可能である。
<B-4. Others>
In the above embodiment, each step is executed in the order shown in FIGS. However, for example, as long as the purpose of each step can be realized (in other words, when the effects of the present invention can be obtained), the order of each step can be changed. For example, step S11 can be performed after step S13 in FIG. 5 (before each of steps S14 to S16). Further, the order of steps S51 and S52 in FIG. 7 can be changed or executed simultaneously.
上記実施形態では、数値の比較において等号を含む場合と含まない場合とが存在した(図5のS13等)。しかしながら、例えば、等号を含む又は等号を外す特別な意味がなければ(換言すると、本発明の効果を得られる場合)、数値の比較において等号を含ませるか或いは含ませないかは任意に設定可能である。 In the above embodiment, there are cases where the comparison of numerical values includes an equal sign and a case where the equal sign is not included (S13 in FIG. 5, etc.). However, for example, if there is no special meaning to include or remove the equal sign (in other words, when the effect of the present invention is obtained), it is optional to include or not include the equal sign in the numerical comparison. Can be set to
その意味において、例えば、図5のステップS13における勾配Grが第1勾配閾値THg1以上であるか否かの判定(Gr≧THg1)を、勾配Grが第1勾配閾値THg1より大きいか否かの判定(Gr>THg1)に置き換えることができる。同様に、勾配Grが第2勾配閾値THg2以下であるか否かの判定(Gr≦THg2)を、勾配Grが第2勾配閾値THg2より小さいか否かの判定(Gr<THg2)に置き換えることができる。 In this sense, for example, it is determined whether or not the gradient Gr in step S13 in FIG. 5 is equal to or greater than the first gradient threshold THg1 (Gr ≧ THg1), and whether or not the gradient Gr is greater than the first gradient threshold THg1. (Gr> THg1). Similarly, the determination whether the gradient Gr is equal to or less than the second gradient threshold THg2 (Gr ≦ THg2) may be replaced with the determination whether the gradient Gr is smaller than the second gradient threshold THg2 (Gr <THg2). it can.
10…車両(自車)
36…走行ECU(信号機認識装置) 50…車外カメラ(カメラ)
66…傾斜センサ(勾配センサ) 190…加減速制御部
200…地図DB(地図情報データベース) 300…道路(走行路)
310…上り坂 312…下り坂
330…信号機 C…色
D…自車と信号機候補の距離
Dx…自車の現在位置と信号機想定位置との距離
Fs、Fs1、Fs2、Fs3…周辺画像
Gr…勾配 H…高さ
Ig…勾配情報 Imap…地図情報
Is…信号機情報 Isc…信号機候補
Rsa…信号機想定領域 THd…距離閾値
THg1…第1勾配閾値 THg2…第2勾配閾値
10. Vehicle (own vehicle)
36: Travel ECU (signal signal recognition device) 50: Outside camera (camera)
66 ... tilt sensor (gradient sensor) 190 ... acceleration /
310 ... Uphill 312 ... Downhill 330 ... Signal C ... Color D ... Distance Dx between own vehicle and signal candidate Candidates Fs, Fs1, Fs2, Fs3 ... Ground image Gr. H: Height Ig: Gradient information Imap: Map information Is: Traffic light information Isc: Traffic light candidate Rsa: Traffic light assumed area THd: Distance threshold THg1: First gradient threshold THg2: Second gradient threshold
Claims (8)
前記第1信号機認識処理において、前記信号機認識装置は、
少なくとも1枚の前記周辺画像から抽出した信号機候補について、その後の周辺画像における高さの変化を判定し、
前記高さの変化に基づいて前記信号機候補が前記信号機であるとの認識を確定し、
前記信号機の情報を出力し、
前記信号機認識装置は、
前記自車の走行路が下り坂であることを示す勾配の閾値である第1勾配閾値と、前記自車の走行路が上り坂であることを示す勾配の閾値である第2勾配閾値の少なくとも一方を設定し、
地図情報データベースに記憶されている、又は勾配センサが検出した前記自車の走行路の勾配情報を取得し、
第1利用条件を満たす場合、前記第1信号機認識処理の認識結果を利用し、
前記第1利用条件を満たさない場合、前記第1信号機認識処理の認識結果を利用せず、
前記第1利用条件は、前記勾配情報が示す勾配が前記第1勾配閾値を下回ること、及び前記勾配が第2勾配閾値を上回ることの少なくとも一方を含む
ことを特徴とする信号機認識装置。 A traffic signal recognition device that performs a first traffic signal recognition process for recognizing a traffic signal based on a plurality of peripheral images captured by a camera provided in a vehicle,
In the first traffic light recognition process, the traffic light recognition device includes:
For a traffic light candidate extracted from at least one of the peripheral images, a change in height in a subsequent peripheral image is determined,
Based on the change in the height, determine the recognition that the traffic light candidate is the traffic light,
Outputting information on the traffic light ,
The traffic light recognition device,
At least a first gradient threshold that is a gradient threshold indicating that the traveling path of the own vehicle is a downhill, and a second gradient threshold that is a gradient threshold indicating that the traveling path of the own vehicle is an uphill. Set one,
Acquires the gradient information of the traveling path of the own vehicle stored in the map information database or detected by the gradient sensor,
When the first use condition is satisfied, the recognition result of the first traffic light recognition process is used,
If the first use condition is not satisfied, the recognition result of the first signal recognition process is not used,
The signal recognition device according to claim 1, wherein the first use condition includes at least one of a gradient indicated by the gradient information being lower than the first gradient threshold and a gradient being higher than a second gradient threshold .
前記第1信号機認識処理では、前記信号機認識装置は、前記自車と前記信号機候補の距離が短くなるに従って前記周辺画像内における前記信号機候補の高さが高くなることを前記信号機の認識確定条件の1つとする
ことを特徴とする信号機認識装置。 The traffic light recognition device according to claim 1 ,
In the first traffic light recognition process, the traffic light recognition device determines that the height of the traffic light candidate in the peripheral image increases as the distance between the vehicle and the traffic light candidate decreases, and A traffic signal recognition device, characterized in that it is one.
前記第1信号機認識処理では、前記信号機認識装置は、前記自車が走行する道路の上側又はその付近に前記信号機候補が位置することを前記信号機の認識確定条件の1つとする
ことを特徴とする信号機認識装置。 The traffic signal recognition device according to claim 1 or 2 ,
In the first traffic light recognition process, the traffic light recognition device may determine that the traffic light candidate is located above or near a road on which the vehicle travels, as one of the traffic light recognition determination conditions. Traffic light recognition device.
前記第1信号機認識処理では、前記信号機認識装置は、
前記少なくとも1枚の周辺画像から抽出した前記信号機候補について、その後の周辺画像における前記自車と前記信号機候補との距離の変化及び前記信号機候補の高さの変化を判定し、
前記距離の変化及び前記高さの変化に基づいて前記信号機候補が前記信号機であるとの認識を確定する
ことを特徴とする信号機認識装置。 The traffic signal recognition device according to any one of claims 1 to 3 ,
In the first traffic light recognition process, the traffic light recognition device includes:
For the traffic light candidate extracted from the at least one peripheral image, a change in the distance between the vehicle and the traffic light candidate in the subsequent peripheral image and a change in the height of the traffic light candidate are determined.
A traffic signal recognizing device that determines recognition of the traffic light candidate as the traffic light based on the change in the distance and the change in the height.
前記信号機認識装置は、
地図情報に基づいて前記信号機が存在するはずの位置である信号機想定位置又は前記信号機が存在するはずの領域である信号機想定領域を設定し、
前記信号機候補の位置と前記信号機想定位置の距離が距離閾値を下回ること、又は前記信号機候補が前記信号機想定領域内にあることを前記信号機の認識確定条件の1つとする
ことを特徴とする信号機認識装置。 The traffic signal recognition device according to any one of claims 1 to 4 ,
The traffic light recognition device,
Based on the map information, a signal assumed position that is a position where the signal should be present or a signal assumed area that is an area where the signal should be present,
One of the recognition decision conditions of the traffic light is that the distance between the position of the traffic light candidate and the assumed traffic light position is less than a distance threshold or that the traffic light candidate is within the traffic light assumed area. apparatus.
前記信号機認識装置は、前記第1信号機認識処理により認識を確定した前記信号機をトラッキングしながら前記信号機の情報を連続的に出力する
ことを特徴とする信号機認識装置。 The traffic signal recognition device according to any one of claims 1 to 5 ,
The traffic light recognition device, wherein the traffic light recognition device continuously outputs the information of the traffic light while tracking the traffic light whose recognition has been determined by the first traffic light recognition process.
前記信号機認識装置が認識した前記信号機の情報を用いて加減速を自動的に制御する加減速制御部と
を備えることを特徴とする車両。 A traffic signal recognition device according to any one of claims 1 to 6 ,
An acceleration / deceleration control unit that automatically controls acceleration / deceleration using information on the traffic signal recognized by the traffic signal recognition device.
少なくとも1枚の前記周辺画像から抽出した信号機候補について、その後の周辺画像における高さの変化を判定するステップと、
前記高さの変化に基づいて前記信号機候補が前記信号機であるとの認識を確定する第1信号機認識処理を実行するステップと、
前記自車の走行路が下り坂であることを示す勾配の閾値である第1勾配閾値と、前記自車の走行路が上り坂であることを示す勾配の閾値である第2勾配閾値の少なくとも一方を設定するステップと、
地図情報データベースに記憶されている、又は勾配センサが検出した前記自車の走行路の勾配情報を取得するステップと、
を有し、
第1利用条件を満たす場合、前記第1信号機認識処理の認識結果を利用し、
前記第1利用条件を満たさない場合、前記第1信号機認識処理の認識結果を利用せず、
前記第1利用条件は、前記勾配情報が示す勾配が前記第1勾配閾値を下回ること、及び前記勾配が第2勾配閾値を上回ることの少なくとも一方を含む
ことを特徴とする信号機認識方法。 Camera provided on the vehicle is a signal Unit recognized how to recognize the traffic signal on the basis of a plurality of peripheral image captured,
Even without least the extracted traffic signal candidates from a single of the peripheral image, a step of determining the change in height in the subsequent peripheral image,
Performing a first traffic light recognition process for determining that the traffic light candidate is the traffic light based on the change in height ;
At least a first gradient threshold that is a gradient threshold indicating that the traveling path of the own vehicle is a downhill, and a second gradient threshold that is a gradient threshold indicating that the traveling path of the own vehicle is an uphill. Setting one,
A step of acquiring gradient information of the traveling path of the vehicle stored in the map information database or detected by the gradient sensor;
Has,
When the first use condition is satisfied, the recognition result of the first traffic light recognition process is used,
If the first use condition is not satisfied, the recognition result of the first signal recognition process is not used,
The traffic light recognition method according to claim 1, wherein the first use condition includes at least one of a gradient indicated by the gradient information being lower than the first gradient threshold and a gradient being higher than a second gradient threshold .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016222179A JP6629169B2 (en) | 2016-11-15 | 2016-11-15 | Traffic light recognition device, vehicle, and traffic light recognition method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016222179A JP6629169B2 (en) | 2016-11-15 | 2016-11-15 | Traffic light recognition device, vehicle, and traffic light recognition method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018081405A JP2018081405A (en) | 2018-05-24 |
JP6629169B2 true JP6629169B2 (en) | 2020-01-15 |
Family
ID=62198948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016222179A Expired - Fee Related JP6629169B2 (en) | 2016-11-15 | 2016-11-15 | Traffic light recognition device, vehicle, and traffic light recognition method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6629169B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110827558B (en) * | 2018-06-19 | 2020-12-22 | 嘉兴觅特电子商务有限公司 | Traffic signal lamp recognition device based on vehicle speed, height of highlight area and image |
CN113170079A (en) * | 2018-07-30 | 2021-07-23 | 小马智行 | System and method for calibrating an in-vehicle camera |
CN109740526B (en) * | 2018-12-29 | 2023-06-20 | 清华大学苏州汽车研究院(吴江) | Signal lamp identification method, device, equipment and medium |
JP7409257B2 (en) | 2020-08-07 | 2024-01-09 | 株式会社デンソー | Traffic light recognition device, traffic light recognition method, vehicle control device |
CN112990002B (en) * | 2021-03-12 | 2023-04-18 | 吉林大学 | Traffic signal lamp identification method and system on downhill road and computer readable medium |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008082761A (en) * | 2006-09-26 | 2008-04-10 | Clarion Co Ltd | Navigation apparatus, and method and program therefor |
JP2013045176A (en) * | 2011-08-22 | 2013-03-04 | Pioneer Electronic Corp | Signal recognition device, candidate point pattern transmitter, candidate point pattern receiver, signal recognition method, and candidate point pattern reception method |
WO2014078979A1 (en) * | 2012-11-20 | 2014-05-30 | Harman International Industries, Incorporated | Method and system for detecting traffic lights |
JP6365134B2 (en) * | 2014-09-02 | 2018-08-01 | アイシン・エィ・ダブリュ株式会社 | Driving support system, driving support method, and computer program |
-
2016
- 2016-11-15 JP JP2016222179A patent/JP6629169B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2018081405A (en) | 2018-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11932251B2 (en) | Vehicle control device, vehicle control method, and program | |
KR102618700B1 (en) | Object feature estimation using visual image data | |
JP6629169B2 (en) | Traffic light recognition device, vehicle, and traffic light recognition method | |
US10831205B2 (en) | Route determination device, vehicle control device, route determination method, and storage medium | |
JP7086798B2 (en) | Vehicle control devices, vehicle control methods, and programs | |
JP7048398B2 (en) | Vehicle control devices, vehicle control methods, and programs | |
US11247692B2 (en) | Prediction device, prediction method, and storage medium | |
US20190286163A1 (en) | Vehicle control device, vehicle control method, and storage medium | |
US20190359209A1 (en) | Vehicle control device, vehicle control method, and vehicle control program | |
JP6627127B2 (en) | Vehicle control device, vehicle control method, and program | |
US20200290643A1 (en) | Vehicle control device, vehicle control method, and program | |
JP6641583B2 (en) | Vehicle control device, vehicle control method, and program | |
US20190278285A1 (en) | Vehicle control device, vehicle control method, and storage medium | |
US11390275B2 (en) | Vehicle control device, vehicle control method, and program | |
US10974725B2 (en) | Vehicle control apparatus, vehicle control method, and storage medium | |
US20190276029A1 (en) | Vehicle control device, vehicle control method, and storage medium | |
JP7071250B2 (en) | Vehicle control devices, vehicle control methods, and programs | |
JP7085371B2 (en) | Vehicle control devices, vehicle control methods, and programs | |
US11634139B2 (en) | Vehicle control device, vehicle control method, and storage medium | |
US20190382020A1 (en) | Vehicle control device, vehicle control method, and storage medium | |
JP2021024423A (en) | Vehicle control device, vehicle control method, and program | |
US20230242145A1 (en) | Mobile object control device, mobile object control method, and storage medium | |
US20220383646A1 (en) | Mobile object control device, mobile object control method, and storage medium | |
US20220055615A1 (en) | Vehicle control device, vehicle control method, and storage medium | |
US11654914B2 (en) | Vehicle control device, vehicle control method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191023 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6629169 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |