JP6629169B2 - Traffic light recognition device, vehicle, and traffic light recognition method - Google Patents

Traffic light recognition device, vehicle, and traffic light recognition method Download PDF

Info

Publication number
JP6629169B2
JP6629169B2 JP2016222179A JP2016222179A JP6629169B2 JP 6629169 B2 JP6629169 B2 JP 6629169B2 JP 2016222179 A JP2016222179 A JP 2016222179A JP 2016222179 A JP2016222179 A JP 2016222179A JP 6629169 B2 JP6629169 B2 JP 6629169B2
Authority
JP
Japan
Prior art keywords
traffic light
recognition
vehicle
traffic
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016222179A
Other languages
Japanese (ja)
Other versions
JP2018081405A (en
Inventor
田中　潤
潤 田中
拓幸 向井
拓幸 向井
賢 華山
賢 華山
純 井深
純 井深
堀井　宏明
宏明 堀井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2016222179A priority Critical patent/JP6629169B2/en
Publication of JP2018081405A publication Critical patent/JP2018081405A/en
Application granted granted Critical
Publication of JP6629169B2 publication Critical patent/JP6629169B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、カメラが撮像した複数の周辺画像に基づいて信号機を認識する信号機認識装置、車両及び信号機認識方法に関する。   The present invention relates to a traffic signal recognition device, a vehicle, and a traffic signal recognition method for recognizing a traffic signal based on a plurality of peripheral images captured by a camera.

特許文献１では、計算量の増加を抑えながら、充分な応答性の維持が得られるようにした走行環境認識装置を提供することを目的としている（［０００９］、要約）。当該目的を達成するため、特許文献１（要約）では、撮像装置２の外にもレーダ３を設け、撮像装置２では車両の走行方向の画像情報を得、レーダ３では車両前方の先行車両や静止物までの距離、方位を得る。画像処理装置１は、撮像装置２から得られる画像内で、レーダ３から得た距離と方位により、先行車両の対応付けを行ない、これにより先行車両の認識に必要な画像信号処理が簡単に得られるようにする。その上で静止物、信号機、横断歩道等の位置を推定して車両周囲の走行環境を認識する。また、道路地図装置４は、ＧＩＳアンテナ５から得た車両位置を道路地図上に対応付け、車両前方の交差点の有無、交差点までの距離情報を画像処理装置１に出力する。   An object of Patent Document 1 is to provide a traveling environment recognition device capable of maintaining sufficient responsiveness while suppressing an increase in the amount of calculation ([0009], abstract). In order to achieve the object, in Patent Literature 1 (abstract), a radar 3 is provided outside the imaging device 2, and the imaging device 2 obtains image information in the traveling direction of the vehicle. Obtain the distance and bearing to a stationary object. The image processing apparatus 1 associates the preceding vehicle with the distance and the azimuth obtained from the radar 3 in the image obtained from the imaging apparatus 2, thereby easily obtaining the image signal processing required for the recognition of the preceding vehicle. To be able to Then, the positions of stationary objects, traffic lights, pedestrian crossings, and the like are estimated to recognize the traveling environment around the vehicle. Further, the road map device 4 associates the vehicle position obtained from the GIS antenna 5 on the road map, and outputs to the image processing device 1 the presence or absence of an intersection ahead of the vehicle and information on the distance to the intersection.

また、特許文献１では、道路に設けられた信号機を認識する信号機認識処理が開示される。この信号機認識処理では、交差点までの距離と、予め設定してある信号機の高さの知識から、信号機が存在すると推定される領域（信号機領域１１０）を決定し、その内部の色情報から信号状態を認識する（［０１１１］）。   Further, Patent Document 1 discloses a traffic light recognition process for recognizing a traffic light provided on a road. In this traffic light recognition process, an area (traffic light area 110) where a traffic light is presumed to exist is determined from the distance to the intersection and the knowledge of the height of the traffic light that is set in advance, and the signal state is determined from the color information inside the traffic light area. Is recognized ([0111]).

特開２００４−２６５４３２号公報JP-A-2004-265432

上記のように、特許文献１では、交差点までの距離及び信号機の高さに基づいて信号機領域１１０を決定し、その内部の色情報から信号状態を認識する（［０１１１］）。しかしながら、例えば車両が下り坂を走行し、先行車両がその先の平坦路を走行している場合、周辺画像において、先行車両は相対的に高い位置に存在することとなる。そのような状態で先行車両が信号機領域１１０内に入った場合、自車は、先行車両を信号機と誤認識するおそれがある。自車が平坦路を走行し、先行車両がその先の上り坂を走行している場合も同様である。   As described above, in Patent Document 1, the signal area 110 is determined based on the distance to the intersection and the height of the signal, and the signal state is recognized from the color information inside the signal area 110 ([0111]). However, for example, when the vehicle is traveling on a downhill and the preceding vehicle is traveling on a flat road ahead, the preceding vehicle is located at a relatively high position in the peripheral image. If the preceding vehicle enters the signal area 110 in such a state, the own vehicle may erroneously recognize the preceding vehicle as a signal. The same applies to the case where the own vehicle is traveling on a flat road and the preceding vehicle is traveling on the uphill ahead.

また、特許文献１では、交差点までの距離及び信号機の高さに基づいて決定した信号機領域１１０内の色情報から信号状態を認識しているため、信号状態の判定は、各時点の周辺画像それぞれについて個別に行われているものと解される。例えば連続する複数の周辺画像と比較して、単一の周辺画像から得られる色情報は少ないと考えられる。このため、特許文献１では、信号状態の認識精度に改善の余地がある。   Further, in Patent Document 1, since the signal state is recognized from the color information in the signal area 110 determined based on the distance to the intersection and the height of the signal, the signal state is determined based on the surrounding images at each time point. It is understood that this has been done individually. For example, it is considered that the color information obtained from a single peripheral image is smaller than that of a plurality of continuous peripheral images. For this reason, in Patent Document 1, there is room for improvement in the recognition accuracy of the signal state.

本発明は上記のような課題を考慮してなされたものであり、信号機の認識精度の向上及び信号機の認識確定の迅速化の少なくとも一方を実現可能な信号機認識装置、車両及び信号機認識方法を提供することを目的とする。   The present invention has been made in consideration of the above-described problems, and provides a traffic signal recognition device, a vehicle, and a traffic signal recognition method capable of realizing at least one of improving the recognition accuracy of a traffic signal and speeding up the determination of the traffic signal. The purpose is to do.

本発明に係る信号機認識装置は、
自車に設けられたカメラが撮像した複数の周辺画像に基づいて信号機を認識する第１信号機認識処理を実行する信号機認識装置であって、
前記第１信号機認識処理において、前記信号機認識装置は、
少なくとも１枚の前記周辺画像から抽出した信号機候補について、その後の周辺画像における高さの変化を判定し、
前記高さの変化に基づいて前記信号機候補が前記信号機であるとの認識を確定し、
前記信号機の情報を出力し、
前記信号機認識装置は、
前記自車の走行路が下り坂であることを示す勾配の閾値である第１勾配閾値と、前記自車の走行路が上り坂であることを示す勾配の閾値である第２勾配閾値の少なくとも一方を設定し、
地図情報データベースに記憶されている、又は勾配センサが検出した前記自車の走行路の勾配情報を取得し、
第１利用条件を満たす場合、前記第１信号機認識処理の認識結果を利用し、
前記第１利用条件を満たさない場合、前記第１信号機認識処理の認識結果を利用せず、
前記第１利用条件は、前記勾配情報が示す勾配が前記第１勾配閾値を下回ること、及び前記勾配が第２勾配閾値を上回ることの少なくとも一方を含む
ことを特徴とする。 The traffic light recognition device according to the present invention,
A traffic signal recognition device that performs a first traffic signal recognition process for recognizing a traffic signal based on a plurality of peripheral images captured by a camera provided in a vehicle,
In the first traffic light recognition process, the traffic light recognition device includes:
For a traffic light candidate extracted from at least one of the peripheral images, a change in height in a subsequent peripheral image is determined,
Based on the change in the height, determine the recognition that the traffic light candidate is the traffic light,
Outputting information on the traffic light ,
The traffic light recognition device,
At least a first gradient threshold that is a gradient threshold indicating that the traveling path of the own vehicle is a downhill, and a second gradient threshold that is a gradient threshold indicating that the traveling path of the own vehicle is an uphill. Set one,
Acquires the gradient information of the traveling path of the own vehicle stored in the map information database or detected by the gradient sensor,
When the first use condition is satisfied, the recognition result of the first traffic light recognition process is used,
If the first use condition is not satisfied, the recognition result of the first signal recognition process is not used,
The first use condition is characterized in that the gradient indicated by the gradient information includes at least one of being lower than the first gradient threshold and the gradient being higher than a second gradient threshold .

本発明によれば、信号機候補の高さの変化に基づいて信号機の認識を確定する。このため、例えば１枚の周辺画像のみから信号機の認識を確定する場合と比較して、より多い情報量に基づいて信号機の認識を確定することが可能となる。従って、信号機の認識精度を高めることが可能となる。   According to the present invention, recognition of a traffic light is determined based on a change in height of a traffic light candidate. For this reason, it becomes possible to determine the recognition of the traffic signal based on a larger amount of information than in the case where the recognition of the traffic signal is determined from only one peripheral image, for example. Therefore, it is possible to improve the recognition accuracy of the traffic light.

また、１枚の周辺画像のみから信号機の認識を確定する処理等の他の処理と並行して第１信号機認識処理を用いる場合、第１信号機認識処理では、より多い情報量に基づいて信号機の認識を確定するため、信号機の認識確定を早めることが可能となる。   When the first traffic light recognition process is used in parallel with other processes such as a process of determining the traffic light recognition from only one peripheral image, the first traffic light recognition process uses the traffic light based on a larger amount of information. Since the recognition is determined, it is possible to hasten the recognition of the traffic light.

前記信号機認識装置は、前記自車の走行路が下り坂であることを示す勾配の閾値である第１勾配閾値と、前記自車の走行路が上り坂であることを示す勾配の閾値である第２勾配閾値の少なくとも一方を設定する。前記信号機認識装置は、地図情報データベースに記憶されている、又は勾配センサが検出した前記自車の走行路の勾配情報を取得する。前記信号機認識装置は、第１利用条件を満たす場合、前記第１信号機認識処理の認識結果を利用する。前記信号機認識装置は、前記第１利用条件を満たさない場合、前記第１信号機認識処理の認識結果を利用しない。前記第１利用条件は、前記勾配情報が示す勾配が前記第１勾配閾値を下回ること、及び前記勾配が第２勾配閾値を上回ることの少なくとも一方を含む。 The traffic signal recognition device includes a first gradient threshold value that is a gradient threshold indicating that the traveling path of the own vehicle is a downhill, and a gradient threshold value that indicates that the traveling path of the own vehicle is an uphill. setting at least one of the second slope threshold. The traffic signal recognition device is stored in the map information database, or gradient sensor acquires gradient information of the road of the vehicle detected. The traffic signal recognition device, when the first usage condition is satisfied, using the recognition result of the first traffic recognition process. The traffic signal recognition device, does not satisfy the first use condition, do not want to use the recognition result of the first traffic recognition process. The first use condition, said that the gradient information slope indicates less than the first slope threshold, and at least one of the including of the said gradient is above a second slope threshold.

これにより、自車の走行路が下り坂又は上り坂である場合、第１信号機認識処理の認識結果を利用することで、高精度に信号機を認識可能となる。   Accordingly, when the traveling path of the own vehicle is a downhill or an uphill, the traffic signal can be recognized with high accuracy by using the recognition result of the first traffic signal recognition process.

なお、前記第１利用条件が満たされない場合、前記信号機認識装置は、少なくとも１枚の前記周辺画像から前記信号機候補を抽出すると共に、前記信号機候補の抽出に用いた前記周辺画像に現れる前記信号機候補の特性（高さ、色、形状等）に基づいて前記信号機候補が前記信号機であるとの認識を確定する第３信号機認識処理を実行してもよい。   When the first use condition is not satisfied, the traffic light recognition device extracts the traffic light candidate from at least one of the peripheral images, and extracts the traffic light candidate appearing in the peripheral image used for extracting the traffic light candidate. A third traffic light recognition process for determining that the traffic light candidate is the traffic light based on the characteristics (height, color, shape, etc.) of the traffic light may be executed.

前記第１信号機認識処理において、前記信号機認識装置は、前記自車と前記信号機候補の距離が短くなるに従って前記周辺画像内における前記信号機候補の高さが高くなることを前記信号機の認識確定条件の１つとしてもよい。これにより、非常に遠方に存在する信号機以外の光源、先行車両のテールライト等が信号機であると誤認識することを防止することが可能となる。   In the first traffic light recognition process, the traffic light recognition device determines that the height of the traffic light candidate in the peripheral image increases as the distance between the vehicle and the traffic light candidate decreases, It may be one. As a result, it is possible to prevent a light source other than a traffic light very distant, a taillight of a preceding vehicle, and the like from being erroneously recognized as a traffic light.

前記第１信号機認識処理では、前記信号機認識装置は、前記自車が走行する道路の上側又はその付近に前記信号機候補が位置することを前記信号機の認識確定条件の１つとしてもよい。これにより、信号機の認識に要する演算負荷を低減することが可能となる。   In the first traffic light recognition process, the traffic light recognition device may determine that the traffic light candidate is located above or near a road on which the vehicle travels, as one of the traffic light recognition determination conditions. As a result, it is possible to reduce the calculation load required for recognizing the traffic light.

前記第１信号機認識処理において、前記信号機認識装置は、前記少なくとも１枚の周辺画像から抽出した前記信号機候補について、その後の周辺画像における前記自車と前記信号機候補との距離の変化及び前記信号機候補の高さの変化を判定してもよい。前記信号機認識装置は、前記距離の変化及び前記高さの変化に基づいて前記信号機候補が前記信号機であるとの認識を確定してもよい。これにより、信号機候補の高さの変化に加え、自車と信号機候補の距離の変化に基づいて信号機の認識を確定する。従って、より高精度に信号機を認識することが可能となる。   In the first traffic light recognition process, the traffic light recognition device determines, for the traffic light candidate extracted from the at least one peripheral image, a change in a distance between the vehicle and the traffic light candidate in a subsequent peripheral image and the traffic light candidate. May be determined. The traffic light recognition device may determine that the traffic light candidate is the traffic light based on the change in the distance and the change in the height. Thus, the recognition of the traffic light is determined based on the change in the distance between the own vehicle and the traffic light candidate in addition to the change in the height of the traffic light candidate. Therefore, it is possible to recognize the traffic light with higher accuracy.

前記信号機認識装置は、地図情報に基づいて前記信号機が存在するはずの位置である信号機想定位置又は前記信号機が存在するはずの領域である信号機想定領域を設定してもよい。前記信号機認識装置は、前記信号機候補の位置と前記信号機想定位置の距離が距離閾値を下回ること、又は前記信号機候補が前記信号機想定領域内にあることを前記信号機の認識確定条件の１つとしてもよい。これにより、信号機が存在する位置又は領域を基準として信号機の認識を行うことで、信号機の認識精度をさらに高めることが可能となる。   The traffic signal recognition device may set a traffic signal assumed position, which is a position where the traffic signal should exist, or a traffic signal assumed area, which is an area where the traffic signal should exist, based on the map information. The traffic signal recognition device may be that the distance between the position of the traffic light candidate and the assumed traffic light position is less than a distance threshold, or that the traffic light candidate is within the traffic light assumed area as one of the recognition decision conditions of the traffic light. Good. This makes it possible to further increase the recognition accuracy of the traffic light by recognizing the traffic light based on the position or area where the traffic light exists.

前記信号機認識装置は、前記第１信号機認識処理により認識を確定した前記信号機をトラッキングしながら前記信号機の情報を連続的に出力してもよい。これにより、高精度に認識した信号機を、時間の経過に応じて関連付けながら利用することが可能となる。   The traffic light recognition device may continuously output information on the traffic light while tracking the traffic light whose recognition has been determined by the first traffic light recognition process. This makes it possible to use the traffic signal recognized with high accuracy while associating it with the passage of time.

本発明に係る車両は、
上記の信号機認識装置と、
前記信号機認識装置が認識した前記信号機の情報を用いて加減速を自動的に制御する加減速制御部と
を備えることを特徴とする。 The vehicle according to the present invention includes:
Said traffic light recognition device,
An acceleration / deceleration control unit that automatically controls acceleration / deceleration using information on the traffic signal recognized by the traffic signal recognition device.

これにより、信号機の認識精度の向上及び信号機の認識確定の迅速化の少なくとも一方が実現可能となるため、車両の商品性を高めることが可能となる。   This makes it possible to improve at least one of the recognition accuracy of the traffic light and the speedy determination of the recognition of the traffic light, so that the commercial value of the vehicle can be improved.

本発明に係る信号機認識方法は、自車に設けられたカメラが撮像した複数の周辺画像に
基づいて信号機を認識するものであって、
少なくとも１枚の前記周辺画像から抽出した信号機候補について、その後の周辺画像における高さの変化を判定するステップと、
前記高さの変化に基づいて前記信号機候補が前記信号機であるとの認識を確定する第１信号機認識処理を実行するステップと、
前記自車の走行路が下り坂であることを示す勾配の閾値である第１勾配閾値と、前記自車の走行路が上り坂であることを示す勾配の閾値である第２勾配閾値の少なくとも一方を設定するステップと、
地図情報データベースに記憶されている、又は勾配センサが検出した前記自車の走行路の勾配情報を取得するステップと、
を有し、
第１利用条件を満たす場合、前記第１信号機認識処理の認識結果を利用し、
前記第１利用条件を満たさない場合、前記第１信号機認識処理の認識結果を利用せず、
前記第１利用条件は、前記勾配情報が示す勾配が前記第１勾配閾値を下回ること、及び前記勾配が第２勾配閾値を上回ることの少なくとも一方を含む
ことを特徴とする。 Traffic signal recognition method according to the present invention, a camera provided on the vehicle is not more of also you recognize traffic based on the plurality of peripheral image captured,
Even without least the extracted traffic signal candidates from a single of the peripheral image, a step of determining the change in height in the subsequent peripheral image,
Performing a first traffic light recognition process for determining that the traffic light candidate is the traffic light based on the change in height ;
At least a first gradient threshold that is a gradient threshold indicating that the traveling path of the own vehicle is a downhill, and a second gradient threshold that is a gradient threshold indicating that the traveling path of the own vehicle is an uphill. Setting one,
A step of acquiring gradient information of the traveling path of the vehicle stored in the map information database or detected by the gradient sensor;
Has,
When the first use condition is satisfied, the recognition result of the first traffic light recognition process is used,
If the first use condition is not satisfied, the recognition result of the first signal recognition process is not used,
The first use condition is characterized in that the gradient indicated by the gradient information includes at least one of being lower than the first gradient threshold and the gradient being higher than a second gradient threshold .

本発明によれば、信号機の認識精度の向上及び信号機の認識確定の迅速化の少なくとも一方を実現可能となる。   ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to implement at least one of the improvement of the recognition accuracy of a traffic light, and the speedy determination of the recognition of a traffic light.

本発明の一実施形態に係る走行制御装置としての走行電子制御装置を含む車両（以下「自車」という。）の構成を示すブロック図である。1 is a block diagram illustrating a configuration of a vehicle (hereinafter, referred to as “own vehicle”) including a traveling electronic control device as a traveling control device according to an embodiment of the present invention. 前記実施形態の前記自車が上り坂を走行している場面を示す図である。It is a figure showing the scene where the self-vehicles of the embodiment are running uphill. 図２の前記自車のカメラが取得した周辺画像の一例を簡略的に示す図である。FIG. 3 is a diagram schematically illustrating an example of a peripheral image acquired by a camera of the own vehicle in FIG. 2. 前記実施形態の前記自車が下り坂を走行している場面を示す図である。It is a figure showing the scene where the self-vehicles of the embodiment are running downhill. 前記実施形態の信号機認識制御の全体的な流れを示すフローチャートである。It is a flowchart which shows the whole flow of the signal recognition control of the said embodiment. 前記実施形態における通常認識処理のフローチャートである。It is a flowchart of the normal recognition process in the embodiment. 前記実施形態における第１例外認識処理のフローチャートである。It is a flowchart of the 1st exception recognition processing in the said embodiment. 前記実施形態における第２例外認識処理のフローチャートである。It is a flowchart of the 2nd exception recognition processing in the said embodiment.

Ａ．一実施形態
＜Ａ−１．構成＞
［Ａ−１−１．全体構成］
図１は、本発明の一実施形態に係る走行制御装置としての走行電子制御装置３６（以下「走行ＥＣＵ３６」又は「ＥＣＵ３６」という。）を含む車両１０の構成を示すブロック図である。車両１０（以下「自車１０」ともいう。）は、走行ＥＣＵ３６に加え、車両周辺センサ群２０と、車体挙動センサ群２２と、運転操作センサ群２４と、通信装置２６と、ヒューマン・マシン・インタフェース２８（以下「ＨＭＩ２８」という。）と、駆動力制御システム３０と、制動力制御システム３２と、電動パワーステアリングシステム３４（以下「ＥＰＳシステム３４」という。）とを有する。 A. One Embodiment <A-1. Configuration>
[A-1-1. overall structure]
FIG. 1 is a block diagram showing a configuration of a vehicle 10 including a travel electronic control device 36 (hereinafter, referred to as “travel ECU 36” or “ECU 36”) as a travel control device according to an embodiment of the present invention. The vehicle 10 (hereinafter also referred to as “own vehicle 10”) includes a vehicle ECU 36, a vehicle peripheral sensor group 20, a vehicle body behavior sensor group 22, a driving operation sensor group 24, a communication device 26, and a human machine An interface 28 (hereinafter, referred to as “HMI 28”), a driving force control system 30, a braking force control system 32, and an electric power steering system 34 (hereinafter, referred to as “EPS system 34”) are provided.

［Ａ−１−２．車両周辺センサ群２０］
車両周辺センサ群２０は、車両１０の周辺に関する情報（以下「車両周辺情報Ｉｃ」ともいう。）を検出する。車両周辺センサ群２０には、複数の車外カメラ５０と、複数のレーダ５２と、ＬＩＤＡＲ５４（Light Detection And Ranging）と、グローバル・ポジショニング・システム・センサ５６（以下「ＧＰＳセンサ５６」という。）とが含まれる。 [A-1-2. Vehicle Peripheral Sensor Group 20]
The vehicle periphery sensor group 20 detects information about the periphery of the vehicle 10 (hereinafter, also referred to as “vehicle periphery information Ic”). The vehicle periphery sensor group 20 includes a plurality of outside cameras 50, a plurality of radars 52, a LIDAR 54 (Light Detection And Ranging), and a global positioning system sensor 56 (hereinafter, referred to as a "GPS sensor 56"). included.

複数の車外カメラ５０（以下「カメラ５０」ともいう。）は、車両１０の周辺（前方、側方及び後方）を撮像した周辺画像Ｆｓに関する画像情報Ｉｉｍａｇｅを出力する。各カメラ５０は、周辺画像Ｆｓを連続的に取得する。換言すると、各カメラ５０は、周辺画像Ｆｓを動画として取得するビデオカメラである。但し、カメラ５０は、例えば、後述する第１例外認識処理又は第２例外認識処理に利用する観点からすれば、周辺画像Ｆｓを連続的に取得可能なスチルカメラであってもよい。   The plurality of out-of-vehicle cameras 50 (hereinafter, also referred to as “cameras 50”) output image information Iimage regarding a peripheral image Fs obtained by capturing the periphery (front, side, and rear) of the vehicle 10. Each camera 50 continuously acquires the peripheral image Fs. In other words, each camera 50 is a video camera that acquires the peripheral image Fs as a moving image. However, the camera 50 may be a still camera capable of continuously acquiring the peripheral image Fs from the viewpoint of use in a first exception recognition process or a second exception recognition process described later.

複数のレーダ５２は、車両１０の周辺（前方、側方及び後方）に送信した電磁波に対する反射波を示すレーダ情報Ｉｒａｄａｒを出力する。ＬＩＤＡＲ５４は、車両１０の全方位にレーザーを連続的に発射し、その反射波に基づいて反射点の三次元位置を測定して三次元情報Ｉｌｉｄａｒとして出力する。ＧＰＳセンサ５６は、車両１０の現在位置Ｐｃｕｒを検出する。車外カメラ５０、レーダ５２、ＬＩＤＡＲ５４及びＧＰＳセンサ５６は、車両周辺情報Ｉｃを認識する周辺認識装置である。   The plurality of radars 52 output radar information Iradar indicating a reflected wave with respect to the electromagnetic wave transmitted around the vehicle 10 (front, side, and rear). The LIDAR 54 continuously emits a laser in all directions of the vehicle 10, measures the three-dimensional position of the reflection point based on the reflected wave, and outputs it as three-dimensional information Ilidar. The GPS sensor 56 detects the current position Pcur of the vehicle 10. The external camera 50, the radar 52, the LIDAR 54, and the GPS sensor 56 are peripheral recognition devices that recognize the vehicle peripheral information Ic.

［Ａ−１−３．車体挙動センサ群２２］
車体挙動センサ群２２は、車両１０（特に車体）の挙動に関する情報（以下「車体挙動情報Ｉｂ」ともいう。）を検出する。車体挙動センサ群２２には、車速センサ６０と、加速度センサ６２と、ヨーレートセンサ６４と、傾斜センサ６６とが含まれる。 [A-1-3. Body behavior sensor group 22]
The vehicle body behavior sensor group 22 detects information on the behavior of the vehicle 10 (particularly, the vehicle body) (hereinafter, also referred to as “vehicle behavior information Ib”). The vehicle body behavior sensor group 22 includes a vehicle speed sensor 60, an acceleration sensor 62, a yaw rate sensor 64, and an inclination sensor 66.

車速センサ６０は、車両１０の車速Ｖ［ｋｍ／ｈ］及び進行方向Ｄｔを検出する。加速度センサ６２は、車両１０の加速度Ｇ［ｍ／ｓ／ｓ］を検出する。加速度Ｇは、前後加速度α、横加速度Ｇｌａｔ及び上下加速度Ｇｖを含む（一部の方向のみの加速度Ｇとしてもよい。）。   The vehicle speed sensor 60 detects the vehicle speed V [km / h] of the vehicle 10 and the traveling direction Dt. The acceleration sensor 62 detects the acceleration G [m / s / s] of the vehicle 10. The acceleration G includes a longitudinal acceleration α, a lateral acceleration Glat, and a vertical acceleration Gv (or may be an acceleration G in only some directions).

ヨーレートセンサ６４は、車両１０のヨーレートＹ［ｒａｄ／ｓ］を検出する。傾斜センサ６６（勾配センサ）は、車両１０の進行方向Ｄｔに対する車両１０（車体）の傾斜角Ａ［°］を検出する。車体のピッチングを無視すれば、傾斜角Ａは、自車１０の走行レーン３０２の勾配Ｇｒ［°］を意味する。   The yaw rate sensor 64 detects a yaw rate Y [rad / s] of the vehicle 10. The tilt sensor 66 (gradient sensor) detects a tilt angle A [°] of the vehicle 10 (vehicle body) with respect to the traveling direction Dt of the vehicle 10. If the pitching of the vehicle body is neglected, the inclination angle A means the gradient Gr [°] of the traveling lane 302 of the vehicle 10.

［Ａ−１−４．運転操作センサ群２４］
運転操作センサ群２４は、運転者による運転操作に関する情報（以下「運転操作情報Ｉｏ」ともいう。）を検出する。運転操作センサ群２４には、アクセルペダルセンサ８０と、ブレーキペダルセンサ８２と、舵角センサ８４と、操舵トルクセンサ８６とが含まれる。 [A-1-4. Driving operation sensor group 24]
The driving operation sensor group 24 detects information on a driving operation by the driver (hereinafter, also referred to as “driving operation information Io”). The driving operation sensor group 24 includes an accelerator pedal sensor 80, a brake pedal sensor 82, a steering angle sensor 84, and a steering torque sensor 86.

アクセルペダルセンサ８０（以下「ＡＰセンサ８０」ともいう。）は、アクセルペダル９０の操作量θａｐ（以下「ＡＰ操作量θａｐ」ともいう。）［％］を検出する。ブレーキペダルセンサ８２（以下「ＢＰセンサ８２」ともいう。）は、ブレーキペダル９２の操作量θｂｐ（以下「ＢＰ操作量θｂｐ」ともいう。）［％］を検出する。舵角センサ８４は、ステアリングハンドル９４の舵角θｓｔ［ｄｅｇ］を検出する。操舵トルクセンサ８６は、ステアリングハンドル９４に加えられた操舵トルクＴｓｔ［Ｎ・ｍ］を検出する。   The accelerator pedal sensor 80 (hereinafter also referred to as “AP sensor 80”) detects an operation amount θap of the accelerator pedal 90 (hereinafter also referred to as “AP operation amount θap”) [%]. The brake pedal sensor 82 (hereinafter also referred to as “BP sensor 82”) detects an operation amount θbp of the brake pedal 92 (hereinafter also referred to as “BP operation amount θbp”) [%]. The steering angle sensor 84 detects a steering angle θst [deg] of the steering handle 94. The steering torque sensor 86 detects a steering torque Tst [N · m] applied to the steering handle 94.

［Ａ−１−５．通信装置２６］
通信装置２６は、外部機器との無線通信を行う。ここでの外部機器には、例えば、交通情報サーバとしての外部サーバ２５０が含まれる。交通情報サーバは、渋滞情報、事故情報、工事情報等の交通情報を各車両１０に対して提供する。或いは、外部サーバ２５０は、経路案内サーバであってもよい。経路案内サーバは、通信装置２６から受信した車両１０の現在位置Ｐｃｕｒ及び目標地点Ｐｇｏａｌに基づいて、目標地点Ｐｇｏａｌまでの予定経路Ｒｖを走行ＥＣＵ３６に代わって生成又は算出する。 [A-1-5. Communication device 26]
The communication device 26 performs wireless communication with an external device. The external devices here include, for example, an external server 250 as a traffic information server. The traffic information server provides each vehicle 10 with traffic information such as traffic congestion information, accident information, and construction information. Alternatively, the external server 250 may be a route guidance server. The route guidance server generates or calculates a scheduled route Rv to the target point Pgoal on behalf of the travel ECU 36 based on the current position Pcur and the target point Pgoal of the vehicle 10 received from the communication device 26.

なお、本実施形態の通信装置２６は、車両１０に搭載（又は常時固定）されているものを想定しているが、例えば、携帯電話機又はスマートフォンのように車両１０の外部へ持ち運び可能なものであってもよい。   Note that the communication device 26 of the present embodiment is assumed to be mounted on (or constantly fixed to) the vehicle 10. However, for example, the communication device 26 is a device that can be carried outside the vehicle 10 such as a mobile phone or a smartphone. There may be.

［Ａ−１−６．ＨＭＩ２８］
ＨＭＩ２８は、乗員からの操作入力を受け付けると共に、乗員に対して各種情報の提示を、視覚的、聴覚的及び触覚的に行う。ＨＭＩ２８には、自動運転スイッチ１１０（以下「自動運転ＳＷ１１０」ともいう。）と、スピーカ１１２と、表示部１１４とが含まれる。 [A-1-6. HMI28]
The HMI 28 receives an operation input from the occupant and visually, audibly, and tactilely presents various information to the occupant. The HMI 28 includes an automatic operation switch 110 (hereinafter, also referred to as “automatic operation switch 110”), a speaker 112, and a display unit 114.

自動運転ＳＷ１１０は、乗員の操作により自動運転制御の開始及び終了を指令するためのスイッチである。自動運転ＳＷ１１０に加えて又はこれに代えて、その他の方法（図示しないマイクロホンを介しての音声入力等）により自動運転制御の開始又は終了を指令することも可能である。表示部１１４は、例えば、液晶パネル又は有機ＥＬパネルを含む。表示部１１４は、タッチパネルとして構成されてもよい。   The automatic operation SW 110 is a switch for instructing start and end of the automatic operation control by the operation of the occupant. In addition to or instead of the automatic operation SW 110, it is also possible to instruct the start or end of the automatic operation control by another method (such as voice input via a microphone not shown). The display unit 114 includes, for example, a liquid crystal panel or an organic EL panel. The display unit 114 may be configured as a touch panel.

［Ａ−１−７．駆動力制御システム３０］
駆動力制御システム３０は、エンジン１２０（駆動源）及び駆動電子制御装置１２２（以下「駆動ＥＣＵ１２２」という。）を有する。上述のＡＰセンサ８０及びアクセルペダル９０を駆動力制御システム３０の一部として位置付けてもよい。駆動ＥＣＵ１２２は、ＡＰ操作量θａｐ等を用いて車両１０の駆動力制御を実行する。駆動力制御に際し、駆動ＥＣＵ１２２は、エンジン１２０の制御を介して車両１０の走行駆動力Ｆｄを制御する。 [A-1-7. Driving force control system 30]
The drive force control system 30 includes an engine 120 (drive source) and a drive electronic control device 122 (hereinafter, referred to as “drive ECU 122”). The above-described AP sensor 80 and accelerator pedal 90 may be positioned as a part of the driving force control system 30. The drive ECU 122 controls the driving force of the vehicle 10 using the AP operation amount θap and the like. At the time of driving force control, the driving ECU 122 controls the driving force Fd of the vehicle 10 through control of the engine 120.

［Ａ−１−８．制動力制御システム３２］
制動力制御システム３２は、ブレーキ機構１３０及び制動電子制御装置１３２（以下「制動ＥＣＵ１３２」という。）を有する。上述のＢＰセンサ８２及びブレーキペダル９２を制動力制御システム３２の一部として位置付けてもよい。ブレーキ機構１３０は、ブレーキモータ（又は油圧機構）等によりブレーキ部材を作動させる。 [A-1-8. Braking force control system 32]
The braking force control system 32 has a brake mechanism 130 and a braking electronic control device 132 (hereinafter, referred to as a “braking ECU 132”). The BP sensor 82 and the brake pedal 92 described above may be positioned as a part of the braking force control system 32. The brake mechanism 130 operates a brake member by a brake motor (or a hydraulic mechanism) or the like.

制動ＥＣＵ１３２は、ＢＰ操作量θｂｐ等を用いて車両１０の制動力制御を実行する。制動力制御に際し、制動ＥＣＵ１３２は、ブレーキ機構１３０等の制御を介して車両１０の制動力Ｆｂを制御する。   The braking ECU 132 executes the braking force control of the vehicle 10 using the BP operation amount θbp and the like. In controlling the braking force, the braking ECU 132 controls the braking force Fb of the vehicle 10 through control of the brake mechanism 130 and the like.

［Ａ−１−９．ＥＰＳシステム３４］
ＥＰＳシステム３４は、ＥＰＳモータ１４０と、ＥＰＳ電子制御装置１４２（以下「ＥＰＳ ＥＣＵ１４２」又は「ＥＣＵ１４２」という。）とを有する。上述の舵角センサ８４、操舵トルクセンサ８６及びステアリングハンドル９４をＥＰＳシステム３４の一部として位置付けてもよい。 [A-1-9. EPS system 34]
The EPS system 34 includes an EPS motor 140 and an EPS electronic control device 142 (hereinafter, referred to as “EPS ECU 142” or “ECU 142”). The steering angle sensor 84, the steering torque sensor 86, and the steering handle 94 described above may be positioned as part of the EPS system 34.

ＥＰＳ ＥＣＵ１４２は、走行ＥＣＵ３６からの指令に応じてＥＰＳモータ１４０を制御して、車両１０の舵角θｓｔを制御する。   The EPS ECU 142 controls the EPS motor 140 in accordance with a command from the traveling ECU 36 to control the steering angle θst of the vehicle 10.

［Ａ−１−１０．走行ＥＣＵ３６］
（Ａ−１−１０−１．走行ＥＣＵ３６の概要）
走行ＥＣＵ３６は、運転者による運転操作を要さずに目標地点Ｐｇｏａｌまで車両１０を運転する自動運転制御を実行するものであり、例えば、中央処理装置（ＣＰＵ）を含む。ＥＣＵ３６は、入出力部１５０、演算部１５２及び記憶部１５４を有する。 [A-1-10. Travel ECU 36]
(A-1-10-1. Outline of Traveling ECU 36)
The traveling ECU 36 executes automatic driving control for driving the vehicle 10 to the target point Pgoal without requiring a driving operation by the driver, and includes, for example, a central processing unit (CPU). The ECU 36 includes an input / output unit 150, a calculation unit 152, and a storage unit 154.

なお、走行ＥＣＵ３６の機能の一部を車両１０の外部に存在する外部サーバ２５０に担わせることも可能である。例えば、車両１０自体では、後述する行動計画部１７２及び／又は地図データベース２００を有さず、上記経路案内サーバから予定経路Ｒｖ及び／又は地図情報Ｉｍａｐを取得する構成も可能である。   A part of the functions of the travel ECU 36 may be assigned to the external server 250 existing outside the vehicle 10. For example, the vehicle 10 itself does not have the action planning unit 172 and / or the map database 200 described later, and may be configured to acquire the planned route Rv and / or the map information Imap from the route guidance server.

（Ａ−１−１０−２．入出力部１５０）
入出力部１５０は、ＥＣＵ３６以外の機器（センサ群２０、２２、２４、通信装置２６等）との入出力を行う。 (A-1-10-2. Input / output unit 150)
The input / output unit 150 performs input / output with devices other than the ECU 36 (the sensor groups 20, 22, 24, the communication device 26, and the like).

（Ａ−１−１０−３．演算部１５２）
演算部１５２は、各センサ群２０、２２、２４、通信装置２６、ＨＭＩ２８及び各ＥＣＵ１２２、１３２、１４２等からの信号に基づいて演算を行う。そして、演算部１５２は、演算結果に基づき、通信装置２６、駆動ＥＣＵ１２２、制動ＥＣＵ１３２及びＥＰＳ ＥＣＵ１４２に対する信号を生成する。 (A-1-10-3. Calculation unit 152)
The calculation unit 152 performs calculation based on signals from the sensor groups 20, 22, 24, the communication device 26, the HMI 28, the ECUs 122, 132, 142, and the like. Then, the calculation unit 152 generates a signal to the communication device 26, the drive ECU 122, the brake ECU 132, and the EPS ECU 142 based on the calculation result.

図１に示すように、走行ＥＣＵ３６の演算部１５２は、周辺認識部１７０と、行動計画部１７２と、走行制御部１７４とを有する。これらの各部は、記憶部１５４に記憶されているプログラムを実行することにより実現される。前記プログラムは、通信装置２６を介して外部サーバ２５０から供給されてもよい。前記プログラムの一部をハードウェア（回路部品）で構成することもできる。   As illustrated in FIG. 1, the calculation unit 152 of the traveling ECU 36 includes a peripheral recognition unit 170, an action planning unit 172, and a traveling control unit 174. These units are realized by executing a program stored in the storage unit 154. The program may be supplied from the external server 250 via the communication device 26. A part of the program may be constituted by hardware (circuit components).

周辺認識部１７０は、車両周辺センサ群２０からの車両周辺情報Ｉｃに基づいてレーンマーク（図３のレーンマーク画像５１４ａ、５１４ｂ、５１４ｃ参照）及び周辺障害物（図２の先行車両３２０等）を認識する。例えば、レーンマークは、画像情報Ｉｉｍａｇｅに基づいて認識する。周辺認識部１７０は、認識したレーンマークに基づいて車両１０の走行レーン３０２（図２等）を認識する。   The peripheral recognition unit 170 recognizes a lane mark (see the lane mark images 514a, 514b, and 514c in FIG. 3) and peripheral obstacles (such as the preceding vehicle 320 in FIG. 2) based on the vehicle peripheral information Ic from the vehicle peripheral sensor group 20. recognize. For example, the lane mark is recognized based on the image information Iimage. The periphery recognition unit 170 recognizes the traveling lane 302 (FIG. 2 and the like) of the vehicle 10 based on the recognized lane mark.

また、周辺障害物は、画像情報Ｉｉｍａｇｅ、レーダ情報Ｉｒａｄａｒ及び三次元情報Ｉｌｉｄａｒを用いて認識する。周辺障害物には、他車（図２の先行車両３２０等）等の移動物体と、建物、道路標識（例えば信号機３３０（図２））等の静止物体とが含まれる。周辺障害物が信号機３３０である場合、周辺認識部１７０は、信号機３３０の色Ｃ、矢印等を判定する。   The surrounding obstacle is recognized using the image information Iimage, the radar information Iradar, and the three-dimensional information Ilidar. The peripheral obstacle includes a moving object such as another vehicle (such as the preceding vehicle 320 in FIG. 2) and a stationary object such as a building or a road sign (for example, the traffic signal 330 (FIG. 2)). When the surrounding obstacle is the traffic light 330, the periphery recognition unit 170 determines the color C, the arrow, and the like of the traffic light 330.

周辺認識部１７０は、信号機３３０を認識する信号機認識制御を行う信号機認識部１８０を有する。信号機認識制御については、図２〜図８を参照して後述する。   The periphery recognition unit 170 includes a traffic light recognition unit 180 that performs traffic light recognition control for recognizing the traffic light 330. The traffic light recognition control will be described later with reference to FIGS.

行動計画部１７２は、ＨＭＩ２８を介して入力された目標地点Ｐｇｏａｌまでの自車１０の予定経路Ｒｖを算出し、予定経路Ｒｖに沿った経路案内を行う。   The action planning unit 172 calculates the planned route Rv of the vehicle 10 to the target point Pgoal input via the HMI 28, and performs route guidance along the planned route Rv.

走行制御部１７４は、車体挙動を制御する各アクチュエータの出力を制御する。ここにいうアクチュエータには、エンジン１２０、ブレーキ機構１３０及びＥＰＳモータ１４０が含まれる。走行制御部１７４は、アクチュエータの出力を制御することで、車両１０（特に車体）の挙動量（以下「車体挙動量Ｑｂ」という。）を制御することとなる。ここにいう車体挙動量Ｑｂには、車速Ｖ、前後加速度α、舵角θｓｔ、横加速度Ｇｌａｔ及びヨーレートＹが含まれる。   The traveling control unit 174 controls the output of each actuator that controls the vehicle body behavior. The actuator referred to here includes the engine 120, the brake mechanism 130, and the EPS motor 140. The traveling control unit 174 controls the behavior amount of the vehicle 10 (particularly, the vehicle body) (hereinafter, referred to as “vehicle body behavior amount Qb”) by controlling the output of the actuator. The vehicle body behavior amount Qb includes the vehicle speed V, the longitudinal acceleration α, the steering angle θst, the lateral acceleration Glat, and the yaw rate Y.

走行制御部１７４は、自車１０の加減速を制御する加減速制御部１９０と、自車１０の旋回を制御する旋回制御部１９２とを有する。加減速制御部１９０は、自動駆動力制御及び自動制動力制御を実行する、自動駆動力制御は、主としてエンジン１２０の出力を制御することにより、車両１０の走行駆動力Ｆｄ（又は正の加速度α）を制御する。自動制動力制御は、主としてブレーキ機構１３０の出力を制御することにより、車両１０の制動力Ｆｂ（又は負の加速度α若しくは減速度β）を制御する。旋回制御部１９２は、自動旋回制御を実行する。自動旋回制御は、主として、ＥＰＳモータ１４０の出力を制御することにより、車両１０の舵角θｓｔ（又は横加速度Ｇｌａｔ若しくはヨーレートＹ）を制御する。   The traveling control unit 174 includes an acceleration / deceleration control unit 190 that controls acceleration / deceleration of the own vehicle 10 and a turning control unit 192 that controls turning of the own vehicle 10. The acceleration / deceleration control unit 190 performs automatic driving force control and automatic braking force control. The automatic driving force control mainly controls the output of the engine 120, and thereby the traveling driving force Fd of the vehicle 10 (or the positive acceleration α). ) Control. The automatic braking force control controls the braking force Fb (or negative acceleration α or deceleration β) of the vehicle 10 mainly by controlling the output of the brake mechanism 130. The turning control unit 192 performs automatic turning control. The automatic turning control mainly controls the steering angle θst (or the lateral acceleration Glat or the yaw rate Y) of the vehicle 10 by controlling the output of the EPS motor 140.

（Ａ−１−１０−４．記憶部１５４）
記憶部１５４は、演算部１５２が利用するプログラム及びデータ（地図データベース２００を含む。）を記憶する。地図データベース２００（以下「地図ＤＢ２００」という。）には、道路地図の情報（地図情報Ｉｍａｐ）が記憶される。 (A-1-10-4. Storage unit 154)
The storage unit 154 stores programs and data (including the map database 200) used by the calculation unit 152. Road map information (map information Imap) is stored in the map database 200 (hereinafter, referred to as “map DB 200”).

記憶部１５４は、例えば、ランダム・アクセス・メモリ（以下「ＲＡＭ」という。）を備える。ＲＡＭとしては、レジスタ等の揮発性メモリと、フラッシュメモリ等の不揮発性メモリとを用いることができる。また、記憶部１５４は、ＲＡＭに加え、リード・オンリー・メモリ（以下「ＲＯＭ」という。）を有してもよい。   The storage unit 154 includes, for example, a random access memory (hereinafter, referred to as “RAM”). As the RAM, a volatile memory such as a register and a nonvolatile memory such as a flash memory can be used. The storage unit 154 may include a read-only memory (hereinafter, referred to as “ROM”) in addition to the RAM.

＜Ａ−２．本実施形態の自動運転制御＞
［Ａ−２−１．本実施形態の自動運転制御の概要］
上記のように、本実施形態の走行ＥＣＵ３６は、自動運転制御を実行する。自動運転制御では、運転者による運転操作を要さずに目標地点Ｐｇｏａｌまで車両１０を運転する。但し、自動運転制御では、運転者がアクセルペダル９０、ブレーキペダル９２又はステアリングハンドル９４を操作した場合、当該操作を運転に反映してもよい。本実施形態の自動運転制御では、自動駆動力制御と、自動制動力制御と、自動旋回制御を組み合わせて用いる。 <A-2. Automatic operation control of the present embodiment>
[A-2-1. Overview of automatic operation control according to present embodiment]
As described above, the traveling ECU 36 of the present embodiment executes the automatic driving control. In the automatic driving control, the vehicle 10 is driven to the target point Pgoal without requiring a driving operation by the driver. However, in the automatic driving control, when the driver operates the accelerator pedal 90, the brake pedal 92, or the steering handle 94, the operation may be reflected on the driving. In the automatic driving control according to the present embodiment, automatic driving force control, automatic braking force control, and automatic turning control are used in combination.

自動駆動力制御は、走行駆動力Ｆｄを制御して車両１０を走行させる。この際、ＥＣＵ３６は、走行駆動力Ｆｄの目標値（例えば、目標エンジントルク）を設定し、この目標値に応じてアクチュエータ（エンジン１２０）を制御する。   In the automatic driving force control, the vehicle 10 travels by controlling the traveling driving force Fd. At this time, the ECU 36 sets a target value (for example, a target engine torque) of the driving force Fd, and controls the actuator (engine 120) according to the target value.

自動制動力制御は、車両１０の制動力Ｆｂを制御して車両１０を減速させる。この際、ＥＣＵ３６は、制動力Ｆｂの目標値（例えば、目標減速度βｔａｒ）を設定し、この目標値に応じてアクチュエータ（ブレーキ機構１３０）を制御する。   In the automatic braking force control, the vehicle 10 is decelerated by controlling the braking force Fb of the vehicle 10. At this time, the ECU 36 sets a target value (for example, the target deceleration βtar) of the braking force Fb, and controls the actuator (the brake mechanism 130) according to the target value.

自動旋回制御は、車両１０の舵角θｓｔを制御して車両１０を旋回させる。ここにいう車両１０の旋回は、カーブ路を走行する場合のみならず、車両１０の右左折、走行レーンの変更、別レーンへの合流及び走行レーンの維持を含む。ＥＣＵ３６は、舵角θｓｔの目標値（例えば、目標ヨーレートＹｔａｒ又は目標横加速度Ｇｌａｔｔａｒ）を設定し、この目標値に応じてアクチュエータ（ＥＰＳモータ１４０）を制御する。自動旋回制御には、レーン維持アシストシステム制御（以下「ＬＫＡＳ制御」ともいう。ＬＫＡＳ：Lane Keeping Assist System）が含まれる。   The automatic turning control turns the vehicle 10 by controlling the steering angle θst of the vehicle 10. The turning of the vehicle 10 referred to here includes not only the case where the vehicle 10 runs on a curved road, but also the turning of the vehicle 10, the change of the traveling lane, the joining to another lane, and the maintenance of the traveling lane. The ECU 36 sets a target value of the steering angle θst (for example, the target yaw rate Ytar or the target lateral acceleration Glattar), and controls the actuator (EPS motor 140) according to the target value. The automatic turning control includes lane keeping assist system control (hereinafter also referred to as “LKAS control”; LKAS: Lane Keeping Assist System).

［Ａ−２−２．信号機認識制御］
（Ａ−２−２−１．検討事項）
図２は、本実施形態の自車１０が上り坂３１０を走行している場面を示す図である。上り坂３１０は、道路３００（以下「走行路３００」ともいう。）の一部を成す。道路３００は、自車１０の走行レーン３０２と反対レーン（図示せず。図３の反対レーン画像５１２参照）とを有する。図２では、自車１０の走行レーン３０２において自車１０の前を他車３２０（以下「先行車両３２０」という。）が走行している。また、上り坂３１０の先に存在する下り坂３１２には、信号機３３０が存在している。図２における仮想線Ｌｘは、自車１０の進行方向Ｄｔを示す補助線である。 [A-2-2. Traffic light recognition control]
(A-2-2-1. Considerations)
FIG. 2 is a diagram illustrating a scene in which the vehicle 10 of the present embodiment is traveling on an uphill 310. The uphill 310 forms a part of the road 300 (hereinafter, also referred to as “traveling road 300”). The road 300 has a traveling lane 302 of the vehicle 10 and an opposite lane (not shown; see the opposite lane image 512 in FIG. 3). In FIG. 2, another vehicle 320 (hereinafter, referred to as “preceding vehicle 320”) is traveling in front of the vehicle 10 in the traveling lane 302 of the vehicle 10. In addition, a traffic light 330 is present on a downhill 312 existing ahead of the uphill 310. The virtual line Lx in FIG. 2 is an auxiliary line indicating the traveling direction Dt of the vehicle 10.

図３は、図２の自車１０のカメラ５０が取得した周辺画像Ｆｓの一例を簡略的に示す図である。図３の周辺画像Ｆｓには、道路３００の画像５００（以下「道路画像５００」ともいう。）と、先行車両３２０の画像５２０（以下「先行車両画像５２０」ともいう。）と、信号機３３０の画像５３０（以下「信号機画像５３０」ともいう。）とが含まれている。   FIG. 3 is a diagram schematically illustrating an example of the peripheral image Fs acquired by the camera 50 of the own vehicle 10 in FIG. 3 include an image 500 of the road 300 (hereinafter also referred to as “road image 500”), an image 520 of the preceding vehicle 320 (hereinafter also referred to as “preceding vehicle image 520”), and a traffic signal 330. An image 530 (hereinafter, also referred to as “traffic light image 530”) is included.

道路画像５００は、自車１０の走行レーン３０２を示す走行レーン画像５０２と、反対レーン（図示せず）を示す反対レーン画像５１２とを含む。走行レーン画像５０２は、レーンマーク画像５１４ａ、５１４ｂにより規定され、反対レーン画像５１２は、レーンマーク画像５１４ｂ、５１４ｃにより規定される。先行車両画像５２０には、テールライト３２２の画像５２２（以下「テールライト画像５２２」という。）が含まれる。   The road image 500 includes a traveling lane image 502 indicating the traveling lane 302 of the vehicle 10 and an opposite lane image 512 indicating the opposite lane (not shown). The traveling lane image 502 is defined by lane mark images 514a and 514b, and the opposite lane image 512 is defined by lane mark images 514b and 514c. The preceding vehicle image 520 includes an image 522 of the tail light 322 (hereinafter, referred to as a “tail light image 522”).

図２の場面では、仮想線Ｌｘよりも下に信号機３３０が位置している。このため、信号機３３０が赤である場合、ＥＣＵ３６は、信号機３３０の発光を先行車両３２０のテールライト３２２（図２）の発光と誤認識して、信号機３３０を信号機として認識できないおそれがある。   In the scene of FIG. 2, the traffic light 330 is located below the virtual line Lx. Therefore, when the traffic light 330 is red, the ECU 36 may erroneously recognize the light emission of the traffic light 330 as the light emission of the tail light 322 (FIG. 2) of the preceding vehicle 320 and may not be able to recognize the traffic light 330 as a traffic light.

図４は、本実施形態の自車１０が下り坂３１２を走行している場面を示す図である。図４では、下り坂３１２の先に存在する平坦路３４０には、図２とは別の信号機３３０が存在している。図２と同様、図４における仮想線Ｌｘは、自車１０の進行方向Ｄｔを示す補助線である。   FIG. 4 is a diagram illustrating a scene where the vehicle 10 of the present embodiment is traveling on a downhill 312. In FIG. 4, a traffic light 330 different from that in FIG. 2 exists on a flat road 340 existing ahead of the downhill 312. As in FIG. 2, the virtual line Lx in FIG. 4 is an auxiliary line indicating the traveling direction Dt of the vehicle 10.

図４において、自車１０が平坦路３４０を走行している場面と比較して、信号機３３０は、仮想線Ｌｘに対して比較的上方に位置することになる。このため、信号機３３０の高さＨ（後述）が所定範囲内にあることを信号機３３０の認識確定条件とする場合、ＥＣＵ３６は、信号機３３０を信号機として認識できないおそれがある。   In FIG. 4, the traffic light 330 is located relatively above the virtual line Lx as compared to a situation where the vehicle 10 is traveling on the flat road 340. For this reason, when the recognition decision condition of the traffic light 330 is that the height H (described later) of the traffic light 330 is within a predetermined range, the ECU 36 may not be able to recognize the traffic light 330 as a traffic light.

そこで、本実施形態では、自車１０の道路３００の勾配Ｇｒが比較的大きい場合でも精度良く信号機３３０を認識可能な第１追跡認識制御及び第２追跡認識制御を用いる（詳細は図５、図７及び図８を参照して後述する。）。   Therefore, in the present embodiment, the first tracking recognition control and the second tracking recognition control capable of accurately recognizing the traffic light 330 are used even when the gradient Gr of the road 300 of the vehicle 10 is relatively large (see FIGS. 5 and 5 for details). 7 and FIG. 8 will be described later.)

（Ａ−２−２−２．信号機認識制御の具体的な流れ）
図５は、本実施形態の信号機認識制御の全体的な流れを示すフローチャートである。上記のように、信号機認識制御は信号機３３０を認識する制御である。ステップＳ１１において、ＥＣＵ３６は、自車１０の現在位置Ｐｃｕｒ、進行方向Ｄｔ及び地図情報Ｉｍａｐに基づいて自車１０が信号機３３０に接近しているか否かを判定する。当該判定は、例えば、自車１０の現在位置Ｐｃｕｒ（又は後述する信号機候補Ｉｓｃの位置）と、自車１０前方の信号機３３０が設けられた交差点の位置（信号機想定位置）との距離Ｄｘが距離閾値ＴＨｄ以内であるか否かにより判定する。或いは、ＥＣＵ３６は、地図情報Ｉｍａｐに基づいて信号機３３０が存在するはずの領域である信号機想定領域Ｒｓａを設定し、自車１０の現在位置Ｐｃｕｒ（又は後述する信号機候補Ｉｓｃの位置）が信号機想定領域Ｒｓａ内にあるか否かにより判定してもよい。 (A-2-2-2. Specific flow of traffic light recognition control)
FIG. 5 is a flowchart showing the overall flow of the traffic light recognition control of the present embodiment. As described above, the traffic light recognition control is control for recognizing the traffic light 330. In step S11, the ECU 36 determines whether or not the vehicle 10 is approaching the traffic light 330 based on the current position Pcur of the vehicle 10, the traveling direction Dt, and the map information Imap. The determination is, for example, that the distance Dx between the current position Pcur of the own vehicle 10 (or the position of the traffic light candidate Isc to be described later) and the position of the intersection where the traffic light 330 is provided in front of the own vehicle 10 (the assumed traffic light position) is the distance. The determination is made based on whether the difference is within the threshold value THd. Alternatively, the ECU 36 sets a traffic light assumed area Rsa, which is an area where the traffic light 330 should exist, based on the map information Imap, and sets the current position Pcur of the vehicle 10 (or the position of the traffic light candidate Isc to be described later) to the traffic light assumed area. The determination may be made based on whether or not it is within Rsa.

自車１０が信号機３３０に接近している場合（Ｓ１１：真）、ステップＳ１２に進む。自車１０が信号機３３０に接近していない場合（Ｓ１１：偽）、今回の処理を終了して、所定時間経過後にステップＳ１１に戻る。   When the vehicle 10 is approaching the traffic light 330 (S11: true), the process proceeds to step S12. If the vehicle 10 is not approaching the traffic light 330 (S11: false), the current process is terminated, and the process returns to step S11 after a predetermined time has elapsed.

ステップＳ１２において、ＥＣＵ３６は、自車１０の走行レーン３０２の勾配Ｇｒを示す勾配情報Ｉｇを取得する。本実施形態では、上り坂（図２の上り坂３１０等）を示す勾配Ｇｒを正の値とし、下り坂（図２の下り坂３１２等）を示す勾配Ｇｒを負の値とする。但し、反対の定義も可能である。勾配情報Ｉｇの取得は、例えば、地図ＤＢ２００から現在位置Ｐｃｕｒに対応する情報として取得することができる。或いは、傾斜センサ６６（勾配センサ）が検出した傾斜角Ａをそのまま用いて又は補正して勾配Ｇｒとして取得することも可能である。   In step S12, the ECU 36 obtains gradient information Ig indicating the gradient Gr of the traveling lane 302 of the vehicle 10. In the present embodiment, the gradient Gr indicating an uphill (such as the uphill 310 in FIG. 2) is set to a positive value, and the gradient Gr indicating a downhill (such as the downhill 312 in FIG. 2) is set to a negative value. However, the opposite definition is possible. The gradient information Ig can be obtained, for example, from the map DB 200 as information corresponding to the current position Pcur. Alternatively, the inclination angle A detected by the inclination sensor 66 (inclination sensor) may be used as it is or may be corrected and acquired as the inclination Gr.

ステップＳ１３において、ＥＣＵ３６は、自車１０の走行レーン３０２が平坦路（図４の平坦路３４０等）であるか否かを、勾配情報Ｉｇに基づいて判定する。具体的には、ＥＣＵ３６は、勾配情報Ｉｇが示す勾配Ｇｒが負の第１勾配閾値ＴＨｇ１以上であり且つ正の第２勾配閾値ＴＨｇ２以下である場合（ＴＨｇ１≦Ｇｒ≦ＴＨｇ２）、自車１０の走行レーン３０２が平坦路であると判定する。反対に、勾配Ｇｒが第１勾配閾値ＴＨｇ１未満である場合（Ｇｒ＜ＴＨｇ１）、換言すると、走行レーン３０２が下り坂である場合、ＥＣＵ３６は、走行レーン３０２が平坦路３４０でないと判定する。また、第２勾配閾値ＴＨｇ２を超える場合（Ｇｒ＞ＴＨｇ２）、換言すると、走行レーン３０２が上り坂である場合、ＥＣＵ３６は、走行レーン３０２が平坦路でないと判定する。   In step S13, the ECU 36 determines whether or not the traveling lane 302 of the vehicle 10 is a flat road (such as the flat road 340 in FIG. 4) based on the gradient information Ig. Specifically, when the gradient Gr indicated by the gradient information Ig is equal to or more than the negative first gradient threshold THg1 and equal to or less than the positive second gradient threshold THg2 (THg1 ≦ Gr ≦ THg2), the ECU 36 determines whether or not the own vehicle 10 is running. It is determined that the traveling lane 302 is a flat road. Conversely, when the gradient Gr is less than the first gradient threshold THg1 (Gr <THg1), in other words, when the traveling lane 302 is a downhill, the ECU 36 determines that the traveling lane 302 is not a flat road 340. Further, when the value exceeds the second gradient threshold THg2 (Gr> THg2), in other words, when the traveling lane 302 is an uphill, the ECU 36 determines that the traveling lane 302 is not a flat road.

自車１０の走行レーン３０２が平坦路である場合（Ｓ１３：真）、ステップＳ１４に進む。ステップＳ１４において、ＥＣＵ３６は、カメラ５０からの単一の（換言すると１フレームの）周辺画像Ｆｓから信号機３３０の認識を確定する通常認識処理（第３信号機認識処理）を実行する。ここにいう「信号機３３０の認識を確定する」とは、認識されたものが信号機３３０であるとして、加減速制御に用いることを意味する。通常認識処理については、図６を参照して後述する。   If the traveling lane 302 of the vehicle 10 is a flat road (S13: true), the process proceeds to step S14. In step S14, the ECU 36 executes a normal recognition process (third traffic light recognition process) for determining the recognition of the traffic light 330 from the single (in other words, one frame) peripheral image Fs from the camera 50. Here, "determining the recognition of the traffic light 330" means that the recognized traffic light is the traffic light 330 and is used for acceleration / deceleration control. The normal recognition processing will be described later with reference to FIG.

自車１０の走行レーン３０２が平坦路でない場合（Ｓ１３：偽）、ステップＳ１５、Ｓ１６に進む。本実施形態では、ステップＳ１５、Ｓ１６を並列処理する。或いは、ステップＳ１５、Ｓ１６のいずれか一方を先に、他方を後に行うことも可能である。   If the traveling lane 302 of the vehicle 10 is not a flat road (S13: false), the process proceeds to steps S15 and S16. In the present embodiment, steps S15 and S16 are processed in parallel. Alternatively, one of steps S15 and S16 may be performed first, and the other may be performed later.

ステップＳ１５において、ＥＣＵ３６は、カメラ５０からの複数の周辺画像Ｆｓから信号機３３０の認識を確定する第１例外認識処理（第１信号機認識処理）を実行する。第１例外認識処理については、図７を参照して後述する。   In step S15, the ECU 36 executes a first exception recognition process (first traffic signal recognition process) for determining the recognition of the traffic signal 330 from the plurality of peripheral images Fs from the camera 50. The first exception recognition process will be described later with reference to FIG.

ステップＳ１６において、ＥＣＵ３６は、カメラ５０からの複数の周辺画像Ｆｓから信号機３３０の認識を確定する第２例外認識処理（第２信号機認識処理）を実行する。第２例外認識処理については、図８を参照して後述する。   In step S16, the ECU 36 executes a second exception recognition process (a second traffic signal recognition process) for determining the recognition of the traffic signal 330 from the plurality of peripheral images Fs from the camera 50. The second exception recognition process will be described later with reference to FIG.

ステップＳ１４又はステップＳ１５、Ｓ１６の後、ステップＳ１７において、ＥＣＵ３６は、今回の処理（Ｓ１４〜Ｓ１６）で信号機３３０が認識されたか否かを判定する。ここにいう信号機３３０の認識は、後述する信号機候補Ｉｓｃが信号機３３０であるとの認識が確定したことを意味する。信号機３３０が認識された場合（Ｓ１７：真）、ステップＳ１８に進む。信号機３３０が認識されなかった場合（Ｓ１７：偽）、今回の信号機認識制御を終了して、所定時間の経過後にステップＳ１１に戻る。   After step S14 or steps S15 and S16, in step S17, the ECU 36 determines whether or not the traffic light 330 has been recognized in the current process (S14 to S16). The recognition of the traffic light 330 here means that the recognition that the traffic light candidate Isc described later is the traffic light 330 has been determined. When the traffic signal 330 is recognized (S17: true), the process proceeds to step S18. If the traffic light 330 has not been recognized (S17: false), the current traffic light recognition control ends, and the process returns to step S11 after a predetermined time has elapsed.

ステップＳ１８において、ＥＣＵ３６は、前回の処理（前回のＳ１４〜Ｓ１６）で認識した信号機３３０との関連付け（すなわちトラッキング）が可能であるか否かを判定する。当該判定は、前回の処理から今回の処理までの経過時間及び車速Ｖに応じて、前回認識された信号機３３０の存在が予測される位置（又は領域内）に、今回認識された信号機３３０が存在するか否かにより判定される。   In step S18, the ECU 36 determines whether or not the association (that is, tracking) with the traffic signal 330 recognized in the previous process (previous S14 to S16) is possible. This determination is based on the elapsed time from the previous process to the current process and the vehicle speed V, and the presently recognized traffic signal 330 exists at the position (or within the area) where the presence of the previously recognized traffic signal 330 is predicted. It is determined by whether or not to perform.

前回認識された信号機３３０とのトラッキングが可能である場合（Ｓ１８：真）、ステップＳ１９において、ＥＣＵ３６は、トラッキングを行う。なお、第１・第２例外認識処理（Ｓ１５、Ｓ１６）の両方で信号機３３０が認識された場合、ＥＣＵ３６は、例えば、前回の処理でトラッキングに用いた方の結果を今回の処理でも利用する。一方、前回認識された信号機３３０とのトラッキングが可能でない場合（Ｓ１８：偽）、ステップＳ２０において、ＥＣＵ３６は、トラッキングを開始する。   When tracking with the traffic light 330 recognized last time is possible (S18: true), in step S19, the ECU 36 performs tracking. When the traffic signal 330 is recognized in both the first and second exception recognition processes (S15 and S16), the ECU 36 uses, for example, the result used for tracking in the previous process in the current process. On the other hand, when tracking with the traffic light 330 recognized last time is not possible (S18: false), in step S20, the ECU 36 starts tracking.

ステップＳ１９又はＳ２０の後、ＥＣＵ３６は、認識結果（すなわち、トラッキングした信号機３３０の情報Ｉｓ（以下「信号機情報Ｉｓ」ともいう。））を出力する。ここにいう信号機情報Ｉｓには、信号機３３０の位置Ｐｓ（又は距離Ｄ）及び色Ｃが含まれる。   After step S19 or S20, the ECU 36 outputs a recognition result (that is, information Is of the tracked traffic light 330 (hereinafter, also referred to as “traffic light information Is”)). The traffic light information Is includes the position Ps (or the distance D) and the color C of the traffic light 330.

なお、ＥＣＵ３６は、トラッキングしている信号機３３０を自動運転制御の利用対象から外すまでトラッキングし続ける。このため、トラッキング中の信号機３３０について、ＥＣＵ３６は、連続する周辺画像Ｆｓそれぞれについて（又は所定の間隔で）、利用対象として選択し続けるか否か（換言すると、利用対象除外条件を満たすか否か）を判定する。   Note that the ECU 36 keeps tracking until the traffic signal 330 being tracked is excluded from the use target of the automatic driving control. For this reason, for the traffic signal 330 being tracked, the ECU 36 determines whether or not to continue to select each of the continuous peripheral images Fs (or at predetermined intervals) as the use target (in other words, whether or not the use target exclusion condition is satisfied). ) Is determined.

ここでの利用対象除外条件としては、例えば、以下の条件を単独で又は組み合わせて用いることができる。
・自車１０による交差点の通過に伴って信号機３３０の一部又は全部が周辺画像Ｆｓに存在しなくなったこと
・何らかの理由で信号機３３０の全部が周辺画像Ｆｓから消失したこと
・信号機３３０と認識したものが、信号機３３０とは異なる特性を示したこと（例えば、後述する図７のステップＳ５４及び／又は図８のステップＳ７４と同様の要件が満たされなくなったこと） As the use object exclusion condition here, for example, the following conditions can be used alone or in combination.
-Some or all of the traffic light 330 is no longer present in the peripheral image Fs due to the passage of the intersection by the vehicle 10-All of the traffic light 330 has disappeared from the peripheral image Fs for some reason-Recognized as the traffic light 330 Has a characteristic different from that of the traffic light 330 (for example, the same requirement as that of step S54 in FIG. 7 and / or step S74 in FIG. 8 described later is not satisfied).

［Ａ−２−３．通常認識処理］
図６は、本実施形態における通常認識処理のフローチャートである。上記のように、通常認識処理では、カメラ５０からの単一の周辺画像Ｆｓ（１つのフレーム）から信号機３３０の認識（又は検出）を確定する。 [A-2-3. Normal recognition processing]
FIG. 6 is a flowchart of the normal recognition process in the present embodiment. As described above, in the normal recognition processing, recognition (or detection) of the traffic light 330 is determined from a single peripheral image Fs (one frame) from the camera 50.

ステップＳ３１において、ＥＣＵ３６は、単一の周辺画像Ｆｓ（ここでは「周辺画像Ｆｓ１」と呼ぶ。）内に信号機３３０の候補Ｉｓｃ（以下「信号機候補Ｉｓｃ」ともいう。）が存在するか否かを判定する。本実施形態において、候補Ｉｓｃは、信号機３３０に特有の色Ｃを有する領域として抽出される。例えば、日本国の車両用信号機３３０であれば、青色、黄色及び赤色の三色で発光することが通常である。そこで、これら三色のいずれかの色Ｃが周辺画像Ｆｓ１内で検出された場合、候補Ｉｓｃとして設定する。   In step S31, the ECU 36 determines whether or not there is a candidate Isc for the traffic light 330 (hereinafter, also referred to as a "traffic light candidate Isc") in a single peripheral image Fs (hereinafter, referred to as "peripheral image Fs1"). judge. In the present embodiment, the candidate Isc is extracted as a region having a color C unique to the traffic light 330. For example, a traffic light 330 for a vehicle in Japan usually emits light in three colors of blue, yellow and red. Therefore, when any one of these three colors C is detected in the peripheral image Fs1, it is set as a candidate Isc.

なお、候補Ｉｓｃが複数存在する場合、ＥＣＵ３６は、それぞれの候補Ｉｓｃについて通常認識処理を実行する。信号機候補Ｉｓｃが存在する場合（Ｓ３１：真）、ステップＳ３２に進む。信号機候補Ｉｓｃが存在しない場合（Ｓ３１：偽）、今回の通常認識処理を終了する。   When there are a plurality of candidates Isc, the ECU 36 executes a normal recognition process for each candidate Isc. When there is a traffic light candidate Isc (S31: true), the process proceeds to step S32. If there is no traffic light candidate Isc (S31: false), the current normal recognition process ends.

ステップＳ３２において、ＥＣＵ３６は、信号機候補Ｉｓｃが、自車１０と同じ方向のレーンＬＮ上又はその付近にあるか否かを判定する。ここにいう「自車１０と同じ方向のレーンＬＮ」とは、片側一車線の道路では、自車１０の走行レーン３０２を指す。また、片側二車線の道路では、自車１０の走行レーン３０２とこれに隣り合うレーン（同じ方向に走行するためのもの）を指す。さらに、「付近」は、「レーンＬＮ上」以外に信号機３３０が存在し得る範囲を指す。   In step S32, the ECU 36 determines whether or not the traffic light candidate Isc is on or near the lane LN in the same direction as the host vehicle 10. The “lane LN in the same direction as the own vehicle 10” here refers to the traveling lane 302 of the own vehicle 10 on a one-lane road. On a two-lane road, the lane 302 of the vehicle 10 and a lane adjacent to the lane 302 (for traveling in the same direction) are indicated. Further, “near” refers to a range where the traffic light 330 can exist in addition to “on lane LN”.

候補ＩｓｃがレーンＬＮ上又はその付近にあるか否かの判定は、例えば、次のように行う。すなわち、ＥＣＵ３６は、カメラ５０が取得した周辺画像Ｆｓ１に基づいて、レーンマークＬＭ及び信号機候補Ｉｓｃを、平面視での二次元空間上に投影する。そして、レーンマークＬＭにより規定されるレーンＬＮの範囲内に候補Ｉｓｃが位置するか否かを特定する。換言すると、ＥＣＵ３６は、候補ＩｓｃがレーンＬＮ上に位置するか否かを判定する。   The determination as to whether or not the candidate Isc is on or near the lane LN is performed, for example, as follows. That is, the ECU 36 projects the lane mark LM and the traffic light candidate Isc on a two-dimensional space in a plan view based on the peripheral image Fs1 acquired by the camera 50. Then, it specifies whether or not the candidate Isc is located within the range of the lane LN defined by the lane mark LM. In other words, the ECU 36 determines whether or not the candidate Isc is located on the lane LN.

信号機候補Ｉｓｃが、自車１０と同じ方向のレーンＬＮ上又はその付近にある場合（Ｓ３２：真）、ステップＳ３３に進む。信号機候補Ｉｓｃが、自車１０と同じ方向のレーンＬＮ上にない場合（Ｓ３２：偽）、ステップＳ３５に進む。   When the traffic light candidate Isc is on or near the lane LN in the same direction as the own vehicle 10 (S32: true), the process proceeds to step S33. If the traffic light candidate Isc is not on the lane LN in the same direction as the host vehicle 10 (S32: false), the process proceeds to step S35.

ステップＳ３３において、ＥＣＵ３６は、周辺画像Ｆｓ１における信号機候補Ｉｓｃの距離Ｄ及び高さＨが信号機３３０の特徴を示しているか否かを判定する。距離Ｄは、自車１０の現在位置Ｐｃｕｒと信号機候補Ｉｓｃの位置Ｐｓｃの間の距離［ｍ］である。車外カメラ５０がステレオカメラとして構成される場合、信号機候補Ｉｓｃの位置Ｐｓｃは、ステレオカメラそれぞれの周辺画像Ｆｓに基づいて算出する。或いは、周辺画像Ｆｓとレーダ情報Ｉｒａｄａｒを組み合わせて位置Ｐｓｃを算出してもよい。或いは、車外カメラ５０が単眼カメラとして構成される場合、ＥＣＵ３６は、単眼カメラの撮像時間の異なる２つの周辺画像Ｆｓから単眼立体視により距離Ｄを求めてもよい。信号機候補Ｉｓｃの高さＨは、周辺画像Ｆｓにおける候補ＩｓｃとレーンＬＮとの間の距離［画素数又はｍ］として定義される。   In step S33, the ECU 36 determines whether or not the distance D and the height H of the traffic light candidate Isc in the peripheral image Fs1 indicate the characteristics of the traffic light 330. The distance D is the distance [m] between the current position Pcur of the vehicle 10 and the position Psc of the traffic light candidate Isc. When the outside camera 50 is configured as a stereo camera, the position Psc of the traffic light candidate Isc is calculated based on the peripheral image Fs of each stereo camera. Alternatively, the position Psc may be calculated by combining the peripheral image Fs and the radar information Iradar. Alternatively, when the camera 50 outside the vehicle is configured as a monocular camera, the ECU 36 may obtain the distance D from the two peripheral images Fs with different imaging times of the monocular camera by monocular stereoscopic vision. The height H of the traffic light candidate Isc is defined as the distance [number of pixels or m] between the candidate Isc and the lane LN in the peripheral image Fs.

周辺画像Ｆｓ１において、信号機３３０の高さＨは、距離Ｄに対応して変化する。すなわち、距離Ｄが比較的長い場合、高さＨは低くなり、距離Ｄが比較的短い場合、高さＨは高くなる。そこで、ＥＣＵ３６は、距離Ｄに応じて高さＨが取り得る範囲を選択し、周辺画像Ｆｓ１内の高さＨがこの範囲に含まれる場合、候補Ｉｓｃが信号機３３０の特徴を示していると判定する。   In the peripheral image Fs1, the height H of the traffic light 330 changes according to the distance D. That is, when the distance D is relatively long, the height H is low, and when the distance D is relatively short, the height H is high. Therefore, the ECU 36 selects a range in which the height H can be taken according to the distance D, and when the height H in the peripheral image Fs1 is included in this range, determines that the candidate Isc indicates the feature of the traffic light 330. I do.

距離Ｄ及び高さＨが信号機３３０の特徴を示している場合（Ｓ３３：真）、ステップＳ３４に進む。距離Ｄ又は高さＨが信号機３３０の特徴を示していない場合（Ｓ３３：偽）、ステップＳ３５に進む。   If the distance D and the height H indicate the characteristics of the traffic light 330 (S33: true), the process proceeds to step S34. If the distance D or the height H does not indicate the characteristics of the traffic light 330 (S33: false), the process proceeds to step S35.

ステップＳ３４において、ＥＣＵ３６は、信号機候補Ｉｓｃが信号機３３０であるとの認識を確定する。これにより、ＥＣＵ３６は、信号機３３０の色Ｃに応じて自車１０の加減速を制御する。ステップＳ３５において、ＥＣＵ３６は、信号機候補Ｉｓｃが信号機３３０でないとの認識を確定する。   In step S34, the ECU 36 determines that the traffic light candidate Isc is the traffic light 330. As a result, the ECU 36 controls the acceleration / deceleration of the vehicle 10 according to the color C of the traffic light 330. In step S35, the ECU 36 determines that the traffic light candidate Isc is not the traffic light 330.

［Ａ−２−４．第１例外認識処理］
図７は、本実施形態における第１例外認識処理のフローチャートである。上記のように、第１例外認識処理では、カメラ５０からの複数の周辺画像Ｆｓ（フレーム）から信号機３３０の認識（又は検出）を確定する。第２例外認識処理との相違点は、第１例外認識処理が信号機候補Ｉｓｃの高さＨの変化を用いるのに対し、第２例外認識処理では信号機候補Ｉｓｃの色Ｃの変化を用いる点等にある。なお、候補Ｉｓｃが複数存在する場合、ＥＣＵ３６は、それぞれの候補Ｉｓｃについて第１例外認識処理を実行する。 [A-2-4. First exception recognition process]
FIG. 7 is a flowchart of the first exception recognition process in the present embodiment. As described above, in the first exception recognition process, recognition (or detection) of the traffic light 330 is determined from the plurality of peripheral images Fs (frames) from the camera 50. The difference from the second exception recognition process is that the first exception recognition process uses a change in the height H of the traffic light candidate Isc, whereas the second exception recognition process uses a change in the color C of the traffic light candidate Isc. It is in. When there are a plurality of candidates Isc, the ECU 36 executes a first exception recognition process for each candidate Isc.

図７のステップＳ５１、Ｓ５２は、図６のステップＳ３１、Ｓ３２と同様である。すなわち、ステップＳ５１において、ＥＣＵ３６は、単一の周辺画像Ｆｓ１内に信号機候補Ｉｓｃが存在するか否かを判定する。本実施形態において、候補Ｉｓｃは、信号機３３０に特有の色Ｃを有する領域として抽出される。   Steps S51 and S52 in FIG. 7 are the same as steps S31 and S32 in FIG. That is, in step S51, the ECU 36 determines whether or not the traffic light candidate Isc exists in the single peripheral image Fs1. In the present embodiment, the candidate Isc is extracted as a region having a color C unique to the traffic light 330.

上記のように、日本国の車両用信号機３３０であれば、青色、黄色及び赤色の三色で発光することが通常である。そこで、これら三色のいずれかの色Ｃが周辺画像Ｆｓ１内で検出された場合、候補Ｉｓｃとして設定する。   As described above, the traffic light 330 for a vehicle in Japan normally emits light in three colors of blue, yellow, and red. Therefore, when any one of these three colors C is detected in the peripheral image Fs1, it is set as a candidate Isc.

候補Ｉｓｃが複数存在する場合、ＥＣＵ３６は、それぞれの候補Ｉｓｃについて第１例外認識処理を実行する。また、ステップＳ５２において、ＥＣＵ３６は、信号機候補Ｉｓｃが、自車１０と同じ方向のレーンＬＮ上又はその付近にあるか否かを判定する。図６のステップＳ３１、Ｓ３２と、図７のステップＳ５１、Ｓ５２とを共通のステップとしてもよい。   If a plurality of candidates Isc exist, the ECU 36 executes a first exception recognition process for each candidate Isc. In step S52, the ECU 36 determines whether or not the traffic light candidate Isc is on or near the lane LN in the same direction as the host vehicle 10. Steps S31 and S32 in FIG. 6 and steps S51 and S52 in FIG. 7 may be common steps.

信号機候補Ｉｓｃが、自車１０と同じ方向のレーンＬＮ上又はその付近にある場合（Ｓ５２：真）、ステップＳ５３に進む。信号機候補Ｉｓｃが、自車１０と同じ方向のレーンＬＮ上又はその付近にない場合（Ｓ５２：偽）、ステップＳ５７に進む。   If the traffic light candidate Isc is on or near the lane LN in the same direction as the own vehicle 10 (S52: true), the process proceeds to step S53. If the traffic light candidate Isc is not on or near the lane LN in the same direction as the own vehicle 10 (S52: false), the process proceeds to step S57.

ステップＳ５３において、ＥＣＵ３６は、ステップＳ５１、Ｓ５２で使用した周辺画像Ｆｓ（Ｆｓ１）の後の周辺画像Ｆｓ（Ｆｓ２、Ｆｓ３、、、）において、候補Ｉｓｃの距離Ｄの変化及び高さＨの変化を判定する。ここで用いる周辺画像Ｆｓの数は、距離Ｄの変化及び高さＨの変化を有意に判定可能な数（例えば、２〜３００のいずれかの値）とすることができる。なお、距離Ｄ及び高さＨの初期値をステップＳ５１等において算出してもよい。   In step S53, the ECU 36 determines the change in the distance D and the change in the height H of the candidate Isc in the peripheral image Fs (Fs2, Fs3,...) After the peripheral image Fs (Fs1) used in steps S51 and S52. judge. The number of peripheral images Fs used here can be a number (for example, any value of 2 to 300) that can significantly determine the change in the distance D and the change in the height H. Note that the initial values of the distance D and the height H may be calculated in step S51 and the like.

ステップＳ５４において、ＥＣＵ３６は、ステップＳ５３で判定した信号機候補Ｉｓｃの距離Ｄの変化及び高さＨの変化が信号機３３０の特徴を示しているか否かを判定する。距離Ｄ及び高さＨの定義は、通常認識処理（図６）と同様である。   In step S54, the ECU 36 determines whether or not the change in the distance D and the change in the height H of the traffic light candidate Isc determined in step S53 indicate the characteristics of the traffic light 330. The definitions of the distance D and the height H are the same as in the normal recognition processing (FIG. 6).

自車１０が信号機３３０に接近すると、周辺画像Ｆｓ上の信号機３３０は、自車１０との距離Ｄが短くなると共に、高さＨが高くなる。そこで、距離Ｄの変化及び高さＨの変化に関する信号機３３０の特徴は、自車１０が進むに連れて距離Ｄが短くなり且つ高さＨが高くなることを用いることができる。   When the vehicle 10 approaches the traffic light 330, the traffic light 330 on the peripheral image Fs has a shorter distance D from the vehicle 10 and a higher height H. Therefore, as a feature of the traffic signal 330 regarding the change in the distance D and the change in the height H, the fact that the distance D becomes shorter and the height H becomes higher as the own vehicle 10 advances can be used.

距離Ｄの変化及び高さＨの変化が信号機３３０の特徴を示している場合（Ｓ５４：真）、ステップＳ５５において、ＥＣＵ３６は、候補Ｉｓｃが信号機３３０であるとの認識を確定する。距離Ｄの変化又は高さＨの変化が信号機３３０の特徴を示していない場合（Ｓ５４：偽）、ステップＳ５６に進む。   When the change in the distance D and the change in the height H indicate the characteristics of the traffic light 330 (S54: true), in step S55, the ECU 36 determines that the candidate Isc is the traffic light 330. If the change in the distance D or the change in the height H does not indicate the characteristic of the traffic light 330 (S54: false), the process proceeds to step S56.

ステップＳ５６において、ＥＣＵ３６は、候補Ｉｓｃを判定対象から除外する候補除外条件が成立したか否かを判定する。候補除外条件は、例えば、距離Ｄの変化又は高さＨの変化が明らかに信号機３３０を示すものではないことを用いることができる。或いは、距離Ｄ自体又は高さＨ自体が明らかに信号機３３０を示すものではないことを用いてもよい。   In step S56, the ECU 36 determines whether or not a candidate exclusion condition for excluding the candidate Isc from the determination target is satisfied. The candidate exclusion condition may use, for example, that a change in the distance D or a change in the height H does not clearly indicate the traffic light 330. Alternatively, it may be used that the distance D or the height H itself does not clearly indicate the traffic light 330.

候補除外条件が成立しない場合（Ｓ５６：偽）、ステップＳ５２に戻る。候補除外条件が成立した場合（Ｓ５６：真）、ステップＳ５７において、ＥＣＵ３６は、信号機候補Ｉｓｃが信号機３３０でないとの認識を確定する。   If the candidate exclusion condition is not satisfied (S56: false), the process returns to step S52. When the candidate exclusion condition is satisfied (S56: true), in step S57, the ECU 36 determines that the traffic light candidate Isc is not the traffic light 330.

［Ａ−２−５．第２例外認識処理］
図８は、本実施形態における第２例外認識処理のフローチャートである。上記のように、第２例外認識処理では、カメラ５０からの複数の周辺画像Ｆｓ（フレーム）から信号機３３０の認識（又は検出）を確定する。第１例外認識処理との相違点は、第１例外認識処理が信号機候補Ｉｓｃの高さＨの変化を用いるのに対し、第２例外認識処理では信号機候補Ｉｓｃの色Ｃの変化を用いる点等にある。なお、候補Ｉｓｃが複数存在する場合、ＥＣＵ３６は、それぞれの候補Ｉｓｃについて第２例外認識処理を実行する。 [A-2-5. Second exception recognition processing]
FIG. 8 is a flowchart of the second exception recognition process in the present embodiment. As described above, in the second exception recognition process, recognition (or detection) of the traffic light 330 is determined from the plurality of peripheral images Fs (frames) from the camera 50. The difference from the first exception recognition process is that the first exception recognition process uses a change in the height H of the traffic light candidate Isc, whereas the second exception recognition process uses a change in the color C of the traffic light candidate Isc. It is in. When there are a plurality of candidate Iscs, the ECU 36 executes a second exception recognition process for each candidate Isc.

図８のステップＳ７１、Ｓ７２は、図６のステップＳ３１、Ｓ３２及び図７のステップＳ５１、Ｓ５２と同様である。すなわち、ステップＳ７１において、ＥＣＵ３６は、単一の周辺画像Ｆｓ１内に信号機候補Ｉｓｃが存在するか否かを判定する。本実施形態において、候補Ｉｓｃは、信号機３３０に特有の色Ｃを有する領域として抽出される。ここでの特有の色は、ステップＳ５１と同様、青色、黄色及び赤色の三色とすることができる。   Steps S71 and S72 in FIG. 8 are the same as steps S31 and S32 in FIG. 6 and steps S51 and S52 in FIG. That is, in step S71, the ECU 36 determines whether or not the traffic light candidate Isc exists in the single peripheral image Fs1. In the present embodiment, the candidate Isc is extracted as a region having a color C unique to the traffic light 330. The specific colors here can be three colors of blue, yellow, and red, as in step S51.

或いは、以下の理由により、上記三色のうち青色のみをステップＳ７１で判定してもよい。すなわち、通常認識処理（図６）では単一の周辺画像Ｆｓ１のみにおいて候補Ｉｓｃの抽出及び信号機３３０の認識確定を行う。これに対し、第２例外認識処理（図８）では複数の周辺画像Ｆｓ（Ｆｓ１、Ｆｓ２、Ｆｓ３、、、）における候補Ｉｓｃの特定の変化を用いて信号機３３０を認識する。また、上記三色のうち黄色及び赤色については、トンネル等に設けられるナトリウムランプの光にそれらの成分が含まれている一方、青色については、その成分を含む光が稀である。そこで、ステップＳ７１で判定する色を青色のみとするとすることで、候補Ｉｓｃを抽出する精度を高めることが可能となる。   Alternatively, only the blue color among the three colors may be determined in step S71 for the following reason. That is, in the normal recognition processing (FIG. 6), the extraction of the candidate Isc and the recognition of the traffic signal 330 are performed only for the single peripheral image Fs1. On the other hand, in the second exception recognition process (FIG. 8), the traffic light 330 is recognized using a specific change of the candidate Isc in the plurality of peripheral images Fs (Fs1, Fs2, Fs3,...). In addition, among the above three colors, yellow and red colors include those components in the light of a sodium lamp provided in a tunnel or the like, while blue colors rarely include those components. Therefore, by setting only the color determined in step S71 to blue, the accuracy of extracting the candidate Isc can be increased.

なお、上記の理由から青色を優先的に用いる場合、青色の場合にステップＳ７３を開始するタイミングを、黄色及び赤色よりも早めるように構成することも可能である。例えば、ステップＳ７１の判定に、自車１０から信号機候補Ｉｓｃまでの距離が距離閾値以下であるか否かを加える場合、黄色及び赤色の場合の距離閾値よりも、青色の場合の距離閾値を長くしてもよい。或いは、青色については距離の条件を設けず、黄色及び赤色については距離の条件（閾値等）を設けてもよい。   In addition, when blue is preferentially used for the above-mentioned reason, it is possible to configure so that the timing of starting step S73 in the case of blue is earlier than that of yellow and red. For example, when adding whether or not the distance from the vehicle 10 to the traffic light candidate Isc is equal to or less than the distance threshold to the determination in step S71, the distance threshold for blue is longer than the distance threshold for yellow and red. May be. Alternatively, the condition of the distance may not be set for blue, and the condition of the distance (threshold or the like) may be set for yellow and red.

同様に、ステップＳ７１の判定に、周辺画像Ｆｓにおける候補Ｉｓｃの面積（周辺画像Ｆｓ上）が面積閾値以上であるか否かを加える場合、黄色及び赤色の場合の面積閾値よりも、青色の場合の面積閾値を小さくしてもよい。或いは、青色については面積の条件を設けず、黄色及び赤色については面積の条件（閾値等）を設けてもよい。   Similarly, when determining whether or not the area of the candidate Isc in the peripheral image Fs (on the peripheral image Fs) is equal to or larger than the area threshold, the determination in step S71 is performed in a case where the area is more blue than the area threshold in yellow and red. May be reduced. Alternatively, the condition of the area may not be set for blue, and the condition of the area (threshold or the like) may be set for yellow and red.

また、ステップＳ７２において、ＥＣＵ３６は、信号機候補Ｉｓｃが、自車１０と同じ方向のレーンＬＮ上又はその付近にあるか否かを判定する。図６のステップＳ３１、Ｓ３２及び図７のステップＳ５１、Ｓ５２と、図８のステップＳ７１、Ｓ７２とを共通のステップとしてもよい。   In step S72, the ECU 36 determines whether the traffic light candidate Isc is on or near the lane LN in the same direction as the host vehicle 10. Steps S31 and S32 in FIG. 6 and steps S51 and S52 in FIG. 7 and steps S71 and S72 in FIG. 8 may be common steps.

信号機候補Ｉｓｃが、自車１０と同じ方向のレーンＬＮ上又はその付近にある場合（Ｓ７２：真）、ステップＳ７３に進む。信号機候補Ｉｓｃが、自車１０と同じ方向のレーンＬＮ上又はその付近にない場合（Ｓ７２：偽）、ステップＳ７７に進む。   When the traffic light candidate Isc is on or near the lane LN in the same direction as the own vehicle 10 (S72: true), the process proceeds to step S73. If the traffic light candidate Isc is not on or near the lane LN in the same direction as the own vehicle 10 (S72: false), the process proceeds to step S77.

ステップＳ７３において、ＥＣＵ３６は、ステップＳ７１、Ｓ７２で使用した周辺画像Ｆｓ（Ｆｓ１）の後の周辺画像Ｆｓ（Ｆｓ２、Ｆｓ３、、、）において、候補Ｉｓｃの距離Ｄの変化及び色Ｃの変化を判定する。ここで用いる周辺画像Ｆｓの数は、距離Ｄの変化及び色Ｃの変化を有意に判定可能な数（例えば、２〜３００のいずれかの値）とすることができる。なお、距離Ｄ及び色Ｃの初期値をステップＳ７１等において算出してもよい。   In step S73, the ECU 36 determines a change in the distance D and a change in the color C of the candidate Isc in the peripheral image Fs (Fs2, Fs3,...) After the peripheral image Fs (Fs1) used in steps S71 and S72. I do. The number of the peripheral images Fs used here can be a number (for example, any value of 2 to 300) that can significantly determine the change in the distance D and the change in the color C. Note that the initial values of the distance D and the color C may be calculated in step S71 and the like.

ステップＳ７４において、ＥＣＵ３６は、ステップＳ７３で判定した信号機候補Ｉｓｃの距離Ｄの変化及び色Ｃの変化が信号機３３０の特徴を示しているか否かを判定する。距離Ｄの定義は、通常認識処理（図６）及び第１例外認識処理（図７）と同様である。また、距離Ｄの変化に関する信号機３３０の特徴は、自車１０が進むに連れて距離Ｄが短くなることを用いることができる。   In step S74, the ECU 36 determines whether or not the change in the distance D and the change in the color C of the traffic light candidate Isc determined in step S73 indicate the characteristics of the traffic light 330. The definition of the distance D is the same as the normal recognition process (FIG. 6) and the first exception recognition process (FIG. 7). Further, as a feature of the traffic signal 330 regarding the change in the distance D, the fact that the distance D decreases as the vehicle 10 advances can be used.

色Ｃに関し、例えば、日本国の車両用信号機３３０であれば、青→黄→赤→青→黄→赤→・・・の順に変化することが通常である。このため、色Ｃの変化がこの規則に沿っていれば、候補Ｉｓｃが信号機３３０であると認識可能である。そこで、本実施形態では、上記三色のうち二色の変化（例えば、青→黄）が生じたことをもって、色Ｃの変化が信号機３３０の特徴を示したと判定する。或いは、上記三色のうち三色の変化（例えば、青→黄→赤）が生じたことをもって、色Ｃの変化が信号機３３０の特徴を示したと判定してもよい。或いは、信号機３３０が矢印信号を含む場合、点灯パターンが複雑となる。この点を考慮し、点灯パターンを地図情報Ｉｍａｐから取得し、ＥＣＵ３６は、当該点灯パターンと色Ｃの変化が一致しているかを判定してもよい。   Regarding the color C, for example, in the case of a traffic light 330 for a vehicle in Japan, the color C normally changes in the order of blue → yellow → red → blue → yellow → red →. Therefore, if the change in the color C complies with this rule, it can be recognized that the candidate Isc is the traffic light 330. Therefore, in the present embodiment, it is determined that the change in the color C indicates the characteristic of the traffic light 330 when the change of two colors (for example, blue → yellow) among the three colors occurs. Alternatively, it may be determined that the change of the color C indicates the characteristic of the traffic light 330 when a change of three colors (for example, blue → yellow → red) occurs among the three colors. Alternatively, when the traffic light 330 includes an arrow signal, the lighting pattern becomes complicated. In consideration of this point, the lighting pattern may be acquired from the map information Imap, and the ECU 36 may determine whether the lighting pattern matches the change in the color C.

なお、信号機３３０では、単一のライトが異なる色で発光するのではなく、複数のライトそれぞれが別々の色（固定色）で発光する。このため、色Ｃの変化は、位置のずれを伴うものであることを、色Ｃの変化の条件の一部とすることができる。   In the traffic light 330, a single light does not emit light in different colors, but each of a plurality of lights emits light in a different color (fixed color). For this reason, the fact that the change in the color C is accompanied by a displacement can be part of the condition for the change in the color C.

距離Ｄの変化及び色Ｃの変化が信号機３３０の特徴を示している場合（Ｓ７４：真）、ステップＳ７５において、ＥＣＵ３６は、候補Ｉｓｃが信号機３３０であるとの認識を確定する。距離Ｄの変化又は色Ｃの変化が信号機３３０の特徴を示していない場合（Ｓ７４：偽）、ステップＳ７６に進む。   When the change in the distance D and the change in the color C indicate the characteristics of the traffic light 330 (S74: true), in step S75, the ECU 36 determines that the candidate Isc is the traffic light 330. When the change in the distance D or the change in the color C does not indicate the characteristic of the traffic light 330 (S74: false), the process proceeds to step S76.

ステップＳ７６において、ＥＣＵ３６は、候補Ｉｓｃを判定対象から除外する候補除外条件が成立したか否かを判定する。候補除外条件は、例えば、距離Ｄの変化又は色Ｃの変化が明らかに信号機３３０を示すものではないことを用いることができる。或いは、距離Ｄ自体又は色Ｃ自体が明らかに信号機３３０を示すものではないことを用いてもよい。   In step S76, the ECU 36 determines whether or not a candidate exclusion condition for excluding the candidate Isc from the determination target is satisfied. The candidate exclusion condition may use, for example, that a change in the distance D or a change in the color C does not clearly indicate the traffic light 330. Alternatively, it may be used that the distance D itself or the color C itself does not clearly indicate the traffic light 330.

候補除外条件が成立しない場合（Ｓ７６：偽）、ステップＳ７２に戻る。候補除外条件が成立した場合（Ｓ７６：真）、ステップＳ７７において、ＥＣＵ３６は、信号機候補Ｉｓｃが信号機３３０でないとの認識を確定する。   If the candidate exclusion condition is not satisfied (S76: false), the process returns to step S72. When the candidate exclusion condition is satisfied (S76: true), in step S77, the ECU 36 determines that the traffic light candidate Isc is not the traffic light 330.

＜Ａ−３．本実施形態の効果＞
以上のように、本実施形態の第１例外認識処理によれば、信号機候補Ｉｓｃの高さＨの変化に基づいて信号機３３０の認識を確定する（図５のＳ１５及び図７）。このため、例えば１枚の周辺画像Ｆｓのみから信号機３３０の認識を確定する場合（図６の通常認識処理等）と比較して、より多い情報量に基づいて信号機３３０の認識を確定することが可能となる。従って、信号機３３０の認識精度を高めることが可能となる。 <A-3. Effects of this embodiment>
As described above, according to the first exception recognition process of the present embodiment, recognition of the traffic light 330 is determined based on the change in the height H of the traffic light candidate Isc (S15 in FIG. 5 and FIG. 7). For this reason, it is possible to determine the recognition of the traffic light 330 based on a larger amount of information as compared with the case where the recognition of the traffic light 330 is determined from only one peripheral image Fs (normal recognition processing in FIG. 6 or the like). It becomes possible. Therefore, the recognition accuracy of the traffic light 330 can be improved.

また、１枚の周辺画像Ｆｓのみから信号機３３０の認識を確定する処理等の他の処理と並行して第１例外認識処理を用いる場合、第１例外認識処理では、より多い情報量に基づいて信号機３３０の認識を確定するため、信号機３３０の認識確定を早めることが可能となる。   When the first exception recognition process is used in parallel with other processes such as the process of determining the recognition of the traffic light 330 from only one peripheral image Fs, the first exception recognition process uses a larger amount of information. Since the recognition of the traffic light 330 is determined, the recognition of the traffic light 330 can be quickly determined.

本実施形態において、走行ＥＣＵ３６（信号機認識装置）は、自車１０の道路３００が下り坂（例えば図２及び図４の下り坂３１２）であることを示す勾配Ｇｒの閾値である第１勾配閾値ＴＨｇ１と、自車１０の道路３００が上り坂（例えば図２の上り坂３１０）であることを示す勾配Ｇｒの閾値である第２勾配閾値ＴＨｇ２を設定する（図５のＳ１３）。走行ＥＣＵ３６は、地図ＤＢ２００（地図情報データベース）に記憶されている、又は傾斜センサ６６（勾配センサ）が検出した自車１０の道路３００の勾配情報Ｉｇを取得する（図５のＳ１２）。勾配情報Ｉｇが示す勾配Ｇｒが第１勾配閾値ＴＨｇ１を下回る場合又は勾配Ｇｒが第２勾配閾値ＴＨｇ２を上回る場合（Ｓ１３：偽）、換言すると第１利用条件を満たす場合、走行ＥＣＵ３６は、第１例外認識処理（Ｓ１５）及び第２例外認識処理（Ｓ１６）の認識結果を利用する（Ｓ２１）。勾配Ｇｒが第１勾配閾値ＴＨｇ１を上回り且つ第２勾配閾値ＴＨｇ２を下回る場合（Ｓ１３：真）、換言すると第１利用条件を満たさない場合、第１例外認識処理及び第２例外認識処理の認識結果を利用しない。   In the present embodiment, the traveling ECU 36 (the traffic signal recognition device) determines that the road 300 of the vehicle 10 is on a downhill (for example, the downhill 312 in FIGS. 2 and 4) by a first gradient threshold that is a threshold of the gradient Gr. A threshold value THg1 and a second gradient threshold value THg2 which is a threshold value of the gradient Gr indicating that the road 300 of the vehicle 10 is an uphill (for example, the uphill 310 in FIG. 2) are set (S13 in FIG. 5). The travel ECU 36 acquires the gradient information Ig of the road 300 of the vehicle 10 stored in the map DB 200 (map information database) or detected by the gradient sensor 66 (gradient sensor) (S12 in FIG. 5). When the gradient Gr indicated by the gradient information Ig is lower than the first gradient threshold THg1 or when the gradient Gr is higher than the second gradient threshold THg2 (S13: false), in other words, when the first usage condition is satisfied, the traveling ECU 36 sets the first The recognition results of the exception recognition process (S15) and the second exception recognition process (S16) are used (S21). When the gradient Gr exceeds the first gradient threshold THg1 and falls below the second gradient threshold THg2 (S13: true), in other words, when the first usage condition is not satisfied, the recognition results of the first exception recognition process and the second exception recognition process Do not use.

これにより、自車１０の道路３００が下り坂３１２又は上り坂３１０である場合、第１例外認識処理及び第２例外認識処理の認識結果を利用することで、高精度に信号機３３０を認識可能となる。   Thus, when the road 300 of the vehicle 10 is on the downhill 312 or the uphill 310, the traffic light 330 can be recognized with high accuracy by using the recognition results of the first exception recognition process and the second exception recognition process. Become.

第１例外認識処理（図７）において、走行ＥＣＵ３６（信号機認識装置）は、自車１０と信号機候補Ｉｓｃの距離Ｄが短くなるに従って周辺画像Ｆｓ内における信号機候補Ｉｓｃの高さＨが高くなることを信号機３３０の認識確定条件の１つとする（Ｓ５４）。これにより、非常に遠方に存在する信号機３３０以外の光源、先行車両３２０のテールライト３２２等が信号機３３０であると誤認識することを防止することが可能となる。   In the first exception recognition process (FIG. 7), the traveling ECU 36 (the traffic light recognition device) determines that the height H of the traffic light candidate Isc in the peripheral image Fs increases as the distance D between the vehicle 10 and the traffic light candidate Isc decreases. Is one of the recognition determination conditions of the traffic light 330 (S54). Thus, it is possible to prevent a light source other than the traffic light 330 existing very far away, a tail light 322 of the preceding vehicle 320, and the like from being erroneously recognized as the traffic light 330.

第１例外認識処理（図７）及び第２例外認識処理（図８）において、走行ＥＣＵ３６（信号機認識装置）は、自車１０が走行する道路３００の上側又はその付近に信号機候補Ｉｓｃが位置することを信号機３３０の認識確定条件の１つとする（Ｓ５２、Ｓ７２）。これにより、信号機３３０の認識に要する演算負荷を低減することが可能となる。   In the first exception recognition process (FIG. 7) and the second exception recognition process (FIG. 8), the traveling ECU 36 (the traffic signal recognition device) locates the traffic light candidate Isc above or near the road 300 on which the vehicle 10 runs. This is one of the recognition determination conditions of the traffic light 330 (S52, S72). This makes it possible to reduce the calculation load required for recognition of the traffic light 330.

第１例外認識処理（図７）において、走行ＥＣＵ３６（信号機認識装置）は、１枚の周辺画像Ｆｓ１から抽出した信号機候補Ｉｓｃについて、その後の周辺画像Ｆｓ２、Ｆｓ３、、、における自車１０と信号機候補Ｉｓｃとの距離Ｄの変化及び信号機候補Ｉｓｃの高さＨの変化を判定する（Ｓ５３）。ＥＣＵ３６は、距離Ｄの変化及び高さＨの変化に基づいて信号機候補Ｉｓｃが信号機３３０であるとの認識を確定する（Ｓ５４）。これにより、信号機候補Ｉｓｃの高さＨの変化に加え、自車１０と信号機候補Ｉｓｃの距離Ｄの変化に基づいて信号機３３０の認識を確定する。従って、より高精度に信号機３３０を認識することが可能となる。   In the first exception recognition process (FIG. 7), the traveling ECU 36 (the traffic light recognition device) determines whether the own vehicle 10 and the traffic light in the subsequent peripheral images Fs2, Fs3,. A change in the distance D from the candidate Isc and a change in the height H of the traffic light candidate Isc are determined (S53). The ECU 36 determines the recognition that the traffic light candidate Isc is the traffic light 330 based on the change in the distance D and the change in the height H (S54). As a result, the recognition of the traffic light 330 is determined based on the change in the distance H between the vehicle 10 and the traffic light candidate Isc in addition to the change in the height H of the traffic light candidate Isc. Therefore, the traffic light 330 can be recognized with higher accuracy.

第１例外認識処理（図７）及び第２例外認識処理（図８）において、走行ＥＣＵ３６（信号機認識装置）は、地図情報Ｉｍａｐに基づいて信号機３３０が存在するはずの領域である信号機想定領域Ｒｓａを設定し、信号機候補Ｉｓｃが信号機想定領域Ｒｓａ内にあることを信号機３３０の認識確定条件の１つとする（図５のＳ１１）。これにより、信号機３３０が存在する領域を基準として信号機３３０の認識を行うことで、信号機３３０の認識精度をさらに高めることが可能となる。   In the first exception recognition process (FIG. 7) and the second exception recognition process (FIG. 8), the traveling ECU 36 (the traffic light recognition device) uses the traffic light assumed area Rsa, which is the area where the traffic light 330 should exist, based on the map information Imap. Is set as one of the recognition determination conditions for the traffic light 330 that the traffic light candidate Isc is within the traffic light assumed area Rsa (S11 in FIG. 5). Accordingly, by performing recognition of the traffic light 330 with reference to the area where the traffic light 330 exists, the recognition accuracy of the traffic light 330 can be further improved.

本実施形態において、走行ＥＣＵ３６（信号機認識装置）は、第１信号機認識処理（図７）又は第２例外認識処理（図８）により認識を確定した信号機３３０をトラッキングしながら信号機情報Ｉｓを連続的に出力する（図５、図７及び図８）。これにより、高精度に認識した信号機３３０を、時間の経過に応じて関連付けながら利用することが可能となる。   In the present embodiment, the traveling ECU 36 (traffic light recognition device) continuously converts the traffic light information Is while tracking the traffic light 330 whose recognition is determined by the first traffic light recognition process (FIG. 7) or the second exception recognition process (FIG. 8). (FIGS. 5, 7 and 8). As a result, it is possible to use the traffic signal 330 recognized with high accuracy while associating it with the passage of time.

本実施形態の第２例外認識処理（図８）によれば、信号機候補Ｉｓｃの色Ｃの変化に基づいて信号機３３０の認識を確定する（図５のＳ１６及び図８）。このため、例えば１枚の周辺画像Ｆｓ１のみから信号機３３０の認識を確定する場合（図６の通常認識処理等）と比較して、より多い情報量に基づいて信号機３３０の認識を確定することが可能となる。従って、信号機３３０の認識精度を高めることが可能となる。   According to the second exception recognition process (FIG. 8) of the present embodiment, the recognition of the traffic light 330 is determined based on the change in the color C of the traffic light candidate Isc (S16 in FIG. 5 and FIG. 8). For this reason, it is possible to determine the recognition of the traffic signal 330 based on a larger amount of information as compared with the case where the recognition of the traffic signal 330 is determined from only one peripheral image Fs1, for example (normal recognition processing in FIG. 6). It becomes possible. Therefore, the recognition accuracy of the traffic light 330 can be improved.

また、１枚の周辺画像Ｆｓ１のみから信号機３３０の認識を確定する制御等の他の制御と並行して第２例外認識処理を用いる場合、第２例外認識処理では、より多い情報量に基づいて信号機３３０の認識を確定するため、信号機３３０の認識確定を早めることが可能となる。   When the second exception recognition process is used in parallel with other control such as control for determining the recognition of the traffic light 330 from only one peripheral image Fs1, the second exception recognition process uses a larger amount of information. Since the recognition of the traffic light 330 is determined, the recognition of the traffic light 330 can be quickly determined.

本実施形態の第２例外認識処理（図８）において、走行ＥＣＵ３６（信号機認識装置）は、信号機候補Ｉｓｃの色Ｃとして青色が検出されたこと（Ｓ７１：真）を契機として、その後の周辺画像Ｆｓにおける信号機候補Ｉｓｃの色Ｃの変化の判定（Ｓ７３）を開始し得る。   In the second exception recognition process (FIG. 8) of the present embodiment, the traveling ECU 36 (traffic light recognition device) triggers the detection of blue as the color C of the traffic light candidate Isc (S71: true), and the subsequent peripheral image The determination of the change in the color C of the traffic light candidate Isc in Fs (S73) may be started.

トンネル等では、黄色及び赤色の成分を含む光を発するナトリウムランプが用いられることがある。このため、黄色及び赤色と比較して、青色の方が信号機３３０を示している確率が高いと考えられる。そこで、信号機候補Ｉｓｃの色として青色が検出されたことを契機として、その後の周辺画像Ｆｓにおける信号機候補Ｉｓｃの色Ｃの変化の判定を開始することで、信号機３３０の認識精度の低下を抑制しつつ、演算負荷を低減することが可能となる。   In a tunnel or the like, a sodium lamp that emits light containing yellow and red components may be used. Therefore, it is considered that the probability that blue indicates the traffic light 330 is higher than that of yellow and red. Accordingly, when blue is detected as the color of the traffic light candidate Isc, the determination of a change in the color C of the traffic light candidate Isc in the subsequent peripheral image Fs is started, thereby suppressing a decrease in recognition accuracy of the traffic light 330. In addition, the calculation load can be reduced.

第２例外認識処理（図８）において、走行ＥＣＵ３６（信号機認識装置）は、１枚の周辺画像Ｆｓ１から抽出した信号機候補Ｉｓｃについて、その後の周辺画像Ｆｓ２、Ｆｓ３、、、における自車１０と信号機候補Ｉｓｃとの距離Ｄの変化及び信号機候補Ｉｓｃの色Ｃの変化を判定する（Ｓ７３）。ＥＣＵ３６は、距離Ｄの変化及び色Ｃの変化に基づいて信号機候補Ｉｓｃが信号機３３０であるとの認識を確定する（Ｓ７４）。これにより、信号機候補Ｉｓｃの色Ｃの変化に加え、自車１０と信号機候補Ｉｓｃの距離Ｄの変化に基づいて信号機３３０の認識を確定する。従って、より高精度に信号機３３０を認識することが可能となる。   In the second exception recognition process (FIG. 8), the traveling ECU 36 (the traffic light recognition device) determines whether the own vehicle 10 and the traffic light in the subsequent peripheral images Fs2, Fs3, and the like for the traffic light candidate Isc extracted from one peripheral image Fs1. A change in the distance D from the candidate Isc and a change in the color C of the traffic light candidate Isc are determined (S73). The ECU 36 determines the recognition that the traffic light candidate Isc is the traffic light 330 based on the change in the distance D and the change in the color C (S74). Thus, the recognition of the traffic light 330 is determined based on the change in the distance C between the vehicle 10 and the traffic light candidate Isc in addition to the change in the color C of the traffic light candidate Isc. Therefore, the traffic light 330 can be recognized with higher accuracy.

本実施形態の車両１０は、走行ＥＣＵ３６（信号機認識装置）と、走行ＥＣＵ３６が認識した信号機３３０の情報を用いて加減速を自動的に制御する加減速制御部１９０とを備える（図１）。これにより、信号機３３０の認識精度の向上及び信号機３３０の認識確定の迅速化の少なくとも一方が実現可能となるため、車両１０の商品性を高めることが可能となる。   The vehicle 10 of the present embodiment includes a traveling ECU 36 (a traffic signal recognition device) and an acceleration / deceleration control unit 190 that automatically controls acceleration / deceleration using information on the traffic signal 330 recognized by the traveling ECU 36 (FIG. 1). As a result, at least one of the improvement of the recognition accuracy of the traffic light 330 and the quick confirmation of the recognition of the traffic light 330 can be realized, so that the commercial value of the vehicle 10 can be improved.

Ｂ．変形例
なお、本発明は、上記実施形態に限らず、本明細書の記載内容に基づき、種々の構成を採り得ることはもちろんである。例えば、以下の構成を採用することができる。 B. Modifications The present invention is not limited to the above-described embodiment, but can, of course, adopt various configurations based on the description in the present specification. For example, the following configuration can be adopted.

＜Ｂ−１．適用対象＞
上記実施形態では、走行ＥＣＵ３６（走行制御装置）を自動車（car）としての車両１０（vehicle）に用いることを想定していた（図１）。しかしながら、例えば、信号機候補Ｉｓｃの高さＨ又は色Ｃの変化に基づいて信号機３３０の認識を確定する観点からすれば、これに限らない。例えば、車両１０（又は乗り物）は、鉄道、船舶、航空機等の移動物体であってもよい。或いは、車両１０は、その他の装置（例えば、各種のロボット、製造装置）に用いることもできる。 <B-1. Applicable object>
In the above embodiment, it is assumed that the travel ECU 36 (travel control device) is used for a vehicle 10 (vehicle) as an automobile (car) (FIG. 1). However, for example, from the viewpoint of determining the recognition of the traffic light 330 based on a change in the height H or the color C of the traffic light candidate Isc, the present invention is not limited to this. For example, the vehicle 10 (or vehicle) may be a moving object such as a railway, a ship, an aircraft, and the like. Alternatively, the vehicle 10 can be used for other devices (for example, various robots and manufacturing devices).

＜Ｂ−２．車両１０の構成＞
［Ｂ−２−１．センサ群２０、２２、２４］
上記実施形態の車両周辺センサ群２０には、複数の車外カメラ５０と、複数のレーダ５２と、ＬＩＤＡＲ５４と、ＧＰＳセンサ５６とが含まれた（図１）。しかしながら、例えば、信号機候補Ｉｓｃの高さＨ又は色Ｃの変化を判定する観点からすれば、これに限らない。複数の車外カメラ５０に、車両１０の前方を検出するステレオカメラが含まれる場合、レーダ５２及び／又はＬＩＤＡＲ５４を省略することも可能である。或いは、単眼立体視を用いる場合又は車外カメラ５０により距離情報を取得しない場合、車外カメラ５０を単眼カメラとして構成してもよい。 <B-2. Configuration of Vehicle 10>
[B-2-1. Sensor groups 20, 22, 24]
The vehicle periphery sensor group 20 of the above embodiment includes a plurality of outside cameras 50, a plurality of radars 52, a LIDAR 54, and a GPS sensor 56 (FIG. 1). However, the present invention is not limited to this, for example, from the viewpoint of determining a change in the height H or the color C of the traffic light candidate Isc. When the plurality of external cameras 50 include a stereo camera that detects the front of the vehicle 10, the radar 52 and / or the LIDAR 54 can be omitted. Alternatively, when monocular stereoscopic vision is used or when distance information is not acquired by the camera 50 outside the vehicle, the camera 50 outside the vehicle may be configured as a monocular camera.

上記実施形態の車体挙動センサ群２２には、車速センサ６０、加速度センサ６２、ヨーレートセンサ６４及び傾斜センサ６６が含まれた（図１）。しかしながら、例えば、信号機候補Ｉｓｃの高さＨ又は色Ｃの変化に基づいて信号機３３０の認識を確定する観点からすれば、これに限らない。例えば、車速センサ６０、加速度センサ６２、ヨーレートセンサ６４及び傾斜センサ６６のいずれか１つ又は複数を省略することも可能である。   The vehicle body behavior sensor group 22 of the above embodiment includes a vehicle speed sensor 60, an acceleration sensor 62, a yaw rate sensor 64, and a tilt sensor 66 (FIG. 1). However, for example, from the viewpoint of determining the recognition of the traffic light 330 based on a change in the height H or the color C of the traffic light candidate Isc, the present invention is not limited to this. For example, one or more of the vehicle speed sensor 60, the acceleration sensor 62, the yaw rate sensor 64, and the inclination sensor 66 may be omitted.

上記実施形態の運転操作センサ群２４には、ＡＰセンサ８０、ＢＰセンサ８２、舵角センサ８４及び操舵トルクセンサ８６が含まれた（図１）。しかしながら、例えば、信号機候補Ｉｓｃの高さＨ又は色Ｃの変化に基づいて信号機３３０の認識を確定する観点からすれば、これに限らない。例えば、ＡＰセンサ８０、ＢＰセンサ８２、舵角センサ８４及び操舵トルクセンサ８６のいずれか１つ又は複数を省略することも可能である。   The driving operation sensor group 24 of the above embodiment includes an AP sensor 80, a BP sensor 82, a steering angle sensor 84, and a steering torque sensor 86 (FIG. 1). However, for example, from the viewpoint of determining the recognition of the traffic light 330 based on a change in the height H or the color C of the traffic light candidate Isc, the present invention is not limited to this. For example, one or more of the AP sensor 80, the BP sensor 82, the steering angle sensor 84, and the steering torque sensor 86 can be omitted.

［Ｂ−２−２．アクチュエータ］
上記実施形態では、自動運転制御で対象となるアクチュエータとして、エンジン１２０、ブレーキ機構１３０及びＥＰＳモータ１４０を用いた（図１）。しかしながら、例えば、信号機候補Ｉｓｃの高さＨ又は色Ｃの変化に基づいて信号機３３０の認識を確定する観点からすれば、これに限らない。例えば、エンジン１２０、ブレーキ機構１３０及びＥＰＳモータ１４０のいずれか１つ又は２つを自動運転制御の対象から外すことも可能である。いずれかのアクチュエータを自動運転制御の対象から外した場合、対象から外されたアクチュエータに関する制御は、運転者が行うこととなる。さらに、上記のように、ＥＰＳモータ１４０の代わりに、左右の車輪のトルク差を用いて旋回すること（いわゆるトルクベクタリング）も可能である。 [B-2-2. Actuator]
In the above-described embodiment, the engine 120, the brake mechanism 130, and the EPS motor 140 are used as the actuators to be subjected to the automatic driving control (FIG. 1). However, for example, from the viewpoint of determining the recognition of the traffic light 330 based on a change in the height H or the color C of the traffic light candidate Isc, the present invention is not limited to this. For example, any one or two of the engine 120, the brake mechanism 130, and the EPS motor 140 can be excluded from the subject of the automatic operation control. When any of the actuators is removed from the target of the automatic operation control, the driver controls the actuator that has been removed from the target. Further, as described above, instead of the EPS motor 140, turning using the torque difference between the left and right wheels (so-called torque vectoring) is also possible.

＜Ｂ−３．走行ＥＣＵ３６の制御＞
［Ｂ−３−１．自動運転制御］
上記実施形態では、加減速及び旋回を自動で行う車両１０に本発明を適用した（図１）。しかしながら、例えば、信号機候補Ｉｓｃの高さＨ又は色Ｃの変化に基づいて信号機３３０の認識を確定する観点からすれば、これに限らない。例えば、加速、減速（自動ブレーキのみの場合を含む。）及び旋回の１つ又は２つのみを自動で行う車両１０に本発明を適用することも可能である。或いは、図示しないナビゲーション装置に本発明を適用することもできる。その場合、信号機３３０の位置を判定することで、信号機３３０（又は交差点）の有無を知らせること、ＧＰＳセンサ５６が検出した現在位置Ｐｃｕｒの補正を行うこと等が可能である。 <B-3. Control of travel ECU 36>
[B-3-1. Automatic operation control]
In the above embodiment, the present invention is applied to the vehicle 10 that performs acceleration / deceleration and turning automatically (FIG. 1). However, for example, from the viewpoint of determining the recognition of the traffic light 330 based on a change in the height H or the color C of the traffic light candidate Isc, the present invention is not limited to this. For example, the present invention can be applied to a vehicle 10 that automatically performs only one or two of acceleration, deceleration (including the case of only automatic braking) and turning. Alternatively, the present invention can be applied to a navigation device (not shown). In that case, by determining the position of the traffic light 330, it is possible to notify the presence or absence of the traffic light 330 (or intersection), to correct the current position Pcur detected by the GPS sensor 56, and the like.

［Ｂ−３−２．信号機認識制御］
上記実施形態では、平坦路３４０（図５のＳ１３：真）において通常認識処理（図６）のみを実行した（Ｓ１４）。しかしながら、例えば、信号機候補Ｉｓｃの高さＨ又は色Ｃの変化に基づいて信号機３３０の認識を確定する観点からすれば、これに限らない。例えば、通常認識処理に加え又はこれに代えて、第１例外認識処理（図７）及び第２例外認識処理（図８）の一方又は両方を行うことも可能である。 [B-3-2. Traffic light recognition control]
In the above embodiment, only the normal recognition process (FIG. 6) is executed (S14) on the flat road 340 (S13 in FIG. 5: true). However, for example, from the viewpoint of determining the recognition of the traffic light 330 based on a change in the height H or the color C of the traffic light candidate Isc, the present invention is not limited to this. For example, one or both of the first exception recognition process (FIG. 7) and the second exception recognition process (FIG. 8) can be performed in addition to or instead of the normal recognition process.

上記実施形態では、上り坂３１０又は下り坂３１２（図５のＳ１３：偽）において第１例外認識処理（図７）及び第２例外認識処理（図８）を実行した（Ｓ１５、Ｓ１６）。しかしながら、例えば、信号機候補Ｉｓｃの高さＨ又は色Ｃの変化に基づいて信号機３３０の認識を確定する観点からすれば、これに限らない。   In the above embodiment, the first exception recognition process (FIG. 7) and the second exception recognition process (FIG. 8) are executed on the uphill 310 or the downhill 312 (S13 in FIG. 5: false) (S15, S16). However, for example, from the viewpoint of determining the recognition of the traffic light 330 based on a change in the height H or the color C of the traffic light candidate Isc, the present invention is not limited to this.

例えば、上り坂３１０又は下り坂３１２の一方のみを判定することも可能である。また、第１例外認識処理又は第２例外認識処理の一方のみを行うことも可能である。或いは、勾配Ｇｒに合わせて信号機３３０が取り得る高さＨを変化させる場合、第１例外認識処理（図７）及び第２例外認識処理（図８）の一方又は両方に加えて通常認識処理を行うことも可能である。或いは、通常認識処理、第１例外認識処理及び第２例外認識処理を継続的に行い、その判定結果の採否を勾配情報Ｉｇに基づいて決定してもよい。   For example, it is also possible to determine only one of the uphill 310 and the downhill 312. It is also possible to perform only one of the first exception recognition process and the second exception recognition process. Alternatively, when the height H that the traffic light 330 can take is changed in accordance with the gradient Gr, the normal recognition processing is performed in addition to one or both of the first exception recognition processing (FIG. 7) and the second exception recognition processing (FIG. 8). It is also possible to do. Alternatively, the normal recognition process, the first exception recognition process, and the second exception recognition process may be continuously performed, and whether to adopt the determination result may be determined based on the gradient information Ig.

上記実施形態では、勾配Ｇｒに応じて処理を切り替えた（図５のＳ１３〜Ｓ１６）。しかしながら、例えば、信号機候補Ｉｓｃの高さＨ又は色Ｃの変化に基づいて信号機３３０を認識する観点からすれば、これに限らない。例えば、勾配Ｇｒから独立して処理を行うことも可能である。また、通常認識処理のみを行う勾配Ｇｒの範囲、第１例外認識処理のみを行う勾配Ｇｒの範囲と、通常認識処理及び第１例外認識処理の両方を行う勾配Ｇｒの範囲を設けてもよい。第２例外認識処理も同様である。   In the above embodiment, the processing is switched according to the gradient Gr (S13 to S16 in FIG. 5). However, for example, from the viewpoint of recognizing the traffic light 330 based on the change in the height H or the color C of the traffic light candidate Isc, the present invention is not limited thereto. For example, it is also possible to perform processing independently of the gradient Gr. Further, a range of the gradient Gr for performing only the normal recognition process, a range of the gradient Gr for performing only the first exception recognition process, and a range of the gradient Gr for performing both the normal recognition process and the first exception recognition process may be provided. The same applies to the second exception recognition processing.

通常認識処理（図６）では、単一の周辺画像Ｆｓ１内に信号機候補Ｉｓｃがあるか否かを判定した（Ｓ３１）。しかしながら、例えば、信号機候補Ｉｓｃを抽出する観点からすれば、これに限らない。例えば、複数の周辺画像Ｆｓ内に信号機候補Ｉｓｃがあるか否かを判定してもよい。第１例外認識処理（図７）のステップＳ５１及び第２例外認識処理（図８）のステップＳ７１も同様である。   In the normal recognition process (FIG. 6), it was determined whether or not there is a traffic light candidate Isc in the single peripheral image Fs1 (S31). However, for example, from the viewpoint of extracting the traffic light candidate Isc, the present invention is not limited to this. For example, it may be determined whether there is a traffic light candidate Isc in a plurality of peripheral images Fs. The same applies to step S51 of the first exception recognition process (FIG. 7) and step S71 of the second exception recognition process (FIG. 8).

上記実施形態では、第１例外認識処理（図７）と第２例外認識処理（図８）を別々に実行した（図５）。しかしながら、例えば、信号機候補Ｉｓｃの高さＨ及び色Ｃの変化に基づいて信号機３３０を認識する観点からすれば、これに限らず、両方の例外認識処理を１つにまとめることも可能である。例えば、信号機候補Ｉｓｃの距離Ｄ、高さＨ及び色Ｃの変化が信号機３３０の特徴を示しているか否かに基づいて、候補Ｉｓｃが信号機３３０であるとの判定を確定してもよい。   In the above embodiment, the first exception recognition process (FIG. 7) and the second exception recognition process (FIG. 8) are executed separately (FIG. 5). However, for example, from the viewpoint of recognizing the traffic light 330 based on the change in the height H and the color C of the traffic light candidate Isc, the present invention is not limited to this, and both exception recognition processes can be combined into one. For example, the determination that the candidate Isc is the traffic light 330 may be determined based on whether or not the change in the distance D, the height H, and the color C of the traffic light candidate Isc indicates the characteristics of the traffic light 330.

上記実施形態の信号機認識制御では、自車１０の現在位置Ｐｃｕｒと信号機３３０が設けられた交差点の位置との距離Ｄに基づいて自車１０が信号機３３０に接近しているか否かを判定した（図５のＳ１１）。しかしながら、例えば、自車１０が信号機３３０に接近していること（信号機３３０が存在するはずの領域又は信号機３３０が存在する可能性が高い領域に自車１０が接近していること）を判定する観点からすれば、これに限らない。例えば、自車１０の走行路３００周辺に路側ビーコン等の外部装置が存在する場合、ＥＣＵ３６は、当該外部装置から信号機３３０の存在に関する情報を取得してもよい。或いは、信号機認識部１８０が、自動運転が可能な情報（例えば信号機３３０の色Ｃ）は認識できないが、信号機３３０（交通標識）の有無（信号機３３０全体の形状認識等）は判定できる場合、当該判定に基づいてステップＳ１１を行うこともできる。   In the traffic signal recognition control of the embodiment, it is determined whether or not the vehicle 10 is approaching the traffic signal 330 based on the distance D between the current position Pcur of the vehicle 10 and the position of the intersection where the traffic signal 330 is provided ( S11 in FIG. 5). However, for example, it is determined that the own vehicle 10 is approaching the traffic signal 330 (that the own vehicle 10 is approaching an area where the traffic signal 330 should exist or an area where the traffic signal 330 is likely to exist). From a viewpoint, it is not limited to this. For example, when an external device such as a roadside beacon exists around the traveling road 300 of the vehicle 10, the ECU 36 may acquire information on the presence of the traffic light 330 from the external device. Alternatively, if the traffic light recognition unit 180 cannot recognize information that allows automatic driving (for example, the color C of the traffic light 330) but can determine the presence or absence of the traffic light 330 (traffic sign) (such as shape recognition of the whole traffic light 330), Step S11 can also be performed based on the determination.

上記実施形態の信号機認識制御（図５〜図８）では、個別の判定を積み重ねることで結論を出した。しかしながら、例えば、信号機候補Ｉｓｃの高さＨ又は色Ｃの変化に基づいて信号機３３０の認識を確定する観点からすれば、これに限らない。例えば、図５〜図８に示す各ステップ（例えば図５のＳ１１、図６のＳ３１〜Ｓ３３、図７のＳ５１、Ｓ５２、Ｓ５４、図８のＳ７１、Ｓ７２、Ｓ７４）での判定事項をそれぞれポイントで評価し、ポイントの合計値がポイント閾値を上回るとき、信号機３３０であるとの認識を確定してもよい。   In the traffic light recognition control (FIGS. 5 to 8) of the above-described embodiment, a conclusion is made by stacking individual determinations. However, for example, from the viewpoint of determining the recognition of the traffic light 330 based on a change in the height H or the color C of the traffic light candidate Isc, the present invention is not limited to this. For example, points to be determined in each step shown in FIGS. 5 to 8 (for example, S11 in FIG. 5, S31 to S33 in FIG. 6, S51, S52, S54 in FIG. 7, S71, S72, S74 in FIG. 8) are respectively pointed out. When the total value of the points exceeds the point threshold, recognition of the traffic light 330 may be determined.

［Ｂ−３−３．通常認識処理］
上記実施形態の通常認識処理では、信号機候補Ｉｓｃの色Ｃ、距離Ｄ及び高さＨに基づいて候補Ｉｓｃが信号機３３０であるとの認識確定を判定した（図６のＳ３１、Ｓ３３）。しかしながら、例えば、少なくとも１枚の周辺画像Ｆｓから抽出した信号機候補Ｉｓｃについて、候補Ｉｓｃの抽出に用いた周辺画像Ｆｓに現れる候補Ｉｓｃの特性（高さ、色、形状等）に基づいて信号機３３０であるとの認識を確定する観点からすれば、これに限らない。例えば、通常認識処理では、色Ｃ、距離Ｄ及び高さＨに加え又はこれらのいずれかに代えて、周辺画像Ｆｓにおける候補Ｉｓｃの形状又は面積に基づいて候補Ｉｓｃが信号機３３０であるとの認識確定を判定してもよい。 [B-3-3. Normal recognition processing]
In the normal recognition processing of the above embodiment, it is determined whether or not the recognition that the candidate Isc is the traffic light 330 is confirmed based on the color C, the distance D, and the height H of the traffic light candidate Isc (S31, S33 in FIG. 6). However, for example, for the traffic light candidate Isc extracted from at least one peripheral image Fs, the traffic light 330 is used by the traffic light 330 based on the characteristics (height, color, shape, etc.) of the candidate Isc appearing in the peripheral image Fs used for extracting the candidate Isc. However, the present invention is not limited to this from the viewpoint of confirming that there is. For example, in the normal recognition processing, in addition to or instead of the color C, the distance D, and the height H, the recognition that the candidate Isc is the traffic light 330 based on the shape or area of the candidate Isc in the peripheral image Fs. Determination may be determined.

［Ｂ−３−４．第１例外認識処理］
上記実施形態の第１例外認識処理では、信号機候補Ｉｓｃの距離Ｄの変化及び高さＨの変化の両方を判定した（図７のＳ５３）。しかしながら、例えば、信号機候補Ｉｓｃの高さＨの変化に基づいて信号機３３０の認識を確定する観点からすれば、これに限らず、距離Ｄの変化の判定を省略してもよい。 [B-3-4. First exception recognition process]
In the first exception recognition process of the embodiment, both the change in the distance D and the change in the height H of the traffic light candidate Isc are determined (S53 in FIG. 7). However, for example, from the viewpoint of determining the recognition of the traffic light 330 based on the change in the height H of the traffic light candidate Isc, the determination is not limited thereto, and the determination of the change in the distance D may be omitted.

［Ｂ−３−５．第２例外認識処理］
上記実施形態の第２例外認識処理では、信号機候補Ｉｓｃの距離Ｄの変化及び色Ｃの変化の両方を判定した（図８のＳ７３）。しかしながら、例えば、信号機候補Ｉｓｃの色Ｃの変化に基づいて信号機３３０の認識を確定する観点からすれば、これに限らず、距離Ｄの変化の判定を省略してもよい。 [B-3-5. Second exception recognition processing]
In the second exception recognition process of the above embodiment, both the change in the distance D and the change in the color C of the traffic light candidate Isc were determined (S73 in FIG. 8). However, for example, from the viewpoint of determining the recognition of the traffic light 330 based on the change in the color C of the traffic light candidate Isc, the present invention is not limited thereto, and the determination of the change in the distance D may be omitted.

＜Ｂ−４．その他＞
上記実施形態では、図５〜図８に示す順番で各ステップを実行した。しかしながら、例えば、各ステップの目的を実現可能な範囲であれば（換言すると、本発明の効果を得られる場合）、各ステップの順番は入れ替えることが可能である。例えば、図５のステップＳ１３の後に（ステップＳ１４〜Ｓ１６それぞれの前で）ステップＳ１１を行うことが可能である。また、図７のステップＳ５１、Ｓ５２の順番を入れ替えること又は同時に実行することも可能である。 <B-4. Others>
In the above embodiment, each step is executed in the order shown in FIGS. However, for example, as long as the purpose of each step can be realized (in other words, when the effects of the present invention can be obtained), the order of each step can be changed. For example, step S11 can be performed after step S13 in FIG. 5 (before each of steps S14 to S16). Further, the order of steps S51 and S52 in FIG. 7 can be changed or executed simultaneously.

上記実施形態では、数値の比較において等号を含む場合と含まない場合とが存在した（図５のＳ１３等）。しかしながら、例えば、等号を含む又は等号を外す特別な意味がなければ（換言すると、本発明の効果を得られる場合）、数値の比較において等号を含ませるか或いは含ませないかは任意に設定可能である。   In the above embodiment, there are cases where the comparison of numerical values includes an equal sign and a case where the equal sign is not included (S13 in FIG. 5, etc.). However, for example, if there is no special meaning to include or remove the equal sign (in other words, when the effect of the present invention is obtained), it is optional to include or not include the equal sign in the numerical comparison. Can be set to

その意味において、例えば、図５のステップＳ１３における勾配Ｇｒが第１勾配閾値ＴＨｇ１以上であるか否かの判定（Ｇｒ≧ＴＨｇ１）を、勾配Ｇｒが第１勾配閾値ＴＨｇ１より大きいか否かの判定（Ｇｒ＞ＴＨｇ１）に置き換えることができる。同様に、勾配Ｇｒが第２勾配閾値ＴＨｇ２以下であるか否かの判定（Ｇｒ≦ＴＨｇ２）を、勾配Ｇｒが第２勾配閾値ＴＨｇ２より小さいか否かの判定（Ｇｒ＜ＴＨｇ２）に置き換えることができる。   In this sense, for example, it is determined whether or not the gradient Gr in step S13 in FIG. 5 is equal to or greater than the first gradient threshold THg1 (Gr ≧ THg1), and whether or not the gradient Gr is greater than the first gradient threshold THg1. (Gr> THg1). Similarly, the determination whether the gradient Gr is equal to or less than the second gradient threshold THg2 (Gr ≦ THg2) may be replaced with the determination whether the gradient Gr is smaller than the second gradient threshold THg2 (Gr <THg2). it can.

１０…車両（自車）
３６…走行ＥＣＵ（信号機認識装置） ５０…車外カメラ（カメラ）
６６…傾斜センサ（勾配センサ） １９０…加減速制御部
２００…地図ＤＢ（地図情報データベース） ３００…道路（走行路）
３１０…上り坂 ３１２…下り坂
３３０…信号機 Ｃ…色
Ｄ…自車と信号機候補の距離
Ｄｘ…自車の現在位置と信号機想定位置との距離
Ｆｓ、Ｆｓ１、Ｆｓ２、Ｆｓ３…周辺画像
Ｇｒ…勾配 Ｈ…高さ
Ｉｇ…勾配情報 Ｉｍａｐ…地図情報
Ｉｓ…信号機情報 Ｉｓｃ…信号機候補
Ｒｓａ…信号機想定領域 ＴＨｄ…距離閾値
ＴＨｇ１…第１勾配閾値 ＴＨｇ２…第２勾配閾値 10. Vehicle (own vehicle)
36: Travel ECU (signal signal recognition device) 50: Outside camera (camera)
66 ... tilt sensor (gradient sensor) 190 ... acceleration / deceleration control unit 200 ... map DB (map information database) 300 ... road (running road)
310 ... Uphill 312 ... Downhill 330 ... Signal C ... Color D ... Distance Dx between own vehicle and signal candidate Candidates Fs, Fs1, Fs2, Fs3 ... Ground image Gr. H: Height Ig: Gradient information Imap: Map information Is: Traffic light information Isc: Traffic light candidate Rsa: Traffic light assumed area THd: Distance threshold THg1: First gradient threshold THg2: Second gradient threshold

Claims (8)

自車に設けられたカメラが撮像した複数の周辺画像に基づいて信号機を認識する第１信号機認識処理を実行する信号機認識装置であって、
前記第１信号機認識処理において、前記信号機認識装置は、
少なくとも１枚の前記周辺画像から抽出した信号機候補について、その後の周辺画像における高さの変化を判定し、
前記高さの変化に基づいて前記信号機候補が前記信号機であるとの認識を確定し、
前記信号機の情報を出力し、
前記信号機認識装置は、
前記自車の走行路が下り坂であることを示す勾配の閾値である第１勾配閾値と、前記自車の走行路が上り坂であることを示す勾配の閾値である第２勾配閾値の少なくとも一方を設定し、
地図情報データベースに記憶されている、又は勾配センサが検出した前記自車の走行路の勾配情報を取得し、
第１利用条件を満たす場合、前記第１信号機認識処理の認識結果を利用し、
前記第１利用条件を満たさない場合、前記第１信号機認識処理の認識結果を利用せず、
前記第１利用条件は、前記勾配情報が示す勾配が前記第１勾配閾値を下回ること、及び前記勾配が第２勾配閾値を上回ることの少なくとも一方を含む
ことを特徴とする信号機認識装置。 A traffic signal recognition device that performs a first traffic signal recognition process for recognizing a traffic signal based on a plurality of peripheral images captured by a camera provided in a vehicle,
In the first traffic light recognition process, the traffic light recognition device includes:
For a traffic light candidate extracted from at least one of the peripheral images, a change in height in a subsequent peripheral image is determined,
Based on the change in the height, determine the recognition that the traffic light candidate is the traffic light,
Outputting information on the traffic light ,
The traffic light recognition device,
At least a first gradient threshold that is a gradient threshold indicating that the traveling path of the own vehicle is a downhill, and a second gradient threshold that is a gradient threshold indicating that the traveling path of the own vehicle is an uphill. Set one,
Acquires the gradient information of the traveling path of the own vehicle stored in the map information database or detected by the gradient sensor,
When the first use condition is satisfied, the recognition result of the first traffic light recognition process is used,
If the first use condition is not satisfied, the recognition result of the first signal recognition process is not used,
The signal recognition device according to claim 1, wherein the first use condition includes at least one of a gradient indicated by the gradient information being lower than the first gradient threshold and a gradient being higher than a second gradient threshold . 請求項１に記載の信号機認識装置において、
前記第１信号機認識処理では、前記信号機認識装置は、前記自車と前記信号機候補の距離が短くなるに従って前記周辺画像内における前記信号機候補の高さが高くなることを前記信号機の認識確定条件の１つとする
ことを特徴とする信号機認識装置。 The traffic light recognition device according to claim 1 ,
In the first traffic light recognition process, the traffic light recognition device determines that the height of the traffic light candidate in the peripheral image increases as the distance between the vehicle and the traffic light candidate decreases, and A traffic signal recognition device, characterized in that it is one. 請求項１又は２に記載の信号機認識装置において、
前記第１信号機認識処理では、前記信号機認識装置は、前記自車が走行する道路の上側又はその付近に前記信号機候補が位置することを前記信号機の認識確定条件の１つとする
ことを特徴とする信号機認識装置。 The traffic signal recognition device according to claim 1 or 2 ,
In the first traffic light recognition process, the traffic light recognition device may determine that the traffic light candidate is located above or near a road on which the vehicle travels, as one of the traffic light recognition determination conditions. Traffic light recognition device. 請求項１〜３のいずれか１項に記載の信号機認識装置において、
前記第１信号機認識処理では、前記信号機認識装置は、
前記少なくとも１枚の周辺画像から抽出した前記信号機候補について、その後の周辺画像における前記自車と前記信号機候補との距離の変化及び前記信号機候補の高さの変化を判定し、
前記距離の変化及び前記高さの変化に基づいて前記信号機候補が前記信号機であるとの認識を確定する
ことを特徴とする信号機認識装置。 The traffic signal recognition device according to any one of claims 1 to 3 ,
In the first traffic light recognition process, the traffic light recognition device includes:
For the traffic light candidate extracted from the at least one peripheral image, a change in the distance between the vehicle and the traffic light candidate in the subsequent peripheral image and a change in the height of the traffic light candidate are determined.
A traffic signal recognizing device that determines recognition of the traffic light candidate as the traffic light based on the change in the distance and the change in the height. 請求項１〜４のいずれか１項に記載の信号機認識装置において、
前記信号機認識装置は、
地図情報に基づいて前記信号機が存在するはずの位置である信号機想定位置又は前記信号機が存在するはずの領域である信号機想定領域を設定し、
前記信号機候補の位置と前記信号機想定位置の距離が距離閾値を下回ること、又は前記信号機候補が前記信号機想定領域内にあることを前記信号機の認識確定条件の１つとする
ことを特徴とする信号機認識装置。 The traffic signal recognition device according to any one of claims 1 to 4 ,
The traffic light recognition device,
Based on the map information, a signal assumed position that is a position where the signal should be present or a signal assumed area that is an area where the signal should be present,
One of the recognition decision conditions of the traffic light is that the distance between the position of the traffic light candidate and the assumed traffic light position is less than a distance threshold or that the traffic light candidate is within the traffic light assumed area. apparatus. 請求項１〜５のいずれか１項に記載の信号機認識装置において、
前記信号機認識装置は、前記第１信号機認識処理により認識を確定した前記信号機をトラッキングしながら前記信号機の情報を連続的に出力する
ことを特徴とする信号機認識装置。 The traffic signal recognition device according to any one of claims 1 to 5 ,
The traffic light recognition device, wherein the traffic light recognition device continuously outputs the information of the traffic light while tracking the traffic light whose recognition has been determined by the first traffic light recognition process. 請求項１〜６のいずれか１項に記載の信号機認識装置と、
前記信号機認識装置が認識した前記信号機の情報を用いて加減速を自動的に制御する加減速制御部と
を備えることを特徴とする車両。 A traffic signal recognition device according to any one of claims 1 to 6 ,
An acceleration / deceleration control unit that automatically controls acceleration / deceleration using information on the traffic signal recognized by the traffic signal recognition device. 自車に設けられたカメラが撮像した複数の周辺画像に基づいて信号機を認識する信号機認識方法であって、
少なくとも１枚の前記周辺画像から抽出した信号機候補について、その後の周辺画像における高さの変化を判定するステップと、
前記高さの変化に基づいて前記信号機候補が前記信号機であるとの認識を確定する第１信号機認識処理を実行するステップと、
前記自車の走行路が下り坂であることを示す勾配の閾値である第１勾配閾値と、前記自車の走行路が上り坂であることを示す勾配の閾値である第２勾配閾値の少なくとも一方を設定するステップと、
地図情報データベースに記憶されている、又は勾配センサが検出した前記自車の走行路の勾配情報を取得するステップと、
を有し、
第１利用条件を満たす場合、前記第１信号機認識処理の認識結果を利用し、
前記第１利用条件を満たさない場合、前記第１信号機認識処理の認識結果を利用せず、
前記第１利用条件は、前記勾配情報が示す勾配が前記第１勾配閾値を下回ること、及び前記勾配が第２勾配閾値を上回ることの少なくとも一方を含む
ことを特徴とする信号機認識方法。 Camera provided on the vehicle is a signal Unit recognized how to recognize the traffic signal on the basis of a plurality of peripheral image captured,
Even without least the extracted traffic signal candidates from a single of the peripheral image, a step of determining the change in height in the subsequent peripheral image,
Performing a first traffic light recognition process for determining that the traffic light candidate is the traffic light based on the change in height ;
At least a first gradient threshold that is a gradient threshold indicating that the traveling path of the own vehicle is a downhill, and a second gradient threshold that is a gradient threshold indicating that the traveling path of the own vehicle is an uphill. Setting one,
A step of acquiring gradient information of the traveling path of the vehicle stored in the map information database or detected by the gradient sensor;
Has,
When the first use condition is satisfied, the recognition result of the first traffic light recognition process is used,
If the first use condition is not satisfied, the recognition result of the first signal recognition process is not used,
The traffic light recognition method according to claim 1, wherein the first use condition includes at least one of a gradient indicated by the gradient information being lower than the first gradient threshold and a gradient being higher than a second gradient threshold .
JP2016222179A 2016-11-15 2016-11-15 Traffic light recognition device, vehicle, and traffic light recognition method Expired - Fee Related JP6629169B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016222179A JP6629169B2 (en) 2016-11-15 2016-11-15 Traffic light recognition device, vehicle, and traffic light recognition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016222179A JP6629169B2 (en) 2016-11-15 2016-11-15 Traffic light recognition device, vehicle, and traffic light recognition method

Publications (2)

Publication Number Publication Date
JP2018081405A JP2018081405A (en) 2018-05-24
JP6629169B2 true JP6629169B2 (en) 2020-01-15

Family

ID=62198948

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016222179A Expired - Fee Related JP6629169B2 (en) 2016-11-15 2016-11-15 Traffic light recognition device, vehicle, and traffic light recognition method

Country Status (1)

Country Link
JP (1) JP6629169B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827558B (en) * 2018-06-19 2020-12-22 嘉兴觅特电子商务有限公司 Traffic signal lamp recognition device based on vehicle speed, height of highlight area and image
CN113170079A (en) * 2018-07-30 2021-07-23 小马智行 System and method for calibrating an in-vehicle camera
CN109740526B (en) * 2018-12-29 2023-06-20 清华大学苏州汽车研究院（吴江） Signal lamp identification method, device, equipment and medium
JP7409257B2 (en) 2020-08-07 2024-01-09 株式会社デンソー Traffic light recognition device, traffic light recognition method, vehicle control device
CN112990002B (en) * 2021-03-12 2023-04-18 吉林大学 Traffic signal lamp identification method and system on downhill road and computer readable medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008082761A (en) * 2006-09-26 2008-04-10 Clarion Co Ltd Navigation apparatus, and method and program therefor
JP2013045176A (en) * 2011-08-22 2013-03-04 Pioneer Electronic Corp Signal recognition device, candidate point pattern transmitter, candidate point pattern receiver, signal recognition method, and candidate point pattern reception method
WO2014078979A1 (en) * 2012-11-20 2014-05-30 Harman International Industries, Incorporated Method and system for detecting traffic lights
JP6365134B2 (en) * 2014-09-02 2018-08-01 アイシン・エィ・ダブリュ株式会社 Driving support system, driving support method, and computer program

Also Published As

Publication number Publication date
JP2018081405A (en) 2018-05-24

Similar Documents

Publication Publication Date Title
US11932251B2 (en) Vehicle control device, vehicle control method, and program
KR102618700B1 (en) Object feature estimation using visual image data
JP6629169B2 (en) Traffic light recognition device, vehicle, and traffic light recognition method
US10831205B2 (en) Route determination device, vehicle control device, route determination method, and storage medium
JP7086798B2 (en) Vehicle control devices, vehicle control methods, and programs
JP7048398B2 (en) Vehicle control devices, vehicle control methods, and programs
US11247692B2 (en) Prediction device, prediction method, and storage medium
US20190286163A1 (en) Vehicle control device, vehicle control method, and storage medium
US20190359209A1 (en) Vehicle control device, vehicle control method, and vehicle control program
JP6627127B2 (en) Vehicle control device, vehicle control method, and program
US20200290643A1 (en) Vehicle control device, vehicle control method, and program
JP6641583B2 (en) Vehicle control device, vehicle control method, and program
US20190278285A1 (en) Vehicle control device, vehicle control method, and storage medium
US11390275B2 (en) Vehicle control device, vehicle control method, and program
US10974725B2 (en) Vehicle control apparatus, vehicle control method, and storage medium
US20190276029A1 (en) Vehicle control device, vehicle control method, and storage medium
JP7071250B2 (en) Vehicle control devices, vehicle control methods, and programs
JP7085371B2 (en) Vehicle control devices, vehicle control methods, and programs
US11634139B2 (en) Vehicle control device, vehicle control method, and storage medium
US20190382020A1 (en) Vehicle control device, vehicle control method, and storage medium
JP2021024423A (en) Vehicle control device, vehicle control method, and program
US20230242145A1 (en) Mobile object control device, mobile object control method, and storage medium
US20220383646A1 (en) Mobile object control device, mobile object control method, and storage medium
US20220055615A1 (en) Vehicle control device, vehicle control method, and storage medium
US11654914B2 (en) Vehicle control device, vehicle control method, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191204

R150 Certificate of patent or registration of utility model

Ref document number: 6629169

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees