JP6365103B2 - Signal detection device and signal detection method - Google Patents

Signal detection device and signal detection method Download PDF

Info

Publication number
JP6365103B2
JP6365103B2 JP2014165115A JP2014165115A JP6365103B2 JP 6365103 B2 JP6365103 B2 JP 6365103B2 JP 2014165115 A JP2014165115 A JP 2014165115A JP 2014165115 A JP2014165115 A JP 2014165115A JP 6365103 B2 JP6365103 B2 JP 6365103B2
Authority
JP
Japan
Prior art keywords
traffic
detection
vehicle
detection area
traffic signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014165115A
Other languages
Japanese (ja)
Other versions
JP2016042226A (en
Inventor
大貴 山ノ井
大貴 山ノ井
安藤　敏之
敏之 安藤
松尾　治夫
治夫 松尾
沖　孝彦
孝彦 沖
鈴木　章
章 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2014165115A priority Critical patent/JP6365103B2/en
Publication of JP2016042226A publication Critical patent/JP2016042226A/en
Application granted granted Critical
Publication of JP6365103B2 publication Critical patent/JP6365103B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、信号機検出装置及び信号機検出方法に関する。   The present invention relates to a traffic signal detection apparatus and a traffic signal detection method.

従来から、車両に対する適切な走行制御を可能とするために、車両の進行方向を撮像した画像から信号機または一時停止標識を認識する車外認識装置が知られている（特許文献１）。特許文献１では、画像中に複数の信号機または一時停止標識が写る場合、画像に最も大きく写る信号機または一時停止標識を、車両に最も近接する位置に存在する信号機または一時停止標識として判定している。   2. Description of the Related Art Conventionally, an outside-vehicle recognition device that recognizes a traffic light or a stop sign from an image obtained by capturing the traveling direction of a vehicle is known in order to enable appropriate traveling control on the vehicle (Patent Document 1). In Patent Document 1, when a plurality of traffic lights or stop signs appear in an image, the traffic light or stop sign that is most visible in the image is determined as a traffic light or a stop sign that is closest to the vehicle. .

特開２００７−２５７２９９号公報JP 2007-257299 A

しかし、信号機は、先行車両或いは街路樹の存在によって遮蔽されてしまい、画像に写らない場合がある。車両に最も近接する位置に存在する手前側の信号機が遮蔽された場合、特許文献１では、画像に写る他の信号機を、車両に最も近接する位置に存在する信号機として誤認識してしまう。   However, the traffic light may be blocked by the presence of a preceding vehicle or a roadside tree and may not appear in the image. When the near-side traffic signal that is present at the closest position to the vehicle is blocked, in Patent Document 1, another traffic signal that appears in the image is erroneously recognized as the traffic signal that is present at the closest position to the vehicle.

本発明は、上記課題に鑑みてなされたものであり、車両が従うべき手前側の信号機を精度良く検出することができる信号機検出装置及び信号機検出方法を提供することを目的としている。   The present invention has been made in view of the above problems, and an object thereof is to provide a traffic signal detection device and a traffic signal detection method capable of accurately detecting a traffic signal on the near side that a vehicle should follow.

本発明の一態様に係わる信号機検出装置は、車両に搭載された撮像部を用いて、車両の周囲を撮像して画像を取得し、車両の自己位置を検出する。車両の周囲にある信号機の位置情報を含む地図情報と自己位置とから、信号機の車両に対する相対位置を推定し、信号機の相対位置から予測される画像上の信号機の位置に検出領域を設定し、画像上に設定された検出領域から信号機を検出し、車両が従うべき信号機を特定する。検出領域に写ることが予測される信号機の数が２つ以上であって、検出領域から２以上のすべての信号機が検出できた場合、２以上のすべての信号機の中から車両が従うべき信号機を特定する。   A traffic light detection apparatus according to an aspect of the present invention captures an image of the surroundings of a vehicle using an imaging unit mounted on the vehicle, and detects the self-position of the vehicle. Estimate the relative position of the traffic signal to the vehicle from the map information including the traffic signal position information around the vehicle and the self-position, set the detection area at the position of the traffic signal on the image predicted from the relative position of the traffic light, A traffic light is detected from the detection area set on the image, and the traffic light to be followed by the vehicle is specified. If the number of traffic signals predicted to appear in the detection area is two or more and all of the two or more traffic lights can be detected from the detection area, the traffic signal to be followed by the vehicle from all of the two or more traffic lights is determined. Identify.

信号機検出装置及び信号機検出方法によれば、１の検出領域に写ることが予測される２以上の信号機のうち一部の信号機だけが１の検出領域に写っている場合、他の検出領域の中から信号機を検出することにより、手前側の信号機の誤認識が抑制され、車両が従うべき手前側の信号機を精度良く検出することができる。   According to the traffic signal detection apparatus and the traffic signal detection method, when only some traffic signals are reflected in one detection region among two or more traffic signals predicted to be captured in one detection region, By detecting the traffic signal from the vehicle, erroneous recognition of the traffic signal on the near side is suppressed, and the traffic signal on the near side that the vehicle should follow can be detected with high accuracy.

図１は、実施形態に係わる信号機検出装置１００へ入出力される情報を示すブロック図である。FIG. 1 is a block diagram illustrating information input to and output from the traffic signal detection apparatus 100 according to the embodiment. 図２は、実施形態に係わる信号機検出装置１００の構成及びデータフローを示すブロック図である。FIG. 2 is a block diagram illustrating the configuration and data flow of the traffic light detection apparatus 100 according to the embodiment. 図３は、図２の検出対象特定部２０の詳細な構成を示すブロック図である。FIG. 3 is a block diagram showing a detailed configuration of the detection target specifying unit 20 of FIG. 図４は、検出対象特定部２０及び信号機検出部２８の詳細な処理手順の一例を示すフローチャートである。FIG. 4 is a flowchart illustrating an example of detailed processing procedures of the detection target specifying unit 20 and the traffic light detection unit 28. 図５は、図４のステップＳ０７の判断例を説明するための表である。FIG. 5 is a table for explaining an example of determination in step S07 of FIG. 図６は、図４のステップＳ１１の判断例を説明するための表である。FIG. 6 is a table for explaining an example of determination in step S11 of FIG. 図７は、図４のステップＳ１３の判断例を説明するための表である。FIG. 7 is a table for explaining an example of determination in step S13 of FIG.

以下、本発明の実施形態を図面に基づいて説明する。同一部材には同一符号を付して再度の説明を省略する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. The same members are denoted by the same reference numerals and the description thereof is omitted.

図１を参照して、実施形態に係わる信号機検出装置１００のへ入出力される情報を説明する。信号機検出装置１００は、車両に搭載された撮像部（カメラ）により撮像された画像から、車両が走行する道路周辺に設置された信号機を検出する。   With reference to FIG. 1, the information input / output to / from the traffic signal detection apparatus 100 according to the embodiment will be described. The traffic signal detection apparatus 100 detects a traffic signal installed around a road on which the vehicle travels from an image captured by an imaging unit (camera) mounted on the vehicle.

信号機検出装置１００には、地図情報Ｄ０２と、ランドマーク情報Ｄ０１と、カメラ情報Ｄ０３とが入力される。地図情報Ｄ０２には、予め実環境と地図の間で対応付けされた信号機の位置情報が含まれる。ランドマーク情報Ｄ０１は、実環境上の車両の自己位置を算出するために用いられる。ランドマークには、地上に設けられた特徴物（地上ランドマーク）、及び車両が受信可能なＧＰＳ信号を発信するＧＰＳ衛星が含まれる。実施形態では、地上ランドマークを例に取り説明する。ランドマーク情報Ｄ０１には、例えば、地上ランドマークの位置情報が含まれる。カメラ情報Ｄ０３は、撮像部から車両の周囲（例えば前方）の映像を抽出するために用いられる。信号機検出装置１００は、これらの情報Ｄ０１〜Ｄ０３に基づいて、信号機の検出結果を信号機情報Ｄ０４として出力する。   Map information D02, landmark information D01, and camera information D03 are input to the traffic signal detection apparatus 100. The map information D02 includes traffic signal position information associated in advance between the real environment and the map. The landmark information D01 is used to calculate the vehicle's own position in the real environment. The landmark includes a feature (ground landmark) provided on the ground and a GPS satellite that transmits a GPS signal that can be received by the vehicle. In the embodiment, a ground landmark will be described as an example. The landmark information D01 includes, for example, ground landmark position information. The camera information D03 is used to extract a video around the vehicle (for example, forward) from the imaging unit. The traffic signal detection apparatus 100 outputs a traffic signal detection result as traffic signal information D04 based on the information D01 to D03.

図２を参照して、実施形態に係わる信号機検出装置１００の構成及びデータフローを説明する。信号機検出装置１００は、撮像部１１と、自己位置検出部１２と、信号機位置推定部１３と、検出対象特定部２０と、信号機検出部２８とを備える。   With reference to FIG. 2, the structure and data flow of the traffic light detection apparatus 100 according to the embodiment will be described. The traffic signal detection apparatus 100 includes an imaging unit 11, a self-position detection unit 12, a traffic signal position estimation unit 13, a detection target specifying unit 20, and a traffic signal detection unit 28.

撮像部１１は、車両に搭載され、車両の周囲を撮像して画像を取得する。撮像部１１は、固体撮像素子、例えばＣＣＤ及びＣＭＯＳを備えるカメラであって、画像処理が可能な画像を取得する。撮像部１１は、カメラ情報Ｄ０３に基づいて、レンズの画角、カメラの垂直方向及び水平方向の角度を設定し、取得した画像を画像データＤ０８として出力する。   The imaging unit 11 is mounted on a vehicle and captures an image of the surroundings of the vehicle. The imaging unit 11 is a camera including a solid-state imaging device, for example, a CCD and a CMOS, and acquires an image that can be processed. The imaging unit 11 sets the angle of view of the lens and the vertical and horizontal angles of the camera based on the camera information D03, and outputs the acquired image as image data D08.

自己位置検出部１２は、ランドマーク情報Ｄ０１に基づいて車両の自己位置を検出する。ランドマーク情報Ｄ０１は、例えば、車載のカメラ或いはレーザレーダ等のセンシング手段により検出された地上ランドマーク（店舗、名所、観光スポット）の車両に対する相対位置の情報である。地図情報Ｄ０２の中には、地上ランドマークの位置情報が予め登録されている。ランドマーク情報Ｄ０１と地上ランドマークの相対位置の情報とを照合することにより、車両の自己位置を検出することができる。ここで、「位置」には、座標及び姿勢が含まれる。具体的には、地上ランドマークの位置には、地上ランドマークの座標及び姿勢が含まれ、車両の位置には、車両の座標及び姿勢が含まれる。自己位置検出部１２は、基準となる座標系における座標(x, y, z)及び、各座標軸の回転方向である姿勢(ピッチ、ヨー、ロール)を自己位置情報Ｄ０５として出力する。   The self position detector 12 detects the self position of the vehicle based on the landmark information D01. The landmark information D01 is, for example, information on the relative position of the ground landmark (store, famous place, sightseeing spot) with respect to the vehicle detected by a vehicle-mounted camera or a sensing means such as a laser radar. In the map information D02, position information of ground landmarks is registered in advance. The self-position of the vehicle can be detected by comparing the landmark information D01 with the information on the relative position of the ground landmark. Here, the “position” includes coordinates and orientation. Specifically, the position of the ground landmark includes the coordinates and orientation of the ground landmark, and the position of the vehicle includes the coordinates and orientation of the vehicle. The self-position detector 12 outputs the coordinates (x, y, z) in the reference coordinate system and the posture (pitch, yaw, roll) that is the rotation direction of each coordinate axis as the self-position information D05.

例えば、自己位置検出部１２は、ランドマーク情報Ｄ０１を用いて車両の初期位置を検出する。初期位置とは、ランドマーク情報Ｄ０１から直接求めることができる車両の位置、すなわち座標及び姿勢である。そして、初期位置に、車両の移動量を累積加算することで車両の自己位置を算出する。自己位置検出部１２は、オドメトリ、レーダ装置、ジャイロセンサ、ヨーレイトセンサ、舵角センサを用いて、単位時間当たりの車両の移動量、つまり、座標及び姿勢の変化量を推定することができる。   For example, the self-position detecting unit 12 detects the initial position of the vehicle using the landmark information D01. The initial position is a position of the vehicle that can be directly obtained from the landmark information D01, that is, a coordinate and a posture. Then, the vehicle's own position is calculated by cumulatively adding the movement amount of the vehicle to the initial position. The self-position detection unit 12 can estimate the amount of movement of the vehicle per unit time, that is, the amount of change in coordinates and posture, using odometry, a radar device, a gyro sensor, a yaw rate sensor, and a rudder angle sensor.

信号機位置推定部１３は、地図情報Ｄ０２と自己位置情報Ｄ０５とから、車両に対する信号機の相対位置を推定する。地図情報Ｄ０２の中には、信号機の位置情報（座標情報）が予め登録されている。信号機の座標と車両の座標及び姿勢とから、車両に対する信号機の相対座標を求めることができる。信号機位置推定部１３は、推定した信号機の相対座標を相対位置情報Ｄ０６として出力する。なお、信号機位置推定部１３により相対位置が推定される信号機は、車両に対して信号を提示する信号機、換言すれば、車両が従うべき信号機である。たとえば、信号機位置推定部１３は、車両がこれから進入する最も手前の交差点であって、信号機が設置された交差点を「最寄交差点」として抽出する。「最寄交差点」に存在し、かつ自己位置情報の車両が従うべき少なくても一つ以上の信号機を「最寄信号機」として特定する。そして、車両に対する「最寄信号機」の相対位置を相対位置情報Ｄ０６として出力とする。   The traffic signal position estimation unit 13 estimates the relative position of the traffic signal with respect to the vehicle from the map information D02 and the self-position information D05. In the map information D02, traffic signal position information (coordinate information) is registered in advance. The relative coordinates of the traffic signal with respect to the vehicle can be obtained from the coordinates of the traffic signal and the coordinates and posture of the vehicle. The traffic signal position estimation unit 13 outputs the estimated relative coordinates of the traffic signal as relative position information D06. The traffic signal whose relative position is estimated by the traffic signal position estimation unit 13 is a traffic signal that presents a signal to the vehicle, in other words, a traffic signal that the vehicle should follow. For example, the traffic signal position estimating unit 13 extracts the intersection where the traffic signal is installed that is the nearest intersection where the vehicle will enter from now on as the “nearest intersection”. At least one traffic signal that is present at the “closest intersection” and that the vehicle of the self-location information should follow is identified as the “closest traffic signal”. Then, the relative position of the “nearest signal” with respect to the vehicle is output as relative position information D06.

検出対象特定部２０は、画像に写ることが予測される信号機のうち、車両が従うべき手前側の信号機を検出対象として特定する。具体的には、検出対象特定部２０は、車両に対する信号機の相対位置から、信号機の画像上の位置を推測する。そして、画像の中に、信号機が写ることが予測される検出領域を設定する。検出対象特定部２０により特定された検出領域は、検出対象情報Ｄ０９として出力される。なお、検出対象特定部２０及び信号機検出部２８の詳細な構成は図３を参照して後述する。検出対象特定部２０及び信号機検出部２８の詳細な処理フローは図４を参照して後述する。   The detection target specifying unit 20 specifies, as a detection target, a traffic light on the near side that should be followed by the vehicle among the traffic lights predicted to appear in the image. Specifically, the detection target specifying unit 20 estimates the position of the traffic light on the image from the relative position of the traffic light with respect to the vehicle. And the detection area | region where it is estimated that a traffic light is reflected in the image is set. The detection area specified by the detection target specifying unit 20 is output as detection target information D09. The detailed configurations of the detection target specifying unit 20 and the traffic light detection unit 28 will be described later with reference to FIG. Detailed processing flows of the detection target specifying unit 20 and the traffic light detection unit 28 will be described later with reference to FIG.

信号機検出部２８は、検出対象特定部２０が設定した検出領域に写ることが予測される信号機のすべてが検出領域から検出できた場合、先行車両或いは街路樹の存在によって遮蔽されている信号機は存在しないと判断できる。よって、信号機検出部２８は、車両が従うべき手前側の信号機を当該検出領域の中から特定する。   When all of the traffic signals predicted to appear in the detection region set by the detection target specifying unit 20 can be detected from the detection region, the traffic signal detection unit 28 has a traffic signal shielded by the presence of a preceding vehicle or a roadside tree. It can be judged not to. Therefore, the traffic signal detection unit 28 specifies the near side traffic signal to be followed by the vehicle from the detection area.

一方、検出領域に写ることが予測される信号機の一部が検出領域から検出できなかった場合、先行車両或いは街路樹の存在によって遮蔽されている信号機が存在すると判断できる。よって、検出対象特定部２０は、車両が従うべき手前側の信号機を当該検出領域の中から特定しない。   On the other hand, when a part of the traffic signal predicted to appear in the detection area cannot be detected from the detection area, it can be determined that there is a traffic signal that is blocked by the presence of the preceding vehicle or the roadside tree. Therefore, the detection target specifying unit 20 does not specify the near side traffic signal to be followed by the vehicle from the detection area.

信号機検出部２８は、検出対象を含む検出領域の中から、特定された車両が従うべき信号機の提示色を検出する。検出結果は、信号機情報Ｄ０４として出力される。   The traffic light detection unit 28 detects the presentation color of the traffic light that the specified vehicle should follow from the detection area including the detection target. The detection result is output as traffic signal information D04.

なお、自己位置検出部１２、信号機位置推定部１３、検出対象特定部２０、及び信号機検出部２８は、たとえば、ＣＰＵ、メモリ、及び入出力部を備えるマイクロコントローラを用いて実現することができる。マイクロコントローラに予めインストールされたコンピュータプログラムをＣＰＵが実行することにより、信号機検出装置１００が備える複数の情報処理部（１２、１３、２０、２８）を構成する。   In addition, the self-position detection part 12, the traffic signal position estimation part 13, the detection target specific | specification part 20, and the traffic signal detection part 28 are realizable using the microcontroller provided with CPU, memory, and an input-output part, for example. A plurality of information processing units (12, 13, 20, 28) included in the traffic light detection device 100 are configured by the CPU executing a computer program installed in advance in the microcontroller.

図３を参照して、図２の検出対象特定部２０及び信号機検出部２８の詳細な構成を説明する。検出対象特定部２０は、検出領域設定部２１と、優先順位設定部２２と、信号機数計算部２３とを備える。   With reference to FIG. 3, the detailed structure of the detection target specific | specification part 20 and the traffic signal detection part 28 of FIG. 2 is demonstrated. The detection target specifying unit 20 includes a detection area setting unit 21, a priority order setting unit 22, and a traffic light number calculation unit 23.

検出領域設定部２１は、信号機の相対位置から、信号機が写ることが予測される検出領域を画像内に設定する。撮像部１１は車両に固定されているため、撮像部１１が撮像する画角及び方向が定まれば、画像の中で、信号機が写ることが予測される画像上の位置を特定することができる。検出領域設定部２１は、この画像上の位置に基づいて、信号機が写ることが予測される検出領域を画像内に設定する。検出領域設定部２１は、画像の中に写ることが予測される信号機の数や信号機の分布に応じて、複数の検出領域を設定することができる。たとえば、「最寄信号機」として、車両が走行する自車線側に位置する信号機と、対向車線側に位置する信号機とが予測される場合、画像の自車線側の領域、及び対向車線側の領域の各々に、検出領域を設定してもよい。検出領域設定部２１は、信号機が写ることが予測される検出領域を「検出領域情報」として出力する。   The detection area setting unit 21 sets, in the image, a detection area where the traffic signal is predicted to be captured from the relative position of the traffic signal. Since the imaging unit 11 is fixed to the vehicle, the position on the image where the traffic light is expected to be captured can be specified in the image if the angle of view and direction taken by the imaging unit 11 are determined. . Based on the position on the image, the detection area setting unit 21 sets a detection area in which the traffic light is predicted to be captured in the image. The detection area setting unit 21 can set a plurality of detection areas in accordance with the number of traffic signals expected to appear in the image and the distribution of traffic signals. For example, when a traffic signal located on the own lane side where the vehicle travels and a traffic signal located on the opposite lane side are predicted as the “closest traffic signal”, an area on the own lane side of the image, and an area on the opposite lane side A detection area may be set for each of the above. The detection area setting unit 21 outputs a detection area where the traffic signal is predicted to be captured as “detection area information”.

優先順位設定部２２は、信号機が遮蔽される可能性に基づいて、検出領域設定部２１により設定された２以上の検出領域の間の優先順位を設定する。道路に対する信号機の位置及び車両に対する信号機の位置によって、信号機の画像への映り易さ、つまり、車両周囲の障害物によって信号機が遮蔽されてしまう可能性に違いがある。たとえば、先行車両の存在により、車両が走行する自車線側に位置する信号機は遮蔽され易いが、対向車線側に位置する信号機は遮蔽されにくい。自車線側に位置する信号機を含む検出領域よりも、対向車線側に位置する信号機を含む検出領域の優先順位を高く設定する。このように、画像に２以上の検出領域が設定される場合、優先順位設定部２２は、信号機が遮蔽される可能性が低いほど優先順位が高くなるように、２以上の検出領域の間の優先順位を設定する。   The priority order setting unit 22 sets a priority order between two or more detection areas set by the detection area setting unit 21 based on the possibility that the traffic signal is blocked. Depending on the position of the traffic signal with respect to the road and the position of the traffic signal with respect to the vehicle, there is a difference in the likelihood that the traffic signal will be reflected in the image, that is, the traffic signal may be blocked by obstacles around the vehicle. For example, due to the presence of a preceding vehicle, a traffic signal located on the own lane side where the vehicle travels is easily shielded, but a traffic signal located on the opposite lane side is difficult to shield. The priority of the detection area including the traffic signal located on the opposite lane side is set higher than the detection area including the traffic signal located on the own lane side. As described above, when two or more detection areas are set in the image, the priority order setting unit 22 sets the priority order between the two or more detection areas so that the lower the possibility that the traffic signal is blocked, the higher the priority order is. Set the priority.

信号機数計算部２３は、信号機の相対位置から、検出領域に写ることが予測される信号機の数を計算する。たとえば、直線道路を車両が走行している場合、道路前方を撮像した画像上には、複数の信号機が近接して写る。このため、１つの検出領域の中に複数の信号機が含まれる場合がある。「検出領域情報」及び相対位置情報Ｄ０６を用いることにより、検出領域内に含まれることが予測される信号機の数を推定することができる。計算結果は、「推定信号機数情報」として出力される。   The traffic light number calculation unit 23 calculates the number of traffic signals predicted to appear in the detection area from the relative position of the traffic light. For example, when a vehicle is traveling on a straight road, a plurality of traffic lights appear close to each other on an image obtained by imaging the front of the road. For this reason, a plurality of traffic lights may be included in one detection area. By using the “detection area information” and the relative position information D06, it is possible to estimate the number of traffic signals expected to be included in the detection area. The calculation result is output as “estimated signal number information”.

信号機検出部２８は、信号機数検出部２４と、比較部２５と、距離判定部２６と、サイズ推定部２７とを備える。   The traffic light detection unit 28 includes a traffic light number detection unit 24, a comparison unit 25, a distance determination unit 26, and a size estimation unit 27.

信号機数検出部２４は、検出領域の画像データＤ０８を用いて、検出領域に実際に写っている信号機の数を検出する。検出領域の画像データＤ０８は、画像データＤ０８全体から切り出された検出領域のデータを用いることができる。或いは、検出領域の画像データＤ０８は、検出領域を拡大した拡大画像のデータであっても構わない。これにより、検出領域の解像度が高まるため、信号機の認識精度が向上する。この場合、拡大画像を取得できるように、撮像部１１の車両に対する姿勢及び撮像部１１の画角を制御すればよい。換言すれば、パンチルトズーム機構を備えた撮像部１１を用いて、全体の画像空間から検出領域へ絞り込んで拡大画像を撮像すればよい。同様にして、信号機検出部２８は、検出対象となる信号機の提示色を検出する際に、画像データＤ０８全体から切り出された検出領域のデータ、或いは、検出領域を拡大した拡大画像のデータを用いることができる。   The traffic signal number detection unit 24 detects the number of traffic signals actually reflected in the detection area using the image data D08 of the detection area. As the detection area image data D08, the detection area data cut out from the entire image data D08 can be used. Alternatively, the detection area image data D08 may be enlarged image data obtained by enlarging the detection area. Thereby, since the resolution of a detection area increases, the recognition accuracy of a traffic light improves. In this case, what is necessary is just to control the attitude | position with respect to the vehicle of the imaging part 11, and the angle of view of the imaging part 11 so that an enlarged image can be acquired. In other words, the enlarged image may be captured by narrowing down the entire image space to the detection area using the imaging unit 11 having the pan / tilt / zoom mechanism. Similarly, the traffic signal detection unit 28 uses detection area data cut out from the entire image data D08 or enlarged image data obtained by enlarging the detection area when detecting the presentation color of the traffic signal to be detected. be able to.

比較部２５は、信号機数計算部２３により算出された信号機の数と、信号機数検出部２４により検出された信号機の数とを比較し、両者が一致するか否かを判断する。換言すれば、比較部２５は、検出領域に写ることが予測される２以上の信号機のうち一部の信号機だけが検出領域に実際に写っているか、或いは、２以上の信号機のすべてが検出領域に実際に写っているか、を判断する。   The comparison unit 25 compares the number of traffic lights calculated by the traffic signal number calculation unit 23 with the number of traffic lights detected by the traffic signal number detection unit 24, and determines whether or not they match. In other words, the comparison unit 25 is configured such that only some of the two or more traffic signals predicted to appear in the detection region are actually reflected in the detection region, or all of the two or more traffic signals are detected in the detection region. It is judged whether it is actually reflected in.

距離判定部２６は、検出領域に写ることが予測される２以上の信号機の間の距離を推定し、推定した距離が予め定めたしきい値よりも長いか否かを判断する。距離判定部２６は、相対位置情報Ｄ０６及び地図情報Ｄ０２を用いることにより、２以上の信号機の間の距離、具体的には、車両の進行方向の距離を推定することができる。   The distance determination unit 26 estimates a distance between two or more traffic signals predicted to appear in the detection area, and determines whether the estimated distance is longer than a predetermined threshold value. The distance determination unit 26 can estimate the distance between two or more traffic lights, specifically the distance in the traveling direction of the vehicle, by using the relative position information D06 and the map information D02.

２以上の信号機の間の距離が短ければ、画像上に写る信号機の大きさの差が小さくなる。このため、車両が従うべき手前側の信号機を、画像上に写る信号機の大きさを基準として特定することが難しくなる。具体的には、サイズ推定部２７は、画像上に写る信号機の大きさが、後述するサイズ推定部２７により推定される手前側の信号機のサイズに一致するか否かを判断することが難しくなり、車両が従うべき手前側の信号機を誤認識してしまうおそれがある。一方、２以上の信号機の距離が十分に長ければ、画像上に写る信号機の大きさの差が大きくなり、車両が従うべき手前側の信号機を、画像上に写る信号機の大きさを基準として特定し易くなる。   If the distance between two or more traffic lights is short, the difference in the size of the traffic lights appearing on the image becomes small. For this reason, it becomes difficult to specify the traffic signal on the near side that the vehicle should follow on the basis of the size of the traffic signal in the image. Specifically, it becomes difficult for the size estimation unit 27 to determine whether or not the size of the traffic light shown on the image matches the size of the traffic light on the near side estimated by the size estimation unit 27 described later. There is a risk of misrecognizing the traffic light on the near side that the vehicle should follow. On the other hand, if the distance between two or more traffic lights is sufficiently long, the difference in the size of the traffic lights appearing on the image will increase, and the traffic lights on the near side that the vehicle should follow should be specified based on the size of the traffic light appearing on the images. It becomes easy to do.

そこで、距離判定部２６は、画像上に写る信号機の大きさを基準として、車両が従うべき手前側の信号機を特定することができるか否かを判断するために、予め、しきい値を設定する。   Therefore, the distance determination unit 26 sets a threshold value in advance in order to determine whether or not it is possible to specify the traffic signal on the near side that the vehicle should follow on the basis of the size of the traffic signal that appears in the image. To do.

サイズ推定部２７は、信号機の相対位置から、検出領域に写ることが予測される信号機の画像上の大きさを推定する。具体的には、サイズ推定部２７は、車両が従うべき手前側の信号機の相対位置から、当該信号機の画像上の大きさを推定する。２以上の信号機の距離がしきい値よりも長いと距離判定部２６によって判定された場合、車両が従うべき手前側の信号機を、画像上に写る信号機の大きさを基準として特定することができる。よって、この場合、図２の信号機検出部２８は、２以上の信号機のうち、サイズ推定部２７により推定される信号機の画像上の大きさに最も近い信号機を選択して当該信号機の提示色を検出する。   The size estimation unit 27 estimates the size of the traffic signal on the image predicted to appear in the detection area from the relative position of the traffic light. Specifically, the size estimation unit 27 estimates the size of the traffic light on the image from the relative position of the traffic light on the near side that the vehicle should follow. When the distance determination unit 26 determines that the distance between two or more traffic signals is longer than the threshold value, it is possible to specify the traffic signal on the near side that the vehicle should follow based on the size of the traffic signal reflected in the image. . Therefore, in this case, the traffic signal detection unit 28 in FIG. 2 selects a traffic signal closest to the size of the traffic signal on the image estimated by the size estimation unit 27 from two or more traffic signals, and selects the presentation color of the traffic signal. To detect.

図４を参照して、検出対象特定部２０及び信号機検出部２８の詳細な処理手順の一例を説明する。図４に示す例は、検出領域設定部２１が２以上の検出領域を画像内に設定する場合の例を示す。   With reference to FIG. 4, an example of a detailed processing procedure of the detection target specifying unit 20 and the traffic light detection unit 28 will be described. The example shown in FIG. 4 shows an example in which the detection area setting unit 21 sets two or more detection areas in the image.

まず、ステップＳ０１において、検出領域設定部２１は、信号機の相対位置から、信号機が写ることが予測される２以上の検出領域を画像内に設定する。ステップＳ０３に進み、優先順位設定部２２は、信号機が遮蔽される可能性に基づいて、検出領域設定部２１により設定された２以上の検出領域の間の優先順位を設定する。   First, in step S01, the detection area setting unit 21 sets, in the image, two or more detection areas in which a traffic light is predicted to be captured from the relative position of the traffic light. Proceeding to step S03, the priority order setting unit 22 sets the priority order between two or more detection areas set by the detection area setting unit 21 based on the possibility that the traffic light is blocked.

ステップＳ０５に進み、検出対象特定部２０は、２以上の検出領域の中から１の検出領域を選択する。たとえば、優先順位が最も高い検出領域を選択する。ステップＳ０７に進み、信号機数計算部２３は、信号機の相対位置から、検出領域に写ることが予測される信号機の数を計算する。信号機数検出部２４は、検出領域の画像データＤ０８を用いて、検出領域に実際に写っている信号機の数を検出する。そして、比較部２５は、信号機数計算部２３により算出された信号機の数と、信号機数検出部２４により検出された信号機の数とを比較し、両者が一致するか否かを判断する。   In step S05, the detection target specifying unit 20 selects one detection area from two or more detection areas. For example, the detection area with the highest priority is selected. Proceeding to step S07, the traffic light number calculation unit 23 calculates the number of traffic signals predicted to appear in the detection area from the relative position of the traffic light. The traffic signal number detection unit 24 detects the number of traffic signals actually reflected in the detection area using the image data D08 of the detection area. Then, the comparison unit 25 compares the number of traffic lights calculated by the traffic signal number calculation unit 23 with the number of traffic lights detected by the traffic signal number detection unit 24, and determines whether or not they match.

両者が一致する場合、すなわち、２以上の信号機のすべてが検出領域で実際に検出できた場合（Ｓ０７でＹＥＳ）、先行車両或いは街路樹の存在によって遮蔽されている信号機は、検出領域の中に存在しないと判断できる。そこで、ステップＳ０９に進み、信号機検出部２８は、車両が従うべき手前側の信号機を当該検出領域の中から特定する。具体的には、当該検出領域に写る２以上の信号機のうち、画像上の大きさが最大の信号機を車両が従うべき手前側の信号機として特定する。その後、ステップＳ１９に進む。   If the two match, that is, if all of the two or more traffic lights can actually be detected in the detection area (YES in S07), the traffic signal shielded by the presence of the preceding vehicle or the roadside tree is in the detection area. It can be determined that it does not exist. Then, it progresses to step S09 and the traffic signal detection part 28 specifies the near side traffic signal which a vehicle should follow from the said detection area | region. Specifically, among the two or more traffic signals reflected in the detection area, the traffic signal having the maximum size on the image is specified as the traffic signal on the near side that the vehicle should follow. Thereafter, the process proceeds to step S19.

一方、両者が一致しない場合、すなわち、検出領域に写ることが予測される２以上の信号機のうち一部の信号機だけが検出領域で実際に検出された場合（Ｓ０７でＮＯ）、先行車両或いは街路樹の存在によって遮蔽されている信号機が、検出領域の中に存在すると判断できる。そこで、ステップＳ１１に進み、距離判定部２６は、相対位置情報Ｄ０６及び地図情報Ｄ０２を用いることにより、検出領域に写ることが予測される２以上の信号機の間の距離を推定する。そして、推定した距離が予め定めたしきい値よりも長いか否かを判断する。   On the other hand, if the two do not match, that is, if only some of the traffic lights predicted to appear in the detection area are actually detected in the detection area (NO in S07), the preceding vehicle or street It can be determined that a traffic signal shielded by the presence of a tree is present in the detection area. Then, it progresses to step S11 and the distance determination part 26 estimates the distance between two or more traffic lights estimated to appear in a detection area by using relative position information D06 and map information D02. Then, it is determined whether or not the estimated distance is longer than a predetermined threshold value.

距離が予め定めたしきい値以下である場合（Ｓ１１でＮＯ）、画像上に写る信号機の大きさの差が小さくなるため、車両が従うべき手前側の信号機を、画像上に写る信号機の大きさを基準として特定できないと判断できる。なお、ステップＳ１１において、２以上の信号機の距離を推定できない場合も、同様に判断できる。そこで、ステップＳ１７に進み、信号機検出部２８は、２以上の検出領域の中から他の検出領域を選択する。たとえば、優先順位が次に高い検出領域を選択する。その後、ステップＳ０７に戻る。   When the distance is equal to or smaller than a predetermined threshold value (NO in S11), the difference in the size of the traffic signal appearing on the image becomes small. It can be determined that it cannot be specified based on the standard. Note that the same determination can be made when the distance between two or more traffic lights cannot be estimated in step S11. Then, it progresses to step S17 and the traffic signal detection part 28 selects another detection area from two or more detection areas. For example, the detection area with the next highest priority is selected. Thereafter, the process returns to step S07.

一方、距離が予め定めたしきい値よりも長い場合（Ｓ１１でＹＥＳ）、車両が従うべき手前側の信号機を、画像上に写る信号機の大きさを基準として特定できると判断できる。そこで、ステップＳ１３に進み、サイズ推定部２７は、車両が従うべき手前側の信号機の相対位置から、当該信号機の画像上の大きさを推定する。そして、サイズ推定部２７は、検出領域内に写る信号機の中に、推定した大きさに等しい大きさの信号機があるか否かを判断する。   On the other hand, if the distance is longer than a predetermined threshold value (YES in S11), it can be determined that the near-side traffic signal to be followed by the vehicle can be specified based on the size of the traffic signal reflected on the image. Then, it progresses to step S13 and the size estimation part 27 estimates the magnitude | size on the image of the said traffic signal from the relative position of the traffic signal of the near side which a vehicle should follow. Then, the size estimation unit 27 determines whether there is a traffic signal having a size equal to the estimated size among the traffic signals reflected in the detection area.

推定した大きさに等しい大きさの信号機が写っている場合（Ｓ１３でＹＥＳ）、車両が従うべき手前側の信号機は、遮蔽されていないと判断できる。そこで、ステップＳ１５に進み、検出対象特定部２０は、当該信号機を検出対象として特定する。その後、ステップＳ１９に進む。   When a traffic light having a size equal to the estimated size is reflected (YES in S13), it can be determined that the front traffic light to be followed by the vehicle is not shielded. Then, it progresses to step S15 and the detection target specific | specification part 20 specifies the said signal apparatus as a detection target. Thereafter, the process proceeds to step S19.

一方、推定した大きさに等しい大きさの信号機が写っていない場合（Ｓ１３でＮＯ）、車両が従うべき手前側の信号機が、遮蔽されていると判断できる。よって、ステップＳ１７に進み、優先順位が次に高い検出領域を選択する。その後、ステップＳ０７に戻る。   On the other hand, when a traffic light having a size equal to the estimated size is not shown (NO in S13), it can be determined that the traffic light on the near side that the vehicle should follow is shielded. Therefore, it progresses to step S17 and the detection area | region with the next highest priority is selected. Thereafter, the process returns to step S07.

ステップＳ１９では、ステップＳ０９或いはステップＳ１５において特定された信号機の提示色を検出する。   In step S19, the presenting color of the traffic light identified in step S09 or step S15 is detected.

ここで、図４に示した処理手順を、次に示すように、第１実施例〜第４実施例として分類する。   Here, the processing procedure shown in FIG. 4 is classified as the first to fourth embodiments as follows.

第１実施例では、２以上の信号機のすべてが検出領域で実際に検出されており（Ｓ０７でＹＥＳ）、当該検出領域に写る２以上の信号機のうち、画像上の大きさが最大の信号機を車両が従うべき信号機として特定する（Ｓ０９）。   In the first embodiment, all of the two or more traffic signals are actually detected in the detection region (YES in S07), and the traffic signal having the largest size on the image among the two or more traffic signals reflected in the detection region is selected. It is specified as a traffic light to be followed by the vehicle (S09).

第２実施例では、検出領域に写ることが予測される２以上の信号機のうち一部の信号機だけが検出領域で実際に検出されており（Ｓ０７でＮＯ）、検出領域に写ることが予測される２以上の信号機の間の距離が、予め定めたしきい値以下であり（Ｓ１１でＮＯ）、他の検出領域を選択する（Ｓ１７）。   In the second embodiment, only some of the two or more traffic signals predicted to appear in the detection area are actually detected in the detection area (NO in S07) and predicted to appear in the detection area. The distance between the two or more traffic signals is equal to or less than a predetermined threshold value (NO in S11), and another detection area is selected (S17).

第３実施例では、検出領域に写ることが予測される２以上の信号機のうち一部の信号機だけが検出領域で実際に検出されており（Ｓ０７でＮＯ）、検出領域に写ることが予測される２以上の信号機の間の距離が、予め定めたしきい値より長く（Ｓ１１でＹＥＳ）、推定した大きさに等しい大きさの信号機が写っていないため（Ｓ１３でＮＯ）、他の検出領域を選択する（Ｓ１７）。   In the third embodiment, only some of the two or more traffic signals predicted to appear in the detection area are actually detected in the detection area (NO in S07) and predicted to appear in the detection area. The distance between the two or more traffic signals is longer than a predetermined threshold (YES in S11), and no traffic signal having a size equal to the estimated size is captured (NO in S13). Is selected (S17).

第４実施例では、検出領域に写ることが予測される２以上の信号機のうち一部の信号機だけが検出領域で実際に検出されており（Ｓ０７でＮＯ）、検出領域に写ることが予測される２以上の信号機の間の距離が、予め定めたしきい値より長く（Ｓ１１でＹＥＳ）、推定した大きさに等しい大きさの信号機が写っているため（Ｓ１３でＹＥＳ）、当該信号機を検出対象として特定する（Ｓ１５）。   In the fourth embodiment, only some of the two or more traffic signals predicted to appear in the detection area are actually detected in the detection area (NO in S07) and predicted to appear in the detection area. Since the distance between the two or more traffic signals is longer than a predetermined threshold (YES in S11) and a traffic signal having a size equal to the estimated size is reflected (YES in S13), the traffic signal is detected. The target is specified (S15).

図５を参照して、図４のステップＳ０７の判断例を説明する。すべての実施例において、信号機数計算部２３は、検出領域ＲＧに写ることが予測される信号機の数を２と算出する。第１実施例において、信号機数検出部２４は、検出領域ＲＧに実際に写っている信号機（ＴＳ１、ＴＳ２）の数を２と検出する。一方、第２〜４実施例において、奥側の信号機（ＴＳ２）が遮蔽物ＳＨ（たとえば、先行車両、街路樹）により遮蔽されている。このため、信号機数検出部２４は、検出領域ＲＧに実際に写っている信号機ＴＳ１の数を２と検出する。   With reference to FIG. 5, the determination example of step S07 of FIG. 4 will be described. In all the embodiments, the traffic light number calculation unit 23 calculates the number of traffic signals predicted to appear in the detection region RG as 2. In the first embodiment, the traffic signal number detection unit 24 detects the number of traffic signals (TS1, TS2) actually reflected in the detection region RG as 2. On the other hand, in the second to fourth embodiments, the rear traffic light (TS2) is shielded by the shield SH (for example, a preceding vehicle or a roadside tree). For this reason, the traffic signal number detection unit 24 detects the number of traffic signals TS1 actually reflected in the detection region RG as 2.

よって、第１実施例で、比較部２５は、計算された信号機の数と検出された信号機の数が一致すると判断し、ステップＳ０７で、２以上の信号機のすべてが検出領域で実際に検出されていると判断する。一方、第２〜第４実施例で、比較部２５は、計算された信号機の数と検出された信号機の数が一致しないと判断し、ステップＳ０７で、２以上の信号機の一部が検出領域で実際に検出されていないと判断する。   Therefore, in the first embodiment, the comparison unit 25 determines that the calculated number of traffic lights matches the number of detected traffic lights, and in step S07, all of the two or more traffic lights are actually detected in the detection region. Judge that On the other hand, in the second to fourth embodiments, the comparison unit 25 determines that the calculated number of traffic signals and the number of detected traffic signals do not match, and in step S07, a part of two or more traffic signals is detected. It is determined that it is not actually detected.

図６を参照して、図４のステップＳ１１の判断例を説明する。ステップＳ１１の判断は、第２〜第４実施例において実施される。第３及び第４実施例で、距離判定部２６は、検出領域ＲＧに写ることが予測される２以上の信号機（ＴＳ１、ＴＳ２）の間の距離が、予め定めたしきい値より長い（Ｓ１１でＹＥＳ）と判断する。一方、第２実施例で、距離判定部２６は、検出領域ＲＧに写ることが予測される２以上の信号機（ＴＳ１、ＴＳ２）の間の距離が、予め定めたしきい値以下である（Ｓ１１でＮＯ）と判断する。   With reference to FIG. 6, the example of determination of step S11 of FIG. 4 is demonstrated. The determination in step S11 is performed in the second to fourth examples. In the third and fourth embodiments, the distance determination unit 26 has a distance between two or more traffic signals (TS1, TS2) predicted to appear in the detection region RG longer than a predetermined threshold (S11). YES). On the other hand, in the second embodiment, the distance determination unit 26 has a distance between two or more traffic signals (TS1, TS2) predicted to appear in the detection region RG is equal to or less than a predetermined threshold (S11). NO).

図７を参照して、図４のステップＳ１３の判断例を説明する。ステップＳ１３の判断は、第３及び第４実施例において、検出領域ＲＧに写ることが予測される２以上の信号機（ＴＳ１、ＴＳ２）の間の距離が、予め定めたしきい値より長い場合に（Ｓ１１でＹＥＳ）、実施される。信号機（ＴＳ１、ＴＳ２）の距離が長ければ、信号機（ＴＳ１、ＴＳ２）を、信号機の大きさを基準として識別することが可能である。そこで、サイズ推定部２７は、車両が従うべき手前側の信号機（ＥＳＴ）の相対位置から、信号機（ＥＳＴ）の画像上の大きさを推定する。   With reference to FIG. 7, the determination example of step S13 of FIG. 4 will be described. The determination in step S13 is made when the distance between two or more traffic signals (TS1, TS2) predicted to appear in the detection region RG is longer than a predetermined threshold in the third and fourth embodiments. (YES in S11) is performed. If the distance between the traffic lights (TS1, TS2) is long, the traffic lights (TS1, TS2) can be identified based on the size of the traffic lights. Therefore, the size estimation unit 27 estimates the size of the traffic light (EST) on the image from the relative position of the traffic light (EST) on the near side that the vehicle should follow.

第４実施例では、２以上の信号機（ＴＳ１、ＴＳ２）のうち、奥側の信号機ＴＳ２が遮蔽物ＳＨにより遮蔽されて画像データＤ０８に写っていないが、手前側の信号機ＴＳ１は画像データＤ０８に写っている。よって、サイズ推定部２７は、推定した信号機（ＥＳＴ）と実際に写っている信号機（ＴＳ１）との大きさを比較する。そして、推定した信号機（ＥＳＴ）の大きさに等しい大きさの信号機（ＴＳ１）が検出領域ＲＧ内に写っていると判断する（ステップＳ１３でＹＥＳ）。   In the fourth embodiment, among the two or more traffic signals (TS1, TS2), the rear traffic signal TS2 is shielded by the shielding object SH and is not reflected in the image data D08, but the front traffic signal TS1 is displayed in the image data D08. It is reflected. Therefore, the size estimation unit 27 compares the size of the estimated traffic light (EST) with the traffic light (TS1) actually reflected. Then, it is determined that the traffic signal (TS1) having the same size as the estimated traffic signal (EST) is reflected in the detection region RG (YES in step S13).

一方、第３実施例では、２以上の信号機（ＴＳ１、ＴＳ２）のうち、車両が従うべき手前側の信号機ＴＳ１が遮蔽物ＳＨにより遮蔽されて画像データＤ０８に写っていないが、奥側の信号機ＴＳ２は画像データＤ０８に写っている。よって、サイズ推定部２７は、推定した信号機（ＥＳＴ）と実際に写っている信号機（ＴＳ２）との大きさを比較する。そして、推定した信号機（ＥＳＴ）の大きさに等しい大きさの信号機が検出領域ＲＧ内に写っていないと判断する（ステップＳ１３でＮＯ）。   On the other hand, in the third embodiment, among the two or more traffic signals (TS1, TS2), the traffic signal TS1 on the near side that the vehicle should follow is shielded by the shielding object SH and is not reflected in the image data D08. TS2 is shown in the image data D08. Therefore, the size estimation unit 27 compares the size of the estimated traffic light (EST) with the actual traffic light (TS2). Then, it is determined that a traffic light having a size equal to the estimated traffic light (EST) is not captured in the detection region RG (NO in step S13).

以上説明したように、実施形態によれば、以下の作用効果が得られる。   As described above, according to the embodiment, the following operational effects can be obtained.

車両は、走行路上において最も近接する位置に存在する手前側の信号機に従って走行する必要がある。しかし、信号機は、先行車両、街路樹、工事など、地図情報から特定できない要因（遮蔽物）によって隠されてしまい、車両から視認できない場合がある。この場合、遮蔽された信号機は、画像に写らない。図７に示すように、手前側の信号機（ＴＳ１）が遮蔽され、且つ、手前側の信号機（ＴＳ１）の先にある奥側の信号機（ＴＳ２）が画像に写る場合、奥側の信号機（ＴＳ２）を手前側の信号機として誤認識してしまうおそれがある。手前側の信号機と奥側の信号機の提示色が異なる場合、車両に対する適切な走行制御の実現は難しくなる。   The vehicle needs to travel according to the traffic light on the near side that is present at the closest position on the travel path. However, the traffic lights may be hidden by factors (shields) that cannot be specified from the map information, such as preceding vehicles, roadside trees, and construction, and may not be visible from the vehicle. In this case, the blocked traffic signal does not appear in the image. As shown in FIG. 7, when the front traffic light (TS1) is shielded and the back traffic light (TS2) ahead of the front traffic light (TS1) appears in the image, the back traffic light (TS2) ) May be misrecognized as a traffic light on the near side. When the display colors of the traffic light on the near side and the traffic light on the far side are different, it is difficult to realize appropriate traveling control for the vehicle.

撮像部１１により取得された画像には、手前側の信号機のみならず、更にその先にある奥側の信号機までもが写る。しかし、図５に示すように、信号機の画像上の位置や大きさから、手前側の信号機を明確に特定することは難しい。   The image acquired by the imaging unit 11 shows not only the traffic light on the near side but also the traffic light on the far side ahead. However, as shown in FIG. 5, it is difficult to clearly identify the front traffic light from the position and size of the traffic light on the image.

そこで、１の検出領域に写ることが予測される２以上の信号機のうち一部の信号機だけが１の検出領域で検出された場合（Ｓ０７でＮＯ）、１の検出領域に写ることが予測される信号機のうち、先行車両或いは街路樹の存在によって遮蔽されている信号機が存在すると判断する。そして、信号機の画像上の位置や大きさから、当該遮蔽された信号機が手前側の信号機であるか否かを判断することが難しい場合には、１の検出領域に写っている信号機を車両が従うべき信号機とは特定せずに、その他の検出領域から信号機の検出を試みる（Ｓ１７）。   Therefore, when only some of the two or more traffic signals predicted to appear in one detection region are detected in one detection region (NO in S07), it is predicted to appear in one detection region. It is determined that there is a traffic signal that is blocked by the presence of a preceding vehicle or a roadside tree. If it is difficult to determine whether or not the shielded traffic signal is a traffic signal on the near side from the position and size of the traffic signal on the image, the vehicle displays the traffic signal reflected in one detection area. A signal is detected from other detection areas without specifying the signal to be followed (S17).

これにより、手前側の信号機の誤認識が抑制され、車両が従うべき手前側の信号機を精度良く検出することができる。   Thereby, the misrecognition of the traffic signal on the near side is suppressed, and the traffic signal on the near side that the vehicle should follow can be detected with high accuracy.

予測される信号機のすべてが１の検出領域で検出されている場合（Ｓ０７でＹＥＳ）、先行車両或いは街路樹の存在によって遮蔽されている信号機は存在しないと判断できる。よって、車両が従うべき手前側の信号機を１の検出領域の中から精度良く検出することができる。   When all the predicted traffic signals are detected in one detection area (YES in S07), it can be determined that there is no traffic signal shielded by the presence of a preceding vehicle or a roadside tree. Therefore, the traffic signal on the near side that the vehicle should follow can be detected from one detection region with high accuracy.

車両に搭載された撮像部１１が画像を取得する場合、道路に対する信号機の位置によって、信号機の画像への映り易さ、つまり、車両周囲の障害物によって信号機が遮蔽されてしまう可能性に違いがある。そこで、画像に２以上の検出領域が設定される場合、優先順位設定部２２は、２以上の検出領域の間の優先順位を設定する。そして、信号機検出部２８は、他の検出領域として、１の検出領域の次に優先順位が高い検出領域を選択して、信号機を検出する。これにより、車両が従うべき手前側の信号機を精度良く検出することができる。また、早期に信号機を検出し、且つ演算処理負担を軽減することができる。   When the imaging unit 11 mounted on the vehicle acquires an image, there is a difference in the possibility of the traffic signal being blocked by an obstacle around the vehicle, depending on the position of the traffic signal with respect to the road, that is, how easily the traffic signal is reflected in the image. is there. Therefore, when two or more detection areas are set in the image, the priority order setting unit 22 sets a priority order between the two or more detection areas. Then, the traffic light detection unit 28 selects a detection area having the second highest priority after the one detection area as another detection area, and detects the traffic signal. Thereby, it is possible to accurately detect the traffic signal on the near side that the vehicle should follow. In addition, it is possible to detect a traffic light at an early stage and reduce the processing load.

２以上の信号機の間の距離がしきい値以下である場合（Ｓ１１でＮＯ）、図６に示すように、信号機（ＴＳ１、ＴＳ２）の画像上の大きさの相違から、遮蔽された信号機が手前側の信号機であるか否かを判断することは難しい。そこで、１の検出領域に写る信号機を検出対象とはせずに、その他の検出領域から信号機の検出を試みる。これにより、手前側の信号機の誤認識が抑制され、車両が従うべき手前側の信号機を精度良く検出することができる。   When the distance between two or more traffic signals is less than or equal to the threshold value (NO in S11), as shown in FIG. 6, due to the difference in the size of the traffic signals (TS1, TS2) on the image, It is difficult to determine whether the traffic light is on the near side. Therefore, the traffic light reflected in one detection area is not set as a detection target, and detection of the traffic light is attempted from other detection areas. Thereby, the misrecognition of the traffic signal on the near side is suppressed, and the traffic signal on the near side that the vehicle should follow can be detected with high accuracy.

検出領域設定部２１は、検出領域を拡大した拡大画像を取得できるように、撮像部１１の車両に対する姿勢及び撮像部１１の画角を制御する。これにより、画像から１の検出領域を切り出す場合に比べて、検出領域の解像度が高まるため、信号機の認識精度が向上する。   The detection area setting unit 21 controls the attitude of the imaging unit 11 with respect to the vehicle and the angle of view of the imaging unit 11 so that an enlarged image obtained by enlarging the detection area can be acquired. Thereby, since the resolution of a detection area increases compared with the case where one detection area is cut out from an image, the recognition accuracy of a traffic light improves.

（第１変形例）
第１及び第２変形例では、第１実施例に係わる変形例を説明する。第１変形例では、２以上の信号機のすべてが検出領域で実際に検出された場合（Ｓ０７でＹＥＳ）に、２以上の信号機の間の距離がしきい値よりも長いか否かを判断する。そして、２以上の信号機の間の距離がしきい値よりも長い場合、サイズ推定部２７は、２以上の信号機のうち、車両が従うべき手前側の信号機の大きさを推定し、推定した信号機の画像上の大きさに最も近い信号機を車両が従うべき信号機として特定する。すなわち、図４のステップＳ０７でＹＥＳと判断した場合において、ステップＳ０９の代わりに、ステップＳ１１を実施する。そして、ステップＳ１１でＹＥＳと判断され、且つ、続くステップＳ１３でＹＥＳと判断された場合、ステップＳ１５に進み、検出対象を選択する。 (First modification)
In the first and second modifications, a modification according to the first embodiment will be described. In the first modified example, when all of the two or more traffic signals are actually detected in the detection region (YES in S07), it is determined whether or not the distance between the two or more traffic signals is longer than the threshold value. . When the distance between the two or more traffic lights is longer than the threshold value, the size estimation unit 27 estimates the size of the traffic light on the near side that the vehicle should follow among the two or more traffic lights, and the estimated traffic light The traffic light closest to the size on the image is identified as the traffic light to be followed by the vehicle. That is, if YES is determined in step S07 in FIG. 4, step S11 is performed instead of step S09. If YES is determined in step S11 and YES is determined in subsequent step S13, the process proceeds to step S15, and a detection target is selected.

第１変形例によれば、２以上の信号機の間の距離がしきい値よりも長い場合（Ｓ１１でＹＥＳ）、信号機の画像上の大きさの相違から、車両が従うべき手前側の信号機を精度良く特定することができる。よって、手前側の信号機の誤検出を抑制することができる。   According to the first modification, when the distance between two or more traffic lights is longer than the threshold value (YES in S11), the front traffic lights to be followed by the vehicle are determined based on the difference in the size of the traffic lights on the image. It can be specified with high accuracy. Therefore, erroneous detection of the traffic signal on the near side can be suppressed.

（第２変形例）
第２変形例では、２以上の信号機のすべてが検出領域で実際に検出された場合（Ｓ０７でＹＥＳ）に、２以上の信号機の間の距離がしきい値よりも長いか否かを判断する。そして、２以上の信号機の間の距離がしきい値以下である場合、検出対象特定部２０は、２以上の検出領域の中から、他の検出領域、たとえば、優先順位が次に高い検出領域を選択する。その後、ステップＳ０７に戻る。なお、２以上の信号機の間の距離が推定できない場合も同様である。すなわち、図４のステップＳ０７でＹＥＳと判断した場合において、ステップＳ０９の代わりに、ステップＳ１１を実施する。そして、ステップＳ１１でＮＯと判断された場合、ステップＳ１７に進み、他の検出領域を選択してステップＳ０７に戻る。 (Second modification)
In the second modified example, when all of the two or more traffic signals are actually detected in the detection region (YES in S07), it is determined whether or not the distance between the two or more traffic signals is longer than the threshold value. . When the distance between the two or more traffic lights is equal to or less than the threshold value, the detection target specifying unit 20 selects another detection area from among the two or more detection areas, for example, the detection area having the next highest priority. Select. Thereafter, the process returns to step S07. The same applies when the distance between two or more traffic lights cannot be estimated. That is, if YES is determined in step S07 in FIG. 4, step S11 is performed instead of step S09. If NO is determined in step S11, the process proceeds to step S17, another detection area is selected, and the process returns to step S07.

第２変形例によれば、２以上の信号機のすべてが検出領域で実際に検出された場合であっても、２以上の信号機の間の距離がしきい値以下であれば、信号機の画像上の大きさから、手前側の信号機を特定ことは難しい。そこで、１の検出領域に写る信号機を車両が従うべき信号機として特定せずに、その他の検出領域から信号機の検出を試みる。これにより、手前側の信号機の誤認識が抑制され、車両が従うべき手前側の信号機を精度良く検出することができる。   According to the second modification, even when all of two or more traffic lights are actually detected in the detection area, if the distance between the two or more traffic lights is equal to or smaller than a threshold value, It is difficult to specify the traffic light on the near side because of the size of the signal. Therefore, the traffic light reflected in one detection area is not specified as a traffic light to be followed by the vehicle, and the traffic light is detected from other detection areas. Thereby, the misrecognition of the traffic signal on the near side is suppressed, and the traffic signal on the near side that the vehicle should follow can be detected with high accuracy.

以上、実施例に沿って本発明の内容を説明したが、本発明はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。   Although the contents of the present invention have been described with reference to the embodiments, the present invention is not limited to these descriptions, and it is obvious to those skilled in the art that various modifications and improvements can be made.

１１ 撮像部
１２ 自己位置検出部
１３ 信号機位置推定部
１５ 信号機検出部
１６ 誤検出度評価部
２０ 検出対象特定部
２１ 検出領域設定部
２２ 優先順位設定部
２３ 信号機数計算部
２７ サイズ推定部
２８ 信号機検出部
１００ 信号機検出装置
Ｄ０２ 地図情報
ＲＧ 検出領域 DESCRIPTION OF SYMBOLS 11 Image pick-up part 12 Self-position detection part 13 Traffic signal position estimation part 15 Traffic signal detection part 16 False detection degree evaluation part 20 Detection target specific | specification part 21 Detection area setting part 22 Priority order setting part 23 Traffic number calculation part 27 Size estimation part 28 Traffic signal detection Part 100 Traffic light detection device D02 Map information RG detection area

Claims (7)

車両に搭載され、前記車両の周囲を撮像して画像を取得する撮像部と、
前記車両の自己位置を検出する自己位置検出部と、
前記車両の周囲にある信号機の位置情報を含む地図情報と前記自己位置とから、前記信号機の前記車両に対する相対位置を推定する信号機位置推定部と、
前記信号機の相対位置から予測される前記画像上の信号機の位置に検出領域を設定する検出領域設定部と、
前記画像上に設定された検出領域から前記信号機を検出し、前記車両が従うべき信号機を特定する信号機検出部と、を備え、
前記信号機検出部は、前記検出領域に写ることが予測される前記信号機が２つ以上である場合であって、前記検出領域から２以上のすべての前記信号機が検出できた場合、前記２以上のすべての信号機の中から前記車両が従うべき信号機を特定する
ことを特徴とする信号機検出装置。 An imaging unit mounted on a vehicle and capturing an image of the surroundings of the vehicle;
A self-position detector for detecting the self-position of the vehicle;
A traffic signal position estimation unit that estimates a relative position of the traffic signal to the vehicle from map information including positional information of traffic signals around the vehicle and the self-position;
A detection area setting unit for setting a detection area at the position of the traffic signal on the image predicted from the relative position of the traffic signal;
A traffic light detector that detects the traffic light from a detection area set on the image and identifies a traffic light to be followed by the vehicle;
The traffic signal detection unit is a case where there are two or more traffic signals predicted to appear in the detection area, and when two or more traffic signals are detected from the detection area, the two or more traffic signals are detected. A traffic light detection device that identifies a traffic light to be followed by the vehicle from among all traffic lights. 前記信号機の相対位置から、前記検出領域に写ることが予測される前記信号機の画像上の大きさを推定するサイズ推定部を更に備え、
前記信号機検出部は、前記検出領域の一つで写ることが予測される前記信号機が２つ以上で、かつ、前記２以上の信号機の一部が検出できなかった場合であって、前記２以上の信号機の間の距離がしきい値よりも長い場合、前記２以上の信号機のうち、前記サイズ推定部により推定される前記信号機の画像上の大きさに最も近い信号機を前記車両が従うべき信号機として特定する
ことを特徴とする請求項１に記載の信号機検出装置。 A size estimation unit that estimates the size of the traffic light on the image predicted to be reflected in the detection area from the relative position of the traffic light;
The traffic signal detection unit is a case where the number of the traffic signals predicted to be captured in one of the detection areas is two or more and a part of the two or more traffic signals cannot be detected, and the two or more traffic signals are detected. When the distance between the two traffic lights is longer than a threshold value, the traffic light to which the vehicle should follow the traffic light closest to the size of the traffic light on the image estimated by the size estimation unit among the two or more traffic lights. The traffic light detection device according to claim 1, characterized by: 前記信号機検出部は、前記検出領域が２以上設定されている場合であって、前記検出領域の一つで写ることが予測される前記信号機が２つ以上で、かつ、前記２以上の信号機の一部が検出できなかった場合には、他の検出領域から前記信号機を検出し、前記車両が従うべき信号機を特定することを特徴とする請求項１又は２に記載の信号機検出装置。   In the traffic signal detection unit, when two or more detection areas are set, the number of the traffic signals predicted to be captured in one of the detection areas is two and more, and the two or more traffic lights 3. The traffic light detection apparatus according to claim 1, wherein when a part of the traffic signal cannot be detected, the traffic light is detected from another detection area, and the traffic light to be followed by the vehicle is specified. 前記信号機検出部は、前記検出領域が２以上設定されている場合であって、前記検出領域の一つで写ることが予測される前記信号機が２つ以上で、かつ、前記２以上の信号機の一部が検出できなかった場合で、前記検出領域で写ることが予測される前記２以上の信号機の間の距離がしきい値以下である、或いは推定できない場合は、他の検出領域から前記信号機を検出することを特徴とする請求項１〜３のいずれか一項に記載の信号機検出装置。   In the traffic signal detection unit, when two or more detection areas are set, the number of the traffic signals predicted to be captured in one of the detection areas is two and more, and the two or more traffic lights When a part of the signals cannot be detected and the distance between the two or more traffic signals predicted to be captured in the detection region is equal to or less than a threshold value or cannot be estimated, the traffic signals can be detected from other detection regions. The traffic light detection device according to any one of claims 1 to 3, wherein 前記信号機が遮蔽される可能性が低いほど優先順位が高くなるように、前記２以上の検出領域の間に前記優先順位を設定する優先順位設定部を更に備え、
前記信号機検出部は、前記他の検出領域として、前記２以上の信号機の一部が検出できなかった検出領域の次に前記優先順位が高い検出領域を選択する
ことを特徴とする請求項３又は４のいずれか一項に記載の信号機検出装置。 A priority setting unit that sets the priority between the two or more detection areas so that the priority is higher as the possibility that the traffic light is shielded is lower;
The traffic signal detection unit selects, as the other detection area, a detection area having the second highest priority after a detection area in which a part of the two or more traffic signals cannot be detected. 5. The traffic light detection device according to any one of 4. 前記検出領域設定部は、前記検出領域を拡大した拡大画像を取得できるように、前記撮像部の前記車両に対する姿勢及び前記撮像部の画角を制御することを特徴とする請求項１〜５のいずれか一項に記載の信号機検出装置。   6. The detection area setting unit according to claim 1, wherein the detection area setting unit controls an attitude of the imaging unit with respect to the vehicle and an angle of view of the imaging unit so that an enlarged image obtained by enlarging the detection area can be acquired. The traffic signal detection apparatus as described in any one of Claims. 車両に搭載された撮像部を用いて、前記車両の周囲を撮像して画像を取得し、
前記車両の自己位置を検出し、
前記車両の周囲にある信号機の位置情報を含む地図情報と前記自己位置とから、前記信号機の前記車両に対する相対位置を推定し、
前記信号機の相対位置から予測される前記画像上の信号機の位置に検出領域を設定し、
前記画像上に設定された検出領域から前記信号機を検出し、前記車両が従うべき信号機を特定する
信号機検出方法であって、
前記検出領域に写ることが予測される前記信号機が２つ以上である場合であって、前記検出領域から２以上のすべての前記信号機が検出できた場合、前記２以上のすべての信号機の中から前記車両が従うべき信号機を特定する
ことを特徴とする信号機検出方法。 Using an imaging unit mounted on the vehicle, image the surroundings of the vehicle to obtain an image,
Detecting the position of the vehicle,
From the map information including the position information of traffic lights around the vehicle and the self-position, the relative position of the traffic lights to the vehicle is estimated,
Set a detection area at the position of the traffic light on the image predicted from the relative position of the traffic light;
A traffic signal detection method for detecting the traffic signal from a detection area set on the image and identifying a traffic signal to be followed by the vehicle,
When there are two or more traffic lights predicted to appear in the detection area, and all of the two or more traffic lights can be detected from the detection area, from among all the two or more traffic lights A traffic light detection method characterized by identifying a traffic light to be followed by the vehicle.
JP2014165115A 2014-08-14 2014-08-14 Signal detection device and signal detection method Active JP6365103B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014165115A JP6365103B2 (en) 2014-08-14 2014-08-14 Signal detection device and signal detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014165115A JP6365103B2 (en) 2014-08-14 2014-08-14 Signal detection device and signal detection method

Publications (2)

Publication Number Publication Date
JP2016042226A JP2016042226A (en) 2016-03-31
JP6365103B2 true JP6365103B2 (en) 2018-08-01

Family

ID=55591972

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014165115A Active JP6365103B2 (en) 2014-08-14 2014-08-14 Signal detection device and signal detection method

Country Status (1)

Country Link
JP (1) JP6365103B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101911598B1 (en) * 2016-08-03 2018-10-24 울산대학교 산학협력단 Pedestrian crossing traffic light image recognition method and apparatus for visually impaired People
US9977975B2 (en) 2016-08-18 2018-05-22 Toyota Motor Engineering & Manufacturing North America, Inc. Traffic light detection using multiple regions of interest and confidence scores
JP7067067B2 (en) 2018-01-11 2022-05-16 トヨタ自動車株式会社 Traffic light recognition device and automatic driving system
JP6939615B2 (en) * 2018-02-02 2021-09-22 トヨタ自動車株式会社 Traffic light recognition device
JP6892527B2 (en) * 2018-02-13 2021-06-23 本田技研工業株式会社 Vehicle control device and vehicle control method
CN112580571A (en) * 2020-12-25 2021-03-30 北京百度网讯科技有限公司 Vehicle running control method and device and electronic equipment

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2962758B2 (en) * 1990-03-12 1999-10-12 マツダ株式会社 Mobile vehicle image input device
JP4577655B2 (en) * 2005-12-27 2010-11-10 アイシン・エィ・ダブリュ株式会社 Feature recognition device
JP4631750B2 (en) * 2006-03-06 2011-02-16 トヨタ自動車株式会社 Image processing system
JP4915281B2 (en) * 2007-05-24 2012-04-11 アイシン・エィ・ダブリュ株式会社 Signal detection device, signal detection method and program
JP5254102B2 (en) * 2009-03-24 2013-08-07 富士重工業株式会社 Environment recognition device
JP5462609B2 (en) * 2009-12-09 2014-04-02 富士重工業株式会社 Stop line recognition device
JP2013045176A (en) * 2011-08-22 2013-03-04 Pioneer Electronic Corp Signal recognition device, candidate point pattern transmitter, candidate point pattern receiver, signal recognition method, and candidate point pattern reception method
JP6062214B2 (en) * 2012-11-06 2017-01-18 株式会社小糸製作所 Road-to-vehicle communication system and transmission / reception device

Also Published As

Publication number Publication date
JP2016042226A (en) 2016-03-31

Similar Documents

Publication Publication Date Title
US11834040B2 (en) Recognition and prediction of lane constraints and construction areas in navigation
JP6365103B2 (en) Signal detection device and signal detection method
JP7461720B2 (en) Vehicle position determination method and vehicle position determination device
US10896310B2 (en) Image processing device, image processing system, and image processing method
JP6337961B2 (en) Signal recognition device and signal recognition method
US10274598B2 (en) Navigation based on radar-cued visual imaging
CN106663193B (en) System and method for curb detection and pedestrian hazard assessment
US9569673B2 (en) Method and device for detecting a position of a vehicle on a lane
US20130286205A1 (en) Approaching object detection device and method for detecting approaching objects
JP6299517B2 (en) Signal recognition device and signal recognition method
JP6450294B2 (en) Object detection apparatus, object detection method, and program
JP6222353B2 (en) Target detection apparatus and target detection method
US20180114067A1 (en) Apparatus and method for extracting objects in view point of moving vehicle
JPWO2016178335A1 (en) Lane detection device and lane detection method
JP2009071836A (en) Automobile driving assistance device comprising a stereoscopic image capturing system
JP6032034B2 (en) Object detection device
US11468691B2 (en) Traveling lane recognition apparatus and traveling lane recognition method
JP2009231938A (en) Surrounding monitoring device for vehicle
JP2004265432A (en) Travel environment recognition device
JP2007164566A (en) System and device of vehicle sensing for traffic-actuated control
JP6174884B2 (en) Outside environment recognition device and outside environment recognition method
JP4231883B2 (en) Image processing apparatus and method
JP7344776B2 (en) Traffic light recognition method and traffic light recognition device
JP2017084019A (en) Object detection device, object detection method, and, object detection program
JP2007164565A (en) System and device of vehicle sensing for traffic-actuated control

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180618

R151 Written notification of patent or utility model registration

Ref document number: 6365103

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151