JP2021086317A - Traffic light recognition method and traffic light recognition device - Google Patents

Traffic light recognition method and traffic light recognition device Download PDF

Info

Publication number
JP2021086317A
JP2021086317A JP2019213698A JP2019213698A JP2021086317A JP 2021086317 A JP2021086317 A JP 2021086317A JP 2019213698 A JP2019213698 A JP 2019213698A JP 2019213698 A JP2019213698 A JP 2019213698A JP 2021086317 A JP2021086317 A JP 2021086317A
Authority
JP
Japan
Prior art keywords
traffic light
image
traffic
vehicle
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019213698A
Other languages
Japanese (ja)
Other versions
JP7344776B2 (en
Inventor
ヒョンソン チョ
Hyeongsung Cho
ヒョンソン チョ
松尾　治夫
Haruo Matsuo
治夫 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renault SAS
Nissan Motor Co Ltd
Original Assignee
Renault SAS
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renault SAS, Nissan Motor Co Ltd filed Critical Renault SAS
Priority to JP2019213698A priority Critical patent/JP7344776B2/en
Publication of JP2021086317A publication Critical patent/JP2021086317A/en
Application granted granted Critical
Publication of JP7344776B2 publication Critical patent/JP7344776B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)

Abstract

To provide a traffic light recognition method and a traffic light recognition device which prevent erroneous start and erroneous stops of a vehicle by preventing a traffic light from being erroneously recognized.SOLUTION: A traffic light recognition method for detecting a lighting state of a traffic light is provided. In the traffic light recognition method, a front side of a vehicle is imaged using a first imaging unit 10 mounted on the vehicle, and the front side of the vehicle is imaged using a second imaging unit 20 which is mounted on the vehicle and in which an angle of view is narrower than that of the first imaging unit 10. A traffic light in a first image imaged by the first imaging unit 10 is identified, a traffic light in a second image imaged by the second imaging unit 20 is identified, and it is determined whether or not the traffic light in the first image and the traffic light in the second image are the same traffic light. In the case that there is a plurality of traffic lights determined identical, when a first traffic light among the plurality of traffic lights disappears from the second image, a lighting state of the traffic light which disappears from the second image is detected.SELECTED DRAWING: Figure 3

Description

本発明は、信号機認識方法及び信号機認識装置に関する。 The present invention relates to a traffic light recognition method and a traffic light recognition device.

従来、車両の進行方向を撮像した画像から信号機を認識する信号機認識装置が知られている。特許文献１には、地図情報と車両位置検出装置により検出された自車両の位置・姿勢とに基づき、カメラで撮像した画像中に信号機の検出領域を設定する信号機認識装置が開示されている。この信号機認識装置では、検出領域内に存在する信号機を画像処理して該信号機の点灯状態を検出している。 Conventionally, a traffic light recognition device that recognizes a traffic light from an image of the traveling direction of a vehicle is known. Patent Document 1 discloses a signal recognition device that sets a detection area of a signal in an image captured by a camera based on map information and a position / posture of the own vehicle detected by the vehicle position detection device. In this traffic light recognition device, the lighting state of the traffic light is detected by image processing the traffic light existing in the detection area.

特開２００７−２４１４６９号公報Japanese Unexamined Patent Publication No. 2007-241469

特許文献１に記載された信号機認識装置では、市街地のように信号機間距離が短いところでは、直近の信号機よりも遠方の信号機が同時に検出領域に入ってしまう場合がある。そのため、遠方の信号機の情報を、直近の信号機の情報と誤認識してしまう可能性がある。このような誤認識が発生すると、車両の誤発進、誤停止の原因となる。 In the traffic light recognition device described in Patent Document 1, in a place where the distance between traffic lights is short, such as in an urban area, a traffic light farther than the nearest traffic light may enter the detection area at the same time. Therefore, there is a possibility that the information of the distant traffic light is mistakenly recognized as the information of the latest traffic light. When such erroneous recognition occurs, it causes erroneous start and erroneous stop of the vehicle.

本発明は、上記課題に鑑みたものであり、信号機の誤認識の発生を防止し、車両の誤発進、誤停止を防止する信号機認識方法及び信号機認識装置を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a traffic signal recognition method and a traffic light recognition device for preventing the occurrence of false recognition of a traffic light and preventing a false start and stop of a vehicle.

本発明の一態様によれば、信号機の点灯状態を検出する信号機認識方法が提供される。この信号機認識方法では、車両に搭載された第１撮像部を用いて車両の前方を撮像し、車両に搭載され、第１撮像部よりも画角が狭い第２撮像部を用いて車両の前方を撮像する。そして第１撮像部により撮像された第１画像中の信号機を特定し、第２撮像部により撮像された第２画像中の信号機を特定し、第１画像中の信号機と、第２画像中の信号機とが同一の信号機であるかを判定する。同一と判定された信号機が複数ある場合、複数の信号機のうちの１の信号機が第２画像から消失した際に、第２画像から消失した信号機の点灯状態を検出する。 According to one aspect of the present invention, there is provided a traffic light recognition method for detecting a lighting state of a traffic light. In this traffic light recognition method, the front of the vehicle is imaged using the first imaging unit mounted on the vehicle, and the front of the vehicle is imaged using the second imaging unit mounted on the vehicle and having a narrower angle of view than the first imaging unit. To image. Then, the traffic light in the first image captured by the first imaging unit is specified, the traffic light in the second image captured by the second imaging unit is specified, and the traffic light in the first image and the traffic light in the second image are identified. Determine if the traffic light is the same as the traffic light. When there are a plurality of traffic lights determined to be the same, when one of the plurality of traffic lights disappears from the second image, the lighting state of the traffic light disappeared from the second image is detected.

本発明の信号機認識方法によれば、第１撮像部を用いて撮像された第１画像中の信号機と、第１撮像部よりも画角が狭い第２撮像部を用いて撮像された第２画像中の信号機とが同一の信号機であるかを判定する。そして、同一と判定された信号機が複数ある場合、複数の信号機のうちの１の信号機が第２画像から消失した際に、第２画像から消失した信号機の点灯状態を検出する。車両が直近の信号機に近づくと、第１撮像部よりも画角が狭い第２撮像部を用いて撮像された第２画像中からは直近の信号機が消失する。一方、直近の信号機よりも遠方にある信号機は、直近の信号機よりも先には第２画像中から消失しない。従って、第２画像から消失した信号機の点灯状態を検出することにより、複数の信号機の中から直近の信号機の点灯状態を検出することができる。これにより、信号機の誤認識の発生を防止することができ、車両の誤発進、誤停止を防止することができる。 According to the traffic light recognition method of the present invention, the traffic light in the first image captured by the first imaging unit and the second image captured by the second imaging unit having a narrower angle of view than the first imaging unit. It is determined whether the traffic light in the image is the same traffic light. Then, when there are a plurality of traffic lights determined to be the same, when one of the plurality of traffic lights disappears from the second image, the lighting state of the traffic light disappeared from the second image is detected. When the vehicle approaches the nearest traffic light, the latest traffic light disappears from the second image captured by the second image pickup unit having a narrower angle of view than the first image pickup unit. On the other hand, a traffic light farther than the latest traffic light does not disappear from the second image before the latest traffic light. Therefore, by detecting the lighting state of the traffic light disappeared from the second image, the lighting state of the latest traffic light can be detected from among the plurality of traffic lights. As a result, it is possible to prevent the occurrence of erroneous recognition of the traffic light, and it is possible to prevent erroneous start and stop of the vehicle.

図１は、第１実施形態による信号機認識装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a traffic signal recognition device according to the first embodiment. 図２は、撮像部の撮像範囲及び信号機間距離が短い場合における直近の信号機の検出方法を説明する図である。FIG. 2 is a diagram illustrating a method of detecting the latest traffic light when the imaging range of the imaging unit and the distance between the traffic lights are short. 図３は、第１実施形態による信号機認識装置の信号機認識方法を説明するフローチャートである。FIG. 3 is a flowchart illustrating a traffic light recognition method of the traffic light recognition device according to the first embodiment. 図４は、第２実施形態による信号機認識装置の信号機認識方法を説明するフローチャートである。FIG. 4 is a flowchart illustrating a traffic light recognition method of the traffic light recognition device according to the second embodiment. 図５は、第３実施形態による信号機認識装置の信号機認識方法を説明するフローチャートである。FIG. 5 is a flowchart illustrating a traffic light recognition method of the traffic light recognition device according to the third embodiment. 図６は、第４実施形態による信号機認識装置の信号機認識方法を説明するフローチャートである。FIG. 6 is a flowchart illustrating a traffic light recognition method of the traffic light recognition device according to the fourth embodiment.

以下、図面等を参照しながら、本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings and the like.

（第１実施形態）
図１は、第１実施形態による信号機認識装置１００の構成を示すブロック図である。 (First Embodiment)
FIG. 1 is a block diagram showing a configuration of a traffic light recognition device 100 according to the first embodiment.

図１に示すように、第１実施形態に係る信号機認識装置１００は、第１撮像部１０、第１信号機特定部１１、第２撮像部２０、第２信号機特定部２１、地図情報取得部３０、自己位置取得部４０、同一信号機判定部５０、現示検出部６０、コントローラ７０を備える。信号機認識装置１００は、例えば自動運転機能を有する車両（図示しない）に搭載され、車両前方の信号機の点灯色等の点灯状態（現示）を検出する。信号機認識装置１００により検出された現示は、自動運転制御等に用いられる。 As shown in FIG. 1, the traffic light recognition device 100 according to the first embodiment includes a first image pickup unit 10, a first traffic light identification unit 11, a second image pickup unit 20, a second traffic light identification unit 21, and a map information acquisition unit 30. The self-position acquisition unit 40, the same traffic light determination unit 50, the display detection unit 60, and the controller 70 are provided. The traffic light recognition device 100 is mounted on, for example, a vehicle having an automatic driving function (not shown), and detects a lighting state (presentation) such as a lighting color of a traffic light in front of the vehicle. The indication detected by the traffic light recognition device 100 is used for automatic operation control and the like.

第１撮像部１０は、例えば、ＣＣＤ、ＣＭＯＳ等の固体撮像素子を備えたデジタルカメラであり、自車両（車両）に搭載される。第１撮像部１０は、自車両の走行路の前方を撮像して、前方周辺領域のデジタル画像（第１画像）を取得する。第１撮像部１０により取得されたデジタル画像（第１画像）は、第１信号機特定部１１に出力される。第１撮像部１０の設置位置に関する情報（とくに後述する第２撮像部２０の設置位置との車両の前後、車幅、高さ方向における距離）は、第１信号機特定部１１、同一信号機判定部５０、現示検出部６０及びコントローラ７０に記憶されている。第１撮像部１０の設置位置に関する情報は、後述する同一信号機判定部５０による同一信号の判定等に用いられる。 The first image pickup unit 10 is, for example, a digital camera provided with a solid-state image pickup element such as a CCD or CMOS, and is mounted on the own vehicle (vehicle). The first image pickup unit 10 takes an image of the front of the traveling path of the own vehicle and acquires a digital image (first image) of the front peripheral region. The digital image (first image) acquired by the first imaging unit 10 is output to the first traffic light specifying unit 11. Information on the installation position of the first imaging unit 10 (particularly, the distance between the installation position of the second imaging unit 20 and the vehicle in the front-rear direction, the vehicle width, and the height direction) can be obtained from the first traffic light identification unit 11 and the same traffic light determination unit. 50, stored in the display detection unit 60 and the controller 70. The information regarding the installation position of the first imaging unit 10 is used for determination of the same signal by the same traffic light determination unit 50, which will be described later.

第１撮像部１０は、画角Ａ１を有し、後述する第２撮像部２０に比して、自車両からの前方距離が相対的に近い範囲であって、広角な範囲のデジタル画像（第１画像）を取得する。なお、第１撮像部１０の撮像範囲についての詳細は後述する。 The first imaging unit 10 has an angle of view A1, and has a range in which the front distance from the own vehicle is relatively short as compared with the second imaging unit 20 described later, and is a wide-angle range of digital images (first 1 image) is acquired. The details of the imaging range of the first imaging unit 10 will be described later.

第２撮像部２０は、例えば、ＣＣＤ、ＣＭＯＳ等の固体撮像素子を備えたデジタルカメラであり、第１撮像部１０と同様に車両（自車両）に搭載される。第２撮像部２０は、自車両の走行路の前方を撮像して、前方周辺領域のデジタル画像（第２画像）を取得する。第２撮像部２０により取得されたデジタル画像（第２画像）は、第２信号機特定部２１に出力される。第２撮像部２０の設置位置に関する情報（とくに第１撮像部１０の設置位置との車両の前後、車幅、高さ方向における距離）は、第２信号機特定部２１、同一信号機判定部５０、現示検出部６０及びコントローラ７０に記憶されている。第２撮像部２０の設置位置に関する情報は、後述する同一信号機判定部５０による同一信号の判定等に用いられる。 The second image pickup unit 20 is, for example, a digital camera provided with a solid-state image pickup element such as a CCD or CMOS, and is mounted on a vehicle (own vehicle) in the same manner as the first image pickup unit 10. The second image pickup unit 20 takes an image of the front of the traveling path of the own vehicle and acquires a digital image (second image) of the front peripheral region. The digital image (second image) acquired by the second imaging unit 20 is output to the second traffic light specifying unit 21. Information on the installation position of the second image pickup unit 20 (particularly, the distance from the installation position of the first image pickup unit 10 in the front-rear direction, the vehicle width, and the height direction) can be obtained from the second traffic light identification unit 21, the same traffic light determination unit 50, and the same signal determination unit 50. It is stored in the display detection unit 60 and the controller 70. The information regarding the installation position of the second imaging unit 20 is used for determination of the same signal by the same traffic light determination unit 50, which will be described later.

第２撮像部２０は、第１撮像部１０の画角Ａ１よりも狭い画角Ａ２を有し、第１撮像部１０撮像可能距離よりも遠方を撮像可能である。なお、第２撮像部２０の撮像範囲についての詳細は後述する。 The second imaging unit 20 has an angle of view A2 narrower than the angle of view A1 of the first imaging unit 10, and can image a distance farther than the imageable distance of the first imaging unit 10. The details of the imaging range of the second imaging unit 20 will be described later.

地図情報取得部３０は、地図データベース（図示しない）より、自車両が走行する走行路周辺の地図情報を取得する。この地図情報には、走行路付近に存在する信号機の位置情報等が含まれる。地図情報取得部３０は、取得した地図情報をそれぞれ自己位置取得部４０、第１信号機特定部１１、第２信号機特定部２１に出力する。 The map information acquisition unit 30 acquires map information around the travel path on which the own vehicle travels from a map database (not shown). This map information includes position information of traffic lights existing in the vicinity of the road. The map information acquisition unit 30 outputs the acquired map information to the self-position acquisition unit 40, the first traffic light identification unit 11, and the second traffic light identification unit 21, respectively.

自己位置取得部４０は、センサ４１及び位置検出部４２を含む。センサ４１は、自車両の周辺情報を検出する検出機器であり、例えば車載されたカメラやレーダー等である。センサ４１により検出される周辺情報には、例えば自車両周辺の路面の白線や停止線、文字、道路周辺の標識等が含まれる。位置検出部４２は、センサ４１で取得された自車両の周辺情報と、地図情報取得部３０から入力された地図情報とに基づき、自車両の地図上の現在位置及び自車両の姿勢（ヨー、ピッチ、ロール）を自車両の位置情報として検出する。即ち、位置検出部４２は、センサ４１による周辺情報と、地図情報取得部３０から入力された地図情報とを照合することで、自車両の位置情報を検出する。自車両の位置情報は、第１信号機特定部１１及び第２信号機特定部２１に出力される。 The self-position acquisition unit 40 includes a sensor 41 and a position detection unit 42. The sensor 41 is a detection device that detects peripheral information of the own vehicle, and is, for example, an in-vehicle camera, radar, or the like. The peripheral information detected by the sensor 41 includes, for example, white lines and stop lines on the road surface around the own vehicle, characters, signs around the road, and the like. The position detection unit 42 has the current position on the map of the own vehicle and the posture of the own vehicle (yaw, based on the peripheral information of the own vehicle acquired by the sensor 41 and the map information input from the map information acquisition unit 30. Pitch, roll) is detected as the position information of the own vehicle. That is, the position detection unit 42 detects the position information of the own vehicle by collating the peripheral information obtained by the sensor 41 with the map information input from the map information acquisition unit 30. The position information of the own vehicle is output to the first traffic light identification unit 11 and the second traffic light identification unit 21.

第１信号機特定部１１及び第２信号機特定部２１は、それぞれ第１撮像部１０及び第２撮像部２０から入力された第１画像及び第２画像に信号機検出領域（ＲＯＩ）を設定し、信号機検出領域の範囲内にある信号機を特定する。信号機検出領域は、地図情報取得部３０から入力された信号機の位置情報を含む地図情報と、自己位置取得部４０から入力された自車両の位置情報（自車両の地図上の現在位置及び姿勢）とに基づき設定される。即ち、第１信号機特定部１１及び第２信号機特定部２１は、地図情報と、自車両の位置情報とから、それぞれ第１画像及び第２画像の中で信号機が存在し得る領域を算出し、算出された領域を信号機検出領域として設定する。また、第１信号機特定部１１及び第２信号機特定部２１は、設定した信号機検出領域の中から信号機を特定する。信号機特定方法としては、例えば、信号機の信号灯が商用電源の交流周波数に同期して点滅することを検出する方法や、機械学習によって色情報や丸形形状等の形の特徴から画像での物体認識をすることで信号機を特定する方法を用いることができる。 The first traffic light identification unit 11 and the second traffic light identification unit 21 set a traffic light detection region (ROI) in the first image and the second image input from the first image pickup unit 10 and the second image pickup unit 20, respectively, and set the traffic light. Identify traffic lights within the detection area. The traffic light detection area includes map information including the position information of the traffic light input from the map information acquisition unit 30 and the position information of the own vehicle input from the self-position acquisition unit 40 (current position and attitude of the own vehicle on the map). It is set based on. That is, the first traffic light identification unit 11 and the second traffic light identification unit 21 calculate the area where the traffic light can exist in the first image and the second image, respectively, from the map information and the position information of the own vehicle. The calculated area is set as the traffic light detection area. Further, the first traffic light identification unit 11 and the second traffic light identification unit 21 specify a traffic light from the set traffic light detection area. As a method of identifying a traffic light, for example, a method of detecting that a signal light of a traffic light blinks in synchronization with an AC frequency of a commercial power source, or an object recognition by an image from a shape feature such as color information or a round shape by machine learning. A method of identifying a traffic light can be used.

第１信号機特定部１１は、第１撮像部１０から取得した第１画像、第１画像から特定した信号機の画像上の座標を同一信号機判定部５０に出力する。同様に、第２信号機特定部２１は、第２撮像部２０から取得した第２画像、第２画像から特定した信号機の画像上の座標を同一信号機判定部５０に出力する。 The first traffic light identification unit 11 outputs the coordinates on the image of the first image acquired from the first image pickup unit 10 and the traffic light identified from the first image to the same traffic light determination unit 50. Similarly, the second traffic light identification unit 21 outputs the coordinates on the image of the second image acquired from the second image pickup unit 20 and the traffic light identified from the second image to the same traffic light determination unit 50.

同一信号機判定部５０は、第１画像及び第２画像中に特定された信号機のうち、同一の信号機を特定する。上記の通り、同一信号機判定部５０には、第１信号機特定部１１により特定された第１画像中の信号機の座標及び第２信号機特定部２１により特定された第２画像中の信号機の座標が入力される。同一信号機判定部５０は、第１画像及び第２画像中の信号機の座標と、予め記憶した第１撮像部１０及び第２撮像部２０の設置位置に関する情報とから、第１画像及び第２画像中に特定された信号機のうち、同一の信号機を特定する。同一信号機判定部５０により特定された同一の信号機の情報（同一信号機情報）は、現示検出部６０に出力される。なお、同一信号機の特定方法の詳細は後述する。 The same traffic light determination unit 50 identifies the same traffic light among the traffic lights specified in the first image and the second image. As described above, the same traffic light determination unit 50 has the coordinates of the traffic light in the first image specified by the first traffic light identification unit 11 and the coordinates of the traffic light in the second image specified by the second traffic light identification unit 21. Entered. The same traffic light determination unit 50 uses the coordinates of the traffic light in the first image and the second image and the information regarding the installation positions of the first image pickup unit 10 and the second image pickup unit 20 stored in advance, so that the first image and the second image Among the traffic lights specified in, the same traffic light is specified. The information of the same traffic light (same traffic light information) specified by the same traffic light determination unit 50 is output to the display detection unit 60. The details of the method for identifying the same traffic signal will be described later.

現示検出部６０は、自車両前方直近の信号機（以下、直近の信号機と略称する）を検出し、直近の信号機の点灯色等の点灯状態（現示）を検出する。なお、直近の信号機の特定方法の詳細は後述する。 The display detection unit 60 detects the traffic light closest to the front of the own vehicle (hereinafter, abbreviated as the latest traffic light), and detects the lighting state (display) such as the lighting color of the latest traffic light. The details of the method of identifying the latest traffic light will be described later.

コントローラ７０は、マイクロコンピュータ、マイクロプロセッサ、ＣＰＵを含む汎用の電子回路と周辺機器から構成され、特定のプログラムを実行することにより信号機認識装置１００を制御するための処理を実行する。コントローラ７０は、例えば信号機特定部１１，２１、自己位置取得部４０、同一信号機判定部５０、現示検出部６０における処理を実現するとともに、後述する信号機認識制御等、信号機認識装置１００全体の制御を行う。なお、コントローラ７０は、車両に関する他の制御（例えば、自動運転制御等）に用いるＥＣＵと兼用してもよい。 The controller 70 is composed of a general-purpose electronic circuit including a microcomputer, a microprocessor, and a CPU, and peripheral devices, and executes a process for controlling the signal recognition device 100 by executing a specific program. The controller 70 realizes processing by, for example, the traffic signal identification units 11 and 21, the self-position acquisition unit 40, the same traffic light determination unit 50, and the display detection unit 60, and controls the entire traffic light recognition device 100 such as the traffic light recognition control described later. I do. The controller 70 may also be used as an ECU used for other controls related to the vehicle (for example, automatic driving control and the like).

図２は、撮像部１０，２０の撮像範囲及び直近の信号機の検出方法を説明する図である。 FIG. 2 is a diagram illustrating an imaging range of the imaging units 10 and 20 and a method of detecting the nearest traffic light.

図２は、直近の信号機及び直近の信号機の次に自車両から近い距離にある信号機（次交差点信号機）の信号機間距離ｌが短い場合における自車両と第１信号機までの距離と、自車両と信号機との傾斜角（信号機へのピッチ角）の関係を示している。図２の縦軸は信号機へのピッチ角、横軸は自車両から前方直近の信号機までの距離を表している。なお、直近の信号機と次交差点信号機とは、信号機間距離がｌだけ離れているため、図２において自車両と直近の信号機との距離がＬである場合、自車両と次交差点信号機との距離はＬ＋ｌとなる。 FIG. 2 shows the distance between the own vehicle and the first traffic light when the distance l between the latest traffic light and the traffic light (next intersection traffic light) that is the closest to the own vehicle next to the latest traffic light is short, and the own vehicle. The relationship between the tilt angle with the traffic light (pitch angle to the traffic light) is shown. The vertical axis of FIG. 2 represents the pitch angle to the traffic light, and the horizontal axis represents the distance from the own vehicle to the nearest traffic light ahead. Since the distance between the nearest traffic light and the next intersection traffic light is l by l, when the distance between the own vehicle and the nearest traffic light is L in FIG. 2, the distance between the own vehicle and the next intersection traffic light. Is L + l.

前述のとおり、第１撮像部１０は、第２撮像部２０に比して広角な画角Ａ１を有し、第２撮像部２０に比して、自車両からの前方距離が相対的に近い範囲（Ｌ１〜Ｌ３）を撮像した第１画像を取得する。第１画像は、第１信号機特定部１１により、自車両からの前方距離（所定距離）Ｌ１からＬ３の範囲における、自車両と信号機との傾斜角（信号機へのピッチ角）ｄ１までの信号機を特定できる画像である。即ち、第１信号機特定部１１は、図２の点Ａ，Ｂ，Ｃ，Ｄで囲まれた四角形Ｒ１に示す範囲の信号機を特定することができる。なお、画角Ａ１は、好ましくは、一般的な高さＨを有する直近の信号機に対し、自車両が停止線を過ぎて交差点に進入しても、直近の信号機が所定距離Ｌ１〜Ｌ３、信号機へのピッチ角ｄ１の範囲（Ｒ１）内に入るような画角である。また、所定距離Ｌ３は、第１撮像部１０が、第１信号機特定部１１によって直近の信号機を特定できる解像度あるいは画像上の信号機の大きさ等を有する画像を得られる位置のうち、直近の信号機から最も遠い距離に相当する。 As described above, the first imaging unit 10 has a wider angle of view A1 than the second imaging unit 20, and the front distance from the own vehicle is relatively shorter than that of the second imaging unit 20. The first image which imaged the range (L1 to L3) is acquired. The first image shows the traffic light up to the inclination angle (pitch angle to the traffic light) d1 between the own vehicle and the traffic light in the range of the front distance (predetermined distance) L1 to L3 from the own vehicle by the first traffic light identification unit 11. It is an image that can be identified. That is, the first traffic light identification unit 11 can specify the traffic light in the range shown by the quadrangle R1 surrounded by the points A, B, C, and D in FIG. The angle of view A1 is preferably such that the nearest traffic light has a predetermined distance L1 to L3, even if the own vehicle passes the stop line and enters the intersection with respect to the latest traffic light having a general height H. The angle of view is such that it falls within the range (R1) of the pitch angle d1 to. Further, the predetermined distance L3 is the most recent traffic light among the positions where the first imaging unit 10 can obtain an image having a resolution capable of identifying the latest traffic light by the first traffic light specifying unit 11 or the size of the traffic light on the image. Corresponds to the farthest distance from.

また、次交差点信号機は、直近の信号機よりも自車両から距離ｌだけ離れている。従って、第１撮像部１０は、自車両から直近の信号機までの距離がＬ１よりも距離ｌだけ近いＬ１’から、自車両から直近の信号機までの距離がＬ３よりも距離ｌだけ近いＬ３’までの範囲において次交差点信号機を撮像することが可能である。即ち、第１信号機特定部１１は、図２の点Ａ’，Ｂ’，Ｃ’，Ｄ’で囲まれた四角形Ｒ１’に示す範囲の次交差点信号機を特定することができる。 Further, the next intersection traffic light is separated from the own vehicle by a distance l from the nearest traffic light. Therefore, the first imaging unit 10 ranges from L1', in which the distance from the own vehicle to the nearest traffic light is closer by l than L1, to L3', in which the distance from the own vehicle to the nearest traffic light is closer by l than L3. It is possible to image the next intersection traffic light in the range of. That is, the first traffic light identification unit 11 can specify the next intersection traffic light in the range shown by the quadrangle R1'enclosed by the points A', B', C', and D'in FIG.

第２撮像部２０は、第１撮像部１０の画角Ａ１よりも狭い画角Ａ２を有し、第１撮像部１０撮像可能距離よりも遠方までの範囲（Ｌ１〜Ｌ４）を撮像した第２画像を取得する。第２画像は、第２信号機特定部２１により、自車両からの前方距離（所定距離）Ｌ１からＬ４の範囲における、自車両と信号機との傾斜角（信号機へのピッチ角）ｄ２までの信号機を特定できる画像である。即ち、第２信号機特定部２１は、図２の点Ａ，Ｆ，Ｇ，Ｅで囲まれた四角形Ｒ２に示す範囲の信号機を特定することができる。図２に示す通り、第２信号機特定部２１は、第１信号機特定部１１に比べて遠方の信号機まで特定可能であるが、信号機を特定可能なピッチ角の範囲は第１信号機特定部１１に比べて狭い。なお、所定距離Ｌ４は、第２撮像部２０が、第２信号機特定部２１によって直近の信号機を特定できる解像度あるいは画像上の信号機の大きさ等を有する画像を得られる位置のうち、直近の信号機から最も遠い距離に相当する。 The second imaging unit 20 has an angle of view A2 narrower than the angle of view A1 of the first imaging unit 10, and has imaged a range (L1 to L4) farther than the imageable distance of the first imaging unit 10. Get an image. The second image shows the traffic light up to the inclination angle (pitch angle to the traffic light) d2 between the own vehicle and the traffic light in the range of the front distance (predetermined distance) L1 to L4 from the own vehicle by the second traffic light identification unit 21. It is an image that can be identified. That is, the second traffic light identification unit 21 can specify the traffic light in the range shown by the quadrangle R2 surrounded by the points A, F, G, and E in FIG. As shown in FIG. 2, the second traffic light identification unit 21 can specify a traffic light farther than the first traffic light identification unit 11, but the range of the pitch angle at which the traffic light can be specified is the first traffic light identification unit 11. It is narrower than that. The predetermined distance L4 is the most recent traffic light among the positions where the second imaging unit 20 can obtain an image having a resolution capable of identifying the latest traffic light by the second traffic light specifying unit 21 or the size of the traffic light on the image. Corresponds to the farthest distance from.

また、次交差点信号機は、直近の信号機よりも自車両から距離ｌだけ離れている。従って、第２撮像部２０は、自車両から直近の信号機までの距離がＬ１よりも距離ｌだけ近いＬ１’から、自車両から直近の信号機までの距離がＬ４よりも距離ｌだけ近いＬ４’までの範囲において次交差点信号機を撮像することが可能である。即ち、第２信号機特定部２１は、図２の点Ａ’，Ｆ’，Ｇ’，Ｅ’で囲まれた四角形Ｒ２’に示す範囲の次交差点信号機を特定することができる。 Further, the next intersection traffic light is separated from the own vehicle by a distance l from the nearest traffic light. Therefore, the second imaging unit 20 ranges from L1', in which the distance from the own vehicle to the nearest traffic light is closer by l than L1, to L4', in which the distance from the own vehicle to the nearest traffic light is closer by l than L4. It is possible to image the next intersection traffic light in the range of. That is, the second traffic light identification unit 21 can specify the next intersection traffic light in the range shown by the quadrangle R2'enclosed by the points A', F', G', and E'in FIG.

自車両から直近の信号機までの距離が、図２のＬ２以上Ｌ３’以下の範囲に自車両がある場合、直近の信号機と次交差点信号機とは、第１撮像部１０及び第２撮像部２０の両方によって撮像される。即ち、第１画像中及び第２画像中のいずれにおいても直近の信号機と、次交差点信号機とが存在する。このとき、直近の信号機と、次交差点信号機との信号機間距離ｌが短いと、直近の信号機及び次交差点信号機のどちらも信号機検出領域に入ってしまい、第１信号機特定部１１及び第２信号機特定部２１によって２つの信号機（直近の信号機及び次交差点信号機）が特定される。 When the distance from the own vehicle to the nearest traffic light is within the range of L2 or more and L3'or less in FIG. 2, the nearest traffic light and the next intersection traffic light are the first imaging unit 10 and the second imaging unit 20. Imaged by both. That is, the nearest traffic light and the next intersection traffic light exist in both the first image and the second image. At this time, if the distance l between the latest traffic light and the next traffic light is short, both the latest traffic light and the next traffic light will enter the traffic light detection area, and the first traffic light identification unit 11 and the second traffic light will be specified. Two traffic lights (the latest traffic light and the next intersection traffic light) are identified by the unit 21.

次に、直近の信号機までの距離がＬ２になる位置まで自車両が直近の信号機に近づくと、直近の信号機へのピッチ角はｄ２よりも大きくなり、直近の信号機は第２撮像部２０によって撮像されない。一方、Ｌ２において、次交差点信号機へのピッチ角はｄ２よりも小さいため、次交差点信号機は第２撮像部２０により撮像される。また、Ｌ２において、直近の信号機及び次交差点信号機へのピッチ角はいずれもｄ１よりも小さいため、直近の信号機及び次交差点信号機は、いずれも第１撮像部１０によって撮像される。即ち、自車両が直近の信号機からの距離Ｌ２まで直近の信号機に近づくと、第１画像中には２つの信号機（直近の信号機及び次交差点信号機）が存在するが、第２画像中からは直近の信号機が消失し、第２画像中には次交差点信号機のみが存在する。従って、自車両が、直近の信号機までの距離Ｌ２に位置する場合、直近の信号機と次交差点信号機との信号機間距離ｌが短いと、第１信号機特定部１１によって、２つの信号機（直近の信号機及び次交差点信号機）が特定され、第２信号機特定部２１によって、次交差点信号機のみが特定される。 Next, when the own vehicle approaches the nearest traffic light to a position where the distance to the latest traffic light becomes L2, the pitch angle to the latest traffic light becomes larger than d2, and the latest traffic light is imaged by the second imaging unit 20. Not done. On the other hand, in L2, since the pitch angle to the next intersection signal is smaller than d2, the next intersection signal is imaged by the second imaging unit 20. Further, in L2, since the pitch angles to the nearest traffic light and the next intersection traffic light are both smaller than d1, the latest traffic light and the next intersection traffic light are both imaged by the first imaging unit 10. That is, when the own vehicle approaches the nearest traffic light up to the distance L2 from the latest traffic light, there are two traffic lights (the latest traffic light and the next intersection traffic light) in the first image, but the latest from the second image. Traffic light disappears, and only the next intersection traffic light exists in the second image. Therefore, when the own vehicle is located at the distance L2 to the nearest traffic light, if the distance l between the traffic lights of the latest traffic light and the next intersection traffic light is short, the first traffic light identification unit 11 causes two traffic lights (the latest traffic light). And the next intersection traffic light) are specified, and only the next intersection traffic light is specified by the second traffic light identification unit 21.

図３は、第１実施形態における信号機認識装置１００による信号機認識方法（制御）を説明するフローチャートである。信号機認識装置において、撮像された自車両前方の画像内の複数の信号機が存在し、それが市街地のように信号機間距離が短いと、直近の信号機よりも遠方の信号機が同時に信号機検出領域（ＲＯＩ）に入ってしまう場合がある。このような場合、遠方の信号機の情報を、直近の信号機の情報と誤認識してしまう可能性があり、車両の誤発進、誤停止の原因となる。これに対し、本実施形態では、以下で説明する信号機認識方法（制御）によって、直近の信号機とその以外の信号機との信号機間距離が短く、複数の信号機が信号機検出領域に入ってしまうような場合でも、自車両の前方直近の信号機の現示を検出することができる。従って、信号機の誤認識を防止することができる。なお、以下の制御は一定時間ごとに、いずれもコントローラ７０（信号機特定部１１，２１、自己位置取得部４０、同一信号機判定部５０、現示検出部６０を含む）により実行される。 FIG. 3 is a flowchart illustrating a traffic light recognition method (control) by the traffic light recognition device 100 according to the first embodiment. In the traffic light recognition device, if there are multiple traffic lights in the captured image in front of the vehicle and the distance between the traffic lights is short as in an urban area, the traffic lights farther than the latest traffic light will simultaneously be in the traffic light detection area (ROI). ) May be entered. In such a case, the information of the distant traffic light may be erroneously recognized as the information of the latest traffic light, which may cause the vehicle to start or stop erroneously. On the other hand, in the present embodiment, according to the traffic light recognition method (control) described below, the distance between the latest traffic light and other traffic lights is short, and a plurality of traffic lights enter the traffic light detection area. Even in this case, it is possible to detect the indication of the traffic light closest to the front of the own vehicle. Therefore, it is possible to prevent erroneous recognition of the traffic light. The following controls are all executed by the controller 70 (including the traffic light identification units 11 and 21, the self-position acquisition unit 40, the same traffic light determination unit 50, and the display detection unit 60) at regular time intervals.

ステップＳ１０１において、第１信号機特定部１１及び第２信号機特定部２１は、第１撮像部１０で取得した第１画像及び第２撮像部２０で取得した第２画像の中にそれぞれ信号機検出領域（ＲＯＩ）を設定し、設定した信号機検出領域の中から、信号機を特定する。前述のとおり、信号機検出領域は、地図情報と、自車両の位置情報とから、それぞれ第１画像及び第２画像の中で信号機が存在し得る領域を算出することにより設定される。 In step S101, the first traffic light identification unit 11 and the second traffic light identification unit 21 are included in the first image acquired by the first imaging unit 10 and the second image acquired by the second imaging unit 20, respectively. ROI) is set, and the traffic light is specified from the set traffic light detection area. As described above, the traffic light detection area is set by calculating the area where the traffic light can exist in the first image and the second image, respectively, from the map information and the position information of the own vehicle.

ステップＳ１０２において、コントローラ７０は、第２信号機特定部２１により特定された信号機が複数あるか否かを判定する。第２信号機特定部２１により特定された信号機がない場合または第２信号機特定部２１により特定された信号機が１つのみである場合、直近の信号機よりも遠方の信号機が同時に信号機検出領域に入ってしまう状況には該当しない。従ってこの場合、コントローラ７０は、信号機認識制御を終了する。一方、ステップＳ１０２において、第２信号機特定部２１により特定された信号機が複数ある場合、コントローラ７０は、ステップＳ１０３の処理を実行する。 In step S102, the controller 70 determines whether or not there are a plurality of traffic lights specified by the second traffic light specifying unit 21. If there is no traffic light specified by the second traffic light identification unit 21, or if there is only one traffic light specified by the second traffic light identification unit 21, a traffic light farther than the nearest traffic light enters the traffic light detection area at the same time. It does not correspond to the situation where it ends up. Therefore, in this case, the controller 70 ends the traffic light recognition control. On the other hand, in step S102, when there are a plurality of traffic lights specified by the second traffic light specifying unit 21, the controller 70 executes the process of step S103.

ステップＳ１０３において、コントローラ７０は、第１信号機特定部１１により特定された信号機が複数あるか否かを判定する。第１信号機特定部１１により特定された信号機がない場合または第１信号機特定部１１により特定された信号機が１つのみである場合、直近の信号機よりも遠方の信号機が同時に第１画像の信号機検出領域に入ってしまう状況には該当しない。従ってこの場合、コントローラ７０は、信号機認識制御を終了する。一方、ステップＳ１０３において、第１信号機特定部１１により特定された信号機が複数ある場合、直近の信号機よりも遠方の信号機が同時に第１画像の信号機検出領域に入ってしまう状況、即ち自車両が図２おけるＬ２〜Ｌ３’の範囲に位置する場合に該当する。この場合、コントローラ７０は、ステップＳ１０４の処理を実行する。 In step S103, the controller 70 determines whether or not there are a plurality of traffic lights specified by the first traffic light specifying unit 11. If there is no traffic light specified by the first traffic light identification unit 11, or if there is only one traffic light specified by the first traffic light identification unit 11, a traffic light farther than the latest traffic light simultaneously detects the traffic light in the first image. It does not correspond to the situation of entering the area. Therefore, in this case, the controller 70 ends the traffic light recognition control. On the other hand, in step S103, when there are a plurality of traffic lights specified by the first traffic light identification unit 11, a traffic light farther than the nearest traffic light simultaneously enters the traffic light detection area of the first image, that is, the own vehicle is shown in the figure. It corresponds to the case where it is located in the range of L2 to L3'in 2. In this case, the controller 70 executes the process of step S104.

ステップＳ１０４において、同一信号機判定部５０（コントローラ７０）は、第１信号機特定部１１により特定された複数の信号機及び第２信号機特定部２１により特定された複数の信号機のうち、同一の信号機を特定する。同一信号機の特定は、例えば以下の式（１）〜（３）を用いて行うことができる。式（１）において、ｘ１image、ｙ１imageは第１画像中での信号機の座標、ｋ１x、ｋ１yは第１撮像部１０の横方向と縦方向の有効画素サイズ、ｃ１x、ｃ１yは第１画像の画像中心、ｆ１は第１撮像部１０の焦点距離、Ｘ１、Ｙ１、Ｚ１は第１撮像部１０から信号機までの実空間での左右、上下、前後方向の距離である。また、式（２）において、ｘ２image、ｙ２imageは第２画像中での信号機の座標、ｋ２x、ｋ２yは第２撮像部２０の横方向と縦方向の有効画素サイズ、ｃ２x、ｃ２yは第２画像の画像中心、ｆ２は第２撮像部２０の焦点距離、Ｘ２、Ｙ２、Ｚ２は第２撮像部２０から信号機までの実空間での左右、上下、前後方向の距離である。式（３）におけるＬは、第１撮像部１０と第２撮像部２０との実空間での距離である。なお、本実施形態においては第１撮像部１０と第２撮像部２０の設置位置はＸ方向（車幅方向）においてのみ異なり、Ｙ（前後），Ｚ（高さ）方向は同一であるが、第１撮像部１０と第２撮像部２０の設置位置はこれに限られない。例えばＺ方向において異なる位置に設定してもよい。

Figure 2021086317
Figure 2021086317
Figure 2021086317
 In step S104, the same traffic light determination unit 50 (controller 70) identifies the same traffic light among the plurality of traffic lights specified by the first traffic light identification unit 11 and the plurality of traffic lights specified by the second traffic light identification unit 21. To do. The same traffic light can be specified by using, for example, the following equations (1) to (3). In equation (1), x1 image and y1 image are the coordinates of the signal in the first image, k1 x and k1 y are the effective pixel sizes in the horizontal and vertical directions of the first imaging unit 10, and c1 x and c1 y are. The image center of the first image, f1 is the focal length of the first imaging unit 10, and X1, Y1, and Z1 are the distances from the first imaging unit 10 to the signal in the left-right, up-down, and front-back directions in the real space. Further, in the equation (2), x2 image and y2 image are the coordinates of the signal in the second image, k2 x and k2 y are the effective pixel sizes in the horizontal and vertical directions of the second imaging unit 20, c2 x and c2. y is the image center of the second image, f2 is the focal length of the second imaging unit 20, and X2, Y2, and Z2 are the distances from the second imaging unit 20 to the signal in the left-right, up-down, and front-back directions in the real space. L in the formula (3) is the distance between the first imaging unit 10 and the second imaging unit 20 in the real space. In the present embodiment, the installation positions of the first imaging unit 10 and the second imaging unit 20 are different only in the X direction (vehicle width direction), and the Y (front-rear) and Z (height) directions are the same. The installation positions of the first imaging unit 10 and the second imaging unit 20 are not limited to this. For example, they may be set at different positions in the Z direction.
Figure 2021086317
Figure 2021086317
Figure 2021086317

第１撮像部１０と第２撮像部２０とが信号機に対して正面を向いているとき、第１信号機特定部１１により特定された信号機と、第２信号機特定部２１により特定された信号機が同一である場合、式（３）が成立する。即ち、同一信号機判定部５０は、式（１）〜（３）に基づき、同一信号機を特定することができる。 When the first imaging unit 10 and the second imaging unit 20 are facing the front with respect to the traffic light, the traffic light specified by the first traffic light specifying unit 11 and the traffic light specified by the second traffic light specifying unit 21 are the same. If, the equation (3) holds. That is, the same traffic light determination unit 50 can identify the same traffic light based on the equations (1) to (3).

ステップＳ１０４において、第１信号機特定部１１により特定された信号機と第２信号機特定部２１により特定された信号機の対応関係（同一信号機）を特定すると、コントローラ７０は、ステップＳ１０５の処理を実行する。 In step S104, when the correspondence relationship (same traffic light) between the traffic light specified by the first traffic light specifying unit 11 and the traffic light specified by the second traffic light specifying unit 21 is specified, the controller 70 executes the process of step S105.

ステップＳ１０５において現示検出部６０（コントローラ７０）は、ステップＳ１０４において対応付け（特定）された同一信号機のうち、第２画像中から消失した信号機があるか否かを判定する。第２画像中から消失した信号機がない場合、自車両は、直近の信号機との距離がＬ２よりも離れたところに位置している。この場合、コントローラ７０は、第２画像中から１つの信号機が消失するまで、即ち自車両が、直近の信号機との距離がＬ２になる位置に到達するまでステップＳ１０５の処理を繰り返す。一方、第２画像中から消失した信号機がある場合、即ち、直近の信号機との距離がＬ２になる位置に自車両が到達した場合、コントローラ７０は、ステップＳ１０６の処理を実行する。 In step S105, the display detection unit 60 (controller 70) determines whether or not there is a traffic light that has disappeared from the second image among the same traffic lights associated (specified) in step S104. If there is no traffic light disappeared from the second image, the own vehicle is located at a distance from the nearest traffic light of L2. In this case, the controller 70 repeats the process of step S105 until one traffic light disappears from the second image, that is, until the own vehicle reaches a position where the distance from the nearest traffic light becomes L2. On the other hand, when there is a traffic light disappeared from the second image, that is, when the own vehicle reaches a position where the distance from the nearest traffic light is L2, the controller 70 executes the process of step S106.

ステップＳ１０６において、現示検出部６０（コントローラ７０）は、第２画像中から消失した信号機の現示を検出する。前述のとおり、自車両から直近の信号機までの距離がＬ２になると、直近の信号機へのピッチ角はｄ２よりも大きく、ｄ１よりも小さくなる（図２を参照）。従って、直近の信号機までの距離がＬ２になる位置に自車両が到達すると、直近の信号機は第１画像中には存在するが、第２画像中からは消失する。一方、図２のＬ２において、直近の信号機よりも遠方にある信号機（次交差点信号機）はピッチ角がｄ２よりも小さいため、第２画像中から消失しない。従って、現示検出部６０は、第１画像中に特定された信号機のうち、第２画像中から消失した信号機と同一の信号機の現示を検出することで、直近の信号機の現示を検出することができる。つまり、直近の信号機と次交差点信号機との信号機間距離ｌが短く、複数の信号機が同時に第１画像の信号機検出領域に入ってしまう場合でも、信号機認識装置１００は直近の信号機の現示を検出することができる。第２画像中から消失した信号機の現示を検出すると、コントローラ７０は、信号機認識制御を終了する。 In step S106, the display detection unit 60 (controller 70) detects the display of the traffic light disappeared from the second image. As described above, when the distance from the own vehicle to the nearest traffic light is L2, the pitch angle to the latest traffic light is larger than d2 and smaller than d1 (see FIG. 2). Therefore, when the own vehicle reaches a position where the distance to the nearest traffic light is L2, the latest traffic light exists in the first image but disappears from the second image. On the other hand, in L2 of FIG. 2, the traffic light (next intersection traffic light) farther than the nearest traffic light has a pitch angle smaller than d2, so that it does not disappear from the second image. Therefore, the display detection unit 60 detects the display of the latest signal by detecting the display of the same signal as the signal disappeared from the second image among the signals specified in the first image. can do. That is, even if the distance l between the latest traffic light and the next intersection traffic light is short and a plurality of traffic lights simultaneously enter the traffic light detection area of the first image, the traffic light recognition device 100 detects the display of the latest traffic light. can do. When the display of the traffic light disappeared from the second image is detected, the controller 70 ends the traffic light recognition control.

以上の信号機認識制御により、本実施形態の信号機認識装置１００は、直近の信号機とそれよりも遠方の信号機との信号機間距離ｌが短く、複数の信号機が同時に信号機検出領域に入ってしまう場合でも、直近の信号機を特定でき、直近の信号機の現示を検出することができる。 With the above traffic light recognition control, in the traffic light recognition device 100 of the present embodiment, the distance l between the traffic lights of the nearest traffic light and the traffic light farther than the latest traffic light is short, and even when a plurality of traffic lights enter the traffic light detection area at the same time. , The latest traffic light can be identified, and the indication of the latest traffic light can be detected.

上記した第１実施形態の信号機認識装置１００によれば、以下の効果を得ることができる。 According to the traffic light recognition device 100 of the first embodiment described above, the following effects can be obtained.

信号機認識装置１００においては、第１撮像部１０を用いて撮像された第１画像中の信号機と、第１撮像部１０よりも画角が狭い第２撮像部２０を用いて撮像された第２画像中の信号機とが同一の信号機であるかを判定する。そして、同一と判定された信号機が複数ある場合、複数の信号機のうちの１の信号機が第２画像から消失した際に、第２画像から消失した信号機の点灯状態（現示）を検出する。自車両が直近の信号機に近づくと、直近の信号機へのピッチ角が大きくなり、第２撮像部２０を用いて撮像された第２画像中からは直近の信号機が消失する。一方、直近の信号機よりも遠方にある信号機へのピッチ角は、直近の信号機へのピッチ角よりも小さいため、遠方にある信号機は直近の信号機よりも先には第２画像中から消失しない。従って、第２画像から消失した信号機の点灯状態（現示）を検出することにより、複数の信号機の中から直近の信号機の点灯状態（現示）を検出することができる。これにより、信号機の誤認識の発生を防止することができ、車両の誤発進、誤停止を防止することができる。 In the traffic light recognition device 100, the traffic light in the first image captured by the first imaging unit 10 and the second image captured by the second imaging unit 20 having a narrower angle of view than the first imaging unit 10. It is determined whether the traffic light in the image is the same traffic light. Then, when there are a plurality of traffic lights determined to be the same, when one of the plurality of traffic lights disappears from the second image, the lighting state (presentation) of the traffic light disappeared from the second image is detected. When the own vehicle approaches the nearest traffic light, the pitch angle to the latest traffic light becomes large, and the latest traffic light disappears from the second image captured by the second image pickup unit 20. On the other hand, since the pitch angle to the traffic light farther than the latest traffic light is smaller than the pitch angle to the latest traffic light, the distant traffic light does not disappear from the second image before the latest traffic light. Therefore, by detecting the lighting state (display) of the traffic light disappeared from the second image, the lighting state (display) of the latest traffic light can be detected from among the plurality of traffic lights. As a result, it is possible to prevent the occurrence of erroneous recognition of the traffic light, and it is possible to prevent erroneous start and stop of the vehicle.

なお、本実施形態において、第１撮像部１０及び第２撮像部２０の設置位置に関する情報は、第１信号機特定部１１、第２信号機特定部２１、同一信号機判定部５０、現示検出部６０及びコントローラ７０に記憶されている構成としたが必ずしもこれに限られない。例えば、キャリブレーション用のマークなどを自車両に対して既知の位置に設置して、第１及び第２撮像部１０，２０で撮像された画像上の位置から設置位置を算出してもよい。この場合、算出された設置位置に関する情報は、第１及び第２画像とともに、第１及び第２信号機特定部１１，２１、同一信号機判定部５０、現示検出部６０及びコントローラ７０に出力される。 In the present embodiment, the information regarding the installation positions of the first imaging unit 10 and the second imaging unit 20 includes the first traffic light identification unit 11, the second traffic light identification unit 21, the same traffic light determination unit 50, and the display detection unit 60. The configuration is stored in the controller 70, but the configuration is not necessarily limited to this. For example, a calibration mark or the like may be installed at a position known to the own vehicle, and the installation position may be calculated from the positions on the images captured by the first and second imaging units 10 and 20. In this case, the calculated information on the installation position is output to the first and second traffic light identification units 11 and 21, the same traffic light determination unit 50, the display detection unit 60, and the controller 70 together with the first and second images. ..

（第２実施形態）
図４を参照して、第２実施形態の信号機認識装置１００を説明する。なお、第１実施形態と同様の要素には同一の符号を付し、その説明を省略する。 (Second Embodiment)
The traffic light recognition device 100 of the second embodiment will be described with reference to FIG. The same elements as those in the first embodiment are designated by the same reference numerals, and the description thereof will be omitted.

図４は、第２実施形態における信号機認識装置１００による信号機認識方法（制御）を説明するフローチャートである。第２実施形態においては、複数の信号機のうちの１の信号機が第２画像から消失していない間は、第１撮像部１０と第２撮像部２０との視差に基づき直近の信号機を特定する点が第１実施形態と異なる。なお、第２実施形態においては、第１撮像部１０と第２撮像部２０とは、自車両の異なる位置に搭載されている。 FIG. 4 is a flowchart illustrating a traffic light recognition method (control) by the traffic light recognition device 100 in the second embodiment. In the second embodiment, while one of the plurality of traffic lights has not disappeared from the second image, the nearest traffic light is specified based on the parallax between the first image pickup unit 10 and the second image pickup unit 20. The point is different from the first embodiment. In the second embodiment, the first imaging unit 10 and the second imaging unit 20 are mounted at different positions of the own vehicle.

ステップＳ１０１からＳ１０５までは第１実施形態と同様であるため、説明を省略する。 Since steps S101 to S105 are the same as those in the first embodiment, the description thereof will be omitted.

ステップＳ１０５において、第２画像中から消失した信号機がある場合、現示検出部６０（コントローラ７０）は、ステップＳ１０６において、第２画像中から消失した信号機の現示を検出する。これにより、現示検出部６０（コントローラ７０）は直近の信号機の現示を検出することができる。第２画像中から消失した信号機の現示を検出すると、コントローラ７０は、信号機認識制御を終了する。 If there is a traffic light disappeared from the second image in step S105, the display detection unit 60 (controller 70) detects the display of the traffic light disappeared from the second image in step S106. As a result, the display detection unit 60 (controller 70) can detect the display of the latest traffic light. When the display of the traffic light disappeared from the second image is detected, the controller 70 ends the traffic light recognition control.

一方、ステップ１０５において、第２画像中から消失した信号機がない場合、即ち直近の信号機との距離がＬ２になる位置に自車両が到達していない場合、コントローラ７０は、ステップＳ２０７の処理を実行する。ステップＳ２０７において、現示検出部６０（コントローラ７０）は、第１撮像部１０（第１画像）と第２撮像部２０（第２画像）との視差に基づき自車両から各信号機までの距離を算出する。現示検出部６０には、第１撮像部１０及び第２撮像部２０の設置位置に関する情報が記憶されているため、第１撮像部１０及び第２撮像部２０の設置位置と、第１画像及び第２画像とに基づき視差を求めることができる。なお、視差は既知のどの方法によって求めてもよい。現示検出部６０は、この視差に基づき、自車両からステップＳ１０４において対応付け（特定）された各信号機までの距離を算出する。自車両から各信号機までの距離を算出すると、コントローラ７０は、ステップＳ２０８の処理を実行する。 On the other hand, in step 105, if there is no traffic light disappeared from the second image, that is, if the own vehicle has not reached the position where the distance from the nearest traffic light is L2, the controller 70 executes the process of step S207. To do. In step S207, the display detection unit 60 (controller 70) determines the distance from the own vehicle to each traffic light based on the parallax between the first image pickup unit 10 (first image) and the second image pickup unit 20 (second image). calculate. Since the display detection unit 60 stores information regarding the installation positions of the first image pickup unit 10 and the second image pickup unit 20, the installation positions of the first image pickup unit 10 and the second image pickup unit 20 and the first image And the parallax can be obtained based on the second image. The parallax may be obtained by any known method. Based on this parallax, the display detection unit 60 calculates the distance from the own vehicle to each traffic light associated (specified) in step S104. When the distance from the own vehicle to each traffic light is calculated, the controller 70 executes the process of step S208.

ステップＳ２０８において、現示検出部６０（コントローラ７０）は、第１画像で特定された信号機のうち、ステップＳ２０７で算出した自車両からの距離が最も短い信号機の現示を検出する。これにより、直近の信号機とそれ以外の信号機との信号機間距離が短く、複数の信号機が同時に信号機検出領域に入ってしまう場合に、直近の信号機との距離がＬ２になる位置に自車両が到達していない間にも、直近の信号機の現示を検出することができる。 In step S208, the display detection unit 60 (controller 70) detects the display of the traffic light having the shortest distance from the own vehicle calculated in step S207 among the traffic lights specified in the first image. As a result, when the distance between the nearest traffic light and the other traffic lights is short and multiple traffic lights enter the traffic light detection area at the same time, the own vehicle reaches a position where the distance from the latest traffic light becomes L2. It is possible to detect the latest traffic light indication even while it is not.

上記した第２実施形態の信号機認識装置１００によれば、以下の効果を得ることができる。 According to the traffic light recognition device 100 of the second embodiment described above, the following effects can be obtained.

信号機認識装置１００においては、第１撮像部１０と、第１撮像部１０よりも画角が狭い第２撮像部２０とは、自車両（車両）８０内の異なる位置に搭載される。また、第１撮像部１０によって撮像された第１画像と第２撮像部２０によって撮像された第２画像の中に同一と判定された信号機が複数ある場合、第１撮像部１０と第２撮像部２０との視差に基づき各信号機の自車両（車両）８０からの距離を算出する。そして、同一と判定された複数の信号機のうちの１の信号機が第２画像から消失していない間は、算出された距離が最も短い信号機の点灯状態（現示）を検出する。これにより、直近の信号機とそれ以外の信号機との信号機間距離が短く、複数の信号機が同時に信号機検出領域に入ってしまう場合に、第２画像から直近の信号機が消失する位置（Ｌ２）に自車両が到達していない間にも、直近の信号機の現示を検出することができる。従って、信号機の誤認識の発生をより確実に防止することができ、車両の誤発進、誤停止を防止することができる。 In the traffic light recognition device 100, the first imaging unit 10 and the second imaging unit 20 having a narrower angle of view than the first imaging unit 10 are mounted at different positions in the own vehicle (vehicle) 80. Further, when there are a plurality of traffic lights determined to be the same in the first image captured by the first imaging unit 10 and the second image captured by the second imaging unit 20, the first imaging unit 10 and the second imaging unit 10 and the second image pickup are performed. The distance of each traffic light from the own vehicle (vehicle) 80 is calculated based on the parallax with the unit 20. Then, while one of the plurality of traffic lights determined to be the same has not disappeared from the second image, the lighting state (display) of the traffic light having the shortest calculated distance is detected. As a result, when the distance between the nearest traffic light and the other traffic lights is short and a plurality of traffic lights enter the traffic light detection area at the same time, the position (L2) where the latest traffic light disappears from the second image is self-identified. It is possible to detect the latest traffic light indication even when the vehicle has not arrived. Therefore, it is possible to more reliably prevent the occurrence of erroneous recognition of the traffic light, and it is possible to prevent erroneous start and stop of the vehicle.

（第３実施形態）
図５を参照して、第３実施形態の信号機認識装置１００を説明する。なお、他の実施形態と同様の要素には同一の符号を付し、その説明を省略する。 (Third Embodiment)
The traffic light recognition device 100 of the third embodiment will be described with reference to FIG. The same elements as those of the other embodiments are designated by the same reference numerals, and the description thereof will be omitted.

図５は、第３実施形態における信号機認識装置１００による信号機認識方法（制御）を説明するフローチャートである。第３実施形態においては、複数の信号機のうちの１の信号機が第２画像から消失していない間は、第１画像中の最も高い位置に特定された信号機の現示を検出する点が第１及び第２実施形態と異なる。 FIG. 5 is a flowchart illustrating a traffic light recognition method (control) by the traffic light recognition device 100 according to the third embodiment. In the third embodiment, while one of the plurality of traffic lights has not disappeared from the second image, the point of detecting the indication of the traffic light specified at the highest position in the first image is detected. It is different from the first and second embodiments.

ステップＳ１０１からＳ１０５までは第１及び第２実施形態と同様であるため、説明を省略する。 Since steps S101 to S105 are the same as those of the first and second embodiments, the description thereof will be omitted.

ステップＳ１０５において、第２画像中から消失した信号機がある場合、現示検出部６０（コントローラ７０）は、ステップＳ１０６において、第２画像中から消失した信号機の現示を検出する。これにより、現示検出部６０（コントローラ７０）は直近の信号機の現示を検出することができる。第２画像中から消失した信号機の現示を検出すると、コントローラ７０は、信号機認識制御を終了する。 If there is a traffic light disappeared from the second image in step S105, the display detection unit 60 (controller 70) detects the display of the traffic light disappeared from the second image in step S106. As a result, the display detection unit 60 (controller 70) can detect the display of the latest traffic light. When the display of the traffic light disappeared from the second image is detected, the controller 70 ends the traffic light recognition control.

一方、ステップ１０５において、第２画像中から消失した信号機がない場合、即ち直近の信号機との距離がＬ２になる位置に自車両が到達していない場合、コントローラ７０は、ステップＳ３０７の処理を実行する。ステップＳ３０７において、現示検出部６０（コントローラ７０）は、第１画像中に特定された信号機の中で、画像中の位置が最も高い信号機の現示を検出する。自車両が信号機に近づくほど、信号機へのピッチ角は大きくなり、信号機は画像中の高い位置に特定される。従って、自車両との距離が近い信号機ほど画像中の高い位置に特定されるため、第１画像中の最も高い位置に特定された信号機の現示を検出することで、直近の信号機の現示を検出することができる。即ち、直近の信号機とそれ以外の信号機との信号機間距離が短く、複数の信号機が同時に信号機検出領域に入ってしまう場合に、直近の信号機との距離がＬ２になる位置に自車両が到達していない間にも、直近の信号機の現示を検出することができる。 On the other hand, in step 105, if there is no traffic light disappeared from the second image, that is, if the own vehicle has not reached the position where the distance from the nearest traffic light is L2, the controller 70 executes the process of step S307. To do. In step S307, the display detection unit 60 (controller 70) detects the display of the traffic light having the highest position in the image among the traffic lights specified in the first image. The closer the vehicle is to the traffic light, the larger the pitch angle to the traffic light, and the traffic light is specified at a higher position in the image. Therefore, the closer the traffic light is to the own vehicle, the higher the position in the image is specified. Therefore, by detecting the display of the signal specified at the highest position in the first image, the latest signal is displayed. Can be detected. That is, when the distance between the nearest traffic light and the other traffic lights is short and a plurality of traffic lights enter the traffic light detection area at the same time, the own vehicle reaches a position where the distance from the latest traffic light becomes L2. It is possible to detect the latest traffic light indication even when it is not.

なお、本実施形態においては、ステップＳ３０７において、第１画像中に特定された信号機の中で、画像中の位置が最も高い信号機の現示を検出しているが、第２画像中に特定された信号機の中で、画像中の位置が最も高い信号機の現示を検出してもよい。 In the present embodiment, in step S307, among the traffic lights specified in the first image, the indication of the traffic light having the highest position in the image is detected, but it is specified in the second image. Among the traffic lights, the indication of the traffic light having the highest position in the image may be detected.

上記した第３実施形態の信号機認識装置１００によれば、以下の効果を得ることができる。 According to the traffic light recognition device 100 of the third embodiment described above, the following effects can be obtained.

信号機認識装置１００においては、第１撮像部１０によって第１画像を、第１撮像部１０よりも画角が狭い第２撮像部２０によって第２画像を撮像する。そして第１画像と第２画像の中に同一と判定された信号機が複数ある場合、同一と判定された複数の信号機のうちの１の信号機が第２画像から消失していない間は、第１画像中の最も高い位置にある信号機の点灯状態（現示）を検出する。これにより、直近の信号機とそれ以外の信号機との信号機間距離が短く、複数の信号機が同時に信号機検出領域に入ってしまう場合に、第２画像から直近の信号機が消失する位置（Ｌ２）に自車両が到達していない間にも、直近の信号機の現示を検出することができる。従って、信号機の誤認識の発生をより確実に防止することができ、車両の誤発進、誤停止を防止することができる。 In the traffic light recognition device 100, the first image capturing unit 10 captures the first image, and the second imaging unit 20 having a narrower angle of view than the first imaging unit 10 captures the second image. When there are a plurality of traffic lights determined to be the same in the first image and the second image, the first signal is as long as one of the plurality of traffic lights determined to be the same does not disappear from the second image. Detects the lighting state (display) of the traffic light at the highest position in the image. As a result, when the distance between the nearest traffic light and the other traffic lights is short and a plurality of traffic lights enter the traffic light detection area at the same time, the position (L2) where the latest traffic light disappears from the second image is self-identified. It is possible to detect the latest traffic light indication even when the vehicle has not arrived. Therefore, it is possible to more reliably prevent the occurrence of erroneous recognition of the traffic light, and it is possible to prevent erroneous start and stop of the vehicle.

また、視差を用いずに簡易な方法で直近の信号機の現示を検出するため、複雑な演算が不要であり、装置を簡素化することができる。 Further, since the display of the latest traffic light is detected by a simple method without using parallax, complicated calculation is not required and the device can be simplified.

（第４実施形態）
図６を参照して、第４実施形態の信号機認識装置１００を説明する。なお、他の実施形態と同様の要素には同一の符号を付し、その説明を省略する。 (Fourth Embodiment)
The traffic light recognition device 100 of the fourth embodiment will be described with reference to FIG. The same elements as those of the other embodiments are designated by the same reference numerals, and the description thereof will be omitted.

図６は、第４実施形態における信号機認識装置１００による信号機認識方法（制御）を説明するフローチャートである。第４実施形態においては、第１画像中に信号機が存在しない間は、第２画像中の最も高い位置に特定された信号機の現示を検出する点が他の実施形態と異なる。 FIG. 6 is a flowchart illustrating a traffic light recognition method (control) by the traffic light recognition device 100 according to the fourth embodiment. The fourth embodiment differs from the other embodiments in that the indication of the traffic light specified at the highest position in the second image is detected while the traffic light is not present in the first image.

ステップＳ１０１からＳ１０３までは他の実施形態と同様であるため、説明を省略する。 Since steps S101 to S103 are the same as those of the other embodiments, the description thereof will be omitted.

ステップＳ１０３において、第１信号機特定部１１により複数の信号機が特定されていない（特定された信号機がない、または特定された信号機が１つのみである）場合、コントローラ７０は、ステップＳ４０７の処理を実行する。一方、第１信号機特定部１１により特定された信号機が複数ある場合、コントローラ７０は、ステップＳ１０４の処理を実行する。 In step S103, when a plurality of traffic lights are not specified by the first traffic light specifying unit 11 (there is no specified traffic light, or there is only one specified traffic light), the controller 70 performs the process of step S407. Execute. On the other hand, when there are a plurality of traffic lights specified by the first traffic light specifying unit 11, the controller 70 executes the process of step S104.

ステップＳ４０７において、コントローラ７０は、第１信号機特定部１１により特定された信号機があるか否かを判定する。第１信号機特定部１１により特定された信号機がある場合、即ち、第１信号機特定部１１により１つの信号機が特定されている場合、コントローラ７０は、ステップＳ４０８の処理を実行する。 In step S407, the controller 70 determines whether or not there is a traffic light specified by the first traffic light specifying unit 11. When there is a traffic light specified by the first traffic light specifying unit 11, that is, when one traffic light is specified by the first traffic light specifying unit 11, the controller 70 executes the process of step S408.

ステップＳ４０７において、第１信号機特定部１１により１つの信号機が特定されていると判定された場合、自車両は、直近の信号機からの距離がＬ３〜Ｌ３’の範囲に位置する（図２参照）。Ｌ３〜Ｌ３’の範囲においては、第１画像中には直近の信号機のみが存在するため、第１信号機特定部１１により特定された信号機は直近の信号機である。従って、現示検出部６０（コントローラ７０）は、ステップＳ４０８において、第１画像中に特定された信号機の現示を検出する。これにより直近の信号機の現示を検出することができる。ステップＳ４０８において、第１画像中に特定された信号機の現示を検出すると、コントローラ７０は、信号機認識制御を終了する。 When it is determined in step S407 that one traffic light is specified by the first traffic light identification unit 11, the own vehicle is located in the range of L3 to L3'from the nearest traffic light (see FIG. 2). .. In the range of L3 to L3', since only the nearest traffic light exists in the first image, the traffic light specified by the first traffic light specifying unit 11 is the latest traffic light. Therefore, the display detection unit 60 (controller 70) detects the display of the traffic light specified in the first image in step S408. This makes it possible to detect the latest traffic light indication. When the indication of the traffic light specified in the first image is detected in step S408, the controller 70 ends the traffic light recognition control.

ステップＳ４０７において、第１信号機特定部１１により特定された信号機がないと判定された場合、コントローラ７０は、ステップＳ４０９の処理を実行する。 If it is determined in step S407 that there is no traffic light specified by the first traffic light specifying unit 11, the controller 70 executes the process of step S409.

ステップＳ４０９において、第１信号機特定部１１により特定された信号機がないと判定された場合、自車両は、直近の信号機からの距離がＬ３〜Ｌ４’の範囲に位置する（図２参照）。Ｌ３〜Ｌ４’の範囲においては、第１撮像部１０によって直近の信号機を撮像できず、第１画像中に信号機が存在しない。従って、ステップＳ４０９において、現示検出部６０（コントローラ７０）は、第２画像中に特定された信号機の中で、画像中の位置が最も高い信号機の現示を検出する。前述のとおり、自車両が信号機に近づくほど、信号機へのピッチ角は大きくなり、信号機は画像中の高い位置に特定される。従って、自車両との距離が近い信号機ほど画像中の高い位置に特定されるため、第２画像中の最も高い位置に特定された信号機の現示を検出することで、直近の信号機の現示を検出することができる。即ち、直近の信号機とそれ以外の信号機との信号機間距離が短い場合に、遠方（第１撮像部１０によって直近の信号機を撮像できない距離）に信号機がある際にも、直近の信号機の現示を検出することができる。 If it is determined in step S409 that there is no traffic light specified by the first traffic light specifying unit 11, the own vehicle is located in the range of L3 to L4'from the nearest traffic light (see FIG. 2). In the range of L3 to L4', the first image pickup unit 10 cannot image the latest traffic light, and the traffic light does not exist in the first image. Therefore, in step S409, the display detection unit 60 (controller 70) detects the display of the traffic light having the highest position in the image among the traffic lights specified in the second image. As described above, the closer the vehicle is to the traffic light, the larger the pitch angle to the traffic light, and the traffic light is specified at a higher position in the image. Therefore, the closer the traffic light is to the own vehicle, the higher the position in the image is specified. Therefore, by detecting the display of the signal specified at the highest position in the second image, the latest signal is displayed. Can be detected. That is, when the distance between the latest traffic light and the other traffic lights is short, the latest traffic light is displayed even when there is a traffic light in the distance (the distance at which the first traffic light cannot be imaged by the first imaging unit 10). Can be detected.

ステップＳ４０９において、第２画像中に特定された信号機の中で、画像中の位置が最も高い信号機の現示を検出すると、コントローラ７０は、信号機認識制御を終了する。 In step S409, when the indication of the traffic light having the highest position in the image is detected among the traffic lights specified in the second image, the controller 70 ends the traffic light recognition control.

ステップＳ１０３において、第１信号機特定部１１により特定された信号機が複数あると判定すると、コントローラ７０は、ステップＳ１０４〜Ｓ１０６の処理を実行し、信号機認識制御を終了する。なお、ステップＳ１０４〜Ｓ１０６の処理は、第１実施形態と同様であるため、説明を省略する。 If it is determined in step S103 that there are a plurality of traffic lights specified by the first traffic light specifying unit 11, the controller 70 executes the processes of steps S104 to S106 and ends the traffic light recognition control. Since the processing of steps S104 to S106 is the same as that of the first embodiment, the description thereof will be omitted.

上記した第４実施形態の信号機認識装置１００によれば、以下の効果を得ることができる。 According to the traffic light recognition device 100 of the fourth embodiment described above, the following effects can be obtained.

信号機認識装置１００においては、第１撮像部１０によって第１画像を、第１撮像部１０よりも画角が狭く且つ第１撮像部１０の撮像可能距離よりも遠方を撮像可能な第２撮像部２０によって第２画像を撮像する。そして第１画像中に特定される信号機がない場合、第１画像中に信号機が現れるまでの間は、第２画像中の最も高い位置にある信号機の点灯状態を検出する。これにより、直近の信号機とその他の信号機との信号機間距離が短く、複数の信号機が同時に（第２画像の）信号機検出領域に入ってしまう場合に、第１画像中に特定される信号機がない間にも、直近の信号機の現示を検出することができる。従って、信号機の誤認識の発生をより確実に防止することができ、車両の誤発進、誤停止を防止することができる。 In the traffic light recognition device 100, the first image pickup unit 10 can capture the first image at a narrower angle of view than the first image pickup section 10 and farther than the image pickup distance of the first image pickup section 10. A second image is taken by 20. When there is no traffic light specified in the first image, the lighting state of the traffic light at the highest position in the second image is detected until the traffic light appears in the first image. As a result, when the distance between the latest traffic light and other traffic lights is short and multiple traffic lights enter the traffic light detection area (in the second image) at the same time, there is no traffic light specified in the first image. In the meantime, the latest traffic light indication can be detected. Therefore, it is possible to more reliably prevent the occurrence of erroneous recognition of the traffic light, and it is possible to prevent erroneous start and stop of the vehicle.

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。 Although the embodiments of the present invention have been described above, the above embodiments are only a part of the application examples of the present invention, and the technical scope of the present invention is limited to the specific configurations of the above embodiments. Absent.

また、上述した各実施形態は、それぞれ単独の実施形態として説明したが、適宜組み合わせてもよい。 Moreover, although each of the above-described embodiments has been described as a single embodiment, they may be combined as appropriate.

１０ 第１撮像部
１１ 第１信号機特定部
２０ 第２撮像部
２１ 第２信号機特定部
３０ 地図情報取得部
４０ 自己位置取得部
５０ 同一信号機判定部
６０ 現示検出部
７０ コントローラ
１００ 信号機認識装置 10 1st image pickup unit 11 1st traffic light identification unit 20 2nd image pickup unit 21 2nd traffic light identification unit 30 Map information acquisition unit 40 Self-position acquisition unit 50 Same traffic light determination unit 60 Display detection unit 70 Controller 100 Signal recognition device

Claims (5)

信号機の点灯状態を検出する信号機認識方法であって、
車両に搭載された第１撮像部を用いて前記車両の前方を撮像し、
前記車両に搭載され、前記第１撮像部よりも画角が狭い第２撮像部を用いて前記車両の前方を撮像し、
前記第１撮像部により撮像された第１画像中の信号機を特定し、
前記第２撮像部により撮像された第２画像中の信号機を特定し、
前記第１画像中の信号機と、前記第２画像中の信号機とが同一の信号機であるかを判定し、
同一と判定された信号機が複数ある場合、前記複数の信号機のうちの１の信号機が前記第２画像から消失した際に、前記第２画像から消失した信号機の点灯状態を検出する、
ことを特徴とする信号機認識方法。 It is a traffic light recognition method that detects the lighting state of a traffic light.
The front of the vehicle is imaged using the first imaging unit mounted on the vehicle.
A second imaging unit mounted on the vehicle and having a narrower angle of view than the first imaging unit is used to image the front of the vehicle.
The traffic light in the first image captured by the first imaging unit is identified, and the traffic light is identified.
The traffic light in the second image captured by the second image pickup unit is identified, and the traffic light is identified.
It is determined whether the traffic light in the first image and the traffic light in the second image are the same traffic light.
When there are a plurality of traffic lights determined to be the same, when one of the plurality of traffic lights disappears from the second image, the lighting state of the traffic light disappeared from the second image is detected.
A traffic light recognition method characterized by this. 前記第１撮像部と前記第２撮像部とは、前記車両内の異なる位置に搭載され、
同一と判定された信号機が複数ある場合、前記第１撮像部と前記第２撮像部との視差に基づき各信号機の前記車両からの距離を算出し、
同一と判定された前記複数の信号機のうちの１の信号機が前記第２画像から消失していない間は、算出された距離が最も短い信号機の点灯状態を検出する、
ことを特徴とする請求項１に記載の信号機認識方法。 The first imaging unit and the second imaging unit are mounted at different positions in the vehicle.
When there are a plurality of traffic lights determined to be the same, the distance of each traffic light from the vehicle is calculated based on the parallax between the first imaging unit and the second imaging unit.
While one of the plurality of traffic lights determined to be the same has not disappeared from the second image, the lighting state of the traffic light having the shortest calculated distance is detected.
The traffic light recognition method according to claim 1. 同一と判定された信号機が複数ある場合、同一と判定された前記複数の信号機のうちの１の信号機が前記第２画像から消失していない間は、前記第１画像中の最も高い位置にある信号機の点灯状態を検出する、
ことを特徴とする請求項１に記載の信号機認識方法。 When there are a plurality of traffic lights determined to be the same, the traffic light is at the highest position in the first image as long as one of the plurality of traffic lights determined to be the same has not disappeared from the second image. Detects the lighting status of traffic lights,
The traffic light recognition method according to claim 1. 前記第１画像中に特定される信号機がない場合、前記第１画像中に信号機が現れるまでの間は、前記第２画像中の最も高い位置にある信号機の点灯状態を検出する、
ことを特徴とする請求項１〜３のいずれか一項に記載の信号機認識方法。 When there is no traffic light specified in the first image, the lighting state of the traffic light at the highest position in the second image is detected until the traffic light appears in the first image.
The traffic light recognition method according to any one of claims 1 to 3. 車両に搭載され、前記車両の前方を撮像する第１撮像部と、
前記車両に搭載され、前記第１撮像部よりも画角が狭く且つ前記車両の前方であって前記第１撮像部の撮像可能距離よりも遠方を撮像可能な第２撮像部と、
前記第１撮像部により撮像された第１画像中の信号機を特定する第１信号機特定部と、
前記第２撮像部により撮像された第２画像中の信号機を特定する第２信号機特定部と、
前記第１信号機特定部により特定された信号機と、前記第２信号機特定部により特定された信号機とが同一の信号機であるかを判定する同一信号機判定部と、
信号機の点灯状態を検出する現示検出部と、
を備える信号機認識装置であって、
前記現示検出部は、前記同一信号機判定部により同一と判定された信号機が複数ある場合、前記複数の信号機のうちの１の信号機が前記第２画像から消失した際に、前記第２画像から消失した信号機の点灯状態を検出する、
信号機認識装置。 A first imaging unit mounted on a vehicle and imaging the front of the vehicle,
A second imaging unit mounted on the vehicle, having a narrower angle of view than the first imaging unit and capable of capturing an image in front of the vehicle and farther than the imaging distance of the first imaging unit.
A first traffic light identification unit that identifies a traffic light in the first image captured by the first image pickup unit, and a first traffic light identification unit.
A second traffic light identification unit that identifies a traffic light in the second image captured by the second image pickup unit, and a second traffic light identification unit.
The same traffic light determination unit that determines whether the traffic light specified by the first traffic light identification unit and the traffic light specified by the second traffic light identification unit are the same traffic light.
A display detector that detects the lighting status of a traffic light, and a display detector
It is a traffic light recognition device equipped with
When there are a plurality of traffic lights determined to be the same by the same traffic light determination unit, the display detection unit can be used from the second image when one of the plurality of traffic lights disappears from the second image. Detect the lighting status of the lost traffic light,
Traffic light recognition device.
JP2019213698A 2019-11-26 2019-11-26 Traffic light recognition method and traffic light recognition device Active JP7344776B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019213698A JP7344776B2 (en) 2019-11-26 2019-11-26 Traffic light recognition method and traffic light recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019213698A JP7344776B2 (en) 2019-11-26 2019-11-26 Traffic light recognition method and traffic light recognition device

Publications (2)

Publication Number Publication Date
JP2021086317A true JP2021086317A (en) 2021-06-03
JP7344776B2 JP7344776B2 (en) 2023-09-14

Family

ID=76088867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019213698A Active JP7344776B2 (en) 2019-11-26 2019-11-26 Traffic light recognition method and traffic light recognition device

Country Status (1)

Country Link
JP (1) JP7344776B2 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018510373A (en) * 2015-02-10 2018-04-12 モービルアイ ビジョン テクノロジーズ リミテッド Sparse map for autonomous vehicle navigation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018510373A (en) * 2015-02-10 2018-04-12 モービルアイ ビジョン テクノロジーズ リミテッド Sparse map for autonomous vehicle navigation

Also Published As

Publication number Publication date
JP7344776B2 (en) 2023-09-14

Similar Documents

Publication Publication Date Title
KR101988811B1 (en) Signaling device and signaling device recognition method
EP2919197B1 (en) Object detection device and object detection method
JP4654163B2 (en) Vehicle surrounding environment recognition device and system
JP5962771B2 (en) Moving object position / posture angle estimation apparatus and moving object position / posture angle estimation method
JP5421072B2 (en) Approaching object detection system
JP5399027B2 (en) A device having a system capable of capturing a stereoscopic image to assist driving of an automobile
WO2016002405A1 (en) Parking space recognition device
US10509971B2 (en) Landmark recognition device and landmark recognition method using a database storing landmark extraction information
WO2013011952A1 (en) Traffic lane recognition apparatus
EP3113145B1 (en) Local location computation device and local location computation method
JP2006157739A (en) Abnormality detecting device of image pickup apparatus
JP3666332B2 (en) Pedestrian detection device
JP5539250B2 (en) Approaching object detection device and approaching object detection method
JP2020187474A (en) Traveling lane recognition device, traveling lane recognition method and program
JP7095559B2 (en) Bound line detection device and lane marking method
JP2007310591A (en) Image processor and parking space determination method
JP2004185425A (en) Lane mark recognition method and device
JP7344776B2 (en) Traffic light recognition method and traffic light recognition device
JP5891802B2 (en) Vehicle position calculation device
JP2008042759A (en) Image processing apparatus
JP2015011665A (en) Apparatus and method for detecting marking on road surface
JP2005301892A (en) Lane recognition device by a plurality of cameras
JP2018073049A (en) Image recognition device, image recognition system, and image recognition method
JP4848698B2 (en) Vehicle sensing device and vehicle sensing method
JP2010018223A (en) Device for detecting vehicle traveling road surface

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230719

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230904

R150 Certificate of patent or registration of utility model

Ref document number: 7344776

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150