JP2022161700A - Traffic light recognition device - Google Patents

Abstract

To appropriately recognize a traffic light for a self-vehicle lane even in a weak-light environment.SOLUTION: A traffic light recognition device comprises: an imaging apparatus 11 which images a front area of a vehicle, thereby acquiring image data; a light irradiation device 12 which irradiates a predetermined range including the front area of the vehicle with light and receiving reflected waves from a three-dimensional object being present within the range, thereby acquiring three-dimensional object information including a relative position and a shape of the three-dimensional object; and a control unit 10 which extracts an area where there is a possibility that a lamp is present, as a lamp area based on the image data, determines whether or not a traffic light is present in the lamp area based on the three-dimensional object information and, in a case where it is determined that the traffic light is present in the lamp area, based on the three-dimensional object information, determines whether or not the traffic light is a traffic light for a self-vehicle lane.SELECTED DRAWING: Figure 2

Description

本発明は、信号機を認識可能な信号機認識装置に関する。 The present invention relates to a traffic signal recognition device capable of recognizing a traffic signal.

従来から、信号機（灯火の色等も含む。）を認識可能な信号機認識装置が知られている。例えば、特許文献１の信号機認識装置（以下、「従来装置」とも称する。）は、撮像装置で信号機を撮像し、撮像された信号機画像から当該信号機の灯火（以下、「信号灯」とも称する。）の色度情報と輝度情報とを検出し、これらの色度情報及び輝度情報に基づいて信号灯の色を判断することにより、信号灯の色を認識するように構成されている。 2. Description of the Related Art Conventionally, a traffic signal recognition device capable of recognizing a traffic signal (including the color of a light, etc.) is known. For example, a traffic light recognition device (hereinafter also referred to as a "conventional device") disclosed in Patent Document 1 captures an image of a traffic light with an imaging device, and detects a light of the traffic light (hereinafter also referred to as a "signal light") from the captured image of the traffic light. The color of the traffic light is recognized by detecting the chromaticity information and luminance information of the signal lamp and determining the color of the traffic light based on the chromaticity information and luminance information.

特開２００９－０１５７５９号公報JP 2009-015759 A

従来装置のように、撮像装置により撮像された撮像画像に基づいて信号機を認識する場合、夜間などの弱光環境（周囲が比較的に暗い環境）下では信号機の筐体が撮像され難くなる。このため、弱光環境下では、撮像画像に含まれる灯火の色のみに基づいて信号機の存在有無を判定しなければならないが、この構成によれば、信号灯以外の灯火（例えば、街灯及び先行車のテールランプ）を信号灯として誤って認識（検出）してしまう可能性がある。また、撮像画像は二次元画像であるため、車両と信号機との位置関係の推定精度がそれほど高くない。このため、撮像画像に基づいて信号機を認識できたとしても、自車線用の信号機ではなく、自車線と交差する車線（立体交差する車線を含む）用の信号機を自車線用の信号機として誤って選択してしまう可能性がある。即ち、撮像画像に基づいて信号機を認識する構成では、特に弱光環境下では、信号機を誤検出したり誤選択したりするという問題がある。 When recognizing a traffic signal based on an image captured by an imaging device as in the conventional apparatus, it is difficult to image the housing of the traffic signal in a weak light environment (environment with relatively dark surroundings) such as at night. Therefore, in a low-light environment, it is necessary to determine the presence or absence of a traffic light based only on the color of the light included in the captured image. tail lamp) may be mistakenly recognized (detected) as a signal light. In addition, since the captured image is a two-dimensional image, the accuracy of estimating the positional relationship between the vehicle and the traffic light is not so high. Therefore, even if the traffic signal can be recognized based on the captured image, the traffic signal for the lane that intersects with the own lane (including a grade-separated lane) is mistakenly assumed to be the traffic signal for the own lane instead of the traffic signal for the own lane. You may choose. That is, in a configuration for recognizing a traffic signal based on a captured image, there is a problem that the traffic signal may be erroneously detected or erroneously selected, especially in a low-light environment.

本発明は、上述した問題に対処するためになされたものである。即ち、本発明の目的の一つは、弱光環境においても自車線用の信号機を適切に認識可能な信号機認識装置を提供することにある。 The present invention has been made to address the problems described above. That is, one of the objects of the present invention is to provide a traffic signal recognition device capable of appropriately recognizing a traffic signal for own lane even in a weak light environment.

本発明による信号機認識装置（以下、「本発明装置」と称する。）は、
車両に搭載され、
前記車両の前方領域を撮像することにより画像データを取得可能な撮像装置（１１）と、
前記車両の前記前方領域を含む所定の範囲に光を照射し、当該範囲内に存在する立体物からの反射波を受光することにより当該立体物の相対位置及び形状を含む立体物情報を取得可能な光照射装置（１２）と、
前記画像データに基づいて、灯火が存在する可能性がある領域を灯火領域として抽出し（ステップ２１０）、
前記立体物情報に基づいて、前記灯火領域に信号機が存在するか否かを判定し（ステップ２１５）、
前記灯火領域に信号機が存在すると判定した場合、前記立体物情報に基づいて、前記信号機が自車線用の信号機であるか否かを判定する（ステップ２２５）、
ように構成された制御ユニット（１０）と、
を備える。 A traffic light recognition device according to the present invention (hereinafter referred to as the "present invention device")
mounted on the vehicle
an imaging device (11) capable of acquiring image data by imaging an area in front of the vehicle;
Three-dimensional object information including the relative position and shape of the three-dimensional object can be obtained by irradiating a predetermined range including the front area of the vehicle with light and receiving reflected waves from the three-dimensional object existing within the range. a light irradiation device (12);
Based on the image data, an area in which a lamp may exist is extracted as a lamp area (step 210);
determining whether or not a traffic light exists in the lighting area based on the three-dimensional object information (step 215);
If it is determined that a traffic signal exists in the lighting area, it is determined whether or not the traffic signal is for the own lane based on the three-dimensional object information (step 225);
a control unit (10) configured to
Prepare.

本発明装置は、光照射装置により取得された立体物情報に基づいて信号機の存在有無を判定する。立体物情報は周囲の明るさに関わらず取得可能である。加えて、立体物情報は、立体物の相対位置及び形状を含む三次元の情報である。このため、二次元の撮像画像に基づいて信号機を認識する構成と比較して、弱光環境においても信号機を精度良く認識でき、信号機を誤検出したり誤選択したりする可能性を大幅に低減できる。この構成によれば、弱光環境においても自車線用の信号機を適切に認識することが可能となる。 The device of the present invention determines whether or not there is a traffic light based on the three-dimensional object information acquired by the light irradiation device. Three-dimensional object information can be obtained regardless of the brightness of the surroundings. In addition, the three-dimensional object information is three-dimensional information including relative positions and shapes of three-dimensional objects. Compared to systems that recognize traffic lights based on two-dimensional captured images, this technology enables accurate recognition of traffic lights even in low-light environments, greatly reducing the possibility of misdetection or misselection of traffic lights. can. According to this configuration, it is possible to appropriately recognize the traffic light for the own lane even in a weak light environment.

特に、本発明装置は、立体物情報に含まれる全ての立体物について当該立体物が信号機であるか否かを判定するのではなく、まず、画像データに基づいて灯火領域を抽出し、灯火領域に信号機が存在するか否かを判定するように構成されている。これは、信号灯は灯火の一種であるため、灯火領域以外の領域に存在する可能性は極めて低いという知見に基づいている。この構成によれば、信号機が存在するか否かの判定対象となる立体物の数を大幅に低減できるため、信号機の認識精度を低下させることなく処理負荷を軽減することができる。 In particular, the apparatus of the present invention does not determine whether or not all three-dimensional objects included in the three-dimensional object information are traffic lights, but first extracts the lighting region based on the image data, and extracts the lighting region. is configured to determine whether or not there is a traffic light in the This is based on the knowledge that signal lights are a kind of lights, and therefore the possibility of them existing in areas other than the lighting area is extremely low. According to this configuration, the number of three-dimensional objects to be determined as to whether or not a traffic signal exists can be greatly reduced, so the processing load can be reduced without lowering the recognition accuracy of the traffic signal.

更に、認識した信号機に基づいて車両を加減速制御する場合、立体物情報が三次元であることにより信号機までの距離を正確に演算できる。このため、複数の信号機を認識した場合、信号機までの距離に基づいて信号機に遭遇するタイミングを正確に演算できる。従って、信号機までの距離及び信号灯の色に基づいて、加減速制御の制御タイミング及び制御量を適切に演算することができる。 Furthermore, when accelerating and decelerating the vehicle based on the recognized traffic light, the distance to the traffic light can be calculated accurately because the three-dimensional object information is three-dimensional. Therefore, when a plurality of traffic lights are recognized, the timing of encountering the traffic lights can be accurately calculated based on the distance to the traffic lights. Therefore, the control timing and control amount of the acceleration/deceleration control can be calculated appropriately based on the distance to the traffic light and the color of the traffic light.

本発明の一側面は、
様々な種類の信号機の筐体の形状を含む筐体情報を予め記憶している記憶装置を更に備える。
前記制御ユニット（１０）は、
前記立体物情報に含まれる立体物のうち前記灯火領域に対応する領域に含まれる立体物の、信号機の筐体に対する近似度を前記筐体情報に基づいて演算し、当該近似度が所定の近似度閾値以上の場合に前記灯火領域に信号機が存在すると判定する、
ように構成されている。 One aspect of the present invention is
It further comprises a storage device that preliminarily stores housing information including shapes of housings of various types of traffic lights.
Said control unit (10) comprises:
A degree of approximation of a three-dimensional object included in a region corresponding to the lighting region among three-dimensional objects included in the three-dimensional object information to a housing of the traffic light is calculated based on the housing information, and the degree of approximation is a predetermined approximation. determining that there is a traffic light in the lighting area when the degree is equal to or greater than the degree threshold;
is configured as

立体物情報は三次元であるため、立体物の形状を高い精度で取得できる。このため、立体物の「筐体情報に含まれる信号機の筐体」に対する近似度が近似度閾値以上であるということは、当該立体物が信号機の筐体である可能性が極めて高いことを意味する。従って、この構成によれば、灯火領域に信号機が存在するか否かを高い精度で判定できる。 Since the three-dimensional object information is three-dimensional, the shape of the three-dimensional object can be obtained with high accuracy. Therefore, when the degree of approximation of the three-dimensional object to the “traffic light housing included in the housing information” is equal to or greater than the similarity threshold, it means that the three-dimensional object is highly likely to be the traffic light housing. do. Therefore, according to this configuration, it can be determined with high accuracy whether or not there is a traffic signal in the lighting area.

本発明の一側面では、
前記光照射装置は、三次元Ｌｉｄａｒである。 In one aspect of the invention,
The light irradiation device is a three-dimensional lidar.

上記説明においては、発明の理解を助けるために、実施形態に対応する発明の構成要件に対して、実施形態で用いた符号を括弧書きで添えているが、発明の各構成要件は、前記符号によって規定される実施形態に限定されるものではない。 In the above description, in order to facilitate understanding of the invention, the symbols used in the embodiments are attached to the constituent elements of the invention corresponding to the embodiments in parentheses. are not limited to the embodiments defined by

本発明の実施形態に係る信号機認識装置（本実施装置）の概略構成図である。1 is a schematic configuration diagram of a traffic light recognition device (this embodiment device) according to an embodiment of the present invention; FIG. 本実施装置の信号機認識ＥＣＵのＣＰＵが実行する処理手順を示す図である。It is a figure which shows the processing procedure which CPU of traffic light recognition ECU of this embodiment apparatus performs.

（構成）
以下、本発明の実施形態に係る信号機認識装置（以下、「本実施装置」とも称する。）について図面を参照しながら説明する。本実施装置は、車両に搭載される。本実施装置は、自車線用の信号機を認識し、その灯火の色及び当該信号機までの距離に基づいて車両を加減速させ、これにより自動運転制御又は運転支援制御を実行するように構成されている。以下、本実施装置が搭載された車両を「自車両」と称する。ここで、「自車線」とは、自車両が現在走行している車線を意味する。また、「自車線用の信号機」とは、信号機が、進行方向が同一である複数の車線を含む車道単位で設置される国においては、自車線及び自車線と進行方向が同一である車線を含む車道の交通を円滑にするために設置される車両用信号機を意味する。一方、信号機が車線単位で設置される国においては、「自車線用の信号機」とは、自車線の交通を円滑にするために設置される車両用信号機を意味する。 (Constitution)
Hereinafter, a traffic light recognition device (hereinafter also referred to as "this embodiment device") according to an embodiment of the present invention will be described with reference to the drawings. This embodiment device is mounted on a vehicle. This implementation device is configured to recognize a traffic light for one's own lane, accelerate and decelerate a vehicle based on the color of the light and the distance to the traffic light, and thereby execute automatic driving control or driving support control. there is Hereinafter, the vehicle equipped with the device of this embodiment will be referred to as "own vehicle". Here, the "own lane" means the lane in which the own vehicle is currently traveling. In addition, in countries where traffic signals are installed for each roadway that includes multiple lanes with the same direction of travel, the term “traffic signal for own lane” means the own lane and the lane with the same direction of travel as the own lane. means a vehicular signal installed to facilitate traffic on a roadway, including On the other hand, in countries where traffic signals are installed for each lane, the term "traffic signal for own lane" means a traffic signal installed for vehicles to facilitate traffic in the own lane.

図１に示すように、本実施装置は、信号機認識ＥＣＵ１０、並びに、これに接続されたカメラセンサ１１、Ｌｉｄａｒセンサ１２、表示装置２０、駆動装置３０及び制動装置４０を備える。信号機認識ＥＣＵ１０は、マイクロコンピュータを主要部として備える。ＥＣＵは、Electronic Control Unitの略である。マイクロコンピュータは、ＣＰＵ、ＲＯＭ、ＲＡＭ及びインターフェース（Ｉ／Ｆ）等を含み、ＣＰＵはＲＯＭに格納されたインストラクション（プログラム、ルーチン）を実行することにより各種機能を実現するようになっている。 As shown in FIG. 1, the apparatus includes a traffic light recognition ECU 10, a camera sensor 11 connected thereto, a Lidar sensor 12, a display device 20, a driving device 30 and a braking device 40. The traffic light recognition ECU 10 has a microcomputer as a main part. ECU is an abbreviation for Electronic Control Unit. The microcomputer includes a CPU, ROM, RAM, interface (I/F), etc. The CPU implements various functions by executing instructions (programs, routines) stored in the ROM.

信号機認識ＥＣＵ１０は、カメラセンサ１１及びＬｉｄａｒセンサ１２が出力する信号を所定時間が経過する毎に取得し、取得した信号に基づいて表示装置２０、駆動装置３０及び制動装置４０を制御するように構成されている。以下では、信号機認識ＥＣＵ１０を単に「ＥＣＵ１０」とも称する。 The traffic light recognition ECU 10 acquires signals output by the camera sensor 11 and the lidar sensor 12 every time a predetermined time elapses, and controls the display device 20, the driving device 30, and the braking device 40 based on the acquired signals. It is Hereinafter, the traffic light recognition ECU 10 is also simply referred to as "ECU 10".

カメラセンサ１１（撮像装置）は、自車両のルームミラー（インナーミラー／リアビューミラー）の裏面に設置されている。カメラセンサ１１は可視光カメラであり、自車両の前方領域を撮像し（別言すれば、前方領域に存在する立体物を撮像し）、撮像して得られた画像データをＥＣＵ１０に出力する。なお、立体物は、信号機、車両、街灯、中央分離帯及び建物等を含む。 The camera sensor 11 (imaging device) is installed on the rear surface of the rearview mirror (inner mirror/rearview mirror) of the vehicle. The camera sensor 11 is a visible light camera that captures an image of a front area of the vehicle (in other words, captures an image of a three-dimensional object existing in the front area) and outputs image data obtained by the image pickup to the ECU 10 . Three-dimensional objects include traffic lights, vehicles, street lights, median strips, buildings, and the like.

Ｌｉｄａｒセンサ１２（光照射装置）は、三次元Ｌｉｄａｒセンサであり、自車両のルーフに設けられたドーム内に収容されている。Ｌｉｄａｒは、Light Detection and Rangingの略である。Ｌｉｄａｒセンサ１２は、自車両の全周囲３６０°の領域に、パルス状に発光する近赤外線波長帯域のレーザー光を照射し、立体物が存在する場合、その立体物からの反射光を受光する。Ｌｉｄａｒセンサ１２は、レーザー光の照射タイミングと受光タイミングと等に基づいて、立体物の有無と、立体物の相対位置及び形状（別言すれば、立体物の空間座標群）と、を演算する。なお、立体物の相対位置は、自車両から立体物までの距離、及び、自車両に対する立体物の方位等を含む。立体物の形状は、立体物の高さ、及び、立体物の向き（姿勢）等を含む。Ｌｉｄａｒセンサ１２は、演算結果を三次元点群情報としてＥＣＵ１０に出力する。三次元点群情報は、「立体物情報」の一例に相当する。 The lidar sensor 12 (light irradiation device) is a three-dimensional lidar sensor and housed in a dome provided on the roof of the vehicle. Lidar is an abbreviation for Light Detection and Ranging. The lidar sensor 12 irradiates a pulsed near-infrared wavelength band laser light to a 360° area around the vehicle, and receives reflected light from the three-dimensional object when the three-dimensional object exists. The lidar sensor 12 calculates the presence or absence of a three-dimensional object and the relative position and shape of the three-dimensional object (in other words, the spatial coordinate group of the three-dimensional object) based on the irradiation timing and the light receiving timing of the laser light. . The relative position of the three-dimensional object includes the distance from the vehicle to the three-dimensional object, the orientation of the three-dimensional object with respect to the vehicle, and the like. The shape of the three-dimensional object includes the height of the three-dimensional object, the orientation (attitude) of the three-dimensional object, and the like. The lidar sensor 12 outputs the calculation result to the ECU 10 as three-dimensional point group information. The three-dimensional point group information corresponds to an example of "three-dimensional object information".

本実施形態では、Ｌｉｄａｒセンサ１２としてソリッドステート式のセンサが用いられるが、Ｌｉｄａｒセンサの種類はこれに限られず、例えばラスタースキャン式又はウォブリングスキャン式のセンサが用いられてもよい。また、三次元点群情報を取得するセンサはＬｉｄａｒセンサ１２に限られず、立体物の相対位置及び形状を三次元で精度良く演算可能なセンサであればよい。
加えて、Ｌｉｄａｒセンサ１２は、自車両の全周囲３６０°にレーザー光を照射する構成に限られず、少なくとも前方領域を含む領域にレーザー光を照射可能であればよい。 In this embodiment, a solid-state sensor is used as the lidar sensor 12, but the type of lidar sensor is not limited to this, and a raster scan or wobbling scan sensor, for example, may be used. Further, the sensor that acquires the three-dimensional point group information is not limited to the lidar sensor 12, and any sensor capable of accurately calculating the relative position and shape of a three-dimensional object in three dimensions may be used.
In addition, the lidar sensor 12 is not limited to a configuration that irradiates a laser beam 360 degrees around the entire circumference of the vehicle, and may irradiate a region including at least a front region with a laser beam.

表示装置２０は、自車両のメータパネル（図示省略）に信号灯（信号機の灯火）の色に関する情報を表示するための装置である。ＥＣＵ１０は、表示装置２０を制御することにより、メータパネルに上記情報を表示させる。 The display device 20 is a device for displaying information about the color of a traffic light (traffic light) on a meter panel (not shown) of the vehicle. The ECU 10 causes the meter panel to display the above information by controlling the display device 20 .

駆動装置３０は、自車両を走行させるための駆動力をその駆動輪に付与するための装置である。ＥＣＵ１０は、駆動装置３０の作動を制御することにより、駆動輪に付与される駆動力を制御する。 The driving device 30 is a device for applying a driving force for driving the own vehicle to its driving wheels. The ECU 10 controls the driving force applied to the drive wheels by controlling the operation of the driving device 30 .

制動装置４０は、自車両を制動するための制動力をその車輪に付与するための装置である。ＥＣＵ１０は、制動装置４０の作動を制御することにより、車輪に付与される制動力を制御する。 The braking device 40 is a device for applying a braking force for braking the own vehicle to its wheels. The ECU 10 controls the braking force applied to the wheels by controlling the operation of the braking device 40 .

（作動の詳細）
続いて、ＥＣＵ１０の作動の詳細について図２を参照して説明する。図２は、ＥＣＵ１０のＣＰＵが自車線用の信号機を認識して装置２０乃至４０を制御する処理手順を示す図である。ＣＰＵは、イグニッションスイッチがオン状態にある期間中、所定時間が経過する毎に図２に示した処理をこの順に繰り返し実行するように構成されている。 (details of operation)
Next, details of the operation of the ECU 10 will be described with reference to FIG. FIG. 2 is a diagram showing a processing procedure in which the CPU of the ECU 10 recognizes the traffic signal for the own lane and controls the devices 20 to 40. As shown in FIG. The CPU is configured to repeatedly execute the processes shown in FIG. 2 in this order every time a predetermined time elapses while the ignition switch is in the ON state.

所定のタイミングになると、ＣＰＵは、ステップ２００から処理を開始してステップ２０５に進み、カメラセンサ１１から画像データを取得するとともに、Ｌｉｄａｒセンサ１２から三次元点群情報を取得する。 At a predetermined timing, the CPU starts processing from step 200 and proceeds to step 205 to obtain image data from the camera sensor 11 and three-dimensional point group information from the lidar sensor 12 .

続いて、ＣＰＵは、ステップ２１０に進み、ステップ２０５にて取得した画像データに基づいて撮像画像を生成し、当該撮像画像から灯火領域を抽出する。灯火領域は、灯火（信号灯、街灯、先行車のテールランプ及び対向車のヘッドランプ等）が存在する可能性がある領域であり、以下のようにして抽出される。即ち、ＣＰＵは、画像データに基づいて撮像画像をカラー画像として生成し、当該カラー画像を構成する各画素のＲＧＢ値（色情報）を演算し、各画素について、演算されたＲＧＢ値が「灯火の平均的なＲＧＢ値の範囲」内に含まれるか否かを判定する。ここで、「灯火の平均的なＲＧＢ値の範囲」とは、実験又はシミュレーションにより決定された範囲であり、ＥＣＵ１０のＲＯＭに予め格納されている。或る画素のＲＧＢ値が上記範囲内に含まれる場合、ＣＰＵは、当該画素を灯火候補であると判定する。灯火候補と判定された画素同士の距離が所定の距離閾値以下である場合、ＣＰＵは、これらの画素群を含む所定の範囲を灯火領域として抽出する。後述するように、灯火領域は、信号機の筐体を検出する際に利用されるため、上記「所定の範囲」は、これらの画素群の周囲と、その下方と、を含む矩形状の範囲であることが望ましい。 Subsequently, the CPU proceeds to step 210, generates a captured image based on the image data acquired in step 205, and extracts the lamp region from the captured image. The lighting area is an area in which lighting (signal lights, street lights, tail lights of preceding vehicles, headlights of oncoming vehicles, etc.) may exist, and is extracted as follows. That is, the CPU generates a captured image as a color image based on the image data, calculates the RGB values (color information) of each pixel that constitutes the color image, and calculates the calculated RGB value for each pixel as a “light”. It is determined whether or not it is included in the "average RGB value range of . Here, the "average RGB value range of lighting" is a range determined by experiments or simulations, and is stored in the ROM of the ECU 10 in advance. If the RGB values of a certain pixel are within the range, the CPU determines that the pixel is a lamp candidate. If the distance between pixels determined to be lighting candidates is equal to or less than a predetermined distance threshold, the CPU extracts a predetermined range including these pixel groups as a lighting region. As will be described later, the lighting area is used when detecting the housing of the traffic light, so the above-mentioned "predetermined range" is a rectangular range that includes the periphery of these pixel groups and the area below them. It is desirable to have

なお、灯火領域の抽出方法は上記に限られない。例えば、ＣＰＵは、画像データに基づいて撮像画像をグレースケール画像として生成し、当該グレースケール画像を構成する各画素の輝度値（明るさ情報）を演算してもよい。そして、所定の輝度閾値より高い輝度値を有する画素群を含む所定の範囲を灯火領域として抽出してもよい。但し、後述するように、本実施形態では信号灯の色がメータパネルに表示されるようになっているため、灯火領域がグレースケール画像に基づいて抽出される場合であっても、信号灯の色情報は別の方法で演算されることが望ましい。 Note that the method for extracting the lighting area is not limited to the above. For example, the CPU may generate a captured image as a grayscale image based on the image data, and calculate the luminance value (brightness information) of each pixel forming the grayscale image. Then, a predetermined range including a group of pixels having luminance values higher than a predetermined luminance threshold may be extracted as the lighting region. However, as will be described later, in this embodiment, the color of the signal light is displayed on the meter panel. is preferably computed in another way.

次に、ＣＰＵは、ステップ２１５に進み、ステップ２０５にて取得した三次元点群情報に基づいて、ステップ２１０にて抽出した灯火領域に信号機が存在するか否かを判定する。具体的には、ＣＰＵは、まず、三次元点群情報に含まれる空間座標群から、灯火領域を構成する各画素の位置座標に対応する空間座標群を選択する（以下、選択された空間座標群を「灯火領域に対応する空間座標群」とも称する。）。ここで、ＥＣＵ１０のＲＯＭ（記憶装置）には、様々な種類の信号機（詳細には、車両用信号機）の筐体の形状（別言すれば、筐体の空間座標群）を含む筐体情報が予め記憶されている。ＣＰＵは、「灯火領域に対応する空間座標群に含まれる立体物の形状」と「筐体情報に含まれる信号機の筐体の形状」との近似度を演算する。そして、近似度が所定の近似度閾値以上の場合、灯火領域に信号機が存在する（別言すれば、灯火領域に含まれる灯火は信号灯である）と判定し、近似度が近似度閾値未満の場合、灯火領域に信号機が存在しない（別言すれば、灯火領域に含まれる灯火は信号灯以外の灯火である）と判定する。ＣＰＵは、ステップ２１０にて抽出した全ての灯火領域について、ステップ２１５の処理を実行する。信号機が存在すると判定された灯火領域がある場合、ＣＰＵは、ステップ２２０に進む。一方、信号機が存在すると判定された灯火領域がない場合、ＣＰＵは、ステップ２５５に進んで図２に示す処理を一旦終了する。 Next, the CPU proceeds to step 215 and determines whether or not a traffic light exists in the lighting area extracted in step 210 based on the three-dimensional point group information acquired in step 205 . Specifically, the CPU first selects a spatial coordinate group corresponding to the position coordinates of each pixel forming the lighting region from the spatial coordinate group included in the three-dimensional point group information (hereinafter referred to as the selected spatial coordinate group). The group is also called "the spatial coordinate group corresponding to the lighting area"). Here, in the ROM (storage device) of the ECU 10, housing information including housing shapes (in other words, housing spatial coordinate groups) of various types of traffic lights (more specifically, vehicle traffic lights) is stored. is stored in advance. The CPU calculates the degree of similarity between "the shape of the three-dimensional object included in the spatial coordinate group corresponding to the lighting area" and "the shape of the housing of the traffic light included in the housing information". If the degree of approximation is equal to or greater than a predetermined degree of approximation threshold, it is determined that there is a traffic light in the lighting region (in other words, the lights included in the lighting region are traffic lights), and if the degree of approximation is less than the threshold of approximation, In this case, it is determined that there is no traffic light in the lighting area (in other words, lights included in the lighting area are lights other than traffic lights). The CPU executes the process of step 215 for all the lighting regions extracted in step 210. FIG. If there is a lighting area determined to have a traffic light, the CPU proceeds to step 220 . On the other hand, if there is no lighting area determined to have a traffic signal, the CPU proceeds to step 255 and temporarily terminates the processing shown in FIG.

ステップ２２０では、ＣＰＵは、ステップ２１５にて信号機が存在すると判定された灯火領域に対応する空間座標群から、信号機の筐体（厳密には、筐体を表す空間座標群）を抽出する。
次いで、ＣＰＵは、ステップ２２５に進み、三次元点群情報と、ステップ２２０にて抽出された信号機の筐体の相対位置（距離及び方位）及び形状（高さ及び向き）と、に基づいて、当該信号機が自車線用の信号機であるか否かを判定する。 At step 220, the CPU extracts the housing of the traffic signal (strictly speaking, the spatial coordinate group representing the housing) from the spatial coordinate group corresponding to the lighting area determined to have the traffic signal at step 215.
Next, the CPU proceeds to step 225, based on the three-dimensional point cloud information and the relative position (distance and direction) and shape (height and direction) of the traffic light housing extracted in step 220, It is determined whether or not the traffic signal is for the own lane.

例えば、三次元点群情報により自車両と信号機との間に他車両とは異なる立体物（例えば、中央分離帯）が検出された場合、ＣＰＵは、当該信号機は自車線用の信号機ではない（例えば、自車線と交差する交差車線用の信号機である）と判定する。また、信号機の相対位置が自車線及び自車線と進行方向が同一である車線を含む車道から明らかに逸脱している場合、ＣＰＵは、当該信号機は自車線用の信号機ではない（例えば、交差車線用の信号機である）と判定する。更に、信号機の高さが所定の高さ閾値以上の場合、ＣＰＵは、当該信号機は自車線用の信号機ではない（例えば、自車線と立体的に交差する立体交差車線用の信号機である）と判定する。或いは、信号機が車線単位で設置される国においては、信号機の横位置（自車両の車幅方向における位置）が自車両から大幅に離間している場合、ＣＰＵは、当該信号機は自車線用の信号機ではない（例えば、隣接車線用の信号機である）と判定する。
これに対し、例えば、信号機が自車両の前方に位置しており、自車両と信号機との間に他車両以外の立体物が検出されておらず、信号機の高さが高さ閾値未満である場合、ＣＰＵは、当該信号機は自車線用の信号機であると判定する。 For example, when a three-dimensional object different from other vehicles (for example, a median strip) is detected between the vehicle and the traffic light from the 3D point cloud information, the CPU determines that the traffic signal is not for the vehicle's own lane ( For example, it is a traffic signal for a cross lane that crosses the own lane). In addition, when the relative position of the traffic signal clearly deviates from the vehicle lane including the own lane and the lane traveling in the same direction as the own lane, the CPU determines that the traffic signal is not for the own lane traffic signal). Furthermore, when the height of the traffic signal is equal to or higher than a predetermined height threshold, the CPU determines that the traffic signal is not for the own lane (for example, the traffic signal is for a grade crossing lane that three-dimensionally intersects with the own lane). judge. Alternatively, in countries where traffic signals are installed for each lane, when the lateral position of the traffic signal (position in the vehicle width direction of the own vehicle) is significantly separated from the own vehicle, the CPU determines that the traffic signal is for the own lane. It is determined that it is not a traffic signal (for example, it is a traffic signal for an adjacent lane).
On the other hand, for example, the traffic signal is positioned in front of the vehicle, no three-dimensional object other than another vehicle is detected between the vehicle and the traffic signal, and the height of the traffic signal is less than the height threshold. In this case, the CPU determines that the traffic signal is for the own lane.

ＣＰＵは、ステップ２２０にて抽出した全ての信号機の筐体について、ステップ２２５の処理を実行する。自車線用の信号機が存在する場合、ＣＰＵは、ステップ２３０に進む。一方、自車線用の信号機が存在しない場合、ＣＰＵは、ステップ２５５に進んで図２に示す処理を一旦終了する。なお、Ｌｉｄａｒセンサ１２は比較的に長距離の測距及び空間イメージングが可能であるため、自車線用の信号機が複数存在する（検出される）場合がある。 The CPU executes the process of step 225 for all the traffic signal housings extracted in step 220 . If there is a traffic signal for the own lane, the CPU proceeds to step 230 . On the other hand, if there is no traffic signal for the own lane, the CPU proceeds to step 255 and once terminates the processing shown in FIG. In addition, since the lidar sensor 12 is capable of relatively long-distance ranging and spatial imaging, there are cases where a plurality of traffic signals for the own lane are present (detected).

ステップ２３０では、ＣＰＵは、ステップ２２５にて自車線用の信号機であると判定された信号機と同一の信号機情報がＥＣＵ１０のＲＡＭに格納されていないかを追跡する。ここで、信号機情報とは、自車線用の信号機の相対位置及び信号灯の色を含む情報である。
同一の信号機についての信号機情報がＲＡＭに格納されている場合、ＣＰＵは、ステップ２３５にて当該情報を更新する。具体的には、信号機の相対位置を更新するとともに、信号灯の色を追加する。信号灯の色を追加することにより、信号灯の色の変遷が記憶される（後述）。
一方、同一の信号機についての信号機情報がＲＡＭに格納されていない場合、ＣＰＵは、新たな信号機を検出したと判定し、ステップ２３５にて当該信号機の信号機情報をＲＡＭに格納（記憶）する。 At step 230, the CPU tracks whether or not the same traffic signal information as the traffic signal determined to be the traffic signal for the own lane at step 225 is stored in the RAM of the ECU 10. FIG. Here, the traffic light information is information including the relative position of the traffic light for the own lane and the color of the traffic light.
If traffic light information for the same traffic light is stored in the RAM, the CPU updates the information at step 235 . Specifically, the relative positions of the traffic lights are updated, and the colors of the traffic lights are added. By adding the color of the traffic light, the transition of the color of the traffic light is memorized (described later).
On the other hand, if the traffic signal information for the same traffic signal is not stored in the RAM, the CPU determines that a new traffic signal has been detected, and stores (stores) the traffic signal information of the traffic signal in the RAM at step 235.

その後、ＣＰＵは、ステップ２４０に進み、ステップ２３５にて更新された信号機情報に含まれる信号灯の色の変遷に基づいて、信号機の種別を判定する。信号機の種別は、典型的には、通常の信号機、点滅信号機、及び、予告信号機である。例えば、信号灯の色が「赤」、「黄」、「青」の順に変遷する場合、ＣＰＵは、信号機は通常の信号機であると判定する。一方、信号灯の色が「黄」の点滅である場合、ＣＰＵは、信号機は黄色の点滅信号機であると判定する。 After that, the CPU proceeds to step 240 and determines the type of the traffic light based on the transition of the color of the traffic light included in the traffic light information updated in step 235 . The types of traffic signals are typically a normal traffic signal, a flashing traffic signal, and a warning traffic signal. For example, when the color of the traffic light changes in order of "red", "yellow", and "blue", the CPU determines that the traffic signal is a normal traffic signal. On the other hand, when the color of the traffic light is flashing yellow, the CPU determines that the traffic signal is a yellow flashing traffic light.

続いて、ＣＰＵは、ステップ２４５に進み、表示装置２０を制御してメータパネルに信号灯の色に関する情報を表示する。ステップ２２５にて自車線用の信号機が複数検出されている場合、ＣＰＵは、信号灯の色に関する情報を、信号機に遭遇する順番で表示してもよい。また、信号機までの距離と関連付けて表示してもよい。 Subsequently, the CPU proceeds to step 245 and controls the display device 20 to display information regarding the color of the signal lamp on the meter panel. If multiple traffic lights for the current lane are detected in step 225, the CPU may display information about the colors of the traffic lights in the order in which the traffic lights are encountered. Moreover, you may display in connection with the distance to a traffic light.

次いで、ＣＰＵは、ステップ２５０に進み、ＲＡＭに格納されている自車線用の信号機（厳密には、自車両から最も近い位置に存在する信号機）の信号機情報（即ち、信号機までの距離及び信号灯の色）に基づいて、駆動装置３０及び／又は制動装置４０を制御して自車両を加減速制御する。なお、ステップ２４５及びステップ２５０の処理の順序は問わない。その後、ＣＰＵは、ステップ２５５に進んで図２に示す処理を一旦終了する。 Next, the CPU proceeds to step 250, where the traffic signal information (i.e., the distance to the traffic signal and the number of traffic lights) of the traffic signal for the own lane (strictly speaking, the closest traffic signal from the own vehicle) stored in the RAM. color), the driving device 30 and/or the braking device 40 are controlled to control the acceleration and deceleration of the own vehicle. Note that the order of the processing of steps 245 and 250 does not matter. After that, the CPU proceeds to step 255 and once terminates the processing shown in FIG.

以上説明したように、本実施装置は、Ｌｉｄａｒセンサ１２により取得された三次元点群情報に基づいて信号機の存在有無を判定する。三次元点群情報は周囲の明るさに関わらず取得可能である。加えて、三次元点群情報は、立体物の相対位置及び形状を含む三次元の情報である。このため、二次元の撮像画像に基づいて信号機を認識する構成と比較して、弱光環境においても信号機を精度良く認識でき、信号機を誤検出したり誤選択したりする可能性を大幅に低減できる。この構成によれば、弱光環境においても自車線用の信号機を適切に認識することが可能となる。 As described above, the apparatus of this embodiment determines whether or not there is a traffic light based on the three-dimensional point group information acquired by the lidar sensor 12 . 3D point cloud information can be obtained regardless of the brightness of the surroundings. In addition, the 3D point cloud information is 3D information including relative positions and shapes of solid objects. Compared to systems that recognize traffic lights based on two-dimensional captured images, this technology enables accurate recognition of traffic lights even in low-light environments, greatly reducing the possibility of misdetection or misselection of traffic lights. can. According to this configuration, it is possible to appropriately recognize the traffic light for the own lane even in a weak light environment.

特に、本実施装置は、三次元点群情報に含まれる全ての立体物について当該立体物が信号機であるか否かを判定するのではなく、まず、画像データに基づいて灯火領域を抽出し、灯火領域に信号機が存在するか否かを判定するように構成されている。これは、信号灯は灯火の一種であるため、灯火領域以外の領域に存在する可能性は極めて低いという知見に基づいている。この構成によれば、信号機が存在するか否かの判定対象となる立体物の数を大幅に低減できるため、信号機の認識精度を低下させることなく処理負荷を軽減することができる。 In particular, the apparatus of this embodiment does not determine whether or not all three-dimensional objects included in the three-dimensional point group information are traffic lights, but first extracts the lighting region based on the image data, It is configured to determine whether or not there is a traffic light in the lighting area. This is based on the knowledge that signal lights are a kind of lights, and therefore the possibility of them existing in areas other than the lighting area is extremely low. According to this configuration, the number of three-dimensional objects to be determined as to whether or not a traffic signal exists can be greatly reduced, so the processing load can be reduced without lowering the recognition accuracy of the traffic signal.

更に、本実施装置は、認識した信号機に基づいて車両を加減速制御するように構成されている。三次元点群情報によれば、信号機までの距離を正確に演算できる。このため、複数の信号機を認識した場合、信号機までの距離に基づいて信号機に遭遇するタイミングを正確に演算できる。従って、信号機までの距離及び信号灯の色に基づいて、加減速制御の制御タイミング及び制御量を適切に演算することができる。 Further, the embodiment device is configured to control the acceleration and deceleration of the vehicle based on the recognized traffic signal. According to the three-dimensional point group information, it is possible to accurately calculate the distance to the traffic light. Therefore, when a plurality of traffic lights are recognized, the timing of encountering the traffic lights can be accurately calculated based on the distance to the traffic lights. Therefore, the control timing and control amount of the acceleration/deceleration control can be calculated appropriately based on the distance to the traffic light and the color of the traffic light.

以上、本実施形態に係る信号機認識装置について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の目的を逸脱しない限り、種々の変更が可能である。 Although the traffic light recognition device according to the present embodiment has been described above, the present invention is not limited to the above embodiment, and various modifications are possible without departing from the object of the present invention.

例えば、信号機認識装置は、表示装置２０、駆動装置３０及び制動装置４０を含まないように構成されてもよい。この場合、ＥＣＵ１０は、表示装置２０、駆動装置３０及び制動装置４０をそれぞれ制御可能なＥＣＵに接続されており、ＥＣＵ１０での演算結果を各ＥＣＵに送信可能に構成され得る。 For example, the traffic light recognition device may be configured not to include the display device 20, the driving device 30 and the braking device 40. FIG. In this case, the ECU 10 is connected to ECUs capable of controlling the display device 20, the driving device 30, and the braking device 40, respectively, and can be configured to be able to transmit the computation results of the ECU 10 to each ECU.

１０：信号機認識ＥＣＵ、１１：カメラセンサ、１２：Ｌｉｄａｒセンサ、２０：表示装置、３０：駆動装置、４０：制動装置 10: Traffic light recognition ECU, 11: Camera sensor, 12: Lidar sensor, 20: Display device, 30: Driving device, 40: Braking device

Claims (3)

車両に搭載され、
前記車両の前方領域を撮像することにより画像データを取得可能な撮像装置と、
前記車両の前記前方領域を含む所定の範囲に光を照射し、当該範囲内に存在する立体物からの反射波を受光することにより当該立体物の相対位置及び形状を含む立体物情報を取得可能な光照射装置と、
前記画像データに基づいて、灯火が存在する可能性がある領域を灯火領域として抽出し、
前記立体物情報に基づいて、前記灯火領域に信号機が存在するか否かを判定し、
前記灯火領域に信号機が存在すると判定した場合、前記立体物情報に基づいて、前記信号機が自車線用の信号機であるか否かを判定する、
ように構成された制御ユニットと、
を備える、
信号機認識装置。 mounted on the vehicle
an imaging device capable of acquiring image data by imaging an area in front of the vehicle;
Three-dimensional object information including the relative position and shape of the three-dimensional object can be obtained by irradiating a predetermined range including the front area of the vehicle with light and receiving reflected waves from the three-dimensional object existing within the range. a light irradiation device,
Based on the image data, an area in which lights may exist is extracted as a light area,
determining whether or not a traffic light exists in the lighting area based on the three-dimensional object information;
If it is determined that a traffic signal exists in the lighting area, based on the three-dimensional object information, it is determined whether or not the traffic signal is for the own lane.
a control unit configured to
comprising
Traffic light recognition device. 請求項１に記載の信号機認識装置であって、
様々な種類の信号機の筐体の形状を含む筐体情報を予め記憶している記憶装置を更に備え、
前記制御ユニットは、
前記立体物情報に含まれる立体物のうち前記灯火領域に対応する領域に含まれる立体物の、信号機の筐体に対する近似度を前記筐体情報に基づいて演算し、当該近似度が所定の近似度閾値以上の場合に前記灯火領域に信号機が存在すると判定する、
ように構成された、
信号機認識装置。 The traffic light recognition device according to claim 1,
Further comprising a storage device pre-stored housing information including housing shapes of various types of traffic lights,
The control unit is
A degree of approximation of a three-dimensional object included in a region corresponding to the lighting region among three-dimensional objects included in the three-dimensional object information to a housing of the traffic light is calculated based on the housing information, and the degree of approximation is a predetermined approximation. determining that there is a traffic light in the lighting area when the degree is equal to or greater than the degree threshold;
configured as
Traffic light recognition device. 請求項１又は請求項２に記載の信号機認識装置において、
前記光照射装置は、三次元Ｌｉｄａｒである、
信号機認識装置。 In the traffic light recognition device according to claim 1 or claim 2,
The light irradiation device is a three-dimensional Lidar,
Traffic light recognition device.

Images