JP6939919B2

JP6939919B2 - Recognition device, recognition method and program

Info

Publication number: JP6939919B2
Application number: JP2020004695A
Authority: JP
Inventors: 関　海克; 海克関
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2015-04-02
Filing date: 2020-01-15
Publication date: 2021-09-22
Anticipated expiration: 2035-09-02
Also published as: JP2020064681A; JP6679857B2; JP2016197388A

Description

本発明は認識装置、認識方法及びプログラムに関する。 The present invention relates to a recognition device, a recognition method and a program.

車載カメラを利用して、運転者を支援したり、事故発生時の映像を記憶したりする技術が従来から知られている。例えば車載カメラを利用した運転者支援技術には、障害物の回避又は衝突時の衝撃を軽減する自動ブレーキ機能、及び、先行車両との車間距離の維持等を警告する警報機能等がある。 Techniques for assisting drivers and storing images when an accident occurs by using an in-vehicle camera have been conventionally known. For example, driver assistance technology using an in-vehicle camera includes an automatic braking function that avoids obstacles or reduces the impact at the time of a collision, and an alarm function that warns of maintaining the distance between the vehicle and the preceding vehicle.

また例えば特許文献１には、信号機の信号の色と、信号の形状と、を同じ被写体が撮影された２枚の画像から別々に認識することにより、精度良く画像から信号機の信号を認識する発明が開示されている。 Further, for example, Patent Document 1 describes an invention in which a signal of a traffic light is recognized accurately from an image by separately recognizing the color of the signal of the traffic light and the shape of the signal from two images of the same subject. Is disclosed.

しかしながら従来の技術では、信号機の信号領域の色及び形状と類似する物体を、信号機の信号領域として誤認識する可能性があった。 However, in the conventional technique, there is a possibility that an object similar in color and shape to the signal region of the traffic light may be erroneously recognized as the signal region of the traffic light.

本発明は、上記に鑑みてなされたものであって、画像情報から信号機の信号領域をより正確に認識できる認識装置、認識方法及びプログラムを提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide a recognition device, a recognition method, and a program capable of more accurately recognizing a signal region of a traffic light from image information.

上述した課題を解決し、目的を達成するために、本発明は、車両の周囲の画像情報を取得する画像取得部と、前記車両の位置を示す位置情報を取得する位置取得部と、前記位置情報から特定される地域の信号機を認識するための認識情報を選択する選択部と、前記認識情報に基づいて前記画像情報から前記信号機の信号の形状を示す信号形状領域を認識する認識部と、前記認識情報に基づいて前記信号形状領域が前記信号機の信号を示す信号領域であるか否かを判定する判定部と、を備え、前記認識情報は、前記信号領域の周辺領域の特徴を示す特徴情報を含み、前記特徴情報は、前記信号領域の周辺領域の輝度の情報を含み、前記判定部は、前記信号形状領域の周辺領域の輝度が、前記信号領域の周辺領域の輝度の範囲に含まれる場合、前記信号形状領域が前記信号領域であると判定する。 In order to solve the above-mentioned problems and achieve the object, the present invention has an image acquisition unit that acquires image information around the vehicle, a position acquisition unit that acquires position information indicating the position of the vehicle, and the position. A selection unit that selects recognition information for recognizing a signal in an area specified from the information, and a recognition unit that recognizes a signal shape region indicating the shape of the signal of the signal from the image information based on the recognition information. The recognition information includes a determination unit for determining whether or not the signal shape region is a signal region indicating a signal of the signal device based on the recognition information, and the recognition information is a feature indicating a feature of a peripheral region of the signal region. The feature information includes information, and the feature information includes information on the brightness of the peripheral region of the signal region, and the determination unit includes the brightness of the peripheral region of the signal shape region within the range of the brightness of the peripheral region of the signal region. If so, it is determined that the signal shape region is the signal region .

本発明によれば、画像情報から信号機の信号領域をより正確に認識できるという効果を奏する。 According to the present invention, there is an effect that the signal region of the traffic light can be recognized more accurately from the image information.

図１は第１実施形態の認識装置が搭載された車両の例を示す図である。FIG. 1 is a diagram showing an example of a vehicle equipped with the recognition device of the first embodiment. 図２は第１実施形態の認識装置の構成の例を示す図である。FIG. 2 is a diagram showing an example of the configuration of the recognition device of the first embodiment. 図３は信号機を含む画像情報の例１を示す図である。FIG. 3 is a diagram showing Example 1 of image information including a traffic light. 図４は信号機を含む画像情報の例２を示す図である。FIG. 4 is a diagram showing Example 2 of image information including a traffic light. 図５は赤信号画素の（Ｕ，Ｖ）分布の例を示す図である。FIG. 5 is a diagram showing an example of the (U, V) distribution of red signal pixels. 図６は青信号画素の（Ｕ，Ｖ）分布の例を示す図である。FIG. 6 is a diagram showing an example of the (U, V) distribution of green light pixels. 図７は黄信号画素の（Ｕ，Ｖ）分布の例を示す図である。FIG. 7 is a diagram showing an example of the (U, V) distribution of yellow signal pixels. 図８は第１実施形態の青信号画素の領域の例を示す図である。FIG. 8 is a diagram showing an example of a region of green light pixels of the first embodiment. 図９は第１実施形態の青信号画素の膨張領域の例を示す図である。FIG. 9 is a diagram showing an example of an expansion region of the green light pixel of the first embodiment. 図１０は第１実施形態の青信号形状領域の例を示す図である。FIG. 10 is a diagram showing an example of a green light shape region of the first embodiment. 図１１は第１実施形態の矩形領域の例を示す図である。FIG. 11 is a diagram showing an example of a rectangular region of the first embodiment. 図１２は第１実施形態の周辺領域の例を示す図である。FIG. 12 is a diagram showing an example of a peripheral region of the first embodiment. 図１３は第１実施形態の青信号の認識結果の例を示す図である。FIG. 13 is a diagram showing an example of the recognition result of the green light of the first embodiment. 図１４は第１実施形態の認識方法の例を示すフローチャートである。FIG. 14 is a flowchart showing an example of the recognition method of the first embodiment. 図１５は第１実施形態の画像取得部のハードウェア構成の例を示す図である。FIG. 15 is a diagram showing an example of the hardware configuration of the image acquisition unit of the first embodiment. 図１６は第２実施形態の青信号形状領域の周辺領域の例を示す図である。FIG. 16 is a diagram showing an example of a peripheral region of the green light shape region of the second embodiment. 図１７は第２実施形態の赤信号形状領域の周辺領域の例を示す図である。FIG. 17 is a diagram showing an example of a peripheral region of the red traffic light shape region of the second embodiment. 図１８は第２実施形態の青信号形状領域の周辺領域の例を示す図である。FIG. 18 is a diagram showing an example of a peripheral region of the green light shape region of the second embodiment. 図１９は第２実施形態の赤信号形状領域の周辺領域の例を示す図である。FIG. 19 is a diagram showing an example of a peripheral region of the red traffic light shape region of the second embodiment. 図２０は第２実施形態の青信号形状領域の周辺領域の位置及びサイズを決定する方法の例を説明するための図である。FIG. 20 is a diagram for explaining an example of a method of determining the position and size of the peripheral region of the green light shape region of the second embodiment.

以下に添付図面を参照して、認識装置、認識方法及びプログラムの実施形態を詳細に説明する。 The recognition device, the recognition method, and the embodiment of the program will be described in detail with reference to the accompanying drawings.

（第１実施形態）
図１は第１実施形態の認識装置１００が搭載された車両２００の例を示す図である。第１実施形態の認識装置１００は、車両２００のフロントガラスのバックミラー付近に設置される。第１実施形態の認識装置１００は、画像認識処理によって画像情報から信号機３００の信号を示す信号領域を認識する。 (First Embodiment)
FIG. 1 is a diagram showing an example of a vehicle 200 equipped with the recognition device 100 of the first embodiment. The recognition device 100 of the first embodiment is installed near the rear-view mirror of the windshield of the vehicle 200. The recognition device 100 of the first embodiment recognizes a signal region indicating a signal of the traffic light 300 from image information by image recognition processing.

図２は第１実施形態の認識装置１００の構成の例を示す図である。第１実施形態の認識装置１００は、画像取得部１０、位置取得部１１及び信号処理部２０を備える。信号処理部２０は、インタフェース部２１、選択部２２、記憶部２３、認識部２４、判定部２５及び出力部２６を備える。 FIG. 2 is a diagram showing an example of the configuration of the recognition device 100 of the first embodiment. The recognition device 100 of the first embodiment includes an image acquisition unit 10, a position acquisition unit 11, and a signal processing unit 20. The signal processing unit 20 includes an interface unit 21, a selection unit 22, a storage unit 23, a recognition unit 24, a determination unit 25, and an output unit 26.

画像取得部１０は、（Ｒ，Ｇ，Ｂ）色空間により表現されたカラーの画像情報を取得する。画像取得部１０は当該画像情報をインタフェース部２１に入力する。画像取得部１０は、例えば車両２００の周囲を撮影するカメラである。 The image acquisition unit 10 acquires image information of the color represented by the (R, G, B) color space. The image acquisition unit 10 inputs the image information to the interface unit 21. The image acquisition unit 10 is, for example, a camera that photographs the surroundings of the vehicle 200.

位置取得部１１は車両２００の位置を示す位置情報を取得し、当該位置情報をインタフェース部２１に入力する。位置情報は、例えばＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）情報、及び、車両２００の位置を示す地図の座標情報等である。 The position acquisition unit 11 acquires position information indicating the position of the vehicle 200, and inputs the position information to the interface unit 21. The position information includes, for example, GPS (Global Positioning System) information, coordinate information of a map showing the position of the vehicle 200, and the like.

インタフェース部２１は、画像取得部１０から画像情報を受け付けると、当該画像情報を、認識部２４が時系列の連続画像フレームとして受け付け可能な情報形式に変換する。インタフェース部２１は情報形式が変換された画像情報を認識部２４に入力する。 When the interface unit 21 receives the image information from the image acquisition unit 10, the interface unit 21 converts the image information into an information format that the recognition unit 24 can accept as a time-series continuous image frame. The interface unit 21 inputs the image information whose information format has been converted to the recognition unit 24.

またインタフェース部２１は、位置取得部１１から位置情報を受け付けると、当該位置情報を選択部２２に入力する。 When the interface unit 21 receives the position information from the position acquisition unit 11, the interface unit 21 inputs the position information to the selection unit 22.

選択部２２は、インタフェース部２１から位置情報を受け付けると、当該位置情報から地域を特定する。そして選択部２２は、特定された地域の信号機３００を認識するための認識情報を、記憶部２３に記憶されている１以上の認識情報から選択する。選択部２２は当該認識情報を認識部２４及び判定部２５に入力する。 When the selection unit 22 receives the position information from the interface unit 21, the selection unit 22 identifies the area from the position information. Then, the selection unit 22 selects the recognition information for recognizing the traffic light 300 in the specified area from one or more recognition information stored in the storage unit 23. The selection unit 22 inputs the recognition information to the recognition unit 24 and the determination unit 25.

記憶部２３は情報を記憶する。記憶部２３は、例えば認識情報を地域毎に記憶する。信号機３００の信号の形状及び信号の色は、地域によって異なる。例えば信号機３００の形状は、地域によって横型の場合と縦型の場合とがある。 The storage unit 23 stores information. The storage unit 23 stores, for example, recognition information for each region. The shape and color of the signal of the traffic light 300 vary from region to region. For example, the shape of the traffic light 300 may be horizontal or vertical depending on the area.

図３は信号機３００ａを含む画像情報の例１を示す図である。図３の例は、信号の配列が横型の場合の信号機３００ａを示す。青信号領域１０１は青信号を示す領域である。例えば日本では、横型の信号機３００ａが一般的である。 FIG. 3 is a diagram showing Example 1 of image information including a traffic light 300a. The example of FIG. 3 shows a traffic light 300a when the signal arrangement is horizontal. The green light area 101 is an area showing a green light. For example, in Japan, a horizontal traffic light 300a is common.

図４は信号機３００ｂを含む画像情報の例２を示す図である。図４の例は、信号の配列が縦型の場合の信号機３００ｂを示す。青信号領域４０１は青信号を示す領域である。例えばアメリカでは、縦型の信号機３００ｂが一般的である。なお日本でも、積雪量の多い地域では縦型の信号機３００ｂが設置されている。 FIG. 4 is a diagram showing Example 2 of image information including a traffic light 300b. The example of FIG. 4 shows a traffic light 300b when the signal arrangement is vertical. The green light area 401 is an area showing a green light. For example, in the United States, a vertical traffic light 300b is common. Even in Japan, vertical traffic lights 300b are installed in areas with heavy snowfall.

認識情報は、位置情報から特定される地域の信号機３００を認識するための情報である。認識情報は、信号画素を判定する色情報、及び、信号形状領域の周辺領域の特徴情報を含む。信号形状領域は信号機３００の信号の形状を示す領域である。信号形状領域の周辺領域の特徴情報の説明は、表１及び図１２を参照して後述する。 The recognition information is information for recognizing the traffic light 300 in the area specified from the position information. The recognition information includes color information for determining a signal pixel and feature information of a peripheral region of the signal shape region. The signal shape region is a region showing the shape of the signal of the traffic light 300. The description of the feature information of the peripheral region of the signal shape region will be described later with reference to Table 1 and FIG.

信号画素を判定する色情報は、例えば赤信号画素を判定する閾値、青信号画素を判定する閾値、及び、黄信号画素を判定する閾値を含む。 The color information for determining the signal pixel includes, for example, a threshold value for determining the red signal pixel, a threshold value for determining the green signal pixel, and a threshold value for determining the yellow signal pixel.

赤信号画素は赤信号の色を示す画素である。赤信号画素を判定する閾値は、Ｕの閾値（Ｕｒ−ｍｉｎ及びＵｒ−ｍａｘ）及びＶの閾値（Ｖｒ−ｍｉｎ及びＶｒ−ｍａｘ）である。この閾値は、赤信号画素の（Ｕ，Ｖ）分布に基づいて決定される。 The red signal pixel is a pixel indicating the color of the red signal. The thresholds for determining the red light pixel are the U thresholds (Ur-min and Ur-max) and the V thresholds (Vr-min and Vr-max). This threshold is determined based on the (U, V) distribution of red light pixels.

図５は赤信号画素の（Ｕ，Ｖ）分布の例を示す図である。図５の例は、赤信号が撮影された複数の画像サンプルの（Ｒ，Ｇ，Ｂ）色空間の画素情報から得られた赤信号画素の（Ｕ，Ｖ）分布を示す。なおＵの閾値（Ｕｒ−ｍｉｎ及びＵｒ−ｍａｘ）及びＶの閾値（Ｖｒ−ｍｉｎ及びＶｒ−ｍａｘ）の具体的な値は任意に決定してよい。しかしながら当該閾値の範囲が広すぎると、赤信号の色でない画素を検出する可能性も高くなるので、赤信号でない画素の（Ｕ，Ｖ）値と重ならないように当該閾値を設定する。 FIG. 5 is a diagram showing an example of the (U, V) distribution of red signal pixels. The example of FIG. 5 shows the (U, V) distribution of the red signal pixels obtained from the pixel information in the (R, G, B) color space of a plurality of image samples in which the red signal was captured. The specific values of the U threshold value (Ur-min and Ur-max) and the V threshold value (Vr-min and Vr-max) may be arbitrarily determined. However, if the range of the threshold value is too wide, the possibility of detecting a pixel that is not the color of the red signal is high, so the threshold value is set so as not to overlap with the (U, V) value of the pixel that is not the red signal.

青信号画素は青信号の色を示す画素である。青信号画素を判定する閾値は、Ｕの閾値（Ｕｂ−ｍｉｎ及びＵｂ−ｍａｘ）及びＶの閾値（Ｖｂ−ｍｉｎ及びＶｂ−ｍａｘ）である。この閾値は、青信号画素の（Ｕ，Ｖ）分布に基づいて決定される。 The green signal pixel is a pixel indicating the color of the green signal. The thresholds for determining the green light pixel are the U threshold (Ub-min and Ub-max) and the V threshold (Vb-min and Vb-max). This threshold is determined based on the (U, V) distribution of green light pixels.

図６は青信号画素の（Ｕ，Ｖ）分布の例を示す図である。図６の例は、青信号が撮影された複数の画像サンプルの（Ｒ，Ｇ，Ｂ）色空間の画素情報から得られた青信号画素の（Ｕ，Ｖ）分布を示す。なおＵの閾値（Ｕｂ−ｍｉｎ及びＵｂ−ｍａｘ）及びＶの閾値（Ｖｂ−ｍｉｎ及びＶｂ−ｍａｘ）の具体的な値は任意に決定してよい。しかしながら当該閾値の範囲が広すぎると、青信号の色でない画素を検出する可能性も高くなるので、青信号でない画素の（Ｕ，Ｖ）値と重ならないように当該閾値を設定する。 FIG. 6 is a diagram showing an example of the (U, V) distribution of green light pixels. The example of FIG. 6 shows the (U, V) distribution of the green signal pixels obtained from the pixel information in the (R, G, B) color space of a plurality of image samples in which the green signal was captured. The specific values of the U threshold value (Ub-min and Ub-max) and the V threshold value (Vb-min and Vb-max) may be arbitrarily determined. However, if the range of the threshold value is too wide, the possibility of detecting a pixel that is not the color of the green signal is high. Therefore, the threshold value is set so as not to overlap with the (U, V) value of the pixel that is not the green signal.

黄信号画素は黄信号の色を示す画素である。黄信号画素を判定する閾値は、Ｕの閾値（Ｕｙ−ｍｉｎ及びＵｙ−ｍａｘ）及びＶの閾値（Ｖｙ−ｍｉｎ及びＶｙ−ｍａｘ）である。この閾値は、黄信号画素の（Ｕ，Ｖ）分布に基づいて決定される。 The yellow traffic light pixel is a pixel indicating the color of the yellow traffic light. The thresholds for determining the yellow signal pixel are the U threshold (Uy-min and Uy-max) and the V threshold (Vy-min and Vy-max). This threshold is determined based on the (U, V) distribution of yellow signal pixels.

図７は黄信号画素の（Ｕ，Ｖ）分布の例を示す図である。図７の例は、黄信号が撮影された複数の画像サンプルの（Ｒ，Ｇ，Ｂ）色空間の画素情報から得られた黄信号画素の（Ｕ，Ｖ）分布を示す。なおＵの閾値（Ｕｙ−ｍｉｎ及びＵｙ−ｍａｘ）及びＶの閾値（Ｖｙ−ｍｉｎ及びＶｙ−ｍａｘ）の具体的な値は任意に決定してよい。しかしながら当該閾値の範囲が広すぎると、黄信号の色でない画素を検出する可能性も高くなるので、黄信号でない画素の（Ｕ，Ｖ）値と重ならないように当該閾値を設定する。 FIG. 7 is a diagram showing an example of the (U, V) distribution of yellow signal pixels. The example of FIG. 7 shows the (U, V) distribution of the yellow signal pixels obtained from the pixel information in the (R, G, B) color space of a plurality of image samples in which the yellow signal was captured. The specific values of the U threshold value (Uy-min and Uy-max) and the V threshold value (Vy-min and Vy-max) may be arbitrarily determined. However, if the range of the threshold value is too wide, the possibility of detecting a pixel that is not the color of the yellow signal is high. Therefore, the threshold value is set so as not to overlap with the (U, V) value of the pixel that is not the yellow signal.

以下の説明では、選択部２２により、信号機３００ａ（図３参照）の信号を認識するための認識情報が選択された場合を例にして具体的に説明する。 In the following description, a case where the recognition information for recognizing the signal of the traffic light 300a (see FIG. 3) is selected by the selection unit 22 will be specifically described as an example.

図２に戻り、認識部２４は、インタフェース部２１から画像情報を受け付け、選択部２２から認識情報を受け付ける。認識部２４は、認識情報に基づいて信号形状領域を認識する。具体的には、まず認識部２４は、（Ｒ，Ｇ，Ｂ）色空間の画像情報を、次式（１）を使用して、（Ｙ，Ｕ，Ｖ）色空間の画像情報に変換する。 Returning to FIG. 2, the recognition unit 24 receives the image information from the interface unit 21 and the recognition information from the selection unit 22. The recognition unit 24 recognizes the signal shape region based on the recognition information. Specifically, first, the recognition unit 24 converts the image information in the (R, G, B) color space into the image information in the (Y, U, V) color space using the following equation (1). ..

次に認識部２４は（Ｙ，Ｕ，Ｖ）色空間の画像情報の（Ｕ，Ｖ）値が、認識情報に含まれる赤信号画素を判定する閾値の範囲に含まれる場合、当該（Ｕ，Ｖ）値を有する画素を赤信号画素と認識する。同様に、認識部２４は（Ｙ，Ｕ，Ｖ）色空間の画像情報の（Ｕ，Ｖ）値が、認識情報に含まれる青信号画素を判定する閾値の範囲に含まれる場合、当該（Ｕ，Ｖ）値を有する画素を青信号画素と認識する。また認識部２４は（Ｙ，Ｕ，Ｖ）色空間の画像情報の（Ｕ，Ｖ）値が、認識情報に含まれる黄信号画素を判定する閾値の範囲に含まれる場合、当該（Ｕ，Ｖ）値を有する画素を黄信号画素と認識する。 Next, when the (U, V) value of the image information in the (Y, U, V) color space is included in the threshold range for determining the red signal pixel included in the recognition information, the recognition unit 24 said (U, U, V). V) A pixel having a value is recognized as a red signal pixel. Similarly, when the (U, V) value of the image information in the (Y, U, V) color space is included in the threshold range for determining the green light pixel included in the recognition information, the recognition unit 24 said (U, U, V). V) A pixel having a value is recognized as a green light pixel. Further, when the (U, V) value of the image information in the (Y, U, V) color space is included in the threshold range for determining the yellow signal pixel included in the recognition information, the recognition unit 24 said (U, V). ) A pixel having a value is recognized as a yellow signal pixel.

以下、認識部２４により、青信号画素が認識された場合を例にして具体的に説明する。なお赤信号画素及び黄信号画素の場合も青信号画素の場合と同様である。 Hereinafter, a case where the green light pixel is recognized by the recognition unit 24 will be specifically described as an example. The case of the red signal pixel and the case of the yellow signal pixel is the same as that of the green signal pixel.

図８は第１実施形態の青信号画素の領域１０２の例を示す図である。図８の青信号画素の領域１０２の大きさは、実際の青信号領域１０１（図３参照）の大きさよりも小さい。すなわち図８の例は、本来、青信号の領域として認識されるべき領域が、ノイズ画素の影響により青信号画素として認識されなかった場合を示す。ノイズ画素は、撮影時の周囲の状況に起因するノイズ画素、撮像素子の特性に起因するノイズ画素、及び、撮像素子表面に付着したゴミに起因するノイズ画素等である。撮影時の周囲の状態に起因するノイズ画素は、画像取得部１０により信号機３００が撮影された際に、例えば太陽光等の光により反射していた青信号の領域の画素である。撮像素子の特性に起因するノイズ画素は、例えばランダムノイズの影響を受けた画素である。 FIG. 8 is a diagram showing an example of the area 102 of the green light pixel of the first embodiment. The size of the green light pixel region 102 in FIG. 8 is smaller than the size of the actual green light region 101 (see FIG. 3). That is, the example of FIG. 8 shows a case where a region that should be originally recognized as a green signal region is not recognized as a green signal pixel due to the influence of noise pixels. The noise pixels include noise pixels caused by the surrounding conditions at the time of shooting, noise pixels caused by the characteristics of the image sensor, noise pixels caused by dust adhering to the surface of the image sensor, and the like. The noise pixel due to the ambient state at the time of shooting is a pixel in the region of the green signal that was reflected by light such as sunlight when the traffic light 300 was shot by the image acquisition unit 10. The noise pixel due to the characteristics of the image sensor is, for example, a pixel affected by random noise.

図２に戻り、次に認識部２４は青信号画素の領域１０２を膨張させる膨張処理を行う。具体的には、認識部２４は青信号画素の領域１０２の画素毎に、当該画素を複数の画素により被覆することにより、青信号画素の領域１０２を青信号画素の膨張領域に膨張させる。認識部２４は、例えばｎ×ｎ（ｎは１以上の整数）のブロック画素により各画素を被覆する。例えばｎ＝７の場合、青信号画素の領域１０２の各画素を、当該画素の周囲の４８個（７×７−１）の画素を更に含む青信号画素の膨張領域に膨張させる。 Returning to FIG. 2, the recognition unit 24 then performs an expansion process for expanding the area 102 of the green light pixel. Specifically, the recognition unit 24 expands the green signal pixel region 102 into an expansion region of the green signal pixel by covering the pixel with a plurality of pixels for each pixel of the green signal pixel region 102. The recognition unit 24 covers each pixel with, for example, n × n (n is an integer of 1 or more) block pixels. For example, when n = 7, each pixel of the green signal pixel region 102 is expanded into an expansion region of the green signal pixel further including 48 (7 × 7-1) pixels around the pixel.

図９は第１実施形態の青信号画素の膨張領域１０３の例を示す図である。図９の例は、認識部２４が、認識部２４により認識された青信号画素の領域１０２に、膨張処理を行ったことにより、本来の青信号の形状を示す青信号形状領域１０４を含む青信号画素の膨張領域１０３が得られた場合を示す。 FIG. 9 is a diagram showing an example of the expansion region 103 of the green light pixel of the first embodiment. In the example of FIG. 9, the recognition unit 24 expands the green signal pixel region 102 recognized by the recognition unit 24 to expand the green signal pixel including the green signal shape region 104 showing the original green signal shape. The case where the region 103 is obtained is shown.

図２に戻り、次に認識部２４は青信号の形状を示す青信号形状領域１０４の形状を認識する形状認識処理を行う。具体的には、認識部２４は、青信号画素の領域１０２をハフ（Ｈｏｕｇｈ）変換することにより、青信号画素の膨張領域１０３内で円形の画素領域を認識できるか否かを判定する。円形の画素領域を認識できる場合、認識部２４は当該円形の画素領域が信号機３００の青信号の形状を示す青信号形状領域１０４であることを認識する。 Returning to FIG. 2, the recognition unit 24 then performs a shape recognition process for recognizing the shape of the green signal shape region 104 indicating the shape of the green signal. Specifically, the recognition unit 24 determines whether or not a circular pixel region can be recognized within the expansion region 103 of the green signal pixel by performing a Hough transform on the green signal pixel region 102. When the circular pixel region can be recognized, the recognition unit 24 recognizes that the circular pixel region is the green signal shape region 104 indicating the shape of the green signal of the traffic light 300.

図１０は第１実施形態の青信号形状領域１０４の例を示す図である。図１０の例は、青信号画素の領域１０２（図８参照）がハフ変換されることにより、円形の画素領域として青信号形状領域１０４が認識された場合の例を示す。 FIG. 10 is a diagram showing an example of the green light shape region 104 of the first embodiment. The example of FIG. 10 shows an example in which the green signal shape region 104 is recognized as a circular pixel region by Hough transforming the green signal pixel region 102 (see FIG. 8).

図２に戻り、次に認識部２４は青信号形状領域１０４に外接する矩形領域を認識する。 Returning to FIG. 2, the recognition unit 24 then recognizes the rectangular region circumscribing the green light shape region 104.

図１１は第１実施形態の矩形領域１０５の例を示す図である。図１１の例は、認識部２４が、円形の画素領域として認識された青信号形状領域１０４に外接する矩形領域１０５を認識する場合を示す。 FIG. 11 is a diagram showing an example of the rectangular region 105 of the first embodiment. The example of FIG. 11 shows a case where the recognition unit 24 recognizes a rectangular region 105 circumscribing the green signal shape region 104 recognized as a circular pixel region.

図２に戻り、次に認識部２４は矩形領域１０５を示す情報を判定部２５に入力する。 Returning to FIG. 2, the recognition unit 24 then inputs information indicating the rectangular area 105 to the determination unit 25.

判定部２５は、選択部２２から認識情報を受け付け、認識部２４から矩形領域１０５を示す情報を受け付ける。判定部２５は、矩形領域１０５に内接する青信号形状領域１０４が、信号機３００ａの青信号領域１０１であるか否かを、当該認識情報に基づいて判定する。具体的には、判定部２５は、青信号形状領域１０４の周辺領域の特徴情報と、当該認識情報に含まれる信号機３００ａの青信号領域１０１の周辺領域の特徴情報と、が類似する場合、当該青信号形状領域１０４を信号機３００ａの青信号領域１０１であると判定する。 The determination unit 25 receives recognition information from the selection unit 22, and receives information indicating the rectangular area 105 from the recognition unit 24. The determination unit 25 determines whether or not the green signal shape region 104 inscribed in the rectangular region 105 is the green signal region 101 of the traffic light 300a based on the recognition information. Specifically, when the determination unit 25 has similar characteristic information of the peripheral region of the green signal shape region 104 and the characteristic information of the peripheral region of the green signal region 101 of the traffic light 300a included in the recognition information, the determination unit 25 has the green signal shape. It is determined that the area 104 is the green light area 101 of the traffic light 300a.

ここで信号領域の周辺領域の特徴を示す特徴情報の例について説明する。 Here, an example of feature information indicating the features of the peripheral region of the signal region will be described.

表１は信号機３００ａの特徴情報の例を示す。 Table 1 shows an example of the feature information of the traffic light 300a.

特徴情報は信号の種類毎に、位置、サイズ及び平均輝度範囲を含む。例えば青信号領域１０１の周辺領域の位置は、（Ｘ−ｘ１，Ｙ−ｙ１）である。また青信号領域１０１の周辺領域のサイズは、（Ｗ１，Ｈ１）である。ここで周辺領域の位置及びサイズについて説明する。 The feature information includes the position, size and average luminance range for each type of signal. For example, the position of the peripheral region of the green light region 101 is (X-x1, Y-y1). The size of the peripheral region of the green light region 101 is (W1, H1). Here, the position and size of the peripheral region will be described.

図１２は第１実施形態の周辺領域の例を示す図である。図１２は、青信号形状領域１０４の周辺領域１０６の特徴情報と、信号機３００ａの青信号領域１０１の周辺領域の特徴情報と、を比較する場合を示す。点Ｏの座標は（Ｘ，Ｙ）である。点Ｏは、矩形領域１０５に内接する円形の画素領域（青信号形状領域１０４）の中心を示す。また点Ｐの座標は（Ｘ−ｘ１，Ｙ−ｙ１）である。周辺領域１０６は、点Ｐ、幅Ｗ１及び高さＨ１により決定される。 FIG. 12 is a diagram showing an example of a peripheral region of the first embodiment. FIG. 12 shows a case where the feature information of the peripheral region 106 of the green signal shape region 104 is compared with the feature information of the peripheral region 101 of the green signal region 101 of the traffic light 300a. The coordinates of the point O are (X, Y). The point O indicates the center of a circular pixel region (green signal shape region 104) inscribed in the rectangular region 105. The coordinates of the point P are (X-x1, Y-y1). The peripheral region 106 is determined by a point P, a width W1 and a height H1.

また例えば青信号領域１０１の周辺領域の平均輝度範囲は、（Ｉｍｉｎ１，Ｉｍａｘ１）である。平均輝度範囲は、例えば信号機３００ａの筐体の色に基づいて決定される。判定部２５は、周辺領域１０６に含まれる領域１０７の平均輝度を算出し、当該平均輝度が、Ｉｍｉｎ１以上かつＩｍａｘ１以下である場合、青信号形状領域１０４を信号機３００ａの青信号領域１０１であると判定する。 Further, for example, the average luminance range of the peripheral region of the green light region 101 is (Imin1, Imax1). The average luminance range is determined, for example, based on the color of the housing of the traffic light 300a. The determination unit 25 calculates the average brightness of the area 107 included in the peripheral area 106, and determines that the green signal shape area 104 is the green signal area 101 of the traffic light 300a when the average brightness is Imin1 or more and Imax1 or less. ..

これにより例えば、赤信号の色と同じ赤色の看板の一部が木の枝葉に隠れ、枝葉を介して赤色の看板が見えている部分が円形になっているような画像領域が、赤信号領域として誤認識されることを防ぐことができる。 As a result, for example, an image area in which a part of the red signboard having the same color as the red light is hidden by the branches and leaves of the tree and the part where the red signboard is visible through the branches and leaves is circular is the red light area. It can be prevented from being misrecognized as.

図１３は第１実施形態の青信号の認識結果の例を示す図である。図１３の例は、図３に示す画像情報に含まれる信号機３００ａの青信号が、当該青信号領域１０１を含む矩形領域１０５として認識された場合を示す。 FIG. 13 is a diagram showing an example of the recognition result of the green light of the first embodiment. The example of FIG. 13 shows a case where the green signal of the traffic light 300a included in the image information shown in FIG. 3 is recognized as a rectangular region 105 including the green signal region 101.

図２に戻り、判定部２５は、青信号領域１０１を含む矩形領域１０５を示す認識結果情報を出力部２６に入力する。出力部２６は、判定部２５から認識結果情報を受け付けると、当該認識結果情報を出力する。認識結果情報は、例えばドライバーによる信号無視及び急発進等の危険運転の検知等の処理に使用される。 Returning to FIG. 2, the determination unit 25 inputs the recognition result information indicating the rectangular area 105 including the green light area 101 to the output unit 26. When the output unit 26 receives the recognition result information from the determination unit 25, the output unit 26 outputs the recognition result information. The recognition result information is used for processing such as detection of dangerous driving such as signal ignoring and sudden start by the driver.

次に第１実施形態の認識方法について説明する。 Next, the recognition method of the first embodiment will be described.

図１４は第１実施形態の認識方法の例を示すフローチャートである。なお信号が青信号、黄信号及び赤信号の場合の説明は同様なので、第１実施形態の認識方法の説明では、信号が青信号である場合を例にして説明する。信号機３００ａの青信号（図３参照）を認識する場合を例にして具体的に説明する。 FIG. 14 is a flowchart showing an example of the recognition method of the first embodiment. Since the description when the signal is a green signal, a yellow signal, and a red signal is the same, the case where the signal is a green signal will be described as an example in the description of the recognition method of the first embodiment. A case of recognizing a green light (see FIG. 3) of the traffic light 300a will be specifically described as an example.

はじめに、画像取得部１０が、車両２００の周囲を撮影し、（Ｒ，Ｇ，Ｂ）色空間により表現されたカラーの画像情報を取得する（ステップＳ１）。次に、認識部２４が、（Ｒ，Ｇ，Ｂ）色空間により表現されたカラーの画像情報を、上述の式（１）を使用して、（Ｙ，Ｕ，Ｖ）色空間の画像情報に変換する（ステップＳ２）。 First, the image acquisition unit 10 photographs the surroundings of the vehicle 200 and acquires color image information represented by the (R, G, B) color space (step S1). Next, the recognition unit 24 uses the above equation (1) to convert the color image information represented by the (R, G, B) color space into the image information in the (Y, U, V) color space. Is converted to (step S2).

また、位置取得部１１が、車両２００の位置を示す位置情報を取得する（ステップＳ３）。次に、選択部２２が、位置情報により特定された地域の信号機３００ａを認識するための認識情報を、記憶部２３に記憶されている１以上の認識情報から選択する（ステップＳ４）。 In addition, the position acquisition unit 11 acquires position information indicating the position of the vehicle 200 (step S3). Next, the selection unit 22 selects recognition information for recognizing the traffic light 300a in the area specified by the position information from one or more recognition information stored in the storage unit 23 (step S4).

次に、認識部２４が、（Ｙ，Ｕ，Ｖ）色空間の画像情報の（Ｕ，Ｖ）値が、認識情報に含まれる青信号画素を判定する閾値の範囲に含まれる場合、当該（Ｕ，Ｖ）値を有する画素を青信号画素と認識する（ステップＳ５）。次に、認識部２４が、ステップＳ５で認識された青信号画素の領域１０２を膨張させる（ステップＳ６）。 Next, when the recognition unit 24 includes the (U, V) value of the image information in the (Y, U, V) color space within the range of the threshold value for determining the green light pixel included in the recognition information, the (U, U, V) , V) A pixel having a value is recognized as a green light pixel (step S5). Next, the recognition unit 24 expands the area 102 of the green light pixel recognized in step S5 (step S6).

次に、認識部２４が、ステップＳ６の処理により得られた青信号画素の膨張領域１０３から青信号の形状を示す青信号形状領域１０４を認識できるか否かを判定する（ステップＳ７）。具体的には、認識部２４が、青信号画素の領域１０２をハフ変換することにより、青信号画素の膨張領域１０３内で円形の画素領域（青信号形状領域１０４）を認識できるか否かを判定する。 Next, the recognition unit 24 determines whether or not the green signal shape region 104 indicating the shape of the green signal can be recognized from the expansion region 103 of the green signal pixel obtained by the process of step S6 (step S7). Specifically, the recognition unit 24 determines whether or not the circular pixel region (green signal shape region 104) can be recognized in the expansion region 103 of the green signal pixel by Hough transforming the green signal pixel region 102.

青信号形状領域１０４を認識できる場合（ステップＳ７、Ｙｅｓ）、認識処理はステップＳ８に進む。青信号形状領域１０４を認識できない場合（ステップＳ７、Ｎｏ）、認識処理を終了する。 If the green light shape region 104 can be recognized (step S7, Yes), the recognition process proceeds to step S8. If the green light shape region 104 cannot be recognized (step S7, No), the recognition process ends.

次に、判定部２５が、青信号形状領域１０４の周辺領域の特徴情報と、ステップＳ４で選択された認識情報に含まれる信号機３００ａの青信号領域１０１の周辺領域の特徴情報と、が類似するか否かを判定する（ステップＳ８）。 Next, whether or not the determination unit 25 is similar to the feature information of the peripheral region of the green signal shape region 104 and the feature information of the peripheral region of the green signal region 101 of the traffic light 300a included in the recognition information selected in step S4. (Step S8).

類似する場合（ステップＳ８、Ｙｅｓ）、判定部２５が、ステップＳ７で認識された青信号形状領域１０４を、青信号領域１０１と判定する（ステップＳ９）。次に、出力部２６が、青信号領域１０１を含む矩形領域１０５を示す認識結果情報を出力する（ステップＳ１０）。類似しない場合（ステップＳ８、Ｎｏ）、認識処理を終了する。 If they are similar (step S8, Yes), the determination unit 25 determines the green signal shape region 104 recognized in step S7 as the green signal region 101 (step S9). Next, the output unit 26 outputs the recognition result information indicating the rectangular region 105 including the green light region 101 (step S10). If they are not similar (step S8, No), the recognition process ends.

次に第１実施形態の認識装置１００のハードウェア構成の例について説明する。 Next, an example of the hardware configuration of the recognition device 100 of the first embodiment will be described.

まず画像取得部１０のハードウェア構成の例について説明する。 First, an example of the hardware configuration of the image acquisition unit 10 will be described.

図１５は第１実施形態の画像取得部１０のハードウェア構成の例を示す図である。第１実施形態の画像取得部１０は、撮影光学系２０１、メカシャッタ２０２、モータドライバ２０３、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）２０４、ＣＤＳ（ＣｏｒｒｅｌａｔｅｄＤｏｕｂｌｅＳａｍｐｌｉｎｇ：相関２重サンプリング）回路２０５、Ａ／Ｄ変換器２０６、タイミング信号発生器２０７、画像処理回路２０８、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）２０９、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２１０、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２１１、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２１２、ＳＤＲＡＭ（ＳｙｎｃｈｒｏｎｏｕｓＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２１３、圧縮伸張回路２１４、メモリ２１５、操作部２１６及び出力Ｉ／Ｆ２１７を備える。 FIG. 15 is a diagram showing an example of the hardware configuration of the image acquisition unit 10 of the first embodiment. The image acquisition unit 10 of the first embodiment includes a photographing optical system 201, a mechanical shutter 202, a motor driver 203, a CCD (Charge Coupled Device) 204, a CDS (Correlated Double Sample) circuit 205, and an A / D converter. 206, Timing signal generator 207, Image processing circuit 208, LCD (Liquid Crystal Display) 209, CPU (Central Processing Unit) 210, RAM (Random Access Memory) 211, ROM (Read Only Memory) 212, SDRAM (SRAM) It includes an Access Memory) 213, a compression / expansion circuit 214, a memory 215, an operation unit 216, and an output I / F 217.

画像処理回路２０８、ＣＰＵ２１０、ＲＡＭ２１１、ＲＯＭ２１２、ＳＤＲＡＭ２１３、圧縮伸張回路２１４、メモリ２１５、操作部２１６及び出力Ｉ／Ｆ２１７はバス２２０を介して接続されている。 The image processing circuit 208, the CPU 210, the RAM 211, the ROM 212, the SDRAM 213, the compression / decompression circuit 214, the memory 215, the operation unit 216, and the output I / F 217 are connected via the bus 220.

撮影光学系２０１は被写体が反射した光を集光する。メカシャッタ２０２は所定の時間、開くことにより、撮影光学系２０１により集光された光をＣＣＤ２０４に入射させる。モータドライバ２０３は撮影光学系２０１及びメカシャッタ２０２を駆動する。 The photographing optical system 201 collects the light reflected by the subject. By opening the mechanical shutter 202 for a predetermined time, the light focused by the photographing optical system 201 is incident on the CCD 204. The motor driver 203 drives the photographing optical system 201 and the mechanical shutter 202.

ＣＣＤ２０４は、メカシャッタ２０２を介して入射した光を被写体の像として結像し、当該被写体の像を示すアナログの画像情報をＣＤＳ回路２０５に入力する。ＣＤＳ回路２０５は、ＣＣＤ２０４からアナログの画像情報を受け付けると、当該画像情報のノイズ成分を除去し、ノイズ成分が除去されたアナログの画像情報をＡ／Ｄ変換器２０６に入力する。Ａ／Ｄ変換器２０６は、ＣＤＳ回路２０５からアナログの画像情報を受け付けると、当該アナログの画像情報をデジタルの画像情報に変換する。Ａ／Ｄ変換器２０６はデジタルの画像情報を画像処理回路２０８に入力する。タイミング信号発生器２０７は、ＣＰＵ２１０からの制御信号に応じて、ＣＣＤ２０４、ＣＤＳ回路２０５及びＡ／Ｄ変換器２０６にタイミング信号を送信することにより、ＣＣＤ２０４、ＣＤＳ回路２０５及びＡ／Ｄ変換器２０６が動作するタイミングを制御する。 The CCD 204 forms an image of the light incident through the mechanical shutter 202 as an image of the subject, and inputs analog image information indicating the image of the subject to the CDS circuit 205. When the CDS circuit 205 receives the analog image information from the CCD 204, the noise component of the image information is removed, and the analog image information from which the noise component has been removed is input to the A / D converter 206. When the A / D converter 206 receives the analog image information from the CDS circuit 205, the A / D converter 206 converts the analog image information into digital image information. The A / D converter 206 inputs digital image information to the image processing circuit 208. The timing signal generator 207 transmits a timing signal to the CCD204, the CDS circuit 205, and the A / D converter 206 in response to the control signal from the CPU 210, so that the CCD204, the CDS circuit 205, and the A / D converter 206 send the timing signal. Control the timing of operation.

画像処理回路２０８は、Ａ／Ｄ変換器２０６からデジタルの画像情報を受け付けると、ＳＤＲＡＭ２１３を使用して、当該デジタルの画像情報の画像処理を行う。画像処理は、例えばＣｒＣｂ変換処理、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理及び色変換処理等である。ホワイトバランス制御処理は、画像情報の色の濃さを調整する画像処理である。コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整する処理である。色変換処理は、画像情報の色合いを調整する画像処理である。 When the image processing circuit 208 receives the digital image information from the A / D converter 206, the image processing circuit 208 uses the SDRAM 213 to perform image processing of the digital image information. The image processing includes, for example, CrCb conversion processing, white balance control processing, contrast correction processing, edge enhancement processing, color conversion processing, and the like. The white balance control process is an image process for adjusting the color density of image information. The contrast correction process is an image process that adjusts the contrast of image information. The edge enhancement process is a process for adjusting the sharpness of image information. The color conversion process is an image process for adjusting the hue of image information.

画像処理回路２０８は上述の画像処理が行われた画像情報をＬＣＤ２０９、又は、圧縮伸張回路２１４に入力する。ＬＣＤ２０９は、画像処理回路２０８から受け付けた画像情報を表示する液晶ディスプレイである。 The image processing circuit 208 inputs the image information subjected to the above-mentioned image processing to the LCD 209 or the compression / decompression circuit 214. The LCD 209 is a liquid crystal display that displays image information received from the image processing circuit 208.

ＣＰＵ２１０はプログラムを実行することにより画像取得部１０の動作を制御する。ＲＡＭ２１１はＣＰＵ２１０がプログラムを実行するときのワーク領域、及び、各種情報の記憶等に使用される読取及び書込が可能な記憶領域である。ＲＯＭ２１２はＣＰＵ２１０により実行されるプログラム等を記憶する読取専用の記憶領域である。 The CPU 210 controls the operation of the image acquisition unit 10 by executing a program. The RAM 211 is a work area when the CPU 210 executes a program, and a readable and writable storage area used for storing various types of information. The ROM 212 is a read-only storage area for storing a program or the like executed by the CPU 210.

ＳＤＲＡＭ２１３は画像処理回路２０８が画像処理を行うときに、画像処理対象の画像情報を一時的に記憶する記憶領域である。 The SDRAM 213 is a storage area for temporarily storing image information to be image-processed when the image processing circuit 208 performs image processing.

圧縮伸張回路２１４は、画像処理回路２０８から画像情報を受け付けると、当該画像情報を圧縮する。圧縮伸張回路２１４は圧縮された画像情報をメモリ２１５に記憶する。また圧縮伸張回路２１４は、メモリ２１５から画像情報を受け付けると、当該画像情報を伸張する。圧縮伸張回路２１４は伸張された画像情報をＳＤＲＡＭ２１３に一時的に記憶する。メモリ２１５は圧縮された画像情報を記憶する。 When the compression / decompression circuit 214 receives the image information from the image processing circuit 208, the compression / decompression circuit 214 compresses the image information. The compression / decompression circuit 214 stores the compressed image information in the memory 215. Further, when the compression / decompression circuit 214 receives the image information from the memory 215, the compression / decompression circuit 214 decompresses the image information. The compression / decompression circuit 214 temporarily stores the decompressed image information in the SDRAM 213. Memory 215 stores compressed image information.

操作部２１６は画像取得部１０のユーザからの操作を受け付ける。操作部２１６は、例えばＬＣＤ２０９に表示された画像情報をメモリ２１５に記憶する操作を受け付ける。出力Ｉ／Ｆ２１７は、画像取得部１０から画像情報を信号処理部２０に送信するためのインタフェースである。 The operation unit 216 receives an operation from the user of the image acquisition unit 10. The operation unit 216 accepts, for example, an operation of storing the image information displayed on the LCD 209 in the memory 215. The output I / F 217 is an interface for transmitting image information from the image acquisition unit 10 to the signal processing unit 20.

なお上述の図２で説明した信号処理部２０のインタフェース部２１、選択部２２、認識部２４、判定部２５及び出力部２６は、信号処理ボード（信号処理回路）としてハードウェアにより実現しても、画像取得部１０のＣＰＵ２１０、及び、他の装置のＣＰＵ等により実行されるソフトウェア（プログラム）により実現してもよい。 Even if the interface unit 21, the selection unit 22, the recognition unit 24, the determination unit 25, and the output unit 26 of the signal processing unit 20 described in FIG. 2 described above are realized by hardware as a signal processing board (signal processing circuit). , The software (program) executed by the CPU 210 of the image acquisition unit 10, the CPU of another device, or the like may be used.

また位置取得部１１は、例えばＧＰＳ装置により実現される。また記憶部２３は、例えば信号処理ボード上のメモリ、及び、画像取得部１０のメモリ２１５等により実現される。 Further, the position acquisition unit 11 is realized by, for example, a GPS device. Further, the storage unit 23 is realized by, for example, a memory on the signal processing board, a memory 215 of the image acquisition unit 10, and the like.

第１実施形態の認識装置１００（ＣＰＵ２１０）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ及びＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。 The program executed by the recognition device 100 (CPU210) of the first embodiment is a file in an installable format or an executable format, and is a computer such as a CD-ROM, a memory card, a CD-R, and a DVD (Digital Versaille Disc). It is recorded on a readable storage medium and provided as a computer program product.

なお第１実施形態の認識装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また第１実施形態の認識装置１００で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。 The program executed by the recognition device 100 of the first embodiment may be stored on a computer connected to a network such as the Internet and provided by downloading via the network. Further, the program executed by the recognition device 100 of the first embodiment may be configured to be provided via a network such as the Internet without being downloaded.

また第１実施形態の認識装置１００のプログラムを、ＲＯＭ２１２等に予め組み込んで提供するように構成してもよい。 Further, the program of the recognition device 100 of the first embodiment may be configured to be provided by incorporating it into the ROM 212 or the like in advance.

なお第１実施形態の認識装置１００で実行されるプログラムにより、選択部２２、認識部２４、判定部２５及び出力部２６等を実現する場合、選択部２２、認識部２４、判定部２５及び出力部２６等は、ＣＰＵ２１０がＲＯＭ２１２又は上記記憶媒体等からプログラムを読み出して実行することによりＲＡＭ２１１に実現される。 When the selection unit 22, the recognition unit 24, the determination unit 25, the output unit 26, and the like are realized by the program executed by the recognition device 100 of the first embodiment, the selection unit 22, the recognition unit 24, the determination unit 25, and the output are realized. The unit 26 and the like are realized in the RAM 211 by the CPU 210 reading a program from the ROM 212 or the storage medium and executing the program.

以上説明したように、第１実施形態の認識装置１００では、選択部２２が、位置情報から特定される地域の信号機３００を認識するための認識情報を選択する。認識部２４が、認識情報に基づいて画像情報から信号機３００の信号の形状を示す信号形状領域を認識する。そして判定部２５が、認識情報に基づいて信号形状領域が信号機３００の信号を示す信号領域であるか否かを判定する。これにより画像情報から信号機３００の信号領域をより正確に認識することができる。 As described above, in the recognition device 100 of the first embodiment, the selection unit 22 selects the recognition information for recognizing the traffic light 300 in the area specified from the position information. The recognition unit 24 recognizes a signal shape region indicating the shape of the signal of the traffic light 300 from the image information based on the recognition information. Then, the determination unit 25 determines whether or not the signal shape region is a signal region indicating the signal of the traffic light 300 based on the recognition information. As a result, the signal region of the traffic light 300 can be recognized more accurately from the image information.

（第２実施形態）
次に第２実施形態について説明する。第２実施形態の認識装置１００では、点灯している信号を示す領域の誤認識を防ぐために判定に使用する周辺領域が、第１実施形態とは異なる。第２実施形態の判定部２５は、点灯していない信号を示す領域を含む周辺領域を判定に使用する。第２実施形態の説明では、第１実施形態の説明と同様の説明については省略し、第１実施形態と異なる箇所について説明する。 (Second Embodiment)
Next, the second embodiment will be described. In the recognition device 100 of the second embodiment, the peripheral area used for determination in order to prevent erroneous recognition of the area indicating the lit signal is different from that of the first embodiment. The determination unit 25 of the second embodiment uses a peripheral region including an region showing a non-lit signal for determination. In the description of the second embodiment, the same description as that of the first embodiment will be omitted, and the parts different from the first embodiment will be described.

第２実施形態の認識装置１００の構成は、第１実施形態の認識装置１００の構成の例（図２参照）と同じである。すなわち第２実施形態の認識装置１００は、画像取得部１０、位置取得部１１及び信号処理部２０を備える。信号処理部２０は、インタフェース部２１、選択部２２、記憶部２３、認識部２４、判定部２５及び出力部２６を備える。 The configuration of the recognition device 100 of the second embodiment is the same as the configuration example of the recognition device 100 of the first embodiment (see FIG. 2). That is, the recognition device 100 of the second embodiment includes an image acquisition unit 10, a position acquisition unit 11, and a signal processing unit 20. The signal processing unit 20 includes an interface unit 21, a selection unit 22, a storage unit 23, a recognition unit 24, a determination unit 25, and an output unit 26.

画像取得部１０、位置取得部１１、インタフェース部２１、選択部２２、記憶部２３及び出力部２６の説明は、第１実施形態の説明と同様なので省略する。 The description of the image acquisition unit 10, the position acquisition unit 11, the interface unit 21, the selection unit 22, the storage unit 23, and the output unit 26 will be omitted because they are the same as the description of the first embodiment.

認識部２４は、インタフェース部２１から画像情報を受け付け、選択部２２から認識情報を受け付ける。認識情報は、点灯している信号を示す信号画素を判定する色情報、及び、周辺領域の特徴情報を含む。第２実施形態の周辺領域は、点灯していない信号を示す領域を含む。 The recognition unit 24 receives the image information from the interface unit 21 and the recognition information from the selection unit 22. The recognition information includes color information for determining a signal pixel indicating a lit signal and feature information of a peripheral region. The peripheral region of the second embodiment includes an region showing a signal that is not lit.

図１６は第２実施形態の青信号形状領域１０４の周辺領域５０２及び５０４の例を示す図である。図１６の例は、信号の配列が横型の信号機３００ａの場合を示す。青信号形状領域１０４は点灯している青信号を示す。周辺領域５０２は、点灯していない黄信号を示す領域５０１を含む。周辺領域５０４は、点灯していない赤信号を示す領域５０３を含む。 FIG. 16 is a diagram showing an example of peripheral regions 502 and 504 of the green light shape region 104 of the second embodiment. The example of FIG. 16 shows a case where the signal arrangement is a horizontal traffic light 300a. The green light shape region 104 indicates a lit green light. The peripheral region 502 includes a region 501 showing a yellow light that is not lit. The peripheral region 504 includes a region 503 that indicates a red light that is not lit.

図１７は第２実施形態の赤信号形状領域５１１の周辺領域５０２及び５１６の例を示す図である。図１７の例は、信号の配列が横型の信号機３００ａの場合を示す。赤信号形状領域５１１は点灯している赤信号を示す。周辺領域５０２は、点灯していない黄信号を示す領域５０１を含む。周辺領域５１６は、点灯していない青信号を示す領域５１５を含む。 FIG. 17 is a diagram showing an example of peripheral regions 502 and 516 of the red light shape region 511 of the second embodiment. The example of FIG. 17 shows a case where the signal arrangement is a horizontal traffic light 300a. The red light shape region 511 indicates a lit red light. The peripheral region 502 includes a region 501 showing a yellow light that is not lit. The peripheral region 516 includes an region 515 showing a green light that is not lit.

図１８は第２実施形態の青信号形状領域５２１の周辺領域５２４及び５２６の例を示す図である。図１８の例は、信号の配列が縦型の信号機３００ｂの場合を示す。青信号形状領域５２１は点灯している青信号を示す。周辺領域５２４は、点灯していない黄信号を示す領域５２３を含む。周辺領域５２６は、点灯していない赤信号を示す領域５２５を含む。 FIG. 18 is a diagram showing an example of peripheral regions 524 and 526 of the green light shape region 521 of the second embodiment. The example of FIG. 18 shows a case where the signal arrangement is a vertical traffic light 300b. The green light shape region 521 indicates a lit green light. The peripheral region 524 includes a region 523 indicating an unlit yellow light. Peripheral region 526 includes region 525 showing a red light that is not lit.

図１９は第２実施形態の赤信号形状領域５３１の周辺領域５２４及び５３６の例を示す図である。図１９の例は、信号の配列が縦型の信号機３００ｂの場合を示す。赤信号形状領域５３１は点灯している赤信号を示す。周辺領域５２４は、点灯していない黄信号を示す領域５２３を含む。周辺領域５３６は、点灯していない青信号を示す領域５３５を含む。 FIG. 19 is a diagram showing an example of peripheral regions 524 and 536 of the red light shape region 531 of the second embodiment. The example of FIG. 19 shows a case where the signal arrangement is a vertical traffic light 300b. The red light shape region 531 indicates a lit red light. The peripheral region 524 includes a region 523 indicating an unlit yellow light. Peripheral region 536 includes region 535 showing a green light that is not lit.

以下、図１６の場合（信号機３００ａの青信号を認識する場合）を例にして、第２実施形態の認識部２４及び判定部２５の動作について説明する。 Hereinafter, the operation of the recognition unit 24 and the determination unit 25 of the second embodiment will be described by taking the case of FIG. 16 (the case of recognizing the green light of the traffic light 300a) as an example.

認識部２４は、認識情報に基づいて、青信号形状領域１０４、周辺領域５０２及び５０４を認識する。青信号形状領域１０４の認識方法は、第１実施形態と同じなので説明を省略する。認識部２４は、青信号形状領域１０４を認識した後に、当該青信号形状領域１０４の位置との相対位置により、周辺領域５０２及び５０４の位置を決定する。なお相対位置は、信号機３００の種類等に応じて変わるため、選択部２２により選択された認識情報に含まれる特徴情報に基づいて決定される。 The recognition unit 24 recognizes the green light shape region 104, the peripheral regions 502, and 504 based on the recognition information. Since the method of recognizing the green light shape region 104 is the same as that of the first embodiment, the description thereof will be omitted. After recognizing the green signal shape region 104, the recognition unit 24 determines the positions of the peripheral regions 502 and 504 based on the relative positions of the green signal shape region 104. Since the relative position changes depending on the type of the traffic light 300 and the like, it is determined based on the feature information included in the recognition information selected by the selection unit 22.

ここで青信号形状領域１０４の周辺領域５０２及び５０４の特徴を示す特徴情報の例について説明する。 Here, an example of feature information showing the features of the peripheral regions 502 and 504 of the green light shape region 104 will be described.

表２は、信号機３００ａの青信号形状領域１０４の周辺領域５０２及び５０４の特徴情報の例を示す。 Table 2 shows an example of the feature information of the peripheral regions 502 and 504 of the green light shape region 104 of the traffic light 300a.

特徴情報は周辺領域毎に、位置、サイズ及び平均輝度範囲を含む。例えば周辺領域５０２の位置は、（Ｘ＋ｘ４，Ｙ＋ｙ４）である。ここで（Ｘ，Ｙ）は、青信号形状領域１０４の中心を示す座標である。また周辺領域５０２のサイズは、（Ｗ４，Ｈ４）である。また周辺領域５０２に関連付けられた平均輝度範囲は、（Ｉｍｉｎ４，Ｉｍａｘ４）である。この平均輝度範囲は、周辺領域５０２に含まれる点灯していない黄信号を示す領域５０１の平均輝度の範囲を示す。 The feature information includes the position, size and average brightness range for each peripheral region. For example, the position of the peripheral region 502 is (X + x4, Y + y4). Here, (X, Y) are coordinates indicating the center of the green light shape region 104. The size of the peripheral region 502 is (W4, H4). The average luminance range associated with the peripheral region 502 is (Imin4, Imax4). This average luminance range indicates the average luminance range of the region 501 including the peripheral region 502, which indicates an unlit yellow signal.

図２０は第２実施形態の青信号形状領域１０４の周辺領域５０２の位置及びサイズを決定する方法の例を説明するための図である。はじめに、認識部２４は、第１実施形態で説明した方法で、青信号形状領域１０４を認識する。次に、認識部２４は、青信号形状領域１０４の中心の座標Ｏ（Ｘ，Ｙ）からｘ方向にｘ４、ｙ方向にｙ４だけ相対的に離れた点Ｐの座標（Ｘ＋ｘ４，Ｙ＋ｙ４）を、周辺領域５０２の位置に決定する。次に、認識部２４は、周辺領域５０２のサイズを、幅Ｗ４及び高さＨ４により決定する。 FIG. 20 is a diagram for explaining an example of a method of determining the position and size of the peripheral region 502 of the green light shape region 104 of the second embodiment. First, the recognition unit 24 recognizes the green light shape region 104 by the method described in the first embodiment. Next, the recognition unit 24 determines the coordinates (X + x4, Y + y4) of the point P, which is relatively separated by x4 in the x direction and y4 in the y direction from the coordinates O (X, Y) at the center of the green signal shape region 104. Determine the position of region 502. Next, the recognition unit 24 determines the size of the peripheral region 502 based on the width W4 and the height H4.

認識部２４は、周辺領域５０２の場合と同様にして、青信号形状領域１０４及び認識情報に基づいて周辺領域５０４の位置及びサイズを決定する。 The recognition unit 24 determines the position and size of the peripheral region 504 based on the green light shape region 104 and the recognition information in the same manner as in the case of the peripheral region 502.

判定部２５は、認識情報に含まれる特徴情報が示す平均輝度範囲に基づいて、青信号形状領域１０４が信号機３００ａの青信号を示す信号領域であるか否かを判定する。具体的には、はじめに、判定部２５は、周辺領域５０２内のハフ変換により円形の領域５０１を抽出し、周辺領域５０４内のハフ変換により円形の領域５０３を抽出する。次に、判定部２５は、円形の領域５０１の平均輝度と、円形の領域５０３の平均輝度と、を算出する。次に、判定部２５は、円形の領域５０１の平均輝度が、Ｉｍｉｎ４以上かつＩｍａｘ４以下であり、円形の領域５０３の平均輝度が、Ｉｍｉｎ５以上かつＩｍａｘ５以下である場合、青信号形状領域１０４を信号機３００ａの青信号領域１０１であると判定する。 The determination unit 25 determines whether or not the green signal shape region 104 is a signal region indicating the green signal of the traffic light 300a based on the average luminance range indicated by the feature information included in the recognition information. Specifically, first, the determination unit 25 extracts the circular region 501 by the Hough transform in the peripheral region 502, and extracts the circular region 503 by the Hough transform in the peripheral region 504. Next, the determination unit 25 calculates the average brightness of the circular region 501 and the average brightness of the circular region 503. Next, when the average luminance of the circular region 501 is Imin4 or more and Imax4 or less and the average luminance of the circular region 503 is Imin5 or more and Imax5 or less, the determination unit 25 sets the green signal shape region 104 to the traffic light 300a. It is determined that the green light region 101 of the above.

なお判定部２５は、周辺領域５０２及び周辺領域５０４のいずれか一方を判定することにより、青信号形状領域１０４が、信号機３００ａの青信号領域１０１であるか否かを判定してもよい。 The determination unit 25 may determine whether or not the green signal shape region 104 is the green signal region 101 of the traffic light 300a by determining either the peripheral region 502 or the peripheral region 504.

以上説明したように、第２実施形態の認識装置１００では、判定部２５が、点灯していない信号を示す領域を含む周辺領域を利用して、信号形状領域が信号領域であるか否かを判定する。 As described above, in the recognition device 100 of the second embodiment, the determination unit 25 uses a peripheral region including a region showing a signal that is not lit to determine whether or not the signal shape region is a signal region. judge.

これにより第２実施形態の認識装置１００によれば、第１実施形態の認識装置１００と同様の効果が得られる。例えば、赤信号の色と同じ赤色の看板の一部が木の枝葉に隠れ、枝葉を介して赤色の看板が見えている部分が円形になっているような画像領域が、赤信号領域として誤認識されることを防ぐことができる。 As a result, according to the recognition device 100 of the second embodiment, the same effect as that of the recognition device 100 of the first embodiment can be obtained. For example, an image area in which a part of a red signboard that has the same color as the red light is hidden by the branches and leaves of a tree and the part where the red signboard is visible through the branches and leaves is circular is mistaken as a red light area. It can be prevented from being recognized.

１０画像取得部
１１位置取得部
２０信号処理部
２１インタフェース部
２２選択部
２３記憶部
２４認識部
２５判定部
２６出力部
１００認識装置
１０１青信号領域
１０２青信号画素の領域
１０３青信号画素の膨張領域
１０４青信号形状領域
１０５矩形領域
１０６周辺領域
１０７周辺領域に含まれる領域
２００車両
２０１撮影光学系
２０２メカシャッタ
２０３モータドライバ
２０４ＣＣＤ
２０５ＣＤＳ回路
２０６Ａ／Ｄ変換器
２０７タイミング信号発生器
２０８画像処理回路
２０９ＬＣＤ
２１０ＣＰＵ
２１１ＲＡＭ
２１２ＲＯＭ
２１３ＳＤＲＡＭ
２１４圧縮伸張回路
２１５メモリ
２１６操作部
２１７出力Ｉ／Ｆ
２２０バス
３００信号機
４０１青信号領域
５０１点灯していない黄信号を示す領域
５０２周辺領域
５０３点灯していない赤信号を示す領域
５０４周辺領域
５１１点灯している赤信号を示す領域
５１５点灯していない青信号を示す領域
５１６周辺領域
５２１点灯している青信号を示す領域
５２３点灯していない黄信号を示す領域
５２４周辺領域
５２５点灯していない赤信号を示す領域
５２６周辺領域
５３１点灯している赤信号を示す領域
５３５点灯していない青信号を示す領域
５３６周辺領域 10 Image acquisition unit 11 Position acquisition unit 20 Signal processing unit 21 Interface unit 22 Selection unit 23 Storage unit 24 Recognition unit 25 Judgment unit 26 Output unit 100 Recognition device 101 Green signal area 102 Green signal pixel area 103 Green signal pixel expansion area 104 Green signal shape Area 105 Rectangular area 106 Peripheral area 107 Area included in the peripheral area 200 Vehicle 201 Imaging optical system 202 Mechanical shutter 203 Motor driver 204 CCD
205 CDS circuit 206 A / D converter 207 Timing signal generator 208 Image processing circuit 209 LCD
210 CPU
211 RAM
212 ROM
213 SDRAM
214 Compression / decompression circuit 215 Memory 216 Operation unit 217 Output I / F
220 Bus 300 Traffic light 401 Green light area 501 Area showing unlit yellow light 502 Peripheral area 503 Area showing unlit red light 504 Peripheral area 511 Area showing lit red light 515 Area showing unlit green light Area shown 516 Peripheral area 521 Area showing a green light that is lit 523 Area that shows a yellow light that is not lit 524 Peripheral area 525 Area that shows a red light that is not lit 526 Peripheral area 531 Area that shows a red light that is lit 535 Area showing a green light that is not lit 536 Peripheral area

特開２００９−２４４９４６号公報JP-A-2009-2449446

Claims

車両の周囲の画像情報を取得する画像取得部と、
前記車両の位置を示す位置情報を取得する位置取得部と、
前記位置情報から特定される地域の信号機を認識するための認識情報を選択する選択部と、
前記認識情報に基づいて前記画像情報から前記信号機の信号の形状を示す信号形状領域を認識する認識部と、
前記認識情報に基づいて前記信号形状領域が前記信号機の信号を示す信号領域であるか否かを判定する判定部と、を備え、
前記認識情報は、前記信号領域の周辺領域の特徴を示す特徴情報を含み、
前記特徴情報は、前記信号領域の周辺領域の輝度の情報を含み、
前記判定部は、前記信号形状領域の周辺領域の輝度が、前記信号領域の周辺領域の輝度の範囲に含まれる場合、前記信号形状領域が前記信号領域であると判定する、
認識装置。 An image acquisition unit that acquires image information around the vehicle,
A position acquisition unit that acquires position information indicating the position of the vehicle, and
A selection unit that selects recognition information for recognizing a traffic signal in an area specified from the location information, and a selection unit.
A recognition unit that recognizes a signal shape region indicating the shape of the signal of the traffic light from the image information based on the recognition information, and a recognition unit.
A determination unit for determining whether or not the signal shape region is a signal region indicating a signal of the traffic light based on the recognition information is provided.
The recognition information includes feature information indicating features of the peripheral region of the signal region.
The feature information includes information on the brightness of the peripheral region of the signal region.
When the brightness of the peripheral region of the signal shape region is included in the brightness range of the peripheral region of the signal region, the determination unit determines that the signal shape region is the signal region.
Recognition device.

前記認識情報は、信号機の信号の色を示す色情報を含み、
前記認識部は、前記色情報に基づいて前記画像情報から前記信号機の信号の色を示す信号画素を認識し、前記信号画素を複数の画素により被覆することにより、前記信号画素の領域を信号画素の膨張領域に膨張させ、前記信号画素の膨張領域をハフ変換することにより得られた画素領域を、前記信号形状領域として認識する、
請求項１に記載の認識装置。 The recognition information includes color information indicating the color of the signal of the traffic light.
The recognition unit recognizes a signal pixel indicating the color of the signal of the signal from the image information based on the color information, and covers the signal pixel with a plurality of pixels to cover a region of the signal pixel with a signal pixel. The pixel region obtained by expanding the expansion region of the signal pixel and Huff-converting the expansion region of the signal pixel is recognized as the signal shape region.
The recognition device according to claim 1.

前記色情報は、（Ｙ，Ｕ，Ｖ）色空間の色情報であり、
前記画像取得部は、（Ｒ，Ｇ，Ｂ）色空間の前記画像情報を取得し、
前記認識部は、前記（Ｒ，Ｇ，Ｂ）色空間の画像情報を前記（Ｙ，Ｕ，Ｖ）色空間の画像情報に変換し、前記（Ｙ，Ｕ，Ｖ）色空間の色情報に基づいて前記（Ｙ，Ｕ，Ｖ）色空間の画像情報に含まれる前記信号画素を認識する、
請求項２に記載の認識装置。 The color information is color information in the (Y, U, V) color space.
The image acquisition unit acquires the image information in the (R, G, B) color space, and obtains the image information.
The recognition unit converts the image information in the (R, G, B) color space into the image information in the (Y, U, V) color space, and converts the image information into the color information in the (Y, U, V) color space. Based on this, the signal pixel included in the image information in the (Y, U, V) color space is recognized.
The recognition device according to claim 2.

前記周辺領域は、点灯していない信号を示す領域を含む、
請求項１に記載の認識装置。 The peripheral area includes an area indicating a signal that is not lit.
The recognition device according to claim 1.

車両の周囲の画像情報を取得する画像取得部と、前記車両の位置を示す位置情報を取得する位置取得部と、を備える認識装置の認識方法であって、
認識装置が、前記位置情報から特定される地域の信号機を認識するための認識情報を選択するステップと、
認識装置が、前記認識情報に基づいて前記画像情報から前記信号機の信号の形状を示す信号形状領域を認識するステップと、
認識装置が、前記認識情報に基づいて前記信号形状領域が前記信号機の信号を示す信号領域であるか否かを判定するステップと、を含み、
前記認識情報は、前記信号領域の周辺領域の特徴を示す特徴情報を含み、
前記特徴情報は、前記信号領域の周辺領域の輝度の情報を含み、
前記判定するステップは、前記信号形状領域の周辺領域の輝度が、前記信号領域の周辺領域の輝度の範囲に含まれる場合、前記信号形状領域が前記信号領域であると判定する、
認識方法。 A recognition method of a recognition device including an image acquisition unit that acquires image information around a vehicle and a position acquisition unit that acquires position information indicating the position of the vehicle.
A step in which the recognition device selects recognition information for recognizing a traffic signal in an area specified from the position information, and
A step in which the recognition device recognizes a signal shape region indicating the shape of the signal of the traffic light from the image information based on the recognition information.
The recognition device includes a step of determining whether or not the signal shape region is a signal region indicating a signal of the traffic light based on the recognition information.
The recognition information includes feature information indicating features of the peripheral region of the signal region.
The feature information includes information on the brightness of the peripheral region of the signal region.
The determination step determines that the signal shape region is the signal region when the brightness of the peripheral region of the signal shape region is included in the brightness range of the peripheral region of the signal region.
Recognition method.

車両の周囲の画像情報を取得する画像取得部と、前記車両の位置を示す位置情報を取得する位置取得部と、を備える認識装置を、
前記位置情報から特定される地域の信号機を認識するための認識情報を選択する選択部と、
前記認識情報に基づいて前記画像情報から前記信号機の信号の形状を示す信号形状領域を認識する認識部と、
前記認識情報に基づいて前記信号形状領域が前記信号機の信号を示す信号領域であるか否かを判定する判定部、として機能させ、
前記認識情報は、前記信号領域の周辺領域の特徴を示す特徴情報を含み、
前記特徴情報は、前記信号領域の周辺領域の輝度の情報を含み、
前記判定部は、前記信号形状領域の周辺領域の輝度が、前記信号領域の周辺領域の輝度の範囲に含まれる場合、前記信号形状領域が前記信号領域であると判定する、
プログラム。 A recognition device including an image acquisition unit that acquires image information around the vehicle and a position acquisition unit that acquires position information indicating the position of the vehicle.
A selection unit that selects recognition information for recognizing a traffic signal in an area specified from the location information, and a selection unit.
A recognition unit that recognizes a signal shape region indicating the shape of the signal of the traffic light from the image information based on the recognition information, and a recognition unit.
It is made to function as a determination unit for determining whether or not the signal shape region is a signal region indicating a signal of the traffic light based on the recognition information.
The recognition information includes feature information indicating features of the peripheral region of the signal region.
The feature information includes information on the brightness of the peripheral region of the signal region.
When the brightness of the peripheral region of the signal shape region is included in the brightness range of the peripheral region of the signal region, the determination unit determines that the signal shape region is the signal region.
program.