JPH08241500A - Front vehicle recognition device and alarm device on vehicle - Google Patents

Abstract

PURPOSE: To accurately detect the state or a preceding vehicle regardless of lighting of cognate color light. CONSTITUTION: An extraction processing circuit 36 extracts the parts included in the range of a preliminarily determined winker lamp color and those in the range of a brake lamp from the picture obtained by photographing the front. A preceding vehicle recognition part 40 decides whether the middle point of parts in the winker lamp color and that in the brake lamp color, coincide with each other or not with respect to two pairs of extracted close parts in the winker lamp color and in the brake lamp color; and when they coincide with each other, it is judged that two parts in the winker lamp color and two parts in the brake lamp color which are included in these two pairs are parts obtained by photographing the winker lamps and brake lamps of the preceding vehicle. A contact possibility decision part 44 calculates the possibility of contact in accordance with the brightness of these parts, the speed of the vehicle, and distances between lamps of the same kind of the preceding vehicle and gives an alarm from an alarm part 52.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】本発明は、車両の運転者等に警報
を行う車載警報装置において、常に必要な車間距離を保
てるように運転者に警報を行う技術に関するものであ
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle-mounted alarm device for issuing an alarm to a driver of a vehicle so as to give an alarm to the driver so that a required inter-vehicle distance can always be maintained.

【０００２】[0002]

【従来の技術】従来の車載警報装置としては、前方車両
のブレーキランプやびストップランプの状況を認識して
警報を発する装置が知られている。2. Description of the Related Art As a conventional vehicle-mounted alarm device, there is known a device which recognizes the states of a brake lamp and a stop lamp of a vehicle ahead and issues an alarm.

【０００３】例えば特公平６−１０８３９号公報記載の
装置では、ブレーキランプ色（赤色）またはウィンカー
ランプ色（橙色）の、どちらかの色のみの情報をもと
に、ブレーキランプまたはストップランプと思われる色
が同じ高さで二つ存在した場合に、前方車両の左右のラ
ンプとして認識し、認識した左右のランプ間の距離をも
とに前方車両との車間距離を算出する。そして、算出し
た車間距離と、自車の速度、ブレーキ踏度等の情報等よ
り、前方車両との接触可能性を判定して警報を発してい
る。For example, in the device described in Japanese Patent Publication No. 6-10839, it is considered that the device is a brake lamp or a stop lamp based on information of only one of the brake lamp color (red) and the winker lamp color (orange). If there are two colors with the same height, it is recognized as the left and right lamps of the front vehicle, and the inter-vehicle distance to the front vehicle is calculated based on the recognized distance between the left and right lamps. Then, based on the calculated inter-vehicle distance and information such as the speed of the own vehicle and the degree of brake depression, the possibility of contact with the preceding vehicle is determined and an alarm is issued.

【０００４】[0004]

【発明が解決しようとする課題】しかし、前記特公平６
−１０８３９号公報記載の技術によれば、例えば前方車
両の並走車がある場合や、前方車両のランプと同じ高さ
に車以外の赤色または橙色のランプの点灯がある場合に
は、これらを誤って、前方車両のランプと認識してしま
う可能性が高い。[Problems to be Solved by the Invention]
According to the technology described in Japanese Patent Laid-Open No. 10839, for example, when there is a parallel vehicle of a forward vehicle, or when a red or orange lamp other than the vehicle is lit at the same height as the lamp of the forward vehicle, these There is a high possibility that it will be mistakenly recognized as the lamp of the vehicle ahead.

【０００５】そこで、本発明は、前方車を、より確実に
前方車両を認識することのできる前方車両認識装置を提
供することを目的とする。また、より、きめ細かく前方
車両の状態を認識し、認識した前方車両の状態に応じた
警報を行うことのできる警報装置を提供することを目的
とする。Therefore, an object of the present invention is to provide a front vehicle recognizing device which can recognize a front vehicle more reliably. Another object of the present invention is to provide an alarm device capable of more finely recognizing the state of the front vehicle and issuing an alarm according to the recognized state of the front vehicle.

【０００６】[0006]

【課題を解決するための手段】前記目的達成のために、
本発明は、たとえば、自車の前方の状況をカラー撮影す
る撮像手段と、撮影された画像の中から、ブレーキラン
プ色（赤色）の領域とウィンカーランプ色（橙色）の領
域とを抽出する特定色抽出手段と、抽出されたブレーキ
ランプ色の領域間の前記画像中における相対位置関係、
および、ブレーキランプ色の領域とウィンカーランプ色
の領域との前記画像中における相対位置関係に基づい
て、抽出されたブレーキランプ色の領域とウィンカーラ
ンプ色の領域のうちから、前方を走行する車両のブレー
キランプとウィンカーランプの画像中の位置に相当する
ブレーキランプ色の領域とウィンカーランプ色の領域と
を推定する前方車認識手段と、推定されたブレーキラン
プ色の領域とウィンカーランプ色の領域を用いて、前方
を走行する車両の状態または前方を走行する車両との関
係における接触可能性を判定する判定手段とを有するこ
とを特徴とする前方車両認識装置を提供する。[Means for Solving the Problems] To achieve the above object,
The present invention is, for example, an image pickup means for color-capturing a situation in front of the vehicle, and a specification for extracting a region of a brake lamp color (red) and a region of a winker lamp color (orange) from the captured image. Color extraction means, relative position relationship in the image between the extracted brake lamp color regions,
And, based on the relative positional relationship in the image of the brake lamp color area and the winker lamp color area, from among the extracted brake lamp color area and winker lamp color area, Forward vehicle recognition means for estimating a brake lamp color region and a blinker lamp color region corresponding to positions in the image of the brake lamp and the blinker lamp, and using the estimated brake lamp color region and the blinker lamp color region And a determination means for determining the possibility of contact in the state of the vehicle traveling in the front or the relationship with the vehicle traveling in the front.

【０００７】また、前記目的達成のために本発明は、た
とえば、自車の前方の状況をカラー撮影する撮像手段
と、撮影された画像の中から、ブレーキランプ色（赤
色）の領域とウィンカーランプ色（橙色）の領域とを抽
出する特定色抽出手段と、抽出された各ブレーキランプ
色の領域と各ウィンカーランプ色の領域のうちの少なく
とも一方の領域について、当該領域の輝度に対応して予
め定めた複数の異なる警報のうちの、当該領域の画像の
輝度に対応した警報を行う警報手段を有することを特徴
とする車載警報装置を提供する。In order to achieve the above-mentioned object, the present invention provides, for example, an image pickup means for taking a color image of the situation in front of the vehicle, a brake lamp color (red) area and a winker lamp from the taken image. Specific color extracting means for extracting a color (orange) area, and at least one area of the extracted brake lamp color area and each of the extracted winker lamp color areas, corresponding to the brightness of the area in advance. There is provided an in-vehicle alarm device characterized by having an alarm means for issuing an alarm corresponding to the brightness of an image in the region among a plurality of different alarms defined.

【０００８】[0008]

【作用】前述した本発明に係る前方車両認識装置によれ
ば、抽出されたブレーキランプ色の領域間の前記画像中
における相対位置関係、および、ブレーキランプ色の領
域とウィンカーランプ色の領域との前記画像中における
相対位置関係に基づいて、抽出されたブレーキランプ色
の領域とウィンカーランプ色の領域のうちから、前方を
走行する車両のブレーキランプとウィンカーランプの画
像中の位置に相当するブレーキランプ色の領域とウィン
カーランプ色の領域とを推定する。すなわち、本発明
は、ブレーキランプとウィンカーランプの車両の取り付
け位置に一定の関係があることをも利用して前方車両の
ブレーキランプを撮影した領域とウィンカーランプを撮
影した領域を認識するので、同種のランプの相対位置関
係にのみ基づいて認識を行う従来の技術に比べ、より正
確に前方車両のランプを認識することができる。According to the forward vehicle recognizing device of the present invention described above, the relative positional relationship between the extracted areas of the brake lamp color in the image, and the area of the brake lamp color and the area of the winker lamp color. Based on the relative positional relationship in the image, from among the extracted brake lamp color region and the blinker lamp color region, the brake lamp of the vehicle traveling ahead and the brake lamp corresponding to the position in the image of the blinker lamp Estimate the color region and the blinker lamp color region. That is, the present invention recognizes the area where the brake lamp of the preceding vehicle is photographed and the area where the blinker lamp is photographed by utilizing the fact that the mounting positions of the brake lamp and the winker lamp on the vehicle are also constant. It is possible to more accurately recognize the lamp of the vehicle ahead as compared with the related art in which the recognition is performed only based on the relative positional relationship of the lamps.

【０００９】また、前述した本発明に係る車載警報装置
によれば、各ブレーキランプ色の領域と各ウィンカーラ
ンプ色の領域のうちの少なくとも一方の領域について、
当該領域の輝度に対応して予め定めた複数の異なる警報
のうちの、当該領域の画像の輝度に対応した警報を行
う。すなわち、前方車両の状態を通知する各ランプの輝
度を用いて、より、きめ細かく前方車両の状態を認識
し、かつ、認識した前方車両の状態に応じた警報を行う
ことができる。Further, according to the above-described vehicle-mounted alarm device of the present invention, at least one of the brake lamp color area and the winker lamp color area is
An alarm corresponding to the brightness of the image of the area is performed from among a plurality of different alarms predetermined corresponding to the brightness of the area. That is, it is possible to more finely recognize the state of the front vehicle by using the brightness of each lamp that notifies the state of the front vehicle, and to issue an alarm according to the recognized state of the front vehicle.

【００１０】[0010]

【実施例】以下、本発明の一実施例について説明する。EXAMPLES An example of the present invention will be described below.

【００１１】図１に、本実施例に係る警報装置の構成を
示す。FIG. 1 shows the configuration of an alarm device according to this embodiment.

【００１２】図示するように、警報装置は、撮像部２
４、処理部２８、車速センサ５６、警報部５２、ＲＯＭ
５０やＲＡＭ５１等のメモリより構成される。As shown in the figure, the alarm device includes an image pickup unit 2
4, processing unit 28, vehicle speed sensor 56, alarm unit 52, ROM
50 and RAM 51 and other memories.

【００１３】撮像部２中の、ＣＣＤカメラ１０は、被写
体の画像をカラー画像アナログ信号に変換する。もちろ
ん、ＣＣＤカメラ１０に代えて、他の撮像装置装置を用
いるようにしてもよい。次に、Ａ／Ｄ変換器１２は、Ｃ
ＣＤカメラ１０から出力された、アナログ信号をデジタ
ル信号に変換する。また、色差変換回路１４は、Ａ／Ｄ
変換器１２よりデジタル信号として受け取った被写体の
三原色Ｒ（赤）Ｇ（緑）Ｂ（青）信号を、輝度信号Ｙ、
及び２つの色差信号Ｒ−Ｙ、Ｂ−Ｙ、に変換する。輝度
及び色差信号（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）は、ＲＧＢ信号を
用いて以下のように定義されている。The CCD camera 10 in the image pickup section 2 converts an image of a subject into a color image analog signal. Of course, instead of the CCD camera 10, another image pickup device may be used. Next, the A / D converter 12 outputs C
The analog signal output from the CD camera 10 is converted into a digital signal. In addition, the color difference conversion circuit 14 has an A / D
The three primary colors R (red) G (green) B (blue) signals of the subject received as digital signals from the converter 12 are converted into luminance signals Y,
And two color difference signals R-Y and B-Y. The luminance and color difference signals (Y, RY, BY) are defined as follows using RGB signals.

【００１４】 Ｙ ＝ 0.3Ｒ ＋ 0.6Ｇ ＋ 0.1Ｂ Ｒ−Ｙ ＝ 0.7Ｒ − 0.6Ｇ − 0.1Ｂ Ｂ−Ｙ ＝ -0.3Ｒ − 0.6Ｇ ＋ 0.9Ｂ 次に、ＲＯＭ５０には、ブレ−キランプとウィンカ−ラ
ンプの色デ−タ（ランプ抽出色データ、ＯＮランプ抽出
色データ）が予め記憶されている。抽出色データおよび
ＯＮランプ抽出色データは、輝度信号Ｙ、色差信号Ｒ−
Ｙ、Ｂ−Ｙの変数として記憶されている。また、ランプ
抽出色データ、ＯＮランプ抽出色データは、それぞれ、
ランプ、もしくは、ＯＮ状態のランプの輝度信号Ｙ、色
差信号Ｒ−Ｙ、Ｂ−Ｙの範囲を示す。また、ランプ抽出
色データ、ＯＮランプ抽出色データは、それぞれ、ブレ
−キランプとウィンカ−ランプについて記憶されてい
る。その詳細については、後述する。Y = 0.3R + 0.6G + 0.1B R−Y = 0.7R−0.6G−0.1B B−Y = −0.3R−0.6G + 0.9B Next, in the ROM 50, a break lamp and a winker are provided. -Lamp color data (lamp extraction color data, ON lamp extraction color data) is stored in advance. The extracted color data and the ON lamp extracted color data are the luminance signal Y and the color difference signal R-.
It is stored as Y and BY variables. The lamp extraction color data and the ON lamp extraction color data are respectively
The range of the luminance signal Y and the color difference signals RY and BY of the lamp or the lamp in the ON state is shown. The lamp extraction color data and the ON lamp extraction color data are stored for the break lamp and the winker lamp, respectively. The details will be described later.

【００１５】次に、車速センサ５６は、自車両の速度を
検出するセンサであり、検出された速度を表す信号は処
理部２８に送信される。Next, the vehicle speed sensor 56 is a sensor for detecting the speed of the host vehicle, and a signal representing the detected speed is transmitted to the processing section 28.

【００１６】一方、処理部２８は、画像処理部３０と判
断部３２により構成されている。On the other hand, the processing section 28 comprises an image processing section 30 and a judging section 32.

【００１７】画像処理部３０中の、抽出条件決定部３８
は、ＲＯＭ５０に予め記憶してある設定したランプ抽出
色データを用いてランプ抽出色条件を、ＯＮランプ抽出
色データを用いてＯＮランプ抽出条件を決定する（詳細
については後述する）。抽出処理回路３６は、撮像した
画像の輝度信号Ｙ、及び２つの色差信号Ｒ−Ｙ、Ｂ−Ｙ
に基づいて、抽出条件決定部３８が決定したランプ抽出
色条件に合致する値を有する画素を識別し、このランプ
抽出色条件に合致する画素の集まりのエッジを構成する
画素（以下、「エッジ画素」と呼ぶ）の座標データ（以
下、「エッジ座標データ」と呼ぶ）を前方車認識部４０
に転送する。前方車認識部４０は、抽出処理回路３６よ
り転送されたエッジ座標と、ＯＮランプ抽出条件と、撮
像した画像の輝度信号Ｙ、及び２つの色差信号Ｒ−Ｙ、
Ｂ−Ｙをもとに、前方車の左右のブレ−キランプと左右
のウィンカ−ランプと、その位置および状態（ＯＮ、Ｏ
ＦＦ）を認識し、認識結果をＲＡＭ５１に格納する。The extraction condition determining unit 38 in the image processing unit 30.
Determines the lamp extraction color condition using the preset lamp extraction color data stored in advance in the ROM 50 and the ON lamp extraction condition using the ON lamp extraction color data (details will be described later). The extraction processing circuit 36 includes a luminance signal Y of the captured image and two color difference signals RY and BY.
On the basis of the above, a pixel having a value that matches the lamp extraction color condition determined by the extraction condition determination unit 38 is identified, and a pixel that constitutes an edge of a group of pixels that matches the lamp extraction color condition (hereinafter, referred to as “edge pixel”). ") Coordinate data (hereinafter referred to as" edge coordinate data ").
Transfer to. The front vehicle recognizing unit 40, the edge coordinates transferred from the extraction processing circuit 36, the ON lamp extraction condition, the luminance signal Y of the captured image, and the two color difference signals RY,
Based on BY, the left and right brake lamps and left and right winker lamps of the preceding vehicle, and their positions and states (ON, O
FF) is recognized and the recognition result is stored in the RAM 51.

【００１８】判断部３２の、車両状態判断部４２は、車
速センサ５６から受け取った自車の車速を表す信号よ
り、自車両の走行状態を判断し、判断結果を接触可能性
判断部４４に転送する。接触可能性判断部４４は、ＲＡ
Ｍ５１から取りだした前方車の左右のブレ−キランプま
たは左右のウィンカ−ランプの認識結果より、左右のブ
レ−キランプ間距離または左右のウィンカ−ランプ間距
離（前方車両との距離に相当する）を求める。また、左
右のブレ−キランプ間距離の変化または左右のウィンカ
−ランプ間距離の変化より、自車と前方車両との相対速
度を演算する。そして、前方車認識部４０から送られた
左右のブレ−キランプと左右のウィンカ−ランプの状態
（ＯＮ／ＯＦＦ）と、左右のブレ−キランプ間距離また
は左右のウィンカ−ランプ間距離（前方車両との距離に
相当する）と、自車と前方車両との相対速度と、車速セ
ンサ５６から受け取った自車の車速等により、接触可能
性を推定する。そして、その後、推定された接触可能性
に応じて、警報装置５２を介して運転者に報知する。The vehicle state judging section 42 of the judging section 32 judges the traveling state of the own vehicle from the signal indicating the vehicle speed of the own vehicle received from the vehicle speed sensor 56, and transfers the judgment result to the contact possibility judging section 44. To do. The contact possibility determination unit 44 uses the RA
The distance between the left and right brake lamps or the distance between the left and right blinker lamps (corresponding to the distance from the front vehicle) is obtained from the recognition result of the left and right brake lamps or the left and right blinker lamps of the front vehicle extracted from M51. . Further, the relative speed between the own vehicle and the preceding vehicle is calculated from the change in the distance between the left and right brake lamps or the change in the distance between the left and right blinker lamps. Then, the state (ON / OFF) of the left and right brake lamps and the left and right winker lamps sent from the front vehicle recognition unit 40, the distance between the left and right break lamps, or the distance between the left and right winker lamps (for the front vehicle and Of the vehicle), the relative speed between the own vehicle and the preceding vehicle, the vehicle speed of the own vehicle received from the vehicle speed sensor 56, and the like. Then, thereafter, the driver is notified via the alarm device 52 according to the estimated contact possibility.

【００１９】ＲＡＭ５１は、各部で得られたデ−タを一
時的に保持するために用いる。The RAM 51 is used to temporarily hold the data obtained by each section.

【００２０】以下、本実施例に係る警報装置の動作の詳
細について説明する。The operation of the alarm device according to this embodiment will be described in detail below.

【００２１】図１に、警報装置の行う処理の手順を図１
に示す。FIG. 1 shows the procedure of processing performed by the alarm device.
Shown in

【００２２】図１に示すように、警報装置を起動すべ
く、電源がＯＮされると（Ｓ２）、警報装置は、所定
の、初期設定を行う（Ｓ４）。例えば、ＲＡＭ５１のデ
ータをリセットする。As shown in FIG. 1, when the power is turned on to activate the alarm device (S2), the alarm device performs a predetermined initial setting (S4). For example, the data in the RAM 51 is reset.

【００２３】初期設定が終了すると、ＣＣＤカメラ１０
は撮像した被写体の光映像信号をアナログＲＧＢ信号に
変換する（Ｓ６）。Ａ／Ｄ変換器１２は、アナログＲＧ
Ｂ信号をデジタルＲＧＢ信号に変換する（Ｓ８）。ま
た、色差変換回路１４は、デジタルＲＧＢ信号を輝度信
号Ｙ、色差信号Ｒ−Ｙ、Ｂ−Ｙに変換し（Ｓ１０）、抽
出処理回路３６に転送する。When the initial setting is completed, the CCD camera 10
Converts the optical image signal of the imaged subject into an analog RGB signal (S6). The A / D converter 12 is an analog RG.
The B signal is converted into a digital RGB signal (S8). Further, the color difference conversion circuit 14 converts the digital RGB signal into a luminance signal Y and color difference signals RY and BY (S10), and transfers it to the extraction processing circuit 36.

【００２４】次に、抽出処理回路３６において、転送さ
れた撮像信号（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）より、前方車のブ
レーキランプ色（赤色）とウィンカーランプ色（橙色）
の領域等を抽出し、前方車認識部４０において、この抽
出された領域に基づいて、前方車両の存在および前方車
両のランプの位置を認識する（Ｓ２２）。この処理は、
後に詳細に説明する。Next, in the extraction processing circuit 36, based on the transferred image pickup signals (Y, RY, BY), the brake lamp color (red) and the winker lamp color (orange) of the vehicle ahead.
And the like, and the front vehicle recognizing unit 40 recognizes the presence of the front vehicle and the position of the lamp of the front vehicle based on the extracted area (S22). This process
The details will be described later.

【００２５】また、前方車認識部４０は、同様に、撮像
信号（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）から、ＯＮ状態、すなわち
点灯され輝度の上がった前方車のブレーキランプ色（赤
色）とウィンカーランプ色（橙色）の領域のみを抽出
し、前方車両のランプの状態を認識する（Ｓ２４）。こ
の処理も、後に詳細に説明する。Similarly, the front vehicle recognizing section 40 determines from the image pickup signals (Y, RY, BY) that the vehicle is in the ON state, that is, the brake lamp color (red) of the front vehicle that has been turned on and has increased brightness. Only the blinker lamp color (orange) area is extracted and the state of the lamp of the vehicle ahead is recognized (S24). This process will also be described in detail later.

【００２６】次に、接触可能性判断部４４において、認
識した前方車両のブレーキランプとウィンカーランプの
位置と状態に応じて、接触可能性を推定し、必要に応じ
て警報部５２より警報を行う（Ｓ２６）。この処理もま
た、後に詳細に説明する。Next, in the contact possibility judging section 44, the contact possibility is estimated in accordance with the positions and states of the recognized front vehicle brake lamp and winker lamp, and an alarm section 52 issues an alarm if necessary. (S26). This process will also be described in detail later.

【００２７】そして、その後、次の周期の被写体の撮像
のためにＳ６の処理に戻る。Then, after that, the process returns to S6 for picking up an image of the subject in the next cycle.

【００２８】次に、図１で示した前方車認識処理（Ｓ２
２）、前方車ランプＯＮ状態認識処理（Ｓ２４）、接触
可能性推定、警報出力（Ｓ２６）の詳細について説明す
る。Next, the forward vehicle recognition process (S2) shown in FIG.
2) The details of the forward vehicle lamp ON state recognition processing (S24), contact possibility estimation, and alarm output (S26) will be described.

【００２９】まず、前方車を認識する処理（Ｓ２２）の
詳細について説明する。First, the details of the process (S22) for recognizing the preceding vehicle will be described.

【００３０】図３に、この前方車を認識する処理（Ｓ２
２）の詳細な手順を示す。FIG. 3 shows a process of recognizing the preceding vehicle (S2).
The detailed procedure of 2) is shown.

【００３１】図示するように、この処理では、始めに、
抽出条件決定部３８が、あらかじめＲＯＭ５０中に設定
してあるブレーキランプ（赤）及びウィンカーランプ
（橙）の色データ（ランプ抽出色データ）を読み込み、
抽出条件の決定処理を行う（Ｓ２２０２）。As shown in the figure, in this process, first,
The extraction condition determination unit 38 reads the color data (lamp extraction color data) of the brake lamp (red) and the winker lamp (orange) that are set in advance in the ROM 50,
An extraction condition determination process is performed (S2202).

【００３２】ここで各ランプ抽出色データは、それぞ
れ、図７ａに示す範囲を示すように定めている。図７ａ
では、ブレーキランプ色（赤色）のランプ抽出用抽出色
データの示す範囲を５７、ウィンカーランプ色（橙色）
の抽出色データの示す範囲を５８として示している。こ
こで図７ａに示すように、各ランプ抽出用抽出色データ
は、輝度Ｙについては広い範囲を示すように定めてい
る。これは、ＯＮおよびＯＦＦ状態の如何に係わりなく
各ランプを抽出可能とするためである。抽出条件決定部
３８は、このブレ−キランプ色のランプ抽出色データ
と、ウィンカーランプ色の抽出色データを、ランプ抽出
条件として抽出処理回路３６に転送する。Here, each lamp extraction color data is set so as to indicate the range shown in FIG. 7A. Figure 7a
Then, the range indicated by the extracted color data for lamp extraction of the brake lamp color (red) is 57, and the blinker lamp color (orange)
The range indicated by the extracted color data of is shown as 58. Here, as shown in FIG. 7A, the extracted color data for each lamp extraction is set so as to show a wide range for the luminance Y. This is because each lamp can be extracted regardless of the ON and OFF states. The extraction condition determining unit 38 transfers the lamp extraction color data of the brake lamp color and the extraction color data of the winker lamp color to the extraction processing circuit 36 as the lamp extraction condition.

【００３３】次に、抽出処理回路３６において、ランプ
抽出条件がブレーキランプ色（赤色）のランプである場
合と、ウィンカーランプ色（橙色）である場合とに分け
て処理を行う。Next, in the extraction processing circuit 36, processing is performed depending on whether the lamp extraction condition is a brake lamp color (red) lamp or a winker lamp color (orange).

【００３４】ブレーキランプ色の抽出色データ場合、抽
出処理回路３６は、色差変換回路１４より受信した撮像
信号（Ｙ、Ｒ−Ｙ、Ｂ−Ｙ）中の、抽出条件決定部３８
から送られたブレーキランプ色（赤色）のランプ抽出色
データの範囲に属する色を有する画素の、画像（フレー
ム）中の領域（ブレ−キランプ候補領域）を判別する
（Ｓ２２０４）。In the case of the extracted color data of the brake lamp color, the extraction processing circuit 36 causes the extraction condition determining unit 38 in the image pickup signals (Y, RY, BY) received from the color difference conversion circuit 14.
The area (break lamp candidate area) in the image (frame) of the pixel having the color belonging to the range of the lamp extraction color data of the brake lamp color (red) sent from is determined (S2204).

【００３５】すなわち、まず、撮像信号（Ｙ、Ｒ−Ｙ、
Ｂ−Ｙ）の中の、ランプ抽出色データの示す範囲に属す
る輝度Ｙ、色差Ｒ−Ｙ、Ｂ−Ｙを有する画素の画素デー
タを「１」それ以外の画素データを「０」とした２値化
画像データを作成する。そして、画素データが、「０」
から「１」に、あるいは、「１」から「０」に変化する
画素を画像のラインごとに検索する（即ち、「０」から
「１」への立ち上がりエッジと、「１」から「０」への
立ち下がりエッジを検出する）（Ｓ２２０６）。そし
て、検索した画素の位置を、エッジ座標データとする。
エッジ座標データによって、各ラインにおいて、画素デ
ータ値として「１」を持つ画素の存在位置が表される。
この、エッジ座標データの示す座標の画素によって囲ま
れる各領域が、前方車のブレ−キランプ候補領域とな
る。That is, first, the image pickup signals (Y, RY,
(B-Y), the pixel data of the pixel having the luminance Y, the color difference R-Y, and the color difference B-Y belonging to the range indicated by the lamp extraction color data is "1", and the other pixel data is "0". Create binarized image data. Then, the pixel data is "0".
From "1" to "1" or from "1" to "0" for each line of the image (that is, a rising edge from "0" to "1" and a "1" to "0"). (Falling edge is detected) (S2206). Then, the position of the searched pixel is set as the edge coordinate data.
The edge coordinate data represents the existing position of a pixel having a pixel data value of “1” in each line.
Each area surrounded by the pixels having the coordinates indicated by the edge coordinate data becomes a brake lamp candidate area of the vehicle ahead.

【００３６】ここで、図６ａは自車の前方を撮像した映
像である。図６ａの画像に、（Ｓ２２０４）の処理を施
すことにより、図６ｂのＲ１、Ｒ２、Ｒ３、Ｒ４、Ｒ
５、Ｒ６がブレ−キランプ候補領域として判別される。Here, FIG. 6a is a video image of the front of the vehicle. By performing the process of (S2204) on the image of FIG. 6a, R1, R2, R3, R4, R of FIG.
5 and R6 are determined as the brake lamp candidate areas.

【００３７】さて、このようにして抽出処理回路３６で
ブレ−キランプ候補領域が判別されたら、次に、前方車
認識部４０において、各ブレ−キランプ候補領域各々の
重心点を計算する（Ｓ２２０８）。計算した各々の重心
点を、図６ｂのＲ１’、Ｒ２’、Ｒ３’、Ｒ４’、Ｒ
５’、Ｒ６’として示す。When the extraction lamp circuit 36 determines the brake lamp candidate area in this manner, the front vehicle recognizing section 40 calculates the center of gravity of each brake lamp candidate area (S2208). . The calculated centroid points are represented by R1 ′, R2 ′, R3 ′, R4 ′ and R in FIG. 6b.
Shown as 5'and R6 '.

【００３８】次に、計算した重心点を結び、その中点を
計算する（Ｓ２２１０）。計算した中点の一部を、図６
ｂにＲｃ１２、Ｒｃ４５、Ｒｃ２４として示す。Ｒｃ１
２はＲ１’とＲ２’の中点、Ｒｃ４５はＲ４’とＲ５’
の中点、Ｒｃ２４はＲ２’とＲ４’の中点である。Next, the calculated center of gravity points are connected and the midpoint thereof is calculated (S2210). Figure 6 shows a part of the calculated midpoint.
It is shown in b as Rc12, Rc45, and Rc24. Rc1
2 is the midpoint of R1 'and R2', Rc45 is R4 'and R5'
Rc24 is the midpoint of R2 ′ and R4 ′.

【００３９】また、同じく、ウィンカーランプにおいて
も同様に、抽出回路３６において、ウィンカーランプ色
の抽出色データに基づく画素の判別処理を行い（Ｓ２２
１２）、エッジ点検出処理を行い、ウィンカーランプ候
補領域を決定する（Ｓ２２１４）。そして、その後、前
方車認識部４０において、ウィンカーランプの重心計算
処理を行い（Ｓ２２１６）、重心間における中心点の計
算処理を行う（Ｓ２２１８）。ここで、図６ａの画像
に、これらの処理を施すと、図６ｂのＹ１、Ｙ２、Ｙ
３、Ｙ４がウィンカーランプ候補領域として抽出され、
Ｙ１’、Ｙ２’、Ｙ３’、Ｙ４’がウィンカーランプ候
補領域の重心として求められ、各重心の中点として、た
とえば、Ｙｃ１２、Ｙｃ３４、Ｙｃ２３が算出される。
なお、Ｙｃ１２はＹ１’とＹ２’の中点、Ｙｃ３４はＹ
３’とＹ４’の中点、Ｙｃ２３はＹ２’とＹ３’の中点
である。Similarly, in the winker lamp, the extraction circuit 36 similarly performs pixel discrimination processing based on the extracted color data of the winker lamp color (S22).
12) The edge point detection processing is performed to determine the winker lamp candidate area (S2214). Then, after that, the forward vehicle recognition unit 40 performs the center-of-gravity calculation process of the winker lamp (S2216), and the center point between the centers of gravity is calculated (S2218). Here, if these processes are applied to the image of FIG. 6a, Y1, Y2, Y of FIG.
3 and Y4 are extracted as winker lamp candidate areas,
Y1 ′, Y2 ′, Y3 ′, and Y4 ′ are obtained as the center of gravity of the winker lamp candidate area, and Yc12, Yc34, and Yc23 are calculated as the center points of the respective centers of gravity.
Note that Yc12 is the midpoint between Y1 'and Y2', and Yc34 is Y.
The midpoint of 3'and Y4 ', and Yc23 is the midpoint of Y2' and Y3 '.

【００４０】以上の処理により、前方車認識部４０にお
いて、バックランプおよびウィンカーランプの候補領
域、および、これらの重心、重心間の中点が認識され
る。Through the above processing, the front vehicle recognition section 40 recognizes the candidate areas of the back lamp and the winker lamp, the center of gravity of these areas, and the midpoint between the centers of gravity.

【００４１】そこで、次に、前方車認識部４０におい
て、重心点が近設しているブレ−キランプ候補領域と、
ウィンカーランプ候補領域の組を識別する（Ｓ２２１
９）。Then, next, in the forward vehicle recognizing section 40, a brake lamp candidate area in which the center of gravity is located near,
A set of blinker lamp candidate areas is identified (S221).
9).

【００４２】実際の処理としては、たとえば、図６ｂの
ブレーキランプ候補領域（赤色）Ｒ１の重心点のＲ１’
に対して、全てのウィンカーランプ候補領域（橙色）の
重心点Ｙ１’、Ｙ２’、Ｙ３’、Ｙ４’との画像上にお
ける距離を計算し、距離が最短であった重心点Ｙ１’に
対応する領域Ｙ１と、ブレーキランプ候補領域Ｒ１との
組み合わせを、前方車の近接ランプ組候補とする。以
下、各ブレーキランプ候補領域（赤色）の各重心点につ
いて同様な処理を行うと、図６ｂの場合、Ｒ１’とＹ
１’、Ｒ２’とＹ２’、Ｒ４’とＹ３’、Ｒ５’とＹ
４’が近接していると判断され、Ｒ１とＹ１、Ｒ２とＹ
２、Ｒ４とＹ３、Ｒ５とＹ４の領域の組み合わせが、前
方車の近接ランプ組候補となる。As the actual processing, for example, R1 'of the center of gravity of the brake lamp candidate area (red) R1 in FIG. 6b is used.
On the other hand, the distances on the image between the center points Y1 ′, Y2 ′, Y3 ′, and Y4 ′ of all the winker lamp candidate areas (orange) are calculated, and the distances correspond to the center point Y1 ′ having the shortest distance. The combination of the region Y1 and the brake lamp candidate region R1 is set as the proximity lamp set candidate of the preceding vehicle. Hereinafter, when the same processing is performed for each center of gravity of each brake lamp candidate area (red), in the case of FIG. 6B, R1 ′ and Y
1 ', R2' and Y2 ', R4' and Y3 ', R5' and Y
4'is judged to be close, R1 and Y1, R2 and Y
The combinations of the areas 2, R4 and Y3, and R5 and Y4 are the proximity lamp set candidates of the preceding vehicle.

【００４３】前方車の近接ランプ組候補が求まったなら
ば、次に、近接ランプ組候補の各組み合わせについて、
一方の近接ランプ組候補Ａ中のブレ−キランプと他方の
近接ランプ組候補Ｂ中のブレ−キランプの重心間の中点
と、近接ランプ組候補Ａ中のウィンカーランプと他の近
接ランプ組候補Ｂ中のウィンカーランプの重心間の中点
とのＸ座標（水平方向座標）が等しいか否かを識別する
（Ｓ２２２０）。Once the proximity lamp set candidates of the preceding vehicle are obtained, next, for each combination of the proximity lamp set candidates,
The midpoint between the center of gravity of the brake lamps in one proximity lamp set candidate A and the other brake lamp in the other proximity lamp set candidate B, the winker lamp in the proximity lamp set candidate A and the other proximity lamp set candidate B. It is determined whether or not the X coordinate (horizontal direction coordinate) with the midpoint between the centers of gravity of the winker lamps inside is equal (S2220).

【００４４】もし、２つの中点のＸ座標が等しい近接ラ
ンプ組候補の組み合わせが検出できなかった場合には、
前方車が存在しないと判断し、Ｓ６に戻り（Ｓ２２２
２）、一連の処理を繰り返す。If a combination of adjacent lamp set candidates in which the X coordinates of the two midpoints are equal cannot be detected,
It is determined that there is no vehicle ahead, and the process returns to S6 (S222
2), a series of processing is repeated.

【００４５】一方、２つの中点のＸ座標が等しい近接ラ
ンプ組候補の組み合わせが検出できた場合には、前方車
が存在していると判断すると共に、この近接ランプ組候
補の組み合わせに属する４つのランプを前方車の４つの
ランプａ、ｂ、ｃ、ｄとし、この４つのランプの領域、
重心点、および中点の座標情報（Ｒａ、Ｒｂ、Ｙａ、Ｙ
ｂ、Ｒａ’、Ｒｂ’、Ｙａ’、Ｙｂ’、Ｒｃａｂ、Ｙｃ
ａｂ）をＲＡＭ５１に格納し（Ｓ２２２２）、図１の
（Ｓ２４）の処理に進む。前方車の４つのランプａ、
ｂ、ｃ、ｄに外接する四角形を前方車を撮影した領域と
してＲＡＭ５１に記憶する。On the other hand, when the combination of the proximity lamp set candidates in which the X coordinates of the two midpoints are equal to each other can be detected, it is determined that a vehicle ahead is present, and the combination of the proximity lamp set candidates is 4 The four lamps are a, b, c, and d of the vehicle ahead, and the area of these four lamps is
Coordinate information of the center of gravity and the middle point (Ra, Rb, Ya, Y
b, Ra ', Rb', Ya ', Yb', Rcab, Yc
ab) is stored in the RAM 51 (S2222), and the process proceeds to (S24) in FIG. Four lamps a of the vehicle ahead,
The quadrangle circumscribing b, c, and d is stored in the RAM 51 as a region where the front vehicle is photographed.

【００４６】ところで、前方車両に並走車がある場合に
は、２つの中点のＸ座標が等しい近接ランプ組候補の組
み合わせが複数検出される場合がある。By the way, when there is a parallel running vehicle in front, a plurality of combinations of proximity lamp set candidates in which the X coordinates of the two midpoints are the same may be detected.

【００４７】いま、図６ｂの場合には、近接ランプ組候
補（Ｙ１，Ｒ１）と近接ランプ組候補（Ｙ２，Ｒ２）の
組み合わせ（中点はＹｃ１２とＲｃ１）と、近接ランプ
組候補（Ｙ５，Ｒ４）と近接ランプ組候補（Ｙ４，Ｒ
３）の組み合わせ（中点はＲｃ４５とＹｃ３４）とが、
２つの中点が同軸上にある近接ランプ組候補の組み合わ
せとして抽出される。そこで、このような場合には、抽
出された各近接ランプ組候補の組み合わせについて、各
近接ランプ組候補の組み合わせにおける中点のＸ座標
（Ｙｃ１２とＲｃ１２のＸ座標、または、Ｙｃ３４とＲ
ｃ４５のＸ座標）と撮像画面のＸ座標の中心との間隔
（Ｌ１、または、Ｌ２）とを求め、間隔の短い方（Ｌ
１）の近接ランプ組候補の組み合わせに属する４つのラ
ンプを前方車のランプとする。すなわち、前方車のブレ
−キランプとウィンカーランプの組み合わせは、近接ラ
ンプ組候補（Ｙ１，Ｒ１）と近接ランプ組候補（Ｙ２，
Ｒ２）の組み合わせに属する、Ｒ１とＲ２、Ｙ１とＹ２
であると判定し、この４のランプの領域、重心点、およ
び中点の座標情報（Ｒ１、Ｒ２、Ｙ１、Ｙ２、Ｒ１’、
Ｒ２’、Ｙ１’、Ｙ２’、Ｒｃ１２、Ｙｃ１２）をＲＡ
Ｍ５１に格納し、Ｓ２４の処理に進む。In the case of FIG. 6b, the combination of the proximity lamp set candidate (Y1, R1) and the proximity lamp set candidate (Y2, R2) (the middle point is Yc12 and Rc1) and the proximity lamp set candidate (Y5, Y5). R4) and proximity lamp set candidate (Y4, R
3) combination (middle point is Rc45 and Yc34)
Two midpoints are extracted as a combination of proximity lamp set candidates that are coaxial. Therefore, in such a case, for each combination of the extracted proximity lamp set candidates, the X coordinate of the midpoint in each combination of the proximity lamp set candidates (X coordinate of Yc12 and Rc12, or Yc34 and Rc).
The distance (L1 or L2) between the X coordinate of c45) and the center of the X coordinate of the imaging screen is obtained, and the shorter distance (L1)
The four lamps belonging to the combination of the proximity lamp set candidates of 1) are set as the lamps of the vehicle ahead. That is, the combination of the brake lamp and the winker lamp of the vehicle ahead is the proximity lamp set candidate (Y1, R1) and the proximity lamp set candidate (Y2,
R1 and R2, Y1 and Y2 belonging to the combination of R2)
And the coordinate information (R1, R2, Y1, Y2, R1 ′,
R2 ', Y1', Y2 ', Rc12, Yc12) are RA
Store in M51 and proceed to the processing of S24.

【００４８】次に、図１の前方車ランプのＯＮ状態を認
識する処理（Ｓ２４）の詳細について説明する。Next, the details of the processing (S24) for recognizing the ON state of the front vehicle lamp in FIG. 1 will be described.

【００４９】図４に、この前方車ランプのＯＮ状態を認
識する処理（Ｓ２４）の詳細な手順を示す。FIG. 4 shows a detailed procedure of the processing (S24) for recognizing the ON state of the forward vehicle lamp.

【００５０】図示するように、この処理では、まず、Ｏ
Ｎランプ抽出条件の決定（Ｓ２４０２）が行われる。こ
の処理は、図３のＳ２２０２と同様に、抽出条件決定部
３８が、あらかじめＲＯＭ５０中に設定してあるブレー
キランプ及びウィンカーランプの色データ（ＯＮランプ
抽出色データ）を読み込み、抽出条件を決定する（Ｓ２
４０２）。しかし、図７ｂに示すようにＯＮランプ抽出
色データは、ＯＮ状態のブレ−キランプおよびＯＮ状態
のウィンカーランプのみを抽出できるように、輝度Ｙに
ついては、図７ａに示したランプ抽出色デーより狭い範
囲（実線で示した輝度が高い部分）を示すように決定さ
れている。図７ｂの５７’が、ブレ−キランプ色のＯＮ
ランプ抽出色データを、５８’がウィンカーランプ色の
ＯＮランプ抽出色データを示している。抽出条件決定部
３８は、ブレ−キランプ色のＯＮランプ抽出色データ
と、ウィンカーランプ色のＯＮ抽出色データを、ＯＮラ
ンプ抽出条件として抽出処理回路３６に転送する。As shown, in this process, first, O
The N lamp extraction condition is determined (S2402). In this process, similarly to S2202 of FIG. 3, the extraction condition determination unit 38 reads the color data (ON lamp extraction color data) of the brake lamp and the winker lamp set in the ROM 50 in advance and determines the extraction condition. (S2
402). However, as shown in FIG. 7b, the ON lamp extraction color data is narrower than the lamp extraction color data shown in FIG. 7a with respect to the luminance Y so that only the ON-state break lamp and the ON-state winker lamp can be extracted. It is determined so as to indicate the range (the high brightness portion shown by the solid line). 57 'in FIG. 7b is a brake lamp color ON
The lamp extraction color data 58 'indicates ON lamp extraction color data of the winker lamp color. The extraction condition determining unit 38 transfers the ON lamp extraction color data of the brake lamp color and the ON extraction color data of the winker lamp color to the extraction processing circuit 36 as the ON lamp extraction condition.

【００５１】次に、抽出処理回路３６は、今度は、ブレ
−キランプ色のＯＮランプ抽出色データと、ウィンカー
ランプ色のＯＮ抽出色データを用いて、前述したのと同
様な、画素判別処理（Ｓ２４０４、２４１０）、エッジ
点判別処理（Ｓ２４０６、２４１２）を行い、ＯＮ状態
のブレ−キランプに対応する画像の領域であるＯＮスト
ップランプ候補領域と、ＯＮ状態のウィンカ−ランプに
対応する画像の領域であるＯＮウィンカーランプ候補領
域を決定する一方、前方車認識部４０は、抽出処理回路
３６によって抽出された、ＯＮストッランプ候補領域
と、ＯＮウィンカ−ランプ領域のそれぞれについて、前
述したのと同様に、ブレーキランプおよびウィンカーラ
ンプの重心を計算し（Ｓ２４０８、２４１４）、各ブレ
ーキランプ候補領域および各ウィンカーランプ候補領域
の重心点のデータをＯＮブレ−キランプと、ＯＮウィン
カ−ランプの重心点データとしてＲＡＭ５１に格納す
る。そして、図１の接触可能性推定、警報出力（Ｓ２
６）の処理へと進む。Next, the extraction processing circuit 36 uses the ON lamp extracted color data of the brake lamp color and the ON extracted color data of the winker lamp color to perform the pixel discrimination processing (the same as described above). (S2404, 2410) and edge point discrimination processing (S2406, 2412) are performed, and an ON stop lamp candidate area, which is an area of an image corresponding to the break lamp in the ON state, and an area of an image corresponding to the blinker lamp in the ON state. On the other hand, the forward vehicle recognition unit 40 determines the ON blinker lamp candidate area, which is the same as described above, for each of the ON striker candidate area and the ON blinker lamp area extracted by the extraction processing circuit 36. , The center of gravity of the brake lamp and the blinker lamp are calculated (S2408, 2414), and each brake lamp candidate area is calculated. And data ON blurring of the center of gravity of each winker lamp candidate area - and Kiranpu, ON winker - stored in RAM51 as the center of gravity data of the lamp. Then, contact possibility estimation and alarm output (S2
Proceed to the process of 6).

【００５２】なお、ＯＮ状態のランプについては、重心
間における中心点の計算処理、近接重心点判別処理、中
心点の一致判別処理、前方車が存在するか否かの判定処
理等は行わない。For the lamp in the ON state, the center point calculation processing between the centers of gravity, the close center point of gravity determination processing, the center point coincidence determination processing, the determination processing of whether or not there is a forward vehicle, etc. are not performed.

【００５３】次に、図１の、接触可能性推定、警報出力
（Ｓ２６）の処理について説明する。Next, the contact possibility estimation and alarm output (S26) processing of FIG. 1 will be described.

【００５４】この処理では、前方車を認識する処理（Ｓ
２２）と、前方車のランプがＯＮ状態の場合のみ認識す
る処理（Ｓ２４）により得られたデータを基にして処理
を行う。In this process, the process of recognizing the preceding vehicle (S
22) and the processing based on the data obtained by the processing (S24) for recognizing only when the lamp of the vehicle ahead is in the ON state.

【００５５】まず、車両状態判断部４２は、車速センサ
５６より、自車の速度データを受け取り、ＲＡＭ５１に
格納する。First, the vehicle state judging unit 42 receives the speed data of the own vehicle from the vehicle speed sensor 56 and stores it in the RAM 51.

【００５６】次に、接触可能性判断部４４は、最後にＲ
ＡＭ５１に格納された前方車のブレ−キランプ、ウィン
カ−ランプ重心点データ（Ｒ１’、Ｒ２’、Ｙ１’Ｙ
２’）を用いて、前方車のブレ−キランプ間距離または
ウィンカ−ランプ間距離をランプ間距離として計算し、
ＲＡＭ５１に格納する（Ｓ２６０２）。ここで、車両の
幅は、ほぼ一定であるので、ここで、求めたランプ間距
離より、前方車との間の距離が、おおよそ推定できる。Next, the contact possibility judging section 44 finally makes a R
The brake lamp and blinker lamp center of gravity data (R1 ', R2', Y1'Y) of the preceding vehicle stored in AM51.
2 ') is used to calculate the brake lamp distance or the blinker lamp distance of the vehicle ahead as the lamp distance,
It is stored in the RAM 51 (S2602). Here, since the width of the vehicle is substantially constant, the distance to the preceding vehicle can be roughly estimated from the obtained inter-ramp distance here.

【００５７】そこで、次に、たとえば、前回求めたラン
プ間距離と今回求めたランプ間距離との変化量と、前回
の撮像時（Ｓ６）と今回の撮像時（Ｓ６）との間に経過
した時間をもとに、前方車両と自車との相対速度を計算
する（Ｓ２６０４）。Therefore, next, for example, the amount of change between the previously obtained lamp-to-lamp distance and the currently-obtained lamp-to-lamp distance, and the time between the previous image capturing (S6) and the current image capturing (S6) have elapsed. Based on the time, the relative speed between the vehicle in front and the own vehicle is calculated (S2604).

【００５８】次に、前方車のランプがＯＮ状態を認識す
る処理（Ｓ２４）により得られたＯＮブレ−キランプと
ＯＮウィンカ−ランプの重心点データが、真に、前方車
のブレ−キランプとウィンカ−ランプについてのデータ
であるか否かを判定する。ＯＮブレ−キランプとＯＮウ
ィンカ−ランプの重心点データと、前方車のブレ−キラ
ンプとウィンカ−ランプのデータの重心点データ（Ｒ
１’、Ｒ２’、Ｙ１’、Ｙ２’）とを、それぞれ比較し
て（Ｓ２６０６）、一致すれば、ＯＮブレ−キランプと
ＯＮウィンカ−ランプの重心点データが、真に、前方車
のブレ−キランプとウィンカ−ランプについてのデータ
であると判定し、さらに、前方車のブレ−キランプ重心
点とＯＮブレ−キランプの重心点が一致した場合には、
前方車のブレ−キランプはＯＮ状態であると認識し、前
方車のウィンカ−ランプ重心点とＯＮウィンカ−の重心
点が一致した場合には、前方車のウィンカ−ランプはＯ
Ｎ状態であると認識する。Next, the center-of-gravity point data of the ON brake lamp and the ON blinker lamp obtained by the processing (S24) for recognizing the ON state of the lamp of the front vehicle is truly the brake lamp and the blinker of the front vehicle. -Determine whether or not the data is for a lamp. Center of gravity data of ON break lamp and ON winker lamp, and center of gravity data of break lamp and winker lamp data of the vehicle ahead (R
1 ', R2', Y1 ', Y2') are compared with each other (S2606), and if they match, the center-of-gravity point data of the ON brake lamp and the ON winker lamp are truly the blur of the preceding vehicle. If it is determined that the data is for the key lamp and the winker lamp, and the center of gravity of the brake lamp of the vehicle ahead and the center of gravity of the ON brake lamp match,
If the brake lamp of the vehicle ahead is recognized as being in the ON state, and if the center of gravity of the blinker lamp of the vehicle ahead and the center of gravity of the ON blinker match, the blinker lamp of the vehicle ahead will turn off.
Recognize the N state.

【００５９】次に、接触可能性判断部４４は、前方車の
ブレーキランプがＯＮ状態（即ち両側のブレーキランプ
が同時点灯）か否かを、前記認識結果より判定する（Ｓ
２６０８）。この認識結果は、ＲＡＭ５１に格納してお
く。Next, the contact possibility judging unit 44 judges from the recognition result whether or not the brake lights of the vehicle ahead are in the ON state (that is, the brake lights on both sides are simultaneously turned on) (S).
2608). The recognition result is stored in the RAM 51.

【００６０】そして、ＯＦＦ状態の場合には、後述する
ハザード状態の処理を行う（Ｓ２６１８〜２６２４）。If it is in the OFF state, a hazard state process described later is performed (S2618 to 2624).

【００６１】一方、ＯＮ状態の場合には、接触可能性判
断部４４は、ブレーキランプＯＮ警報を警報部５２に送
信し、警報部５２は、前方車がブレーキランプを踏んで
いることを、表示や、警報音や、音声や、シートに振動
を与える等の手法により運転者に知らせる（Ｓ２６１
０）。そして、次に、前方車が、接触する可能性のある
距離にあるのかを判定する（Ｓ２６１２）。ここでの判
定は、先に求めた前方車のランプ間距離、自車と前方車
との相対速度、自車の速度等の情報を用いて算出した接
触可能性が、一定レベル以下か否に応じて行う。そし
て、接触する可能性のある距離内ではない場合、後述す
るハザード状態の処理を行う（Ｓ２６１８〜２６２
４）。On the other hand, in the ON state, the contact possibility judging section 44 sends a brake lamp ON warning to the warning section 52, and the warning section 52 displays that the preceding vehicle is stepping on the brake lamp. The driver is informed by a warning sound, a voice, or a method of giving vibration to the seat (S261).
0). Then, next, it is determined whether or not the preceding vehicle is at a distance at which there is a possibility of contact (S2612). The judgment here is whether the contact possibility calculated using the information such as the distance between the ramps of the preceding vehicle, the relative speed between the own vehicle and the preceding vehicle, the speed of the own vehicle, etc., which is calculated in advance, is below a certain level. Do accordingly. If it is not within the distance where there is a possibility of contact, a hazard state process described below is performed (S2618 to 262).
4).

【００６２】一方、接触する可能性のある距離内である
場合には、接触可能性判断部４４は、強めの警報を警報
部５２に送信し、警報部５２は、前方車がブレ−キを踏
んでおり、かつ、接触する可能性が高いことを、警報音
や、音声や、シートに振動を与える等の手法により運転
者に知らせる（Ｓ２６１４）。この場合の、警報音や、
音声や、振動は、前方車がブレーキランプを踏んでいる
ことを通知する場合よりも強い警報を与えるものとす
る。On the other hand, when it is within the distance where there is a possibility of contact, the contact possibility determination unit 44 sends a strong alarm to the alarm unit 52, and the alarm unit 52 causes the preceding vehicle to break. The driver is informed that the driver is stepping on and is likely to come into contact with the driver by an alarm sound, a voice, a method of vibrating the seat, or the like (S2614). In this case, an alarm sound,
Voices and vibrations should give a stronger warning than if the vehicle ahead was stepping on the brake lamp.

【００６３】次に、前述したハザード状態の処理（Ｓ２
６１８〜２６２４）については、まず、前方車のウィン
カ−ランプがハザード状態であるか否かを判定する（Ｓ
２６１８）。ここで、ハザード状態とは、左右ウィンカ
−ランプが同時に一定周期毎に点滅している状態をい
う。このハザード状態であるか否かの判定は、たとえ
ば、ウィンカ−ランプが左右共に点灯しているかを判断
したり、各回のウィンカ−ランプがＯＮ状態の否かの認
識時に逐次ＲＡＭ５１に格納された認識結果より、左右
ウィンカ−ランプが同時に一定周期毎に点滅しているか
否かを判断することにより行うことができる。Next, the above-mentioned hazard state processing (S2
618 to 2624), it is first determined whether or not the blinker lamp of the vehicle ahead is in a hazard state (S).
2618). Here, the hazard state means a state in which the left and right winker lamps are simultaneously blinking in a constant cycle. Whether or not the hazard state is present is determined, for example, by determining whether or not the blinker lamps are both lit on the left and right sides, and the recognition sequentially stored in the RAM 51 at the time of recognizing whether or not the blinker lamps are in the ON state. From the result, it can be performed by determining whether the left and right winker lamps are simultaneously blinking in a constant cycle.

【００６４】そして、次に、ハザード状態ではない場合
には、図１のＳ６の処理にもどる。Then, if it is not in the hazard state, the process returns to S6 in FIG.

【００６５】一方、ハザード状態の場合、接触可能性判
断部４４は、ハザード状態警報を警報部５２に送信し、
警報部５２は、前方車がハザード状態であることを、表
示や、警報音や、音声や、シートに振動を与える等の手
法により運転者に知らせる（Ｓ２６２０）。この場合の
表示や、警報音や、音声や、振動は、少なくとも、ブレ
ーキランプが点灯している事を知らせる場合よりも（Ｓ
２６１０）よりも強い警報を与えるものとする。その理
由としては、前方車がハザード状態のときは、渋滞等で
停止している場合が多いため、必ずしも停止していると
は限らないブレーキランプ点灯状態よりも接触可能性が
大きいのが一般的であることによるものである。このよ
うに警報に強弱をつけることによって、接触可能性の差
を運転者が区別しやすくなる。On the other hand, in the case of a hazard state, the contact possibility judging section 44 sends a hazard state alarm to the alarm section 52,
The alarm unit 52 informs the driver that the preceding vehicle is in a hazard state by means of display, warning sound, voice, and vibration of the seat (S2620). In this case, the display, alarm sound, voice, and vibration are at least (S)
2610). The reason for this is that when the vehicle ahead is in a hazard state, it is often stopped due to traffic congestion, etc., so it is generally more likely that the vehicle will come into contact with it than in the state where the brake lamp is not always on. It is due to. By thus setting the strength of the warning, the driver can easily distinguish the difference in contact possibility.

【００６６】次に、前方車が、接触する可能性のある距
離にあるのかを判定する（Ｓ２６２２）。ここでの判定
にも、先程と同様に、前方車のランプ間距離と、自車と
前方車との相対速度、自車の速度等の情報を用いて、接
触可能性を算出する。Next, it is determined whether or not the preceding vehicle is at a distance at which there is a possibility of contact (S2622). Also in this determination, as in the previous case, the contact possibility is calculated using information such as the distance between the lamps of the preceding vehicle, the relative speed between the own vehicle and the preceding vehicle, the speed of the own vehicle, and the like.

【００６７】そして、接触する可能性のある距離内でな
い場合、図１のＳ６の処理にもどる。If it is not within the distance where there is a possibility of contact, the process returns to S6 of FIG.

【００６８】一方、接触する可能性のある距離内である
場合には、接触可能性判断部４４は、前方車がハザード
状態であり、かつ、接触する可能性が高いことを、警報
音や、音声や、シートに振動を与える等の手法により運
転者に知らせる（Ｓ２６２４）。この場合の、警報音
や、音声や、振動は、前方車がハザード状態であること
を通知する場合よりも強い警報を与えるものとする。On the other hand, when the distance is within the range where there is a possibility of contact, the contact possibility judging unit 44 indicates that the preceding vehicle is in a hazard state and there is a high possibility of contact, an alarm sound, The driver is notified by voice or a method of giving vibration to the seat (S2624). In this case, the alarm sound, the voice, and the vibration give a stronger alarm than when the front vehicle is informed of the hazard state.

【００６９】以上詳述したように、本実施例によれば、
特定色抽出手段で抽出した領域の中で、１対のブレーキ
ランプ色とウィンカーランプ色の領域が隣接していた場
合に、前方車のとブレーキランプとウィンカーランプと
して認識するので、確実に前方車の警報ランプを認識す
ることができ、正確に運転者に接触可能性を知らせるこ
とができる。また、渋滞等で停止している場合が多いハ
ザード状態の警報を必ずしも停止しているとは限らない
ブレーキランプ点灯状態の警報よりも強くすることによ
り、接触可能性の差を運転者が区別しやすくすることが
できる。As described above in detail, according to this embodiment,
If a pair of brake lamp color and winker lamp color areas are adjacent to each other in the area extracted by the specific color extracting means, the front vehicle, the brake lamp, and the winker lamp are recognized, so that the vehicle ahead is surely detected. The warning lamp can be recognized, and the driver can be accurately notified of the possibility of contact. In addition, the driver can distinguish the difference in contact possibility by making the warning of the hazard state that is often stopped due to traffic jam etc. stronger than that of the brake lamp lighting state that is not always stopped. Can be made easier.

【００７０】[0070]

【発明の効果】以上のように、本発明によれば、前方車
を、より確実に前方車両を認識することのできる警報装
置を提供することができる。また、より、きめ細かく前
方車両の状態を認識し、認識した前方車両の状態に応じ
た警報を行うことのできる警報装置を提供することがで
きる。As described above, according to the present invention, it is possible to provide an alarm device capable of more reliably recognizing the preceding vehicle. Further, it is possible to provide an alarm device capable of more finely recognizing the state of the front vehicle and issuing an alarm according to the recognized state of the front vehicle.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明の実施例に係る警報装置の構成を示すブ
ロック図である。FIG. 1 is a block diagram showing a configuration of an alarm device according to an embodiment of the present invention.

【図２】本発明の実施例に係る警報装置が行う処理の手
順を示すフローチャートである。FIG. 2 is a flowchart showing a procedure of processing performed by the alarm device according to the embodiment of the present invention.

【図３】本発明の実施例に係る警報装置が行う前方車認
識処理の手順を示すフローチャートである。FIG. 3 is a flowchart showing a procedure of a forward vehicle recognition process performed by the alarm device according to the embodiment of the present invention.

【図４】本発明の実施例に係る警報装置が行う前方車ラ
ンプＯＮ状態認識処理の手順を示すフローチャートであ
る。FIG. 4 is a flowchart showing a procedure of a front vehicle lamp ON state recognition process performed by the alarm device according to the embodiment of the present invention.

【図５】本発明の実施例に係る警報装置が行う接触可能
性推測、警報出力、回避の処理の手順を示すフローチャ
ートである。FIG. 5 is a flowchart showing a procedure of contact possibility estimation, alarm output, and avoidance processing performed by the alarm device according to the embodiment of the present invention.

【図６】本発明の実施例に係る警報装置が行う処理のよ
うすを示す図である。FIG. 6 is a diagram showing a state of processing performed by the alarm device according to the embodiment of the present invention.

【図７】本発明の実施例に係る警報装置が用いる抽出色
データの範囲を示す図である。FIG. 7 is a diagram showing a range of extracted color data used by the alarm device according to the embodiment of the present invention.

【符号の説明】[Explanation of symbols]

１０…ＣＣＤカメラ １４…色差変換回路 ２４…撮像部 ２８…処理部 ３０…画像処理部 ３２…判断部 ３６…抽出処理回路 ３８…抽出条件決定部 ４０…前方車認識部 ４２…車両状態判断部 ４４…接触可能性判断部 ５２…警報部 DESCRIPTION OF SYMBOLS 10 ... CCD camera 14 ... Color difference conversion circuit 24 ... Imaging part 28 ... Processing part 30 ... Image processing part 32 ... Judgment part 36 ... Extraction processing circuit 38 ... Extraction condition determination part 40 ... Forward vehicle recognition part 42 ... Vehicle state judgment part 44 … Contact possibility judgment unit 52… Alarm unit

───────────────────────────────────────────────────── フロントページの続き (72)発明者 農宗 千典 神奈川県横浜市神奈川区宝町２番地 日産 自動車株式会社内 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Chinori Nomune 2 Takaracho, Kanagawa-ku, Yokohama-shi, Kanagawa Nissan Motor Co., Ltd.

Claims (4)

【特許請求の範囲】[Claims] 【請求項１】自車の前方の状況をカラー撮影する撮像手
段と、 撮影された画像の中から、ブレーキランプ色（赤色）の
領域とウィンカーランプ色（橙色）の領域とを抽出する
特定色抽出手段と、 抽出されたブレーキランプ色の領域間の前記画像中にお
ける相対位置関係、および、ブレーキランプ色の領域と
ウィンカーランプ色の領域との前記画像中における相対
位置関係に基づいて、抽出されたブレーキランプ色の領
域とウィンカーランプ色の領域のうちから、前方を走行
する車両のブレーキランプとウィンカーランプの画像中
の位置に相当するブレーキランプ色の領域とウィンカー
ランプ色の領域とを推定する前方車認識手段と、 推定されたブレーキランプ色の領域とウィンカーランプ
色の領域を用いて、前方を走行する車両の状態または前
方を走行する車両との関係における接触可能性を判定す
る判定手段とを有することを特徴とする前方車両認識装
置。Claim: What is claimed is: 1. An image pickup device for taking a color image of the situation in front of the vehicle, and a specific color for extracting a brake lamp color (red) region and a winker lamp color (orange) region from the taken image. Extraction means, based on the relative positional relationship in the image between the extracted brake lamp color area, and the relative positional relationship between the brake lamp color area and the winker lamp color area in the image, are extracted. From the brake lamp color area and the blinker lamp color area, the brake lamp color area and the winker lamp color area corresponding to the positions in the image of the brake lamp and the blinker lamp of the vehicle traveling ahead are estimated. Using the front vehicle recognition means and the estimated brake lamp color area and winker lamp color area, the state of the vehicle traveling in front or Front vehicle recognition apparatus characterized by having a determining means for determining possible contact in relation to the vehicle traveling in front. 【請求項２】請求項１記載の前方車両認識装置であって 前記前方車認識手段は、抽出された各ブレーキランプ色
の領域と各ウィンカーランプ色の領域とのうち、前記画
像中における位置が隣接する一つのブレーキランプ色の
領域と一つのウィンカーランプ色の領域とを一つのラン
プ対とし、二対のランプ対を組み合わせた各組み合わせ
のうち、当該組み合わせの一方の対に含まれるブレ−キ
ランプ色の領域と他方の対に含まれるブレ−キランプ色
の領域の前記画像中における中点位置と、当該組み合わ
せの一方の対に含まれるウィンカーランプ色の領域と他
方の対に含まれるウィンカーランプ色の領域の前記画像
中における中点位置ととが一致する組み合わせに属する
２対のランプ対に含まれる２つのブレーキランプ色の領
域と２つのウィンカーランプ色の領域とを、前方を走行
する車両のブレーキランプとウィンカーランプを撮影し
た部分に相当するブレーキランプ色の領域とウィンカー
ランプ色の領域と推定することを特徴とする前方車両認
識装置。2. The front vehicle recognizing device according to claim 1, wherein the front vehicle recognizing means selects one of the extracted brake lamp color area and each winker lamp color area in the image. One brake pair and one winker lamp color area which are adjacent to each other are defined as one lamp pair, and among the combinations in which two pairs of lamp pairs are combined, a brake lamp included in one pair of the combination. The midpoint position in the image of the break lamp color area included in the color area and the other pair, the winker lamp color area included in the one pair of the combination, and the winker lamp color included in the other pair. Areas of two brake lamp colors and two windows included in two pairs of lamps belonging to a combination in which the middle point position in the image coincides with the above area. A front vehicle recognition device, characterized in that a car lamp color area is estimated as a brake lamp color area and a winker lamp color area corresponding to a portion where a brake lamp and a winker lamp of a vehicle traveling ahead are photographed. 【請求項３】自車の前方の状況をカラー撮影する撮像手
段と、 撮影された画像の中から、ブレーキランプ色（赤色）の
領域とウィンカーランプ色（橙色）の領域とを抽出する
特定色抽出手段と、 抽出された各ブレーキランプ色の領域と各ウィンカーラ
ンプ色の領域のうちの少なくとも一方の領域について、
当該領域の輝度に対応して予め定めた複数の異なる警報
のうちの、当該領域の画像の輝度に対応した警報を行う
警報手段を有することを特徴とする車載警報装置。3. An image pickup device for color-capturing the situation in front of the vehicle, and a specific color for extracting a brake lamp color (red) region and a winker lamp color (orange) region from the captured image. Extracting means, at least one of the extracted areas of each brake lamp color and each winker lamp color,
An in-vehicle alarm device comprising: an alarm unit that issues an alarm corresponding to the brightness of an image of the area, out of a plurality of different alarms predetermined corresponding to the brightness of the area. 【請求項４】自車の前方の状況をカラー撮影する撮像手
段と、 撮影された画像の中から、前方を走行する車両のブレ−
キランプを撮影したブレーキランプ色（赤色）の領域
と、前方を走行する車両の２つのウィンカーランプを撮
影した２つのウィンカーランプ色（橙色）の領域とを抽
出する前方車認識手段と、 抽出されたブレーキランプ色の領域の画像の輝度が所定
レベル以上であった場合に、比較的弱い警報を行い、前
方車両の２つのウィンカーランプ色（橙色）領域の輝度
が周期的に変化している場合に、比較的強い警報を行う
警報手段とをお有することを特徴とする車載警報装置。4. An image pickup means for color-capturing the situation in front of the vehicle, and a blur of a vehicle traveling in front of the captured image.
A front vehicle recognition means for extracting a brake lamp color (red) area in which the car lamp is photographed and two winker lamp color (orange) areas in which two winker lamps of the vehicle traveling in front are photographed, and When the brightness of the image in the brake lamp color area is above a predetermined level, a comparatively weak alarm is given, and when the brightness of the two winker lamp color (orange) areas of the vehicle ahead changes periodically. An in-vehicle alarm device, comprising: an alarm means for issuing a relatively strong alarm.