JP2000060799A - Eye position detector - Google Patents

Abstract

PROBLEM TO BE SOLVED: To provide an eye position detector which can always detect reference positions of eyes necessary for the detection of a dozing and looking-aside of a car driver and the control of a vehicle. SOLUTION: The eye position detector is provided with an eye position detection means CL2 which processes an image data of a face image to be inputted from an image input means CL1 for inputting the face image from an image pickup device such as CCD camera to detect the position of eyes, an eye position sampling/memory means CL3 to input a position data obtained form the eye position detection means CL2 for a specified time length and an eye reference position determining means CL4 which removes an eye position data generated attributed to vertical vibration caused during the running of the vehicle from the eye position data inputted from the eye position sampling/ memory means CL3 when reference positions of eyes is determined to determine the eye reference positions.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】本発明は、車両の運転者等の
居眠り状態または脇見を検出するための眼位置検出装置
に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an eye position detecting device for detecting a dozing state or a look aside of a driver of a vehicle.

【０００２】[0002]

【従来の技術】従来の画像処理による眼位置検出装置に
は、例えば、特開平７−１１７５９３号公報に記載され
たようなものがある。これは、自車両の車体の振動を検
出する車体振動検出手段を備え、この車体振動検出手段
により検出された車体振動分から運転者状態検出手段で
用いる情報を補正して視点を検出する眼球検出装置であ
る。2. Description of the Related Art A conventional eye position detecting device using image processing is disclosed in, for example, Japanese Patent Application Laid-Open No. 7-117593. This is an eyeball detection device that includes vehicle body vibration detection means for detecting the vibration of the vehicle body of the host vehicle, and corrects the information used by the driver state detection means from the vehicle body vibration detected by the vehicle body vibration detection means to detect the viewpoint. Is.

【０００３】[0003]

【発明が解決しようとする課題】しかしながら上記の眼
球検出装置では、振動を検出するのに圧電素子等の上下
Ｇセンサが必要となるためコスト高になり、また補正処
理も加わるため眼球検出の精度など信頼性が低下すると
いう問題点があった。この発明は上記の問題に鑑み、運
転者の居眠り検出や脇見検出または車両の制御に必要な
眼の基準位置検出が常に安定し、かつ安価にできる眼位
置検出装置を提供することを目的としている。However, in the above-mentioned eyeball detecting device, since the upper and lower G sensors such as piezoelectric elements are required to detect the vibration, the cost becomes high, and since the correction process is added, the accuracy of the eyeball detection is high. However, there was a problem that reliability was lowered. In view of the above problems, an object of the present invention is to provide an eye position detection device that is always stable and inexpensive at eye reference position detection necessary for driver drowsiness detection, inattentive detection, or vehicle control. .

【０００４】[0004]

【課題を解決するための手段】上記課題を解決するため
に本発明は、図１に示すように、ＣＣＤカメラ等の撮像
機器から顔画像を入力する画像入力手段ＣＬ１と、この
画像入力手段ＣＬ１から入力された顔画像の画像データ
を処理し眼の位置を検出する眼の位置検出手段ＣＬ２
と、この眼の位置検出手段ＣＬ２から得られた位置デー
タを所定時間取り込む眼の位置サンプリングおよび記憶
手段ＣＬ３と、眼の位置サンプリングおよび記憶手段Ｃ
Ｌ３により取り込まれた眼の位置データから車両走行中
発生する上下振動に起因して発生した眼の位置データを
眼の基準位置を決定するときのデータから除外し眼の基
準位置を決定する眼の基準位置決定手段ＣＬ４とを備え
るものとした。In order to solve the above problems, the present invention, as shown in FIG. 1, is an image input means CL1 for inputting a face image from an image pickup device such as a CCD camera, and the image input means CL1. Eye position detection means CL2 for processing the image data of the face image input from
An eye position sampling / storing means CL3 for fetching the position data obtained from the eye position detecting means CL2 for a predetermined time, and an eye position sampling / storing means C.
From the eye position data captured by L3, the eye position data generated due to the vertical vibration generated while the vehicle is traveling is excluded from the data for determining the eye reference position, and the eye reference position is determined. The reference position determining means CL4 is provided.

【０００５】請求項１記載の発明は、顔画像を入力する
画像入力手段と、眼の位置を検出する眼位置検出手段
と、この眼位置検出手段から得られた眼の位置座標を記
憶する眼位置記憶手段と、この眼位置記憶手段に記憶し
た眼の位置座標において、画像上の眼の上下振動振幅に
しきい値を設け、しきい値を超えた部分は眼の基準位置
を決定する計算から除外して眼の基準位置を決定する眼
の基準位置決定手段と、を有するものである。請求項２
記載の発明は、請求項１記載の眼位置検出装置におい
て、制動していることを検知する車両制動検知手段を備
え、車両速度が所定車速以上でかつ前記車両制動検知手
段が制動中であることを検知したとき、眼の位置検出手
段により眼の位置座標を読み込むものである。請求項３
記載の発明は、請求項２記載の眼位置検出装置におい
て、前記車両制動検知手段が制動を検知したときから、
あらかじめ定められた時間内に眼の位置座標を読み込む
ものである。According to a first aspect of the present invention, an image input means for inputting a face image, an eye position detecting means for detecting the eye position, and an eye for storing the eye position coordinates obtained from the eye position detecting means. The position storage means and the eye position coordinates stored in the eye position storage means are provided with a threshold value for the vertical vibration amplitude of the eye on the image, and the portion exceeding the threshold value is calculated from the calculation of determining the reference position of the eye. And a reference position determining means for determining the reference position of the eye by excluding it. Claim 2
According to a third aspect of the present invention, in the eye position detecting device according to the first aspect, a vehicle braking detection unit that detects braking is provided, the vehicle speed is equal to or higher than a predetermined vehicle speed, and the vehicle braking detection unit is braking. When is detected, the eye position detecting means reads the eye position coordinates. Claim 3
In the eye position detecting device according to the second aspect, the invention described above is, when the vehicle braking detection means detects braking,
The position coordinates of the eye are read within a predetermined time.

【０００６】[0006]

【作用】この発明は、運転者の居眠り検出や脇見検出ま
たは車両の制御に必要な眼の基準位置検出が常に安定
し、かつ安価にできる眼の位置検出装置を提供すること
を目的としている。特に、トラックやＲＶ車など比較的
走行中の上下振動が大きい車両に居眠り警報や脇見警報
を搭載した場合に有効である。この目的が達成されれば
例えば居眠りや脇見等の正確な検出が可能となり、シス
テムの信頼性が向上する。SUMMARY OF THE INVENTION An object of the present invention is to provide an eye position detecting device which is always stable and inexpensive in detecting a driver's drowsiness, looking aside, or detecting a reference position of an eye required for vehicle control. In particular, it is effective when a drowsiness alarm or an inattentive alarm is mounted on a vehicle such as a truck or an RV which has a large vertical vibration during traveling. If this object is achieved, for example, it becomes possible to accurately detect, for example, dozing or looking aside, and the reliability of the system is improved.

【０００７】[0007]

【発明の実施の形態】図２は本発明の実施の形態１のブ
ロック図を示す。インストに設置され、運転者の顔の部
分を正面から撮像するＴＶカメラ１１があり、このＴＶ
カメラ１１の入力画像はＡ−Ｄ変換器１２を介してデジ
タル量の入力画像データとして画像メモリ１３に格納さ
れる。この画像メモリ１３は、画素列の濃度検出手段と
前記画素列のポイントを抽出するポイント抽出手段と、
隣接する画素列の画素列方向に近接したポイントを連続
して顔の横方向への曲線群を抽出する画像データ演算回
路１４からなる。顔の特徴量認識回路１５は、抽出され
た顔の複数の特徴量から片側の眼の特徴量を特定すると
ともに眼の位置データを検出する。眼の基準位置検出回
路２１は、前記顔の特徴量認識回路１５から得られた眼
の位置データから眼の基準位置を計算して記憶し、居眠
りまたは脇見警報装置２２は、前記眼の基準位置に対し
運転者の眼の位置があらかじめ定められた条件になると
警報を発する構成になっている。2 is a block diagram of the first embodiment of the present invention. There is a TV camera 11 that is installed in the instrument and takes a picture of the driver's face from the front.
The input image of the camera 11 is stored in the image memory 13 as input image data of a digital amount via the A / D converter 12. The image memory 13 includes a pixel row density detecting means, a point extracting means for extracting points of the pixel row,
It is composed of an image data arithmetic circuit 14 which continuously extracts points in the lateral direction of a face by successively adjoining points of adjacent pixel rows in the pixel row direction. The face feature amount recognition circuit 15 identifies the feature amount of one eye from the plurality of extracted face feature amounts and detects eye position data. The eye reference position detection circuit 21 calculates and stores the eye reference position from the eye position data obtained from the facial feature amount recognition circuit 15, and the doze or inattentive warning device 22 determines the eye reference position. On the other hand, when the driver's eye position reaches a predetermined condition, an alarm is issued.

【０００８】次に、眼の基準位置を決定し記憶する眼の
基準位置検出回路２１を、図３から図８を使って説明す
る。図３は、眼の上下変化が比較的少ない場合の眼の上
下変位を時系列に示したものである。高速道路など道路
環境が良い場合は、運転者の上下の動きが少なく一定の
範囲内（ｂ）に分布する。この状態を眼の位置座標にプ
ロットすると図４のように、四角で囲んだ範囲に眼の位
置データが集中する。このばらつきの中心ｃが眼の基準
位置になる。Next, the eye reference position detection circuit 21 for determining and storing the eye reference position will be described with reference to FIGS. FIG. 3 shows the vertical displacement of the eye in a time series when the vertical change of the eye is relatively small. When the road environment is good, such as on an expressway, there is little vertical movement of the driver and the vehicle is distributed within a certain range (b). When this state is plotted on the eye position coordinates, as shown in FIG. 4, the eye position data is concentrated in the area surrounded by a square. The center c of this variation is the reference position of the eye.

【０００９】図５は、荒れた舗装路や未舗装道路など、
走行中の振動が大きい場合の眼の上下変化を時系列に示
した。特にシートに緩衝装置がついているトラックやＲ
Ｖ車などは上下方向の変位が大きく、図６のように取り
込んだ位置データのばらつきも大きくなる。この状態で
眼の基準位置を決めると眼の位置の誤差が増加し、居眠
り警報や脇見警報装置の精度や信頼性が低下する。FIG. 5 shows a rough paved road or an unpaved road,
The vertical changes of the eyes when vibration during driving is large are shown in time series. Especially trucks and Rs with shock absorbers on the seat
A V-car or the like has a large vertical displacement, and the variation in the position data captured as shown in FIG. 6 also becomes large. If the reference position of the eye is determined in this state, the error in the eye position increases, and the accuracy and reliability of the drowsiness alarm and the inattentive warning device decrease.

【００１０】図７に、本実施の形態のフローチャートを
示す。ステップ３１は、眼の基準位置を決める際に眼の
位置座標を所定個数集めるため、眼の位置座標の個数を
数えるカウンタであり、このカウンタを初期化する。次
にステップ３２は、前フレームの眼の座標値（ｄａｔａ
＿ｏｌｄ）を初期化する。ステップ３３は、現在の眼の
位置座標（ｄａｔａ＿ｎｅｗ）を、顔の特徴量認識回路
１５から読み出す。次にステップ３４では、前フレーム
の眼の座標値（ｄａｔａ＿ｏｌｄ）がメモリされている
かどうかを判断する。メモリされていなければ前フレー
ムの眼の座標値（ｄａｔａ＿ｏｌｄ）に、ステップ３３
で読み出した現在の眼の位置座標（ｄａｔａ＿ｎｅｗ）
をメモリしてへ戻る。再びステップ３３で現在の眼の
位置座標（ｄａｔａ＿ｎｅｗ）を読み出す。ステップ３
４では前フレームの眼の座標値（ｄａｔａ＿ｏｌｄ）が
メモリされているかどうかを判断し、ここではすでに前
フレームの眼の位置座標（ｄａｔａ＿ｏｌｄ）がメモリ
されているのでステップ３６へ進む。ステップ３６で
は、前フレームの眼の位置座標（ｄａｔａ＿ｏｌｄ）
と、現在の眼の位置座標（ｄａｔａ＿ｎｅｗ）との差を
取り、その絶対値が所定値ｒよりも大きければステップ
４１へ進み、絶対値が所定値ｒよりも小さければステッ
プ３７へ進む。この所定値ｒは、定常的に発生する上下
振動よりも若干大きい値に設定される。例として乗用車
は２０ｍｍ程度、トラックでは４０ｍｍ程度である。FIG. 7 shows a flowchart of this embodiment. Step 31 is a counter for counting the number of eye position coordinates in order to collect a predetermined number of eye position coordinates when determining the eye reference position, and this counter is initialized. Next, in step 32, the eye coordinate values (data
_Old) is initialized. In step 33, the current eye position coordinates (data_new) are read from the facial feature amount recognition circuit 15. Next, at step 34, it is judged whether or not the coordinate value (data_old) of the eye of the previous frame is stored. If it is not stored in memory, the coordinate value of the eye of the previous frame (data_old) is set to step 33.
Current eye position coordinates (data_new) read in
Memory and return to. In step 33 again, the current eye position coordinate (data_new) is read. Step 3
In step 4, it is determined whether or not the eye coordinate value (data_old) of the previous frame is stored. Since the eye position coordinate (data_old) of the previous frame is already stored here, the process proceeds to step 36. In step 36, the eye position coordinates of the previous frame (data_old)
And the current eye position coordinate (data_new) are taken. If the absolute value is larger than a predetermined value r, the process proceeds to step 41, and if the absolute value is smaller than the predetermined value r, the process proceeds to step 37. The predetermined value r is set to a value that is slightly larger than the vertical vibration that occurs steadily. For example, a passenger car has a length of about 20 mm, and a truck has a length of about 40 mm.

【００１１】ステップ３７では、眼の位置座標の変化が
小さければ、読み込んできた眼の位置座標（ｄａｔａ＿
ｎｅｗ）を平均算出メモリに記憶する。ステップ３８
は、ステップ３７に記憶したデータの個数を数えるため
のカウンタである。ステップ３９ではカウンタが所定
値、例えば３００とし、３００を超えたらステップ４０
へ進む。超えていなければ、に戻り、眼の位置座標を
読みに行き、これを繰り返す。ステップ４０では眼の基
準位置を、蓄積した眼の位置座標３００個を平均して決
定する。ステップ４１では、前フレームの眼の位置座標
（ｄａｔａ＿ｏｌｄ）を、現在の眼の位置座標（ｄａｔ
ａ＿ｎｅｗ）に更新する。In step 37, if the change in the eye position coordinates is small, the read eye position coordinates (data_
new) is stored in the average calculation memory. Step 38
Is a counter for counting the number of data stored in step 37. In step 39, the counter is set to a predetermined value, for example 300, and when it exceeds 300, step 40
Go to. If not, go back to, read the eye position coordinates, and repeat this. In step 40, the reference position of the eye is determined by averaging 300 accumulated eye position coordinates. In step 41, the eye position coordinate (data_old) of the previous frame is set to the current eye position coordinate (data
a_new).

【００１２】次に他の実施の形態２を、図８にて説明す
る。なお、前記実施の形態１と同じ処理は同一のステッ
プ番号を付し、その説明は割愛する。本実施の形態は、
さらに眼の位置が安定した環境で読み込みができるよう
にしたものである。具体的には実施の形態１の上下振動
が小さいときに眼の位置座標を読み込む条件と、運転者
が前方を注視している条件とのＡＮＤをとったものであ
る。ステップ４２では車速が所定車速を超えているかど
うかを判断し、車速が例えば１５ｋｍ／ｈの所定車速以
上出ていればステップ４３に進む。１５ｋｍ／ｈ以下な
らばへ戻る。次にステップ４３では、制動中かどうか
を判断し、制動中ならステップ３３へ進む。制動中でな
ければへ戻る。ある程度車速が出ている状態で制動を
かけることは、運転者が前方を注視している確率が高い
と考えられる。よって眼の位置検出が安定した状態で可
能になる。Next, another embodiment 2 will be described with reference to FIG. The same processes as those in the first embodiment are designated by the same step numbers, and the description thereof will be omitted. In this embodiment,
It is also designed to be read in an environment where the eye position is stable. Specifically, the AND of the condition of reading the eye position coordinates when the vertical vibration is small in the first embodiment and the condition of the driver's gaze ahead are taken. In step 42, it is judged whether or not the vehicle speed exceeds a predetermined vehicle speed, and if the vehicle speed exceeds the predetermined vehicle speed of, for example, 15 km / h, the routine proceeds to step 43. If it is less than 15 km / h, return to. Next, at step 43, it is judged whether or not braking is being performed, and if braking is being performed, the routine proceeds to step 33. If not braking, return to. It is considered that there is a high probability that the driver is gazing ahead when the vehicle is braked when the vehicle speed is high to some extent. Therefore, the eye position can be detected in a stable state.

【００１３】図９から図１７を用いて、画像処理により
眼の位置を認識する方法を次に述べる。本画像処理は、
図９のフローチャートに従って実行される。ステップ１
１０では、ＴＶカメラ１１によって運転者の顔を含む車
室内の画像が撮像されＡ−Ｄ変換器１２によって画素の
濃度がデジタル値に変換される。ステップ１２０では、
画像メモリ１３に１フレームの画像に対応する画像デー
タが蓄積される。ステップ１３０では、画像メモリ１３
に蓄積された膨大な画像データの中から顔の縦方向の画
素列が図１３に示すように選択される。画面の中央部分
に等間隔で数十列、Ｘ方向の１０画素ごとに１列の画素
列が設定される。１列の画素列はＹ方向に４８０個の画
素を有し、画素列ごとに全画素の濃度値を画像データ演
算回路１４に送出可能である。A method of recognizing the position of the eye by image processing will be described below with reference to FIGS. 9 to 17. This image processing is
It is executed according to the flowchart of FIG. Step 1
In 10, the TV camera 11 captures an image of the interior of the vehicle including the driver's face, and the AD converter 12 converts the pixel density into a digital value. In step 120,
Image data corresponding to one frame of image is stored in the image memory 13. In step 130, the image memory 13
A pixel row in the vertical direction of the face is selected from the enormous amount of image data stored in (1) as shown in FIG. Dozens of columns are arranged at equal intervals in the central portion of the screen, and one pixel column is set for every 10 pixels in the X direction. One pixel row has 480 pixels in the Y direction, and the density values of all the pixels can be sent to the image data arithmetic circuit 14 for each pixel row.

【００１４】ステップ１４０では、それぞれの画素列の
濃度値を演算処理して抽出点となる画素（Ｙ座標値）を
特定する。画素列上の濃度値の大きな変化を求め、その
局所的なピークを抽出点とする。処理手順を図１０に示
す。In step 140, the density value of each pixel row is arithmetically processed to specify a pixel (Y coordinate value) as an extraction point. A large change in the density value on the pixel array is obtained, and the local peak is used as the extraction point. The processing procedure is shown in FIG.

【００１５】ステップ１４１では、図１３の左側から順
番に、画素列ごとの全画素の濃度値を呼び出す。ステッ
プ１４２では、画素列上の濃度値を相加平均して、画素
列上の濃度値の変化曲線から高い周波数成分を除去した
相加平均濃度値を求める。例えば、図１３に示す画素列
Ｘａからは図１４の（ａ）、画素数Ｘｂからは図１７の
（ａ）に示すような相加平均濃度値が抽出される。ステ
ップ１４３では、相加平均濃度値を微分する。図１４の
（ａ）に示す相加平均濃度値では（ｂ）に示す微分値と
なり、図１７の（ａ）に示す相加平均濃度値では（ｂ）
に示す微分値となる。In step 141, the density values of all pixels in each pixel row are called in order from the left side of FIG. In step 142, the density values on the pixel array are arithmetically averaged to obtain an arithmetic average density value obtained by removing the high frequency component from the density value change curve on the pixel array. For example, from the pixel row Xa shown in FIG. 13, the arithmetic average density value as shown in FIG. 14A and from the pixel number Xb as shown in FIG. 17A is extracted. In step 143, the arithmetic mean density value is differentiated. The arithmetic mean density value shown in (a) of FIG. 14 is the differential value shown in (b), and the arithmetic mean density value shown in (a) of FIG. 17 is (b).
It becomes the differential value shown in.

【００１６】ステップ１４４では、微分値から、相加平
均濃度値の暗さのピークに対応するＹ座標値を求める。
微分値が負から正に反転するＹ座標値は、暗さのピーク
に対応して、眼、眉、口等をそれぞれ代表する１個づつ
のＹ座標値となる。微分値が正から負に反転するＹ座標
値は、眼、眉等の中間位置に対応する明るさのピーク位
置であるから本実施の形態では使用しない。図１４の
（ａ）に示す相加平均濃度値では（ｂ）に示す微分値と
なり、微分値が負から正に反転するＹ座標値ｐ１，ｐ
２，ｐ３，ｐ４，ｐ５が抽出される。これらの中で手前
の微分値のピークがしきい値（破線）以下となるＹ座標
値ｑ１，ｑ２，ｑ５が抽出点とされる。手前の微分値の
ピークを判別することで、顔面のしわや凹凸が抽出点と
なることを回避している。図１７の（ａ）に示す相加平
均濃度値では、（ｂ）に示す微分値が負から正に反転す
るＹ座標値ｐ１，ｐ２，ｐ３が抽出されるが、いずれも
手前の微分値のピークがしきい値（破線）以下となら
ず、抽出点が形成されない。In step 144, the Y coordinate value corresponding to the darkness peak of the arithmetic average density value is obtained from the differential value.
The Y coordinate value in which the differential value is inverted from negative to positive becomes one Y coordinate value representing each of the eyes, eyebrows, mouth, etc., corresponding to the peak of darkness. The Y coordinate value in which the differential value is inverted from positive to negative is the peak position of brightness corresponding to the intermediate position of the eyes, eyebrows, etc. and is not used in this embodiment. The arithmetic mean density value shown in (a) of FIG. 14 is the differential value shown in (b), and the Y coordinate values p1, p at which the differential value is inverted from negative to positive.
2, p3, p4 and p5 are extracted. Among these, the Y coordinate values q1, q2, q5 at which the peak of the differential value before this is less than or equal to the threshold value (broken line) are set as the extraction points. By distinguishing the peak of the differential value in the foreground, it is possible to avoid wrinkles and irregularities on the face from becoming extraction points. In the arithmetic mean density value shown in (a) of FIG. 17, Y coordinate values p1, p2, p3 in which the differential value shown in (b) is inverted from negative to positive are extracted. The peak does not fall below the threshold (broken line), and no extraction point is formed.

【００１７】ステップ１４５では、最後の画素列、図１
３の右端の画素列であるか否かを判定する最後の画素列
であれば、全部の画素列で抽出点を特定済みであるか
ら、ステップ１５０へ進む。最後の画素列でなければス
テップ１４１へ進み、次の画素列濃度値データによる抽
出点の特定を開始させる。このようにして、図１５に示
すように、画素列ごとに０から４個程度の抽出点Ａ１，
Ａ２，Ａ３，Ａ４が特定される。画素列Ｘ_c では、抽出
点Ａ１，Ａ２、画素列Ｘ_d ではＡ１，Ａ２，Ａ３，Ａ４
が特定される。In step 145, the last pixel column, FIG.
If it is the last pixel column for determining whether or not it is the rightmost pixel column of 3, the extraction point has already been specified in all the pixel columns, so the routine proceeds to step 150. If it is not the last pixel row, the process proceeds to step 141, and the identification of the extraction point by the next pixel row density value data is started. Thus, as shown in FIG. 15, about 0 to about 4 extraction points A1,
A2, A3 and A4 are specified. In the pixel row X _c , the extraction points A1 and A2, and in the pixel row X _d , A1, A2, A3 and A4
Is specified.

【００１８】ステップ１５０では、画素列ごとに求めた
抽出点をＸ方向に連結してグループ化する。処理手順を
図１１に示す。ステップ１５１では、画素列の抽出点デ
ータを順番に呼び出す。ステップ１５２，１５３では、
隣接する画素列の抽出点についてＹ座標値が比較され
る。隣接する画素列の抽出点Ｙ座標値の差が１０画素以
下であれば、ステップ１５４へ進んで連結データが形成
される。差が所定範囲を超える（グループ化できない）
と判断された場合はステップ１５５へ進んで連結データ
は形成されない。連結データは、発生したグループごと
に順番に付与されるグループ番号、グループの左端の抽
出点の属する画素列の番号（Ｘ座標値に対応）で分類し
て、連結された抽出点の個数（画素列数）とＹ座標値を
メモリに記憶し、画素列を処理するごとに記憶内容を書
き替えて形成される。ステップ１５５では、最後の画素
列であるか否かを判定する。最後の画素列であれば、全
部の画素列でグループ化を判定済みであるから、ステッ
プ１６０へ進む。最後の画素列でなければ、ステップ１
５１へ進み、次の画素列の抽出点によるグループ化の判
定を開始させる。In step 150, the extraction points obtained for each pixel column are connected in the X direction to form a group. The processing procedure is shown in FIG. In step 151, the extraction point data of the pixel row is called in order. In steps 152 and 153,
The Y coordinate values of the extraction points of the adjacent pixel columns are compared. If the difference between the Y coordinate values of the extraction points of the adjacent pixel columns is 10 pixels or less, the process proceeds to step 154 to form concatenated data. Difference exceeds a certain range (cannot be grouped)
If it is determined that the connection data is not formed, the process proceeds to step 155. The concatenated data is classified by the group number sequentially assigned to each generated group and the number of the pixel column to which the leftmost extraction point of the group belongs (corresponding to the X coordinate value), and the number of concatenated extraction points (pixels The number of columns) and the Y coordinate value are stored in the memory, and the stored contents are rewritten each time a pixel column is processed. In step 155, it is determined whether or not it is the last pixel column. If it is the last pixel column, grouping has already been determined for all pixel columns, so the routine proceeds to step 160. If it is not the last pixel row, step 1
Proceeding to 51, the determination of grouping by the extraction point of the next pixel row is started.

【００１９】ステップ１６０では、図２に示す画像デー
タ演算回路１４が、図１２に示す手順に従って不必要な
連結データを除去し、最終的に必要な連結データについ
てだけ候補点データを形成する。ステップ１６１では、
メモリから連結データをグループ番号の順に１個づつ呼
び出す。ステップ１６２，１６３では、連結データの連
結データ数を評価する。連結データ数が５個以上であれ
ば、次のステップ１６４へ進んで候補点データを形成す
る。連結データ数が５個未満であれば（鼻の穴等）、ス
テップ１６５へ進んで候補点データを形成しない。例え
ば、図１５に示す抽出点群からは、図１６（ａ）に示す
ように、両方の眼および眉、鼻の影、口にそれぞれ相当
する６個の抽出点のグループＧ１〜Ｇ６が残される。こ
こでは、残された６個のグループについて左から右、上
から下方向に順番に番号を付け直している。In step 160, the image data calculation circuit 14 shown in FIG. 2 removes unnecessary connection data in accordance with the procedure shown in FIG. 12, and finally forms candidate point data only for the connection data required. In step 161,
Call concatenated data one by one from the memory in the order of group numbers. In steps 162 and 163, the number of concatenated data of concatenated data is evaluated. If the number of connected data is 5 or more, the process proceeds to the next step 164 to form candidate point data. If the number of connected data is less than 5 (nostrils, etc.), the process proceeds to step 165 and the candidate point data is not formed. For example, from the extraction point group shown in FIG. 15, as shown in FIG. 16A, groups G1 to G6 of six extraction points corresponding to both eyes and eyebrows, shadows of nose, and mouth are left. . Here, the remaining six groups are renumbered in order from left to right and from top to bottom.

【００２０】候補点データは、残された抽出点のグルー
プをそれぞれ画面上の１個づつの候補点で代表される１
組の座標値、すなわち、そのグループに属する抽出点の
Ｙ座標値の平均値（高さ）と、グループの左右の両端の
画素列の中央のＸ座標値で構成される。例えば、図１６
（ａ）に示す抽出点のグループＧ１〜Ｇ６は、図１６
（ｂ）に示す画面上の６個の候補点Ｋ１〜Ｋ６で代表さ
れる。ステップ１６５では、最後の連結データであるか
否かを判定する。最後の連結データであれば、全部の連
結データを評価済みであるから、ステップ１７０へ進
む。最後の連結データでなければステップ１６１へ進
み、次の連結データの評価を開始させる。The candidate point data is represented by one candidate point on the screen for each group of remaining extraction points.
A set of coordinate values, that is, an average value (height) of Y coordinate values of extraction points belonging to the group, and an X coordinate value of the center of pixel rows at both left and right ends of the group. For example, in FIG.
The extraction point groups G1 to G6 shown in FIG.
It is represented by six candidate points K1 to K6 on the screen shown in (b). In step 165, it is determined whether or not it is the last concatenated data. If it is the last concatenated data, all the concatenated data have been evaluated, so the routine proceeds to step 170. If it is not the last concatenated data, the process proceeds to step 161, and evaluation of the next concatenated data is started.

【００２１】ステップ１７０では、図２に示す顔の特徴
量認識回路１５が、候補点データを評価して複数の候補
点の中から片方の眼の候補点を特定する。例えば、図１
６（ｂ）に示す６個の候補点Ｋ１〜Ｋ６の場合、Ｙ座標
値の大きい（低い）、候補点Ｋ５，Ｋ６を中心にして中
央の検出ゾーンＺＣを形成する。検出ゾーンＺＣの外側
には、Ｙ座標値の小さい（高い）候補点Ｋ１，Ｋ３と候
補点Ｋ２，Ｋ４をそれぞれ中心にして左右の検出ゾーン
ＺＬ，ＺＲを設定する。そして、左側の検出ゾーンＺＬ
に含まれる２つの候補点Ｋ１，Ｋ３と中央の検出ゾーン
ＺＣに含まれる候補点Ｋ６の高さや、候補点Ｋ１，Ｋ３
の位置関係に基づいて片方の眼に対応する候補点Ｋ３が
特定される。In step 170, the facial feature amount recognition circuit 15 shown in FIG. 2 evaluates the candidate point data and specifies the candidate point of one eye from the plurality of candidate points. For example, in FIG.
In the case of the six candidate points K1 to K6 shown in 6 (b), the central detection zone ZC is formed around the candidate points K5 and K6 having large (low) Y coordinate values. Outside the detection zone ZC, left and right detection zones ZL and ZR are set around the candidate points K1 and K3 having small (high) Y coordinate values and the candidate points K2 and K4, respectively. And the left detection zone ZL
Of the two candidate points K1 and K3 included in the center detection zone ZC and the candidate point K6 included in the central detection zone ZC, and the candidate points K1 and K3.
The candidate point K3 corresponding to one eye is specified based on the positional relationship of.

【００２２】[0022]

【発明の効果】以上説明で明らかなように、本発明は、
上下Ｇセンサを使うことなく、眼の基準位置検出が可能
となりコスト高を回避できる。またトラックやＲＶ車な
ど比較的走行中の上下振動が大きい車両に居眠り警報や
脇見警報を搭載した場合に有効であり、眼の位置が正確
に検出でき、システムの信頼性が向上する。As is apparent from the above description, the present invention is
The reference position of the eye can be detected without using the upper and lower G sensors, and high cost can be avoided. Further, this is effective when a drowsiness alarm or a look-aside alarm is installed in a vehicle such as a truck or an RV that has a relatively large vertical vibration while traveling, and the eye position can be accurately detected, and the reliability of the system is improved.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明のクレーム対応図を示す図である。FIG. 1 is a diagram showing a claim correspondence diagram of the present invention.

【図２】本発明実施の形態１の構成を示すブロック図で
ある。FIG. 2 is a block diagram showing the configuration of the first embodiment of the present invention.

【図３】良路を走行中の眼の上下振動波形を示す図であ
る。FIG. 3 is a diagram showing a vertical vibration waveform of an eye traveling on a good road.

【図４】良路を走行中の眼の座標分布を示す図である。FIG. 4 is a diagram showing a coordinate distribution of eyes running on a good road.

【図５】悪路を走行中の眼の上下振動波形を示す図であ
る。FIG. 5 is a diagram showing a vertical vibration waveform of an eye traveling on a rough road.

【図６】悪路を走行中の眼の座標分布を示す図である。FIG. 6 is a diagram showing a coordinate distribution of eyes running on a rough road.

【図７】実施の形態１のフローチャートである。FIG. 7 is a flowchart of the first embodiment.

【図８】実施の形態２のフローチャートである。FIG. 8 is a flowchart of the second embodiment.

【図９】画像データ入力から顔の特徴量を認識するまで
のフローチャートである。FIG. 9 is a flowchart from image data input to face feature amount recognition.

【図１０】抽出点を求める処理のフローチャートであ
る。FIG. 10 is a flowchart of a process for obtaining an extraction point.

【図１１】連結データを形成する処理のフローチャート
である。FIG. 11 is a flowchart of a process of forming concatenated data.

【図１２】候補点を選択する処理のフローチャートであ
る。FIG. 12 is a flowchart of a process of selecting candidate points.

【図１３】画素列の設定の説明図である。FIG. 13 is an explanatory diagram of setting a pixel column.

【図１４】画素列に沿った濃度値の説明図である。FIG. 14 is an explanatory diagram of density values along a pixel column.

【図１５】抽出点の分布の説明図である。FIG. 15 is an explanatory diagram of a distribution of extraction points.

【図１６】候補点の分布の説明図である。FIG. 16 is an explanatory diagram of a distribution of candidate points.

【図１７】画素列に沿った濃度値の説明図である。FIG. 17 is an explanatory diagram of density values along a pixel column.

【符号の説明】[Explanation of symbols]

ＣＬ１ 画像入力手段 ＣＬ２ 眼の位置検出手段 ＣＬ３ 眼の位置サンプリングおよび記憶手段 ＣＬ４ 眼の基準位置決定手段 １１ ＴＶカメラ １２ Ａ−Ｄ変換器 １３ 画像メモリ １４ 画像データ演算回路 １５ 顔の特徴量認識回路 ２１ 眼の基準位置検出回路 ２２ 居眠りまたは脇見検出警報装置 CL1 image input means CL2 Eye position detection means CL3 eye position sampling and storage means CL4 Eye reference position determination means 11 TV camera 12 A-D converter 13 Image memory 14 Image data operation circuit 15 Face feature recognition circuit 21 Eye reference position detection circuit 22 Drowsiness or looking aside alarm device

Claims (3)

【特許請求の範囲】[Claims] 【請求項１】 顔画像を入力する画像入力手段と、 眼の位置を検出する眼位置検出手段と、 この眼位置検出手段から得られた眼の位置座標を記憶す
る眼位置記憶手段と、 この眼位置記憶手段に記憶した眼の位置座標において、
画像上の眼の上下振動振幅にしきい値を設け、しきい値
を超えた部分は眼の基準位置を決定する計算から除外し
て眼の基準位置を決定する眼の基準位置決定手段と、を
有することを特徴とする眼位置検出装置。1. An image input means for inputting a face image, an eye position detecting means for detecting an eye position, an eye position storing means for storing the eye position coordinates obtained from the eye position detecting means, In the eye position coordinates stored in the eye position storage means,
A threshold value is provided for the vertical vibration amplitude of the eye on the image, and a portion exceeding the threshold value is excluded from the calculation for determining the reference position of the eye, and the reference position determining means of the eye for determining the reference position of the eye, An eye position detecting device having. 【請求項２】 請求項１記載の眼位置検出装置におい
て、 制動していることを検知する車両制動検知手段を備え、 車両速度が所定車速以上でかつ前記車両制動検知手段が
制動中であることを検知したとき、眼の位置検出手段に
より眼の位置座標を読み込むことを特徴とする眼位置検
出装置。2. The eye position detecting device according to claim 1, further comprising vehicle braking detection means for detecting that the vehicle is braking, the vehicle speed being equal to or higher than a predetermined vehicle speed, and the vehicle braking detection means being braking. An eye position detecting device, wherein the eye position detecting means reads the eye position coordinates when the position is detected. 【請求項３】 請求項２記載の眼位置検出装置におい
て、 前記車両制動検知手段が制動を検知したときから、あら
かじめ定められた時間内に眼の位置座標を読み込むこと
を特徴とする眼位置検出装置。3. The eye position detection apparatus according to claim 2, wherein the eye position coordinates are read within a predetermined time from when the vehicle braking detection means detects braking. apparatus.