JPH09147120A - Face image processor and method therefor - Google Patents

Face image processor and method therefor

Info

Publication number
JPH09147120A
JPH09147120A JP7309260A JP30926095A JPH09147120A JP H09147120 A JPH09147120 A JP H09147120A JP 7309260 A JP7309260 A JP 7309260A JP 30926095 A JP30926095 A JP 30926095A JP H09147120 A JPH09147120 A JP H09147120A
Authority
JP
Japan
Prior art keywords
value
threshold value
threshold
eye
open
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7309260A
Other languages
Japanese (ja)
Other versions
JP3286887B2 (en
Inventor
Kenji Ogawa
賢二 小河
Nobumasa Suenaga
伸正 末永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP30926095A priority Critical patent/JP3286887B2/en
Priority to KR1019960058629A priority patent/KR100234590B1/en
Publication of JPH09147120A publication Critical patent/JPH09147120A/en
Application granted granted Critical
Publication of JP3286887B2 publication Critical patent/JP3286887B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To exactly judge the opening/closing of the eyes of a person to be image-picked up even if the state of a face image is changed by evaluating the propriety of threshold based on the measured result of a time measuring means, resetting the threshold based on the evaluation result and judging the opening/closing of the eyes of the person to be image-picked up by using the reset threshold. SOLUTION: A digital multilevel image is received from an image input means 2 and an eye area which is considered to have the eyes of a vehicle driver in this image is specified by an eye area judging means 3. The value according to the size of the black area within the specified eye area is outputted to an eye opening/closing evaluation means 4. The eye opening/closing evaluation means 4 outputs the detection result according to the opening degree of the eyes to a time measuring means 5. The time measuring means 5 classifies the result into the plural groups of opening side threshold and closing side threshold and measures the time belonging to the prescribed group within the groups. Based on the result, the propriety of the threshold is evaluated by the threshold evaluation means 6. By the result, the threshold is reset by a threshold setting means 7 and the opening/closing of the eyes is judged.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【発明の属する技術分野】この発明は、カメラにより人
物の顔を撮像するとともにその画像を処理して被撮像者
の目の開閉を判定する顔画像処理装置及び顔画像処理方
法に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a face image processing apparatus and a face image processing method in which a face of a person is imaged by a camera and the image is processed to determine whether the eye of the person to be imaged is opened or closed.

【０００２】[0002]

【従来の技術】従来より、車両室内に設けられたカメラ
で車両運転者の顔を撮像し、得られた顔画像を処理して
顔画像の中から目を抽出し、目の開閉を検出することに
より車両運転者の脇見運転あるいは居眠り運転などを検
出することが提案されている。この様な装置の例とし
て、例えば特開平６−３２１５４号公報に示されるもの
がある。該公報では、顔画像を処理し画像中の目がある
と思われる領域を設定し、この領域内の黒色領域を目と
判定している。そして、黒色領域が所定の閾値よりも大
きいか否かにより目の開状態あるいは閉状態を判定す
る。車両運転者の脇見や居眠りは、この目の開閉状態に
より検出される。2. Description of the Related Art Conventionally, a face of a vehicle driver is imaged by a camera provided in a vehicle compartment, the obtained face image is processed, eyes are extracted from the face image, and opening / closing of the eyes is detected. Therefore, it has been proposed to detect the inattentive driving or the dozing driving of the vehicle driver. An example of such an apparatus is disclosed in Japanese Patent Laid-Open No. 6-32154. In this publication, a face image is processed to set an area in the image that seems to have eyes, and a black area in this area is determined to be an eye. Then, the open state or closed state of the eyes is determined depending on whether or not the black region is larger than a predetermined threshold value. The look and drowsiness of the vehicle driver are detected by the open / closed state of the eyes.

【０００３】[0003]

【発明が解決しようとする課題】しかしながら、該公報
の装置においては、目の開状態あるいは閉状態を判定す
るための基準となる閾値が固定になっていた。従って、
カメラと被撮像者との距離が変化したり、顔の向きが変
化したりすることにより顔画像の状態が変わった場合、
固定の閾値では目の開状態あるいは閉状態を正確に検出
することは難しかった。However, in the device of this publication, the threshold value which is the reference for determining the open or closed state of the eyes is fixed. Therefore,
When the state of the face image changes due to the distance between the camera and the person being imaged or the orientation of the face changing,
With a fixed threshold, it was difficult to accurately detect the open or closed state of the eye.

【０００４】この発明は係る課題を解決するものであっ
て、顔画像の状態が変化した場合であっても被撮像者の
目の開閉をより正確に判定することができる顔画像処理
装置及び顔画像処理方法を提供することを目的としてい
る。The present invention is to solve the above-mentioned problems, and it is possible to more accurately determine the opening / closing of the eyes of the person to be imaged even if the state of the face image changes, and a face image processing apparatus. It is intended to provide an image processing method.

【０００５】この発明に係る顔画像処理装置は、顔画像
を撮像するカメラと、このカメラの撮像情報に基づき被
撮像者の目の開度を検出する開度検出手段と、この開度
検出手段の検出結果を閾値を用いて複数のグループに分
類するとともに所定時間内において開度検出手段の検出
結果が複数のグループの内の所定のグループに属する時
間を積算計測する時間計測手段と、この時間計測手段の
計測結果に基づいて閾値の妥当性を評価する閾値評価手
段と、この閾値評価手段の評価結果に基づき閾値の値を
再設定する閾値設定手段と、閾値を用いて被撮像者の目
の開閉を判定する目開閉判定手段とを備えたものであ
る。A face image processing apparatus according to the present invention includes a camera for picking up a face image, an opening degree detecting means for detecting an eye opening degree of a person to be imaged based on image pickup information of the camera, and the opening degree detecting means. A time measuring unit that classifies the detection results of the plurality of groups into a plurality of groups using a threshold value and a time measuring unit that integrates and measures the time when the detection result of the opening degree detecting unit belongs to a predetermined group of the plurality of groups, and this time. Threshold evaluation means for evaluating the validity of the threshold value based on the measurement result of the measurement means, threshold setting means for resetting the threshold value based on the evaluation result of the threshold evaluation means, and the eye of the person to be imaged using the threshold value. And an eye open / close determination means for determining the open / close state.

【０００６】また、この発明に係る顔画像処理装置は、
所定のグループは閾値により分類された複数のグループ
の内の２つのグループであって、閾値評価手段は時間計
測手段により計測された２つのグループの計測結果の比
率と予め定められた所定値との偏差を演算するものであ
って、閾値設定手段は偏差が減少する方向に閾値の値を
更新するものである。Further, the face image processing apparatus according to the present invention is
The predetermined group is two groups out of the plurality of groups classified by the threshold value, and the threshold value evaluation means has a ratio of the measurement results of the two groups measured by the time measurement means and a predetermined value. The deviation is calculated, and the threshold setting means updates the threshold value in the direction in which the deviation decreases.

【０００７】また、この発明に係る顔画像処理装置は、
閾値設定手段は、開度検出手段の検出結果の平均値から
所定量だけ離れた位置に閾値の初期値を設定するととも
に、開度検出手段の検出出力が所定時間内において閾値
を横切らない場合は閾値を平均値の方向に更新するもの
である。Further, the face image processing apparatus according to the present invention is
The threshold value setting means sets an initial value of the threshold value at a position apart from the average value of the detection results of the opening degree detection means by a predetermined amount, and when the detection output of the opening degree detection means does not cross the threshold value within the predetermined time, The threshold value is updated in the direction of the average value.

【０００８】また、この発明に係る顔画像処理装置は、
開度検出手段の検出結果に基づき被撮像者の目が開状態
にあるときの代表的な値を演算する開値演算手段と、開
度検出手段の検出結果に基づき被撮像者の目が閉状態に
あるときの代表的な値を演算する閉値演算手段と、開値
演算手段と閉値演算手段との演算結果に基づき閾値の可
変範囲を設定する閾値制限手段とを備えたものである。The face image processing apparatus according to the present invention is
An open value calculation means for calculating a typical value when the imaged person's eyes are open based on the detection result of the opening degree detection means, and the imaged person's eyes are closed based on the detection result of the opening degree detection means. It is provided with a closed value calculating means for calculating a representative value in the state and a threshold limiting means for setting a variable range of the threshold value based on the calculation results of the open value calculating means and the closed value calculating means. .

【０００９】また、この発明に係る顔画像処理装置は、
装置が動作してから所定期間経過したことを検出する期
間検出手段と、所定期間が経過するまでは閾値の可変範
囲の更新を許可するとともに所定期間の経過以後は閾値
の可変範囲の更新を禁止する閾値制限制御手段とを備え
たものである。Further, the face image processing apparatus according to the present invention is
Period detection means for detecting that a predetermined period has elapsed since the device was operated, and permitting updating of the threshold variable range until the predetermined period has elapsed, and prohibiting updating of the threshold variable range after the predetermined period has elapsed. And a threshold limit control means for controlling.

【００１０】また、この発明に係る顔画像処理装置は、
顔画像を撮像するカメラと、このカメラの撮像情報に基
づき被撮像者の目の開度を検出する開度検出手段と、所
定時間毎における開度検出手段の検出結果の度数分布を
計測する度数計測手段と、度数分布が略平坦となる範囲
内に閾値を設定するとともに度数分布の更新に応じて閾
値を更新する閾値設定手段と、閾値を用いて被撮像者の
目の開閉を判定する目開閉判定手段とを備えたものであ
る。Further, the face image processing apparatus according to the present invention is
A camera that captures a face image, an opening detection unit that detects the opening of the imaged person's eyes based on the imaging information of this camera, and a frequency that measures the frequency distribution of the detection results of the opening detection unit at every predetermined time. Measuring means, threshold setting means for setting a threshold value within a range where the frequency distribution is substantially flat, and updating the threshold value according to the update of the frequency distribution, and an eye for determining whether the eye of the person to be imaged is opened or closed using the threshold value. An open / close determination means is provided.

【００１１】また、この発明に係る顔画像処理方法は、
顔画像を撮像するカメラの撮像情報に基づき被撮像者の
目の開度を検出するステップと、この検出結果を閾値を
用いて複数のグループに分類するステップと、所定時間
内において目の開度の検出結果が複数のグループの内の
所定のグループに属する時間を積算計測するステップ
と、この時間の計測結果に基づいて閾値の妥当性を評価
するステップと、この評価結果に基づき閾値の値を再設
定するステップと、閾値を用いて被撮像者の目の開閉を
判定するステップとを備えたものである。The face image processing method according to the present invention is
The step of detecting the eye opening of the person to be imaged based on the imaging information of the camera that captures the face image, the step of classifying the detection results into a plurality of groups using a threshold, and the eye opening within a predetermined time The step of integrating and measuring the time in which the detection result belongs to a predetermined group of the plurality of groups, the step of evaluating the validity of the threshold value based on the measurement result of this time, and the value of the threshold value based on the evaluation result It is provided with a step of resetting and a step of determining whether the eye of the person to be imaged is opened or closed using a threshold value.

【００１２】また、この発明に係る顔画像処理方法は、
顔画像を撮像するカメラの撮像情報に基づき被撮像者の
目の開度を検出するステップと、所定時間毎における目
の開度の検出結果の度数分布を計測するステップと、こ
の度数分布が略平坦となる範囲内に閾値を設定するステ
ップと、度数分布の更新に応じて閾値を更新するステッ
プと、閾値を用いて被撮像者の目の開閉を判定するステ
ップとを備えたものである。The face image processing method according to the present invention is
The step of detecting the eye opening of the person to be imaged based on the imaging information of the camera that captures the face image, the step of measuring the frequency distribution of the detection results of the eye opening at every predetermined time, and the frequency distribution are It is provided with a step of setting a threshold value within a flat range, a step of updating the threshold value according to the update of the frequency distribution, and a step of determining whether the eye of the person to be imaged is opened or closed using the threshold value.

【００１３】[0013]

【発明の実施の形態】BEST MODE FOR CARRYING OUT THE INVENTION

実施の形態１．実施の形態１は、顔画像を撮像するカメ
ラの撮像情報に基づき被撮像者の目の開度を検出するス
テップと、この検出結果を閾値を用いて複数のグループ
に分類するステップと、所定時間内において目の開度の
検出結果が複数のグループの内の所定のグループに属す
る時間を積算計測するステップと、この時間の計測結果
に基づいて閾値の妥当性を評価するステップと、この評
価結果に基づき閾値の値を再設定するステップと、閾値
を用いて被撮像者の目の開閉を判定するステップとを備
えた顔画像処理方法に関するもので、この画像処理方法
を実施する顔画像処理装置について、以下説明する。Embodiment 1 FIG. In the first embodiment, the step of detecting the eye opening of the person to be imaged based on the image pickup information of the camera that takes a face image, the step of classifying the detection result into a plurality of groups using a threshold, and the predetermined time The step of integrating and measuring the time in which the detection result of the eye opening belongs to a predetermined group of a plurality of groups, the step of evaluating the validity of the threshold value based on the measurement result of this time, and the evaluation result The present invention relates to a face image processing method including a step of resetting a threshold value based on the above, and a step of determining whether the eye of the person to be imaged is opened or closed by using the threshold, and a face image processing apparatus implementing this image processing method. Will be described below.

【００１４】図１は、実施の形態１の顔画像処理装置の
概略の構成を示すブロック図、図２乃至図４は実施の形
態１の動作を説明するタイムチャートで、図２は閾値が
妥当である状態、図３は閾値が開側に行き過ぎた状態、
図４は閾値が閉側に行き過ぎた状態を示している。ま
ず、実施の形態１の詳細な説明の前に、基本的な動作に
ついて簡単に説明しておく。車両運転者の顔画像はカメ
ラにより得られる。この顔画像を処理して被撮像者であ
る車両運転者の目を検出し、目の開度に応じた出力を得
る。これは図２乃至４に目開閉評価出力値として示され
たものである。この目の開度に応じた出力は２つの閾値
のうちの閉側閾値と比較され、閉側閾値よりも開側であ
るときは目が開状態、閉側閾値よりも閉側であるときは
目が閉状態にあると判定される。これにより目の開閉が
判定される。FIG. 1 is a block diagram showing a schematic configuration of the face image processing apparatus according to the first embodiment, and FIGS. 2 to 4 are time charts for explaining the operation of the first embodiment. FIG. 3 is a state in which the threshold value has exceeded the open side,
FIG. 4 shows a state in which the threshold value is too close to the closing side. First, the basic operation will be briefly described before the detailed description of the first embodiment. The face image of the vehicle driver is obtained by the camera. The face image is processed to detect the eyes of the vehicle driver who is the imaged person, and an output corresponding to the degree of opening of the eyes is obtained. This is shown as the eye opening / closing evaluation output value in FIGS. The output corresponding to the opening degree of this eye is compared with the closing side threshold value of the two threshold values. When the opening side is more than the closing side threshold value, the eyes are in the open state, and when the closing side threshold value is more than the closing side threshold value. It is determined that the eyes are closed. This determines whether the eyes are open or closed.

【００１５】一方、閾値は固定の値ではなく、顔画像の
変化に応じて順次更新されるものとなっている。閾値
は、妥当であるか否かがまず判定され、妥当でなければ
望ましい方向に更新される。例えば図３では閾値が開側
に行き過ぎている。このような状態では、車両運転者の
目が閉状態でなくても、閉状態であると判定してしま
う。また、図４では閾値が閉側に行き過ぎている。この
ような状態では、車両運転者の目の開閉を判定すること
ができない。そこで、実施の形態１では、閾値が図２乃
至４のうちどの状態にあるのかを判定するために次のよ
うに処理している。まず、目開閉評価出力値を開側閾値
及び閉側閾値の２つの閾値を用いて複数のグループに分
類する。その中から任意のグループを選定し、目開閉評
価出力値が所定時間内において選定した所定のグループ
に属している時間を積算計測する。実施の形態１におい
て所定のグループは、開側閾値よりも開側の領域である
グループＡと、閉側閾値よりも開側の領域であるグルー
プＢである。On the other hand, the threshold value is not a fixed value, but is sequentially updated according to changes in the face image. Whether or not the threshold value is valid is first determined, and if it is not valid, the threshold value is updated in a desired direction. For example, in FIG. 3, the threshold value is too open. In such a state, even if the eyes of the vehicle driver are not closed, it is determined that the eyes are closed. Further, in FIG. 4, the threshold value is too close to the closing side. In such a state, it is not possible to determine whether the vehicle driver's eyes are open or closed. Therefore, in the first embodiment, the following processing is performed in order to determine which of the states in FIGS. 2 to 4 the threshold value is in. First, the eye opening / closing evaluation output value is classified into a plurality of groups using two threshold values, an open side threshold value and a closed side threshold value. An arbitrary group is selected from them, and the time during which the eye opening / closing evaluation output value belongs to the selected predetermined group within the predetermined time is integrated and measured. In the first embodiment, the predetermined groups are group A, which is an area on the open side with respect to the open side threshold, and group B, which is an area on the open side with respect to the close side threshold.

【００１６】次にグループＡの計測値と、グループＢの
計測値とを比較する。図３の場合では、グループＡの計
測値がグループＢの計測値に比し非常に小さな値となっ
ている。また図４の場合では、グループＡの計測値とグ
ループＢの計測値とがほぼ等しくなっている。これに対
し、図２の閾値が妥当な場合では、グループＡの計測値
はグループＢの計測値に比し若干小さな値となってい
る。即ち、実施の形態１では、グループＡの計測値とグ
ループＢの計測値との偏差を演算し、この偏差が図２に
示す状態になるよう閉側閾値を制御する。なお、開側閾
値は、閉側閾値の変化に追従して変化するもので、閉側
閾値と開側閾値との間隔は一定である。Next, the measurement value of group A and the measurement value of group B are compared. In the case of FIG. 3, the measured value of group A is much smaller than the measured value of group B. Further, in the case of FIG. 4, the measured value of the group A and the measured value of the group B are almost equal. On the other hand, when the threshold value of FIG. 2 is appropriate, the measured value of group A is slightly smaller than the measured value of group B. That is, in the first embodiment, the deviation between the measurement value of the group A and the measurement value of the group B is calculated, and the closing-side threshold value is controlled so that the deviation becomes the state shown in FIG. The open-side threshold changes in accordance with the change in the closed-side threshold, and the interval between the closed-side threshold and the open-side threshold is constant.

【００１７】次に、実施の形態１について詳しく説明す
る。図１において、１は車両運転者の顔を撮像する車両
室内に設けられたカメラ、２はカメラ１の撮像情報であ
る映像信号を受けてＡ／Ｄ（アナログ／ディジタル）変
換しディジタル階調画像を出力する画像入力手段、３は
画像入力手段２からのディジタル階調画像を受け、この
画像中において車両運転者の目があると思われる目領域
を特定する目領域判定手段、４は車両運転者の目の開度
に応じた検出結果を出力する開度検出手段としての目開
閉評価手段であって、例えば目領域判定手段３で特定さ
れた目領域内における黒色領域の大きさに応じた値を図
２の目開閉評価出力値に示す如く出力する。これは、車
両運転者の目の開度に応じた値となっている。Next, the first embodiment will be described in detail. In FIG. 1, reference numeral 1 denotes a camera provided inside a vehicle for capturing an image of a face of a vehicle driver, and 2 denotes a digital gradation image obtained by A / D (analog / digital) conversion by receiving a video signal which is image pickup information of the camera 1. The image input means 3 for outputting the digital gradation image from the image input means 2, and the eye area determination means 4 for identifying the eye area in the image where the eyes of the vehicle driver are likely to be present. An eye opening / closing evaluation means as an opening degree detection means for outputting a detection result according to the eye opening degree of a person, for example, according to the size of a black area in the eye area specified by the eye area determination means 3. The value is output as shown in the eye opening / closing evaluation output value in FIG. This is a value according to the degree of eye opening of the vehicle driver.

【００１８】５は時間計測手段であって、目開閉評価手
段４の検出結果を図２に示す開側閾値及び閉側閾値とい
う２つの閾値を用いて複数のグループに分類する。この
複数のグループとしては、開側閾値よりも開側の領域、
開側閾値よりも閉側の領域、閉側閾値よりも開側の領
域、閉側閾値よりも閉側の領域、２つの閾値の間の領域
等が挙げられる。この実施の形態１の時間計測手段５で
は、開側閾値よりも開側の領域であるグループＡ及び閉
側閾値よりも開側の領域であるグループＢを所定のグル
ープとして選定するとともに、所定時間内において目開
閉評価手段４の検出結果がグループＡあるいはグループ
Ｂに属する時間を積算して計測している。６は閾値評価
手段で、時間計測手段５の計測結果に基づき閾値の妥当
性を評価する。７は閾値設定手段で、閾値評価手段６の
評価結果に基づき閾値がより望ましい値になるよう再設
定する。閾値設定手段７で設定した閾値は、上述の時間
計測手段５と次に説明する開閉判定手段に与えられてい
る。８は目の開閉を判定する目開閉判定手段としての開
閉判定手段で、目開閉評価手段４から与えられる車両運
転者の目の開度に応じた値と、閾値設定手段７から与え
られる閾値とが入力され、目の開度に応じた値と閉側閾
値とを比較することにより車両運転者の目の開閉を判定
する。Numeral 5 is a time measuring means, which classifies the detection result of the eye open / close evaluation means 4 into a plurality of groups by using two thresholds shown in FIG. As the plurality of groups, a region on the open side with respect to the open side threshold,
Examples include a region closer to the open side threshold, a region closer to the open side threshold than the closed side threshold, a region closer to the close side threshold than the closed side threshold, a region between two thresholds, and the like. In the time measuring means 5 of the first embodiment, the group A, which is the region on the open side with respect to the open side threshold, and the group B, the region on the open side with respect to the close side threshold, are selected as the predetermined groups, and the predetermined time The detection result of the eye open / close evaluation unit 4 is measured by integrating the time belonging to the group A or the group B. Reference numeral 6 denotes a threshold evaluation means, which evaluates the validity of the threshold value based on the measurement result of the time measurement means 5. Reference numeral 7 denotes a threshold value setting means, which resets the threshold value to a more desirable value based on the evaluation result of the threshold value evaluation means 6. The threshold value set by the threshold value setting means 7 is given to the above-mentioned time measuring means 5 and the opening / closing determining means described next. Reference numeral 8 denotes an opening / closing determination means as an eye opening / closing determination means for determining the opening / closing of the eyes, which is a value given by the eye opening / closing evaluation means 4 according to the opening degree of the eyes of the vehicle driver and a threshold given by the threshold setting means 7. Is input, and the opening / closing of the eyes of the vehicle driver is determined by comparing a value corresponding to the opening degree of the eyes with the closing-side threshold value.

【００１９】実施の形態１の動作について説明する。図
５は目開閉評価出力値を検出するためのフローチャート
である。このフローチャートは、カメラ１で撮像した顔
画像の中の目領域を特定し、目領域の中にある黒色領域
を目であると判定し、その黒色領域の大きさを目の開度
として検出する。ステップ１ではカメラ１で撮像した映
像信号が画像入力手段２に取り込まれる。画像入力手段
２はこの映像信号をＡ／Ｄ変換する。ステップ２では、
画像入力手段２で変換されたディジタル階調画像がフレ
ームメモリに入力される。ステップ３ではフレームメモ
リに記憶した画像情報が読み出され、適当な２値化閾値
により２値画像化される。ステップ４では顔の横方向検
索開始ラインより、顔の左右横方向に白色画素が検索さ
れる。ステップ５では連続した白色画素数がカウントさ
れ、続くステップ６で連続した白色画素数が最大となる
ときの白色画素領域の端部から顔の横幅輪郭線が特定さ
れる。The operation of the first embodiment will be described. FIG. 5 is a flowchart for detecting the eye opening / closing evaluation output value. In this flowchart, the eye area in the face image captured by the camera 1 is specified, the black area in the eye area is determined to be an eye, and the size of the black area is detected as the eye opening. . In step 1, the video signal captured by the camera 1 is captured by the image input means 2. The image input means 2 A / D converts this video signal. In step 2,
The digital gradation image converted by the image input means 2 is input to the frame memory. In step 3, the image information stored in the frame memory is read and binarized by an appropriate binarization threshold value. In step 4, white pixels are searched in the horizontal direction of the face from the horizontal search start line of the face. In step 5, the number of consecutive white pixels is counted, and in the following step 6, the lateral width contour line of the face is specified from the end portion of the white pixel area when the number of consecutive white pixels becomes maximum.

【００２０】ステップ７では、特定された顔の横方向輪
郭線に基づいて目が存在すると思われる目領域の横方向
の座標が決定される。ステップ８では顔の縦方向検索開
始ラインが設定され、続くステップ９で顔の縦方向に黒
色画素が検索される。ステップ９では連続した黒色画素
の領域が検索される。ステップ１０では検索した黒色画
素の領域の位置関係や縦方向の黒色画素数に基づき目領
域を特定する。ステップ１１では、特定された目領域の
中から連続した黒色画素を検出し、これを目の開度とし
て検出し出力する。即ち、図６に示すように、目領域を
縦方向に検索し、連続した黒色画素数が最大となる検索
ラインを検出し、この場合では検索ライン（ニ）上の連
続した黒色画素数を目の開度として検出している。とこ
ろで、検索ライン（ヘ）は、検索ライン（ニ）よりも連
続した黒色画素数が多い。しかし、髪あるいは眉などを
省く所定の条件を設定しておくことにより検索ライン
（ニ）を選択するようにしている。このようにして得ら
れた目の開度は、開状態では連続した黒色画素数が多く
なると共に、閉状態では連続した黒色画素数が少なくな
り、目の開度に応じた値となる。なお、このフローチャ
ートにおいて、ステップ１は画像入力手段、ステップ７
乃至ステップ１０は目領域判定手段、ステップ１１は開
度検出手段を構成している。In step 7, the lateral coordinates of the eye region where the eyes are supposed to be present are determined based on the specified lateral contour line of the face. In step 8, the vertical face search start line is set, and in the following step 9, black pixels are searched for in the vertical face direction. In step 9, a continuous black pixel area is searched. In step 10, the eye area is specified based on the positional relationship between the searched black pixel areas and the number of black pixels in the vertical direction. In step 11, continuous black pixels are detected from the specified eye region, and this is detected and output as the eye opening. That is, as shown in FIG. 6, the eye area is searched in the vertical direction, and the search line having the maximum number of continuous black pixels is detected. In this case, the number of continuous black pixels on the search line (d) is detected. Is detected as the opening degree. By the way, the search line (f) has more continuous black pixels than the search line (d). However, the search line (d) is selected by setting a predetermined condition that omits hair or eyebrows. The eye opening obtained in this manner has a large number of continuous black pixels in the open state and a small number of continuous black pixels in the closed state, and has a value corresponding to the eye opening. In this flowchart, step 1 is image input means, step 7
The step 10 constitutes eye area determining means, and the step 11 constitutes opening degree detecting means.

【００２１】上述のようにして得られた目の開度は、例
えば図２に目開閉評価出力値として示されるものであ
る。この値は、車両運転者の目の開き具合によって若干
揺らいだ値となるとともに、車両運転者が目を閉じたと
きは明らかに閉方向の値として出力される。この目開閉
評価出力値は時間計測手段５に入力され、開側閾値及び
閉側閾値という２つの閾値で複数のグループに分類され
る。また、時間計測手段５では、所定時間内において目
開閉評価出力値がグループＡに属している時間、即ち図
２において斜線部分の時間を所定時間毎に積算計測す
る。同様に所定時間内において目開閉評価出力値がグル
ープＢに属している時間も積算計測する。この結果は閾
値評価手段６に与えられ、ここで閾値の妥当性が評価さ
れる。この妥当性の評価は、上述したように、時間計測
手段５で計測されたグループＡの計測値と、グループＢ
の計測値との偏差で評価される。この偏差は閾値設定手
段７に与えられる。The eye opening obtained as described above is shown as an eye opening / closing evaluation output value in FIG. 2, for example. This value slightly fluctuates depending on how much the vehicle driver's eyes are opened, and is obviously output as a value in the closing direction when the vehicle driver closes his eyes. This eye opening / closing evaluation output value is input to the time measuring means 5 and is classified into a plurality of groups with two threshold values, an open side threshold value and a close side threshold value. Further, the time measuring means 5 integrates and measures the time during which the eye opening / closing evaluation output value belongs to the group A within the predetermined time, that is, the time in the shaded portion in FIG. Similarly, the time during which the eye open / close evaluation output value belongs to the group B within a predetermined time is also integrated and measured. This result is given to the threshold evaluation means 6, where the adequacy of the threshold is evaluated. As described above, this validity evaluation is performed by comparing the measured value of the group A measured by the time measuring means 5 with the group B.
It is evaluated by the deviation from the measured value of. This deviation is given to the threshold setting means 7.

【００２２】閾値設定手段７では、閾値評価手段６で演
算された偏差に基づき閉側閾値の値を制御し再設定す
る。開側閾値は、閉側閾値の更新に応じて同様に変化す
る。図２は閾値の設定が妥当な場合であり、開側閾値が
目開閉評価出力値の揺らぎの下側にあるとともに閉側閾
値は開側閾値よりも更に閉側に設定されている。目の開
閉は閉側閾値を基準に判定されているので、この状態に
おいては、目が開状態にあるときの目開閉評価出力値の
揺らぎにより目の開閉を誤判定することがない。この場
合のグループＡとグループＢとの計測値の偏差（グルー
プＢ − グループＡ）は、０よりも若干大きな値とな
っている。The threshold value setting means 7 controls and resets the value of the closing side threshold value based on the deviation calculated by the threshold value evaluating means 6. The open side threshold value similarly changes in response to the update of the closed side threshold value. FIG. 2 shows a case in which the threshold value is set appropriately. The open side threshold value is below the fluctuation of the eye opening / closing evaluation output value, and the close side threshold value is set to be closer to the open side than the open side threshold value. Since the eye opening / closing is determined based on the closing side threshold value, in this state, there is no erroneous eye opening / closing determination due to fluctuations in the eye opening / closing evaluation output value when the eye is in the open state. In this case, the deviation between the measured values of group A and group B (group B-group A) is a value slightly larger than 0.

【００２３】図３は、閾値が開側に行き過ぎている状態
である。この場合、目が開状態にあるときの目開閉評価
出力値の揺らぎに閉側閾値がかかっており、目が開状態
であっても閉状態であると誤判定してしまう。この状態
において、偏差（グループＢ − グループＡ）は非常
に大きな値となっている。そこで、このような場合には
閾値設定手段７は、偏差が図２の場合のように０よりも
若干大きな値となるように閉側閾値の値を更新し再設定
する。FIG. 3 shows a state in which the threshold value goes too far to the open side. In this case, the fluctuation of the eye opening / closing evaluation output value when the eyes are in the open state has a closing-side threshold value, and even if the eyes are in the open state, it is erroneously determined to be in the closed state. In this state, the deviation (group B-group A) has a very large value. Therefore, in such a case, the threshold value setting means 7 updates and resets the value of the closing-side threshold value so that the deviation becomes a value slightly larger than 0 as in the case of FIG.

【００２４】図４は、閾値が閉側に行き過ぎている状態
である。この場合、目が閉状態にあるときの値よりも更
に閉側に閉側閾値が設定されているので目の開閉を判定
することができない。この状態において、偏差（グルー
プＢ − グループＡ）はほぼ０となっている。そこ
で、このような場合には閾値設定手段７は、偏差が図２
の場合のように０よりも若干大きな値となるように閉側
閾値の値を更新し再設定する。FIG. 4 shows a state in which the threshold value is too close to the closing side. In this case, since the closing side threshold value is set on the closing side further than the value when the eyes are in the closed state, it is not possible to judge the opening / closing of the eyes. In this state, the deviation (group B-group A) is almost zero. Therefore, in such a case, the threshold value setting means 7 determines that the deviation is
In this case, the value of the closing-side threshold value is updated and reset so that the value becomes slightly larger than 0.

【００２５】この閉側閾値の更新は、所定時間毎に行わ
れる。即ち、閾値評価手段６の評価に基づき、望ましい
閾値の位置に近づく方向に所定時間毎に所定値ずつ更新
させていく。The updating of the closing side threshold value is performed every predetermined time. That is, based on the evaluation of the threshold evaluation means 6, the value is updated by a predetermined value at predetermined time intervals in the direction toward the position of the desired threshold.

【００２６】上述のようにして再設定された２つの閾値
は、時間計測手段５に与えられてグループ分類に用いら
れると共に、開閉判定手段８に与えられて、目開閉評価
出力値と閉側閾値とが比較されて目の開閉が判定され
る。The two threshold values reset as described above are given to the time measuring means 5 to be used for group classification, and are given to the opening / closing determination means 8 to evaluate the eye opening / closing evaluation output value and the closing side threshold value. Are compared to determine whether the eyes are open or closed.

【００２７】従って、実施の形態１によれば、撮像画像
の変化に応じて閾値を適切な値に更新するので、目の開
閉判定の精度を向上させることができる。また、実施の
形態１では目開閉評価として抽出した目領域の最大連続
黒色画素数を用いて説明したが、これに限られるもので
はなく、例えば我々が先に出願した特願平７−１９３６
４７号に記載の目開閉評価手法を適用しても良い。Therefore, according to the first embodiment, the threshold value is updated to an appropriate value according to the change in the captured image, so that the accuracy of the eye open / closed determination can be improved. Further, the first embodiment has been described by using the maximum number of continuous black pixels in the eye region extracted as the eye opening / closing evaluation, but the present invention is not limited to this, and for example, Japanese Patent Application No. 7-1936 filed previously by us.
The eye open / close evaluation method described in No. 47 may be applied.

【００２８】なお、実施の形態１においては開側閾値及
び閉側閾値という２つの閾値を用い、所定のグループと
してグループＡ及びグループＢという２つのグループを
選択したが、閾値及び所定のグループは１つでもよい。
即ち、実施の形態１で示した閉側閾値のみを用いても良
い。具体的には、図２乃至４において、閉側閾値を用い
て目開閉評価出力値を複数のグループ、即ち閉側閾値よ
りも開側の領域のグループと、閉側閾値よりも閉側の領
域のグループとに分類する。そして所定のグループとし
て、例えば閉側閾値よりも開側の領域、即ちグループＢ
を選択する。このとき時間計測手段５で積算計測した計
測値は、図２の状態では１よりも若干小さな値となる。
また、図３の場合では１よりも非常に小さい値となり、
図４の場合ではほぼ１になる。従って、閾値設定手段７
で、時間計測手段５の計測値が１よりも若干小さくなる
ように閉側閾値の値を更新してやればよい。このもので
は、上述の実施の形態１で述べたものに比し演算が簡単
となり処理速度を上げることができる。In the first embodiment, two thresholds, that is, the open side threshold value and the closed side threshold value are used, and two groups, group A and group B, are selected as the predetermined group, but the threshold value and the predetermined group are 1. You can choose one.
That is, only the closing-side threshold value shown in the first embodiment may be used. Specifically, in FIGS. 2 to 4, the eye opening / closing evaluation output value is divided into a plurality of groups by using the closing side threshold, that is, a group of areas on the opening side of the closing side threshold and an area of the closing side on the closing side threshold. It is classified into a group and. Then, as a predetermined group, for example, a region on the open side with respect to the closed side threshold, that is, a group B
Select At this time, the measurement value integrated by the time measuring means 5 is a value slightly smaller than 1 in the state of FIG.
In the case of FIG. 3, the value is much smaller than 1,
In the case of FIG. 4, it is almost 1. Therefore, the threshold setting means 7
Then, the value of the closing side threshold value may be updated so that the measured value of the time measuring means 5 becomes slightly smaller than 1. In this case, the calculation becomes simpler and the processing speed can be increased as compared with that described in the first embodiment.

【００２９】実施の形態２．実施の形態２は実施の形態
１と略同一のものであって、開閉判定手段８の目の開閉
の判定の仕方が異なっている。即ち、実施の形態１では
閉側閾値と目開閉評価出力値とを比較して目の開閉を判
定したが、実施の形態２では閉側閾値及び開側閾値と、
目開閉評価出力値とを比較して目の開閉を判定してい
る。図７は、実施の形態２の開閉判定手段の動作を示す
説明図である。この実施の形態２では、目開閉評価出力
値が閉側閾値よりも閉側になったときに目が開から閉に
なったと判定する。また、目開閉評価出力値が開側閾値
よりも開側となったときに目が閉から開になったと判定
する。即ち、目の開閉の判定にヒステリシスを持たせて
いる。従って、車両運転者が目をゆっくり開閉し目開閉
評価出力値が揺らいでいたとしても、開閉判定手段８の
判定結果がチャタリングを起こすことがない。Embodiment 2 The second embodiment is substantially the same as the first embodiment, but the opening / closing determining means 8 determines the eye open / closed state. That is, in the first embodiment, the closing side threshold value and the eye opening / closing evaluation output value are compared to determine the opening / closing of the eye, but in the second embodiment, the closing side threshold value and the opening side threshold value,
The eye opening / closing evaluation output value is compared to determine the eye opening / closing. FIG. 7 is an explanatory diagram showing the operation of the open / close determination unit according to the second embodiment. In the second embodiment, it is determined that the eyes have changed from open to closed when the eye opening / closing evaluation output value is closer to the closing side than the closing side threshold value. Further, when the eye open / close evaluation output value is closer to the open side than the open side threshold value, it is determined that the eye is changed from closed to open. That is, the judgment of opening / closing of the eyes has a hysteresis. Therefore, even if the vehicle driver slowly opens and closes his eyes and the eye opening / closing evaluation output value fluctuates, the judgment result of the opening / closing judgment means 8 does not cause chattering.

【００３０】実施の形態３．実施の形態３は、閾値の評
価をより正確に行うものである。実施の形態３の構成は
実施の形態１と略同一であって、閾値評価手段６の動作
が実施の形態１とは異なっている。図８は、実施の形態
３による閾値評価手段の動作を示す説明図である。図８
（ａ）は、所定時間における目開閉評価手段４の目開状
態の出力度数分布の一例を示したものである。次にグル
ープＡとグループＢの積算時間をそれぞれ（ｂ）、
（ｃ）に示す。グループＡの積算時間は開側閾値よりも
図示右方向の部分の面積であって、グループＢの積算時
間は閉側閾値よりも図示右方向の部分の面積である。こ
こで、閉側閾値をパラメータとして閉側から開側に向か
って変化させる。なお、このとき開側閾値も閉側閾値と
所定の間隔を持って変化する。このときのグループＡと
グループＢの積算時間の変化は、（ｄ）、（ｅ）に示す
とおりである。次にグループＡの積算時間をグループＢ
の積算時間で割り算する。（ｆ）はその割り算の結果を
示している。この割り算した値は、閉側閾値の値が開側
に移動するに従って、単調に減少している。このように
単調変化する値は、比較の対象として望ましい。そこ
で、実施の形態３では、閾値評価手段６においてグルー
プＡの計測結果とグループＢの計測結果との比率を上述
の如く演算し、この比率と予め定められた所定値とを比
較して偏差を演算している。閾値設定手段７には演算さ
れた偏差が入力され、その偏差が減少する方向に閉側閾
値を再設定するようにしている。予め定められた所定値
は、経験的に得られる値であって、目開閉評価出力値と
閾値とが図２に示すような位置関係になるような値であ
る。Embodiment 3 In the third embodiment, the threshold value is evaluated more accurately. The configuration of the third embodiment is substantially the same as that of the first embodiment, and the operation of the threshold value evaluation means 6 is different from that of the first embodiment. FIG. 8 is an explanatory diagram showing the operation of the threshold evaluation means according to the third embodiment. FIG.
(A) shows an example of the output frequency distribution of the eye open / close evaluation means 4 in the eye open state at a predetermined time. Next, the accumulated time of group A and group B is (b),
It is shown in (c). The cumulative time of group A is the area of the portion to the right in the figure with respect to the open side threshold, and the cumulative time of group B is the area of the portion to the right in the figure with respect to the closed side threshold. Here, the closed side threshold value is used as a parameter to change from the closed side to the open side. At this time, the open side threshold value also changes with a predetermined interval from the close side threshold value. The changes in the integration time of group A and group B at this time are as shown in (d) and (e). Next, the accumulated time of group A
Divide by the total time of. (F) shows the result of the division. This divided value monotonically decreases as the value of the closing side threshold value moves to the opening side. A value that monotonically changes in this way is desirable as a comparison target. Therefore, in the third embodiment, the threshold value evaluation unit 6 calculates the ratio between the measurement result of the group A and the measurement result of the group B as described above, and compares the ratio with a predetermined value to determine the deviation. I am calculating. The calculated deviation is input to the threshold value setting means 7, and the closing side threshold value is reset in the direction in which the deviation decreases. The predetermined value determined in advance is a value obtained empirically, and is a value such that the eye opening / closing evaluation output value and the threshold value have a positional relationship as shown in FIG.

【００３１】従って、実施の形態３では、単調に変化す
る値と予め定めた値とを比較するようにしたので、閾値
の評価をより精度良く行うことができる。Therefore, in the third embodiment, the value that changes monotonically and the predetermined value are compared, so that the threshold value can be evaluated more accurately.

【００３２】なお、上述の実施の形態では、図９に示す
如く所定時間毎に所定値だけ閾値の値を更新している。
この例では、望ましい閾値に達するまでに７回の更新を
要している。これに対し、実施の形態３では、単調に変
化する値と予め定めた値とを比較し偏差を演算するよう
にしたので、その偏差は、望ましい閾値と現在の閾値と
の離れ具合を単調に示す。即ち、偏差が大きければ望ま
しい閾値と現在の閾値とが大きくかけ離れており、偏差
が小さければ望ましい閾値と現在の閾値とがほぼ一致し
ていると言える。従って、閾値設定手段７において、偏
差の大きさに応じて更新するようにして、１回の更新で
現在の閾値が望ましい閾値に一致するようにしても良
い。もしくは、望ましい閾値と現在の閾値とが離れてい
るほど１回の更新による変化量を大きくしても良い。例
えば、１回目の更新で偏差の８割を解消する量だけ閾値
を変化させ、その後は所定時間毎に所定値ずつ閾値を変
化させるという手法などが挙げられる。このようなもの
によれば、閾値を望ましい閾値により早く一致させるこ
とができる。In the above embodiment, the threshold value is updated by a predetermined value every predetermined time as shown in FIG.
In this example, it takes seven updates to reach the desired threshold. On the other hand, in the third embodiment, the value that changes monotonically is compared with a predetermined value to calculate the deviation, so that the deviation monotonically indicates the degree of separation between the desired threshold value and the current threshold value. Show. That is, it can be said that if the deviation is large, the desired threshold value and the current threshold value are significantly different from each other, and if the deviation is small, the desirable threshold value and the current threshold value are substantially the same. Therefore, the threshold value setting means 7 may update the threshold value according to the magnitude of the deviation so that the current threshold value matches the desired threshold value in one update. Alternatively, the change amount by one update may be increased as the desired threshold value and the current threshold value are farther apart. For example, there is a method of changing the threshold value by an amount that eliminates 80% of the deviation in the first update, and then changing the threshold value by a predetermined value at predetermined time intervals. According to such a thing, a threshold value can be matched more quickly with a desired threshold value.

【００３３】実施の形態４．実施の形態１では、所定の
グループとしてグループＡとグループＢとを使用した。
実施の形態４は所定のグループを変更した例を示すもの
であって、基本的には実施の形態１と同様なものであ
る。図１０乃至図１２は実施の形態４の動作を説明する
タイムチャートである。図１０は、閾値が妥当な位置に
ある状態を示している。実施の形態４では所定のグルー
プとして、上述の開側閾値よりも開側の領域であるグル
ープＡと、開側閾値と閉側閾値との間の領域であるグル
ープＣとを使用している。Embodiment 4 FIG. In the first embodiment, the groups A and B are used as the predetermined groups.
The fourth embodiment shows an example in which a predetermined group is changed, and is basically the same as the first embodiment. 10 to 12 are time charts for explaining the operation of the fourth embodiment. FIG. 10 shows a state in which the threshold value is in a proper position. In the fourth embodiment, a group A, which is a region on the open side with respect to the above-described open-side threshold, and a group C, which is a region between the open-side threshold and the close-side threshold, are used as the predetermined groups.

【００３４】基本的な動作は実施の形態１と同様である
ので、ここでは閾値の評価について説明する。図１０に
おいて時間計測手段５は、所定時間内において目開閉評
価出力値がグループＡに属している時間を積算して計測
すると共に、グループＣについても同様に積算して計測
する。このときのグループＡとグループＣとの計測値の
偏差（グループＡ − グループＣ）は、グループＡの
計測値よりも若干小さな値となる。図１１は、閾値が開
側に行き過ぎた状態である。このときグループＡの計測
値が減少しグループＣの計測値が増える。従って、偏差
（グループＡ − グループＣ）は、極端な場合には負
の値となる。図１２は、閾値が閉側に行き過ぎた状態で
ある。このとき、グループＡの計測値が増加すると共に
グループＣの計測値は、極端な場合には０となる。従っ
て、偏差（グループＡ − グループＣ）は、極端な場
合には、グループＡの計測値そのものとなる。従って、
閾値設定手段７はこれらの偏差を受け、偏差がグループ
Ａの計測値よりも若干小さな値となるよう、即ち図１０
の状態になるよう閾値を更新し再設定する。Since the basic operation is similar to that of the first embodiment, the evaluation of the threshold will be described here. In FIG. 10, the time measuring means 5 integrates and measures the time during which the eye opening / closing evaluation output value belongs to the group A within a predetermined time, and also similarly integrates and measures the group C as well. At this time, the difference between the measured values of group A and group C (group A-group C) is a value slightly smaller than the measured value of group A. FIG. 11 shows a state in which the threshold value has exceeded the open side. At this time, the measurement value of group A decreases and the measurement value of group C increases. Therefore, the deviation (group A-group C) becomes a negative value in an extreme case. FIG. 12 shows a state in which the threshold value is too close to the closing side. At this time, the measured value of the group A increases and the measured value of the group C becomes 0 in an extreme case. Therefore, in an extreme case, the deviation (group A-group C) becomes the measurement value itself of group A. Therefore,
The threshold setting means 7 receives these deviations so that the deviations are slightly smaller than the measured values of the group A, that is, FIG.
The threshold is updated and reset so that the state becomes.

【００３５】なお、実施の形態４においても、上述の実
施の形態２の如く目の開閉の判定にヒステリシスを持た
せても良いことは明らかである。In the fourth embodiment as well, it is obvious that the eye open / close determination may have hysteresis as in the second embodiment.

【００３６】次に、実施の形態４においても、上述の実
施の形態３の如く閾値の評価の精度を向上させることが
できる旨説明する。図１３は、実施の形態４による閾値
評価手段の別の動作を示す説明図であって、図８に示し
たものと同様なものである。図１３（ａ）は、所定時間
における目開閉評価手段４の目開状態の出力度数分布の
一例を示したものである。次にグループＡとグループＣ
の積算時間をそれぞれ（ｂ）、（ｃ）に示す。グループ
Ａの積算時間は開側閾値よりも図示右方向の部分の面積
であって、グループＣの積算時間は閉側閾値と開側閾値
とで区切られた部分の面積である。ここで、閉側閾値を
パラメータとして変化させる。なお、このとき開側閾値
も閉側閾値と所定の間隔を持って変化する。このときの
グループＡとグループＣの積算時間の変化は、（ｄ）、
（ｅ）に示すとおりである。次にグループＣの積算時間
をグループＡの積算時間で割り算する。（ｆ）はその割
り算の結果を示している。この割り算した値は、閉側閾
値の値が開側に移動するに従って、単調に増加してい
る。このように単調変化する値は、比較の対象として望
ましい。そこで、実施の形態４では、閾値評価手段６に
おいてグループＡの計測結果とグループＣの計測結果と
の比率を上述の如く演算し、この比率と予め定められた
所定値とを比較して偏差を演算している。閾値設定手段
７には演算された偏差が入力され、その偏差が減少する
方向に閉側閾値を再設定するようにしている。予め定め
られた所定値は、経験的に得られる値であって、目開閉
評価出力値と閾値とが図１０に示すような位置関係にな
るような値である。Next, also in the fourth embodiment, it will be described that the accuracy of the threshold evaluation can be improved as in the third embodiment. FIG. 13 is an explanatory diagram showing another operation of the threshold value evaluating means according to the fourth embodiment, which is similar to that shown in FIG. FIG. 13A shows an example of the output frequency distribution of the eye open / close evaluation unit 4 in the eye open state at a predetermined time. Next, group A and group C
The accumulated times of are shown in (b) and (c), respectively. The cumulative time of group A is the area of the portion to the right of the open side threshold value in the figure, and the cumulative time of group C is the area of the portion divided by the closed side threshold value and the open side threshold value. Here, the closing-side threshold value is changed as a parameter. At this time, the open side threshold value also changes with a predetermined interval from the close side threshold value. At this time, the change in the integration time of group A and group C is (d),
It is as shown in (e). Next, the integrated time of group C is divided by the integrated time of group A. (F) shows the result of the division. The divided value monotonically increases as the value of the closing side threshold value moves to the opening side. A value that monotonically changes in this way is desirable as a comparison target. Therefore, in the fourth embodiment, the threshold value evaluation unit 6 calculates the ratio between the measurement result of the group A and the measurement result of the group C as described above, and compares the ratio with a predetermined value to determine the deviation. I am calculating. The calculated deviation is input to the threshold value setting means 7, and the closing side threshold value is reset in the direction in which the deviation decreases. The predetermined value set in advance is a value obtained empirically, and is a value such that the eye opening / closing evaluation output value and the threshold value have a positional relationship as shown in FIG.

【００３７】従って、実施の形態４では、単調に変化す
る値と予め定めた値とを比較するようにしたので、閾値
の評価をより精度良く行うことができる。Therefore, in the fourth embodiment, the value that changes monotonically and the predetermined value are compared, so that the threshold value can be evaluated more accurately.

【００３８】尚、上述の実施の形態１乃至４において、
閾値評価手段６で用いる所定値及び２つの閾値の差は、
使用する目開閉評価手段４の出力特性に応じて適当な値
を設定するようにすればよい。In the first to fourth embodiments described above,
The difference between the predetermined value used by the threshold evaluation means 6 and the two thresholds is
An appropriate value may be set according to the output characteristics of the eye open / close evaluation means 4 used.

【００３９】実施の形態５．実施の形態５は閾値の初期
設定に関するもので、装置起動後速やかに閾値が望まし
い値に設定されるようにするものである。図１４に閾値
の更新の様子を示す。上述の実施の形態１乃至４では、
開側閾値よりも開側の領域であるグループＡ、閉側閾値
よりも開側の領域であるグループＢ、閉側閾値と開側閾
値との間の領域であるグループＣを使用していた。従っ
て、図１４の場合においては、何れのグループの計測値
も０となり閾値の妥当性の評価ができなくなる。この場
合、仮に開側に所定時間毎に所定値だけ更新していった
とすると、閾値は目開閉評価出力値からどんどん離れる
ことになり目の開閉を判定することができなくなる。実
施の形態５は、このような不都合が生じないようにする
ものである。具体的には、目開閉評価出力値の平均値よ
りも閉側に閾値の初期値を設定すると共に、所定時間内
において目開閉評価出力値が２つの閾値の何れも横切ら
ない場合には閾値を開側に更新するようにしている。そ
の様子を図１５に示す。図１５においては、閾値が装置
起動後速やかに望ましい位置に更新されていることが解
る。この実施の形態において、所定時間は約１０秒間で
ある。また、閾値の初期値は、経験に基づいて目開閉評
価出力値の平均値よりも閉側であろうという値を予め設
定する。Embodiment 5 The fifth embodiment relates to the initial setting of the threshold value, and the threshold value is set to a desired value immediately after the device is activated. FIG. 14 shows how the threshold is updated. In the first to fourth embodiments described above,
A group A, which is a region on the open side with respect to the open side threshold, a group B, which is a region on the open side with respect to the close side threshold, and a group C, which is a region between the close side threshold and the open side threshold, were used. Therefore, in the case of FIG. 14, the measured value of any group becomes 0, and the validity of the threshold cannot be evaluated. In this case, if the open side is updated by a predetermined value at predetermined time intervals, the threshold value will gradually deviate from the eye open / close evaluation output value, and it will not be possible to determine whether the eye is open or closed. The fifth embodiment is to prevent such an inconvenience. Specifically, the initial value of the threshold value is set on the closing side of the average value of the eye opening / closing evaluation output values, and the threshold value is set when the eye opening / closing evaluation output value does not cross any of the two threshold values within a predetermined time. I am trying to update to the open side. This is shown in FIG. In FIG. 15, it can be seen that the threshold value is updated to the desired position immediately after the device is activated. In this embodiment, the predetermined time is about 10 seconds. In addition, the initial value of the threshold value is set in advance based on experience based on the fact that it is closer to the closed side than the average value of the eye opening / closing evaluation output values.

【００４０】よって、実施の形態５によれば、装置起動
後速やかに閾値を望ましい閾値の位置に更新することが
できる。Therefore, according to the fifth embodiment, it is possible to immediately update the threshold value to the desired threshold value position after starting the apparatus.

【００４１】もしくは、装置起動後の所定時間における
目開閉評価出力値の平均値を演算し、その平均値よりも
所定量だけ閉側の位置に閾値の初期値を設定するように
しても良い。Alternatively, the average value of the eye opening / closing evaluation output values in a predetermined time after the device is started may be calculated, and the initial value of the threshold value may be set at a position closer to the closing side by a predetermined amount than the average value.

【００４２】また、装置起動後の所定時間における目開
閉評価出力値の最も閉側の値を検出し、その値よりも若
干閉側の位置に閾値の初期値を設定するようにしても良
い。Further, it is also possible to detect the value of the eye opening / closing evaluation output value on the most closed side in a predetermined time after the device is activated, and set the initial value of the threshold value to a position slightly on the closed side of the detected value.

【００４３】更に、上述の実施の形態では閾値の初期値
を目開閉評価出力値の平均値よりも閉側に設定するよう
にし、所定時間内において目開閉評価出力値が閾値を横
切らなければ閾値を開側に更新するようにした。これと
は逆に、閾値の初期値を目開閉評価出力値の平均値より
も開側に設定するようにし、所定時間内において目開閉
評価出力値が閾値を横切らなければ閾値を閉側に更新す
るようにしてもよい。しかし、上述の実施の形態で説明
したように、望ましい閾値は目開閉評価出力値の平均値
よりも所定量だけ閉側に位置している。従って、目開閉
評価出力値の平均値よりも閉側に閾値を初期設定するも
のに比し、閾値が望ましい位置に更新されるまでの時間
が若干長くなってしまうことに注意しなければならな
い。Further, in the above-described embodiment, the initial value of the threshold value is set closer to the closing side than the average value of the eye opening / closing evaluation output values, and if the eye opening / closing evaluation output value does not cross the threshold value within the predetermined time, the threshold value is set. Was updated to the open side. On the contrary, the initial value of the threshold value is set to the open side with respect to the average value of the eye opening / closing evaluation output value, and if the eye opening / closing evaluation output value does not cross the threshold value within the predetermined time, the threshold value is updated to the closed side. You may do it. However, as described in the above embodiment, the desired threshold value is located on the closing side by a predetermined amount from the average value of the eye opening / closing evaluation output values. Therefore, it should be noted that the time until the threshold value is updated to a desired position becomes slightly longer than that in which the threshold value is initially set on the closing side with respect to the average value of the eye opening / closing evaluation output value.

【００４４】実施の形態６．上述の実施の形態では、車
両運転者の顔の撮影条件が変化しても正確な目の開閉判
定ができるように閾値を更新することについて説明し
た。しかしながら、車両運転者が眠くなる等の理由で目
が閉じ気味になると閾値がこれに追従して更新され、覚
醒時と比較して閾値が閉側に行き過ぎる可能性がある。
そこで実施の形態６では、閾値を更新できる範囲、即ち
可変範囲を設定し閾値が好ましい範囲から逸脱するのを
防止するようにしている。図１６は、実施の形態６の構
成を示すブロック図である。図において１乃至８は上述
の実施の形態で説明したものと同一あるいは相当するも
のである。９は所定時間内において開閉判定手段８によ
り目が開状態と判定されたときの目開閉評価手段４の出
力の最も開側の値である最開値を記録する最開値記録手
段で、この最開値は目が開状態にあるときの代表的な値
である。１０は最開値記録手段９の記録値が入力され所
定時間毎にフィルタリング処理を行う最開値フィルタ
で、最開値記録手段９と共に開値演算手段を構成してい
る。１１は所定時間内において開閉判定手段８により目
が閉状態と判定されたときの目開閉評価手段４の出力の
最も閉側の値である最閉値を記録する最閉値記録手段
で、この最閉値は目が閉状態にあるときの代表的な値で
ある。１２は最閉値記録手段１１の記録値が入力され所
定時間毎にフィルタリング処理を行う最閉値フィルタ
で、最閉値記録手段１１と共に閉値演算手段を構成して
いる。１３は最開値フィルタ１０と最閉値フィルタ１２
との出力が入力される閾値制限手段で、所定時間内に得
られた最開値をフィルタリング処理した値と所定時間内
に得られた最閉値をフィルタリング処理した値とに基づ
き閾値設定手段７により設定される閾値の可変範囲を設
定する。Embodiment 6 FIG. In the above-described embodiment, the threshold value is updated so that the eye open / close determination can be accurately performed even if the imaging condition of the face of the vehicle driver changes. However, when the eyes of the vehicle driver tend to close due to sleepiness or the like, the threshold value is updated following this, and there is a possibility that the threshold value will go too close to the closed side compared to when the vehicle is awake.
Therefore, in the sixth embodiment, a range in which the threshold value can be updated, that is, a variable range is set to prevent the threshold value from deviating from the preferable range. FIG. 16 is a block diagram showing the configuration of the sixth embodiment. In the figure, 1 to 8 are the same as or equivalent to those described in the above-mentioned embodiment. Reference numeral 9 denotes the maximum open value recording means for recording the maximum open value which is the most open side value of the output of the eye open / close evaluation means 4 when the open / close determination means 8 determines that the eyes are open within a predetermined time. The maximum open value is a typical value when the eyes are open. Reference numeral 10 denotes an open-value filter that receives the record value of the open-value recording means 9 and performs a filtering process at predetermined time intervals, and constitutes the open-value calculating means together with the open-value recording means 9. Reference numeral 11 denotes a closed-closed value recording means for recording the closed-closed value which is the value on the closed side of the output of the eye-opening / closing evaluation means 4 when the open / close determination means 8 determines that the eyes are closed within a predetermined time. The most closed value is a typical value when the eyes are closed. Reference numeral 12 denotes a closed-value filter that receives the recorded value of the closed-value recording means 11 and performs a filtering process at predetermined time intervals, and constitutes the closed-value calculation means together with the closed-value recording means 11. 13 is a maximum open value filter 10 and a maximum closed value filter 12
The threshold value setting means 7 receives the output of and the threshold value setting means 7 based on the value obtained by filtering the most open value obtained within the predetermined time and the value obtained by filtering the most closed value obtained within the predetermined time. The variable range of the threshold value set by is set.

【００４５】次に実施の形態６における閾値の可変範囲
の設定の仕方について説明する。その他の基本的な動作
は上述の実施の形態と同様であるのでここでは省略す
る。最開値記録手段９は、所定時間内において車両運転
者の目が開状態にあると判定されたときの目開閉評価手
段４の出力の最開値を記録している。この記録値は最開
値フィルタ１０に所定時間毎に順次与えられる。最開値
フィルタ１０では、最開値記録手段９で設定されている
所定時間よりも長い所定時間毎にフィルタリング処理が
行なわれている。ここでは、最開値記録手段９から与え
られた複数個の最開値をフィルタリング処理して、目が
開状態における目開閉評価手段４の出力の揺らぎの平均
的な上限値を演算する。同様に、最閉値記録手段１１
は、所定時間内において車両運転者の目が閉状態にある
と判定されたときの目開閉評価手段４の出力の最閉値を
記録している。この記録値は最閉値フィルタ１２に所定
時間毎に順次与えられる。最閉値フィルタ１２では、最
閉値記録手段１１で設定されている所定時間よりも長い
所定時間毎にフィルタリング処理が行なわれている。こ
こでは、最閉値記録手段１１から与えられた複数個の最
閉値をフィルタリング処理して、目が閉状態における目
開閉評価手段４の出力の揺らぎの平均的な下限値を演算
する。これにより、車両運転者の目の開閉に伴う目開閉
評価手段４の平均的な出力範囲が得られる。閾値制限手
段１３では、この平均的な出力範囲を用いて、閉側閾値
の可変範囲を下式により設定する。Next, a method of setting the variable range of the threshold value in the sixth embodiment will be described. The other basic operations are the same as those in the above-described embodiment, and therefore will be omitted here. The maximum open value recording means 9 records the maximum open value of the output of the eye open / close evaluation means 4 when it is determined that the eyes of the vehicle driver are in the open state within a predetermined time. This recorded value is sequentially given to the maximum open value filter 10 at every predetermined time. In the maximum open value filter 10, the filtering process is performed every predetermined time which is longer than the predetermined time set in the maximum open value recording means 9. Here, a plurality of the maximum open values given from the maximum open value recording means 9 are filtered to calculate an average upper limit value of the fluctuation of the output of the eye open / close evaluation means 4 when the eyes are open. Similarly, the closed value recording means 11
Records the maximum closed value of the output of the eye open / close evaluation unit 4 when it is determined that the eyes of the vehicle driver are closed within a predetermined time. This recorded value is sequentially given to the closed-value filter 12 every predetermined time. The most closed value filter 12 performs a filtering process at every predetermined time longer than the predetermined time set by the most closed value recording means 11. Here, the plurality of closed values given from the closed value recording means 11 are filtered to calculate an average lower limit value of the fluctuation of the output of the eye open / close evaluation means 4 when the eyes are closed. As a result, the average output range of the eye opening / closing evaluation means 4 associated with the opening / closing of the eyes of the vehicle driver can be obtained. The threshold limiter 13 uses this average output range to set the variable range of the closing side threshold by the following formula.

【００４６】[0046]

【数１】 (Equation 1)

【００４７】閉側閾値が最も閉側となる下限値は、式
（１）により得られる。即ち、最閉値を基準とし、これ
に平均的な出力範囲に定数１を掛けたものを加算する。
また、閉側閾値が最も開側となる上限値は、式（２）に
より得られる。この式（２）は式（１）と同様のもので
あるが、平均的な出力範囲に乗算される定数が異なって
いる。ここで、定数１、定数２は使用する目開閉評価手
段４の出力特性に合わせて適当な値を選ぶものである
が、式（１）は下限値、式（２）は上限値を設定するも
のであるから定数２は定数１に比し大きな値が選ばれ
る。閾値制限手段１３は、閾値設定手段７で設定した閉
側閾値が上述の式で得られた閉側閾値の上限値と下限値
との範囲にあるか否かを判定する。閉側閾値が演算した
可変範囲内にあれば、閾値設定手段７で設定した閾値を
そのまま時間計測手段５及び開閉判定手段８に与える。
もし、演算した可変範囲から逸脱していた場合は、閉側
閾値の値を上限値あるいは下限値の何れかの値に制限し
て、時間計測手段５及び開閉判定手段８に与える。閉側
閾値が可変範囲よりも開側に逸脱しているときは上限値
に制限されると共に、閉側閾値が可変範囲よりも閉側に
逸脱しているときは下限値に制限される。なお、開側閾
値は、閉側閾値よりも固定の所定量だけ開側にあるもの
であるから、閉側閾値の可変範囲に制限が加えられるこ
とによって開側閾値にも同様に制限が加えられる。The lower limit value at which the closing side threshold value is closest to the closing side is obtained by the equation (1). That is, using the closed value as a reference, an average output range multiplied by a constant 1 is added.
Further, the upper limit value at which the closed-side threshold value is closest to the open side is obtained by the equation (2). This equation (2) is similar to the equation (1), but the constants by which the average output range is multiplied are different. Here, the constant 1 and the constant 2 are selected as appropriate values according to the output characteristics of the eye opening / closing evaluation means 4 to be used, but the formula (1) sets the lower limit value and the formula (2) sets the upper limit value. Therefore, the constant 2 is selected to be larger than the constant 1. The threshold limiter 13 determines whether or not the closing side threshold set by the threshold setting unit 7 is in the range between the upper limit value and the lower limit value of the closing side threshold value obtained by the above formula. If the closing side threshold value is within the calculated variable range, the threshold value set by the threshold value setting means 7 is given to the time measuring means 5 and the open / close determination means 8 as it is.
If it is out of the calculated variable range, the value of the closing-side threshold value is limited to either the upper limit value or the lower limit value and is given to the time measuring means 5 and the open / close determining means 8. When the closing side threshold deviates to the open side from the variable range, it is limited to the upper limit value, and when the closing side threshold deviates to the closing side from the variable range, it is limited to the lower limit value. Since the open side threshold value is on the open side by a fixed predetermined amount with respect to the close side threshold value, the open side threshold value is similarly restricted by limiting the variable range of the close side threshold value. .

【００４８】従って、この実施の形態６によれば、車両
運転者の目が閉じ気味になった場合であっても閾値が不
適当な位置に更新されることが無く、目の開閉を正確に
判定することができる。Therefore, according to the sixth embodiment, the threshold value is not updated to an inappropriate position even when the eyes of the vehicle driver are closed, and the eyes can be opened and closed accurately. Can be determined.

【００４９】なお、実施の形態６では、所定時間内にお
いて開閉判定手段８が開状態であると判定したときの最
開値、及び所定時間内において開閉判定手段８が閉状態
と判定したときの最閉値を記録するようにしている。従
って、車両運転者が所定時間内においてずっと目を閉じ
ていて目開閉評価手段４の出力が小さいという状態では
目が開状態であると判定されないので、このような状態
における値を最開値として記録することはない。同様
に、車両運転者が所定時間内においてずっと目を開けて
いて目開閉評価手段４の出力が大きいという状態では目
が閉状態であると判定されないので、このような状態に
おける値を最閉値として記録することはない。よって、
この実施の形態６によれば、目開閉評価手段４の平均的
な出力範囲を正確に演算することができる。In the sixth embodiment, the maximum open value when the open / close determination means 8 is determined to be in the open state within a predetermined time, and the open / close determination means 8 determined to be in the closed state within the predetermined time. The most closed price is recorded. Therefore, the eyes are not determined to be open in a state where the vehicle driver keeps his eyes closed for a predetermined period of time and the output of the eye opening / closing evaluation means 4 is small. Therefore, the value in such a state is set as the maximum open value. It will not be recorded. Similarly, when the vehicle driver keeps his eyes open for a predetermined period of time and the output of the eye opening / closing evaluation means 4 is large, it is not determined that the eyes are closed. Never record as. Therefore,
According to the sixth embodiment, the average output range of the eye open / close evaluation unit 4 can be accurately calculated.

【００５０】実施の形態７．実施の形態７は実施の形態
６の変形例であって、実施の形態６では目が開状態にあ
るときの代表的な値として最開値を用いたが、実施の形
態７では目が開状態にあるときの代表的な値として目が
開状態のときの目開閉評価手段４の出力の平均値を用い
ている。図１７は、実施の形態７の構成を示すブロック
図である。図において、上述の実施の形態と同一あるい
は相当する部分には同一の符号を付している。１４は所
定時間内において開閉判定手段８が開状態であると判定
したときの目開閉評価手段４の出力をフィルタリング処
理する開値フィルタで、開値演算手段を構成している。
１５は開値フィルタ１４と最閉値フィルタ１２との出力
を受け閉側閾値の可変範囲を設定する閾値制限手段であ
る。Embodiment 7 FIG. The seventh embodiment is a modification of the sixth embodiment. In the sixth embodiment, the maximum open value is used as a representative value when the eyes are in the open state, but in the seventh embodiment, the eyes are opened. The average value of the output of the eye open / close evaluation means 4 when the eyes are open is used as a representative value when the eyes are open. FIG. 17 is a block diagram showing the configuration of the seventh embodiment. In the figure, the same or corresponding parts as those of the above-described embodiment are designated by the same reference numerals. Reference numeral 14 denotes an open value filter for filtering the output of the eye open / close evaluation means 4 when the open / close determination means 8 determines that the open / close determination means 8 is in the open state, and constitutes open value calculation means.
Reference numeral 15 is a threshold value limiting means for receiving the outputs of the open value filter 14 and the most closed value filter 12, and setting the variable range of the close side threshold value.

【００５１】実施の形態７の基本的な動作は上述の実施
の形態６と同様のものであるから、ここでは主として異
なる点について説明する。開値フィルタ１４は、所定時
間内において開閉判定手段８が目が開状態であると判定
したときの目開閉評価手段４の出力値をフィルタリング
処理しており、車両運転者が目を開いているときの平均
的な値（以下、開値と称する）を出力している。閾値制
限手段１５は、開値フィルタ１４からのフィルタリング
処理された開値と最閉値フィルタ１２からのフィルタリ
ング処理された最閉値とを用いて閉側閾値の可変範囲を
演算する。Since the basic operation of the seventh embodiment is similar to that of the sixth embodiment, the different points will be mainly described here. The open value filter 14 filters the output value of the eye open / close evaluation means 4 when the open / close determination means 8 determines that the eyes are open within a predetermined time, and the vehicle driver opens his / her eyes. The average value at that time (hereinafter referred to as the open value) is output. The threshold value limiter 15 calculates the variable range of the closed-side threshold value by using the filtered open value from the open value filter 14 and the filtered closed value from the closed value filter 12.

【００５２】[0052]

【数２】 (Equation 2)

【００５３】閉側閾値の下限値は、式（３）により得ら
れる。即ち、最閉値を基準とし、これに平均的な開値と
最閉値との差に定数３を掛けたものを加算する。また、
閉側閾値の上限値は、式（４）により得られる。この式
（４）は式（３）と同様のものであるが、平均的な開値
と最閉値との差に乗算される定数が異なっている。ここ
で、定数３、定数４は使用する目開閉評価手段４の出力
特性に合わせて適当な値を選ぶものであるが、式（３）
は下限値、式（４）は上限値を設定するものであるから
定数４は定数３に比し大きな値が選ばれる。閾値制限手
段１５は、閾値設定手段７で設定した閉側閾値が上述の
式で得られた閉側閾値の上限値と下限値との範囲にある
か否かを判定する。閉側閾値が演算した可変範囲内にあ
れば、閾値設定手段７で設定した閾値をそのまま時間計
測手段５及び開閉判定手段８に与える。もし、演算した
可変範囲から逸脱していた場合は、閉側閾値の値を上限
値あるいは下限値の何れかの値に制限して、時間計測手
段５及び開閉判定手段８に与える。閉側閾値が可変範囲
よりも開側に逸脱しているときは上限値に制限されると
共に、閉側閾値が可変範囲よりも閉側に逸脱していると
きは下限値に制限される。The lower limit value of the closing side threshold value is obtained by the equation (3). That is, with the closed value as the reference, the difference between the average open value and the closed value multiplied by a constant 3 is added. Also,
The upper limit value of the closed-side threshold value is obtained by Expression (4). This formula (4) is similar to the formula (3), but the constants by which the average difference between the open value and the closed value is multiplied are different. Here, the constants 3 and 4 are selected according to the output characteristics of the eye opening / closing evaluation means 4 to be used.
Is a lower limit value, and equation (4) is an upper limit value. Therefore, a larger value is selected for the constant 4 than the constant 3. The threshold limiter 15 determines whether or not the closing side threshold set by the threshold setting unit 7 is in the range between the upper limit value and the lower limit value of the closing side threshold value obtained by the above equation. If the closing side threshold value is within the calculated variable range, the threshold value set by the threshold value setting means 7 is given to the time measuring means 5 and the open / close determination means 8 as it is. If it is out of the calculated variable range, the value of the closing-side threshold value is limited to either the upper limit value or the lower limit value and is given to the time measuring means 5 and the open / close determining means 8. When the closing side threshold deviates to the open side from the variable range, it is limited to the upper limit value, and when the closing side threshold deviates to the closing side from the variable range, it is limited to the lower limit value.

【００５４】よって、実施の形態７では実施の形態６で
説明したのと同様の効果を有する。Therefore, the seventh embodiment has the same effect as described in the sixth embodiment.

【００５５】また、実施の形態７では、目開閉評価手段
４の平均的な出力範囲を演算する際に、目が開状態にお
ける最開値ではなく平均的な値である開値を用いてい
る。従って、目開閉評価手段４の出力にノイズが重畳し
てもこれをフィルタリング処理するので、実施の形態６
に比しノイズによる影響を低減することができる。Further, in the seventh embodiment, when the average output range of the eye open / close evaluation means 4 is calculated, the average open value is used instead of the maximum open value when the eyes are open. . Therefore, even if noise is superimposed on the output of the eye-opening / closing evaluation means 4, the noise is filtered, and therefore, the sixth embodiment is performed.
The effect of noise can be reduced in comparison with.

【００５６】実施の形態８．実施の形態８は、上述の実
施の形態６、７で設定した閉側閾値の可変範囲を装置起
動後の所定期間経過後に有効にするものである。図１８
は、実施の形態８の構成を示すブロック図である。図に
おいて、１６は装置が動作してから所定期間が経過する
までは閾値の可変範囲の更新を許可すると共に所定期間
の経過後は閾値の可変範囲の変更を禁止する閾値制限制
御手段、１７は装置が起動してから所定期間経過したこ
とを検出する期間検出手段としてのタイマーである。Embodiment 8 FIG. In the eighth embodiment, the variable range of the closing-side threshold value set in the above-described sixth and seventh embodiments is validated after a lapse of a predetermined period after the device is activated. FIG.
FIG. 16 is a block diagram showing the configuration of the eighth embodiment. In the figure, reference numeral 16 is a threshold limit control means for permitting updating of the variable range of the threshold value until a predetermined period of time has elapsed after the operation of the apparatus and prohibiting change of the variable range of the threshold value after the predetermined period of time has passed. It is a timer as a period detecting means for detecting that a predetermined period has elapsed since the device was started.

【００５７】実施の形態８の基本的な動作は上述の実施
の形態と同様であるので、ここでは閾値の可変範囲の設
定を有効にする動作について説明する。一般的に車両運
転者は、装置を起動させたときは覚醒していると考えら
れる。また、５分の間一度も瞬きしないことはないと考
えられる。そこで、実施の形態８ではタイマー１７で装
置が起動してから所定期間である５分が経過したことを
検出するようにしている。そして、閾値制限制御手段１
６は、この５分が経過するまでの間は閾値制限手段１５
で演算される可変範囲の更新を許可している。装置を起
動させてから５分が経過するとタイマー１７は、閾値制
限制御手段１６にその旨を伝える。これを受け、閾値制
限制御手段１６は、閾値制御手段１５の可変範囲の更新
を禁止する。Since the basic operation of the eighth embodiment is the same as that of the above-described embodiment, the operation of validating the setting of the variable range of the threshold will be described here. It is generally considered that the vehicle driver is awake when the device is activated. Moreover, it is considered that the person does not blink for 5 minutes. Therefore, in the eighth embodiment, the timer 17 detects that a predetermined period of 5 minutes has elapsed since the device was started. Then, the threshold limit control means 1
6 is the threshold limiting means 15 until the 5 minutes have elapsed.
The variable range calculated by is allowed to be updated. When 5 minutes have passed since the device was started up, the timer 17 notifies the threshold limit control means 16 of that fact. In response to this, the threshold limit control means 16 prohibits the variable range of the threshold control means 15 from being updated.

【００５８】従って、実施の形態８によれば、車両運転
者が覚醒していると思われる期間において閉側閾値の可
変範囲を設定することができる。Therefore, according to the eighth embodiment, it is possible to set the variable range of the closing-side threshold value during the period when it is considered that the vehicle driver is awake.

【００５９】また、装置起動後の５分間は閉側閾値の可
変範囲の更新が許可されているので、この５分間の間に
可変範囲を更新し、望ましい可変範囲を得ることができ
る。Further, since the updating of the variable range of the closing side threshold value is permitted for 5 minutes after the device is activated, the variable range can be updated during this 5 minutes to obtain the desired variable range.

【００６０】また、装置が起動してから５分経過した後
は可変範囲の更新を禁止して閉側閾値に対する上限値と
下限値とを有効にするので、閉側閾値が望ましくない値
に更新されることがない。Further, after 5 minutes have passed since the device started up, the updating of the variable range is prohibited and the upper limit value and the lower limit value for the closing side threshold value are made effective, so that the closing side threshold value is updated to an undesired value. Never be done.

【００６１】なお、実施の形態８では実施の形態７をベ
ースにして説明したが、実施の形態６にも同様に適用す
ることができる。Although the eighth embodiment has been described based on the seventh embodiment, it can be similarly applied to the sixth embodiment.

【００６２】実施の形態９．実施の形態９は、上述の実
施の形態８の変形例である。図１９は、実施の形態８の
構成を示すブロック図である。図において、１８は装置
が動作してから所定期間が経過するまでは閾値の可変範
囲の更新を許可すると共に所定期間の経過後は閾値の可
変範囲の変更を禁止する閾値制限制御手段、１９は装置
が起動してから所定期間経過したことを検出する期間検
出手段としての最閉値記録カウンタである。Ninth Embodiment The ninth embodiment is a modification of the eighth embodiment described above. FIG. 19 is a block diagram showing the configuration of the eighth embodiment. In the figure, reference numeral 18 denotes a threshold value limiting control means for permitting updating of the variable range of the threshold value until a predetermined period of time has passed after the operation of the apparatus and prohibiting change of the variable range of the threshold value after the predetermined period of time has passed, and 19 denotes It is a closed-closed value recording counter as a period detection means for detecting that a predetermined period has elapsed since the device was started.

【００６３】実施の形態９の基本的な動作は上述の実施
の形態と同様であるので、ここでは閾値の可変範囲の設
定を有効にする動作について説明する。一般的に車両運
転者は、装置を起動させたときは覚醒していると考えら
れる。また、５分の間一度も瞬きしないことはないと考
えられる。しかしながら、瞬きの回数が少ない人の場合
は、５分間で得られる開値あるいは最閉値の個数が少な
いので、瞬きが多い人に比し正確な目開閉評価手段４の
平均的な出力範囲を得ることが難しい。そこで、実施の
形態９では最閉値記録カウンタ１９で装置が起動してか
ら車両運転者が何回瞬きをしたかを計測するようにして
いる。即ち、最閉値記録カウンタ１９には最閉値記録手
段１１の出力が入力されており、最閉値記録手段１１が
最閉値を記録する毎にカウント値を順次１ずつ加算して
いる。最閉値記録カウンタ１９のカウント値が予め定め
た所定値に達すると、最閉値カウンタ１９は閾値制限制
御手段１８に装置を起動してから所定期間経過したと判
定する。ここで、所定期間は、車両運転者が最閉値記録
カウンタ１９に予め定められた回数だけ瞬きを行うまで
の期間である。閾値制限制御手段１８は、車両運転者が
瞬きを所定回数だけ行うまでの間は閾値制限手段１５で
演算される可変範囲の更新を許可している。装置を起動
させてから車両運転者が所定回数だけ瞬きを行うと最閉
値記録カウンタ１９は、所定期間が経過したと判定して
閾値制限制御手段１８にその旨を伝える。これを受け、
閾値制限制御手段１８は、閾値制御手段１５の可変範囲
の更新を禁止する。Since the basic operation of the ninth embodiment is the same as that of the above-described embodiment, the operation of validating the setting of the variable range of the threshold will be described here. It is generally considered that the vehicle driver is awake when the device is activated. Moreover, it is considered that the person does not blink for 5 minutes. However, in the case of a person who has a small number of blinks, since the number of open values or closed values obtained in 5 minutes is small, the average output range of the eye open / close evaluation unit 4 that is more accurate than that of a person who has many blinks is set. Hard to get. Therefore, in the ninth embodiment, the closed-closed value recording counter 19 measures the number of blinks of the vehicle driver after the device is activated. That is, the output of the most closed value recording means 11 is inputted to the most closed value recording counter 19, and the count value is sequentially incremented by one each time the most closed value recording means 11 records the most closed value. When the count value of the most closed value recording counter 19 reaches a predetermined value set in advance, the most closed value counter 19 determines that a predetermined period has elapsed since the threshold limit control means 18 started the device. Here, the predetermined period is a period until the vehicle driver blinks the closed value recording counter 19 a predetermined number of times. The threshold limit control unit 18 permits updating of the variable range calculated by the threshold limit unit 15 until the vehicle driver blinks a predetermined number of times. When the vehicle driver blinks a predetermined number of times after the device is activated, the closed-closed value recording counter 19 determines that the predetermined period has elapsed and notifies the threshold limit control means 18 of that fact. In response,
The threshold limit control means 18 prohibits the variable range of the threshold control means 15 from being updated.

【００６４】なお、最閉値記録カウンタ１９に設定され
る所定値は、目開閉評価手段４の平均的な出力範囲を充
分正確に判定できる必要最小限の個数の開値及び最閉値
が得られるだけの数に設定する。The predetermined values set in the most closed value recording counter 19 are the minimum necessary number of open values and the most closed values with which the average output range of the eye opening / closing evaluation means 4 can be determined sufficiently accurately. Set as many as you can.

【００６５】従って、実施の形態９によれば、実施の形
態８の効果に加えて、瞬きの回数が個人差により異なっ
ていたとしても、閉側閾値の可変範囲を望ましい範囲に
設定することができる。Therefore, according to the ninth embodiment, in addition to the effect of the eighth embodiment, even if the number of blinks varies depending on the individual difference, the variable range of the closing-side threshold value can be set to a desired range. it can.

【００６６】なお、実施の形態９では実施の形態７をベ
ースにして説明したが、実施の形態６にも同様に適用す
ることができる。Although the ninth embodiment has been described based on the seventh embodiment, it can be similarly applied to the sixth embodiment.

【００６７】実施の形態１０．実施の形態１０は閾値の
評価に関するもので、上述の実施の形態とは別の評価方
法及び装置を提供するものである。図２０は、所定時間
内における目開閉評価手段の出力の度数分布の一例を示
したものである。この図によれば、度数分布は、目が開
状態にあるときの目開閉評価手段の出力の分布と、目が
閉状態にあるときの目開閉評価手段の出力の分布と、目
が開状態から閉状態あるいは閉状態から開状態に変化す
るときの途中の目開閉評価手段の出力の分布との３種類
に大別されている。また、この図によれば図中に破線で
示したように２つの山があるように見える。従って、２
つの山の交点、即ち、破線の交点の部分を望ましい開閉
判定閾値とする。このようにして定められた開閉判定閾
値は、目の開閉動作の途中に相当する部分、即ち図にお
いて略平坦な部分にあり、目の開状態あるいは閉状態を
確実に判定することができる。そして、現在設定してい
る開閉判定閾値と、上述の手法により演算した望ましい
開閉判定閾値との間に偏差があれば、この偏差を減少す
る方向に開閉判定閾値を更新する。Embodiment 10 FIG. The tenth embodiment relates to evaluation of a threshold value, and provides an evaluation method and apparatus different from the above-described embodiments. FIG. 20 shows an example of the frequency distribution of the output of the eye open / close evaluation means within a predetermined time. According to this figure, the frequency distribution is the distribution of the output of the eye open / close evaluation means when the eyes are in the open state, the distribution of the output of the eye open / close evaluation means when the eyes are in the closed state, and the eye open state. To the closed state or the distribution of the output of the eye opening / closing evaluation means during the change from the closed state to the open state. Further, according to this figure, it appears that there are two peaks as indicated by the broken line in the figure. Therefore, 2
The intersection of the three mountains, that is, the portion of the intersection of the broken lines is set as the desired open / close determination threshold. The open / close determination threshold determined in this manner is in a portion corresponding to the middle of the eye opening / closing operation, that is, a substantially flat portion in the figure, and the open or closed state of the eye can be reliably determined. Then, if there is a deviation between the currently set opening / closing judgment threshold value and the desired opening / closing judgment threshold value calculated by the above-described method, the opening / closing judgment threshold value is updated in the direction of decreasing the deviation.

【００６８】図２１は、所定時間内における目開閉評価
手段の出力の度数分布の一例を示したものであって、上
述のものとは別の開閉判定閾値の評価方法を説明するも
のである。図２１では、度数分布が最大となる点よりも
閉側に存在する所定の領域における近似直線が描かれて
いる。そして、所定の領域における近似直線と度数０と
の交点を望ましい開閉判定閾値としている。このように
して定められた開閉判定閾値は、目の開閉動作の途中に
相当する部分にあり、目の開状態あるいは閉状態を確実
に判定することができる。そして、現在設定している開
閉判定閾値と、上述の手法により演算した望ましい開閉
判定閾値との間に偏差があれば、この偏差を無くする方
向に開閉判定閾値を更新する。なお、開閉判定閾値の評
価は、上述の偏差により為されている。即ち、偏差が小
さいほど望ましい評価である。FIG. 21 shows an example of the frequency distribution of the output of the eye open / close evaluation means within a predetermined time, and illustrates an evaluation method of the open / close determination threshold different from the one described above. In FIG. 21, an approximate straight line in a predetermined region existing on the closed side of the point where the frequency distribution is maximum is drawn. Then, the intersection of the approximate straight line and the frequency of 0 in a predetermined area is set as a desirable opening / closing determination threshold. The open / close determination threshold determined in this manner is in a portion corresponding to the middle of the eye opening / closing operation, and the open or closed state of the eye can be reliably determined. Then, if there is a deviation between the currently set opening / closing judgment threshold value and the desired opening / closing judgment threshold value calculated by the above-mentioned method, the opening / closing judgment threshold value is updated in a direction to eliminate this deviation. The opening / closing determination threshold is evaluated based on the above-mentioned deviation. That is, the smaller the deviation, the more preferable the evaluation.

【００６９】次に、上述の図２０、及び図２１の方法を
実現する装置について説明する。図２２は実施の形態１
０の構成を示すブロック図である。図において、上述の
実施の形態と同一あるいは相当する部分には同一の符号
を付している。２０は所定時間毎における目開閉評価手
段４の出力の度数分布を計測する度数計測手段、２１は
計測された度数分布に基づき開閉判定閾値を設定する閾
値設定手段である。Next, an apparatus for realizing the above-described method of FIGS. 20 and 21 will be described. 22 shows the first embodiment.
FIG. 3 is a block diagram showing a configuration of a 0. In the figure, the same or corresponding parts as those of the above-described embodiment are designated by the same reference numerals. Reference numeral 20 is a frequency measuring means for measuring the frequency distribution of the output of the eye opening / closing evaluation means 4 at every predetermined time, and 21 is a threshold value setting means for setting an opening / closing judgment threshold value based on the measured frequency distribution.

【００７０】実施の形態１０の基本的な動作は、実施の
形態１と同様のものである。即ち、カメラ１の映像情報
を画像入力手段２に入力してＡ／Ｄ変換し、目領域判定
手段３において上述の実施の形態で説明した手法により
目領域が判定され、目開閉評価手段４では車両運転者の
目の開度に応じた目開閉評価出力値が出力される。この
目開閉評価出力値は度数計測手段２０に与えられ、所定
時間毎に図２０、２１に示したような度数分布が計測さ
れる。閾値設定手段２１は、この度数分布に基づき、上
述した手法により望ましい開閉判定閾値を演算する。こ
の開閉判定閾値は現在設定されている開閉判定閾値と比
較されその偏差が演算される。そして、閾値設定手段２
１は、この偏差が減少する方向に開閉判定閾値を更新し
て再設定し、再設定した開閉判定閾値を開閉判定手段８
に与える。なお、開閉判定閾値の更新は、所定時間毎、
即ち新しい度数分布が計測される毎に検討される。The basic operation of the tenth embodiment is the same as that of the first embodiment. That is, the image information of the camera 1 is input to the image input means 2 and A / D converted, the eye area determination means 3 determines the eye area by the method described in the above-mentioned embodiment, and the eye open / closed evaluation means 4 determines. An eye opening / closing evaluation output value corresponding to the eye opening of the vehicle driver is output. This eye opening / closing evaluation output value is given to the frequency measuring means 20, and the frequency distribution as shown in FIGS. 20 and 21 is measured every predetermined time. The threshold value setting means 21 calculates a desired open / close determination threshold value by the above-described method based on this frequency distribution. The open / close determination threshold value is compared with the currently set open / close determination threshold value, and the deviation thereof is calculated. Then, the threshold setting means 2
1, the opening / closing determination threshold value is updated and reset in the direction in which this deviation decreases, and the reset opening / closing determination threshold value is used as the opening / closing determination means 8
Give to. Note that the open / close determination threshold is updated every predetermined time.
That is, each time a new frequency distribution is measured, it is examined.

【００７１】よって、実施の形態１０によれば、目開閉
評価出力値の度数分布に基づいて開閉判定閾値を設定
し、且つ、更新しているので、個人差及び撮像環境の変
化に拘わらず、車両運転者の目の開閉を正確に判定する
ことができる。Therefore, according to the tenth embodiment, since the open / close determination threshold is set and updated based on the frequency distribution of the eye open / close evaluation output values, regardless of individual differences and changes in the imaging environment, The opening / closing of the eyes of the vehicle driver can be accurately determined.

【００７２】なお、実施の形態１０では閾値として開閉
判定閾値を１つのみ設けたが、上述の実施の形態のよう
に２つの閾値を用意しても良い。この場合は、実施の形
態１０で説明した開閉判定閾値を基準として開側閾値と
閉側閾値とを設ければよい。もしくは、この実施の形態
で演算した開閉判定閾値を閉側閾値とし、この閾値に所
定値を加えて開側閾値を設定しても良い。In the tenth embodiment, only one open / close determination threshold is provided as the threshold, but two thresholds may be prepared as in the above-described embodiments. In this case, the open-side threshold value and the close-side threshold value may be set based on the open / close determination threshold value described in the tenth embodiment. Alternatively, the open / close determination threshold calculated in this embodiment may be used as the close threshold, and a predetermined value may be added to this threshold to set the open threshold.

【００７３】また、実施の形態１乃至１０は、上述した
発明の精神に基づいて如何様に組み合わせても良い。以
上の通り顔画像処理装置及び顔画像処理方法について説
明したが、これらは上述の実施の形態に限られるもので
はなく、発明の精神の範囲内において様々な形態を提供
することができる。The first to tenth embodiments may be combined in any manner based on the spirit of the invention described above. The face image processing apparatus and the face image processing method have been described above, but these are not limited to the above-described embodiments, and various forms can be provided within the spirit of the invention.

【図面の簡単な説明】[Brief description of the drawings]

【図１】 実施の形態１の構成を示すブロック図であ
る。FIG. 1 is a block diagram showing a configuration of a first embodiment.

【図２】 実施の形態１の動作を説明するタイムチャー
トである。FIG. 2 is a time chart explaining the operation of the first embodiment.

【図３】 実施の形態１の動作を説明するタイムチャー
トである。FIG. 3 is a time chart explaining the operation of the first embodiment.

【図４】 実施の形態１の動作を説明するタイムチャー
トである。FIG. 4 is a time chart explaining the operation of the first embodiment.

【図５】 目開閉評価出力値を検出するフローチャート
である。FIG. 5 is a flowchart for detecting an eye opening / closing evaluation output value.

【図６】 目開閉評価出力値を説明する説明図である。FIG. 6 is an explanatory diagram illustrating an eye opening / closing evaluation output value.

【図７】 実施の形態２の開閉判定動作を説明する説明
図である。FIG. 7 is an explanatory diagram illustrating an open / close determination operation according to the second embodiment.

【図８】 実施の形態３による閾値評価手段の動作を説
明する説明図である。FIG. 8 is an explanatory diagram illustrating an operation of a threshold evaluation unit according to the third embodiment.

【図９】 閾値の更新の様子を示す説明図である。FIG. 9 is an explanatory diagram showing how threshold values are updated.

【図１０】 実施の形態４の動作を説明するタイムチャ
ートである。FIG. 10 is a time chart explaining the operation of the fourth embodiment.

【図１１】 実施の形態４の動作を説明するタイムチャ
ートである。FIG. 11 is a time chart explaining the operation of the fourth embodiment.

【図１２】 実施の形態４の動作を説明するタイムチャ
ートである。FIG. 12 is a time chart explaining the operation of the fourth embodiment.

【図１３】 実施の形態４による閾値評価手段の動作を
説明する説明図である。FIG. 13 is an explanatory diagram illustrating an operation of a threshold evaluation unit according to the fourth embodiment.

【図１４】 閾値の更新の様子を示すタイムチャートで
ある。FIG. 14 is a time chart showing how the threshold is updated.

【図１５】 実施の形態５の動作を説明する説明図であ
る。FIG. 15 is an explanatory diagram illustrating an operation according to the fifth embodiment.

【図１６】 実施の形態６の構成を示すブロック図であ
る。FIG. 16 is a block diagram showing the configuration of the sixth embodiment.

【図１７】 実施の形態７の構成を示すブロック図であ
る。FIG. 17 is a block diagram showing the configuration of the seventh embodiment.

【図１８】 実施の形態８の構成を示すブロック図であ
る。FIG. 18 is a block diagram showing the configuration of the eighth embodiment.

【図１９】 実施の形態９の構成を示すブロック図であ
る。FIG. 19 is a block diagram showing the configuration of the ninth embodiment.

【図２０】 実施の形態１０の閾値設定手法を示す説明
図である。FIG. 20 is an explanatory diagram showing a threshold setting method according to the tenth embodiment.

【図２１】 実施の形態１０の別の閾値設定手法を示す
説明図である。FIG. 21 is an explanatory diagram showing another threshold setting method according to the tenth embodiment.

【図２２】 実施の形態１０の構成を示すブロック図で
ある。FIG. 22 is a block diagram showing the configuration of the tenth embodiment.

【符号の説明】[Explanation of symbols]

１：カメラ、２：画像入力手段、３：目領域判定手段、
４：目開閉評価手段、５：時間計測手段、６：閾値評価
手段、７：閾値設定手段、８：開閉判定手段、９：最開
値記録手段、１０：最開値フィルタ、１１：最閉値記録
手段、１２：最閉値フィルタ、１３：閾値制限手段、１
４：開値フィルタ、１５：閾値制限手段、１６：閾値制
限制御手段、１７：タイマー、１８：閾値制限制御手
段、１９：最閉値記録カウンタ、２０：度数計測手段、
２１：閾値設定手段、1: camera, 2: image input means, 3: eye area determination means,
4: Eye open / close evaluation means, 5: Time measurement means, 6: Threshold evaluation means, 7: Threshold setting means, 8: Open / close determination means, 9: Opening value recording means, 10: Opening value filter, 11: Closed value Value recording means, 12: closed-closed value filter, 13: threshold value limiting means, 1
4: Open value filter, 15: Threshold limit means, 16: Threshold limit control means, 17: Timer, 18: Threshold limit control means, 19: Closed-closed value recording counter, 20: Frequency measuring means,
21: threshold setting means,

Claims (8)

【特許請求の範囲】[Claims] 【請求項１】 顔画像を撮像するカメラと、このカメラ
の撮像情報に基づき被撮像者の目の開度を検出する開度
検出手段と、この開度検出手段の検出結果を閾値を用い
て複数のグループに分類するとともに所定時間内におい
て前記開度検出手段の検出結果が前記複数のグループの
内の所定のグループに属する時間を積算計測する時間計
測手段と、この時間計測手段の計測結果に基づいて前記
閾値の妥当性を評価する閾値評価手段と、この閾値評価
手段の評価結果に基づき前記閾値の値を再設定する閾値
設定手段と、前記閾値を用いて前記被撮像者の目の開閉
を判定する目開閉判定手段とを備えたことを特徴とする
顔画像処理装置。1. A camera for picking up a face image, an opening degree detecting means for detecting an opening degree of an eye of a person to be imaged based on image pickup information of the camera, and a detection result of the opening degree detecting means using a threshold value. A time measuring means for classifying the time into a plurality of groups and integrating the time when the detection result of the opening degree detecting means belongs to a predetermined group of the plurality of groups within a predetermined time, and the measurement result of the time measuring means. Threshold evaluation means for evaluating the adequacy of the threshold value based on the threshold value, threshold setting means for resetting the threshold value based on the evaluation result of the threshold evaluation means, and opening and closing of the eye of the person to be imaged using the threshold value A face image processing apparatus comprising: an eye open / close determining unit for determining. 【請求項２】 所定のグループは閾値により分類された
複数のグループの内の２つのグループであって、閾値評
価手段は時間計測手段により計測された前記２つのグル
ープの計測結果の比率と予め定められた所定値との偏差
を演算するものであって、閾値設定手段は前記偏差が減
少する方向に前記閾値の値を更新するものであることを
特徴とする請求項１記載の顔画像処理装置。2. The predetermined group is two groups out of a plurality of groups classified by a threshold value, and the threshold value evaluating means is predetermined with a ratio of the measurement results of the two groups measured by the time measuring means. 2. The face image processing apparatus according to claim 1, wherein the threshold value setting means updates the value of the threshold value in a direction in which the deviation is decreased. . 【請求項３】 閾値設定手段は、開度検出手段の検出結
果の平均値から所定量だけ離れた位置に閾値の初期値を
設定するとともに、開度検出手段の検出出力が所定時間
内において前記閾値を横切らない場合は前記閾値を前記
平均値の方向に更新することを特徴とする請求項１記載
の顔画像処理装置。3. The threshold value setting means sets an initial value of the threshold value at a position distant from the average value of the detection results of the opening degree detecting means by a predetermined amount, and the detection output of the opening degree detecting means is within the predetermined time. The face image processing apparatus according to claim 1, wherein when the threshold value is not crossed, the threshold value is updated in the direction of the average value. 【請求項４】 開度検出手段の検出結果に基づき被撮像
者の目が開状態にあるときの代表的な値を演算する開値
演算手段と、開度検出手段の検出結果に基づき被撮像者
の目が閉状態にあるときの代表的な値を演算する閉値演
算手段と、前記開値演算手段と前記閉値演算手段との演
算結果に基づき閾値の可変範囲を設定する閾値制限手段
とを備えたことを特徴とする請求項１記載の顔画像処理
装置。4. An open value calculation means for calculating a representative value when an eye of a person to be imaged is in an open state based on a detection result of the opening degree detection means, and an image pickup target based on a detection result of the opening degree detection means. Closed value calculating means for calculating a typical value when the human eye is in a closed state, and threshold limiting means for setting a variable range of the threshold value based on the calculation results of the open value calculating means and the closed value calculating means. The face image processing apparatus according to claim 1, further comprising: 【請求項５】 装置が動作してから所定期間経過したこ
とを検出する期間検出手段と、前記所定期間が経過する
までは閾値の可変範囲の更新を許可するとともに前記所
定期間の経過以後は前記閾値の可変範囲の更新を禁止す
る閾値制限制御手段とを備えた請求項４記載の顔画像処
理装置。5. A period detecting means for detecting that a predetermined period has elapsed since the device was operating, and permitting updating of a variable range of the threshold value until the predetermined period has elapsed, and after the predetermined period has elapsed The face image processing apparatus according to claim 4, further comprising a threshold limit control unit that prohibits updating of the variable range of the threshold. 【請求項６】 顔画像を撮像するカメラと、このカメラ
の撮像情報に基づき被撮像者の目の開度を検出する開度
検出手段と、所定時間毎における前記開度検出手段の検
出結果の度数分布を計測する度数計測手段と、前記度数
分布が略平坦となる範囲内に閾値を設定するとともに前
記度数分布の更新に応じて前記閾値を更新する閾値設定
手段と、前記閾値を用いて前記被撮像者の目の開閉を判
定する目開閉判定手段とを備えたことを特徴とする顔画
像処理装置。6. A camera for picking up a face image, an opening degree detecting means for detecting an opening degree of an eye of a person to be imaged based on image pickup information of the camera, and a detection result of the opening degree detecting means at predetermined time intervals. A frequency measuring means for measuring a frequency distribution, a threshold setting means for setting a threshold value within a range in which the frequency distribution is substantially flat, and a threshold setting means for updating the threshold value according to the update of the frequency distribution, and using the threshold value, A face image processing apparatus comprising: an eye open / close determining unit for determining whether the eye of the person to be imaged is open or closed. 【請求項７】 顔画像を撮像するカメラの撮像情報に基
づき被撮像者の目の開度を検出するステップと、この検
出結果を閾値を用いて複数のグループに分類するステッ
プと、所定時間内において前記目の開度の検出結果が前
記複数のグループの内の所定のグループに属する時間を
積算計測するステップと、この時間の計測結果に基づい
て前記閾値の妥当性を評価するステップと、この評価結
果に基づき前記閾値の値を再設定するステップと、前記
閾値を用いて前記被撮像者の目の開閉を判定するステッ
プとを備えたことを特徴とする顔画像処理方法。7. A step of detecting an eye opening of a person to be imaged based on image pickup information of a camera for picking up a face image, a step of classifying the detection result into a plurality of groups using a threshold value, and within a predetermined time. In the step of integrating and measuring the time in which the detection result of the eye opening belongs to a predetermined group of the plurality of groups, and the step of evaluating the validity of the threshold value based on the measurement result of this time, A face image processing method comprising: a step of resetting a value of the threshold value based on an evaluation result; and a step of determining whether the eye of the person to be imaged is opened or closed using the threshold value. 【請求項８】 顔画像を撮像するカメラの撮像情報に基
づき被撮像者の目の開度を検出するステップと、所定時
間毎における前記目の開度の検出結果の度数分布を計測
するステップと、この度数分布が略平坦となる範囲内に
閾値を設定するステップと、前記度数分布の更新に応じ
て前記閾値を更新するステップと、前記閾値を用いて前
記被撮像者の目の開閉を判定するステップとを備えたこ
とを特徴とする顔画像処理方法。8. A step of detecting an eye opening of a person to be imaged based on image pickup information of a camera for picking up a face image, and a step of measuring a frequency distribution of detection results of the eye opening at predetermined time intervals. , A step of setting a threshold value within a range in which the frequency distribution is substantially flat, a step of updating the threshold value according to the update of the frequency distribution, and a determination of opening / closing of the eye of the person to be imaged using the threshold value And a step of performing a face image processing method.
JP30926095A 1995-11-28 1995-11-28 Face image processing apparatus and face image processing method Expired - Fee Related JP3286887B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP30926095A JP3286887B2 (en) 1995-11-28 1995-11-28 Face image processing apparatus and face image processing method
KR1019960058629A KR100234590B1 (en) 1995-11-28 1996-11-28 Apparatus and method for curing face-burn

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30926095A JP3286887B2 (en) 1995-11-28 1995-11-28 Face image processing apparatus and face image processing method

Publications (2)

Publication Number Publication Date
JPH09147120A true JPH09147120A (en) 1997-06-06
JP3286887B2 JP3286887B2 (en) 2002-05-27

Family

ID=17990861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30926095A Expired - Fee Related JP3286887B2 (en) 1995-11-28 1995-11-28 Face image processing apparatus and face image processing method

Country Status (2)

Country Link
JP (1) JP3286887B2 (en)
KR (1) KR100234590B1 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007241937A (en) * 2006-03-13 2007-09-20 Nissan Motor Co Ltd Awaking degree estimation device
JP2008171065A (en) * 2007-01-09 2008-07-24 Denso Corp Sleepiness detection device
JP2008262447A (en) * 2007-04-13 2008-10-30 Fujifilm Corp Image processor, photographing system, blinking state detection method, blinking state detection program and storage medium recording same program
WO2009093381A1 (en) * 2008-01-21 2009-07-30 Nec Corporation Pattern matching system, pattern matching method, and program for pattern matching
WO2010032725A1 (en) * 2008-09-16 2010-03-25 アイシン精機株式会社 Drowsiness determining device and program
JP2010134490A (en) * 2008-12-02 2010-06-17 Omron Corp Detection device and method, and program
JP2012186821A (en) * 2012-04-18 2012-09-27 Toshiba Corp Face image processing device, face image processing method, electronic still camera, digital image processing device and digital image processing method
JP2013120442A (en) * 2011-12-06 2013-06-17 Denso Corp Opened/closed eye detection device
JP2019042048A (en) * 2017-08-31 2019-03-22 トヨタ自動車株式会社 Blink detection device
JP2021037216A (en) * 2019-09-05 2021-03-11 トヨタ自動車株式会社 Eye closing determination device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100463345B1 (en) * 1997-08-20 2005-05-19 삼성에스디아이 주식회사 Display systems and display methods that respond to eye fatigue
KR100338805B1 (en) * 1999-06-01 2002-05-31 윤종용 Method for detecting drowsiness level

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007241937A (en) * 2006-03-13 2007-09-20 Nissan Motor Co Ltd Awaking degree estimation device
JP2008171065A (en) * 2007-01-09 2008-07-24 Denso Corp Sleepiness detection device
JP2008262447A (en) * 2007-04-13 2008-10-30 Fujifilm Corp Image processor, photographing system, blinking state detection method, blinking state detection program and storage medium recording same program
WO2009093381A1 (en) * 2008-01-21 2009-07-30 Nec Corporation Pattern matching system, pattern matching method, and program for pattern matching
US8605962B2 (en) 2008-01-21 2013-12-10 Nec Corporation Pattern matching system, pattern matching method, and pattern matching program
WO2010032725A1 (en) * 2008-09-16 2010-03-25 アイシン精機株式会社 Drowsiness determining device and program
JP2010068848A (en) * 2008-09-16 2010-04-02 Toyota Central R&D Labs Inc Drowsiness determination apparatus and program
JP2010134490A (en) * 2008-12-02 2010-06-17 Omron Corp Detection device and method, and program
JP2013120442A (en) * 2011-12-06 2013-06-17 Denso Corp Opened/closed eye detection device
JP2012186821A (en) * 2012-04-18 2012-09-27 Toshiba Corp Face image processing device, face image processing method, electronic still camera, digital image processing device and digital image processing method
JP2019042048A (en) * 2017-08-31 2019-03-22 トヨタ自動車株式会社 Blink detection device
JP2021037216A (en) * 2019-09-05 2021-03-11 トヨタ自動車株式会社 Eye closing determination device

Also Published As

Publication number Publication date
JP3286887B2 (en) 2002-05-27
KR100234590B1 (en) 1999-12-15
KR970028783A (en) 1997-06-24

Similar Documents

Publication Publication Date Title
US7830266B2 (en) Drowsy state determination device and method
US7821409B2 (en) Drowsiness alarm apparatus and program
KR101604232B1 (en) Dozing-off detection method and device
JP5210773B2 (en) Sleepiness determination apparatus and program
JP4162503B2 (en) Eye state determination device, eye state determination method, and computer program
JP4677963B2 (en) Dozing detection device, dozing detection method
JPH09147120A (en) Face image processor and method therefor
JPH0944685A (en) Face image processor
KR20000076473A (en) Face-image processing apparatus
JP4742921B2 (en) Awakening level estimation device
JP3063504B2 (en) Image data feature detection device
JP6399311B2 (en) Dozing detection device
JP4776581B2 (en) Sleep state detection method, sleep state detection device, sleep state detection system, and computer program
JP3556439B2 (en) Face image processing device
CN109426797B (en) Doze detection device and doze detection method thereof
CN114973215A (en) Fatigue driving determination method and device and electronic equipment
JP2001307076A (en) Eye state detector and nap detector
JP2021037216A (en) Eye closing determination device
JPH08225028A (en) Awakening condition detecting device for driver
JP3746916B2 (en) Blink state detection method
JPH1044824A (en) Driver's-eye open/closed state determination device for vehicle
CN112419635B (en) Perimeter alarm method integrating grating and video
EP3920525B1 (en) Video processing device, video processing method and video processing program
TWI695326B (en) Object attribute analyzing method and related object attribute analyzing device
JP7212251B2 (en) Eye opening/closing detection device, occupant monitoring device

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080315

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090315

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100315

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100315

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110315

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110315

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees