JP3286887B2 - Face image processing apparatus and face image processing method - Google Patents

Face image processing apparatus and face image processing method

Info

Publication number
JP3286887B2
JP3286887B2 JP30926095A JP30926095A JP3286887B2 JP 3286887 B2 JP3286887 B2 JP 3286887B2 JP 30926095 A JP30926095 A JP 30926095A JP 30926095 A JP30926095 A JP 30926095A JP 3286887 B2 JP3286887 B2 JP 3286887B2
Authority
JP
Japan
Prior art keywords
threshold
value
open
threshold value
opening
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP30926095A
Other languages
Japanese (ja)
Other versions
JPH09147120A (en
Inventor
賢二 小河
伸正 末永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP30926095A priority Critical patent/JP3286887B2/en
Priority to KR1019960058629A priority patent/KR100234590B1/en
Publication of JPH09147120A publication Critical patent/JPH09147120A/en
Application granted granted Critical
Publication of JP3286887B2 publication Critical patent/JP3286887B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】この発明は、カメラにより人
物の顔を撮像するとともにその画像を処理して被撮像者
の目の開閉を判定する顔画像処理装置及び顔画像処理方
法に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a face image processing apparatus and a face image processing method which image a person's face with a camera and process the image to determine whether a subject's eyes are open or closed.

【０００２】[0002]

【従来の技術】従来より、車両室内に設けられたカメラ
で車両運転者の顔を撮像し、得られた顔画像を処理して
顔画像の中から目を抽出し、目の開閉を検出することに
より車両運転者の脇見運転あるいは居眠り運転などを検
出することが提案されている。この様な装置の例とし
て、例えば特開平６−３２１５４号公報に示されるもの
がある。該公報では、顔画像を処理し画像中の目がある
と思われる領域を設定し、この領域内の黒色領域を目と
判定している。そして、黒色領域が所定の閾値よりも大
きいか否かにより目の開状態あるいは閉状態を判定す
る。車両運転者の脇見や居眠りは、この目の開閉状態に
より検出される。2. Description of the Related Art Heretofore, a camera provided in a vehicle cabin has taken an image of a driver's face, processed the obtained face image, extracted eyes from the face image, and detected opening and closing of the eyes. Accordingly, it has been proposed to detect inattentive driving or drowsy driving of a vehicle driver. An example of such an apparatus is disclosed in, for example, JP-A-6-32154. In this publication, a face image is processed, an area in the image where an eye is considered to be set is set, and a black area in this area is determined as an eye. Then, the open or closed state of the eyes is determined based on whether or not the black area is larger than a predetermined threshold. The driver's inattentiveness and falling asleep are detected by the open / closed state of the eyes.

【０００３】[0003]

【発明が解決しようとする課題】しかしながら、該公報
の装置においては、目の開状態あるいは閉状態を判定す
るための基準となる閾値が固定になっていた。従って、
カメラと被撮像者との距離が変化したり、顔の向きが変
化したりすることにより顔画像の状態が変わった場合、
固定の閾値では目の開状態あるいは閉状態を正確に検出
することは難しかった。However, in the apparatus disclosed in this publication, the threshold value used as a reference for determining whether the eye is open or closed is fixed. Therefore,
When the state of the face image changes due to a change in the distance between the camera and the subject or a change in the direction of the face,
With a fixed threshold, it was difficult to accurately detect the open or closed state of the eyes.

【０００４】この発明は係る課題を解決するものであっ
て、顔画像の状態が変化した場合であっても被撮像者の
目の開閉をより正確に判定することができる顔画像処理
装置及び顔画像処理方法を提供することを目的としてい
る。SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problem, and has a face image processing apparatus and a face image processing apparatus that can more accurately determine whether the subject's eyes are opened or closed even when the state of the face image changes. It is intended to provide an image processing method.

【０００５】この発明に係る顔画像処理装置は、顔画像
を撮像するカメラと、このカメラの撮像情報に基づき被
撮像者の目の開度を検出する開度検出手段と、この開度
検出手段の検出結果を閾値を用いて複数のグループに分
類するとともに所定時間内において開度検出手段の検出
結果が複数のグループの内の所定のグループに属する時
間を積算計測する時間計測手段と、この時間計測手段の
計測結果に基づいて閾値の妥当性を評価する閾値評価手
段と、この閾値評価手段の評価結果に基づき閾値の値を
再設定する閾値設定手段と、閾値を用いて被撮像者の目
の開閉を判定する目開閉判定手段とを備えたものであ
る。[0005] A face image processing apparatus according to the present invention includes a camera for capturing a face image, an opening degree detecting means for detecting an opening degree of an eye of a person to be imaged based on imaging information of the camera, and an opening degree detecting means. Time measurement means for classifying the detection results into a plurality of groups using a threshold value and integrating and measuring the time during which the detection result of the opening degree detection means belongs to a predetermined group of the plurality of groups within a predetermined time; and Threshold evaluation means for evaluating the validity of the threshold value based on the measurement result of the measurement means; threshold setting means for resetting the threshold value based on the evaluation result of the threshold evaluation means; Eye opening / closing determination means for determining whether the vehicle is open or closed.

【０００６】また、この発明に係る顔画像処理装置は、
所定のグループは閾値により分類された複数のグループ
の内の２つのグループであって、閾値評価手段は時間計
測手段により計測された２つのグループの計測結果の比
率と予め定められた所定値との偏差を演算するものであ
って、閾値設定手段は偏差が減少する方向に閾値の値を
更新するものである。[0006] A face image processing apparatus according to the present invention comprises:
The predetermined group is two of a plurality of groups classified by the threshold, and the threshold evaluation unit determines the ratio between the ratio of the measurement results of the two groups measured by the time measurement unit and a predetermined value. In calculating the deviation, the threshold value setting means updates the value of the threshold value in a direction in which the deviation decreases.

【０００７】また、この発明に係る顔画像処理装置は、
閾値設定手段は、開度検出手段の検出結果の平均値から
所定量だけ離れた位置に閾値の初期値を設定するととも
に、開度検出手段の検出出力が所定時間内において閾値
を横切らない場合は閾値を平均値の方向に更新するもの
である。[0007] A face image processing apparatus according to the present invention comprises:
The threshold setting unit sets the initial value of the threshold at a position separated by a predetermined amount from the average value of the detection results of the opening detection unit, and when the detection output of the opening detection unit does not cross the threshold within a predetermined time, The threshold is updated in the direction of the average value.

【０００８】また、この発明に係る顔画像処理装置は、
開度検出手段の検出結果に基づき被撮像者の目が開状態
にあるときの代表的な値を演算する開値演算手段と、開
度検出手段の検出結果に基づき被撮像者の目が閉状態に
あるときの代表的な値を演算する閉値演算手段と、開値
演算手段と閉値演算手段との演算結果に基づき閾値の可
変範囲を設定する閾値制限手段とを備えたものである。[0008] Further, a face image processing apparatus according to the present invention comprises:
Open value calculating means for calculating a representative value when the eyes of the subject are open based on the detection result of the opening degree detecting means, and eyes of the subject being closed based on the detection results of the opening degree detecting means. A closed value calculating means for calculating a representative value in the state, and threshold value limiting means for setting a variable range of the threshold value based on the calculation results of the open value calculating means and the closed value calculating means. .

【０００９】また、この発明に係る顔画像処理装置は、
装置が動作してから所定期間経過したことを検出する期
間検出手段と、所定期間が経過するまでは閾値の可変範
囲の更新を許可するとともに所定期間の経過以後は閾値
の可変範囲の更新を禁止する閾値制限制御手段とを備え
たものである。Further, a face image processing apparatus according to the present invention comprises:
Period detecting means for detecting that a predetermined period has elapsed since the operation of the apparatus, and updating of the variable range of the threshold is permitted until the predetermined period has elapsed, and updating of the variable range of the threshold is prohibited after the predetermined period has elapsed. And a threshold limit control means for controlling the threshold value.

【００１０】また、この発明に係る顔画像処理装置は、
顔画像を撮像するカメラと、このカメラの撮像情報に基
づき被撮像者の目の開度を検出する開度検出手段と、所
定時間毎における開度検出手段の検出結果の度数分布を
計測する度数計測手段と、度数分布が略平坦となる範囲
内に閾値を設定するとともに度数分布の更新に応じて閾
値を更新する閾値設定手段と、閾値を用いて被撮像者の
目の開閉を判定する目開閉判定手段とを備えたものであ
る。[0010] Further, a face image processing apparatus according to the present invention comprises:
A camera that captures a face image, an opening detection unit that detects an opening of the subject's eyes based on imaging information of the camera, and a frequency that measures a frequency distribution of detection results of the opening detection unit at predetermined time intervals A measuring unit, a threshold setting unit that sets a threshold value within a range where the frequency distribution is substantially flat, and updates the threshold value in accordance with the update of the frequency distribution, and an eye that determines whether the subject's eyes are opened or closed using the threshold value. Open / close determination means.

【００１１】また、この発明に係る顔画像処理方法は、
顔画像を撮像するカメラの撮像情報に基づき被撮像者の
目の開度を検出するステップと、この検出結果を閾値を
用いて複数のグループに分類するステップと、所定時間
内において目の開度の検出結果が複数のグループの内の
所定のグループに属する時間を積算計測するステップ
と、この時間の計測結果に基づいて閾値の妥当性を評価
するステップと、この評価結果に基づき閾値の値を再設
定するステップと、閾値を用いて被撮像者の目の開閉を
判定するステップとを備えたものである。Further, a face image processing method according to the present invention is characterized in that:
Detecting the degree of eye opening of the subject based on imaging information of the camera that captures the face image; classifying the detection result into a plurality of groups using a threshold value; The step of integrating and measuring the time during which the detection result of the plurality of groups belongs to a predetermined group, the step of evaluating the validity of the threshold based on the result of the measurement of the time, and the step of calculating the threshold value based on the evaluation result. The method includes a step of resetting and a step of determining whether the subject's eyes are opened or closed using a threshold value.

【００１２】また、この発明に係る顔画像処理方法は、
顔画像を撮像するカメラの撮像情報に基づき被撮像者の
目の開度を検出するステップと、所定時間毎における目
の開度の検出結果の度数分布を計測するステップと、こ
の度数分布が略平坦となる範囲内に閾値を設定するステ
ップと、度数分布の更新に応じて閾値を更新するステッ
プと、閾値を用いて被撮像者の目の開閉を判定するステ
ップとを備えたものである。Further, the face image processing method according to the present invention is characterized in that:
Detecting the degree of opening of the eyes of the subject based on the imaging information of the camera that captures the face image; measuring the frequency distribution of the detection results of the degree of opening of the eyes at predetermined time intervals; The method includes a step of setting a threshold value within a flat range, a step of updating the threshold value according to the update of the frequency distribution, and a step of determining whether the subject's eyes are opened or closed using the threshold value.

【００１３】[0013]

【発明の実施の形態】BEST MODE FOR CARRYING OUT THE INVENTION

実施の形態１．実施の形態１は、顔画像を撮像するカメ
ラの撮像情報に基づき被撮像者の目の開度を検出するス
テップと、この検出結果を閾値を用いて複数のグループ
に分類するステップと、所定時間内において目の開度の
検出結果が複数のグループの内の所定のグループに属す
る時間を積算計測するステップと、この時間の計測結果
に基づいて閾値の妥当性を評価するステップと、この評
価結果に基づき閾値の値を再設定するステップと、閾値
を用いて被撮像者の目の開閉を判定するステップとを備
えた顔画像処理方法に関するもので、この画像処理方法
を実施する顔画像処理装置について、以下説明する。Embodiment 1 FIG. In the first embodiment, a step of detecting an opening degree of an eye of a subject based on imaging information of a camera that captures a face image, a step of classifying the detection result into a plurality of groups using a threshold, A step of integrating and measuring the time at which the detection result of the degree of eye opening belongs to a predetermined group of the plurality of groups; a step of evaluating the validity of the threshold based on the result of the measurement of the time; A face image processing method comprising the steps of: resetting a threshold value based on a threshold value; and determining whether the subject's eyes are opened or closed using the threshold value. Will be described below.

【００１４】図１は、実施の形態１の顔画像処理装置の
概略の構成を示すブロック図、図２乃至図４は実施の形
態１の動作を説明するタイムチャートで、図２は閾値が
妥当である状態、図３は閾値が開側に行き過ぎた状態、
図４は閾値が閉側に行き過ぎた状態を示している。ま
ず、実施の形態１の詳細な説明の前に、基本的な動作に
ついて簡単に説明しておく。車両運転者の顔画像はカメ
ラにより得られる。この顔画像を処理して被撮像者であ
る車両運転者の目を検出し、目の開度に応じた出力を得
る。これは図２乃至４に目開閉評価出力値として示され
たものである。この目の開度に応じた出力は２つの閾値
のうちの閉側閾値と比較され、閉側閾値よりも開側であ
るときは目が開状態、閉側閾値よりも閉側であるときは
目が閉状態にあると判定される。これにより目の開閉が
判定される。FIG. 1 is a block diagram showing a schematic configuration of a face image processing apparatus according to the first embodiment. FIGS. 2 to 4 are time charts for explaining the operation of the first embodiment. , FIG. 3 shows a state in which the threshold value has gone too far to the open side,
FIG. 4 shows a state where the threshold value has excessively moved to the closing side. First, before a detailed description of the first embodiment, a basic operation will be briefly described. The face image of the vehicle driver is obtained by the camera. The face image is processed to detect the eyes of the vehicle driver who is the person to be imaged, and to obtain an output corresponding to the degree of opening of the eyes. This is shown as the eye opening / closing evaluation output value in FIGS. The output according to the degree of opening of the eyes is compared with the closing threshold of the two thresholds. When the eyes are on the opening side of the closing thresholds, the eyes are in the open state, and when the eyes are on the closing side of the closing thresholds, It is determined that the eyes are closed. This determines whether the eyes are open or closed.

【００１５】一方、閾値は固定の値ではなく、顔画像の
変化に応じて順次更新されるものとなっている。閾値
は、妥当であるか否かがまず判定され、妥当でなければ
望ましい方向に更新される。例えば図３では閾値が開側
に行き過ぎている。このような状態では、車両運転者の
目が閉状態でなくても、閉状態であると判定してしま
う。また、図４では閾値が閉側に行き過ぎている。この
ような状態では、車両運転者の目の開閉を判定すること
ができない。そこで、実施の形態１では、閾値が図２乃
至４のうちどの状態にあるのかを判定するために次のよ
うに処理している。まず、目開閉評価出力値を開側閾値
及び閉側閾値の２つの閾値を用いて複数のグループに分
類する。その中から任意のグループを選定し、目開閉評
価出力値が所定時間内において選定した所定のグループ
に属している時間を積算計測する。実施の形態１におい
て所定のグループは、開側閾値よりも開側の領域である
グループＡと、閉側閾値よりも開側の領域であるグルー
プＢである。On the other hand, the threshold value is not a fixed value, but is updated sequentially according to a change in the face image. The threshold is first determined whether it is valid or not, and if not, it is updated in a desirable direction. For example, in FIG. 3, the threshold value has gone too far toward the open side. In such a state, even if the eyes of the vehicle driver are not closed, it is determined that the eyes are closed. Further, in FIG. 4, the threshold value is too close to the closed side. In such a state, it is not possible to determine whether the driver's eyes are open or closed. Therefore, in the first embodiment, the following processing is performed in order to determine which state the threshold is in from among FIGS. First, the eye opening / closing evaluation output values are classified into a plurality of groups using two thresholds, an open threshold and a close threshold. An arbitrary group is selected therefrom, and the time during which the eye opening / closing evaluation output value belongs to the selected predetermined group within the predetermined time is integrated and measured. In the first embodiment, the predetermined groups are group A, which is an area on the open side of the open side threshold, and group B, which is an area on the open side of the close side threshold.

【００１６】次にグループＡの計測値と、グループＢの
計測値とを比較する。図３の場合では、グループＡの計
測値がグループＢの計測値に比し非常に小さな値となっ
ている。また図４の場合では、グループＡの計測値とグ
ループＢの計測値とがほぼ等しくなっている。これに対
し、図２の閾値が妥当な場合では、グループＡの計測値
はグループＢの計測値に比し若干小さな値となってい
る。即ち、実施の形態１では、グループＡの計測値とグ
ループＢの計測値との偏差を演算し、この偏差が図２に
示す状態になるよう閉側閾値を制御する。なお、開側閾
値は、閉側閾値の変化に追従して変化するもので、閉側
閾値と開側閾値との間隔は一定である。Next, the measured value of group A and the measured value of group B are compared. In the case of FIG. 3, the measured value of the group A is very small compared to the measured value of the group B. In the case of FIG. 4, the measured value of the group A and the measured value of the group B are substantially equal. On the other hand, when the threshold value in FIG. 2 is appropriate, the measured value of the group A is slightly smaller than the measured value of the group B. That is, in the first embodiment, a deviation between the measurement value of the group A and the measurement value of the group B is calculated, and the closing threshold is controlled so that the deviation becomes a state shown in FIG. The open-side threshold changes following the change of the close-side threshold, and the interval between the close-side threshold and the open-side threshold is constant.

【００１７】次に、実施の形態１について詳しく説明す
る。図１において、１は車両運転者の顔を撮像する車両
室内に設けられたカメラ、２はカメラ１の撮像情報であ
る映像信号を受けてＡ／Ｄ（アナログ／ディジタル）変
換しディジタル階調画像を出力する画像入力手段、３は
画像入力手段２からのディジタル階調画像を受け、この
画像中において車両運転者の目があると思われる目領域
を特定する目領域判定手段、４は車両運転者の目の開度
に応じた検出結果を出力する開度検出手段としての目開
閉評価手段であって、例えば目領域判定手段３で特定さ
れた目領域内における黒色領域の大きさに応じた値を図
２の目開閉評価出力値に示す如く出力する。これは、車
両運転者の目の開度に応じた値となっている。Next, the first embodiment will be described in detail. In FIG. 1, reference numeral 1 denotes a camera provided in a vehicle cabin for picking up an image of a driver's face, and 2 denotes a digital gradation image which receives an image signal, which is image information of the camera 1, and performs A / D (analog / digital) conversion. Input means 3 for receiving the digital gradation image from the image input means 2 and eye area determining means for specifying an eye area where the eyes of the vehicle driver are supposed to be in the image. Eye opening / closing evaluation means as opening degree detection means for outputting a detection result corresponding to the degree of opening of the eyes of the user, for example, according to the size of the black area in the eye area specified by the eye area determination means 3 The value is output as shown in the eye opening / closing evaluation output value of FIG. This is a value corresponding to the degree of opening of the eyes of the vehicle driver.

【００１８】５は時間計測手段であって、目開閉評価手
段４の検出結果を図２に示す開側閾値及び閉側閾値とい
う２つの閾値を用いて複数のグループに分類する。この
複数のグループとしては、開側閾値よりも開側の領域、
開側閾値よりも閉側の領域、閉側閾値よりも開側の領
域、閉側閾値よりも閉側の領域、２つの閾値の間の領域
等が挙げられる。この実施の形態１の時間計測手段５で
は、開側閾値よりも開側の領域であるグループＡ及び閉
側閾値よりも開側の領域であるグループＢを所定のグル
ープとして選定するとともに、所定時間内において目開
閉評価手段４の検出結果がグループＡあるいはグループ
Ｂに属する時間を積算して計測している。６は閾値評価
手段で、時間計測手段５の計測結果に基づき閾値の妥当
性を評価する。７は閾値設定手段で、閾値評価手段６の
評価結果に基づき閾値がより望ましい値になるよう再設
定する。閾値設定手段７で設定した閾値は、上述の時間
計測手段５と次に説明する開閉判定手段に与えられてい
る。８は目の開閉を判定する目開閉判定手段としての開
閉判定手段で、目開閉評価手段４から与えられる車両運
転者の目の開度に応じた値と、閾値設定手段７から与え
られる閾値とが入力され、目の開度に応じた値と閉側閾
値とを比較することにより車両運転者の目の開閉を判定
する。Reference numeral 5 denotes a time measuring means, which classifies the detection results of the eye opening / closing evaluation means 4 into a plurality of groups using two threshold values, an open threshold value and a close threshold value shown in FIG. As the plurality of groups, an area on the open side of the open side threshold,
An area closer to the open side than the open side threshold, an area closer to the open side than the close side threshold, an area closer to the close side than the close side threshold, an area between two thresholds, and the like. The time measuring means 5 according to the first embodiment selects a group A, which is an area closer to the open side than the open-side threshold, and a group B, which is an area closer to the open side than the close-side threshold, as a predetermined group. In the figure, the time when the detection result of the eye opening / closing evaluation means 4 belongs to the group A or the group B is integrated and measured. Reference numeral 6 denotes a threshold evaluation unit that evaluates the validity of the threshold based on the measurement result of the time measurement unit 5. Reference numeral 7 denotes a threshold setting unit that resets the threshold to a more desirable value based on the evaluation result of the threshold evaluation unit 6. The threshold value set by the threshold value setting means 7 is given to the above-described time measuring means 5 and the open / close determining means described below. Reference numeral 8 denotes an opening / closing determination unit serving as an eye opening / closing determination unit that determines whether the eye is open or closed. Is input, and a value corresponding to the degree of opening of the eyes is compared with the closing threshold value to determine whether the vehicle driver's eyes are open or closed.

【００１９】実施の形態１の動作について説明する。図
５は目開閉評価出力値を検出するためのフローチャート
である。このフローチャートは、カメラ１で撮像した顔
画像の中の目領域を特定し、目領域の中にある黒色領域
を目であると判定し、その黒色領域の大きさを目の開度
として検出する。ステップ１ではカメラ１で撮像した映
像信号が画像入力手段２に取り込まれる。画像入力手段
２はこの映像信号をＡ／Ｄ変換する。ステップ２では、
画像入力手段２で変換されたディジタル階調画像がフレ
ームメモリに入力される。ステップ３ではフレームメモ
リに記憶した画像情報が読み出され、適当な２値化閾値
により２値画像化される。ステップ４では顔の横方向検
索開始ラインより、顔の左右横方向に白色画素が検索さ
れる。ステップ５では連続した白色画素数がカウントさ
れ、続くステップ６で連続した白色画素数が最大となる
ときの白色画素領域の端部から顔の横幅輪郭線が特定さ
れる。The operation of the first embodiment will be described. FIG. 5 is a flowchart for detecting the eye opening / closing evaluation output value. This flowchart specifies an eye area in a face image captured by the camera 1, determines a black area in the eye area as an eye, and detects the size of the black area as an eye opening. . In step 1, a video signal captured by the camera 1 is taken into the image input unit 2. The image input means 2 A / D converts this video signal. In step 2,
The digital gradation image converted by the image input means 2 is input to the frame memory. In step 3, the image information stored in the frame memory is read out and converted into a binary image using an appropriate binarization threshold. In step 4, a white pixel is searched for in the left and right horizontal direction of the face from the horizontal search start line of the face. In step 5, the number of continuous white pixels is counted. In step 6, the width outline of the face is specified from the end of the white pixel region when the number of continuous white pixels is maximized.

【００２０】ステップ７では、特定された顔の横方向輪
郭線に基づいて目が存在すると思われる目領域の横方向
の座標が決定される。ステップ８では顔の縦方向検索開
始ラインが設定され、続くステップ９で顔の縦方向に黒
色画素が検索される。ステップ９では連続した黒色画素
の領域が検索される。ステップ１０では検索した黒色画
素の領域の位置関係や縦方向の黒色画素数に基づき目領
域を特定する。ステップ１１では、特定された目領域の
中から連続した黒色画素を検出し、これを目の開度とし
て検出し出力する。即ち、図６に示すように、目領域を
縦方向に検索し、連続した黒色画素数が最大となる検索
ラインを検出し、この場合では検索ライン（ニ）上の連
続した黒色画素数を目の開度として検出している。とこ
ろで、検索ライン（ヘ）は、検索ライン（ニ）よりも連
続した黒色画素数が多い。しかし、髪あるいは眉などを
省く所定の条件を設定しておくことにより検索ライン
（ニ）を選択するようにしている。このようにして得ら
れた目の開度は、開状態では連続した黒色画素数が多く
なると共に、閉状態では連続した黒色画素数が少なくな
り、目の開度に応じた値となる。なお、このフローチャ
ートにおいて、ステップ１は画像入力手段、ステップ７
乃至ステップ１０は目領域判定手段、ステップ１１は開
度検出手段を構成している。In step 7, the horizontal coordinates of the eye region where the eyes are considered to be present are determined based on the horizontal contour of the specified face. In step 8, a vertical search start line of the face is set, and in step 9, a black pixel is searched in the vertical direction of the face. In step 9, a continuous black pixel area is searched. In step 10, the eye region is specified based on the positional relationship of the searched black pixel region and the number of black pixels in the vertical direction. In step 11, a continuous black pixel is detected from the specified eye region, and this is detected as an eye opening and output. That is, as shown in FIG. 6, the eye region is searched in the vertical direction, and a search line having the maximum number of continuous black pixels is detected. In this case, the number of continuous black pixels on the search line (d) is determined. Is detected as the opening degree. The search line (f) has a larger number of continuous black pixels than the search line (d). However, the search line (d) is selected by setting a predetermined condition for omitting hair or eyebrows. The degree of eye opening obtained in this manner is a value corresponding to the degree of eye opening, as the number of continuous black pixels increases in the open state and the number of continuous black pixels decreases in the closed state. In this flowchart, step 1 is an image input unit, step 7
Steps 10 to 10 constitute an eye area determining means, and Step 11 constitutes an opening degree detecting means.

【００２１】上述のようにして得られた目の開度は、例
えば図２に目開閉評価出力値として示されるものであ
る。この値は、車両運転者の目の開き具合によって若干
揺らいだ値となるとともに、車両運転者が目を閉じたと
きは明らかに閉方向の値として出力される。この目開閉
評価出力値は時間計測手段５に入力され、開側閾値及び
閉側閾値という２つの閾値で複数のグループに分類され
る。また、時間計測手段５では、所定時間内において目
開閉評価出力値がグループＡに属している時間、即ち図
２において斜線部分の時間を所定時間毎に積算計測す
る。同様に所定時間内において目開閉評価出力値がグル
ープＢに属している時間も積算計測する。この結果は閾
値評価手段６に与えられ、ここで閾値の妥当性が評価さ
れる。この妥当性の評価は、上述したように、時間計測
手段５で計測されたグループＡの計測値と、グループＢ
の計測値との偏差で評価される。この偏差は閾値設定手
段７に与えられる。The eye opening obtained as described above is, for example, shown in FIG. 2 as an eye opening / closing evaluation output value. This value slightly fluctuates depending on the degree of opening of the eyes of the vehicle driver, and is clearly output as a value in the closing direction when the vehicle driver closes his eyes. The eye opening / closing evaluation output value is input to the time measuring unit 5 and is classified into a plurality of groups based on two threshold values, an open threshold value and a close threshold value. Further, the time measuring means 5 integrates and measures the time during which the eye opening / closing evaluation output value belongs to the group A within the predetermined time, that is, the time of the hatched portion in FIG. Similarly, the time during which the eye opening / closing evaluation output value belongs to the group B within the predetermined time is also integrated and measured. This result is provided to the threshold evaluation means 6, where the validity of the threshold is evaluated. As described above, the evaluation of the validity is based on the measured value of the group A measured by the time measuring unit 5 and the measured value of the group B
Is evaluated by the deviation from the measured value. This deviation is given to the threshold setting means 7.

【００２２】閾値設定手段７では、閾値評価手段６で演
算された偏差に基づき閉側閾値の値を制御し再設定す
る。開側閾値は、閉側閾値の更新に応じて同様に変化す
る。図２は閾値の設定が妥当な場合であり、開側閾値が
目開閉評価出力値の揺らぎの下側にあるとともに閉側閾
値は開側閾値よりも更に閉側に設定されている。目の開
閉は閉側閾値を基準に判定されているので、この状態に
おいては、目が開状態にあるときの目開閉評価出力値の
揺らぎにより目の開閉を誤判定することがない。この場
合のグループＡとグループＢとの計測値の偏差（グルー
プＢ − グループＡ）は、０よりも若干大きな値とな
っている。The threshold setting means 7 controls and resets the value of the closing threshold based on the deviation calculated by the threshold evaluation means 6. The open-side threshold similarly changes according to the update of the close-side threshold. FIG. 2 shows a case where the setting of the threshold value is appropriate. The open side threshold value is below the fluctuation of the eye opening / closing evaluation output value, and the close side threshold value is set closer to the open side than the open side threshold value. Since the eye opening / closing is determined based on the closing threshold, in this state, the eye opening / closing evaluation output value fluctuates when the eye is in the open state, and the eye opening / closing is not erroneously determined. In this case, the deviation between the measured values of group A and group B (group B-group A) is slightly larger than zero.

【００２３】図３は、閾値が開側に行き過ぎている状態
である。この場合、目が開状態にあるときの目開閉評価
出力値の揺らぎに閉側閾値がかかっており、目が開状態
であっても閉状態であると誤判定してしまう。この状態
において、偏差（グループＢ − グループＡ）は非常
に大きな値となっている。そこで、このような場合には
閾値設定手段７は、偏差が図２の場合のように０よりも
若干大きな値となるように閉側閾値の値を更新し再設定
する。FIG. 3 shows a state where the threshold value is excessively shifted toward the open side. In this case, the fluctuation of the eye opening / closing evaluation output value when the eye is in the open state is affected by the closing threshold value, and the eye is erroneously determined to be in the closed state even when the eye is in the open state. In this state, the deviation (group B-group A) has a very large value. Therefore, in such a case, the threshold value setting means 7 updates and resets the value of the closing threshold value so that the deviation becomes a value slightly larger than 0 as in the case of FIG.

【００２４】図４は、閾値が閉側に行き過ぎている状態
である。この場合、目が閉状態にあるときの値よりも更
に閉側に閉側閾値が設定されているので目の開閉を判定
することができない。この状態において、偏差（グルー
プＢ − グループＡ）はほぼ０となっている。そこ
で、このような場合には閾値設定手段７は、偏差が図２
の場合のように０よりも若干大きな値となるように閉側
閾値の値を更新し再設定する。FIG. 4 shows a state in which the threshold value is too close to the closed side. In this case, it is not possible to determine whether the eyes are open or closed because the threshold value on the closing side is set further on the closing side than the value when the eyes are in the closed state. In this state, the deviation (group B-group A) is almost zero. Therefore, in such a case, the threshold setting means 7 determines that the deviation
The value of the closing threshold value is updated and reset so that it becomes a value slightly larger than 0 as in the case of.

【００２５】この閉側閾値の更新は、所定時間毎に行わ
れる。即ち、閾値評価手段６の評価に基づき、望ましい
閾値の位置に近づく方向に所定時間毎に所定値ずつ更新
させていく。The updating of the closing threshold value is performed at predetermined time intervals. That is, based on the evaluation by the threshold evaluation unit 6, the threshold is updated by a predetermined value at predetermined time intervals in a direction approaching the position of the desired threshold.

【００２６】上述のようにして再設定された２つの閾値
は、時間計測手段５に与えられてグループ分類に用いら
れると共に、開閉判定手段８に与えられて、目開閉評価
出力値と閉側閾値とが比較されて目の開閉が判定され
る。The two threshold values reset as described above are provided to the time measuring means 5 and used for group classification, and are also provided to the open / close determining means 8 to provide the eye open / close evaluation output value and the closed side threshold value. Are compared to determine whether the eyes are open or closed.

【００２７】従って、実施の形態１によれば、撮像画像
の変化に応じて閾値を適切な値に更新するので、目の開
閉判定の精度を向上させることができる。また、実施の
形態１では目開閉評価として抽出した目領域の最大連続
黒色画素数を用いて説明したが、これに限られるもので
はなく、例えば我々が先に出願した特願平７−１９３６
４７号に記載の目開閉評価手法を適用しても良い。Therefore, according to the first embodiment, the threshold value is updated to an appropriate value according to a change in the captured image, so that the accuracy of the eye open / close determination can be improved. Although the first embodiment has been described using the maximum number of continuous black pixels in the eye area extracted as the eye opening / closing evaluation, the present invention is not limited to this. For example, Japanese Patent Application No. 7-1936 filed earlier by us.
The eye opening / closing evaluation method described in No. 47 may be applied.

【００２８】なお、実施の形態１においては開側閾値及
び閉側閾値という２つの閾値を用い、所定のグループと
してグループＡ及びグループＢという２つのグループを
選択したが、閾値及び所定のグループは１つでもよい。
即ち、実施の形態１で示した閉側閾値のみを用いても良
い。具体的には、図２乃至４において、閉側閾値を用い
て目開閉評価出力値を複数のグループ、即ち閉側閾値よ
りも開側の領域のグループと、閉側閾値よりも閉側の領
域のグループとに分類する。そして所定のグループとし
て、例えば閉側閾値よりも開側の領域、即ちグループＢ
を選択する。このとき時間計測手段５で積算計測した計
測値は、図２の状態では１よりも若干小さな値となる。
また、図３の場合では１よりも非常に小さい値となり、
図４の場合ではほぼ１になる。従って、閾値設定手段７
で、時間計測手段５の計測値が１よりも若干小さくなる
ように閉側閾値の値を更新してやればよい。このもので
は、上述の実施の形態１で述べたものに比し演算が簡単
となり処理速度を上げることができる。In the first embodiment, two thresholds, that is, an open side threshold value and a close side threshold value, are used, and two groups, that is, a group A and a group B are selected as predetermined groups. One.
That is, only the close threshold value described in the first embodiment may be used. Specifically, in FIGS. 2 to 4, the eye opening / closing evaluation output value is divided into a plurality of groups by using the close side threshold, that is, a group of an area closer to the open side than the close side threshold and an area closer to the close side than the close side threshold. And into groups. Then, as a predetermined group, for example, an area on the open side of the close side threshold, that is, the group B
Select At this time, the measured value integrated and measured by the time measuring means 5 is a value slightly smaller than 1 in the state of FIG.
Also, in the case of FIG. 3, the value is much smaller than 1, and
In the case of FIG. Therefore, the threshold setting means 7
Then, the value of the closing threshold may be updated so that the value measured by the time measuring means 5 becomes slightly smaller than 1. In this case, the operation is simplified and the processing speed can be increased as compared with that described in the first embodiment.

【００２９】実施の形態２．実施の形態２は実施の形態
１と略同一のものであって、開閉判定手段８の目の開閉
の判定の仕方が異なっている。即ち、実施の形態１では
閉側閾値と目開閉評価出力値とを比較して目の開閉を判
定したが、実施の形態２では閉側閾値及び開側閾値と、
目開閉評価出力値とを比較して目の開閉を判定してい
る。図７は、実施の形態２の開閉判定手段の動作を示す
説明図である。この実施の形態２では、目開閉評価出力
値が閉側閾値よりも閉側になったときに目が開から閉に
なったと判定する。また、目開閉評価出力値が開側閾値
よりも開側となったときに目が閉から開になったと判定
する。即ち、目の開閉の判定にヒステリシスを持たせて
いる。従って、車両運転者が目をゆっくり開閉し目開閉
評価出力値が揺らいでいたとしても、開閉判定手段８の
判定結果がチャタリングを起こすことがない。Embodiment 2 The second embodiment is substantially the same as the first embodiment, and differs from the first embodiment in how the open / close determining means 8 determines whether the eyes are open or closed. That is, in the first embodiment, the eye open / closed state is determined by comparing the closed side threshold value with the eye open / closed evaluation output value. In the second embodiment, the closed side threshold value and the open side threshold value are determined.
Eye opening / closing is determined by comparing the eye opening / closing evaluation output value. FIG. 7 is an explanatory diagram illustrating the operation of the opening / closing determination unit according to the second embodiment. In the second embodiment, when the eye opening / closing evaluation output value is closer to the closing side than the closing side threshold value, it is determined that the eye is closed from open. Further, when the eye open / close evaluation output value is closer to the open side than the open side threshold value, it is determined that the eye has changed from closed to open. That is, hysteresis is given to the determination of the opening and closing of the eyes. Therefore, even if the vehicle driver slowly opens and closes his eyes and the eye open / closed evaluation output value fluctuates, the determination result of the open / close determination unit 8 does not cause chattering.

【００３０】実施の形態３．実施の形態３は、閾値の評
価をより正確に行うものである。実施の形態３の構成は
実施の形態１と略同一であって、閾値評価手段６の動作
が実施の形態１とは異なっている。図８は、実施の形態
３による閾値評価手段の動作を示す説明図である。図８
（ａ）は、所定時間における目開閉評価手段４の目開状
態の出力度数分布の一例を示したものである。次にグル
ープＡとグループＢの積算時間をそれぞれ（ｂ）、
（ｃ）に示す。グループＡの積算時間は開側閾値よりも
図示右方向の部分の面積であって、グループＢの積算時
間は閉側閾値よりも図示右方向の部分の面積である。こ
こで、閉側閾値をパラメータとして閉側から開側に向か
って変化させる。なお、このとき開側閾値も閉側閾値と
所定の間隔を持って変化する。このときのグループＡと
グループＢの積算時間の変化は、（ｄ）、（ｅ）に示す
とおりである。次にグループＡの積算時間をグループＢ
の積算時間で割り算する。（ｆ）はその割り算の結果を
示している。この割り算した値は、閉側閾値の値が開側
に移動するに従って、単調に減少している。このように
単調変化する値は、比較の対象として望ましい。そこ
で、実施の形態３では、閾値評価手段６においてグルー
プＡの計測結果とグループＢの計測結果との比率を上述
の如く演算し、この比率と予め定められた所定値とを比
較して偏差を演算している。閾値設定手段７には演算さ
れた偏差が入力され、その偏差が減少する方向に閉側閾
値を再設定するようにしている。予め定められた所定値
は、経験的に得られる値であって、目開閉評価出力値と
閾値とが図２に示すような位置関係になるような値であ
る。Embodiment 3 In the third embodiment, the evaluation of the threshold value is performed more accurately. The configuration of the third embodiment is substantially the same as that of the first embodiment, and the operation of the threshold evaluation unit 6 is different from that of the first embodiment. FIG. 8 is an explanatory diagram illustrating the operation of the threshold evaluation unit according to the third embodiment. FIG.
(A) shows an example of an output frequency distribution of the eye open state of the eye open / close evaluation means 4 at a predetermined time. Next, the accumulated times of the groups A and B are respectively shown in (b),
It is shown in (c). The integrated time of the group A is the area of the portion on the right side in the drawing from the open side threshold, and the integrated time of the group B is the area of the portion on the right side in the drawing than the threshold on the closed side. Here, the value is changed from the closed side to the open side using the closed side threshold as a parameter. At this time, the open threshold also changes at a predetermined interval from the close threshold. The change of the integration time of the group A and the group B at this time is as shown in (d) and (e). Next, the accumulated time of group A is changed to group B
Divide by the integration time of. (F) shows the result of the division. This divided value monotonically decreases as the value of the closing threshold moves to the opening side. Such a monotonically changing value is desirable for comparison. Thus, in the third embodiment, the threshold evaluation unit 6 calculates the ratio between the measurement result of the group A and the measurement result of the group B as described above, compares the ratio with a predetermined value, and calculates the deviation. It is calculating. The calculated deviation is input to the threshold setting means 7, and the closing threshold is reset in a direction in which the deviation decreases. The predetermined value is a value obtained empirically, and is a value such that the eye opening / closing evaluation output value and the threshold value have a positional relationship as shown in FIG.

【００３１】従って、実施の形態３では、単調に変化す
る値と予め定めた値とを比較するようにしたので、閾値
の評価をより精度良く行うことができる。Therefore, in the third embodiment, since the value that changes monotonically and the predetermined value are compared, the threshold value can be evaluated more accurately.

【００３２】なお、上述の実施の形態では、図９に示す
如く所定時間毎に所定値だけ閾値の値を更新している。
この例では、望ましい閾値に達するまでに７回の更新を
要している。これに対し、実施の形態３では、単調に変
化する値と予め定めた値とを比較し偏差を演算するよう
にしたので、その偏差は、望ましい閾値と現在の閾値と
の離れ具合を単調に示す。即ち、偏差が大きければ望ま
しい閾値と現在の閾値とが大きくかけ離れており、偏差
が小さければ望ましい閾値と現在の閾値とがほぼ一致し
ていると言える。従って、閾値設定手段７において、偏
差の大きさに応じて更新するようにして、１回の更新で
現在の閾値が望ましい閾値に一致するようにしても良
い。もしくは、望ましい閾値と現在の閾値とが離れてい
るほど１回の更新による変化量を大きくしても良い。例
えば、１回目の更新で偏差の８割を解消する量だけ閾値
を変化させ、その後は所定時間毎に所定値ずつ閾値を変
化させるという手法などが挙げられる。このようなもの
によれば、閾値を望ましい閾値により早く一致させるこ
とができる。In the above-described embodiment, the threshold value is updated by a predetermined value every predetermined time as shown in FIG.
In this example, seven updates are required to reach the desired threshold. On the other hand, in the third embodiment, a deviation is calculated by comparing a value that changes monotonically with a predetermined value. Show. That is, if the deviation is large, the desired threshold value and the current threshold value are far apart from each other, and if the deviation is small, it can be said that the desired threshold value and the current threshold value substantially match. Therefore, the threshold value setting means 7 may update the threshold value according to the magnitude of the deviation so that the current threshold value matches the desired threshold value in one update. Alternatively, the change amount by one update may be increased as the desired threshold value and the current threshold value are further apart. For example, there is a method of changing the threshold value by an amount that eliminates 80% of the deviation in the first update, and thereafter changing the threshold value by a predetermined value every predetermined time. According to such a configuration, the threshold value can be more quickly matched with the desired threshold value.

【００３３】実施の形態４．実施の形態１では、所定の
グループとしてグループＡとグループＢとを使用した。
実施の形態４は所定のグループを変更した例を示すもの
であって、基本的には実施の形態１と同様なものであ
る。図１０乃至図１２は実施の形態４の動作を説明する
タイムチャートである。図１０は、閾値が妥当な位置に
ある状態を示している。実施の形態４では所定のグルー
プとして、上述の開側閾値よりも開側の領域であるグル
ープＡと、開側閾値と閉側閾値との間の領域であるグル
ープＣとを使用している。Embodiment 4 FIG. In the first embodiment, the groups A and B are used as the predetermined groups.
The fourth embodiment shows an example in which a predetermined group is changed, and is basically the same as the first embodiment. 10 to 12 are time charts for explaining the operation of the fourth embodiment. FIG. 10 shows a state where the threshold value is at an appropriate position. In the fourth embodiment, as predetermined groups, group A, which is an area on the open side from the above-described open side threshold, and group C, which is an area between the open side threshold and the close side threshold, are used.

【００３４】基本的な動作は実施の形態１と同様である
ので、ここでは閾値の評価について説明する。図１０に
おいて時間計測手段５は、所定時間内において目開閉評
価出力値がグループＡに属している時間を積算して計測
すると共に、グループＣについても同様に積算して計測
する。このときのグループＡとグループＣとの計測値の
偏差（グループＡ − グループＣ）は、グループＡの
計測値よりも若干小さな値となる。図１１は、閾値が開
側に行き過ぎた状態である。このときグループＡの計測
値が減少しグループＣの計測値が増える。従って、偏差
（グループＡ − グループＣ）は、極端な場合には負
の値となる。図１２は、閾値が閉側に行き過ぎた状態で
ある。このとき、グループＡの計測値が増加すると共に
グループＣの計測値は、極端な場合には０となる。従っ
て、偏差（グループＡ − グループＣ）は、極端な場
合には、グループＡの計測値そのものとなる。従って、
閾値設定手段７はこれらの偏差を受け、偏差がグループ
Ａの計測値よりも若干小さな値となるよう、即ち図１０
の状態になるよう閾値を更新し再設定する。Since the basic operation is the same as that of the first embodiment, the evaluation of the threshold will be described here. In FIG. 10, the time measurement means 5 integrates and measures the time during which the eye opening / closing evaluation output value belongs to the group A within a predetermined time, and also measures and integrates the group C in the same manner. At this time, the deviation between the measured values of group A and group C (group A-group C) is slightly smaller than the measured value of group A. FIG. 11 shows a state where the threshold value has excessively moved to the open side. At this time, the measured value of group A decreases and the measured value of group C increases. Therefore, the deviation (group A-group C) becomes a negative value in an extreme case. FIG. 12 shows a state where the threshold value has excessively moved to the closed side. At this time, the measured value of the group A increases and the measured value of the group C becomes 0 in an extreme case. Therefore, the deviation (group A-group C) becomes the measured value of group A itself in an extreme case. Therefore,
The threshold setting means 7 receives these deviations, and makes the deviation a value slightly smaller than the measured value of the group A, that is, FIG.
The threshold value is updated and reset so that the state becomes as described above.

【００３５】なお、実施の形態４においても、上述の実
施の形態２の如く目の開閉の判定にヒステリシスを持た
せても良いことは明らかである。In the fourth embodiment, it is apparent that the determination of the opening and closing of the eyes may be provided with hysteresis as in the second embodiment.

【００３６】次に、実施の形態４においても、上述の実
施の形態３の如く閾値の評価の精度を向上させることが
できる旨説明する。図１３は、実施の形態４による閾値
評価手段の別の動作を示す説明図であって、図８に示し
たものと同様なものである。図１３（ａ）は、所定時間
における目開閉評価手段４の目開状態の出力度数分布の
一例を示したものである。次にグループＡとグループＣ
の積算時間をそれぞれ（ｂ）、（ｃ）に示す。グループ
Ａの積算時間は開側閾値よりも図示右方向の部分の面積
であって、グループＣの積算時間は閉側閾値と開側閾値
とで区切られた部分の面積である。ここで、閉側閾値を
パラメータとして変化させる。なお、このとき開側閾値
も閉側閾値と所定の間隔を持って変化する。このときの
グループＡとグループＣの積算時間の変化は、（ｄ）、
（ｅ）に示すとおりである。次にグループＣの積算時間
をグループＡの積算時間で割り算する。（ｆ）はその割
り算の結果を示している。この割り算した値は、閉側閾
値の値が開側に移動するに従って、単調に増加してい
る。このように単調変化する値は、比較の対象として望
ましい。そこで、実施の形態４では、閾値評価手段６に
おいてグループＡの計測結果とグループＣの計測結果と
の比率を上述の如く演算し、この比率と予め定められた
所定値とを比較して偏差を演算している。閾値設定手段
７には演算された偏差が入力され、その偏差が減少する
方向に閉側閾値を再設定するようにしている。予め定め
られた所定値は、経験的に得られる値であって、目開閉
評価出力値と閾値とが図１０に示すような位置関係にな
るような値である。Next, it will be described that the accuracy of the threshold evaluation can be improved in the fourth embodiment as in the third embodiment. FIG. 13 is an explanatory diagram showing another operation of the threshold evaluation unit according to the fourth embodiment, which is similar to that shown in FIG. FIG. 13A shows an example of the output frequency distribution of the eye open state of the eye open / close evaluation means 4 at a predetermined time. Next, Group A and Group C
Are shown in (b) and (c), respectively. The integrated time of the group A is the area of the portion on the right side in the drawing from the open threshold, and the integrated time of the group C is the area of the portion divided by the closed threshold and the open threshold. Here, the closing threshold is changed as a parameter. At this time, the open threshold also changes at a predetermined interval from the close threshold. At this time, the change of the integration time of the group A and the group C is (d)
(E). Next, the accumulated time of the group C is divided by the accumulated time of the group A. (F) shows the result of the division. The divided value monotonically increases as the value of the threshold value on the closing side moves to the opening side. Such a monotonically changing value is desirable for comparison. Therefore, in the fourth embodiment, the threshold evaluation unit 6 calculates the ratio between the measurement result of the group A and the measurement result of the group C as described above, compares the ratio with a predetermined value, and calculates the deviation. It is calculating. The calculated deviation is input to the threshold setting means 7, and the closing threshold is reset in a direction in which the deviation decreases. The predetermined value is a value obtained empirically, and is a value such that the eye opening / closing evaluation output value and the threshold value have a positional relationship as shown in FIG.

【００３７】従って、実施の形態４では、単調に変化す
る値と予め定めた値とを比較するようにしたので、閾値
の評価をより精度良く行うことができる。Therefore, in the fourth embodiment, since the value that changes monotonically and the predetermined value are compared, the threshold value can be evaluated more accurately.

【００３８】尚、上述の実施の形態１乃至４において、
閾値評価手段６で用いる所定値及び２つの閾値の差は、
使用する目開閉評価手段４の出力特性に応じて適当な値
を設定するようにすればよい。In the first to fourth embodiments,
The difference between the predetermined value and the two thresholds used in the threshold evaluation unit 6 is
An appropriate value may be set according to the output characteristics of the eye opening / closing evaluation means 4 to be used.

【００３９】実施の形態５．実施の形態５は閾値の初期
設定に関するもので、装置起動後速やかに閾値が望まし
い値に設定されるようにするものである。図１４に閾値
の更新の様子を示す。上述の実施の形態１乃至４では、
開側閾値よりも開側の領域であるグループＡ、閉側閾値
よりも開側の領域であるグループＢ、閉側閾値と開側閾
値との間の領域であるグループＣを使用していた。従っ
て、図１４の場合においては、何れのグループの計測値
も０となり閾値の妥当性の評価ができなくなる。この場
合、仮に開側に所定時間毎に所定値だけ更新していった
とすると、閾値は目開閉評価出力値からどんどん離れる
ことになり目の開閉を判定することができなくなる。実
施の形態５は、このような不都合が生じないようにする
ものである。具体的には、目開閉評価出力値の平均値よ
りも閉側に閾値の初期値を設定すると共に、所定時間内
において目開閉評価出力値が２つの閾値の何れも横切ら
ない場合には閾値を開側に更新するようにしている。そ
の様子を図１５に示す。図１５においては、閾値が装置
起動後速やかに望ましい位置に更新されていることが解
る。この実施の形態において、所定時間は約１０秒間で
ある。また、閾値の初期値は、経験に基づいて目開閉評
価出力値の平均値よりも閉側であろうという値を予め設
定する。Embodiment 5 Embodiment 5 relates to the initial setting of the threshold value, and is intended to set the threshold value to a desired value immediately after the apparatus is started. FIG. 14 shows how the threshold is updated. In the first to fourth embodiments,
Group A, which is an area closer to the open side than the open side threshold, Group B, which is an area closer to the open side than the close side threshold, and Group C, which is an area between the close side threshold and the open side threshold. Therefore, in the case of FIG. 14, the measurement value of any group becomes 0, and the validity of the threshold cannot be evaluated. In this case, if the predetermined value is updated to the open side at predetermined time intervals, the threshold value will be more and more distant from the eye opening / closing evaluation output value, and it will not be possible to determine whether the eye is open or closed. The fifth embodiment is intended to prevent such inconvenience. Specifically, an initial value of the threshold value is set on the closing side of the average value of the eye opening / closing evaluation output values, and the threshold value is set when the eye opening / closing evaluation output value does not cross any of the two threshold values within a predetermined time. It is updated to open side. This is shown in FIG. In FIG. 15, it can be seen that the threshold is updated to a desired position immediately after the apparatus is started. In this embodiment, the predetermined time is about 10 seconds. In addition, the initial value of the threshold value is set in advance based on experience to a value that will be closer to the closing side than the average value of the eye opening / closing evaluation output values.

【００４０】よって、実施の形態５によれば、装置起動
後速やかに閾値を望ましい閾値の位置に更新することが
できる。Therefore, according to the fifth embodiment, the threshold value can be updated to the position of the desired threshold value immediately after the apparatus is started.

【００４１】もしくは、装置起動後の所定時間における
目開閉評価出力値の平均値を演算し、その平均値よりも
所定量だけ閉側の位置に閾値の初期値を設定するように
しても良い。Alternatively, the average value of the eye opening / closing evaluation output values at a predetermined time after the start of the apparatus may be calculated, and the initial value of the threshold value may be set at a position closer to the closed side by a predetermined amount than the average value.

【００４２】また、装置起動後の所定時間における目開
閉評価出力値の最も閉側の値を検出し、その値よりも若
干閉側の位置に閾値の初期値を設定するようにしても良
い。It is also possible to detect the value on the most closed side of the eye opening / closing evaluation output value at a predetermined time after the start-up of the apparatus, and to set the initial value of the threshold value to a position slightly closer to the closed side than that value.

【００４３】更に、上述の実施の形態では閾値の初期値
を目開閉評価出力値の平均値よりも閉側に設定するよう
にし、所定時間内において目開閉評価出力値が閾値を横
切らなければ閾値を開側に更新するようにした。これと
は逆に、閾値の初期値を目開閉評価出力値の平均値より
も開側に設定するようにし、所定時間内において目開閉
評価出力値が閾値を横切らなければ閾値を閉側に更新す
るようにしてもよい。しかし、上述の実施の形態で説明
したように、望ましい閾値は目開閉評価出力値の平均値
よりも所定量だけ閉側に位置している。従って、目開閉
評価出力値の平均値よりも閉側に閾値を初期設定するも
のに比し、閾値が望ましい位置に更新されるまでの時間
が若干長くなってしまうことに注意しなければならな
い。Further, in the above-described embodiment, the initial value of the threshold value is set to be closer to the closing side than the average value of the eye opening / closing evaluation output value, and if the eye opening / closing evaluation output value does not cross the threshold value within a predetermined time, the threshold value is set. Was updated to the open side. Conversely, the initial value of the threshold is set to be more open than the average value of the eye opening / closing evaluation output value, and the threshold is updated to the closing side if the eye opening / closing evaluation output value does not cross the threshold within a predetermined time. You may make it. However, as described in the above embodiment, the desired threshold is located on the close side by a predetermined amount from the average of the eye opening / closing evaluation output values. Therefore, it should be noted that the time required for the threshold to be updated to the desired position is slightly longer than that in the case where the threshold is initially set closer to the average value of the eye opening / closing evaluation output values.

【００４４】実施の形態６．上述の実施の形態では、車
両運転者の顔の撮影条件が変化しても正確な目の開閉判
定ができるように閾値を更新することについて説明し
た。しかしながら、車両運転者が眠くなる等の理由で目
が閉じ気味になると閾値がこれに追従して更新され、覚
醒時と比較して閾値が閉側に行き過ぎる可能性がある。
そこで実施の形態６では、閾値を更新できる範囲、即ち
可変範囲を設定し閾値が好ましい範囲から逸脱するのを
防止するようにしている。図１６は、実施の形態６の構
成を示すブロック図である。図において１乃至８は上述
の実施の形態で説明したものと同一あるいは相当するも
のである。９は所定時間内において開閉判定手段８によ
り目が開状態と判定されたときの目開閉評価手段４の出
力の最も開側の値である最開値を記録する最開値記録手
段で、この最開値は目が開状態にあるときの代表的な値
である。１０は最開値記録手段９の記録値が入力され所
定時間毎にフィルタリング処理を行う最開値フィルタ
で、最開値記録手段９と共に開値演算手段を構成してい
る。１１は所定時間内において開閉判定手段８により目
が閉状態と判定されたときの目開閉評価手段４の出力の
最も閉側の値である最閉値を記録する最閉値記録手段
で、この最閉値は目が閉状態にあるときの代表的な値で
ある。１２は最閉値記録手段１１の記録値が入力され所
定時間毎にフィルタリング処理を行う最閉値フィルタ
で、最閉値記録手段１１と共に閉値演算手段を構成して
いる。１３は最開値フィルタ１０と最閉値フィルタ１２
との出力が入力される閾値制限手段で、所定時間内に得
られた最開値をフィルタリング処理した値と所定時間内
に得られた最閉値をフィルタリング処理した値とに基づ
き閾値設定手段７により設定される閾値の可変範囲を設
定する。Embodiment 6 FIG. In the above-described embodiment, the description has been given of the case where the threshold value is updated so that the eye open / close determination can be accurately performed even when the photographing condition of the face of the vehicle driver changes. However, when the eyes of the vehicle driver tend to be closed due to sleepiness or the like, the threshold is updated accordingly, and the threshold may be too close to the closed side as compared with the time of awakening.
Therefore, in the sixth embodiment, a range in which the threshold value can be updated, that is, a variable range is set to prevent the threshold value from deviating from a preferable range. FIG. 16 is a block diagram showing a configuration of the sixth embodiment. In the figure, 1 to 8 are the same as or correspond to those described in the above embodiment. Reference numeral 9 denotes a maximum opening value recording means for recording the maximum opening value of the output of the eye opening / closing evaluation means 4 when the eyes are determined to be in an open state by the opening / closing determination means 8 within a predetermined time. The maximum open value is a typical value when the eyes are in the open state. Reference numeral 10 denotes a maximum-open value filter which receives the recorded value of the maximum-open value recording means 9 and performs a filtering process at predetermined time intervals. Reference numeral 11 denotes a closed-close value recording means for recording a closed-close value which is a value on the closest side of the output of the eye-opening / evaluating means 4 when the eyes are determined to be in a closed state by the open / close determining means 8 within a predetermined time. The closing value is a typical value when the eyes are in the closed state. Reference numeral 12 denotes a close value filter for inputting a record value of the close value recording means 11 and performing a filtering process at predetermined time intervals, and constitutes a close value calculating means together with the close value recording means 11. 13 is the most open value filter 10 and the most closed value filter 12
The threshold setting means 7 receives the output of the threshold setting means 7 based on a value obtained by filtering the most open value obtained within a predetermined time and a value obtained by filtering the most closed value obtained within a predetermined time. The variable range of the threshold value set by is set.

【００４５】次に実施の形態６における閾値の可変範囲
の設定の仕方について説明する。その他の基本的な動作
は上述の実施の形態と同様であるのでここでは省略す
る。最開値記録手段９は、所定時間内において車両運転
者の目が開状態にあると判定されたときの目開閉評価手
段４の出力の最開値を記録している。この記録値は最開
値フィルタ１０に所定時間毎に順次与えられる。最開値
フィルタ１０では、最開値記録手段９で設定されている
所定時間よりも長い所定時間毎にフィルタリング処理が
行なわれている。ここでは、最開値記録手段９から与え
られた複数個の最開値をフィルタリング処理して、目が
開状態における目開閉評価手段４の出力の揺らぎの平均
的な上限値を演算する。同様に、最閉値記録手段１１
は、所定時間内において車両運転者の目が閉状態にある
と判定されたときの目開閉評価手段４の出力の最閉値を
記録している。この記録値は最閉値フィルタ１２に所定
時間毎に順次与えられる。最閉値フィルタ１２では、最
閉値記録手段１１で設定されている所定時間よりも長い
所定時間毎にフィルタリング処理が行なわれている。こ
こでは、最閉値記録手段１１から与えられた複数個の最
閉値をフィルタリング処理して、目が閉状態における目
開閉評価手段４の出力の揺らぎの平均的な下限値を演算
する。これにより、車両運転者の目の開閉に伴う目開閉
評価手段４の平均的な出力範囲が得られる。閾値制限手
段１３では、この平均的な出力範囲を用いて、閉側閾値
の可変範囲を下式により設定する。Next, a method of setting the variable range of the threshold value in the sixth embodiment will be described. The other basic operations are the same as those in the above-described embodiment, and will not be described here. The maximum opening value recording means 9 records the maximum opening value of the output of the eye opening / closing evaluation means 4 when it is determined that the eyes of the vehicle driver are open within a predetermined time. This recorded value is sequentially provided to the maximum value filter 10 at predetermined time intervals. In the maximum opening value filter 10, the filtering process is performed at every predetermined time longer than the predetermined time set by the maximum opening value recording means 9. Here, a plurality of maximum opening values given from the maximum opening value recording means 9 are subjected to filtering processing to calculate an average upper limit value of the fluctuation of the output of the eye opening / closing evaluation means 4 when the eyes are open. Similarly, the closing value recording means 11
Records the most closed value of the output of the eye open / close evaluation means 4 when it is determined that the eyes of the vehicle driver are in the closed state within the predetermined time. This recorded value is sequentially applied to the closed-end value filter 12 at predetermined time intervals. The closing value filter 12 performs the filtering process at every predetermined time longer than the predetermined time set by the closing value recording means 11. Here, a plurality of closing values given from the closing value recording means 11 are subjected to filtering processing to calculate an average lower limit value of the fluctuation of the output of the eye opening / closing evaluation means 4 when the eyes are closed. As a result, an average output range of the eye opening / closing evaluation means 4 accompanying the opening / closing of the eyes of the vehicle driver can be obtained. Using the average output range, the threshold limiter 13 sets a variable range of the closed threshold by the following equation.

【００４６】[0046]

【数１】 (Equation 1)

【００４７】閉側閾値が最も閉側となる下限値は、式
（１）により得られる。即ち、最閉値を基準とし、これ
に平均的な出力範囲に定数１を掛けたものを加算する。
また、閉側閾値が最も開側となる上限値は、式（２）に
より得られる。この式（２）は式（１）と同様のもので
あるが、平均的な出力範囲に乗算される定数が異なって
いる。ここで、定数１、定数２は使用する目開閉評価手
段４の出力特性に合わせて適当な値を選ぶものである
が、式（１）は下限値、式（２）は上限値を設定するも
のであるから定数２は定数１に比し大きな値が選ばれ
る。閾値制限手段１３は、閾値設定手段７で設定した閉
側閾値が上述の式で得られた閉側閾値の上限値と下限値
との範囲にあるか否かを判定する。閉側閾値が演算した
可変範囲内にあれば、閾値設定手段７で設定した閾値を
そのまま時間計測手段５及び開閉判定手段８に与える。
もし、演算した可変範囲から逸脱していた場合は、閉側
閾値の値を上限値あるいは下限値の何れかの値に制限し
て、時間計測手段５及び開閉判定手段８に与える。閉側
閾値が可変範囲よりも開側に逸脱しているときは上限値
に制限されると共に、閉側閾値が可変範囲よりも閉側に
逸脱しているときは下限値に制限される。なお、開側閾
値は、閉側閾値よりも固定の所定量だけ開側にあるもの
であるから、閉側閾値の可変範囲に制限が加えられるこ
とによって開側閾値にも同様に制限が加えられる。The lower limit value at which the closed side threshold value is closest to the closed side is obtained by equation (1). That is, a value obtained by multiplying the average output range by a constant 1 is added to the reference value based on the most closed value.
Further, the upper limit value at which the closed side threshold value is the most open side is obtained by Expression (2). Equation (2) is similar to equation (1), except that the constant multiplied by the average output range is different. Here, the constants 1 and 2 are used to select appropriate values according to the output characteristics of the eye opening / closing evaluation means 4 to be used. Equation (1) sets the lower limit, and equation (2) sets the upper limit. Therefore, the constant 2 is selected to be larger than the constant 1. The threshold limiting unit 13 determines whether or not the closed threshold set by the threshold setting unit 7 is within the range between the upper limit and the lower limit of the closed threshold obtained by the above equation. If the closed threshold is within the calculated variable range, the threshold set by the threshold setting means 7 is directly provided to the time measuring means 5 and the open / close determining means 8.
If it deviates from the calculated variable range, the value of the closing threshold value is limited to either the upper limit value or the lower limit value, and given to the time measuring means 5 and the open / close determining means 8. When the closed side threshold deviates to the open side from the variable range, it is limited to the upper limit value, and when the closed side threshold deviates to the closed side from the variable range, it is limited to the lower limit value. Since the open side threshold is on the open side by a fixed amount that is more fixed than the close side threshold, the limit is also applied to the open side threshold by limiting the variable range of the close side threshold. .

【００４８】従って、この実施の形態６によれば、車両
運転者の目が閉じ気味になった場合であっても閾値が不
適当な位置に更新されることが無く、目の開閉を正確に
判定することができる。Therefore, according to the sixth embodiment, the threshold value is not updated to an inappropriate position even when the eyes of the vehicle driver tend to close, and the eyes can be opened and closed accurately. Can be determined.

【００４９】なお、実施の形態６では、所定時間内にお
いて開閉判定手段８が開状態であると判定したときの最
開値、及び所定時間内において開閉判定手段８が閉状態
と判定したときの最閉値を記録するようにしている。従
って、車両運転者が所定時間内においてずっと目を閉じ
ていて目開閉評価手段４の出力が小さいという状態では
目が開状態であると判定されないので、このような状態
における値を最開値として記録することはない。同様
に、車両運転者が所定時間内においてずっと目を開けて
いて目開閉評価手段４の出力が大きいという状態では目
が閉状態であると判定されないので、このような状態に
おける値を最閉値として記録することはない。よって、
この実施の形態６によれば、目開閉評価手段４の平均的
な出力範囲を正確に演算することができる。In the sixth embodiment, the maximum opening value when the open / close determining means 8 determines that the open / close determining means 8 is in the open state within the predetermined time, and the maximum open value when the open / close determining means 8 determines in the closed state within the predetermined time. The closing value is recorded. Therefore, when the vehicle driver keeps his or her eyes closed within a predetermined time and the output of the eye open / close evaluation means 4 is small, it is not determined that the eyes are in the open state, and the value in such a state is defined as the maximum open value. Not recorded. Similarly, if the vehicle driver keeps his eyes open within a predetermined time and the output of the eye open / close evaluation means 4 is large, it is not determined that the eyes are closed. Will not be recorded. Therefore,
According to the sixth embodiment, the average output range of the eye opening / closing evaluation means 4 can be accurately calculated.

【００５０】実施の形態７．実施の形態７は実施の形態
６の変形例であって、実施の形態６では目が開状態にあ
るときの代表的な値として最開値を用いたが、実施の形
態７では目が開状態にあるときの代表的な値として目が
開状態のときの目開閉評価手段４の出力の平均値を用い
ている。図１７は、実施の形態７の構成を示すブロック
図である。図において、上述の実施の形態と同一あるい
は相当する部分には同一の符号を付している。１４は所
定時間内において開閉判定手段８が開状態であると判定
したときの目開閉評価手段４の出力をフィルタリング処
理する開値フィルタで、開値演算手段を構成している。
１５は開値フィルタ１４と最閉値フィルタ１２との出力
を受け閉側閾値の可変範囲を設定する閾値制限手段であ
る。Embodiment 7 FIG. The seventh embodiment is a modification of the sixth embodiment. In the sixth embodiment, the maximum open value is used as a representative value when the eyes are in the open state. In the seventh embodiment, the eyes are open. The average value of the output of the eye open / close evaluation means 4 when the eyes are open is used as a representative value in the state. FIG. 17 is a block diagram showing a configuration of the seventh embodiment. In the figure, the same or corresponding parts as those in the above-described embodiment are denoted by the same reference numerals. Reference numeral 14 denotes an open value filter for filtering the output of the eye open / close evaluation means 4 when the open / close determination means 8 determines that the open / close determination means 8 is in the open state within a predetermined time.
Reference numeral 15 denotes a threshold limiting unit that receives the outputs of the open value filter 14 and the close value filter 12, and sets a variable range of the close threshold value.

【００５１】実施の形態７の基本的な動作は上述の実施
の形態６と同様のものであるから、ここでは主として異
なる点について説明する。開値フィルタ１４は、所定時
間内において開閉判定手段８が目が開状態であると判定
したときの目開閉評価手段４の出力値をフィルタリング
処理しており、車両運転者が目を開いているときの平均
的な値（以下、開値と称する）を出力している。閾値制
限手段１５は、開値フィルタ１４からのフィルタリング
処理された開値と最閉値フィルタ１２からのフィルタリ
ング処理された最閉値とを用いて閉側閾値の可変範囲を
演算する。Since the basic operation of the seventh embodiment is the same as that of the sixth embodiment, the different points will be mainly described here. The open value filter 14 performs a filtering process on the output value of the eye opening / closing evaluation means 4 when the opening / closing determination means 8 determines that the eyes are open within a predetermined time, and the vehicle driver has eyes open. An average value at the time (hereinafter, referred to as an open value) is output. The threshold limiter 15 calculates a variable range of the close threshold using the filtered open value from the open value filter 14 and the filtered closed value from the closed value filter 12.

【００５２】[0052]

【数２】 (Equation 2)

【００５３】閉側閾値の下限値は、式（３）により得ら
れる。即ち、最閉値を基準とし、これに平均的な開値と
最閉値との差に定数３を掛けたものを加算する。また、
閉側閾値の上限値は、式（４）により得られる。この式
（４）は式（３）と同様のものであるが、平均的な開値
と最閉値との差に乗算される定数が異なっている。ここ
で、定数３、定数４は使用する目開閉評価手段４の出力
特性に合わせて適当な値を選ぶものであるが、式（３）
は下限値、式（４）は上限値を設定するものであるから
定数４は定数３に比し大きな値が選ばれる。閾値制限手
段１５は、閾値設定手段７で設定した閉側閾値が上述の
式で得られた閉側閾値の上限値と下限値との範囲にある
か否かを判定する。閉側閾値が演算した可変範囲内にあ
れば、閾値設定手段７で設定した閾値をそのまま時間計
測手段５及び開閉判定手段８に与える。もし、演算した
可変範囲から逸脱していた場合は、閉側閾値の値を上限
値あるいは下限値の何れかの値に制限して、時間計測手
段５及び開閉判定手段８に与える。閉側閾値が可変範囲
よりも開側に逸脱しているときは上限値に制限されると
共に、閉側閾値が可変範囲よりも閉側に逸脱していると
きは下限値に制限される。The lower limit of the closed threshold value is obtained by equation (3). That is, a value obtained by multiplying the difference between the average open value and the close value by a constant 3 is added to the reference value based on the close value. Also,
The upper limit value of the closing threshold is obtained by Expression (4). Equation (4) is similar to equation (3) except that the constant multiplied by the difference between the average open and closed values is different. Here, the constants 3 and 4 select appropriate values in accordance with the output characteristics of the eye opening / closing evaluation means 4 to be used.
Is to set the lower limit, and Equation (4) is to set the upper limit. Therefore, the constant 4 is selected to be larger than the constant 3. The threshold limiting unit 15 determines whether or not the closed threshold set by the threshold setting unit 7 is in the range between the upper limit and the lower limit of the closed threshold obtained by the above equation. If the closed threshold is within the calculated variable range, the threshold set by the threshold setting means 7 is directly provided to the time measuring means 5 and the open / close determining means 8. If it deviates from the calculated variable range, the value of the closing threshold value is limited to either the upper limit value or the lower limit value, and given to the time measuring means 5 and the open / close determining means 8. When the closed side threshold deviates to the open side from the variable range, it is limited to the upper limit value, and when the closed side threshold deviates to the closed side from the variable range, it is limited to the lower limit value.

【００５４】よって、実施の形態７では実施の形態６で
説明したのと同様の効果を有する。Therefore, the seventh embodiment has the same effect as that described in the sixth embodiment.

【００５５】また、実施の形態７では、目開閉評価手段
４の平均的な出力範囲を演算する際に、目が開状態にお
ける最開値ではなく平均的な値である開値を用いてい
る。従って、目開閉評価手段４の出力にノイズが重畳し
てもこれをフィルタリング処理するので、実施の形態６
に比しノイズによる影響を低減することができる。Further, in the seventh embodiment, when calculating the average output range of the eye open / close evaluation means 4, the open value which is an average value instead of the maximum open value when the eyes are open is used. . Therefore, even if noise is superimposed on the output of the eye opening / closing evaluation means 4, this is subjected to filtering processing.
, The influence of noise can be reduced.

【００５６】実施の形態８．実施の形態８は、上述の実
施の形態６、７で設定した閉側閾値の可変範囲を装置起
動後の所定期間経過後に有効にするものである。図１８
は、実施の形態８の構成を示すブロック図である。図に
おいて、１６は装置が動作してから所定期間が経過する
までは閾値の可変範囲の更新を許可すると共に所定期間
の経過後は閾値の可変範囲の変更を禁止する閾値制限制
御手段、１７は装置が起動してから所定期間経過したこ
とを検出する期間検出手段としてのタイマーである。Embodiment 8 FIG. In the eighth embodiment, the variable range of the closing threshold value set in the sixth and seventh embodiments is made valid after a predetermined period has elapsed after the apparatus is started. FIG.
FIG. 27 is a block diagram showing a configuration of an eighth embodiment. In the figure, reference numeral 16 denotes a threshold limit control unit that permits updating of the variable range of the threshold until a predetermined period elapses after the apparatus operates, and prohibits the change of the variable range of the threshold after the predetermined period elapses. This is a timer as a period detecting means for detecting that a predetermined period has elapsed since the apparatus was started.

【００５７】実施の形態８の基本的な動作は上述の実施
の形態と同様であるので、ここでは閾値の可変範囲の設
定を有効にする動作について説明する。一般的に車両運
転者は、装置を起動させたときは覚醒していると考えら
れる。また、５分の間一度も瞬きしないことはないと考
えられる。そこで、実施の形態８ではタイマー１７で装
置が起動してから所定期間である５分が経過したことを
検出するようにしている。そして、閾値制限制御手段１
６は、この５分が経過するまでの間は閾値制限手段１５
で演算される可変範囲の更新を許可している。装置を起
動させてから５分が経過するとタイマー１７は、閾値制
限制御手段１６にその旨を伝える。これを受け、閾値制
限制御手段１６は、閾値制御手段１５の可変範囲の更新
を禁止する。Since the basic operation of the eighth embodiment is the same as that of the above-described embodiment, the operation for validating the setting of the variable range of the threshold will be described here. Generally, it is considered that the vehicle driver is awake when the device is activated. In addition, it is considered that there is no blinking for 5 minutes. Therefore, in the eighth embodiment, the timer 17 detects that a predetermined period of 5 minutes has elapsed since the apparatus was started. And threshold limit control means 1
6 is a threshold limiting means 15 until the five minutes have passed.
The update of the variable range calculated by is permitted. When five minutes have elapsed since the apparatus was started, the timer 17 notifies the threshold limit control unit 16 of the fact. In response, the threshold limit control unit 16 prohibits the threshold control unit 15 from updating the variable range.

【００５８】従って、実施の形態８によれば、車両運転
者が覚醒していると思われる期間において閉側閾値の可
変範囲を設定することができる。Therefore, according to the eighth embodiment, it is possible to set the variable range of the closing threshold in a period in which the vehicle driver is considered to be awake.

【００５９】また、装置起動後の５分間は閉側閾値の可
変範囲の更新が許可されているので、この５分間の間に
可変範囲を更新し、望ましい可変範囲を得ることができ
る。Since the updating of the variable range of the closing threshold is permitted for 5 minutes after the apparatus is started, the variable range can be updated during the 5 minutes to obtain a desired variable range.

【００６０】また、装置が起動してから５分経過した後
は可変範囲の更新を禁止して閉側閾値に対する上限値と
下限値とを有効にするので、閉側閾値が望ましくない値
に更新されることがない。Also, after 5 minutes have elapsed since the apparatus was started, the updating of the variable range is prohibited and the upper limit value and the lower limit value with respect to the closing threshold value are made valid, so that the closing threshold value is updated to an undesirable value. Never be.

【００６１】なお、実施の形態８では実施の形態７をベ
ースにして説明したが、実施の形態６にも同様に適用す
ることができる。Although the eighth embodiment has been described based on the seventh embodiment, the present invention can be similarly applied to the sixth embodiment.

【００６２】実施の形態９．実施の形態９は、上述の実
施の形態８の変形例である。図１９は、実施の形態８の
構成を示すブロック図である。図において、１８は装置
が動作してから所定期間が経過するまでは閾値の可変範
囲の更新を許可すると共に所定期間の経過後は閾値の可
変範囲の変更を禁止する閾値制限制御手段、１９は装置
が起動してから所定期間経過したことを検出する期間検
出手段としての最閉値記録カウンタである。Embodiment 9 Embodiment 9 is a modification of Embodiment 8 described above. FIG. 19 is a block diagram showing a configuration of the eighth embodiment. In the figure, reference numeral 18 denotes a threshold limit control unit that permits updating of the variable range of the threshold until a predetermined period elapses after the operation of the apparatus and prohibits the change of the variable range of the threshold after the predetermined period elapses. A closing value recording counter as a period detecting means for detecting that a predetermined period has elapsed since the apparatus was started.

【００６３】実施の形態９の基本的な動作は上述の実施
の形態と同様であるので、ここでは閾値の可変範囲の設
定を有効にする動作について説明する。一般的に車両運
転者は、装置を起動させたときは覚醒していると考えら
れる。また、５分の間一度も瞬きしないことはないと考
えられる。しかしながら、瞬きの回数が少ない人の場合
は、５分間で得られる開値あるいは最閉値の個数が少な
いので、瞬きが多い人に比し正確な目開閉評価手段４の
平均的な出力範囲を得ることが難しい。そこで、実施の
形態９では最閉値記録カウンタ１９で装置が起動してか
ら車両運転者が何回瞬きをしたかを計測するようにして
いる。即ち、最閉値記録カウンタ１９には最閉値記録手
段１１の出力が入力されており、最閉値記録手段１１が
最閉値を記録する毎にカウント値を順次１ずつ加算して
いる。最閉値記録カウンタ１９のカウント値が予め定め
た所定値に達すると、最閉値カウンタ１９は閾値制限制
御手段１８に装置を起動してから所定期間経過したと判
定する。ここで、所定期間は、車両運転者が最閉値記録
カウンタ１９に予め定められた回数だけ瞬きを行うまで
の期間である。閾値制限制御手段１８は、車両運転者が
瞬きを所定回数だけ行うまでの間は閾値制限手段１５で
演算される可変範囲の更新を許可している。装置を起動
させてから車両運転者が所定回数だけ瞬きを行うと最閉
値記録カウンタ１９は、所定期間が経過したと判定して
閾値制限制御手段１８にその旨を伝える。これを受け、
閾値制限制御手段１８は、閾値制御手段１５の可変範囲
の更新を禁止する。Since the basic operation of the ninth embodiment is the same as that of the above-described embodiment, the operation for validating the setting of the variable range of the threshold will be described here. Generally, it is considered that the vehicle driver is awake when the device is activated. In addition, it is considered that there is no blinking for 5 minutes. However, in the case of a person with a small number of blinks, since the number of open or closed values obtained in 5 minutes is small, the average output range of the eye-opening / closing evaluation means 4 is more accurate than a person with many blinks. Difficult to get. Therefore, in the ninth embodiment, the closing value recording counter 19 measures how many times the vehicle driver has blinked since the start of the device. That is, the output of the closing value recording means 11 is input to the closing value recording counter 19, and the count value is sequentially incremented by one each time the closing value recording means 11 records the closing value. When the count value of the closing value recording counter 19 reaches a predetermined value, the closing value counter 19 determines that a predetermined period has elapsed since the threshold limit control unit 18 started the apparatus. Here, the predetermined period is a period until the vehicle driver blinks a predetermined number of times in the closing value recording counter 19. The threshold limit control unit 18 permits the updating of the variable range calculated by the threshold limit unit 15 until the vehicle driver blinks a predetermined number of times. When the vehicle driver blinks a predetermined number of times after starting the device, the closed-close value recording counter 19 determines that a predetermined period has elapsed and notifies the threshold limit control unit 18 of that. In response,
The threshold limit control unit 18 prohibits the threshold control unit 15 from updating the variable range.

【００６４】なお、最閉値記録カウンタ１９に設定され
る所定値は、目開閉評価手段４の平均的な出力範囲を充
分正確に判定できる必要最小限の個数の開値及び最閉値
が得られるだけの数に設定する。The predetermined values set in the closing value recording counter 19 are the minimum necessary number of opening values and closing values capable of judging the average output range of the eye opening / closing evaluation means 4 sufficiently accurately. Set as many as possible.

【００６５】従って、実施の形態９によれば、実施の形
態８の効果に加えて、瞬きの回数が個人差により異なっ
ていたとしても、閉側閾値の可変範囲を望ましい範囲に
設定することができる。Therefore, according to the ninth embodiment, in addition to the effect of the eighth embodiment, even if the number of blinks differs due to individual differences, the variable range of the closed threshold value can be set to a desirable range. it can.

【００６６】なお、実施の形態９では実施の形態７をベ
ースにして説明したが、実施の形態６にも同様に適用す
ることができる。Although the ninth embodiment has been described based on the seventh embodiment, the present invention can be similarly applied to the sixth embodiment.

【００６７】実施の形態１０．実施の形態１０は閾値の
評価に関するもので、上述の実施の形態とは別の評価方
法及び装置を提供するものである。図２０は、所定時間
内における目開閉評価手段の出力の度数分布の一例を示
したものである。この図によれば、度数分布は、目が開
状態にあるときの目開閉評価手段の出力の分布と、目が
閉状態にあるときの目開閉評価手段の出力の分布と、目
が開状態から閉状態あるいは閉状態から開状態に変化す
るときの途中の目開閉評価手段の出力の分布との３種類
に大別されている。また、この図によれば図中に破線で
示したように２つの山があるように見える。従って、２
つの山の交点、即ち、破線の交点の部分を望ましい開閉
判定閾値とする。このようにして定められた開閉判定閾
値は、目の開閉動作の途中に相当する部分、即ち図にお
いて略平坦な部分にあり、目の開状態あるいは閉状態を
確実に判定することができる。そして、現在設定してい
る開閉判定閾値と、上述の手法により演算した望ましい
開閉判定閾値との間に偏差があれば、この偏差を減少す
る方向に開閉判定閾値を更新する。Embodiment 10 FIG. The tenth embodiment relates to the evaluation of a threshold value, and provides another evaluation method and apparatus different from the above-described embodiments. FIG. 20 shows an example of the frequency distribution of the output of the eye opening / closing evaluation means within a predetermined time. According to this figure, the frequency distribution is the distribution of the output of the eye open / close evaluation means when the eyes are in the open state, the distribution of the output of the eye open / close evaluation means when the eyes are in the closed state, and the state in which the eyes are in the open state. From the closed state or from the closed state to the open state. Also, according to this figure, it looks like there are two peaks as indicated by the broken lines in the figure. Therefore, 2
The intersection of two peaks, that is, the portion of the intersection of the broken lines is set as a desirable open / close determination threshold. The opening / closing determination threshold value thus determined is located in a portion corresponding to the middle of the eye opening / closing operation, that is, in a substantially flat portion in the drawing, and the open or closed state of the eye can be reliably determined. Then, if there is a deviation between the currently set open / close determination threshold and the desired open / close determination threshold calculated by the above-described method, the open / close determination threshold is updated in a direction to decrease the deviation.

【００６８】図２１は、所定時間内における目開閉評価
手段の出力の度数分布の一例を示したものであって、上
述のものとは別の開閉判定閾値の評価方法を説明するも
のである。図２１では、度数分布が最大となる点よりも
閉側に存在する所定の領域における近似直線が描かれて
いる。そして、所定の領域における近似直線と度数０と
の交点を望ましい開閉判定閾値としている。このように
して定められた開閉判定閾値は、目の開閉動作の途中に
相当する部分にあり、目の開状態あるいは閉状態を確実
に判定することができる。そして、現在設定している開
閉判定閾値と、上述の手法により演算した望ましい開閉
判定閾値との間に偏差があれば、この偏差を無くする方
向に開閉判定閾値を更新する。なお、開閉判定閾値の評
価は、上述の偏差により為されている。即ち、偏差が小
さいほど望ましい評価である。FIG. 21 shows an example of the frequency distribution of the output of the eye opening / closing evaluation means within a predetermined time, and explains a method of evaluating an opening / closing determination threshold different from the above. FIG. 21 illustrates an approximate straight line in a predetermined region existing on a closed side of a point where the frequency distribution is maximum. Then, the intersection between the approximate straight line and the frequency 0 in the predetermined area is set as a desirable opening / closing determination threshold value. The opening / closing determination threshold value thus determined is located in a portion corresponding to the middle of the eye opening / closing operation, and the open state or the closed state of the eye can be reliably determined. Then, if there is a deviation between the currently set open / close determination threshold value and the desired open / close determination threshold value calculated by the above-described method, the open / close determination threshold value is updated in a direction to eliminate the deviation. The evaluation of the opening / closing determination threshold is made based on the above-described deviation. That is, the smaller the deviation, the more desirable the evaluation.

【００６９】次に、上述の図２０、及び図２１の方法を
実現する装置について説明する。図２２は実施の形態１
０の構成を示すブロック図である。図において、上述の
実施の形態と同一あるいは相当する部分には同一の符号
を付している。２０は所定時間毎における目開閉評価手
段４の出力の度数分布を計測する度数計測手段、２１は
計測された度数分布に基づき開閉判定閾値を設定する閾
値設定手段である。Next, an apparatus for realizing the above-described methods shown in FIGS. 20 and 21 will be described. FIG. 22 shows the first embodiment.
FIG. 3 is a block diagram showing a configuration of a 0. In the figure, the same or corresponding parts as those in the above-described embodiment are denoted by the same reference numerals. Reference numeral 20 denotes a frequency measuring unit that measures the frequency distribution of the output of the eye opening / closing evaluation unit 4 every predetermined time, and reference numeral 21 denotes a threshold setting unit that sets an opening / closing determination threshold based on the measured frequency distribution.

【００７０】実施の形態１０の基本的な動作は、実施の
形態１と同様のものである。即ち、カメラ１の映像情報
を画像入力手段２に入力してＡ／Ｄ変換し、目領域判定
手段３において上述の実施の形態で説明した手法により
目領域が判定され、目開閉評価手段４では車両運転者の
目の開度に応じた目開閉評価出力値が出力される。この
目開閉評価出力値は度数計測手段２０に与えられ、所定
時間毎に図２０、２１に示したような度数分布が計測さ
れる。閾値設定手段２１は、この度数分布に基づき、上
述した手法により望ましい開閉判定閾値を演算する。こ
の開閉判定閾値は現在設定されている開閉判定閾値と比
較されその偏差が演算される。そして、閾値設定手段２
１は、この偏差が減少する方向に開閉判定閾値を更新し
て再設定し、再設定した開閉判定閾値を開閉判定手段８
に与える。なお、開閉判定閾値の更新は、所定時間毎、
即ち新しい度数分布が計測される毎に検討される。The basic operation of the tenth embodiment is the same as that of the first embodiment. That is, the video information of the camera 1 is input to the image input means 2 and A / D converted, and the eye area determination means 3 determines the eye area by the method described in the above embodiment. An eye opening / closing evaluation output value corresponding to the degree of eye opening of the vehicle driver is output. The eye opening / closing evaluation output value is given to the frequency measuring means 20, and a frequency distribution as shown in FIGS. The threshold setting means 21 calculates a desirable opening / closing determination threshold based on the frequency distribution by the above-described method. This opening / closing determination threshold value is compared with the currently set opening / closing determination threshold value, and a deviation thereof is calculated. And threshold setting means 2
1 updates and resets the open / close determination threshold value in a direction in which the deviation decreases, and sets the reset open / close determination threshold value to the open / close determination means 8.
Give to. The update of the open / close determination threshold is performed at predetermined time intervals.
That is, each time a new frequency distribution is measured, it is considered.

【００７１】よって、実施の形態１０によれば、目開閉
評価出力値の度数分布に基づいて開閉判定閾値を設定
し、且つ、更新しているので、個人差及び撮像環境の変
化に拘わらず、車両運転者の目の開閉を正確に判定する
ことができる。Therefore, according to the tenth embodiment, since the threshold value for opening / closing determination is set and updated based on the frequency distribution of the evaluation output value for eye opening / closing, regardless of individual differences and changes in the imaging environment, the threshold value is updated. Opening and closing of the eyes of the vehicle driver can be accurately determined.

【００７２】なお、実施の形態１０では閾値として開閉
判定閾値を１つのみ設けたが、上述の実施の形態のよう
に２つの閾値を用意しても良い。この場合は、実施の形
態１０で説明した開閉判定閾値を基準として開側閾値と
閉側閾値とを設ければよい。もしくは、この実施の形態
で演算した開閉判定閾値を閉側閾値とし、この閾値に所
定値を加えて開側閾値を設定しても良い。In the tenth embodiment, only one open / close determination threshold is provided as a threshold, but two thresholds may be prepared as in the above-described embodiment. In this case, the open-side threshold and the close-side threshold may be provided based on the open / close determination threshold described in the tenth embodiment. Alternatively, the opening / closing determination threshold calculated in this embodiment may be used as the closing threshold, and a predetermined value may be added to this threshold to set the opening threshold.

【００７３】また、実施の形態１乃至１０は、上述した
発明の精神に基づいて如何様に組み合わせても良い。以
上の通り顔画像処理装置及び顔画像処理方法について説
明したが、これらは上述の実施の形態に限られるもので
はなく、発明の精神の範囲内において様々な形態を提供
することができる。Embodiments 1 to 10 may be combined in any manner based on the spirit of the invention described above. As described above, the face image processing apparatus and the face image processing method have been described. However, these are not limited to the above-described embodiment, and various forms can be provided within the spirit of the invention.

【図面の簡単な説明】[Brief description of the drawings]

【図１】 実施の形態１の構成を示すブロック図であ
る。FIG. 1 is a block diagram showing a configuration of a first embodiment.

【図２】 実施の形態１の動作を説明するタイムチャー
トである。FIG. 2 is a time chart illustrating the operation of the first embodiment.

【図３】 実施の形態１の動作を説明するタイムチャー
トである。FIG. 3 is a time chart illustrating the operation of the first embodiment.

【図４】 実施の形態１の動作を説明するタイムチャー
トである。FIG. 4 is a time chart illustrating the operation of the first embodiment.

【図５】 目開閉評価出力値を検出するフローチャート
である。FIG. 5 is a flowchart for detecting an eye opening / closing evaluation output value.

【図６】 目開閉評価出力値を説明する説明図である。FIG. 6 is an explanatory diagram illustrating an eye opening / closing evaluation output value.

【図７】 実施の形態２の開閉判定動作を説明する説明
図である。FIG. 7 is an explanatory diagram illustrating an open / close determination operation according to the second embodiment.

【図８】 実施の形態３による閾値評価手段の動作を説
明する説明図である。FIG. 8 is an explanatory diagram illustrating an operation of a threshold evaluation unit according to a third embodiment.

【図９】 閾値の更新の様子を示す説明図である。FIG. 9 is an explanatory diagram showing how a threshold is updated.

【図１０】 実施の形態４の動作を説明するタイムチャ
ートである。FIG. 10 is a time chart illustrating the operation of the fourth embodiment.

【図１１】 実施の形態４の動作を説明するタイムチャ
ートである。FIG. 11 is a time chart illustrating the operation of the fourth embodiment.

【図１２】 実施の形態４の動作を説明するタイムチャ
ートである。FIG. 12 is a time chart illustrating the operation of the fourth embodiment.

【図１３】 実施の形態４による閾値評価手段の動作を
説明する説明図である。FIG. 13 is an explanatory diagram illustrating an operation of a threshold evaluation unit according to the fourth embodiment.

【図１４】 閾値の更新の様子を示すタイムチャートで
ある。FIG. 14 is a time chart showing how a threshold is updated.

【図１５】 実施の形態５の動作を説明する説明図であ
る。FIG. 15 is an explanatory diagram illustrating the operation of the fifth embodiment.

【図１６】 実施の形態６の構成を示すブロック図であ
る。FIG. 16 is a block diagram showing a configuration of the sixth embodiment.

【図１７】 実施の形態７の構成を示すブロック図であ
る。FIG. 17 is a block diagram showing a configuration of the seventh embodiment.

【図１８】 実施の形態８の構成を示すブロック図であ
る。FIG. 18 is a block diagram showing a configuration of the eighth embodiment.

【図１９】 実施の形態９の構成を示すブロック図であ
る。FIG. 19 is a block diagram showing a configuration of the ninth embodiment.

【図２０】 実施の形態１０の閾値設定手法を示す説明
図である。FIG. 20 is an explanatory diagram showing a threshold setting method according to the tenth embodiment.

【図２１】 実施の形態１０の別の閾値設定手法を示す
説明図である。FIG. 21 is an explanatory diagram showing another threshold setting method according to the tenth embodiment.

【図２２】 実施の形態１０の構成を示すブロック図で
ある。FIG. 22 is a block diagram showing a configuration of the tenth embodiment.

【符号の説明】[Explanation of symbols]

１：カメラ、２：画像入力手段、３：目領域判定手段、
４：目開閉評価手段、５：時間計測手段、６：閾値評価
手段、７：閾値設定手段、８：開閉判定手段、９：最開
値記録手段、１０：最開値フィルタ、１１：最閉値記録
手段、１２：最閉値フィルタ、１３：閾値制限手段、１
４：開値フィルタ、１５：閾値制限手段、１６：閾値制
限制御手段、１７：タイマー、１８：閾値制限制御手
段、１９：最閉値記録カウンタ、２０：度数計測手段、
２１：閾値設定手段、1: camera, 2: image input means, 3: eye area determination means,
4: Eye opening / closing evaluation means, 5: Time measurement means, 6: Threshold evaluation means, 7: Threshold setting means, 8: Open / close determination means, 9: Maximum opening value recording means, 10: Maximum opening value filter, 11: Maximum closing Value recording means, 12: closing value filter, 13: threshold value limiting means, 1
4: Open value filter, 15: Threshold limit means, 16: Threshold limit control means, 17: Timer, 18: Threshold limit control means, 19: Closed value recording counter, 20: Frequency measurement means,
21: threshold setting means,

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 7/00 - 7/60 B60K 28/06 G06T 1/00 G08G 1/16 ──────────────────────────────────────────────────続 き Continued on the front page (58) Field surveyed (Int.Cl. 7 , DB name) G06T 7 /00-7/60 B60K 28/06 G06T 1/00 G08G 1/16

Claims (8)

(57)【特許請求の範囲】(57) [Claims] 【請求項１】 顔画像を撮像するカメラと、このカメラ
の撮像情報に基づき被撮像者の目の開度を検出する開度
検出手段と、この開度検出手段の検出結果を閾値を用い
て複数のグループに分類するとともに所定時間内におい
て前記開度検出手段の検出結果が前記複数のグループの
内の所定のグループに属する時間を積算計測する時間計
測手段と、この時間計測手段の計測結果に基づいて前記
閾値の妥当性を評価する閾値評価手段と、この閾値評価
手段の評価結果に基づき前記閾値の値を再設定する閾値
設定手段と、前記閾値を用いて前記被撮像者の目の開閉
を判定する目開閉判定手段とを備えたことを特徴とする
顔画像処理装置。1. A camera that captures a face image, an opening detection unit that detects an opening of an eye of a person to be imaged based on imaging information of the camera, and a detection result of the opening detection unit using a threshold value. A time measuring unit that classifies the plurality of groups and a detection result of the opening degree detecting unit within a predetermined period of time accumulates and measures a time belonging to a predetermined group of the plurality of groups, and a measurement result of the time measuring unit. Threshold evaluation means for evaluating the validity of the threshold value based on the threshold value; threshold setting means for resetting the threshold value based on the evaluation result of the threshold evaluation means; and opening and closing of the eyes of the subject using the threshold value A face image processing device comprising: an eye open / close determination unit for determining whether the face is open or closed. 【請求項２】 所定のグループは閾値により分類された
複数のグループの内の２つのグループであって、閾値評
価手段は時間計測手段により計測された前記２つのグル
ープの計測結果の比率と予め定められた所定値との偏差
を演算するものであって、閾値設定手段は前記偏差が減
少する方向に前記閾値の値を更新するものであることを
特徴とする請求項１記載の顔画像処理装置。2. The method according to claim 1, wherein the predetermined group is two of a plurality of groups classified by a threshold, and the threshold evaluation unit determines a ratio of a measurement result of the two groups measured by a time measurement unit to a predetermined ratio. 2. A face image processing apparatus according to claim 1, wherein a deviation from the predetermined value is calculated, and the threshold value setting means updates the value of the threshold value in a direction in which the deviation decreases. . 【請求項３】 閾値設定手段は、開度検出手段の検出結
果の平均値から所定量だけ離れた位置に閾値の初期値を
設定するとともに、開度検出手段の検出出力が所定時間
内において前記閾値を横切らない場合は前記閾値を前記
平均値の方向に更新することを特徴とする請求項１記載
の顔画像処理装置。3. The threshold setting means sets an initial value of the threshold at a position separated by a predetermined amount from an average value of the detection results of the opening detection means, and sets a detection output of the opening detection means within a predetermined time. The face image processing apparatus according to claim 1, wherein the threshold value is updated in a direction of the average value when the threshold value is not crossed. 【請求項４】 開度検出手段の検出結果に基づき被撮像
者の目が開状態にあるときの代表的な値を演算する開値
演算手段と、開度検出手段の検出結果に基づき被撮像者
の目が閉状態にあるときの代表的な値を演算する閉値演
算手段と、前記開値演算手段と前記閉値演算手段との演
算結果に基づき閾値の可変範囲を設定する閾値制限手段
とを備えたことを特徴とする請求項１記載の顔画像処理
装置。4. An open value calculating means for calculating a representative value when an eye of a person to be imaged is in an open state on the basis of a detection result of the opening degree detecting means, and an image pickup means based on a detection result of the opening degree detecting means. Value calculating means for calculating a representative value when the user's eyes are in a closed state, and threshold value limiting means for setting a variable range of a threshold value based on the calculation results of the open value calculating means and the closed value calculating means The face image processing apparatus according to claim 1, further comprising: 【請求項５】 装置が動作してから所定期間経過したこ
とを検出する期間検出手段と、前記所定期間が経過する
までは閾値の可変範囲の更新を許可するとともに前記所
定期間の経過以後は前記閾値の可変範囲の更新を禁止す
る閾値制限制御手段とを備えた請求項４記載の顔画像処
理装置。5. A period detecting means for detecting that a predetermined period has elapsed since the operation of the device, and updating of a variable range of a threshold is permitted until the predetermined period elapses. 5. The face image processing apparatus according to claim 4, further comprising a threshold limit control unit that prohibits updating of a variable range of the threshold. 【請求項６】 顔画像を撮像するカメラと、このカメラ
の撮像情報に基づき被撮像者の目の開度を検出する開度
検出手段と、所定時間毎における前記開度検出手段の検
出結果の度数分布を計測する度数計測手段と、前記度数
分布が略平坦となる範囲内に閾値を設定するとともに前
記度数分布の更新に応じて前記閾値を更新する閾値設定
手段と、前記閾値を用いて前記被撮像者の目の開閉を判
定する目開閉判定手段とを備えたことを特徴とする顔画
像処理装置。6. A camera that captures a face image, an opening detection unit that detects an opening of an eye of a subject based on imaging information of the camera, and a detection result of the opening detection unit at predetermined time intervals. Frequency measuring means for measuring frequency distribution, threshold setting means for setting a threshold within a range in which the frequency distribution is substantially flat, and updating the threshold in accordance with updating of the frequency distribution, and A face image processing apparatus comprising: eye open / close determination means for determining whether the subject's eyes are open / closed. 【請求項７】 顔画像を撮像するカメラの撮像情報に基
づき被撮像者の目の開度を検出するステップと、この検
出結果を閾値を用いて複数のグループに分類するステッ
プと、所定時間内において前記目の開度の検出結果が前
記複数のグループの内の所定のグループに属する時間を
積算計測するステップと、この時間の計測結果に基づい
て前記閾値の妥当性を評価するステップと、この評価結
果に基づき前記閾値の値を再設定するステップと、前記
閾値を用いて前記被撮像者の目の開閉を判定するステッ
プとを備えたことを特徴とする顔画像処理方法。7. A step of detecting an opening degree of an eye of a subject based on imaging information of a camera which captures a face image, a step of classifying the detection result into a plurality of groups using a threshold value, A step of integrating and measuring the time at which the detection result of the eye opening degree belongs to a predetermined group of the plurality of groups; and a step of evaluating the validity of the threshold based on the measurement result of the time. A face image processing method comprising: resetting the threshold value based on an evaluation result; and determining whether the subject's eyes are open or closed using the threshold value. 【請求項８】 顔画像を撮像するカメラの撮像情報に基
づき被撮像者の目の開度を検出するステップと、所定時
間毎における前記目の開度の検出結果の度数分布を計測
するステップと、この度数分布が略平坦となる範囲内に
閾値を設定するステップと、前記度数分布の更新に応じ
て前記閾値を更新するステップと、前記閾値を用いて前
記被撮像者の目の開閉を判定するステップとを備えたこ
とを特徴とする顔画像処理方法。8. A step of detecting a degree of eye opening of the subject based on imaging information of a camera that captures a face image, and a step of measuring a frequency distribution of the detection result of the degree of eye opening at predetermined time intervals. Setting a threshold value within a range in which the frequency distribution becomes substantially flat; updating the threshold value in accordance with the update of the frequency distribution; and determining whether the subject's eyes are opened or closed using the threshold value. A face image processing method.
JP30926095A 1995-11-28 1995-11-28 Face image processing apparatus and face image processing method Expired - Fee Related JP3286887B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP30926095A JP3286887B2 (en) 1995-11-28 1995-11-28 Face image processing apparatus and face image processing method
KR1019960058629A KR100234590B1 (en) 1995-11-28 1996-11-28 Apparatus and method for curing face-burn

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30926095A JP3286887B2 (en) 1995-11-28 1995-11-28 Face image processing apparatus and face image processing method

Publications (2)

Publication Number Publication Date
JPH09147120A JPH09147120A (en) 1997-06-06
JP3286887B2 true JP3286887B2 (en) 2002-05-27

Family

ID=17990861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30926095A Expired - Fee Related JP3286887B2 (en) 1995-11-28 1995-11-28 Face image processing apparatus and face image processing method

Country Status (2)

Country Link
JP (1) JP3286887B2 (en)
KR (1) KR100234590B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102149326A (en) * 2008-09-16 2011-08-10 爱信精机株式会社 Drowsiness determining device and program

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100463345B1 (en) * 1997-08-20 2005-05-19 삼성에스디아이 주식회사 Display systems and display methods that respond to eye fatigue
KR100338805B1 (en) * 1999-06-01 2002-05-31 윤종용 Method for detecting drowsiness level
JP4742921B2 (en) * 2006-03-13 2011-08-10 日産自動車株式会社 Awakening level estimation device
JP4840146B2 (en) * 2007-01-09 2011-12-21 株式会社デンソー Sleepiness detection device
JP4898532B2 (en) * 2007-04-13 2012-03-14 富士フイルム株式会社 Image processing apparatus, photographing system, blink state detection method, blink state detection program, and recording medium on which the program is recorded
WO2009093381A1 (en) * 2008-01-21 2009-07-30 Nec Corporation Pattern matching system, pattern matching method, and program for pattern matching
JP4957711B2 (en) * 2008-12-02 2012-06-20 オムロン株式会社 Detection apparatus and method, and program
JP5418579B2 (en) * 2011-12-06 2014-02-19 株式会社デンソー Open / close eye detection device
JP5242827B2 (en) * 2012-04-18 2013-07-24 株式会社東芝 Face image processing apparatus, face image processing method, electronic still camera, digital image processing apparatus, and digital image processing method
JP6780616B2 (en) * 2017-08-31 2020-11-04 トヨタ自動車株式会社 Blink detector
JP7328089B2 (en) * 2019-09-05 2023-08-16 トヨタ自動車株式会社 Eye closure determination device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102149326A (en) * 2008-09-16 2011-08-10 爱信精机株式会社 Drowsiness determining device and program
CN102149326B (en) * 2008-09-16 2014-07-09 爱信精机株式会社 Drowsiness determining device and program
EP2351524A4 (en) * 2008-09-16 2018-01-31 Aisin Seiki Kabushiki Kaisha Drowsiness determining device and program

Also Published As

Publication number Publication date
KR100234590B1 (en) 1999-12-15
KR970028783A (en) 1997-06-24
JPH09147120A (en) 1997-06-06

Similar Documents

Publication Publication Date Title
JP3286887B2 (en) Face image processing apparatus and face image processing method
US7821409B2 (en) Drowsiness alarm apparatus and program
US7830266B2 (en) Drowsy state determination device and method
US7835834B2 (en) Method of mitigating driver distraction
JP4677963B2 (en) Dozing detection device, dozing detection method
JP4162503B2 (en) Eye state determination device, eye state determination method, and computer program
US7948387B2 (en) Drowsiness determination apparatus, program, and method
US20100094176A1 (en) Eye opening detection system and method of detecting eye opening
US11048951B2 (en) Occupant state recognition apparatus
JP6399311B2 (en) Dozing detection device
JP4776581B2 (en) Sleep state detection method, sleep state detection device, sleep state detection system, and computer program
CN109426797B (en) Doze detection device and doze detection method thereof
JP3556439B2 (en) Face image processing device
JP3127760B2 (en) Driver arousal level detection device
JP2021037216A (en) Eye closing determination device
JP3746916B2 (en) Blink state detection method
JPH1044824A (en) Driver's-eye open/closed state determination device for vehicle
JP5167027B2 (en) Blink state detection device
CN113287298B (en) Image processing device, image processing method, and storage medium
JPH08153288A (en) Doze judging device
JP6689470B1 (en) Information processing apparatus, program, and information processing method
TWI695326B (en) Object attribute analyzing method and related object attribute analyzing device
JP7416112B2 (en) Awakening level determination device
US20040071318A1 (en) Apparatus and method for recognizing images
JP2019169100A (en) Arousal estimation device

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080315

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090315

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100315

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100315

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110315

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110315

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees