JP2019169100A - Arousal estimation device - Google Patents

Abstract

To provide an arousal estimation device capable of suitably estimating arousal of an occupant.SOLUTION: An arousal estimation device (200) estimates arousal of an occupant based on a plurality of feature quantities showing a state of the occupant of a vehicle (10). The arousal estimation device is provided with: first estimation means (250) for estimating first provisional arousal of the occupant based on a first feature quantity with relatively less dispersion among the plurality of feature quantities; second estimation means (230) for estimating second provisional arousal of the occupant based on second arousal of the occupant based on a second feature quantity with relatively more dispersion among the plurality of feature quantities; correction means (260) for correcting a reference value which is used when the second estimation means estimates the second provisional arousal based on the first provisional arousal; and third estimation means (270) for estimating the arousal of the occupant based on the first feature quantity or the first provisional arousal, and the second provisional arousal.SELECTED DRAWING: Figure 1

Description

本発明は、車両の乗員の覚醒度を推定する覚醒度推定装置の技術分野に関する。   The present invention relates to a technical field of a wakefulness estimation device that estimates a wakefulness of a vehicle occupant.

この種の装置として、車内カメラ等を用いて車両の乗員の動作を検出することで、該乗員の覚醒度を推定するものが知られている。例えば特許文献１では、運転者の顔画像を認識し、特徴動作の経時的変化から覚醒度の低下初期状態を判断するという技術が開示されている。特許文献１では更に、運転者の癖を検出し、判断の重み付けを変更するという内容も開示されている。   As this type of device, there is known a device that estimates the wakefulness of an occupant by detecting the motion of the occupant of the vehicle using an in-vehicle camera or the like. For example, Patent Document 1 discloses a technique for recognizing a driver's face image and determining an initial state in which the degree of arousal is lowered from a temporal change in characteristic action. Patent Document 1 further discloses that the driver's habit is detected and the weighting of the determination is changed.

特開２０１７−０９６７７７号公報JP 2017-096777 A

上述した特許文献１に記載された技術のように、運転者の癖を検出して覚醒度の推定に利用する場合、運転開始初期から眠気があるような状況では、覚醒度低下による動きを運転者の癖として検出してしまうおそれがある。この結果、本来であれば癖として検出すべきでない動作までが癖として検出されてしまうため、覚醒度を正確に推定することができないという技術的問題点が生ずる。   When the driver's eyelids are detected and used for estimation of the arousal level as in the technique described in Patent Document 1 described above, in the situation where sleepiness is present from the beginning of driving, the movement due to the reduction in the arousal level is driven. There is a risk of detecting it as a person's trap. As a result, even a motion that should not be detected as a wrinkle is detected as a wrinkle, which causes a technical problem that the arousal level cannot be accurately estimated.

本発明は、例えば上記問題点に鑑みてなされたものであり、車両の乗員の覚醒度を好適に推定することが可能な覚醒度推定装置を提供することを課題とする。   The present invention has been made in view of the above-described problems, for example, and an object thereof is to provide an arousal level estimation device capable of suitably estimating the awakening level of a vehicle occupant.

本発明に係る覚醒度推定装置の一態様では、車両の乗員の状態を示す複数の特徴量に基づいて、前記乗員の覚醒度を推定する覚醒度推定装置であって、前記複数の特徴量のうち、相対的にばらつきが少ない第１の特徴量に基づいて、前記乗員の第１暫定覚醒度を推定する第１推定手段と、前記複数の特徴量のうち、相対的にばらつきが多い第２の特徴量に基づいて、前記乗員の第２暫定覚醒度を推定する第２推定手段と、前記第１暫定覚醒度に基づいて、前記第２推定手段が前記第２暫定覚醒度を推定する際に用いる基準値を補正する補正手段と、前記第１の特徴量又は前記第１暫定覚醒度と、前記第２暫定覚醒度とに基づいて、前記乗員の覚醒度を推定する第３推定手段とを備える。   In one aspect of the wakefulness estimation apparatus according to the present invention, the wakefulness estimation device estimates the wakefulness of the occupant based on a plurality of feature amounts indicating a state of a vehicle occupant, Of these, a first estimation unit that estimates the first provisional arousal level of the occupant based on a first feature amount that has relatively little variation, and a second that has a relatively large variation among the plurality of feature amounts. A second estimating unit that estimates the second provisional arousal level of the occupant based on the feature amount of the vehicle, and a second estimation unit that estimates the second provisional arousal level based on the first provisional arousal level. Correction means for correcting a reference value used for the vehicle, and third estimation means for estimating the wakefulness of the occupant based on the first feature amount or the first provisional awakening degree and the second provisional awakening degree; Is provided.

本実施形態に係る車両の構成を示すブロック図である。It is a block diagram which shows the structure of the vehicle which concerns on this embodiment. 覚醒度の推定に利用することが可能な特徴量の一例を示す表である。It is a table | surface which shows an example of the feature-value which can be utilized for estimation of an arousal level. 本実施形態に係る覚醒度推定装置の動作の流れを示すフローチャートである。It is a flowchart which shows the flow of operation | movement of the arousal level estimation apparatus which concerns on this embodiment. 開眼度を推定するための開眼度基準値の設定例を示す表である。It is a table | surface which shows the example of a setting of the eye-opening degree reference value for estimating an eye-opening degree. 開眼度及び動作検出時間を利用した覚醒度の推定方法を示す表である。It is a table | surface which shows the estimation method of the arousal degree using the eye opening degree and motion detection time.

以下、図面を参照して覚醒度推定装置の実施形態について説明する。   Hereinafter, embodiments of an arousal level estimation apparatus will be described with reference to the drawings.

＜装置構成＞
まず、本実施形態に係る覚醒度推定装置が搭載される車両の全体構成について、図１を参照して説明する。図１は、本実施形態に係る車両の構成を示すブロック図である。 <Device configuration>
First, the overall configuration of a vehicle on which the awakening level estimation device according to the present embodiment is mounted will be described with reference to FIG. FIG. 1 is a block diagram showing a configuration of a vehicle according to the present embodiment.

図１に示すように、本実施形態に係る車両１０は、カメラ１１０、動作センサ１２０、及び覚醒度推定装置２００を備えて構成されている。   As shown in FIG. 1, the vehicle 10 according to the present embodiment includes a camera 110, a motion sensor 120, and a wakefulness estimation device 200.

カメラ１１０は、車両の乗員（特に、運転者）の眼周辺を撮像可能な撮像手段として構成されている。カメラ１１０で撮影された映像データは、距離推定装置２００における第１映像処理部２１０に出力される構成となっている。   The camera 110 is configured as an imaging unit capable of imaging the periphery of the eyes of a vehicle occupant (in particular, a driver). The video data captured by the camera 110 is configured to be output to the first video processing unit 210 in the distance estimation apparatus 200.

動作センサ１２０は、例えば距離センサや２Ｄカメラとして構成されており、車両の乗員の動作に関する情報を検出可能に構成されている。動作センサ１２０で検出された情報は、距離推定装置２００における第２映像処理部２２０に出力される構成となっている。   The motion sensor 120 is configured, for example, as a distance sensor or a 2D camera, and is configured to be able to detect information related to the motion of the vehicle occupant. Information detected by the motion sensor 120 is configured to be output to the second video processing unit 220 in the distance estimation apparatus 200.

覚醒度推定装置２００は、車両に搭載される演算ユニットとして構成されており、車両の乗員の覚醒度を推定する機能を有している。覚醒度推定装置２００は、その機能を実現するための処理ブロック又は物理的な処理回路として、第１映像処理部２１０、第２映像処理部２２０、開眼度演算部２３０、動作検出部２４０、動作覚醒度推定部２５０、開眼度基準値補正部２６０、及び覚醒度演算部２７０を備えている。   The arousal level estimation device 200 is configured as an arithmetic unit mounted on a vehicle and has a function of estimating the awakening level of a vehicle occupant. The arousal level estimation device 200 includes a first video processing unit 210, a second video processing unit 220, an eye opening degree calculation unit 230, an operation detection unit 240, an operation as a processing block or a physical processing circuit for realizing the function. An arousal level estimation unit 250, an eye opening degree reference value correction unit 260, and an arousal level calculation unit 270 are provided.

第１映像処理部２１０は、カメラ１１０から入力される乗員の眼周辺の映像データに対して、各種処理を実行することが可能に構成されている。第１映像処理部２１０で処理された映像データは、開眼度演算部２３０に出力される構成となっている。第１映像処理部２１０は、例えば、開眼度演算部２３０が利用する乗員の眼に関するパラメータ（特徴量）を、映像データから検出し易くするような処理を実行する。   The first video processing unit 210 is configured to perform various processes on video data around the eyes of the occupant input from the camera 110. The video data processed by the first video processing unit 210 is output to the eye opening degree calculation unit 230. For example, the first video processing unit 210 performs processing that makes it easy to detect parameters (features) related to the eyes of the occupant used by the eye opening degree calculation unit 230 from the video data.

第２映像処理部２２０は、動作センサ１２０から入力される動作に関する情報を示す映像データに対して、各種処理を実行することが可能に構成されている。第２映像処理部２２０で処理された映像データは、動作検出部２５０に出力される構成となっている。第２映像処理部２２０は、例えば、動作検出部２５０が利用する乗員の覚醒度を示す動作に関するパラメータ（特徴量）を、映像データから検出し易くするような処理を実行する。   The second video processing unit 220 is configured to be able to execute various processes on video data indicating information regarding the operation input from the motion sensor 120. The video data processed by the second video processing unit 220 is configured to be output to the motion detection unit 250. For example, the second video processing unit 220 executes processing that makes it easy to detect a parameter (feature amount) related to an operation indicating the degree of wakefulness of the occupant used by the operation detection unit 250 from the video data.

開眼度演算部２３０は、第１映像処理部２１０から入力された映像データに基づいて、車両の乗員の開眼度（即ち、眼が開いている度合い）を算出することが可能に構成されている。具体的には、開眼度演算部２３０は、映像データから乗員の眼に関する特徴量を検出し、そのデータと開眼度基準値とを用いて、開眼度を演算する。なお、開眼度の具体的な演算手法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。開眼度演算部２３０で算出された開眼度は、覚醒度演算部２７０に出力される構成となっている。開眼度演算部２３０は、後述する付記における「第２推定手段」の一具体例である。また、眼に関する特徴量、開眼度基準値、及び開眼度は、それぞれ後述する付記における「第２の特徴量」、「基準値」、及び「第２暫定覚醒度」の一具体例である。   The eye opening degree calculation unit 230 is configured to be able to calculate the eye opening degree of the vehicle occupant (that is, the degree to which the eyes are open) based on the video data input from the first video processing unit 210. . Specifically, the eye opening degree calculation unit 230 detects a feature amount related to the occupant's eye from the video data, and calculates the eye opening degree using the data and the eye opening degree reference value. In addition, about the concrete calculation method of an eye opening degree, since the existing technique can be employ | adopted suitably, detailed description here is abbreviate | omitted. The eye opening degree calculated by the eye opening degree calculating unit 230 is output to the arousal degree calculating unit 270. The eye opening degree calculation unit 230 is a specific example of “second estimation means” in an appendix to be described later. Further, the feature amount relating to the eye, the eye opening degree reference value, and the eye opening degree are specific examples of “second feature amount”, “reference value”, and “second provisional arousal degree”, respectively, in additional notes to be described later.

動作検出部２４０は、第２映像処理部２２０から入力された映像データに基づいて、車両の乗員の覚醒度を示す動作（例えば、顔に手をやる動作やあくび等）を検出することが可能に構成されている。動作検出部２４０は更に、検出した動作から、動作の種類、動作の大きさ、動作の継続時間等を動作に関する特徴量として検出することが可能に構成されている。動作検出部２４０で検出された動作に関する特徴量は、動作覚醒度推定部２５０及び覚醒度推定部２７０にそれぞれ出力される構成となっている。動作に関する特徴量は、後述する付記における「第１の特徴量」の一具体例である。   Based on the video data input from the second video processing unit 220, the motion detection unit 240 can detect a motion indicating the awakening level of a vehicle occupant (for example, a motion on the face or a yawn). It is configured. The motion detection unit 240 is further configured to be able to detect the type of motion, the size of motion, the duration of motion, and the like as feature quantities related to motion from the detected motion. The feature amount related to the motion detected by the motion detection unit 240 is configured to be output to the motion awakening level estimation unit 250 and the awakening level estimation unit 270, respectively. The feature amount related to the operation is a specific example of “first feature amount” in an appendix to be described later.

動作覚醒度推定部２５０は、動作検出部２４０で検出された乗員の動作に関する特徴量に基づいて、乗員の動作に対応した覚醒度（以下、適宜「動作覚醒度」と称する）を推定することが可能に構成されている。なお、動作覚醒度の具体的な推定手法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。また、動作覚醒度推定部２５０は、推定した動作覚醒度に対応する推定信頼度（即ち、推定された動作覚醒度の信頼性を示す度合い）を算出することが可能に構成されている。なお、推定信頼度の具体的な推定手法については、既存の技術を適宜採用することができるため、ここでの詳細な説明は省略する。動作覚醒度推定部２５０で推定された動作覚醒度及び推定信頼度の各々は、開眼度基準値補正部２６０に出力される構成となっている。動作覚醒度推定部２５０は、後述する付記における「第１推定手段」の一具体例である。また、動作覚醒度は、後述する付記における「第１暫定覚醒度」の一具体例である。   The motion alertness estimation unit 250 estimates the alertness corresponding to the passenger's motion (hereinafter referred to as “motion alertness” as appropriate) based on the feature amount related to the passenger's motion detected by the motion detector 240. Is configured to be possible. In addition, about the specific estimation method of a motion arousal level, since the existing technique can be employ | adopted suitably, detailed description here is abbreviate | omitted. In addition, the motion awakening level estimation unit 250 is configured to be able to calculate an estimated reliability corresponding to the estimated motion awakening level (that is, a degree indicating the reliability of the estimated motion awakening level). In addition, about the specific estimation method of estimation reliability, since the existing technique can be employ | adopted suitably, detailed description here is abbreviate | omitted. Each of the motion arousal level and the estimated reliability estimated by the motion arousal level estimation unit 250 is output to the eye opening degree reference value correction unit 260. The motion arousal level estimation unit 250 is a specific example of “first estimation means” in an appendix to be described later. The motion arousal level is a specific example of “first provisional awakening level” in an appendix to be described later.

開眼度基準値補正部２６０は、動作覚醒度推定部２５０から入力された動作覚醒度及び推定信頼度に基づいて、開眼度演算部２３０が開眼度を算出する際に用いる開眼度基準値を補正可能に構成されている。なお、開眼度基準値補正部２６０による開眼度基準値の具体的な補正方法については、後に詳述する。開眼度基準値補正部２６０は、後述する付記における「補正手段」の一具体例である。   The eye-opening degree reference value correcting unit 260 corrects the eye-opening degree reference value used when the eye-opening degree calculating unit 230 calculates the eye opening degree based on the action arousal degree and the estimated reliability input from the action arousal degree estimating unit 250. It is configured to be possible. A specific method of correcting the eye opening degree reference value by the eye opening degree reference value correcting unit 260 will be described in detail later. The eye-opening degree reference value correction unit 260 is a specific example of “correction means” in an appendix to be described later.

覚醒度推定部２７０は、開眼度演算部２３０で算出された開眼度、及び動作検出部２５０で検出された乗員の動作に関する特徴量に基づいて、乗員の覚醒度を推定可能に構成されている。なお、覚醒度推定部２７０は、動作検出部２５０で検出された乗員の動作に関する特徴量に加えて、又は代えて、動作覚醒度推定部２５０で推定された動作覚醒度を利用して、乗員の覚醒度を推定するようにしてもよい。即ち、覚醒度推定部２７０は、乗員の眼に関する特徴量と、動作に関する特徴量との両方を、直接的又は間接的に利用して覚醒度を推定するものであればよい。覚醒度推定部２７０による具体的な覚醒度の推定方法については、後に詳述する。覚醒度推定部２７０は、後述する付記における「第３推定手段」の一具体例である。   The arousal level estimation unit 270 is configured to be able to estimate the wakefulness level of the occupant based on the degree of eye opening calculated by the eye opening level calculation unit 230 and the feature amount related to the motion of the occupant detected by the motion detection unit 250. . The arousal level estimation unit 270 uses the motion arousal level estimated by the motion arousal level estimation unit 250 in addition to or instead of the feature amount related to the motion of the occupant detected by the motion detection unit 250. The degree of awakening may be estimated. That is, the arousal level estimation unit 270 may be any unit that estimates the arousal level by using both the characteristic amount related to the occupant's eyes and the characteristic amount related to the motion directly or indirectly. A specific method of estimating the arousal level by the awakening level estimation unit 270 will be described in detail later. The arousal level estimation unit 270 is a specific example of “third estimation unit” in an appendix to be described later.

＜特徴量を利用した覚醒度推定例＞
次に、車両の乗員から検出可能な特徴量を利用した覚醒度の推定例について、図２を参照して具体的に説明する。図２は、覚醒度の推定に利用することが可能な特徴量の一例を示す表である。なお、図２で示す推定例はあくまで一例であり、本実施形態に係る覚醒度の推定に用いられる特徴量とは異なるものであってもよい。 <Example of estimation of arousal level using features>
Next, an example of estimating the arousal level using a feature amount that can be detected from a vehicle occupant will be described in detail with reference to FIG. FIG. 2 is a table showing an example of feature quantities that can be used for estimating the arousal level. Note that the estimation example illustrated in FIG. 2 is merely an example, and may be different from the feature amount used for estimating the arousal level according to the present embodiment.

図２に示すように、車両の乗員の覚醒度は、乗員の状態を示す特徴量に応じて異なるレベルに分けられる。具体的には、安定した瞬きや動きが活発なことが特徴量として検出されている場合には、覚醒度が最も高いＤ０と判定される。唇が開いていること、瞬き速度低下、視線移動の動きが遅いことが特徴量として検出されている場合には、覚醒度が２番目に高いＤ１と判定される。瞼がやや重いこと、瞬きがゆっくり頻発していること、口の動きがあること、座り直しがあること、顔に手をやる動作が検出されている場合には、覚醒度が３番目に高いＤ２と判定される。意識的瞬き、あくび、深呼吸、肩の上下、頭を振る動作が検出されている場合には、覚醒度が４番目に高いＤ３と判定される。目を閉じる動作、頭が傾く動作、頭が後ろに倒れる動作が検出されている場合には、覚醒度が５番目に高いＤ４と判定される。Ｄ４に対応する特徴量が継続的に検出されている場合には、覚醒度が最も低いＤ５と判定される。   As shown in FIG. 2, the awakening level of the vehicle occupant is divided into different levels according to the feature amount indicating the state of the occupant. Specifically, when stable blinking or active movement is detected as the feature amount, it is determined that D0 has the highest arousal level. When it is detected as a feature amount that the lips are open, the blinking speed is decreased, and the movement of the line of sight is slow, it is determined that D1 has the second highest arousal level. The third highest wakefulness level when the eyelids are slightly heavy, blinking is slow, frequent mouth movements, re-sitting, and movements of the face are detected It is determined as D2. When a conscious blink, yawning, deep breathing, up / down shoulder movement, or shaking head motion is detected, it is determined that D3 has the fourth highest arousal level. When an action of closing eyes, an action of tilting the head, or an action of tilting the head backward is detected, it is determined that D4 has the fifth highest arousal level. When the feature amount corresponding to D4 is continuously detected, it is determined that D5 has the lowest arousal level.

本願発明者の研究するところによれば、上述した特徴量のうち、乗員の眼の動きに関する特徴量（例えば、瞬き等）については、人によってばらつきが大きく、出現頻度が比較的高いことが判明している。その一方で、乗員の動作に関する特徴量（例えば、手や体全体の動き）については、人によってばらつきが小さく、出現頻度が比較的低いことが判明している。本実施形態に係る覚醒度推定装置２００は、このような傾向の異なる２つの特徴量を利用しつつ、乗員の覚醒度を正確に推定することが可能である。   According to the research conducted by the inventor of the present application, among the above-described feature amounts, the feature amount related to the movement of the occupant's eyes (for example, blinking) is found to vary greatly depending on the person and the appearance frequency is relatively high. is doing. On the other hand, it has been found that the characteristic amount (for example, movement of the hand and the whole body) related to the movement of the occupant has small variations among people and the appearance frequency is relatively low. The arousal level estimation apparatus 200 according to the present embodiment can accurately estimate the wakefulness level of the occupant while using two feature quantities having different tendencies.

＜動作説明＞
次に、本実施形態に係る覚醒度推定装置２００の動作の流れについて、図３を参照して説明する。図３は、本実施形態に係る覚醒度推定装置の動作の流れを示すフローチャートである。 <Description of operation>
Next, an operation flow of the arousal level estimation apparatus 200 according to the present embodiment will be described with reference to FIG. FIG. 3 is a flowchart showing an operation flow of the arousal level estimation apparatus according to the present embodiment.

図３に示すように、本実施形態に係る覚醒度推定装置２００の動作時には、まず、カメラ１１０の映像データから車両１０の乗員の眼に関する特徴量を検出する（ステップＳ１１０）。また、ステップＳ１０１の処理と並行して、又は相前後して、動作センサ１２０で検出されたデータから、乗員の動作に関する特徴量を検出する（ステップＳ１０２）。乗員の眼に関する特徴量及び動作に関する特徴量の両方が検出されたら、乗員の眼に関する特徴量及び動作に関する特徴量のデータ量が所定量より大きいか否かを判定する（ステップＳ１０３）。なお、ここでの「所定量」は、乗員の眼に関する特徴量及び動作に関する特徴量が、乗員の覚醒度を推定できる程度に蓄積されているか否かを判定するための閾値であり、予め適切な値が求められ設定されている。   As shown in FIG. 3, when the arousal level estimation apparatus 200 according to the present embodiment operates, first, a feature amount related to the eyes of the occupant of the vehicle 10 is detected from the video data of the camera 110 (step S110). In parallel with or in parallel with the process of step S101, a feature amount related to the occupant's motion is detected from the data detected by the motion sensor 120 (step S102). If both the feature amount related to the occupant's eye and the feature amount related to the motion are detected, it is determined whether or not the data amount of the feature amount related to the occupant's eye and the data amount of the feature amount related to the motion is larger than a predetermined amount (step S103). Here, the “predetermined amount” is a threshold value for determining whether or not the feature amount related to the occupant's eye and the feature amount related to the motion are accumulated to such an extent that the wakefulness of the occupant can be estimated. Is determined and set.

乗員の眼に関する特徴量及び動作に関する特徴量のデータ量が所定量より大きくないと判定された場合（ステップＳ１０３：ＮＯ）、再びステップＳ１０１から処理を開始する。即ち、乗員の眼に関する特徴量及び動作に関する特徴量の各々の検出を継続する。一方で、乗員の眼に関する特徴量及び動作に関する特徴量のデータ量が所定量より大きいと判定された場合（ステップＳ１０３：ＹＥＳ）、動作覚醒度推定部２５０が、動作に関する特徴量から動作覚醒度を推定する（ステップＳ１０４）。   When it is determined that the feature amount data relating to the occupant's eyes and the feature amount data relating to the motion are not larger than the predetermined amount (step S103: NO), the processing is started again from step S101. That is, detection of each of the feature amount related to the passenger's eye and the feature amount related to the motion is continued. On the other hand, when it is determined that the feature amount related to the occupant's eyes and the data amount of the feature amount related to the motion are larger than the predetermined amount (step S103: YES), the motion arousal level estimation unit 250 calculates the motion arousal level from the motion related feature amount Is estimated (step S104).

動作覚醒度推定部２５０は更に、動作覚醒度の信頼度を示す推定信頼度を算出する（ステップＳ１０５）。続いて、動作覚醒度推定部２５０は、算出した推定信頼度が所定閾値より大きいか否かを判定する（ステップＳ１０６）。なお、ここでの「所定閾値」は、動作覚醒度の推定信頼度が、後述する本実施形態に係る技術的効果が得られる程度に高いか否かを判定するための閾値である。   The motion awakening level estimation unit 250 further calculates an estimated reliability indicating the reliability of the motion awakening level (step S105). Subsequently, the motion awakening level estimation unit 250 determines whether or not the calculated estimated reliability is greater than a predetermined threshold (step S106). Here, the “predetermined threshold value” is a threshold value for determining whether or not the estimated reliability of the motion arousal level is high enough to obtain a technical effect according to the present embodiment described later.

推定信頼度が所定閾値より大きいと判定された場合（ステップＳ１０６：ＹＥＳ）、開眼度基準値補正部２６０が、開眼度演算部２３０で用いられる開眼度基準値を補正する（ステップＳ１０７）。開眼度基準値補正部２６０は、動作覚醒度２５０で推定された動作覚醒度に基づいて、開眼度基準値を補正（言い換えれば、設定）する。   When it is determined that the estimated reliability is greater than the predetermined threshold (step S106: YES), the eye opening degree reference value correction unit 260 corrects the eye opening degree reference value used in the eye opening degree calculation unit 230 (step S107). The eye-opening degree reference value correction unit 260 corrects (in other words, sets) the eye-opening degree reference value based on the action arousal degree estimated from the action arousal degree 250.

ここで、開眼基準値の設定方法について、図４を参照して具体的に説明する。図４は、第２暫定覚醒度を推定するための開眼度基準値の設定例を示す表である。なお、以下では、動作覚醒度が覚醒度の高い方から順にＡ０、Ａ１、Ａ２、Ａ３、Ａ４、Ａ５にレベル分けされているものとする。   Here, a method for setting the eye opening reference value will be specifically described with reference to FIG. FIG. 4 is a table showing an example of setting the eye opening degree reference value for estimating the second provisional arousal degree. In the following, it is assumed that the level of motion arousal is classified into A0, A1, A2, A3, A4, and A5 in order from the highest arousal level.

図４に示すように、開眼度基準値補正部２６０は、動作覚醒度がＡ０の場合に、乗員の眼の時間中最大面積（即ち、目に関する特徴量を検出した一定期間の中で、最も大きく開いていた時の面積）の値を開眼度基準値として設定する。動作覚醒度がＡ１の場合には、乗員の眼の時間中最大面積×１．１の値を開眼度基準値として設定する。動作覚醒度がＡ２の場合には、乗員の眼の時間中最大面積×１．２の値を開眼度基準値として設定する。動作覚醒度がＡ３の場合には、乗員の眼の時間中最大面積×１．３の値を開眼度基準値として設定する。動作覚醒度がＡ４の場合には、乗員の眼の時間中最大面積×１．４の値を開眼度基準値として設定する。動作覚醒度がＡ５の場合には、乗員の眼の時間中最大面積×１．４の値を開眼度基準値として設定する。   As shown in FIG. 4, when the movement arousal level is A0, the eye opening degree reference value correction unit 260 is the largest area of the occupant's eyes during the time period (that is, the most during a certain period in which the feature amount related to the eyes is detected). The value of the area when it is wide open) is set as the eye opening degree reference value. When the motion arousal level is A1, the value of the maximum area of the occupant's eyes during time × 1.1 is set as the eye opening degree reference value. When the motion arousal level is A2, the value of the maximum area of the occupant's eyes during time × 1.2 is set as the eye opening degree reference value. When the motion arousal level is A3, the value of the maximum area of the occupant's eyes during time × 1.3 is set as the eye opening degree reference value. When the motion arousal level is A4, the value of the maximum area of the occupant's eyes during time × 1.4 is set as the eye opening degree reference value. When the motion arousal level is A5, the value of the maximum area of the occupant's eyes during time × 1.4 is set as the eye opening degree reference value.

以上のように、開眼度基準値は、動作覚醒度が低い（言い換えれば、乗員の眠気が大きい）ほど、大きい値として決定される。なお、上記例における動作覚醒度がＡ４の場合とＡ５の場合のように、動作覚醒度が違っても、開眼度基準値が一部同じとなるようなケースがあってもよい。   As described above, the eye opening degree reference value is determined as a larger value as the motion awakening degree is lower (in other words, the occupant's drowsiness is greater). Note that there may be cases where the eye-opening degree reference value is partially the same even when the motion arousal level is different, as in the case where the motion arousal level is A4 and A5 in the above example.

図３に戻り、推定信頼度が所定閾値より大きくないと判定された場合（ステップＳ１０６：ＮＯ）、開眼度基準値が未設定であるか否かを判定する（ステップＳ１０８）。そして、開眼度基準値が未設定であると判定された場合（ステップＳ１０８：ＹＥＳ）、時間中最大面積の値を開眼度基準値として設定する。即ち、図４で説明した動作覚醒度が最も高い場合（Ａ０の場合）と同様の開眼度基準値が設定される。一方、開眼度基準値が未設定でないと判定された場合（ステップＳ１０８：ＮＯ）、上述したステップＳ１０９の処理は省略される。この場合、すでに設定されている開眼度基準値が引き続き用いられることになる。このように、動作覚醒度の推定信頼度が所定閾値より大きくない場合には、開眼度基準値の補正は行われない。これにより、動作覚醒度の推定信頼度が低いにもかかわらず、その動作覚醒度に基づいて開眼度基準値が補正されてしまうことを防止できる。   Returning to FIG. 3, when it is determined that the estimated reliability is not greater than the predetermined threshold (step S106: NO), it is determined whether or not the eye opening degree reference value is not set (step S108). When it is determined that the eye opening degree reference value is not set (step S108: YES), the value of the maximum area during the time is set as the eye opening degree reference value. That is, the eye opening degree reference value similar to that when the motion arousal level described in FIG. 4 is the highest (in the case of A0) is set. On the other hand, when it is determined that the eye opening degree reference value is not set (step S108: NO), the process of step S109 described above is omitted. In this case, the eye opening degree reference value that has already been set is continuously used. As described above, when the estimated reliability of the motion arousal level is not greater than the predetermined threshold, the eye opening degree reference value is not corrected. Accordingly, it is possible to prevent the eye opening degree reference value from being corrected based on the motion arousal level even though the estimated reliability of the motion awakening level is low.

続いて、開眼度演算部２３０が、開眼度基準値を用いて開眼度を算出する（ステップＳ１１０）。開眼度演算部２３０は、例えば乗員の眼の時間中平均面積（即ち、特徴量として検出された眼の面積の検出期間における平均値）を、開眼度基準値で除することによって開眼度を算出する。このため、開眼度基準値が補正されている場合には、それを用いて算出される開眼度も補正の影響（言い換えれば、動作覚醒度の影響）を受けることになる。   Subsequently, the eye opening degree calculation unit 230 calculates the eye opening degree using the eye opening degree reference value (step S110). The eye opening degree calculation unit 230 calculates the eye opening degree by dividing, for example, the average area of the occupant's eyes over time (that is, the average value of the eye area detected as the feature amount during the detection period) by the eye opening degree reference value. To do. For this reason, when the eye opening degree reference value is corrected, the eye opening degree calculated using the eye opening degree reference value is also affected by the correction (in other words, the influence of the motion arousal level).

その後、覚醒度推定部２７０は、開眼度演算部２３０で算出された開眼度と、動作検出部２４０で検出された動作に関する特徴量（又は、動作覚醒度推定部２５０で推定された動作覚醒度）とに基づいて、乗員の覚醒度を推定する。なお、ここでの覚醒度の推定に利用される動作に関する特徴量は、動作覚醒度を推定する際に用いられた特徴量とは異なる種類のものであってもよい。即ち、動作覚醒度推定部２５０において動作覚醒度の推定に用いられる特徴量と、覚醒度推定部２７０において覚醒度の推定に用いられる特徴量とは、互いに異なる動作に対応したものであってもよい。   Thereafter, the arousal level estimation unit 270 determines the eye opening degree calculated by the eye opening degree calculation unit 230 and the feature amount related to the motion detected by the motion detection unit 240 (or the motion arousal level estimated by the motion awakening level estimation unit 250). ) And the wakefulness of the occupant is estimated. Note that the feature amount related to the motion used for estimating the arousal level here may be of a different type from the feature amount used when estimating the motion arousal level. That is, the feature amount used for estimating the motion arousal level in the motion arousal level estimation unit 250 and the feature amount used for estimating the arousal level in the arousal level estimation unit 270 may correspond to different motions. Good.

ここで、覚醒度推定部２７０による覚醒度の推定方法について、図５を参照して具体的に説明する。図５は、開眼度及び動作検出時間を利用した覚醒度の推定方法を示す表である。   Here, a method of estimating the arousal level by the arousal level estimation unit 270 will be specifically described with reference to FIG. FIG. 5 is a table showing a method for estimating the arousal level using the degree of eye opening and the motion detection time.

図５に示すように、覚醒度は「開眼度＋α×動作検出積算時間」として算出される値Ａに基づいて推定される。なお、ここでの「α」は開眼度にかかる重みパラメータであり、事前に最適な値が求められ設定されている。また、「動作検出積算時間」は、動作検出部２５において動作に関する特徴量の１つとして検出されるものであり、乗員の覚醒度を示す動作が検出されている期間を積算した値である。   As shown in FIG. 5, the arousal level is estimated based on a value A calculated as “degree of eye opening + α × motion detection integration time”. Here, “α” is a weighting parameter related to the degree of eye opening, and an optimum value is obtained and set in advance. The “motion detection integration time” is detected as one of the feature quantities related to the motion in the motion detection unit 25, and is a value obtained by integrating the periods during which the motion indicating the wakefulness of the occupant is detected.

覚醒度推定部２７０は、Ａが０．９より大きい場合に、乗員の覚醒度は最も高いＢ０であると推定する。Ａが０．９以下且つ０．８より大きい場合には、乗員の覚醒度は２番目に高いＢ１であると推定する。Ａが０．８以下且つ０．６より大きい場合には、乗員の覚醒度は３番目に高いＢ２であると推定する。Ａが０．６以下且つ０．４より大きい場合には、乗員の覚醒度は４番目に高いＢ３であると推定する。Ａが０．４以下且つ０．３より大きい場合には、乗員の覚醒度は５番目に高いＢ４であると推定する。Ａが０．３以下且つ０．１より大きい場合には、乗員の覚醒度は最も低いＢ５であると推定する。   The arousal level estimation unit 270 estimates that the wakefulness level of the occupant is the highest B0 when A is greater than 0.9. If A is 0.9 or less and greater than 0.8, it is estimated that the passenger's arousal level is the second highest B1. If A is 0.8 or less and greater than 0.6, it is estimated that the passenger's arousal level is B2, which is the third highest. If A is 0.6 or less and greater than 0.4, it is estimated that the passenger's arousal level is B3, which is the fourth highest. When A is 0.4 or less and greater than 0.3, it is estimated that the passenger's arousal level is B4, which is the fifth highest. When A is 0.3 or less and greater than 0.1, it is estimated that the passenger's arousal level is the lowest B5.

再び図３に戻り、覚醒度推定部２７０が乗員の覚醒度を推定した後は、覚醒度の推定処理を終了するか否かを判定する（ステップＳ１１２）。覚醒度の推定処理を終了すると判定された場合（ステップＳ１１２：ＹＥＳ）、一連の処理が終了する。一方、覚醒度の推定処理を終了しないと判定された場合（ステップＳ１１２：ＮＯ）、再びステップＳ１０１から処理が開始される。この場合、乗員の覚醒度が推定され続けることになる。   Returning to FIG. 3 again, after the wakefulness estimation unit 270 estimates the wakefulness of the occupant, it is determined whether or not the wakefulness estimation process is terminated (step S112). When it is determined that the arousal level estimation process is to be terminated (step S112: YES), a series of processes is terminated. On the other hand, when it is determined not to end the arousal level estimation process (step S112: NO), the process starts again from step S101. In this case, the wakefulness level of the occupant continues to be estimated.

＜技術的効果＞
次に、本実施形態に係る覚醒度推定装置２００によって得られる技術的効果について説明する。 <Technical effect>
Next, technical effects obtained by the arousal level estimation apparatus 200 according to the present embodiment will be described.

図１から図５を参照して説明したように、本実施形態に係る覚醒度推定装置２００によれば、乗員の眼に関する特徴量と、乗員の動きに関する特徴量とに基づいて、覚醒度が推定される。このため、１つの特徴量を用いて覚醒度を推定する場合と比較して、より正確な覚醒度を推定することが可能である。なお、本実施形態で利用した乗員の眼に関する特徴量と、乗員の動きに関する特徴量とは、あくまで一例であり、これらに代えて他の２つの特徴量が用いられてもよいし、これらに加えて別の特徴量が用いられてもよい。   As described with reference to FIG. 1 to FIG. 5, according to the arousal level estimation apparatus 200 according to the present embodiment, the arousal level is based on the characteristic amount related to the occupant's eyes and the characteristic amount related to the movement of the occupant. Presumed. For this reason, it is possible to estimate the arousal level more accurately than in the case where the arousal level is estimated using one feature amount. Note that the feature amount relating to the occupant's eye and the feature amount relating to the movement of the occupant used in the present embodiment are merely examples, and the other two feature amounts may be used instead of these. In addition, another feature amount may be used.

本実施形態では更に、眼に関する特徴量から開眼度を算出する場合に用いられる開眼度基準値が、動作に関する特徴量から推定される動作覚醒度に基づいて補正（設定）される。言い換えれば、相対的にばらつきの大きい眼に関する特徴量を用いた演算に利用される基準値が、相対的にばらつきの小さい動作に関する特徴量から推定されたパラメータに応じて補正される。   In the present embodiment, the eye-opening degree reference value used when the eye opening degree is calculated from the eye-related feature quantity is corrected (set) based on the action arousal degree estimated from the action-related feature quantity. In other words, the reference value used for the calculation using the feature value related to the eye with relatively large variation is corrected according to the parameter estimated from the feature value related to the operation with relatively small variation.

より具体的には、開眼度を算出する際の開眼度基準値は、すでに説明したように、動作覚醒度が高いほど小さい値になるように補正される（図４参照）。このため、開眼値（＝平均面積／開眼度基準値）は、動作覚醒度が高いほど大きい値として算出されるようになる。その結果、動作覚醒度が高いほど、乗員の覚醒度が高いものとして推定され易くなる。   More specifically, as described above, the eye opening degree reference value for calculating the eye opening degree is corrected so as to be smaller as the motion awakening degree is higher (see FIG. 4). For this reason, the eye opening value (= average area / eye opening degree reference value) is calculated as a larger value as the motion awakening degree is higher. As a result, the higher the motion alertness is, the easier it is to be estimated that the passenger's alertness is high.

上述した構成によれば、相対的にばらつきの大きい眼の特徴量を利用した場合でも、そのばらつきが及ぼす悪影響を抑制しつつ、乗員の覚醒度を推定することができる。例えば、開眼度が比較的大きい値であったとしても、目に関する特徴量にばらつき（言い換えれば、個人差）があることを考慮すれば、その開眼度は、正確に乗員の覚醒度を表したものではない可能性がある。一方で、動作覚醒度は、想定的にばらつきが小さい特徴量に基づいて推定されているため、開眼度よりも正確に乗員の覚醒度を表している可能性が高い。よって、動作覚醒度に基づいて、開眼度基準値を補正すれば、ばらつきの影響を考慮した開眼度を算出することができる。言い換えれば、開眼度が最終的な覚醒度の推定に与える影響を適切なものへと調整することができる。   According to the above-described configuration, even when a feature amount of an eye having a relatively large variation is used, the wakefulness of the occupant can be estimated while suppressing the adverse effect of the variation. For example, even if the degree of eye opening is a relatively large value, the degree of eye opening accurately represents the degree of wakefulness of the occupant, considering that there are variations in eye-related feature values (in other words, individual differences). It may not be a thing. On the other hand, since the motion arousal level is estimated on the basis of a feature amount that is supposedly small in variation, there is a high possibility that the motion arousal level represents the wakefulness level of the occupant more accurately than the degree of eye opening. Therefore, if the eye opening degree reference value is corrected based on the motion arousal degree, the eye opening degree can be calculated in consideration of the influence of the variation. In other words, the influence of the degree of eye opening on the estimation of the final arousal level can be adjusted to an appropriate level.

なお、上記のような特徴量のばらつきによる悪影響は、車両の運転が開始された時点から乗員の覚醒度が低下しているような場合に顕著に現れる。よって、本実施形態に係る覚醒度推定装置によれば、乗員の覚醒度が比較的早い段階で低下しているような状況であっても、正確に現在の覚醒度を推定することができる。   It should be noted that the above-described adverse effects due to the variation in the feature amount are prominent when the wakefulness of the occupant has been reduced since the start of driving of the vehicle. Therefore, according to the wakefulness estimation apparatus according to the present embodiment, the current wakefulness can be accurately estimated even in a situation where the wakefulness of the occupant is decreasing at a relatively early stage.

＜付記＞
以上説明した実施形態から導き出される発明の各種態様を以下に説明する。 <Appendix>
Various aspects of the invention derived from the embodiments described above will be described below.

（付記１）
付記１に記載の覚醒度推定装置は、車両の乗員の状態を示す複数の特徴量に基づいて、前記乗員の覚醒度を推定する覚醒度推定装置であって、前記複数の特徴量のうち、相対的にばらつきが少ない第１の特徴量に基づいて、前記乗員の第１暫定覚醒度を推定する第１推定手段と、前記複数の特徴量のうち、相対的にばらつきが多い第２の特徴量に基づいて、前記乗員の第２暫定覚醒度を推定する第２推定手段と、前記第１暫定覚醒度に基づいて、前記第２推定手段が前記第２暫定覚醒度を推定する際に用いる基準値を補正する補正手段と、前記第１の特徴量又は前記第１暫定覚醒度と、前記第２暫定覚醒度とに基づいて、前記乗員の覚醒度を推定する第３推定手段とを備える。 (Appendix 1)
The arousal level estimation device according to attachment 1 is a wakefulness level estimation device that estimates the wakefulness level of the occupant based on a plurality of feature amounts indicating a state of a vehicle occupant. First estimation means for estimating a first provisional arousal level of the occupant based on a first feature amount having relatively little variation, and a second feature having relatively large variation among the plurality of feature amounts A second estimating means for estimating a second provisional arousal level of the occupant based on the amount; and a second estimating means for estimating the second provisional arousal degree based on the first provisional awakening degree. Correction means for correcting a reference value; and third estimation means for estimating the wakefulness of the occupant based on the first feature amount or the first provisional awakening degree and the second provisional awakening degree. .

付記１に記載の覚醒度推定装置によれば、車両の乗員の動きに応じた複数の特徴量（少なくとも第１特徴量及び第２特徴量を含む）に基づいて、乗員の覚醒度（即ち、眠気の少なさを示す度合い）が推定される。   According to the alertness estimation device according to attachment 1, based on a plurality of feature amounts (including at least the first feature amount and the second feature amount) corresponding to the movement of the vehicle occupant, The degree of drowsiness) is estimated.

第１の特徴量は、相対的にばらつきが小さいため、第１暫定覚醒度は比較的信頼性が高いもの（即ち、より正確に乗員の覚醒度を示すもの）として推定される。ただし、第１の特徴量は、比較的出現頻度が低い傾向にあることも多く、それだけで最終的な覚醒度を推定するには足らない可能性もある。一方、第２の特徴量は、相対的にばらつきが大きい個人差が大きいため、第２暫定覚醒度は比較的信頼性が低いもの（即ち、実際の乗員の覚醒度とは多少乖離している可能性があるもの）として推定される。ただし、第２の特徴量は、比較的出現頻度が高い傾向にあることも多く、最終的な覚醒度を精度よく推定するためには利用することが好ましい。   Since the first feature amount has a relatively small variation, the first provisional arousal level is estimated as a relatively reliable one (that is, more accurately indicating the wakefulness level of the occupant). However, the first feature amount tends to have a relatively low frequency of appearance, and it may be insufficient to estimate the final arousal level by itself. On the other hand, since the second feature amount has a relatively large variation among individuals, the second provisional arousal level is relatively unreliable (that is, slightly different from the actual occupant arousal level). Possible)). However, the second feature amount tends to have a relatively high appearance frequency, and is preferably used in order to accurately estimate the final arousal level.

ここで特に、付記１に記載の覚醒度推定装置では、相対的にばらつきが少ない第１の特徴量から推定される第１暫定覚醒度に基づいて、相対的にばらつきが多い第２の特徴量から第２暫定覚醒度を推定する際の基準値が補正される。この結果、第２の特徴量から推定される第２暫定覚醒度は、比較的信頼性の高い第１暫定覚醒度によって補正された基準値を用いて推定されることになり、その結果、基準値を補正しない場合と比較すると信頼性が高いものとなる。このようにして推定される信頼性の高い第２暫定覚醒度と、もとより信頼性の高い第１の特徴量又は第１の特徴量から推定される第１暫定覚醒度とを利用すれば、車両の乗員の覚醒度を極めて正確に推定することが可能となる。   Here, in particular, in the arousal level estimation device according to attachment 1, the second feature amount having a relatively large variation is based on the first provisional arousal level estimated from the first feature amount having a relatively small variation. The reference value for estimating the second provisional arousal level is corrected. As a result, the second provisional arousal level estimated from the second feature amount is estimated using the reference value corrected by the relatively reliable first provisional arousal level. Compared to the case where the value is not corrected, the reliability is high. If the second provisional awakening level with high reliability estimated in this way and the first feature quantity or the first provisional awakening degree estimated from the first feature quantity with high reliability are used, the vehicle It is possible to estimate the wakefulness of the passenger of the vehicle with high accuracy.

本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う覚醒度推定装置もまた本発明の技術的範囲に含まれるものである。   The present invention is not limited to the above-described embodiment, and can be appropriately changed without departing from the gist or concept of the invention that can be read from the claims and the entire specification. Is also included in the technical scope of the present invention.

１０ 車両
１１０ カメラ
１２０ 動作センサ
２００ 覚醒度推定装置
２１０ 第１映像処理部
２２０ 第２映像処理部
２３０ 開眼度演算部
２４０ 動作検出部
２５０ 動作覚醒度推定部
２６０ 開眼度基準値補正部
２７０ 覚醒度推定部 DESCRIPTION OF SYMBOLS 10 Vehicle 110 Camera 120 Motion sensor 200 Arousal level estimation apparatus 210 First video processing unit 220 Second video processing unit 230 Eye opening degree calculation unit 240 Motion detection unit 250 Motion awakening level estimation unit 260 Eye opening degree reference value correction unit 270 Arousal level estimation Part

Claims (1)

車両の乗員の状態を示す複数の特徴量に基づいて、前記乗員の覚醒度を推定する覚醒度推定装置であって、
前記複数の特徴量のうち、相対的にばらつきが少ない第１の特徴量に基づいて、前記乗員の第１暫定覚醒度を推定する第１推定手段と、
前記複数の特徴量のうち、相対的にばらつきが多い第２の特徴量に基づいて、前記乗員の第２暫定覚醒度を推定する第２推定手段と、
前記第１暫定覚醒度に基づいて、前記第２推定手段が前記第２暫定覚醒度を推定する際に用いる基準値を補正する補正手段と、
前記第１の特徴量又は前記第１暫定覚醒度と、前記第２暫定覚醒度とに基づいて、前記乗員の覚醒度を推定する第３推定手段と
を備えることを特徴とする覚醒度推定装置。 A wakefulness estimation device that estimates the wakefulness of the occupant based on a plurality of feature amounts indicating the state of the occupant of the vehicle,
First estimation means for estimating a first provisional arousal level of the occupant based on a first feature amount having relatively little variation among the plurality of feature amounts;
Second estimation means for estimating a second provisional arousal level of the occupant based on a second feature quantity having relatively large variation among the plurality of feature quantities;
Correction means for correcting a reference value used when the second estimation means estimates the second provisional awakening degree based on the first provisional awakening degree;
Arousal level estimation apparatus comprising: a third estimation unit configured to estimate the wakefulness level of the occupant based on the first feature amount or the first temporary awakening level and the second temporary awakening level. .