JP2010063682A

JP2010063682A - Driver monitoring apparatus

Info

Publication number: JP2010063682A
Application number: JP2008233529A
Authority: JP
Inventors: Masaki Ito; 雅樹伊藤; Takafumi Makino; 貴文槇野
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2008-09-11
Filing date: 2008-09-11
Publication date: 2010-03-25

Abstract

<P>PROBLEM TO BE SOLVED: To provide a driver monitoring apparatus for evaluating mental burdens on a driver of a vehicle accurately and as easily as possible based on a tone-entropy analysis, and informing the driver of information for the appropriate driving. <P>SOLUTION: The driver monitoring apparatus comprises: a heartbeat detection sensor 3a for detecting the heartbeat of the driver of the vehicle; a heartbeat signal processing means 41 for computing the R-R intervals, the cycle of R waves, based on signals from the heartbeat detection sensor; a heartbeat variation entropy operating means 42 for computing the heartbeat variation entropy based on the R-R intervals and determining an entropy behavior pattern representing the temporal behavior of the heartbeat variation entropy; a mental burden evaluating means 43 for evaluating mental burdens on the driver based on the entropy behavior pattern; and an informing means 44 for informing the driver of the result of evaluation by the mental burden evaluating means. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、車両運転者の精神的安定度や緊張度などの心的負担を評価して、運転者の運転状態を監視する運転者監視装置に関する。 The present invention relates to a driver monitoring apparatus that evaluates a mental burden such as a mental stability or a tension of a vehicle driver and monitors a driving state of the driver.

従来の装置として、運転者の心拍信号を測定する測定手段と、車速を検出する車速検出手段と、心拍信号に基づいて停車時および走行時の心拍数と拍動間隔の変動を演算する演算手段と、演算結果の心拍数と拍動間隔変動を二次元座標に展開した場合の分布領域の時間的な推移傾向と、心拍数の瞬時増加の有無とに基づいて、運転者の疲労度を判定する判定手段とを備えた疲労度判定装置が知られている（特許文献１参照）。この疲労度判定装置は、運転者の心拍信号に基づいて停車時および走行時の心拍数と拍動間隔の変動を演算し、演算結果の心拍数と拍動間隔変動を二次元座標に展開した場合の分布領域の時間的な推移傾向と、心拍数の瞬時増加の有無とに基づいて、運転者の疲労度を判定する。その際、拍動間隔の分散または標準偏差を算出して、これを拍動間隔の変動として用いることが提案されている。しかしながら、心拍は血圧維持等の生命活動を反映したものであり、また情動や体動の影響を受けるため、心拍の変動は必ずしも平均心拍数を中心に正規分布しないとみなされているため、拍動間隔の変動傾向を一律に分散や標準偏差で表し、その結果に基づいて疲労度の評価を行うと、その疲労度評価が正確なものとならないという問題がある。また、自動車などでは、渋滞している道路では停車が多く発生し、高速道路などではほとんど停車が発生しない。従って、そのような走行状態では、停車時と走行時との拍動間隔の変動を比較する上記疲労度判定装置を適切に活用することができなくなる。 As conventional devices, measuring means for measuring the heart rate signal of the driver, vehicle speed detecting means for detecting the vehicle speed, and calculating means for calculating fluctuations in the heart rate and the pulsation interval during stopping and running based on the heart rate signal The driver's fatigue level is determined based on the temporal trend of the distribution area when the calculated heart rate and beat interval fluctuation are expanded to two-dimensional coordinates, and whether there is an instantaneous increase in heart rate. There is known a fatigue level determination device provided with a determination means for performing (see Patent Document 1). This fatigue level determination device calculates heart rate and pulsation interval fluctuations when stopping and running based on the driver's heart rate signal, and expands the calculated heart rate and pulsation interval fluctuations into two-dimensional coordinates. The fatigue level of the driver is determined based on the temporal transition tendency of the distribution region and the presence or absence of an instantaneous increase in the heart rate. At this time, it has been proposed to calculate the variance or standard deviation of the pulsation interval and use it as the fluctuation of the pulsation interval. However, since heart rate reflects life activity such as blood pressure maintenance and is affected by emotion and body movement, fluctuations in heart rate are not necessarily distributed normally around the average heart rate. If the fluctuation tendency of the dynamic interval is uniformly expressed by dispersion or standard deviation and the fatigue level is evaluated based on the result, there is a problem that the fatigue level evaluation is not accurate. Also, with cars and the like, there are many stops on a congested road, and almost no stops on a highway. Therefore, in such a running state, the fatigue level determination device that compares fluctuations in the pulsation interval between when the vehicle is stopped and when the vehicle is running cannot be properly used.

心拍変動に基づいて心臓自律神経活動を評価する方法として、トーン・エントロピー解析法が知られている（例えば、非特許文献１参照）。このトーン・エントロピー解析法では、トーンとは、所定時間内に検出された心拍周期の差分値の百分率指数列の算術平均値で、心拍の加速−減速の相対的強度を示す。また、エントロピーとは、前記百分率指数列のエントロピー表現（単位はビット）であり、心臓自律神経活動によりもたらされる心拍加速・減速の強度を示す。 As a method for evaluating cardiac autonomic nervous activity based on heart rate variability, a tone entropy analysis method is known (see, for example, Non-Patent Document 1). In this tone entropy analysis method, a tone is an arithmetic average value of a percentage index sequence of a difference value of heartbeat periods detected within a predetermined time, and indicates a relative intensity of acceleration / deceleration of a heartbeat. The entropy is an entropy expression (unit: bits) of the percentage index sequence, and indicates the strength of heartbeat acceleration / deceleration caused by cardiac autonomic nerve activity.

上記トーン・エントロピー解析法を利用して心拍のゆらぎ解析を行う解析装置と、この解析装置による解析結果に基づいて浴槽に浸かっている入浴者の体調を報知する報知装置とを備えた健康管理システムが提案されている（特許文献２参照）。この健康管理システムでは、公知のトーン・エントロピー法に基づいて算出されたトーン値とエントロピー値との組み合わせ、つまりトーン値とエントロピー値とによって定まるトーン・エントロピー座標面での座標点の位置によって入浴者の体調が評価される。しかしながら、このようにトーン値とエントロピー値との組み合わせだけでは、刻々と変動する心的負荷要因によって変化する車両運転者の心的負荷を精度よく評価することは難しい。 A health management system comprising an analysis device that performs heart rate fluctuation analysis using the tone-entropy analysis method, and a notification device that reports the physical condition of the bather in the bathtub based on the analysis result of the analysis device Has been proposed (see Patent Document 2). This health care system uses a combination of tone values and entropy values calculated based on a known tone entropy method, that is, the position of a coordinate point on the tone entropy coordinate plane determined by the tone value and entropy value. The physical condition of is evaluated. However, it is difficult to accurately evaluate the mental load of the vehicle driver that changes due to the constantly changing mental load factor only by combining the tone value and the entropy value.

特開２００２−６５６５０号公報（段落番号０００７−００１７、図９、図１０）JP 2002-65650 A (paragraph numbers 0007-0017, FIGS. 9 and 10) 特開２００４−２６７４０９号公報（段落番号０００７−００３２、図６）Japanese Patent Laying-Open No. 2004-267409 (paragraph numbers 0007-0032, FIG. 6) 「運動と栄養と食品」編者伏木亨、朝倉書店、2006年11月25日、P.124-153“Exercise, Nutrition and Food” Editor Fumiki Fushiki, Asakura Shoten, November 25, 2006, P.124-153

上記実状に鑑み、本発明の目的は、トーン・エントロピー解析法に基づいて、できるだけ簡単でかつ正確に車両運転者の心的負荷を評価して、適正な運転のための情報を運転者に報知する運転者監視装置を提供することである。 In view of the above circumstances, the object of the present invention is to evaluate the vehicle driver's mental load as easily and accurately as possible based on the tone entropy analysis method and to inform the driver of information for proper driving. It is to provide a driver monitoring device.

上記目的を達成するため、本発明に係る運転者監視装置の１つは、車両の運転者の心拍を検出する心拍検出センサと、前記心拍検出センサからの信号に基づいてＲ波（後で詳述される）の周期であるＲ−Ｒ間隔を順次算出する心拍信号処理手段と、前記Ｒ−Ｒ間隔に基づいて心拍変動エントロピーを算出し、当該心拍変動エントロピーの経時的挙動（時間的変化）を示すエントロピー挙動パターンを決定する心拍変動エントロピー演算手段と、前記エントロピー挙動パターンに基づいて運転者の心的負荷を評価する心的負荷評価手段と、前記心的負荷評価手段による評価結果を運転者に報知する報知手段とを備えている。 In order to achieve the above object, one of the driver monitoring devices according to the present invention includes a heartbeat detection sensor for detecting a heartbeat of a driver of a vehicle, and an R wave (detailed later) based on a signal from the heartbeat detection sensor. The heart rate signal processing means for sequentially calculating the RR interval which is a cycle of the heart rate fluctuation entropy based on the RR interval, and the temporal behavior (temporal change) of the heart rate variability entropy. A heart rate variability entropy calculating means for determining an entropy behavior pattern indicating a mental load, a mental load evaluation means for evaluating a driver's mental load based on the entropy behavior pattern, and an evaluation result by the mental load evaluation means And informing means for informing.

この構成によれば、上述したトーン・エントロピー解析法に基づいて心拍の波の周期であるＲ−Ｒ間隔の差分列から心拍変動エントロピーが算出され、順次算出される心拍変動エントロピーの経時的挙動がエントロピー挙動パターンとして決定される。つまり、本発明では、心拍変動エントロピーの経時的な増減傾向から運転者の精神的安定度や緊張度などの心的負担が評価される。心拍変動の平均情報量である心拍変動エントロピーの経時的挙動を評価することで、運転者の心的負担に関するより正確な情報が得られる可能性が開けた。 According to this configuration, the heart rate variability entropy is calculated from the difference sequence of the RR interval that is the period of the heartbeat wave based on the tone entropy analysis method described above, and the temporal behavior of the heart rate variability entropy calculated sequentially is Determined as entropy behavior pattern. That is, in the present invention, the mental burden such as the driver's mental stability and tension is evaluated from the tendency of increase / decrease of heartbeat variability entropy over time. By evaluating the temporal behavior of the heart rate variability entropy, which is the average information amount of heart rate variability, the possibility of obtaining more accurate information on the driver's mental burden has been opened.

一般的に、人がリラックスしている時は心拍変動が大きく、緊張を感じている時は心拍変動が小さくなるとみなされている。このことから、心拍変動エントロピーが減少挙動にあるということはＲＲ間隔が大きく変化する頻度が少なくなっていく、つまり心拍変動が小さくなっていく体調であり、心的負荷が増加しているとみなさすことができる。つまり、心拍変動エントロピーの減少挙動は、緊張感が高まっていることと結び付けることができる。ただし、自動車などの車両運転では、運転者にある程度の緊張感がないと適正な運転にはならないという側面がある。運転は事故にあう可能性がある危険な行為であることを運転者が自覚していると、走行開始とともに危険回避のための注意力の発揮（ステアリング操作、アクセル操作、ブレーキ操作、他車や歩行者や進路上の障害物の確認）や、走行時の雰囲気からの非日常的な刺激（音、振動、揺れ、流れる景色）等によって、一般的に考えれば緊張感は走行開始直前を基準として徐々に高まっていくことになる。従って、本発明の好適な実施形態の１つでは、前記エントロピー挙動パターンが心拍変動エントロピーの減少挙動を示しているときには、前記心的負荷評価手段は、運転者が車両運転に順応しているという評価結果を出力するように構成されている。この構成では、少なくとも、走行開始から所定の時間（例えば、1時間以内、好ましくは３０分）において心拍変動エントロピーの減少挙動が示されていることは、運転者は適正な運転を行う状態であるとみなすことができ、それに見合った情報を報知することができる。 In general, it is considered that the heart rate variability is large when a person is relaxed, and the heart rate variability is small when the person feels tension. From this, it is considered that the heartbeat variability entropy is in a decreasing behavior is a physical condition in which the frequency at which the RR interval changes greatly decreases, that is, the heartbeat variability decreases, and the mental load increases. I can do it. That is, the decreasing behavior of the heart rate variability entropy can be linked to the increased tension. However, in driving a vehicle such as an automobile, there is an aspect that proper driving cannot be achieved unless the driver has a certain degree of tension. When the driver is aware that driving is a dangerous act that may cause an accident, the driver will begin to drive and exercise caution to avoid danger (steering, accelerator, braking, other vehicles, In general, the tension is based on the time just before the start of driving due to pedestrians and obstacles in the course) and extraordinary stimuli (sounds, vibrations, shaking, flowing scenery) from the driving atmosphere. Will gradually increase. Therefore, in one preferred embodiment of the present invention, when the entropy behavior pattern indicates a decrease behavior of the heart rate variability entropy, the mental load evaluation means indicates that the driver is adapting to the vehicle driving. An evaluation result is output. In this configuration, at least a predetermined time (for example, within 1 hour, preferably 30 minutes) from the start of running indicates that the heartbeat variability entropy is decreasing, which indicates that the driver is driving properly. Information corresponding to the information can be notified.

逆に、心拍変動エントロピーの増大挙動は、緊張感が低下していることと結び付けることができる。従って、本発明の好適な実施形態の１つでは、前記エントロピー挙動パターンが心拍変動エントロピーの増加挙動を示しているときには、前記心的負荷評価手段は、運転者が車両運転に対する緊張感を低下させているという評価結果を出力するように構成されている。運転者は安全運転を心がけるために適正な緊張感を維持しようとするが、疲労などが原因で緊張感の維持が難しくなることがある。このような運転者が緊張感を維持できなくなってきているという評価、言い換えると運転者の疲労が高まってきているという評価は、走行中の心拍変動エントロピーの増加挙動を通じて行うことができ、それに見合った情報を報知することができる。 On the contrary, the increase behavior of the heart rate variability entropy can be associated with a decrease in the sense of tension. Therefore, in one preferred embodiment of the present invention, when the entropy behavior pattern indicates an increase behavior of heart rate variability entropy, the mental load evaluation means reduces the tension of the driver for driving the vehicle. Is configured to output an evaluation result. The driver tries to maintain an appropriate tension in order to drive safely, but it may be difficult to maintain the tension due to fatigue or the like. Such an evaluation that the driver is unable to maintain a sense of tension, in other words, an evaluation that the driver's fatigue is increasing, can be performed through the increasing behavior of the heartbeat variability entropy while driving, and it is commensurate with it. Information can be notified.

緊張感が高まる傾向にある走行開始から暫らくの間で緊張感が高まらない時は、体調が万全ではなく、不意に睡魔に襲われる可能性が高い。また、乗車前に何らかの理由（仕事上のストレス、対人関係、個人的な悩み等）によって緊張していて、運転によってそれらの緊張からの開放を感じ、緊張感が高まらないということも考えられる。これは俗に言う、ホッとしている状態で、やはり睡魔に襲われる可能性が高い。ここでいう睡魔とは、サーカディアンリズムに支配されていると言われる日々の夜の眠気ではなく、緊張感の低下によって引き起こされる眠気である。このような不意の睡魔に襲われる可能性もエントロピー挙動パターンが減少しない傾向（非減少挙動）、つまり緊張しない傾向にあることから推測することができる。従って、本発明の好適な実施形態の１つでは、車両走行開始後の所定時間内における前記エントロピー挙動パターンが心拍変動エントロピーの非減少挙動を示しているときには、前記心的負荷評価手段は、運転者が不意の睡魔に襲われる可能性があるという評価結果を出力するように構成されている。 When the tension does not increase for a while after the start of running, where the tension tends to increase, the physical condition is not perfect, and there is a high possibility that it will be attacked by sleepiness. It is also possible that the driver is nervous for some reason (working stress, interpersonal relationships, personal concerns, etc.) before boarding, and that he / she feels free from these tensions by driving and does not increase his tension. This is a common feeling, relieved, and is likely to be attacked by a sleeper. Sleepiness here refers to sleepiness caused by a decrease in tension, not daily sleepiness, which is said to be dominated by circadian rhythm. The possibility of being attacked by such unexpected sleepiness can also be estimated from the tendency that the entropy behavior pattern does not decrease (non-decrease behavior), that is, the tendency not to be tense. Therefore, in one preferred embodiment of the present invention, when the entropy behavior pattern shows a non-decreasing behavior of the heart rate variability entropy within a predetermined time after the vehicle starts running, the mental load evaluation means It is configured to output an evaluation result that the person may be attacked by unexpected sleepiness.

上記目的を達成するため、本発明に係る運転者監視装置の他の１つは、車両の運転者の心拍を検出する心拍検出センサと、前記心拍検出センサからの信号に基づいてＲ波の周期であるＲ−Ｒ間隔を順次算出する心拍信号処理手段と、前記Ｒ−Ｒ間隔に基づいて心拍変動エントロピーを算出し、当該心拍変動エントロピーの経時的挙動を示すエントロピー挙動パターンを決定する心拍変動エントロピー演算手段と、前記エントロピー挙動パターンに基づいて運転者の心的負荷を評価する心的負荷評価手段と、車両周辺状況を認識する車両周辺状況認識手段と、前記車両周辺状況認識手段によって認識された車両周辺状況を運転者に報知する際に前記心的負荷評価手段による評価結果に基づいて、当該報知のタイミングや音量などを規定している報知モードを変更する報知手段とを備えている。 In order to achieve the above object, another one of the driver monitoring devices according to the present invention includes a heartbeat detection sensor for detecting a heartbeat of a vehicle driver, and a period of an R wave based on a signal from the heartbeat detection sensor. The heart rate signal processing means for sequentially calculating the RR interval and the heart rate variability entropy for calculating the heart rate variability entropy based on the RR interval and determining the entropy behavior pattern indicating the temporal behavior of the heart rate variability entropy. Recognized by the computing means, the mental load evaluation means for evaluating the driver's mental load based on the entropy behavior pattern, the vehicle surrounding situation recognition means for recognizing the vehicle surrounding situation, and the vehicle surrounding situation recognition means When notifying the driver of the situation around the vehicle, the timing and volume of the notification are specified based on the evaluation result by the mental load evaluation means. And a notification means to change the intellectual mode.

この構成では、心的負荷評価手段によって評価された結果に基づいて車両周辺状況認識手段によって認識されている車両周辺状況、例えば、「近くに休憩スペースがある」、「近くにコンビニがある」、「まもなく連続した急カーブが始まる」といった情報を報知するかどうかを含めた報知タイミングやその報知を音声で行う場合にはその音量などを、報知モードを変更することで現状の運転者の心的負荷状態に応じて適切に選択することができる。 In this configuration, the vehicle surrounding situation recognized by the vehicle surrounding situation recognition unit based on the result evaluated by the mental load evaluation unit, for example, “There is a rest space nearby”, “There is a convenience store nearby”, By changing the notification mode, you can change the notification mode, including the notification timing including whether to notify information such as “Soon, a sudden sharp curve will start”, and the notification. An appropriate selection can be made according to the load state.

具体的には、前記エントロピー挙動パターンが心拍変動エントロピーの増加挙動を示しているときには、前記心的負荷評価手段は、運転者が車両運転に対する緊張感を低下させているという緊張感低下評価結果を出力し、この緊張感低下評価結果の出力に基づいて前記報知手段は前記報知モードを変更して、上述したような車両周辺状況の報知のタイミングを早めたり、音量を大きくしたりする構成を採用すると好適である。 Specifically, when the entropy behavior pattern indicates an increase behavior of heart rate variability entropy, the mental load evaluation means obtains a tension decrease evaluation result indicating that the driver is decreasing the tension with respect to vehicle driving. Based on the output of the tension reduction evaluation result, the notification means changes the notification mode so that the timing of notification of the vehicle surrounding situation as described above is advanced or the volume is increased. It is preferable.

カーブ走行、後進(バック)走行、追い越し走行、急加速や急ブレーキや急ハンドルをともなう走行などでは、直進前進走行などの運転が楽な走行に比べて運転者は強い緊張感を持つことになる。必然的に緊張を強いるような走行時における心拍変動エントロピーを心的負荷の評価に採用すると、それが経時的なエントロピー挙動パターンにおける極端な値となってしまい、エントロピー挙動パターンに基づく心的負荷の評価を不正確にしてしまう可能性がある。このような問題を避けるため、前記心的負荷評価手段は、低難度運転時のエントロピー挙動パターンのみに基づいて心的負荷を評価するような構成を採用することが好適である。
具体例の１つとして、前記心的負荷評価手段が、運転者の呼吸が荒くないときのエントロピー挙動パターンのみに基づいて心的負荷を評価するように構成することができる。人は呼吸が荒いときにＲ−Ｒ間隔が乱れる傾向があるので、そのときのエントロピー挙動パターンに基づく心的負荷の評価が不正確になる可能性が高くなる。このため、運転者の呼吸が荒くないときのエントロピー挙動パターンのみに基づいて心的負荷を評価することは心的負荷の正確な評価を得る上で利点がある。同様に好ましい具体例の１つとして、前記心的負荷評価手段が、運転者が発話していないときのエントロピー挙動パターンのみに基づいて心的負荷を評価するように構成することができる。人は、発話してときにもＲ−Ｒ間隔が乱れる傾向があるので、そのときのエントロピー挙動パターンに基づく心的負荷の評価も不正確になる可能性が高くなる。従って、運転者が発話していないときのエントロピー挙動パターンのみに基づいて心的負荷を評価することも心的負荷の正確な評価を得る上で好都合である。もちろん、運転者の呼吸が荒くないとき、及び運転者が発話していないときという条件を組み合わせて利用してもよい。 In curves, backwards (back), overtaking, sudden acceleration, sudden braking and sudden steering, etc., the driver has a stronger sense of tension compared to driving that is easy to drive straight forward. . If the entropy of heart rate variability during driving that inevitably imposes tension is adopted in the evaluation of the mental load, it becomes an extreme value in the entropy behavior pattern over time, and the mental load based on the entropy behavior pattern The evaluation may be inaccurate. In order to avoid such a problem, it is preferable that the mental load evaluation unit adopts a configuration in which the mental load is evaluated based only on the entropy behavior pattern at the time of low difficulty driving.
As one specific example, the mental load evaluation means can be configured to evaluate the mental load based only on the entropy behavior pattern when the driver's breathing is not rough. Since a person tends to disturb the RR interval when breathing is rough, there is a high possibility that the evaluation of the mental load based on the entropy behavior pattern at that time becomes inaccurate. Therefore, evaluating the mental load based only on the entropy behavior pattern when the driver's breathing is not rough is advantageous in obtaining an accurate evaluation of the mental load. Similarly, as one of the preferred specific examples, the mental load evaluation means can be configured to evaluate the mental load based only on the entropy behavior pattern when the driver is not speaking. Since a person tends to disturb the RR interval even when speaking, there is a high possibility that the evaluation of the mental load based on the entropy behavior pattern at that time will be inaccurate. Therefore, it is convenient to evaluate the mental load based only on the entropy behavior pattern when the driver is not speaking in order to obtain an accurate evaluation of the mental load. Of course, a combination of conditions such as when the driver's breathing is not rough and when the driver is not speaking may be used.

また、心拍変動エントロピーと心的負荷の関係は、個人差を有することがわかっている。このことから、この運転者監視装置によって複数の運転者によって利用される場合では、運転者毎に心的負荷評価のための判定基準を変えることが好適である。さらには、同一の運転者における過去のエントロピー挙動パターンを利用して、心拍変動エントロピーと心的負荷の関係を評価することが好ましい。そのような要望を満たすための好適な実施形態の１つでは、前記心拍変動エントロピー演算手段で決定されたエントロピー挙動パターンを運転者別に記録するエントロピー記録部が備えられ、前記心的負荷評価手段は、前記エントロピー挙動パターンに基づいて前記心拍変動エントロピーの減少挙動または増加挙動を判定する際に、同一運転者の過去のエントロピー挙動パターンを参照するように構成される。 Moreover, it is known that the relationship between heartbeat variability entropy and mental load has individual differences. Therefore, when the driver monitoring device is used by a plurality of drivers, it is preferable to change the determination criteria for the mental load evaluation for each driver. Furthermore, it is preferable to evaluate the relationship between the heartbeat variability entropy and the mental load using the past entropy behavior pattern of the same driver. In one preferred embodiment for satisfying such a demand, an entropy recording unit that records the entropy behavior pattern determined by the heartbeat variability entropy calculating unit for each driver is provided, and the mental load evaluating unit includes When determining the decrease or increase behavior of the heartbeat variability entropy based on the entropy behavior pattern, the past entropy behavior pattern of the same driver is referred to.

以下、本発明の実施形態を図面に基づいて説明する。この実施形態では、図１に示すように、運転者監視装置は自動車１に搭載されている。運転座席２に座っている運転者の心電信号を検出するために運転座席２に心拍検出ユニット３が装備されている。心拍検出ユニット３は、運転者の体に接触する心拍検出センサ３ａを備えている。心拍検出センサ３ａとして、正確な心電信号を取得するためには運転者の心臓を挟むように選択された３つの位置に付けられる心拍検出電極が最適であるが、本発明で重要であるＲ波の周期であるＲ−Ｒ間隔が擬似的に検出できるのであれば、運転座席２に配置され運転者との接触状態が得られる脈拍センサなどで代用することができる。例えば、腕時計や衣服など身体に付けているもので脈拍が計測できるような技術を利用してＲ−Ｒ間隔を検出する構成を採用することも可能である。心拍検出センサ３ａで得られた心拍信号は心拍検出ユニット３を介して運転者監視コントローラ４に送られる。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In this embodiment, as shown in FIG. 1, the driver monitoring device is mounted on the automobile 1. In order to detect an electrocardiogram signal of a driver sitting in the driver's seat 2, the driver's seat 2 is equipped with a heartbeat detecting unit 3. The heart rate detection unit 3 includes a heart rate detection sensor 3a that contacts the driver's body. As the heartbeat detection sensor 3a, heartbeat detection electrodes attached to three positions selected so as to sandwich the driver's heart are optimal for obtaining an accurate electrocardiographic signal, but R is important in the present invention. If the RR interval, which is the wave period, can be detected in a pseudo manner, a pulse sensor or the like that is arranged in the driver's seat 2 and obtains a contact state with the driver can be substituted. For example, it is possible to employ a configuration in which the RR interval is detected by using a technique such as a wristwatch or clothes attached to the body that can measure the pulse. The heartbeat signal obtained by the heartbeat detection sensor 3 a is sent to the driver monitoring controller 4 via the heartbeat detection unit 3.

運転者監視コントローラ４は、図２に示されているように、車載ＬＡＮによってナビゲーションコントローラ５などの他のコントローラとデータ伝送可能に接続されている。運転者監視コントローラ４は、心拍信号処理手段４１と、心拍変動エントロピー演算手段４２と、心的負荷評価手段４３と、報知手段４４とを備えている。報知手段４４は、音声によって情報を運転者に報知するために車載スピーカ６と接続され、画像によって情報を運転者に報知するために車載モニタ７と接続されている。そのような報知のために、音声以外の単なる音（チャイム、アラームなど）、さらには振動（座席、シートベルト、ステアリングハンドル、ペダル等が震える構成）を採用することも有効である。 As shown in FIG. 2, the driver monitoring controller 4 is connected to another controller such as the navigation controller 5 via an in-vehicle LAN so as to be able to transmit data. The driver monitoring controller 4 includes a heartbeat signal processing means 41, a heartbeat variability entropy calculation means 42, a mental load evaluation means 43, and a notification means 44. The notification means 44 is connected to the vehicle-mounted speaker 6 to notify the driver of information by voice, and is connected to the vehicle-mounted monitor 7 to notify the driver of information by image. For such notification, it is also effective to employ simple sounds (chimes, alarms, etc.) other than voices, and vibrations (a configuration in which the seat, seat belt, steering handle, pedal, etc. shake).

心拍信号処理手段４１は、心拍検出ユニット３において必要な前処理（ノイズ除去やプリ増幅など）を施された心拍検出センサ３ａからの信号に基づいてＲ波の周期であるＲ−Ｒ間隔を順次算出する。図３に模式的に示されているように、心電図波形において、Ｐ波、Ｑ波、Ｒ波、Ｓ波、Ｔ波が定義されており、Ｒ波は心臓の左心室が収縮して全身に血液を送り出す拍動タイミングで発生する心室の電気的興奮を反映する波である。１分間のＲ波の数が一般的に心拍数と呼ばれているが、本発明では、１つのＲ波から次のＲ波までの時間であるＲ−Ｒ間隔が利用される。従って、心拍信号処理手段４１は、心拍検出センサ３ａの信号からＲ波を検出するＲ波検知部４１ａと、順次検出されるＲ波からＲ−Ｒ間隔を算出するＲ−Ｒ間隔算出部４１ｂとを備えている。なお、この心拍信号処理手段４１の機能を心拍検出ユニット３に持たせて、心拍検出ユニット３で算出されたＲ−Ｒ間隔を示す信号を運転者監視コントローラ４に送る構成を採用してもよい。 The heartbeat signal processing means 41 sequentially sets the R-R interval, which is the period of the R wave, based on the signal from the heartbeat detection sensor 3a that has been subjected to necessary preprocessing (such as noise removal and preamplification) in the heartbeat detection unit 3. calculate. As schematically shown in FIG. 3, in the electrocardiogram waveform, P wave, Q wave, R wave, S wave, and T wave are defined, and the R wave contracts in the whole body as the left ventricle of the heart contracts. It is a wave that reflects the electrical excitation of the ventricle that occurs at the timing of the pulsation that pumps out blood. The number of R waves per minute is generally called a heart rate, but in the present invention, an RR interval, which is the time from one R wave to the next R wave, is used. Therefore, the heartbeat signal processing means 41 includes an R wave detection unit 41a that detects an R wave from the signal of the heartbeat detection sensor 3a, and an RR interval calculation unit 41b that calculates an RR interval from sequentially detected R waves. It has. A configuration may be adopted in which the heartbeat detection unit 3 has the function of the heartbeat signal processing means 41 and a signal indicating the RR interval calculated by the heartbeat detection unit 3 is sent to the driver monitoring controller 4. .

心拍変動エントロピー演算手段４２は、心拍信号処理手段４１から送られてきたＲ−Ｒ間隔に基づいて心拍変動エントロピーを算出し、当該心拍変動エントロピーの経時的挙動を示すエントロピー挙動パターンを決定する。心拍変動エントロピーの演算方法は、上述した非特許文献に詳しく説明されているが、ここでも簡単に説明する。まず、時系列データとしてのＲ−Ｒ間隔：Ｉ(n)から隣接するＲ−Ｒ間隔の百分率指数：ＰＩ(n)を以下のように求める。
ＰＩ(n)＝100×[Ｉ(n)−Ｉ(n+1)]／Ｉ(n)
この式より、ＰＩ(n)が正の値であるときは、ｎ番目のＲ−Ｒ間隔よりｎ＋１番目のＲ−Ｒ間隔が短く、Ｒ−Ｒ間隔が増加したことになり、ＰＩ(n)が負の値であるときは、ｎ番目のＲ−Ｒ間隔よりｎ＋１番目のＲ−Ｒ間隔が長く、Ｒ−Ｒ間隔が減少したことになる。所定個数：ＮのＰＩ(n)の算術平均はトーンと呼ばれ心拍の加速−減速の相対的強度を示す。
なお、実測データからＰＩ(n)を計算すると非常に大きな値（＋100％、−80％など）が出現することがある。これは、ミラー確認や身じろぎといった体動によって体と脈拍センサの接触が途絶えること、あるいはくしゃみや咳といったことで生じるＲ−Ｒ間隔の異常値（脈拍計測ミス）によるもので、心拍変動エントロピーを計算する際は無視すべき異常値である。異常値の削除のためには、採用するＰＩ(n)にある程度の許容範囲を設定するとよい。その許容範囲は運転者毎の個人差によって設定するとよいが、例えば−40％＝＜ＰＩ(n) ＝＜＋40％を初期値とし、ＰＩ(n)が度数分布傾向から必要に応じてその範囲を拡縮することが好ましい。これにより、正しいデータで心拍変動エントロピーを計算することができる。なお、後述する実験結果では、−15％＝＜ＰＩ(n) ＝＜＋15％が採用されている。
次に、この百分率指数：ＰＩ(n)に情報理論におけるエントロピーの考え方を適用する。すなわち、ｆiをＰＩ(n)が整数値iをもつ度数とすると、確率Ｐ(i)は、
Ｐ(i)＝ｆi／ｆ、ここでｆは全度数
となる。この確率分布に対して、上記エントロピーを適用したものを心拍変動エントロピーとすると、これは以下の式で求められ、単位はビットである。
−ΣＰ(i)log₂Ｐ(i)
この心拍変動エントロピーを求める際の演算区間は、心拍変動を評価するためには１００拍以上が好ましく、また演算区間を長く取り過ぎると変化の傾向がわかりにくくなるので、２分から１０分、好ましくは２分から４分、例えば３分が好適である。さらに演算区間のオーバーラップ率は、演算処理能力に応じて決定されることになるが、オーバーラップ率を上げるほど評価精度が向上するので、オーバーラップ率８０％程度が好都合である。 The heart rate variability entropy calculating means 42 calculates heart rate variability entropy based on the RR interval sent from the heart rate signal processing means 41, and determines an entropy behavior pattern indicating the temporal behavior of the heart rate variability entropy. The method for calculating the heartbeat variability entropy is described in detail in the above-mentioned non-patent document, but will be briefly described here. First, the percentage index: PI (n) of the adjacent RR interval is obtained from the RR interval: I (n) as time series data as follows.
PI (n) = 100 × [I (n) −I (n + 1)] / I (n)
From this equation, when PI (n) is a positive value, the (n + 1) th RR interval is shorter than the nth RR interval, and the RR interval is increased. PI (n) Is a negative value, the (n + 1) th RR interval is longer than the nth RR interval, and the RR interval is reduced. Arithmetic average of PI (n) of a predetermined number: N is called a tone and indicates the relative strength of acceleration-deceleration of the heartbeat.
When PI (n) is calculated from actually measured data, very large values (+ 100%, −80%, etc.) may appear. This is due to the abnormal value of the RR interval (pulse measurement error) caused by contact between the body and the pulse sensor being interrupted by body movement such as mirror confirmation or body sneezing, or sneezing or coughing, and heart rate variability entropy is calculated. This is an abnormal value that should be ignored. In order to delete abnormal values, it is preferable to set a certain allowable range for PI (n) to be adopted. The permissible range may be set according to individual differences for each driver. For example, −40% = <PI (n) = <+ 40% is set as the initial value, and PI (n) is within the range as needed from the frequency distribution tendency. Is preferably enlarged or reduced. Thereby, heart rate variability entropy can be calculated with correct data. In the experimental results described later, −15% = <PI (n) = <+ 15% is adopted.
Next, the concept of entropy in information theory is applied to this percentage index: PI (n). That is, if fi is a frequency with PI (n) having an integer value i, the probability P (i) is
P (i) = fi / f, where f is the full frequency. Assuming that the entropy to which the above entropy is applied to this probability distribution is the heart rate variability entropy, this is obtained by the following equation, and the unit is bits.
-ΣP (i) log ₂ P (i)
The calculation interval for obtaining the heart rate variability entropy is preferably 100 beats or more in order to evaluate heart rate variability, and if the calculation interval is excessively long, the tendency of change becomes difficult to understand. 2 minutes to 4 minutes, for example 3 minutes is preferred. Furthermore, the overlap rate of the calculation section is determined according to the calculation processing capability. However, since the evaluation accuracy is improved as the overlap rate is increased, an overlap rate of about 80% is convenient.

心拍変動エントロピーの挙動パターンが減少傾向にあるということはＲ−Ｒ間隔が大きく変化する頻度が少なくなっていく、つまり心拍変動が小さくなっていく体調であるということになるので、減少傾向の心拍変動エントロピー挙動パターンは緊張感が高まっていることを示していると考えられる。逆に、増加傾向の心拍変動エントロピー挙動パターンは、緊張感が低下、言い換えると緊張感の維持が難しくなってきていること、つまり疲労が高まっていることを示していると考えられる。 The fact that the behavior pattern of the heart rate variability entropy tends to decrease means that the frequency at which the RR interval changes greatly decreases, that is, the physical condition that the heart rate variability decreases. Fluctuating entropy behavior patterns are thought to indicate increased tension. On the other hand, the increasing heartbeat variability entropy behavior pattern is considered to indicate that the feeling of tension is lowered, in other words, it is becoming difficult to maintain the feeling of tension, that is, fatigue is increasing.

上述した心拍変動エントロピーに関する演算処理を行う心拍変動エントロピー演算手段４２は、従って、時系列データとしてのＲ−Ｒ間隔から心拍変動エントロピーを算出する心拍変動エントロピー算出部４２ａと、所定数の心拍変動エントロピーから心拍変動エントロピーの経時的挙動を示すエントロピー挙動パターン（増減状態）を決定する心拍変動エントロピー演算手段４２ｂとを備えている。 Therefore, the heart rate variability entropy calculating means 42 that performs the above-described calculation processing related to the heart rate variability entropy, therefore, the heart rate variability entropy calculating unit 42a that calculates the heart rate variability entropy from the RR interval as time series data, and a predetermined number of heart rate variability entropy. And a heartbeat variability entropy calculating means 42b for determining an entropy behavior pattern (increase / decrease state) indicating the behavior of the heartbeat variability entropy over time.

心的負荷評価手段４３は、心拍変動エントロピー演算手段４２によって決定された1つ以上のエントロピー挙動パターンに基づいて運転者の精神的安定度や緊張度といった心的負荷を評価する評価アルゴリズムを備えている。さらに、この運転者監視コントローラ４は、自動車１を運転している運転者が適正な運転状態であるかどうかの評価を行うものであるので、この評価アルゴリズムには現在の心的負荷から今後どのくらい適正運転を維持できるかを推定するアルゴリズムも含まれている。 The mental load evaluation unit 43 includes an evaluation algorithm for evaluating a mental load such as a mental stability and a tension level of the driver based on one or more entropy behavior patterns determined by the heart rate variability entropy calculation unit 42. Yes. Further, the driver monitoring controller 4 evaluates whether or not the driver who is driving the automobile 1 is in an appropriate driving state. An algorithm that estimates whether proper operation can be maintained is also included.

このエントロピー挙動パターンに基づく心的負荷評価の原理を図４と図５とを用いて説明する。図４と図５は、実際の自動車１を走行させて得られた実験結果に基づくものである。図４は心的負荷の大きく減少した走行時のエントロピー挙動パターンの変化の様子を経時的に示すグラフであり、図５は心的負荷の変化しなかった走行時のエントロピー挙動パターンの変化の様子を経時的に示すグラフである。なお、運転者における心的負荷の変化は、アンケート方式で運転者から得られた情報に基づいており、図４の挙動が得られた走行時においては、運転者は走行後２時間から３時間にかけて心的負荷が低下したとの感想を持ち、図５の挙動が得られた走行時においては、運転者は全ての走行時間において心的負荷が変わらなかったとの感想を持っている。 The principle of mental load evaluation based on this entropy behavior pattern will be described with reference to FIGS. 4 and 5 are based on experimental results obtained by running an actual automobile 1. FIG. 4 is a graph showing how the entropy behavior pattern changes during running with a greatly reduced mental load, and FIG. 5 shows how the entropy behavior pattern changes during running when the mental load did not change. FIG. The change in the mental load on the driver is based on the information obtained from the driver by a questionnaire method, and the driver takes 2 to 3 hours after traveling when the behavior shown in FIG. 4 is obtained. During the travel in which the behavior shown in FIG. 5 was obtained, the driver felt that the mental load did not change during all travel times.

図４から、走行時間が０から２時間の間でエントロピー挙動パターンが大きな時系列的な変化を示していないが、２時間から３時間の間でエントロピー挙動パターンが大きく増加する変化を示していることが理解できる。この結果から、走行から所定時間経過後のエントロピー挙動パターンの増加挙動は運転者の心的負荷の減少、つまりリラックス状態に結びつけることができる。逆に、図５から、全ての走行時間においてエントロピー挙動パターンが際立った増減変化を示していないことが理解できる。この結果から、走行から所定時間経過後のエントロピー挙動パターンの増減無挙動は運転者の心的負荷の無変化に結びつけることができる。 From FIG. 4, the entropy behavior pattern does not show a large time-series change when the running time is between 0 and 2 hours, but shows a change where the entropy behavior pattern greatly increases between 2 hours and 3 hours. I understand that. From this result, the increase behavior of the entropy behavior pattern after elapse of a predetermined time from running can be linked to a decrease in the driver's mental load, that is, a relaxed state. On the contrary, it can be understood from FIG. 5 that the entropy behavior pattern does not show any significant increase or decrease change in all travel times. From this result, the increase / decrease behavior of the entropy behavior pattern after elapse of a predetermined time from running can be linked to the change of the driver's mental load.

さらには、より運転者の適正運転状態を判断するための実験結果が図６から図９に示されている。図６は、運転者が眠気なく３時間走行できたときのエントロピー挙動パターンの変化の様子を経時的に示すグラフであり、図７は、運転者が強い眠気を感じて２時間走行が限界だったときのエントロピー挙動パターンの変化の様子を経時的に示すグラフである。図６において走行開始後に示されているエントロピー挙動パターンの減少挙動は、自動車運転による緊張感の高まりを示しており、自動車の運転においてはそのような適度の緊張感の高まりは眠気を追いやることにも貢献する。その結果、この状態の運転者は、眠気なく３時間の走行が可能であったと考えられる。これに対して、図７において走行後にエントロピー挙動パターンの減少挙動が見られないことは、自動車の運転にもかかわらず緊張感が少ないこと、つまり気が抜けていることを示しており、このことは運転者が睡魔に襲われやすい状態であることを裏付けている。その結果、この状態の運転者は、強い眠気を感じて２時間走行が限界だったと考えられる。 Furthermore, the experimental results for determining the proper driving state of the driver are shown in FIGS. FIG. 6 is a graph showing the change in entropy behavior pattern over time when the driver has been able to run without sleepiness for 3 hours, and FIG. 7 is the limit of 2 hours driving because the driver feels strong sleepiness. It is a graph which shows the mode of the change of the entropy behavior pattern at the time. The decreasing behavior of the entropy behavior pattern shown in FIG. 6 after the start of driving indicates an increase in tension caused by driving a car, and such a moderate increase in tension drives driving sleepiness. Also contribute. As a result, it is considered that the driver in this state was able to travel for 3 hours without sleepiness. On the other hand, the absence of a decrease in the entropy behavior pattern after running in FIG. 7 indicates that there is little tension despite driving the car, that is, it is unattractive. Confirms that the driver is prone to sleep. As a result, it is considered that the driver in this state felt strong sleepiness and could not travel for 2 hours.

図８は、運転者が疲れを強く感じたときのエントロピー挙動パターンの変化の様子を経時的に示すグラフであり、図９は運転者が疲れをあまり感じなかったときのエントロピー挙動パターンの変化の様子を経時的に示すグラフである。図８において走行開始後に示されているエントロピー挙動パターンのほぼ連続的な増大挙動は、自動車運転による緊張感の高まりがないという以上に、つまり疲労等に起因して緊張感を維持できない状態であることを示している。その結果、この状態の運転者は、疲れを強く感じたと考えられる。これに対して、図９において走行後に示されているエントロピー挙動パターンのほぼ連続的な非増大挙動は、走行開始からの緊張感の高まりは一定のレベルで止まっていることを示している。その結果、この状態の運転者は運転に適した緊張感を終始維持しており、運転に支障があるほどの強い疲れを感じることがなかったと考えられる。 FIG. 8 is a graph showing changes in entropy behavior patterns over time when the driver feels tired strongly, and FIG. 9 shows changes in entropy behavior patterns when the driver feels less fatigue. It is a graph which shows a mode over time. The almost continuous increase behavior of the entropy behavior pattern shown after the start of running in FIG. 8 is a state in which tension cannot be maintained due to fatigue or the like, in addition to no increase in tension due to driving of a car. It is shown that. As a result, it is considered that the driver in this state felt tired strongly. On the other hand, the substantially continuous non-increasing behavior of the entropy behavior pattern shown after running in FIG. 9 indicates that the increase in tension from the start of running stops at a certain level. As a result, it is considered that the driver in this state maintained a tension suitable for driving from start to finish and did not feel tired enough to hinder driving.

このように、心的負荷評価手段４３は、エントロピー挙動パターンの変化の様子に基づいて運転者の心的負荷、より詳しくは運転者が適正な運転状態にあるかどうかを評価する。心的負荷評価手段４３の具体的な構築は、上述したようなエントロピー挙動パターンの変化の様子とその結果としての運転者の運転状態をルール化することで可能となる。また、ニューラルネットワークのような制御アルゴリズムを用いて、種々のエントロピー挙動パターンを入力層に入力することにより、今後の運転者の状態、結果としては運転状態を出力するようにしてもよい。いずれにしても、心的負荷評価手段４３で得られた評価結果は報知手段４４に出力される。 Thus, the mental load evaluation means 43 evaluates the driver's mental load, more specifically, whether or not the driver is in an appropriate driving state based on the state of change of the entropy behavior pattern. The specific construction of the mental load evaluating means 43 is possible by making rules on the state of change of the entropy behavior pattern as described above and the driving state of the driver as a result. Further, by using a control algorithm such as a neural network, various entropy behavior patterns may be input to the input layer, so that the future driver's state and consequently the driving state may be output. In any case, the evaluation result obtained by the mental load evaluation means 43 is output to the notification means 44.

報知手段４４は心的負荷評価手段４３から得られた運転者の状態を運転者に報知するか、あるいはその運転者の状態が適正な運転にふさわしくない場合、その状態を改善するための情報を運転者に報知する。例えば、運転者に休憩を促したり、休憩できるパーキングやその他の施設の存在をナビゲーションコントローラ５と協働して報知したりすることが有効である。そのような報知は、心的負荷評価手段４３からの上記評価結果によってその重要度は異なる。休憩の促しや近くの休憩施設の報知を高い重要度で行いたい場合、通常のタイミングより早く報知したり、音声報知の場合その音量を大きくしたりすることが効果的となる。そのため、報知手段４４には、そのような報知モードを心的負荷評価手段４３の評価結果に応じて切り換える報知モード切替部４４ａが備えられている。 The informing means 44 informs the driver of the state of the driver obtained from the mental load evaluating means 43, or if the state of the driver is not suitable for proper driving, information for improving the state is provided. Notify the driver. For example, it is effective to prompt the driver to take a break or to inform the presence of a parking or other facility where the driver can take a break in cooperation with the navigation controller 5. The importance of such notification varies depending on the evaluation result from the mental load evaluation means 43. When it is desired to promote breaks and notify nearby break facilities with a high degree of importance, it is effective to notify earlier than normal timing or to increase the volume in the case of voice notification. Therefore, the notification unit 44 includes a notification mode switching unit 44 a that switches such a notification mode according to the evaluation result of the mental load evaluation unit 43.

この実施形態では、ナビゲーションコントローラ５は、ＧＰＳなどの自車位置検知ユニットや地図データベースと接続されている。さらに、本発明と特に関係する機能として、走行中の車速や走行中道路の車幅・交通量などの車両走行環境情報を取得して評価する車両走行環境評価手段５１、及び近くに位置するパーキングやサービスエリア、あるいは急カーブ地帯などの走行危険地帯を自車位置と地図情報から認識する車両周辺状況認識手段５２を備えている。 In this embodiment, the navigation controller 5 is connected to a vehicle position detection unit such as GPS and a map database. Furthermore, as a function particularly related to the present invention, vehicle traveling environment evaluation means 51 that acquires and evaluates vehicle traveling environment information such as a traveling vehicle speed, a vehicle width and a traffic volume of a traveling road, and a nearby parking Vehicle surrounding situation recognizing means 52 for recognizing a driving danger zone such as a car area, a service area, or a sharp curve zone from the vehicle position and map information.

カーブ走行や後進(バック)走行などでは、直進前進走行などの運転が楽な走行に比べて運転者は体調に関係なく強い緊張感を持ってしまう可能性が高いので、上述した運転者の心的負荷の評価は、直進前進走行などの運転が楽な走行時に行うことが好適である。このため、運転者監視コントローラ４は、車両走行環境評価手段５１から車両走行環境情報を受け取ることができるように接続されており、交通量も少ない主に直線道路での運転といった低難度運転時以外では心的負荷評価を行わないように制御されている。また、運転者監視コントローラ４は、運転者の操舵量（ハンドルの操舵角センサの値）に基づいて直線道路での運転であることを判別することも可能である。さらには、運転者が操舵操作しているときや、後進時に運転者が体を動かしてときなどにおける体動が心拍を乱すために、そのようなときには心的付加の評価を行わないという方法を組み入れることもできる。 When driving in a curve or in reverse (back), the driver is more likely to have a strong sense of tension, regardless of physical condition, compared to driving that is easy to drive straight forward, etc. It is preferable that the target load is evaluated during traveling such as straight forward traveling. For this reason, the driver monitoring controller 4 is connected so as to be able to receive the vehicle travel environment information from the vehicle travel environment evaluation means 51, and has a low traffic volume except when driving at low difficulty such as driving on a straight road. Therefore, it is controlled not to perform mental stress evaluation. The driver monitoring controller 4 can also determine that the driving is on a straight road based on the driver's steering amount (the value of the steering angle sensor of the steering wheel). Furthermore, since the body movements when the driver is steering, or when the driver moves his body when moving backwards disturbs the heartbeat, the method of not performing mental addition is used in such a case. It can also be incorporated.

さらに、この実施形態の運転者監視コントローラ４は、呼吸評価手段４５とエントロピー記録部４６とを備えている。呼吸評価手段４５は、心拍信号処理手段４１から心拍信号を転送され、運転者の呼吸状態を評価する機能を有する。 Furthermore, the driver monitoring controller 4 of this embodiment includes a respiratory evaluation unit 45 and an entropy recording unit 46. The respiratory evaluation means 45 has a function of receiving a heartbeat signal from the heartbeat signal processing means 41 and evaluating a driver's respiratory state.

運転者の呼吸が荒く、運動直後といったように安静時ではないとみなされた場合には、心拍変動エントロピーが正しく評価できないので、呼吸評価手段４５は、心的負荷評価手段４３に対して評価処理の一時的な停止を要求する。呼吸評価手段４５は、例えば、脈拍センサなどの心拍検出センサ３ａに伝わる胸の動き（肺が膨らむ、しぼむといった動作）から呼吸数をカウントすることで運転者の呼吸を検出することができる。また、同乗者との会話などで運転者が発声している場合でも心拍が乱れる可能性があるので、ここでは図示されていないが、運転者が発声しているかどうかをチェックし、無言時の運転者の心拍信号を心拍変動エントロピーの評価に用いるような構成を採用してもよい。 When the driver's breathing is rough and it is considered that the driver is not at rest, such as immediately after exercise, the heart rate variability entropy cannot be correctly evaluated, so the respiratory evaluation means 45 performs an evaluation process on the mental load evaluation means 43. Request a temporary stop. The respiration evaluation means 45 can detect a driver | operator's respiration by counting the respiration rate from the motion of the chest (operation | movement which a lung expands and squeezes) transmitted to heart rate detection sensors 3a, such as a pulse sensor, for example. Also, even if the driver is speaking in conversation with a passenger, the heartbeat may be disturbed, so although not shown here, check whether the driver is speaking, A configuration in which a driver's heartbeat signal is used for evaluation of heartbeat variability entropy may be employed.

エントロピー記録部４６は、心拍変動エントロピー演算手段４２で決定されたエントロピー挙動パターンを運転者別に記録する。これにより、同じ自動車１が複数の運転者によって運転されても、図示されていない運転者認識ユニットによって認識された運転者の過去のエントロピー挙動パターンがエントロピー記録部４６より読み出され、心的負荷評価手段４３における運転者の心的負荷の評価に利用することができる。例えば、同一運転者の過去の走行開始からのエントロピー挙動パターンを参照データ化し、個人差を考慮した評価を可能することで、より正確な運転者監視が実現する。 The entropy recording unit 46 records the entropy behavior pattern determined by the heartbeat variability entropy calculating means 42 for each driver. Thereby, even if the same vehicle 1 is driven by a plurality of drivers, the past entropy behavior pattern of the driver recognized by the driver recognition unit (not shown) is read from the entropy recording unit 46, and the mental load The evaluation means 43 can be used for evaluating the driver's mental load. For example, entropy behavior patterns from the start of driving in the past by the same driver are converted into reference data, and evaluation taking into account individual differences is possible, thereby realizing more accurate driver monitoring.

次に、上述したように構成された運転者監視装置における簡単化された制御の一例を図１０に示されたフローチャートを用いて説明する。
この制御ルーチンは自動車１のキースイッチをＯＮされることでスタートする。まず、キースイッチがＯＦＦされたかどうかをチェックし（＃０１）、ＯＦＦされると（＃０１No分岐）、この制御ルーチンは終了する。キースイッチがＯＦＦされない限り（＃０１Yes分岐）、心拍信号からのＲ−Ｒ間隔の算出が実行される（＃０２）。その後、心拍変動エントロピー演算のための走行環境条件が満たされているかチェックされる（＃０３）。これは、走行環境が大きく変わると、心拍変動エントロピーが短時間に増加する可能性が高くなるが、このような走行環境の変化による心拍変動エントロピーの急増は、運転に支障がある状態に直接結びつけることができないからである。考慮しなければならない走行環境の変化の例としては、霧などの視界不良の解消、車間距離をつめてくる後続車の消失、狭い道路や急カーブ道路やアップダウン道路といった難走行道路での走行解消などが挙げられる。走行環境条件が満たされていない場合（＃０３No分岐）、それまでの間で演算され評価待ちとなっていた心拍変動エントロピーを破棄し（＃０４）、エントロピー演算タイマをリセットし（＃０５）、ステップ＃０１に戻る。エントロピー演算タイマは心拍変動エントロピーを演算するための演算区間を規定するためのタイマであり、タイムアップ時間は２分に設定されている。走行環境条件が満たされている場合（＃０３Yes分岐）、エントロピー演算タイマがタイムアップしていないかどうかチェックされる（＃０６）。タイムアップしていない場合（＃０６No分岐）、ステップ＃０１に戻る。 Next, an example of simplified control in the driver monitoring apparatus configured as described above will be described using the flowchart shown in FIG.
This control routine starts when the key switch of the automobile 1 is turned on. First, it is checked whether or not the key switch is turned off (# 01). When the key switch is turned off (# 01 No branch), this control routine ends. Unless the key switch is turned off (# 01 Yes branch), the calculation of the RR interval from the heartbeat signal is executed (# 02). Thereafter, it is checked whether or not the driving environment conditions for the heartbeat fluctuation entropy calculation are satisfied (# 03). This is because if the driving environment changes significantly, the heartbeat variability entropy is likely to increase in a short time, but this sudden increase in heartbeat variability entropy due to changes in the driving environment is directly linked to a state that hinders driving. Because you can't. Examples of changes in the driving environment that must be taken into account include elimination of poor visibility such as fog, disappearance of subsequent vehicles that block the distance between vehicles, driving on difficult roads such as narrow roads, sharply curved roads, and up / down roads. The cancellation etc. are mentioned. If the driving environment conditions are not satisfied (# 03 No branch), the heart rate variability entropy that has been calculated and waited for evaluation is discarded (# 04), the entropy calculation timer is reset (# 05), Return to step # 01. The entropy calculation timer is a timer for defining a calculation interval for calculating heartbeat variability entropy, and the time-up time is set to 2 minutes. If the driving environment condition is satisfied (# 03 Yes branch), it is checked whether the entropy calculation timer has timed up (# 06). If the time is not up (# 06 No branch), the process returns to step # 01.

エントロピー演算タイマがタイムアップしている場合（＃０６Yes分岐）、エントロピー演算タイマをリセットして、再スタートさせる（＃０７）。次いで、それまでに算出されている未演算のＲ−Ｒ間隔を用いて心拍変動エントロピーを演算する（＃０８）。その後、心拍変動エントロピーがその経時的な変化であるエントロピー挙動パターンを決定する処理を行うことができる程度に確保されているかどうかチェックされる（＃０９）。確保されていなければ（＃０９No分岐）、ステップ＃０１に戻る。確保されていれば（＃０９Yes分岐）、エントロピー挙動パターン決定処理が行われる（＃１０）。今決定されたエントロピー挙動パターン及び以前に決定されたエントロピー挙動パターンに基づいて、運転に支障をきたす可能性があるかどうかの評価(判定)が行われる（＃１１）。非常に簡単化された評価では、図１１に示すように、正規化された出発ポイントからの心拍変動エントロピーの経時的な変化特性が実質的に閾値レベルの上側領域（運転に支障をきたす恐れがある領域）に入ると運転支障有り評価とし、その変化特性が実質的に閾値レベルの下側領域（問題なく運転できる領域）に入ると運転支障なし評価とする判定アルゴリズムを採用することができる。この閾値レベルは、図示されていない運転者認識ユニットによって認識された運転者別、あるいは、エントロピー記録部４６から読み出された当該転者の過去のエントロピー挙動パターンに基づいて変更することも好適な実施形態の１つである。
なお、上記の「運転に支障をきたす」状態とは、例えばコントロールできない眠気に襲われている状態や覚低走行状態と呼ばれている状態である。この覚低走行状態とは、眠気の自覚が全くなく、目もしっかり見開いているのに「見れども反応せず」という意識（緊張感）が途切れたままで走行してしまう状態である。 If the entropy calculation timer has expired (# 06 Yes branch), the entropy calculation timer is reset and restarted (# 07). Next, the heart rate variability entropy is calculated using the uncalculated RR intervals calculated so far (# 08). Thereafter, it is checked whether or not the heartbeat variability entropy is secured to such an extent that processing for determining an entropy behavior pattern that is a change over time can be performed (# 09). If not secured (# 09 No branch), the process returns to step # 01. If secured (# 09 Yes branch), entropy behavior pattern determination processing is performed (# 10). Based on the entropy behavior pattern determined now and the previously determined entropy behavior pattern, an evaluation (determination) is made as to whether or not there is a possibility of impeding driving (# 11). In a very simplified evaluation, as shown in FIG. 11, the temporal change characteristic of the heart rate variability entropy from the normalized starting point is substantially in the upper region of the threshold level (which may impair driving). It is possible to adopt a determination algorithm that evaluates that there is a driving trouble when entering a certain area), and evaluates that there is no driving trouble when the change characteristic enters a lower area of the threshold level (an area that can be operated without problems). It is also preferable to change the threshold level based on the driver's past entropy behavior pattern read from the entropy recording unit 46 or for each driver recognized by a driver recognition unit (not shown). This is one of the embodiments.
In addition, the above-mentioned “impeding driving” state is, for example, a state of being attacked by uncontrollable sleepiness or a state of low consciousness driving. This low-sense driving state is a state in which the driver has no awareness of drowsiness and has a wide open eye, but is still running with the consciousness (tension) that he / she does not respond.

次いで、評価結果に応じて、運転者に対して何らかの情報を報知する必要があるかどうかがチェックされる（＃１２）。報知する必要がない場合（＃１２No分岐）、ステップ＃０１に戻る。報知する必要がある場合（＃１２Yes分岐）、必要な報知を行い（＃１３）、その後ステップ＃０１に戻る。評価において、今後（例えば今から１時間後）、運転に支障をきたす恐れがあると推定された場合には、その報知内容として、今から３０分程度で到着できる早目の休憩地をナビゲーションコントローラ５に依頼して検索し、抽出された休憩地で休憩することを運転者に促すとよい。また、運転者の状態がさらに急な休憩を要する場合には、さらに早く到達するパーキング可能な場所を報知するとよい。つまり、この発明の特徴の１つは、運転者が疲労や眠気を自覚する前に何らかの報知が可能となることであり、そのような報知により、運転者がまだ適正な運転が可能なうちに安全な休息地に停車することが実現する。これにより、疲労や眠気に襲われながら休息地に向かうという危険な運転に陥ることが防止される。 Next, it is checked whether or not some information needs to be notified to the driver according to the evaluation result (# 12). When it is not necessary to notify (# 12 No branch), the process returns to step # 01. When it is necessary to notify (# 12 Yes branch), necessary notification is performed (# 13), and then the process returns to step # 01. In the evaluation, if it is estimated that there is a risk that it will hinder driving in the future (for example, 1 hour from now), the navigation controller will indicate the early rest area that can be reached in about 30 minutes from now. It is recommended to ask the driver to take a break at the extracted resting place by asking the driver. In addition, when the driver's state requires a quicker break, it is better to notify the parking available place that arrives earlier. In other words, one of the features of the present invention is that any notification can be made before the driver is aware of fatigue or drowsiness. With such notification, the driver can still drive properly. It is possible to stop at a safe resting place. As a result, it is possible to prevent the driver from falling into a dangerous driving toward a resting place while being attacked by fatigue or sleepiness.

上記制御ルーチンでは、走行環境条件が満たされなかった場合、それまで算出されていたＲ−Ｒ間隔のデータ及びそれに基づいて演算された心拍変動エントロピーが破棄されたが、走行環境条件が満たされなかった時間が短時間の場合、その時間に算出されたＲ−Ｒ間隔のデータ及びそれに基づいて演算された心拍変動エントロピーだけを破棄するような構成を採用してもよい。 In the above control routine, when the driving environment condition is not satisfied, the data of the RR interval calculated so far and the heartbeat fluctuation entropy calculated based on the data are discarded, but the driving environment condition is not satisfied. If the time is short, the configuration may be such that only the RR interval data calculated at that time and the heart rate variability entropy calculated based on the data are discarded.

本発明による運転者監視装置は、順次算出されたＲ−Ｒ間隔に基づいて心拍変動エントロピーを算出し、当該心拍変動エントロピーの経時的挙動を示すエントロピー挙動パターンに基づいて運転者の心的負荷を評価する（判定する）ことが最重要な特徴であり、この評価結果に応じた報知のやり方は種々のバリエーションで可能である。例えば、単にその評価結果を音声や画像で運転者に報知してもよいし、また車両周辺状況などの運転支援のための情報を早めにかつ運転者が確実に理解できるような形態（例えば音量アップ）で運転者に与えるようにしてもよい。 The driver monitoring apparatus according to the present invention calculates heartbeat variability entropy based on sequentially calculated RR intervals, and determines the driver's mental load based on an entropy behavior pattern indicating the temporal behavior of the heartbeat variability entropy. Evaluating (determining) is the most important feature, and the manner of notification according to the evaluation result can be made in various variations. For example, the evaluation result may be simply notified to the driver by voice or an image, or a form that allows the driver to understand driving support information such as the vehicle surroundings early and reliably (for example, volume) May be given to the driver.

本発明による運転者監視装置を搭載した自動車の側面図Side view of an automobile equipped with a driver monitoring device according to the present invention 運転者監視コントローラの機能ブロック図Functional block diagram of driver monitoring controller Ｒ−Ｒ間隔の算出を説明する説明図Explanatory drawing explaining calculation of RR interval 心的負荷が大きく減少したときのエントロピー挙動パターンを示す線図Diagram showing entropy behavior pattern when mental load is greatly reduced 心的負荷が大きく変化しなかったときのエントロピー挙動パターンを示す線図Diagram showing entropy behavior pattern when mental load did not change significantly 眠気なく３時間走行できたときのエントロピー挙動パターンを示す線図Diagram showing entropy behavior pattern when driving for 3 hours without sleepiness 強い眠気を感じて２時間走行が限界だったときのエントロピー挙動パターンを示す線図Diagram showing entropy behavior pattern when running for 2 hours is the limit due to strong sleepiness 疲れを強く感じた走行時のエントロピー挙動パターンを示す線図A diagram showing the entropy behavior pattern when driving with strong fatigue 疲れをあまり感じなかった走行時のエントロピー挙動パターンを示す線図Diagram showing entropy behavior pattern during driving without feeling much fatigue 運転者監視装置の制御ルーチンの一例を示すフローチャートA flowchart showing an example of a control routine of the driver monitoring device 走行時間と心拍変動エントロピーとの変化に基づく運転支障の評価を説明する説明図Explanatory drawing explaining evaluation of driving obstacle based on change of travel time and heart rate variability entropy

符号の説明Explanation of symbols

３ａ：心拍検出センサ
４ :運転者監視コントローラ
４１：心拍信号処理手段
４２：心拍変動エントロピー演算手段
４２ａ：エントロピー算出部
４２ｂ：エントロピー挙動パターン決定部
４３：心的負荷評価手段
４４：報知手段
５１：車両走行環境評価手段
５２：車両周辺状況認識手段 3a: Heartbeat detection sensor 4: Driver monitoring controller 41: Heartbeat signal processing means 42: Heartbeat variability entropy calculation means 42a: Entropy calculation part 42b: Entropy behavior pattern determination part 43: Mental load evaluation means 44: Notification means 51: Vehicle Driving environment evaluation means 52: vehicle surrounding situation recognition means

Claims

車両の運転者の心拍を検出する心拍検出センサと、
前記心拍検出センサからの信号に基づいてＲ波の周期であるＲ−Ｒ間隔を順次算出する心拍信号処理手段と、
前記Ｒ−Ｒ間隔に基づいて心拍変動エントロピーを算出し、当該心拍変動エントロピーの経時的挙動を示すエントロピー挙動パターンを決定する心拍変動エントロピー演算手段と、
前記エントロピー挙動パターンに基づいて運転者の心的負荷を評価する心的負荷評価手段と、
前記心的負荷評価手段による評価結果を運転者に報知する報知手段と、
を備える運転者監視装置。 A heart rate detection sensor for detecting the heart rate of the driver of the vehicle;
Heart rate signal processing means for sequentially calculating an R-R interval which is a period of an R wave based on a signal from the heart rate detection sensor;
Heart rate variability entropy calculating means for calculating a heart rate variability entropy based on the RR interval and determining an entropy behavior pattern indicating a temporal behavior of the heart rate variability entropy;
A mental load evaluation means for evaluating a driver's mental load based on the entropy behavior pattern;
Informing means for informing the driver of the evaluation result by the mental load evaluating means,
A driver monitoring device comprising:

前記エントロピー挙動パターンが心拍変動エントロピーの減少挙動を示しているときには、前記心的負荷評価手段は、運転者が車両運転に順応しているという評価結果を出力する請求項１に記載の運転者監視装置。 2. The driver monitoring according to claim 1, wherein when the entropy behavior pattern indicates a decreasing behavior of the heart rate variability entropy, the mental load evaluation unit outputs an evaluation result indicating that the driver is adapted to the vehicle driving. apparatus.

前記エントロピー挙動パターンが心拍変動エントロピーの増加挙動を示しているときには、前記心的負荷評価手段は、運転者が車両運転に対する緊張感を低下させているという評価結果を出力する請求項１または２に記載の運転者監視装置。 3. The mental load evaluation means outputs an evaluation result indicating that the driver is reducing a sense of tension in driving the vehicle when the entropy behavior pattern indicates an increase behavior of heartbeat variability entropy. The driver monitoring device described.

車両走行開始後の所定時間内における前記エントロピー挙動パターンが心拍変動エントロピーの非減少挙動を示しているときには、前記心的負荷評価手段は、運転者が不意の睡魔に襲われる可能性があるという評価結果を出力する請求項１から３のいずれか一項に記載の運転者監視装置。 When the entropy behavior pattern within a predetermined time after the vehicle starts running indicates non-decreasing behavior of heart rate variability entropy, the mental load evaluation means evaluates that the driver may be attacked unexpectedly. The driver | operator monitoring apparatus as described in any one of Claim 1 to 3 which outputs a result.

車両の運転者の心拍を検出する心拍検出センサと、
前記心拍検出センサからの信号に基づいてＲ波の周期であるＲ−Ｒ間隔を順次算出する心拍信号処理手段と、
前記Ｒ−Ｒ間隔に基づいて心拍変動エントロピーを算出し、当該心拍変動エントロピーの経時的挙動を示すエントロピー挙動パターンを決定する心拍変動エントロピー演算手段と、
前記エントロピー挙動パターンに基づいて運転者の心的負荷を評価する心的負荷評価手段と、
車両周辺状況を認識する車両周辺状況認識手段と、
前記車両周辺状況認識手段によって認識された車両周辺状況を運転者に報知する際に前記心的負荷評価手段による評価結果に基づいて、当該報知のタイミングや音量などを規定している報知モードを変更する報知手段と、
を備える運転者監視装置。 A heart rate detection sensor for detecting the heart rate of the driver of the vehicle;
Heart rate signal processing means for sequentially calculating an R-R interval which is a period of an R wave based on a signal from the heart rate detection sensor;
Heart rate variability entropy calculating means for calculating a heart rate variability entropy based on the RR interval and determining an entropy behavior pattern indicating a temporal behavior of the heart rate variability entropy;
A mental load evaluation means for evaluating a driver's mental load based on the entropy behavior pattern;
Vehicle surrounding situation recognition means for recognizing the vehicle surrounding situation;
When notifying the driver of the vehicle surroundings recognized by the vehicle surroundings recognition unit, the notification mode defining the notification timing and volume is changed based on the evaluation result by the mental load evaluation unit. Notification means for
A driver monitoring device comprising:

前記エントロピー挙動パターンが心拍変動エントロピーの増加挙動を示しているときには、前記心的負荷評価手段は、運転者が車両運転に対する緊張感を低下させているという緊張感低下評価結果を出力し、この緊張感低下評価結果の出力に基づいて前記報知手段は前記報知モードを変更する請求項５に記載の運転者監視装置。 When the entropy behavior pattern indicates an increase behavior of the heart rate variability entropy, the mental load evaluation means outputs a tension reduction evaluation result indicating that the driver is reducing the tension with respect to the vehicle driving, and this tension The driver monitoring apparatus according to claim 5, wherein the notification unit changes the notification mode based on an output of a feeling reduction evaluation result.

前記心的負荷評価手段は、低難度運転時のエントロピー挙動パターンのみに基づいて心的負荷を評価する請求項１から６のいずれか一項に記載の運転者監視装置。 The driver monitoring device according to any one of claims 1 to 6, wherein the mental load evaluation unit evaluates the mental load based only on an entropy behavior pattern during low-difficulty driving.

前記心的負荷評価手段は、運転者の呼吸が荒くないときのエントロピー挙動パターンのみに基づいて心的負荷を評価する請求項１から６のいずれか一項に記載の運転者監視装置。 The driver monitoring device according to any one of claims 1 to 6, wherein the mental load evaluation unit evaluates the mental load based only on an entropy behavior pattern when the driver's breathing is not rough.

前記心的負荷評価手段は、運転者が発話していないときのエントロピー挙動パターンのみに基づいて心的負荷を評価する請求項１から６のいずれか一項に記載の運転者監視装置。 The driver monitoring device according to any one of claims 1 to 6, wherein the mental load evaluation unit evaluates the mental load based only on an entropy behavior pattern when the driver is not speaking.

前記心拍変動エントロピー演算手段で決定されたエントロピー挙動パターンを運転者別に記録するエントロピー記録部が備えられ、前記心的負荷評価手段は、前記エントロピー挙動パターンに基づいて前記心拍変動エントロピーの減少挙動または増加挙動を判定する際に、同一運転者の過去のエントロピー挙動パターンを参照する請求項１から９のいずれか一項に記載の運転者監視装置。 An entropy recording unit that records the entropy behavior pattern determined by the heart rate variability entropy calculating unit for each driver is provided, and the mental load evaluation unit is configured to decrease or increase the heart rate variability entropy based on the entropy behavior pattern. The driver monitoring apparatus according to any one of claims 1 to 9, wherein when the behavior is determined, a past entropy behavior pattern of the same driver is referred to.