JPH08266488A - まばたき検出装置 - Google Patents

Abstract

(57)【要約】 【目的】まばたきに関する諸パラメータを正確に検出す
る。 【構成】フォトダイオードから出力された受光信号が上
に凸、受光信号の立ち上がり時間Ｔ１が所定立ち上がり
時間（例えば、２０〜８０ｍｓｅｃ）以内、受光信号の
立ち下がり時間Ｔ２が所定立ち下がり時間以内、ピーク
出力Ｐの継続時間Ｔ３が所定継続時間以内、上に凸の部
分の発生間隔Ｔ４が所定間隔時間以上、受光信号の上に
凸と判断された部分の前の部分における第１の所定時間
内の受光信号の差分、及び受光信号の上に凸と判断され
た部分の後の部分における第１の所定時間内の受光信号
の差分が閾値以下、受光信号の上に凸と判断された部分
の前の部分の第２の所定時間内の受光信号の平均値と、
受光信号の上に凸と判断された部分の後の部分における
第２の所定時間内の受光信号の平均値との差が閾値以下
の全ての条件が成立したときにまばたきと判定する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、まばたき検出装置に係
り、特に、被験者を拘束することなくかつ被験者に対し
て非接触で居眠り等の覚醒状態を検出するのに有効なま
ばたきを検出するまばたき検出装置に関する。

【０００２】

【従来技術及び発明が解決しようとする課題】従来よ
り、自動車運転者の覚醒状態を検出するために、運転者
の脳波、皮膚電位、脈拍等を検出する種々の方法が提案
されているが、これらは何れも運転者に接触するセンサ
が必要であり、運転者に拘束感を与える等の好ましくな
い問題がある。

【０００３】一方、運転者のまばたきから覚醒度を検出
する方法も提案されているが、特開昭６１−１７５１２
９号公報に示されるように、近赤外線等の電磁波を送信
する送受信手段を組み込んだ眼鏡を用いた場合には、上
記と同様に運転者に拘束感を与えることになる。

【０００４】また、特開昭５９−１４２６９９号公報に
は、運転者の眼球の方向に向けて配置した発光素子から
光を照射して、眼球からの反射光を受光素子で受光し、
受光素子の受光信号から運転者を拘束することなくかつ
運転者に対して非接触でまばたきを検出することが開示
されている。しかしながら、この技術では、受光信号中
にまばたきによる信号以外に、運転者の動き（会話、
咳、くしゃみ、あくび等による顔の表情変化、顔の位置
変化等）の信号も重畳してくるため、まばたきを誤検出
する、という問題がある。すなわち、まばたきをしてい
るのにまばたきを検出しなかったり、まばたきをしてい
ないのにまばたきと誤検出し、まばたき回数、閉眼時間
等のまばたきに関する諸パラメータを正確に検出するこ
とができない、という問題がある。

【０００５】さらに、テレビカメラによって顔画像を撮
影し、画像処理によりまばたきを検出する方法も知られ
ているが、装置が大型になる、という問題がある。

【０００６】本発明は上記問題点を解決するためになさ
れたもので、まばたきに関する諸パラメータを正確に検
出することができる小型のまばたき検出装置を提供する
ことを目的とする。

【０００７】

【課題を解決するため手段】上記目的を達成するため
に、本発明は、被験者の顔の方向に投光すると共に顔か
らの反射光を受光し、受光した反射光の光量が増加する
ように変化する第１の変化と、該第１の変化の後の反射
光の光量が減少するように変化する第２の変化とを検出
してまばたきを検出するまばたき検出装置において、第
１の変化の前及び第２の変化の後における第１の所定時
間内の反射光の光量の変化率、及び第１の変化の前及び
第２の変化の後における第２の所定時間内の反射光の光
量の平均値の差の少なくとも一方を演算する演算手段
と、前記演算手段の演算結果に基づいて、前記変化率が
予め定めた第１の閾値以下か否か、及び前記平均値の差
が第２の閾値以下か否かの少なくとも一方を判断する判
断手段と、前記判断手段の判断結果が肯定のときの第１
の変化と該第１の変化の後の第２の変化とをまばたきと
して検出する検出手段と、を設けたことを特徴とする。

【０００８】

【作用】まばたきは、眼球を皮膚（まぶた）で短時間覆
い隠す動作であり、眼を閉じる、閉眼状態を継続する、
及び眼を開けるの一連の動作から構成されている。被験
者の顔の方向に投光した状態でまばたきが発生すると、
顔からの反射光の光量は、増加するように変化（第１の
変化）した後減少するように変化（第２の変化）する。
これは、皮膚（まぶた）の拡散反射率が眼球の拡散反射
率より大きいためである。すなわち、反射光の光量は、
眼を閉じるにつれて増加し、眼を閉じている間ピークを
保ち、眼を開けるにつれて減少し、元の大きさに戻る。
従って、被験者がまばたきのみを行っている場合には、
上記のような反射光の光量の変化から被験者のまばたき
を検出することができる。

【０００９】しかしながら、実際には被験者の顔の動
き、表情の変化等により、第１の変化の前及び第２の変
化の後においても反射光の光量が変化し、この変化をま
ばたきとして誤検出することがある。

【００１０】そこで、本発明では、第１の変化の前及び
第２の変化の後の第１の所定時間内において、反射光量
が安定しているか、すなわち第１の所定時間内の反射光
の光量の変化率が予め定めた第１の閾値以下か否かを判
断し、この判断結果が肯定のときの第１の変化と該第１
の変化の後の第２の変化とをまばたきとして検出してい
る。

【００１１】または、第１の変化の前及び第２の変化の
後の第２の所定時間内において、反射光量に大きな差が
ないか否か、すなわち第２の所定時間内の反射光の光量
の平均値の差が第２の閾値以下か否かを判断し、この判
断結果が肯定のときの第１の変化と該第１の変化の後の
第２の変化とをまばたきとして検出している。

【００１２】なお、上記の２つの判断結果が共に肯定の
とき、すなわち反射光量が安定し、かつ反射光量に大き
な差がないときにおける第１の変化と該第１の変化の後
の第２の変化とをまばたきとして検出してもよい。

【００１３】

【実施例】以下、本発明の実施例を図面を参照して説明
する。本実施例は、本発明を運転者の覚醒状態を判断す
るために使用されるまばたき回数を検出するまばたき検
出装置に適用したものである。

【００１４】図１に示すように、本実施例のまばたき検
出装置は、車両のダッシュボードに取り付けられかつ運
転者の顔方向に近赤外線（例えば，中心波長９５０ｎ
ｍ）を照射する発光ダイオード（ＬＥＤ）１０と、ダッ
シュボードに取り付けられかつ運転者の顔からの反射光
を受光して反射光量に比例した受光信号を出力するフォ
トダイオード（ＰＤ）１２とを備えている。一般的に、
フォトダイオード１２の入射角は大きいので、フォトダ
イオード１２の反射光入射側に、運転者の顔をフォトダ
イオードの受光面に結像させるレンズを配置するのが好
ましい。

【００１５】フォトダイオード１２は、フォトダイオー
ド１２から出力された受光信号を増幅する増幅器１４、
高周波のノイズ成分を除去するフィルタ１６、アナログ
値をディジタル値に変換するＡ／Ｄ変換器１８を介し
て、まばたき回数を検出するパーソナルコンピュータ２
０に接続されている。なお、Ａ／Ｄ変換器１８のサンプ
リング周波数は、例えば、５０Ｈｚとすることができ
る。

【００１６】次に、パーソナルコンピュータ２０によっ
て所定時間毎に実行されるまばたき回数検出ルーチンを
図２を参照して説明する。ステップ２８でＡ／Ｄ変換器
１８を介して入力されパーソナルコンピュータ２０のＲ
ＡＭに記憶されているディジタル値を取り込み、ステッ
プ３０では、取り込んだディジタル値に基づいて、フォ
トダイオード１２から出力された受光信号が上に凸か否
かを判断する。なお、まばたきが発生したときの受光信
号は、図３に示すような波形になる。

【００１７】上に凸か否かは、ディジタル値の差分を求
め、この差分が正、０、負の順に変化したか否かを判断
することにより判断することができ、この判断が肯定の
とき受光信号は上に凸である。

【００１８】次のステップ３２では、受光信号のベース
出力Ｂからピーク出力Ｐに至る立ち上がり時間Ｔ１が所
定立ち上がり時間（例えば、２０〜８０ｍｓｅｃ）以内
か否かを判断することにより、眼が閉じたか否かを判断
する。

【００１９】次のステップ３４では、受光信号のピーク
出力Ｐから次のベース出力Ｂに至る立ち下がり時間Ｔ２
が所定立ち下がり時間（例えば、４０〜１００ｍｓｅ
ｃ）以内か否かを判断することにより、眼が開いたか否
かを判断する。

【００２０】次のステップ３６では、受光信号のピーク
出力Ｐの継続時間Ｔ３が所定継続時間（例えば、４０〜
１０００ｍｓｅｃ）以内か否かを判断することにより閉
眼状態か否かを判断する。なお、本実施例では、継続時
間Ｔ３として立ち上がり時及び立ち下がり時において受
光信号の値がベース出力Ｂとピーク出力Ｐとの平均値に
なるときの時間間隔を採用した。

【００２１】次のステップ３８では、受光信号の上に凸
の部分の発生間隔Ｔ４が所定時間間隔（例えば、４００
ｍｓｅｃ）以上か否かを判断する。

【００２２】次のステップ４０では、受光信号の上に凸
と判断された部分の前の部分における第１の所定時間
（例えば、３００ｍｓｅｃ）内の受光信号の差分、及び
受光信号の上に凸と判断された部分の後の部分における
第１の所定時間内の受光信号の差分、すなわち各変化率
が第１の閾値（例えば、１２ｍＶ）以下か否かを判断す
る。

【００２３】次のステップ４２では、受光信号の上に凸
と判断された部分の前の部分の第２の所定時間（例え
ば、１００ｍｓｅｃ）の間の受光信号の平均値と、受光
信号の上に凸と判断された部分の後の部分における第２
の所定時間の間の受光信号の平均値との差が第２の閾値
（例えば、１２０ｍＶ）以下か否かを判断する。

【００２４】ステップ４２の第２の所定時間は、ステッ
プ４０の第１の所定時間より短い値に設定されている。
また、第２の閾値は、第１の閾値の所定倍（本実施例で
は１０倍）の値に設定されている。

【００２５】そして、ステップ３０〜ステップ４２の各
判断が全て肯定と判断されたときに、まばたきが発生し
たと判断し、ステップ４４でまばたきの回数を示すカウ
ント値Ｎを１インクリメントする。その後、カウント値
Ｎに基づいて覚醒度を判断する。

【００２６】なお、本発明者の実験よれば、上記ステッ
プ３０〜ステップ３８までを使用して、顔の動き表情の
変化を加えずに３０秒間に３７回まばたきを行って検出
したところ、図４に示すように３７回のまばたきが漏れ
なく検出できた。

【００２７】一方、あくびをしながらまばたきをしたと
きには、図５に＊で示すように検出されたまばたきの回
数は実際の回数より多かった。

【００２８】そこで、ステップ３０〜ステップ４２の判
断を行ってまばたきを検出したところ図５に○で示すよ
うに実際のまばたき回数と同じ回数のまばたきが検出さ
れた。

【００２９】なお、上記ステップ４０、４２は両方用い
る必要はなく、いずれか一方を用いればよい。

【００３０】また、上記ではフォトダイオードから出力
された受光信号をそのままの波形で用いたが、反転して
用いてもよい。

【００３１】

【発明の効果】以上説明したように本発明によれば、被
験者の顔の表情変化や顔の位置変化等によって生ずるノ
イズを除去し、検出ミス、誤検出を少なくしてまばたき
に関する諸パラメータを正確に検出することができる小
型のまばたき検出装置を提供することができる、という
効果が得られる

【図面の簡単な説明】

【図１】本発明の一実施例のまばたき検出装置のブロッ
ク図である。

【図２】上記実施例のまばたき検出ルーチンを示す流図
である。

【図３】上記実施例のまばたきが発生したときの受光信
号の概略波形を示す線図である。

【図４】上記実施例のステップ３０〜ステップ３８まで
を使用してまばたき検出したときの受光素子出力と差分
とを示す線図である。

【図５】上記実施例のステップ３０〜ステップ４０まで
を使用してまばたき検出したときの受光素子出力と差分
とを示す線図である。

【符号の説明】

１０ 発光素子 １２ 受光素子 ２０ パーソナルコンピュータ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松田守弘 愛知県愛知郡長久手町大字長湫字横道41番 地の１ 株式会社豊田中央研究所内 (72)発明者 高橋信明 愛知県愛知郡長久手町大字長湫字横道41番 地の１ 株式会社豊田中央研究所内

Claims (1)

【特許請求の範囲】
1. 【請求項１】被験者の顔の方向に投光すると共に顔から
   の反射光を受光し、受光した反射光の光量が増加するよ
   うに変化する第１の変化と、該第１の変化の後の反射光
   の光量が減少するように変化する第２の変化とを検出し
   てまばたきを検出するまばたき検出装置において、 第１の変化の前及び第２の変化の後における第１の所定
   時間内の反射光の光量の変化率、及び第１の変化の前及
   び第２の変化の後における第２の所定時間内の反射光の
   光量の平均値の差の少なくとも一方を演算する演算手段
   と、 前記演算手段の演算結果に基づいて、前記変化率が予め
   定めた第１の閾値以下か否か、及び前記平均値の差が第
   ２の閾値以下か否かの少なくとも一方を判断する判断手
   段と、 前記判断手段の判断結果が肯定のときの第１の変化と該
   第１の変化の後の第２の変化とをまばたきとして検出す
   る検出手段と、 を設けたことを特徴とするまばたき検出装置。