JP2009095387A - 測定システム及び測定方法 - Google Patents

Abstract

【課題】人間の眠気や疲れ、或いはストレスを定量的に測定できるようにする。
【解決手段】被測定者（人間）の目２０１の撮影を行う高速度カメラ１１０と、高速度カメラ１１０において撮影された目２０１の動画像に係る映像を取得する映像取得部１３１と、映像取得部１３１で取得した目２０１の動画像に係る映像に基づいて目２０１の瞬きの開閉時間を算出する開閉時間算出部１３３と、開閉時間算出部１３３で算出した目２０１の瞬きの開閉時間に応じて、当該被測定者（人間）の眠気、疲れ又はストレスの度合いを測定する測定部１３５とを具備するようにする。
【選択図】図２

Description

本発明は、目の撮影を行うカメラを備えた測定システム及び当該測定システムにおける測定方法に関するものである。

現代社会には、眠気や疲れ、ストレスなどにより、安全・安心が損なわれるケースが多く存在し、特に、車や列車、航空機等の各種交通機関の運転や、工場・プラント内の作業や操業、災害現場の救助活動などにおいて多くの事故が発生している。

この点から、例えば、下記の特許文献１には、人間の居眠りの状態を検知し、当該検知がなされた場合に警告を行う技術が開示されている。

特開平６−２７０７１０号公報

しかしながら、上述した特許文献１の技術では、人間の眠気を定量的に測定することは困難であった。その他、従来の技術では、人間の疲れやストレスについても定量的に測定を行うことが困難であった。

本発明は上述の問題点に鑑みてなされたものであり、人間の眠気や疲れ、或いはストレスを定量的に測定することを実現する測定システム及び測定方法を提供することを目的とする。

本発明の測定システムは、人間の目の撮影を行うカメラと、前記カメラにおいて撮影された目の動画像に係る映像を取得する映像取得部と、前記映像取得部で取得した目の動画像に係る映像に基づいて、瞬きの開閉時間を算出する開閉時間算出部と、前記開閉時間算出部で算出した瞬きの開閉時間に応じて、人間の眠気、疲れ又はストレスの度合いを測定する測定部とを有する。

本発明の測定方法は、人間の目の撮影を行うカメラを備えた測定システムにおける測定方法であって、前記カメラにおいて撮影された目の動画像に係る映像を取得する映像取得ステップと、前記映像取得ステップで取得された目の動画像に係る映像に基づいて、瞬きの開閉時間を算出する開閉時間算出ステップと、前記開閉時間算出ステップで算出された瞬きの開閉時間に応じて、人間の眠気、疲れ又はストレスの度合いを測定する測定ステップとを有する。

本発明によれば、人間の眠気や疲れ、或いはストレスを定量的に測定することが可能となる。

−本発明の骨子−
まず、具体的な実施形態を説明する前に、本発明の骨子について説明する。
本発明者は、人間の眠気や疲れ、或いはストレスを定量的に測定することを実現するために、まず、人間の目の瞬きに着目することにした。

さらに、本発明者は、研究を進めていくうちに、人間の眠気や疲れ及びストレスの度合いと、瞬きの開閉時間との間に相関関係があることを導出した。より詳細には、人間の眠気や疲れ及びストレスの度合いが大きくなると、瞬きの開閉時間が長くなることを導き出した。

そこで、本発明者は、カメラ（以下に示す具体的な実施形態では高速度カメラ）を用いて被測定者（人間）の目の動画像の撮影を行い、撮影された目の動画像に係る映像を画像解析して目の瞬きの開閉時間を算出し、算出した瞬きの開閉時間に応じて、上述した相関関係から人間の眠気や疲れ、ストレスの度合いを測定することを思料した。

この点、例えば、所定時間内に行われた瞬きの回数をカウントし、当該瞬きの回数に応じた測定を行うことも考えられるが、この場合には、被測定者（人間）の目の撮影時間が長期化し、被測定者に対する負担が大きくなる。一方、本発明のように目の瞬きの開閉時間に応じた測定では、被測定者の目の１回の瞬きが撮影できれば測定を行えるため、被測定者に対する負担が小さいという利点がある。

−本発明の骨子を踏まえた具体的な実施形態−
次に、上述した本発明の骨子を踏まえた具体的な実施形態について説明する。

図１は、本発明の実施形態に係る測定システムの外観の一例を示す模式図である。
図１に示すように、測定システム１００は、高速度カメラ１１０と、指示装置１２０と、情報処理装置１３０と、表示装置１４０と、操作入力装置１５０を有して構成されている。

高速度カメラ１１０は、情報処理装置１３０による制御に基づいて、被測定者（人間）の目２０１を含む被測定者の顔２００の撮影を行うものである。特に、本実施形態では、高速度カメラ１１０は、被測定者の顔２００の動画像の撮影を行う。

指示装置１２０は、情報処理装置１３０による制御に基づいて、被測定者に対して各種の指示を行うものである。ここで、指示装置１２０は、例えば、被測定者に対する各種の指示を文字や映像等で表示する表示装置、若しくは、被測定者に対する各種の指示を音声として出力する音声出力装置、又は、これらを組み合わせた装置から構成されている。

情報処理装置１３０は、測定システム１００における動作を統括的に制御するものである。

表示装置１４０は、情報処理装置１３０による制御に基づいて、高速度カメラ１１０で撮影された映像を表示したり、各種の情報を表示したりする。

操作入力装置１５０は、例えば測定システム１００における管理者等の操作者が情報処理装置１３０に対して情報の入力を行う際に操作されるものである。この操作入力装置１５０は、例えば、キーボード１５０ａや、ポインティング・デバイスであるマウス１５０ｂを具備して構成されている。

図２は、本発明の実施形態に係る測定システムの機能構成の一例を示す模式図である。ここで、図２において、図１と同様の構成については、同じ符号を付しており、その詳細な説明は省略する。

情報処理装置１３０は、映像取得部１３１、抽出部１３２、開閉時間算出部１３３、テーブル記憶部１３４、測定部１３５、及び、測定結果記憶部１３６の各機能構成を有している。本実施形態においては、例えば、情報処理装置１３０のＣＰＵ及びＲＯＭ内に記録されるプログラムから、上述した各部１３１〜１３３及び１３５が構成され、例えば、情報処理装置１３０のＲＯＭに、上述した記憶部１３４が備えられ、例えば、情報処理装置１３０のＲＡＭに、上述した記憶部１３６が備えられるものとする。

映像取得部１３１は、高速度カメラ１１０において撮影された被測定者（人間）の目２０１を含む被測定者の顔２００の動画像に係る映像を取得する処理を行う。

抽出部１３２は、映像取得部１３１で取得した被測定者の顔２００の動画像に係る各映像の中から、各映像ごとに、被測定者の目２０１の映像を抽出する処理を行う。

図３は、本発明の実施形態に係る測定システムの抽出部で行う抽出処理の一例を示す模式図である。
図３（ａ）には、映像取得部１３１で取得した、被測定者の目２０１を含む被測定者の顔２００の動画像に係る１つの映像３００が示されている。そして、抽出部１３２では、この映像取得部１３１で取得された映像３００の中から、目２０１を含む目領域の映像３０１を抽出する処理を行う。抽出部１３２で抽出された目領域の映像３０１は、図３（ｂ）に示すようになる。

開閉時間算出部１３３は、映像取得部１３１で取得した被測定者の目２０１の動画像に係る映像に基づいて、当該目２０１における瞬きの開閉時間を算出する処理を行う。具体的に、開閉時間算出部１３３は、映像取得部１３１で取得され、抽出部１３２で抽出された被測定者の目２０１の動画像に係る映像を用いて、各映像ごとに当該目２０１の瞳の面積を算出し、各映像ごとに算出した瞳の面積に基づいて当該目２０１における瞬きの開閉時間を算出する処理を行う。

図４は、本発明の実施形態に係る測定システムの開閉時間算出部で行う開閉時間算出処理の一例を示す模式図である。
図４（ａ）には、抽出部１３２で抽出された目領域の映像３０１ａ〜３０１ｃが示されている。ここで、目領域の映像３０１ａには全開の状態の目２０１ａが示され、目領域の映像３０１ｂには半開の状態の目２０１ｂが示され、目領域の映像３０１ｃには閉じた状態（より詳細には、閉じる寸前の状態又は開き始めた直後の状態）の目２０１ｃが示されている。

上述したように、開閉時間算出部１３３は、まず、抽出部１３２で抽出された被測定者の目２０１の動画像に係る映像を用いて、各映像ごとに当該目２０１の瞳（本実施形態では、黒目）の面積を算出する。この際、各映像ごとに算出した瞳の面積の一例を示す特性図を図４（ｂ）に示す。図４（ｂ）において、横軸は動画像に係る各映像を示すフレーム数であり、縦軸は各映像（各フレーム）ごとに算出した瞳（黒目）の面積を示すピクセル数である。

例えば、開閉時間算出部１３３は、図４（ａ）に示すように、目領域の映像３０１ａについては瞳（黒目）の面積としてＳ１を算出し、目領域の映像３０１ｂについては瞳（黒目）の面積としてＳ２を算出し、目領域の映像３０１ｃについては瞳（黒目）の面積としてＳ３を算出する。また、図４（ａ）に示す目２０１ａ〜２０１ｃの状態において算出された瞳（黒目）の面積Ｓ１〜Ｓ３を図４（ｂ）に示す。図４（ｂ）に示すように、瞳（黒目）の面積が大きくなると目２０１が開く方向となり、逆に、瞳（黒目）の面積が小さくなると目２０１が閉じる方向となる。

また、本実施形態の開閉時間算出部１３３は、瞳（黒目）の面積を算出する際に、抽出部１３２で抽出された被測定者の目２０１の動画像に係る各映像に対して画像処理（ＨＳＶ変換処理）を行って、例えば、肌色以外の領域を瞳（黒目）の領域として面積を算出するようにしている。このため、図４（ｂ）に示すように、図４（ａ）の閉じた状態の目領域の映像３０１ｃの場合でも、その瞳（黒目）の面積Ｓ３は０にはならないが、その面積Ｓ３は、各映像（各フレーム）において最小となる。

その後、開閉時間算出部１３３は、予め操作入力装置１５０を介して操作者から入力され設定された高速度カメラ１１０の動画像の撮影に係る１フレームあたりの撮影時間及び各映像ごとに算出した瞳（黒目）の面積を用いて、目２０１の瞬きの開閉時間を算出する処理を行う。

ここで、本実施形態では、開閉時間算出部１３３は、目２０１の瞬きの開閉時間として、目２０１の閉じた状態から目２０１が開いた状態に至るまでの時間を算出する。具体的に、開閉時間算出部１３３は、まず、図４（ｂ）に示す特性図に基づいて、目２０１の閉じた状態（本実施形態では、一例として目２０１の閉じた状態から開き始める状態）の映像（フレーム）の番号Ｆ１を検出すると共に、目２０１が開いた状態（本実施形態では、一例として目２０１が９５％以上開いた状態）の映像（フレーム）の番号Ｆ２を検出する。そして、開閉時間算出部１３３は、Ｆ２−Ｆ１を計算し、この差分Ｆ２−Ｆ１に対して１フレームあたりの撮影時間を乗算することにより、目２０１の瞬きの開閉時間を算出する。例えば、Ｆ２−Ｆ１＝４０フレームであり、１フレームあたりの撮影時間が８ｍｓである場合（１２５フレーム／秒の高速度カメラの場合）には、目２０１の瞬きの開閉時間として３２０ｍｓが算出されることになる。

図２の説明に戻って、テーブル記憶部１３４には、開閉時間算出部１３３で算出される瞬きの開閉時間と、被測定者（人間）の眠気、疲れ又はストレスの度合いとの関係を示す各種のテーブルが記憶されている。

図５は、開閉時間算出部で算出される瞬きの開閉時間と、被測定者（人間）の眠気、疲れ又はストレスの度合いとの関係を示す各種のテーブルの一例を示す模式図である。
具体的に、テーブル記憶部１３４には、図５（ａ）に示す、瞬きの開閉時間と被測定者（人間）の眠気の度合いとの関係を示す第１テーブル、図５（ｂ）に示す、瞬きの開閉時間と被測定者（人間）の疲れの度合いとの関係を示す第２テーブル、及び、図５（ｃ）に示す、瞬きの開閉時間と被測定者（人間）のストレスの度合いとの関係を示す第３テーブルが格納されている。また、図５（ａ）〜図５（ｃ）に示すように、眠気の度合い、疲れの度合い及びストレスの度合いのいずれにおいても、瞬きの開閉時間が長くなるとその度合いが大きくなることがわかっている。

図２の測定部１３５は、開閉時間算出部１３３で算出された目２０１の瞬きの開閉時間に応じて、被測定者（人間）の眠気、疲れ又はストレスの度合いを測定する処理を行う。具体的に、測定部１３５は、例えば、予め操作入力装置１５０を介して操作者から入力され設定された被測定者（人間）に対する測定モードに基づいてテーブル記憶部１３４から必要なテーブルを選択し、選択したテーブル及び開閉時間算出部１３３で算出された目２０１の瞬きの開閉時間を用いて、被測定者（人間）の眠気、疲れ又はストレスの度合いを測定する処理を行う。なお、本実施形態では、被測定者の眠気測定モード、疲れ測定モード及びストレス測定モードの全ての測定モードを同時に設定することも可能であり、この場合には、測定部１３５は、開閉時間算出部１３３で算出された目２０１の瞬きの開閉時間に応じて、被測定者の眠気、疲れ及びストレスの全ての度合いを測定する処理を行う。

そして、測定部１３５は、上述のようにして測定して得られた測定結果に係る情報を、測定結果記憶部１３６に記憶する。

その後、必要に応じて、情報処理装置１３０は、測定結果記憶部１３６に記憶されている測定結果に係る情報を表示装置１４０に表示する。この際、更に、当該測定結果に係る情報を指示装置１２０から被測定者に対して報知するようにしてもよい。また、情報処理装置１３０は、必要に応じて、例えば、測定結果記憶部１３６に記憶されている測定結果に係る情報を、ネットワーク（不図示）を介して外部装置に送信する。

次に、測定システム１００における測定方法の処理手順について説明する。

図６は、本発明の実施形態に係る測定システムにおける測定方法の処理手順の一例を示すフローチャートである。

まず、図６に示す処理を開始する前に、操作者から操作入力装置１５０を介して高速度カメラ１１０の動画像の撮影に係る１フレームあたりの撮影時間が入力されると、情報処理装置１３０は、当該１フレームあたりの撮影時間を設定する。さらに、操作者から操作入力装置１５０を介して被測定者に対して測定する測定モード（具体的には、被測定者の眠気測定モード、疲れ測定モード、ストレス測定モード）が選択されて入力されると、情報処理装置１３０は、当該入力された測定モードを設定する。その後、情報処理装置１３０は、測定の準備が完了すると、被測定者に対して、測定の準備が完了したことを示す情報を指示装置１２０から報知して、測定を開始する。

測定が開始されると、まず、ステップＳ１０１において、情報処理装置１３０は、高速度カメラ１１０を制御し、設定した１フレームあたりの撮影時間で、被測定者（人間）の目２０１を含む被測定者の顔２００の動画像を撮影する処理を行う。

続いて、ステップＳ１０２において、情報処理装置１３０の映像取得部１３１は、高速度カメラ１１０において撮影された被測定者（人間）の目２０１を含む被測定者の顔２００の動画像に係る映像を取得する処理を行う。

続いて、ステップＳ１０３において、情報処理装置１３０の抽出部１３２は、映像取得部１３１で取得した被測定者の顔２００の動画像に係る各映像の中から、各映像ごとに、被測定者の目２０１の映像を抽出する処理を行う。具体的には、図３に示すように、抽出部１３２は、各映像ごとに、映像取得部１３１で取得した被測定者の顔２００の映像３００の中から、目２０１を含む目領域の映像３０１を抽出する処理を行う。

続いて、ステップＳ１０４において、情報処理装置１３０の開閉時間算出部１３３は、まず、映像取得部１３１で取得され、抽出部１３２で抽出された被測定者の目２０１の動画像に係る映像を用いて、各映像ごと（各フレームごと）に、当該目２０１の瞳（黒目）の面積を算出する。

続いて、ステップＳ１０５において、情報処理装置１３０の開閉時間算出部１３３は、ステップＳ１０４で各映像ごと（各フレームごと）に算出した目２０１の瞳（黒目）の面積に基づいて、各映像ごと（各フレームごと）に、瞳（黒目）の面積の変化量を算出する。

図７は、本発明の実施形態に係る測定システムの開閉時間算出部で行う瞳（黒目）の面積の変化量における算出処理の一例を示す特性図である。
図７（ａ）には、ステップＳ１０４で各映像ごと（各フレームごと）に算出した目２０１の瞳（黒目）の面積における算出結果が示されている。ここで、図７（ａ）に示す例は、ノイズの除去を目的として、ステップＳ１０４で各映像ごと（各フレームごと）に算出した目２０１の瞳（黒目）の面積に対して平滑化処理を施した後の算出結果が示されている。また、図７（ａ）には、１フレーム目から４０８３フレーム目までの算出結果が示されており、目２０１の複数回に亘る瞬きが示されている。

図７（ｂ）には、図７（ａ）に示す瞳（黒目）の面積における算出結果に基づいて、各映像ごと（各フレームごと）に、前の映像（前フレーム）に対する瞳（黒目）の面積の変化量の算出結果が示されている。ここで、図７（ｂ）は、図７（ａ）を微分することにより得られるものである。

図８は、本発明の実施形態に係る測定システムの開閉時間算出部で行う瞳（黒目）の面積の変化量における算出処理の一例を示す模式図である。
ここで、図８（ａ）は、図７（ａ）に示す複数回に亘る瞬きのうち、１回の瞬きにおける目２０１の瞳（黒目）の面積における算出結果を模式的に示したものである。同様に、図８（ｂ）は、図７（ｂ）に示す複数回に亘る瞬きのうち、１回の瞬きにおける目２０１の瞳（黒目）の面積における変化量の算出結果を模式的に示したものである。ここで、図８（ｂ）は、図８（ａ）を微分することにより得られるものである。

ここで、図８に示す「Ａ」の区間は、瞬きが始まってから（即ち、まぶたが閉じ始めてから）、まぶたの閉じる方向の動き（速さ）が最大になるまでの時間を示している。また、図８に示す「Ｂ」の区間は、まぶたの閉じる方向の動き（速さ）が最大となった後から、まぶたが閉じて更にまぶたが開き始める前までの時間を示している。また、図８に示す「Ｃ」の区間は、まぶたが開き始めてから、まぶたの開く方向の動き（速さ）が最大になるまでの時間を示している。また、図８に示す「Ｄ」の区間は、まぶたの開く方向の動き（速さ）が最大となった後から、瞬きが終了するまで（即ち、まぶたが完全に開くまで）の時間を示している。また、目２０１が開いた状態（即ち、まぶたが開いた状態）が続けば、瞳（黒目）の面積は変化せず一定となるので、区間Ａの前及び区間Ｄの後は、図８（ａ）に示す瞳（黒目）の面積及び図８（ｂ）に示す瞳（黒目）の面積の変化量は一定となる。

このステップＳ１０５による瞳（黒目）の面積の変化量の算出処理により、１回の瞬きにおける区間Ａ〜Ｄの各時間を算出することが可能となる。

続いて、ステップＳ１０６において、情報処理装置１３０の開閉時間算出部１３３は、予め設定された高速度カメラ１１０の動画像の撮影に係る１フレームあたりの撮影時間、及び、ステップＳ１０４で各映像ごと（各フレームごと）に算出した瞳（黒目）の面積を用いて、目２０１の瞬きの開閉時間を算出する処理を行う。

具体的に、本実施形態では、開閉時間算出部１３３は、目２０１の瞬きの開閉時間として、目２０１の閉じた状態から目２０１が開いた状態に至るまでの時間（即ち、図８に示す区間Ｃ＋区間Ｄの時間）を算出する。

より詳細に、開閉時間算出部１３３は、まず、図８に示す区間Ｃの開始時点におけるフレームの番号（図４（ｂ）に示すＦ１に相当）を検出すると共に、区間Ｄの終了時点におけるフレームの番号（図４（ｂ）に示すＦ２に相当）を検出する。そして、開閉時間算出部１３３は、検出した２つのフレームの番号の差分をとって区間Ｃ＋区間Ｄの間に撮影されたフレーム数を計算し、この区間Ｃ＋区間Ｄの間に撮影されたフレーム数に対して予め設定された１フレームあたりの撮影時間を乗算することにより、目２０１の瞬きの開閉時間を算出する。例えば、区間Ｃ＋区間Ｄの間に撮影されたフレーム数が４０フレームであり、１フレームあたりの撮影時間が８ｍｓである場合には、目２０１の瞬きの開閉時間として３２０ｍｓが算出されることになる。なお、本実施形態の場合には、図５（ａ）〜図５（ｃ）に示す第１テーブル〜第３テーブルは、瞬きの開閉時間として図８に示す区間Ｃ＋区間Ｄの時間に対応したテーブルとなっている。

続いて、ステップＳ１０７において、情報処理装置１３０の測定部１３５は、ステップＳ１０６で算出された目２０１の瞬きの開閉時間に応じて、被測定者（人間）の眠気、疲れ又はストレスの度合いを測定する処理を行う。

具体的に、測定部１３５は、予め設定された被測定者（人間）に対する測定モードに基づいてテーブル記憶部１３４に記憶されている図５（ａ）〜図５（ｃ）に示す第１テーブル〜第３テーブルの中から必要なテーブルを選択し、選択したテーブル及びＳ１０６で算出された目２０１の瞬きの開閉時間を用いて、被測定者（人間）の眠気、疲れ又はストレスの度合いを測定する処理を行う。なお、本実施形態では、被測定者の眠気測定モード、疲れ測定モード及びストレス測定モードの全ての測定モードを同時に設定することも可能であり、この場合には、ステップＳ１０７において、測定部１３５は、開閉時間算出部１３３で算出された目２０１の瞬きの開閉時間に応じて、被測定者の眠気、疲れ及びストレスの全ての度合いを測定する処理を行うことになる。

その後、測定部１３５は、上述のようにして測定して得られた測定結果に係る情報を、測定結果記憶部１３６に記憶する。

続いて、ステップＳ１０８において、情報処理装置１３０は、測定結果記憶部１３６に記憶されている測定結果に係る情報を表示装置１４０に表示する。この際、更に、当該測定結果に係る情報を指示装置１２０から被測定者に対して報知するようにしてもよい。また、情報処理装置１３０は、必要に応じて、例えば、測定結果記憶部１３６に記憶されている測定結果に係る情報を、ネットワーク（不図示）を介して外部装置に送信する。

以上のステップＳ１０１〜ステップＳ１０８の処理を経ることにより、目２０１の瞬きの開閉時間に応じた被測定者の眠気、疲れ又はストレスの度合いの測定が行われる。

なお、本実施形態では、開閉時間算出部１３３で目２０１の瞬きの開閉時間を算出する際に、目２０１の閉じた状態から目２０１が開いた状態に至るまでの時間（図８に示す区間Ｃ＋区間Ｄの時間）を算出する例を示しているが、本発明においてはこれに限定されるものではない。例えば、目２０１の瞬きの開閉時間として、図８の区間Ａ〜区間Ｄまでの時間を算出する形態、或いは、図８に示す各区間における時間を算出する形態も場合によっては適用可能である。

また、本実施形態では、開閉時間算出部１３３で瞳の面積を算出する際に、瞳として黒目の面積を算出する例を示しているが、本発明においては瞳の面積を算出するものであれば適用可能であり、例えば、瞳として青目の面積を算出する形態であってもよい。

また、図１に示す測定システム１００では、被測定者の顔２００の動画像を高速度カメラ１１０で撮影する際に、自然光の環境下で撮影を行う例を示しているが、例えば、ハロゲンライトによる照明を用いた環境下で撮影を行う形態であってもよい。

図９は、本発明の実施形態に係る測定システムにおいて、高速度カメラの撮影環境の一例を示す模式図である。
図９（ａ）は、図１に示す高速度カメラ１１０の撮影環境と同様であり、自然光の環境下で被測定者の顔２００の動画像を撮影するものである。この場合は、均一な映像が取得し難い一方で、自然光を用いるため被測定者の負担は小さいという利点がある。

図９（ｂ）は、例えば、ハロゲンライト等の光源１６０による照明を用いた環境下で被測定者の顔２００の動画像を撮影するものである。具体的には、図９（ａ）に対して、例えばハロゲンライト等の光源１６０、及び、例えば白紙等からなる反射板１７０を設けて、図９（ｂ）に示すように、光源１６０からの照射光を反射板１７０で反射させて被測定者に入射させる。この場合は、光源１６０からの照射光を用いるため被測定者の負担が若干大きくなる一方で、安定した光が被測定者に照射されるため均一な映像が取得し易いという利点がある。

以上説明したように、本実施形態の測定システム１００では、高速度カメラ１１０において撮影された目２０１の動画像に係る映像を映像取得部１３１で取得し、映像取得部１３１で取得した目２０１の動画像に係る映像に基づいて開閉時間算出部１３３で目２０１の瞬きの開閉時間を算出し、開閉時間算出部１３３で算出した瞬きの開閉時間に応じて測定部１３５で被測定者（人間）の眠気、疲れ又はストレスの度合いを測定するようにしている。
かかる構成によれば、人間の眠気や疲れ、或いはストレスを定量的に測定することが可能となる。

また、本実施形態の測定システム１００では、開閉時間算出部１３３は、映像取得部１３１で取得した目２０１の動画像に係る映像を用いて各映像ごとに当該目２０１の瞳の面積を算出し、各映像ごとに算出した瞳の面積に基づいて瞬きの開閉時間を算出するようにしている。
かかる構成によれば、瞳の面積に基づいて瞬きの開閉時間を算出しているため、例えば、まぶたや目の周辺領域の肌色の面積に基づいて瞬きの開閉時間を算出する場合と比べて、算出誤差を少なくすることができ、より正確な測定を行うことが可能となる。

前述した本実施形態に係る測定システム１００の情報処理装置１３０における図２の各機能構成、並びに当該測定システム１００における処理手順を示す図６の各ステップは、コンピュータのＣＰＵがＲＯＭなどに記憶されたプログラムを実行することによって実現できる。このプログラム及び当該プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

具体的に、前記プログラムは、例えばＣＤ−ＲＯＭのような記憶媒体に記録し、或いは各種伝送媒体を介し、コンピュータに提供される。前記プログラムを記録する記憶媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。他方、前記プログラムの伝送媒体としては、プログラム情報を搬送波として伝搬させて供給するためのコンピュータネットワーク（ＬＡＮ、インターネットの等のＷＡＮ、無線通信ネットワーク等）システムにおける通信媒体を用いることができる。また、この際の通信媒体としては、光ファイバ等の有線回線や無線回線などが挙げられる。

また、本発明は、コンピュータが供給されたプログラムを実行することにより本実施形態に係る測定システム１００の機能が実現される態様に限られない。そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等と共同して本実施形態に係る測定システム１００の機能が実現される場合も、かかるプログラムは本発明に含まれる。また、供給されたプログラムの処理の全て、或いは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて本実施形態に係る測定システム１００の機能が実現される場合も、かかるプログラムは本発明に含まれる。

また、前述した本実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明に係る測定システムは、例えば、車や列車に搭載してドライバーの眠気や疲れの度合いに応じた警告を行ったり、例えば、過労働や日々の生活におけるストレスの度合いをチェックしたりする場合に用いて好適である。

本発明の実施形態に係る測定システムの外観の一例を示す模式図である。 本発明の実施形態に係る測定システムの機能構成の一例を示す模式図である。 本発明の実施形態に係る測定システムの抽出部で行う抽出処理の一例を示す模式図である。 本発明の実施形態に係る測定システムの開閉時間算出部で行う開閉時間算出処理の一例を示す模式図である。 開閉時間算出部で算出される瞬きの開閉時間と、被測定者（人間）の眠気、疲れ又はストレスの度合いとの関係を示す各種のテーブルの一例を示す模式図である。 本発明の実施形態に係る測定システムにおける測定方法の処理手順の一例を示すフローチャートである。 本発明の実施形態に係る測定システムの開閉時間算出部で行う瞳の面積の変化量における算出処理の一例を示す特性図である。 本発明の実施形態に係る測定システムの開閉時間算出部で行う瞳の面積の変化量における算出処理の一例を示す模式図である。 本発明の実施形態に係る測定システムにおいて、高速度カメラの撮影環境の一例を示す模式図である。

符号の説明

１００ 測定システム
１１０ 高速度カメラ
１２０ 指示装置
１３０ 情報処理装置
１３１ 映像取得部
１３２ 抽出部
１３３ 開閉時間算出部
１３４ テーブル記憶部
１３５ 測定部
１３６ 測定結果記憶部
１４０ 表示装置
１５０ 操作入力装置
１５０ａ キーボード
１５０ｂ マウス
２００ 被測定者の顔
２０１ 被測定者の目

Claims (5)

1. 人間の目の撮影を行うカメラと、
   前記カメラにおいて撮影された目の動画像に係る映像を取得する映像取得部と、
   前記映像取得部で取得した目の動画像に係る映像に基づいて、瞬きの開閉時間を算出する開閉時間算出部と、
   前記開閉時間算出部で算出した瞬きの開閉時間に応じて、人間の眠気、疲れ又はストレスの度合いを測定する測定部と
   を有することを特徴とする測定システム。
2. 前記開閉時間算出部は、前記映像取得部で取得した目の動画像に係る映像を用いて各映像ごとに当該目の瞳の面積を算出し、各映像ごとに算出した瞳の面積に基づいて前記瞬きの開閉時間を算出することを特徴とする請求項１に記載の測定システム。
3. 前記カメラは、人間の目を含む人間の顔を撮影するものであり、
   前記映像取得部は、前記カメラにおいて撮影された人間の目を含む人間の顔の動画像に係る映像を取得するものであり、
   前記映像取得部で取得した人間の顔の動画像に係る各映像の中から人間の目の映像を抽出する抽出部を更に有し、
   前記開閉時間算出部は、前記抽出部で抽出した目の動画像に係る映像に基づいて、瞬きの開閉時間を算出することを特徴とする請求項１に記載の測定システム。
4. 前記開閉時間算出部は、前記瞬きの開閉時間として、目の閉じた状態から目が開いた状態に至るまでの時間を算出することを特徴とする請求項１に記載の測定システム。
5. 人間の目の撮影を行うカメラを備えた測定システムにおける測定方法であって、
   前記カメラにおいて撮影された目の動画像に係る映像を取得する映像取得ステップと、
   前記映像取得ステップで取得された目の動画像に係る映像に基づいて、瞬きの開閉時間を算出する開閉時間算出ステップと、
   前記開閉時間算出ステップで算出された瞬きの開閉時間に応じて、人間の眠気、疲れ又はストレスの度合いを測定する測定ステップと
   を有することを特徴とする測定方法。

Images