JP5293589B2 - 生体監視装置 - Google Patents

Description

本発明は、ユーザの生体状態を監視する生体監視装置に関する。

従来、ユーザの目の状態を判別する装置が知られている。例えば、下記の特許文献１には、検出対象者の目領域の状態を判別する目状態判別装置が開示されている。この目状態判別装置は、カメラで撮影した検出対象者の顔画像から目の位置を含む所定の領域を目探索領域として設定し、この領域の輝度分布を求め、この輝度分布に基づいて目領域の状態を判別する。

ここで、輝度の分散値が設定値以下である場合は、目領域の状態としてサングラス有りと判別し、そうでない場合は、目領域の状態として検出対象者の瞼の開閉状態を検出する。

特開２００８−２２４５６５号公報

特許文献１に記載の目状態判別装置は、目領域の状態としてサングラス有りと判別するか、又は、目領域の状態として検出対象者の瞼の開閉状態を検出するかのいずれかであり、サングラスのズレによって瞼の開閉状態を検出可能な状況であっても、サングラス有りと判別するだけである。この結果、サングラスや眼鏡等の眼鏡類のズレにより瞼の開閉状態といった生体状態の監視が可能な状況における生体状態の監視に関してはなんら考慮されていないため、利便性を高める余地がある。

そこで本発明は、上記の課題を解決する為になされたものであり、監視対象者の眼鏡類のズレだけでなく生体状態の監視を行なって利便性を高めることが可能な生体監視装置を提供することを目的とする。

上記の目的を達成するために、本発明に係る生体監視装置は、ユーザの生体状態を監視する生体監視装置であって、ユーザの顔面における眼鏡類に関する眼鏡類情報を取得する眼鏡類取得手段と、顔面に関する顔面情報を取得する顔面取得手段と、眼鏡類取得手段により取得された眼鏡類情報、及び顔面取得手段により取得された顔面情報に基づいて眼鏡類の配置状況を特定する特定手段と、特定手段により特定された眼鏡類の配置状況に基づいてユーザの生体状態を監視する監視手段と、を備えることを特徴とする。

本発明に係る生体監視装置では、まず、ユーザの顔面における眼鏡類に関する眼鏡類情報と、顔面に関する顔面情報とを取得する。次に、取得された眼鏡類情報及び顔面情報に基づいて眼鏡類の配置状況を特定する。そして、特定された眼鏡類の配置状況に基づいてユーザの生体状態を監視する。このため、例えば眼鏡類のズレにより瞼の開閉状態といった生体状態の監視が可能な状況において、眼鏡類の配置状況を特定した上で生体状態の監視を行なって利便性を高めることが可能になる。

また、眼鏡類取得手段は、眼鏡類の水平面に対する傾斜角度に関する眼鏡類情報を取得するのも好ましい。これにより、眼鏡類の水平面に対する傾斜角度が考慮に入れられた眼鏡類の配置状況が特定されるため、より正確に生体状態の監視を行なうことが可能になる。

また、顔面取得手段は、顔面の水平面に対する傾斜角度に関する顔面情報を取得するのも好ましい。これにより、顔面の水平面に対する傾斜角度が考慮に入れられた眼鏡類の配置状況が特定されるため、より正確に生体状態の監視を行なうことが可能になる。

また、監視手段は、特定手段により特定された眼鏡類の配置状況がユーザの眼から外された状況を示す場合、当該眼鏡類の領域をマスクして、ユーザの生体状態を監視するのも好ましい。これにより、眼鏡類の配置状況がユーザの眼から外された状況を示す場合、当該眼鏡類の領域がマスクされるため、より正確に生体状態の監視を行なうことが可能になる。

また、監視手段は、ユーザの眼の状態を監視するのも好ましい。これにより、例えば眼鏡類のズレにより眼の状態の監視が可能な状況において、眼鏡類の配置状況を特定した上で眼の状態の監視を行なって利便性を高めることが可能になる。

本発明によれば、監視対象者の眼鏡類のズレだけでなく生体状態の監視を行なって利便性を高めることが可能な生体監視装置を提供することができる。

眼領域検出装置の機能概要を説明するための説明図である。 眼領域検出装置の構成概略を説明するための構成概略図である。 眼鏡テンプル角度の算出方法を説明するための説明図である。 眼領域検出装置における眼領域検出処理の流れを示すフローチャートある。

以下、添付図面を参照しながら本発明の好適な実施形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明を省略する。

（１）眼領域検出装置の機能概要
最初に、本実施形態である生体監視装置としての眼領域検出装置の機能概要について、図１を用いて説明する。図１は、眼領域検出装置の機能概要を説明するための説明図である。眼領域検出装置は、例えば自動車等の移動体車両に搭載され、ユーザとしてのドライバＤの眼Ｅの領域の位置を検出して眼Ｅの状態といった生体状態を監視する監視装置である。なお、ドライバＤは、レンズＬ及びテンプルＴを有する眼鏡類としての眼鏡Ｇをかけているとする。眼鏡類は、レンズＬ及びテンプルＴを有するものであれば特に限定されず、例えばサングラスであってもよい。

まず、図１（ａ）に示すように、レンズＬが眼Ｅの上側の額や頭頂近傍に位置するように、眼鏡Ｇがズリ上げられて外された状態で掛けられている場合、眼領域検出装置は、テンプルＴの水平面Ｈ（即ち、左目及び右目の下瞼の位置を結んだ直線を含む水平面）に対する傾斜角度や顔面の水平面Ｈに対する傾斜角度を取得した上で眼鏡Ｇの傾斜状況を特定し、眼鏡Ｇの領域をマスクして監視対象から外すことによって、顔特徴点の検出率を向上させて、ドライバＤの眼Ｅの状態をより正確に監視する。

同様に、図１（ｂ）に示すように、レンズＬが眼Ｅの下側の頬近傍に位置するように、眼鏡Ｇがズリ下げられて外された状態で掛けられている場合、眼領域検出装置は、テンプルＴの水平面Ｈに対する傾斜角度や顔面の水平面Ｈに対する傾斜角度を取得した上で眼鏡Ｇの傾斜状況を特定し、眼鏡Ｇの領域をマスクして監視対象から外すことによって、顔特徴点の検出率を向上させて、
ドライバＤの眼Ｅの状態をより正確に監視する。

（２）眼領域検出装置の構成
引き続き、眼領域検出装置の構成について、図２を用いて説明する。図２は、眼領域検出装置１０の構成概略を説明するための構成概略図である。眼領域検出装置１０は、眼鏡情報検出部１（眼鏡類取得手段）、顔向き角度演算部２（顔面取得手段）、眼鏡テンプル角度演算部３（特定手段）、及び眼領域検出部４（監視手段）を構成要素として有している。

なお、眼領域検出装置１０による機能は、例えば、自車両の内部に搭載された電子制御装置であるＥＣＵ（図示せず）により実現される。ＥＣＵは、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（RandomAccess Memory）等からなるマイクロコンピュータを主要構成部品とするユニットである。

眼鏡情報検出部１は、ドライバＤの顔面にＬＥＤからの赤外光を照射して反射光を受信し、瞳孔以外に輝度が所定値以上である反射光を検知したか否かによって、眼鏡Ｇの有無を判定する眼鏡有無判定部分である。赤外光の照射及び反射光の受信の詳細に関しては、例えば、特開平８−１８５５０３号公報等に記載されている技術が用いられる。また、眼鏡情報検出部１は、眼鏡Ｇの存在が検出されると、レンズＬ及びフレームの端部の位置や、テンプルＴの顔面における位置や、テンプルＴの水平面Ｈに対する傾斜角度といった眼鏡類情報を取得する。

顔向き角度演算部２は、ドライバＤの顔面にＬＥＤからの赤外光を照射して反射光を受信し、瞳孔の大きさ（上瞼及び下瞼で規定される瞳孔の面積）や、ドライバＤの視線方向の水平面Ｈに対して傾斜したピッチ角度（顔向き角度）といった顔面情報を取得する情報取得部分である。赤外光の照射及び反射光の受信の詳細に関しては、例えば、特開平８−１８５５０３号公報等に記載されている技術が用いられる。

眼鏡テンプル角度演算部３は、眼鏡情報検出部１によって取得された眼鏡類情報と、顔向き角度演算部２によって取得された顔面情報とに基づいて、テンプルＴの視線方向に対する相対角度（眼鏡テンプル角度）といった眼鏡Ｇの配置状況を特定する配置特定部分である。眼鏡テンプル角度演算部３による眼鏡テンプル角度の算出方法の詳細は、後述する。

眼領域検出部４は、眼鏡テンプル角度演算部３によって特定された眼鏡Ｇの配置状況に基づいて、眼Ｅの状態といった生体状態を、カメラを用いて監視する監視部分である。より詳しくは、眼領域検出部４は、眼鏡テンプル角度演算部３によって特定された眼鏡Ｇの配置状況が、眼Ｅから眼鏡Ｇが外された状況を示す場合、眼鏡Ｇの領域をマスクして（即ち、生体状態の監視対象でない非監視領域として設定して）、瞼の開閉状態といった生体状態を監視する。

（３）眼鏡テンプル角度の算出方法
引き続き、眼鏡テンプル角度の算出方法について、図３を用いて説明する。図３は、眼鏡テンプル角度の算出方法を説明するための説明図であり、図３（ａ）は図１（ａ）に示される状態と対応しており、図３（ｂ）は図１（ｂ）に示される状態と対応している。

まず、図３（ａ）に示すように、レンズＬが眼Ｅの上側の額や頭頂近傍に位置するように、眼鏡Ｇがズリ上げられて外された状態で掛けられている状況について説明する。眼鏡Ｇがズリ上げられた状況は、眼鏡情報検出部１によって取得された眼鏡類情報と、顔向き角度演算部２によって取得された顔面情報とに基づいて認識される。そして、眼鏡テンプル角度演算部３は、眼鏡情報検出部１によって取得されたテンプルＴの水平面Ｈに対する傾斜角度Ａ（ここでは、眼鏡Ｇのつるを回転中心として時計周り方向を正とした場合における正の値）から、顔向き角度演算部２によって取得された視線方向Ｖの水平面Ｈに対する顔向き角度Ｃ（ここでは正の値）を減算して、眼鏡テンプル角度（Ａ−Ｃ）を取得する。

そして、眼領域検出部４は、眼鏡テンプル角度演算部３によって得られた眼鏡テンプル角度（Ａ−Ｃ）が第一の所定角度Θ１（ここでは正の値）以上であるという第一の所定条件が、満たされるか否かを判定する。そして、この第一の所定条件が満たされる場合、眼鏡Ｇがズリ上げられているだけでなく眼Ｅのカバー領域からズレて外されている状態でもあることが、眼領域検出部４によって認識される。そして、眼領域検出部４は、眼鏡Ｇの領域をマスクして（即ち、生体状態の監視対象でない非監視領域として設定して）、瞼の開閉状態といった生体状態を、カメラを用いて監視する。

また、図３（ｂ）に示すように、レンズＬが眼Ｅの下側の頬近傍に位置するように、眼鏡Ｇがズリ下げられて外された状態で掛けられている状況について説明する。眼鏡Ｇがズリ下げられた状況は、眼鏡情報検出部１によって取得された眼鏡類情報と、顔向き角度演算部２によって取得された顔面情報とに基づいて認識される。そして、眼鏡テンプル角度演算部３は、眼鏡情報検出部１によって取得されたテンプルＴの水平面Ｈに対する傾斜角度Ｂ（ここでは、眼鏡Ｇのつるを回転中心として時計周り方向を正とした場合における負の値）から、顔向き角度演算部２によって取得された視線方向Ｖの水平面Ｈに対する顔向き角度Ｃ（ここでは負の値）を減算して、眼鏡テンプル角度（Ｂ−Ｃ）を取得する。

そして、眼領域検出部４は、眼鏡テンプル角度演算部３によって得られた眼鏡テンプル角度（Ｂ−Ｃ）が第二の所定角度Θ２（ここでは負の値）以下であるという第二の所定条件が、満たされるか否かを判定する。そして、この第二の所定条件が満たされる場合、眼鏡Ｇがズリ下げられているだけでなく眼Ｅのカバー領域からズレて外されている状態でもあることが、眼領域検出部４によって認識される。そして、眼領域検出部４は、眼鏡Ｇの領域をマスクして（即ち、生体状態の監視対象でない非監視領域として設定して）、瞼の開閉状態といった生体状態を、カメラを用いて監視する。

ここで、眼鏡Ｇが眼Ｅのカバー領域からズレておらず外されていない状態で掛けられている状況について説明する。この状況で、眼鏡テンプル角度演算部３は、眼鏡情報検出部１によって取得されたテンプルＴの水平面Ｈに対する傾斜角度から、顔向き角度演算部２によって取得された視線方向Ｖの水平面Ｈに対する顔向き角度を減算して、眼鏡テンプル角度を取得する。

そして、眼領域検出部４は、眼鏡テンプル角度演算部３によって得られた眼鏡テンプル角度が第一の所定角度Θ１（ここでは正の値）未満であって第二の所定角度Θ２（ここでは負の値）より大きいという第三の所定条件が、満たされるか否かを判定する。そして、この第三の所定条件が満たされる場合、眼鏡Ｇが眼Ｅのカバー領域からズレておらず外されていない状態であることが、眼領域検出部４によって認識される。このとき、眼領域検出部４は、上記の生体状態の監視を行なうことなく、一連の処理を終了させる。

（４）眼領域検出装置における眼領域検出処理の流れ
引き続き、眼領域検出装置１０における眼領域検出処理の流れについて、図４を用いて説明する。図４は、眼領域検出装置１０における眼領域検出処理の流れを示すフローチャートである。

まず、眼鏡情報検出部１が、ドライバＤの顔面にＬＥＤからの赤外光を照射して反射光を受信し、瞳孔以外に輝度が所定値以上である反射光を検知したか否かによって、眼鏡Ｇの有無を判定する（ステップＳ０１）。眼鏡Ｇは無いと判定された場合、一連の処理は終了する。一方、眼鏡Ｇの存在が検出されると、後述のステップＳ０２及びステップＳ０３が行なわれる。

ステップＳ０２では、眼鏡情報検出部１が、レンズＬの端部の位置や、テンプルＴの顔面における位置や、テンプルＴの水平面Ｈに対する傾斜角度といった眼鏡類情報を検出して取得する。そして、後述のステップＳ０３が完了すると、後述のステップＳ０４に移行する。

ステップＳ０３では、顔向き角度演算部２が、ドライバＤの顔面にＬＥＤからの赤外光を照射して反射光を受信し、瞳孔の大きさ（面積）や、ドライバＤの視線方向の水平面Ｈに対する傾斜角度Ａ，Ｂ（顔向き角度）といった顔面情報を演算により取得する。そして、ステップＳ０２が完了すると、後述のステップＳ０４に移行する。

ステップＳ０４では、眼鏡テンプル角度演算部３が、ステップＳ０２で取得された眼鏡類情報と、ステップＳ０３で取得された顔面情報とに基づいて、眼鏡マスクフレーム角度としての眼鏡テンプル角度を演算して取得することによって、眼鏡Ｇの傾斜状況を含む配置状況を特定する。そして、後述のステップＳ０５に移行する。

ステップＳ０５では、眼領域検出部４が、眼鏡テンプル角度演算部３によって取得された眼鏡テンプル角度が上記の第一の所定条件（Ａ−Ｃ≧Θ１）及び第二の所定条件（Ｂ−Ｃ≦Θ２）の何れかを満たすか否かを判定する。第一の所定条件及び第二の所定条件の何れも満たされない場合（即ち、上記の第三の所定条件（Ａ−Ｃ＜Θ１且つＢ−Ｃ＞Θ２）が満たされる場合）、一連の処理は終了する。一方、第一の所定条件及び第二の所定条件の何れかが満たされる場合（即ち、上記の第三の所定条件が満たされない場合）、後述のステップＳ０６に移行する。

ステップＳ０６では、眼領域検出部４が、眼鏡Ｇの部分の領域をマスクして（即ち、生体状態の監視対象でない非監視領域として設定して）、眼Ｅの領域を検出した上で、瞼の開閉状態といった生体状態を監視する。そして、一連の処理は終了する。

（５）眼領域検出装置による作用及び効果
本発明に係る生体監視装置としての眼領域検出装置１０では、まず、ドライバＤの顔面における眼鏡Ｇに関する眼鏡類情報と、顔面に関する顔面情報とを取得する。次に、取得された眼鏡類情報及び顔面情報に基づいて眼鏡Ｇの傾斜状況を含む配置状況を特定し、眼鏡テンプル角度を取得する。そして、特定された眼鏡テンプル角度に基づいて眼鏡Ｇの眼Ｅのカバー領域からのズレを判定し、眼Ｅのカバー領域からのズレが検出されると、眼鏡Ｇが外された状態とみなして、眼鏡Ｇの部分の領域をマスクした上でドライバＤの生体状態を監視する。

このため、例えば眼鏡Ｇのズレにより瞼の開閉状態といった生体状態の監視が可能な状況において、眼鏡Ｇのカバー領域からの眼Ｅのズレを検出した上で生体状態の監視を行なって利便性を高めることが可能になる。

また、眼鏡Ｇの水平面Ｈに対する傾斜角度Ａ，Ｂが考慮に入れられた眼鏡Ｇの傾斜状況を含む配置状況が特定されるため、より正確に生体状態の監視を行なうことが可能になる。

また、顔面の水平面Ｈに対する顔向き角度Ｃが考慮に入れられた眼鏡Ｇの傾斜状況を含む配置状況が特定されるため、より正確に生体状態の監視を行なうことが可能になる。

また、眼鏡Ｇの配置状況が眼Ｅから眼鏡Ｇが外された状況を示す場合、この眼鏡Ｇの領域がマスクされるため、顔特徴点の検出率を向上させて、より正確に生体状態の監視を行なうことが可能になる。

また、例えば眼鏡Ｇのズレにより眼Ｅの状態の監視が可能な状況において、眼鏡Ｇの傾斜状況を含む配置状況を特定した上で眼Ｅの状態の検知及び監視を行なってドライバＤの眠気の有無を推定できるようになるため、利便性を高めることが可能になる。

（６）変形例
上記の実施例では、眼鏡情報検出部１は、ドライバＤの顔面にＬＥＤからの赤外光を照射して反射光を受信し、瞳孔以外に輝度が所定値以上である反射光を検知したか否かによって、眼鏡Ｇの有無を判定する構成であるとして説明したが、眼鏡Ｇの有無の判定や眼鏡類情報の取得が可能であれば、赤外光を用いなくてもよい。

また、眼領域検出装置１０は、ユーザとしてのドライバＤの眼Ｅの領域の位置を検出する監視装置として説明したが、眼Ｅの領域の位置の検出対象となる検出対象者は特に限定されず、例えば他の同乗者であってもよい。

本発明によれば、監視対象者の眼鏡類のズレだけでなく生体状態の監視を行なって利便性を高めることが可能な生体監視装置を提供することができる。

１…眼鏡情報検出部、２…顔向き角度演算部、３…眼鏡テンプル角度演算部、４…眼領域検出部、１０…眼領域検出装置、Ａ，Ｂ…傾斜角度、Ｃ…顔向き角度、Ｄ…ドライバ、Ｅ…眼、Ｇ…眼鏡、Ｈ…水平面、Ｌ…レンズ、Ｔ…テンプル、Ｖ…視線方向。

Claims (4)

1. ユーザの生体状態を監視する生体監視装置であって、
   前記ユーザの顔面における眼鏡類に関する眼鏡類情報を取得する眼鏡類取得手段と、
   前記顔面に関する顔面情報を取得する顔面取得手段と、
   前記眼鏡類取得手段により取得された前記眼鏡類情報、及び前記顔面取得手段により取得された前記顔面情報に基づいて前記眼鏡類の配置状況を特定する特定手段と、
   前記特定手段により特定された前記眼鏡類の配置状況が前記ユーザの眼から外された状況を示す場合、当該眼鏡類の領域をマスクして、前記ユーザの生体状態を監視する監視手段と、
   を備えることを特徴とする生体監視装置。
2. 前記眼鏡類取得手段は、前記眼鏡類の水平面に対する傾斜角度に関する前記眼鏡類情報を取得することを特徴とする請求項１に記載の生体監視装置。
3. 前記顔面取得手段は、前記顔面の水平面に対する傾斜角度に関する前記顔面情報を取得することを特徴とする請求項１または２に記載の生体監視装置。
4. 前記監視手段は、前記ユーザの眼の状態を監視することを特徴とする請求項１〜３のいずれかに記載の生体監視装置。
   

Images