JP4710679B2 - 開閉眼判定方法及びその装置 - Google Patents
開閉眼判定方法及びその装置 Download PDFInfo
- Publication number
- JP4710679B2 JP4710679B2 JP2006081244A JP2006081244A JP4710679B2 JP 4710679 B2 JP4710679 B2 JP 4710679B2 JP 2006081244 A JP2006081244 A JP 2006081244A JP 2006081244 A JP2006081244 A JP 2006081244A JP 4710679 B2 JP4710679 B2 JP 4710679B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- upper eyelid
- curvature
- open
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
[構成]
図1は、本発明の実施の形態に係る開閉眼判定装置1の構成を示す機能ブロック図である。この開閉眼判定装置1は、被検出者の眼が開眼状態にあるか又は閉眼状態にあるかを判定するものである。
<眼画像取得手段CL1の詳細>
ここで、眼画像取得手段CL1は、詳細には以下の構成となっている、
即ち、図1に示すように、眼画像取得手段CL1は、顔画像撮像手段CL11と、顔部位検出手段CL12を有する。
<開閉眼判定閾値設定手段CL6の詳細>
また、開閉眼判定閾値設定手段CL6は詳細には以下のようになっている。即ち、図1に示すように、開閉眼判定閾値設定手段CL6は、第1算出手段CL61と第2算出手段CL62を有する。第1算出手段CL61は、開眼時の上瞼の代表値から設定される第1判定閾値を算出するものである。また、第2算出手段CL62は、閉眼時の上瞼の曲率の代表値から設定される第2判定閾値を算出するものである。
<上瞼横幅検出手段CL9>
この上瞼横幅検出手段CL9は、上瞼座標抽出手段CL3によって抽出された上瞼の座標群から抽出された上瞼の横幅を検出し、検出した上瞼の横幅を開閉眼判定閾値設定手段CL6に入力するようになっている。
[開閉眼判定装置1の具体例]
このようなこの発明の実施の形態に係る開閉眼判定装置1は、自動車,鉄道車両,船舶等の乗物の運転者(被検出者)や、プラントのオペレータ(被検出者)の開閉眼の判定に用いることができる。以下、この開閉眼判定装置1を車両(自動車)に適用した実施例で説明する。
[作用]
次に、この構成の開閉眼判定プログラムを図3のフローチャートに基づいて説明する。
ステップS1
このステップS1では、例えばサンプリング時間などの各種設定数である初期値の入力処理を実行して、ステップS2の処理フレームカウンタ「i」の初期化の処理に移行する。
ステップS2
このステップS2では、処理フレームカウンタ「i」を初期化して「0」にし、ステップS3の終了判断の処理に移行する。
ステップS3
このステップS3では、エンジンが停止「STOP」しているか否かから、開閉眼判定処理の終了判断の処理をして、ステップS4に移行する。
ステップS4
このステップS4では、ステップS3でエンジンが停止「STOP」していて終了であると判断された場合、YESで終了「END」する。また、ステップS3でエンジンが停止「STOP」してないと判断された場合、ステップS5の眼画像の取得処理に移行する。
ステップS5
このステップS5では、カメラ(顔画像撮像手段CL11)6により被検出者である図2の運転者4の顔5全体の撮像処理(取得処理)を開始させると共に、この撮像された画像8(図6参照)から図6の顔画像5aを検出して、検出した顔画像5aから顔部位の一部である左の眼画像EL(又は右の眼画像ER)を眼検出手段CL120により検出(取得)し、ステップS6に移行する。
ステップS6
このステップS6では、眼画像を取得(検出)できたか否かが判断され、取得できていなければNOでステップS16に移行し、取得できていればYESでステップS7の上瞼の抽出処理に移行する。
ステップS7
このステップS7では、上瞼の抽出処理を実行して、ステップS8に移行する。この上瞼の抽出処理では、例えば図6に示したように検出した眼画像ELが入るような存在領域EAを微小画像IGとして設定する。そして、図5に示した存在領域EA内において、顔幅方向に等間隔に複数の検出位置を設定して、各検出位置で縦方向に濃度の変化のある濃度変化点を検出し、この検出した複数の濃度変化点の連続データから図7の上瞼のエッジライン9を抽出する。
ステップS8
このステップS8では、ステップS7において抽出した上瞼のエッジライン9の顔幅方向の長さから上瞼が存在するか否かが判断され、この上瞼が存在しないと判断された場合にはNOでステップS16に移行し、上瞼が存在すると判断された場合にはYESでステップS9の上瞼座標抽出処理に移行する。
ステップS9
このステップS9の上瞼座標抽出処理では、上瞼のエッジライン9の顔幅方向における複数の位置の座標[Xi,Yj(i=0,1,2,…m、j=0,1,2,…n)を算出し、ステップS10の上瞼の曲線近似処理に移行する。
ステップS10
このステップS10の上瞼の曲線近似処理では、ステップS9で算出した上瞼のエッジライン9の多数の座標(Xi,Yj)から上瞼のエッジライン9の所定の曲線に近似する処理を実行させ、ステップS11の上瞼曲率算出処理に移行する。
ステップS11
このステップS11の上瞼曲率算出処理では、上瞼のエッジライン9の多数の座標(Xi,Yj)から上瞼のエッジライン9の曲率を算出して、ステップS12の上瞼座標と近似曲線の相関算出処理に移行する。
このステップS12の上瞼座標と近似曲線の相関算出処理では、上瞼のエッジライン9を構成する複数の点の座標(Xi,Yj)の高さ方向の座標値Yjの総平方和を第1総平方和Mとして求めると共に、座標(Xi,Yj)を用いて算出した近似曲線のXiにおける高さ方向座標値Yの総平方和を第2総平方和Nとして求めて、第1総平方和に対する第2総平方和(M/N)を相関値として算出し、ステップS13の開閉眼判定曲率閾値設定処理に移行する。
このステップS13の開閉眼判定曲率閾値設定処理では、上瞼の曲率のみによって開閉判断を行う範囲や、上瞼の曲率と他のパラメータ(開度値、眼と眉の間隔)を用いて開閉判断を行う範囲等を設定し(詳細は後述)、ステップS14に移行する。
このステップS14では、開閉眼判定曲率閾値が決定しているか否かが判断され、決定していなければNOでステップS16に移行し、決定していればYESでステップS15の開閉眼判定処理に移行する。
このステップS15の開閉眼判定処理では、ステップS13の開閉眼判定曲率閾値設定処理で設定された条件に基づいて開閉眼の判定を実行し(詳細は後述)、ステップS16に移行する。
このステップS16では、処理フレームカウンタ「i」をインクリメント(i=i+1)して、ステップS3に戻り繰り返す。
[ステップS13の開閉眼判定曲率閾値設定処理の詳細]
次に、図4のフローチャートに基づいてステップS13の開閉眼判定曲率閾値設定処理を詳細に説明する。
図3のステップS12からステップS13に移行すると、図4のフローチャートに基づいてステップS13の開閉眼判定曲率閾値設定処理が開始される。そして、図4のステップS1301では、開閉眼判定曲率閾値が設定されているか否かが判断される。この判断において、開閉眼判定曲率閾値が設定されていればYESでステップS14に移行し、開閉眼判定曲率閾値が設定されていなければNOでステップS1302に移行する。
このステップS1302では、上瞼座標と近似曲線の相関が高いか否かが判断され、高くなければNOでステップS14に移行し、高ければYESでステップS1303に移行する。
このステップS1303では、図3のステップS11において求めた上瞼(エッジライン9)の近似曲線の曲率値をメモリに記録(記憶)して、ステップS1304に移行する。
このステップS1304では、上瞼の近似曲線の曲率値が図示しないメモリに所定フレーム数分記録されているか否かが判断され、所定フレーム数分記録されていなければNOでステップS14に移行し、所定フレーム数分記録されていればYESでステップS1305に移行する。
ステップS1305
このステップS1305では、図示しないメモリに記録された所定フレーム数分の上瞼曲率値からその統計的代表値を算出して、ステップS1306に移行する。
ステップS1306
このステップS1306では、ステップS1305で算出した上瞼曲率値の統計的代表値に基づき開閉眼判定曲率閾値を設定して、ステップS14に移行する。
このステップS1306においては、上瞼の曲率によって開閉判断を行うことを原則とするために開閉眼判定曲率閾値を図8のように設定する。この設定は図9に示した開閉眼判定閾値を考慮して設定する。即ち、図9に示したように下瞼位置に対する開眼時の上瞼位置Eoと閉眼時の上瞼位置Ecを考えると、開眼時の上瞼位置では上瞼のエッジライン9の曲率が大きく(曲率半径が小さく)、閉眼時の上瞼位置の上瞼のエッジライン9の曲率は小さい(曲率半径は大きい)。従って、開閉眼判定閾値SHは上瞼位置が開眼時の上瞼位置Eoと閉眼時の上瞼位置Ecとの間Epに位置する場合の曲率となるように設定する。図8では、1/曲率半径R3が開閉眼判定閾値SHにあたる。
。
<曲率半径と他のパラメータによる開閉判断領域設定>
相関値Kが小さく、曲率が開閉眼判定不確実領域にある場合は、曲率閾値だけで開閉眼の判断は不確定となるので、その他のパラメータ(開度値、眼と眉の間隔)を用いて判定するように設定する。
[ステップS15の開閉眼判定処理の詳細]
次に、図5のフローチャート及び図8の開閉眼判定閾値設定図に基づいてステップS15の開閉眼判定理を詳細に説明する。
このステップS1501では、相関値Kが図8のK3より大きいか否かが判断され、大きければYESで図5(a)のステップS1502に移行し、相関値KがK3より小さい場合にはNOで図5(a)のステップS1503に移行する。
このステップS1502では、上瞼の曲率半径Rが図8のR3より小さいか否かが判断され、小さければYESで図5(c)のステップS1509に移行し、図8の上瞼の曲率半径RがR3より大きければNOで図5(c)のステップS1510に移行する。
この図5(a)のステップS1503では、相関値Kが図8のK2より大きいか否かが判断され、小さければNOで図5(b)のステップS1506に移行し、大きければYESで図5(a)のステップS1504に移行する。
この1504では、上瞼の曲率半径Rが図8のR2より小さいか否かが判断され、小さければYESで図5(c)のステップS1509に移行し、大きければNOで図5(a)のステップS1505に移行する。
このステップS1505では、上瞼の曲率半径Rが図8のR4より大きいか否かが判断され、大きければYESで図5(c)のステップS1510に移行し、小さければNOで図5(c)のステップS1511に移行する。
図5(b)のステップS1506では、相関値Kが図8のK1より大きいか否かが判断され、大きくなければNOで図5(c)のステップS1511に移行し、大きければYESで図5(b)のステップS1507に移行する。
このステップS1507では、上瞼の曲率半径Rが図8のR1より小さいか否かが判断され、小さければYESで図5(c)のステップS1509に移行し、小さくなければNOでステップS1508に移行する。
このステップS1508では、上瞼の曲率半径Rが図8のR5より大きいか否かが判断され、大きければYESで図5(c)のステップS1510に移行し、大きくなければNOで図5(c)のステップS1511に移行する。
このステップS1509では、上瞼の曲率半径Rが曲率閾値のみで開眼と判定される開眼判定領域(1)にあるので、被検出者の眼は開眼と判定して、図3のステップS16に移行する。
このステップS1510では、上瞼の曲率半径Rが曲率閾値のみで閉眼と判定される閉眼判定領域(2)にあるので、被検出者の眼は閉眼と判定して、図3のステップS16に移行する。
このステップS1511では、上瞼の曲率半径Rが曲率閾値のみで確実に開眼、閉眼と判定することが難しい開眼判定領域(3),閉眼判定領域(4)にあるので、第2開閉眼判定処理を実行して、図3のステップS16に移行する。
図11〜図14は、この発明の変形例を示したものである。基本的には図1に示した開閉眼判定装置1及び図2の構成が用いられる。以下、図11のフローチャートに基づいてこの変形例の開眼判定処理を説明する。
このステップS1では、例えばサンプリング時間などの各種設定数である初期値の入力処理を実行して、ステップS1−1に移行する。
このステップS1−1では、顔画像の顔部位のうち必要な部分が検出されているか否かを示す顔部位検出フラグ「GetFlag」を未検出である「FALS」に設定して、ステップS2の処理フレームカウンタ「i」の初期化の処理に移行する。 ここで、顔画像の顔部位のうち必要な部分としては少なくとも顔画像の眉,眼等があるので、少なくとも眉,眼等の顔部位を含む顔画像が検出されていなければ、顔部位検出フラグ「GetFlag」を未検出である「FALS」に設定する。尚、顔部位の検出対象としては鼻,耳,口等も含めることができる。
このステップS2では、処理フレームカウンタ「i」を初期化して「0」にし、ステップS3の終了判断の処理に移行する。
このステップS3では、エンジンが停止「STOP」しているか否かから、開閉眼判定処理の終了判断の処理をして、ステップS4に移行する。
このステップS4では、ステップS3でエンジンが停止「STOP」していて終了であると判断された場合、YESで終了「END」する。また、ステップS3でエンジンが停止「STOP」してないと判断された場合、ステップS51の顔画像の撮像処理に移行する。
このステップS51の顔画像の撮像処理では、カメラ(顔画像撮像手段CL11)6により被検出者である図2の運転者4の顔5全体の撮像処理(取得処理)を開始させ、ステップS52に移行する。
このステップS52では、顔部位検出フラグ「GetFlag」が未検出である「FALS」であるか否かが判断される。
このステップS53の顔部位検出処理では、少なくとも顔画像の眉,眼等の顔部位が含まれる顔画像の検出処理を実行して、ステップS16に移行する。
ステップS54の顔部位追跡処理では、図6の顔部位である眼が含まれる微小画像Gを眼の存在領域EAとして設定して、存在領域EAの追跡処理を実行すると共に、同様に顔部位である眉が含まれる微小画像を眉の存在領域として設定して、眼や眉の追跡処理を実行し、ステップS7の上瞼の抽出処理に移行する。
このステップS7では、上瞼の抽出処理を実行して、ステップS8に移行する。この上瞼の抽出処理では、例えば図6に示したように検出した眼画像ELが入るような存在領域EAを微小画像IGとして設定する。そして、図5に示した存在領域EA内において、顔幅方向に等間隔に複数の検出位置を設定して、各検出位置で縦方向に濃度の変化のある濃度変化点を検出し、この検出した複数の濃度変化点の連続データから図7の上瞼のエッジライン9を抽出する。尚、眉の抽出処理も同様な方法で検出できる。
このステップS8では、ステップS7において抽出した上瞼のエッジライン9の顔幅方向の長さから上瞼が存在するか否かが判断され、この上瞼が存在しないと判断された場合にはNOでステップS16に移行し、上瞼が存在すると判断された場合にはYESでステップS9の上瞼座標抽出処理に移行する。
このステップS9の上瞼座標抽出処理では、上瞼のエッジライン9の顔幅方向における複数の位置の座標[Xi,Yj(i=0,1,2,…m、j=0,1,2,…n)を算出し、ステップS10の上瞼の曲線近似処理に移行する。
このステップS10の上瞼の曲線近似処理では、ステップS9で算出した上瞼のエッジライン9の多数の座標(Xi,Yj)から上瞼のエッジライン9の所定の曲線に近似する処理を実行させ、ステップS11の上瞼曲率算出処理に移行する。
このステップS11の上瞼曲率算出処理では、上瞼のエッジライン9の多数の座標(Xi,Yj)から上瞼のエッジライン9の曲率を算出し、ステップS12の上瞼座標と近似曲線の相関算出処理に移行する。
このステップS12の上瞼座標と近似曲線の相関算出処理では、上瞼のエッジライン9を構成する複数の点の座標(Xi,Yj)の高さ方向の座標値Yjの総平方和を第1総平方和Mとして求めると共に、座標(Xi,Yj)を用いて算出した近似曲線のXiにおける高さ方向座標値Yの総平方和を第2総平方和Nとして求めて、第1総平方和に対する第2総平方和(M/N)を相関値として算出し、ステップS13aの開閉眼判定曲率閾値設定処理に移行する。
このステップS13aの開閉眼判定曲率閾値設定処理では、上瞼の曲率のみによって開閉判断を行う範囲や、上瞼の曲率と他のパラメータ(開度値、眼と眉の間隔)を用いて開閉判断を行う範囲等を設定し(詳細は後述)、ステップS14に移行する。
このステップS14では、開閉眼判定曲率閾値が決定しているか否かが判断され、決定していなければNOでステップS16に移行し、決定していればYESでステップS15aの開閉眼判定処理に移行する。
このステップS15aの開閉眼判定処理では、ステップS13aの開閉眼判定曲率閾値設定処理で設定された条件に基づいて開閉眼の判定を実行し(詳細は後述)、ステップS16に移行する。
このステップS16では、処理フレームカウンタ「i」をインクリメント(i=i+1)して、ステップS3に戻り繰り返す。
次に、図11Aのフローチャートに基づいてステップS13aの開閉眼判定曲率閾値設定処理を詳細に説明する。
図3のステップS12からステップS13に移行すると、図11Aのフローチャートに基づいてステップS13aの開閉眼判定曲率閾値設定処理が開始される。そして、図11AのステップS13a1では、開閉眼判定曲率閾値が設定されているか否かが判断される。この判断において、開閉眼判定曲率閾値が設定されていればYESでステップS14に移行し、開閉眼判定曲率閾値が設定されていなければNOでステップS13a2に移行する。
このステップS13a2では、上瞼座標と近似曲線の相関が高いか否かが判断され、高くなければNOでステップS14に移行し、高ければYESでステップS13a3に移行する。
このステップS13a3では、図3のステップS11において求めた上瞼(エッジライン9)の近似曲線の曲率値をメモリに記録(記憶)して、ステップS13a4に移行する。
このステップS13a4では、上瞼の近似曲線の曲率値が図示しないメモリに所定フレーム数分記録されいるか否かが判断され、所定フレーム数分記録されいなければNOでステップS14に移行し、所定フレーム数分記録されいればYESでステップS13a5に移行する。
このステップS13a5では、図示しないメモリに記録された所定フレーム数分の上瞼曲率値からその統計的代表値を算出して、ステップS13a6に移行する。
このステップS13a6では、ステップS13a5で算出した上瞼曲率値の統計的代表値に基づき開閉眼判定曲率閾値を設定して、ステップS14に移行する。
このステップS13a6においては、上瞼の曲率半径によって開閉判断を行うことを原則とするために開閉眼判定曲率閾値を図13のように設定する。この設定は図14に示した曲率による開閉眼判定閾値である第一開閉眼判定閾値S1と、眼の開度等他のパラメータによる第二開閉眼判定閾値T1を考慮して設定する。即ち、図14に示したように下瞼位置に対する開眼時の上瞼位置Eoと閉眼時の上瞼位置Ecを考えると、開眼時の上瞼位置Eoでは上瞼のエッジライン9の曲率が大きく(曲率半径Rが小さく)、閉眼時の上瞼位置Ecの上瞼のエッジライン9の曲率は小さい(曲率半径Rは大きい)。従って、第一開閉眼判定閾値S1は、上瞼位置が開眼時の上瞼位置Eoと閉眼時の上瞼位置Ecとの間Epに位置する場合の曲率となるように設定する。図8では、1/曲率半径R3が開閉眼判定閾値S1にあたる。
[ステップS15aの開閉眼判定処理の詳細]
次に、図11のフローチャート及び図13の開閉眼判定閾値設定図に基づいてステップS15aの開閉眼判定理を詳細に説明する。
このステップS15a1では、顔部位検出フラグ「GetFlag」が未検出である「FALS」であるか否かを判断し、顔部位検出フラグ「GetFlag」が「FALS」であればYESでステップS16に移行し、顔部位検出フラグ「GetFlag」が「FALS」でなければNOでステップS15a2に移行する。
このステップS15a2では、相関値がK3より大きいか否かが判断され、相関値がK3大きければYESでステップS15a3に移行し、相関値KがK3より小さければNOでステップS15a5に移行する。
このステップS15a3では、上瞼の曲率半径RがR3より小さいか否かが判断され、上瞼の曲率半径RがR3より小さければYESでステップS15a4に移行し、上瞼の曲率半径RがR3より大きければNOでステップS15a19に移行する。
このステップS15a4では、上瞼の曲率半径RがR01より大きいか否かが判断され、上瞼の曲率半径RがR01より大きければYESでステップS15a18に移行し、この上瞼の曲率半径RがR01より小さければNOでステップS15a14に移行する。
このステップS15a5では、相関値KがK2より大きいか否かが判断され、相関値KがK2大きければYESでステップS15a6に移行し、相関値KがK2より小さければNOでステップS15a9に移行する。
このステップS15a6では、上瞼の曲率半径RがR3より小さいか否かが判断され、上瞼の曲率半径RがR3より小さければYESでステップS15a7に移行し、この上瞼の曲率半径RがR3より大きければNOでステップS15a8に移行する。
このステップS15a7では、上瞼の曲率半径RがR01より大きいか否かが判断され、上瞼の曲率半径RがR01より大きければYESでステップS15a18に移行し、この上瞼の曲率半径RがR01より小さければNOでステップS15a14に移行する。
このステップS15a8では、上瞼の曲率半径RがR4より大きいか否かが判断され、上瞼の曲率半径RがR4より大きければYESでステップS15a19に移行し、上瞼の曲率半径RがR4より小さければNOでステップS15a20に移行する。
このステップS15a9では、相関値KがK1より大きいか否かが判断され、相関値KがK1より大きければYESでステップS15a10に移行し、相関値KがK1より小さければNOでステップS15a12に移行する。
このステップS15a10では、上瞼の曲率半径RがR1より小さいか否かが判断され、上瞼の曲率半径RがR1より小さければYESでステップS15a11に移行し、この上瞼の曲率半径RがR1より大きければNOでステップS15a13に移行する。
このステップS15a11では、上瞼の曲率半径RがR01より大きいか否かが判断され、上瞼の曲率半径RがR01より大きければYESでステップS15a18に移行し、この上瞼の曲率半径RがR01より小さければNOでステップS15a14に移行する。
このステップS15a12では、相関値KがK01より大きいか否かが判断され、相関値KがK01大きければYESでステップS15a20に移行し、相関値KがK01より小さければNOでステップS15a14に移行する。
このステップS15a13では、上瞼の曲率半径RがR5より大きいか否かが判断され、上瞼の曲率半径RがR5より大きければYESでステップS15a19に移行し、この上瞼の曲率半径RがR5より小さければNOでステップS15a20に移行する。
このステップS15a14では、顔部位を再度検出し直すための指標である顔部位再検出処理移行数を計数するための判定不可カウンタ「J」をインクリメント「J=J+1」して、ステップS15a15に移行する。
このステップS15a15では、判定不可カウンタ「J」は顔部位再検出処理移行数を超えたか否かが判断される。そして、この判断において、判定不可能カウンタ「J」が顔部位再検出処理移行数を超えていなければNOでステップS16に移行し、判定不可カウンタ「J」が顔部位再検出処理移行数を超えていいればYESでステップS15a16に移行する。
このステップS15a16では、顔部位検出フラグ「GetFlag」を未検出である「FALS」に設定して、ステップS15a17に移行する。
このステップS15a17では、顔部位再検出処理移行数を計数するための判定不可カウンタ「J」を初期化して、ステップS16に移行する。
ステップS15a19
このステップS15a19では、上瞼の曲率半径Rが曲率閾値のみで閉眼と判定される閉眼判定領域(2)にあるので、被検出者の眼は開眼と判定して、ステップS15a17に移行する。
このステップS15a20では、上瞼の曲率半径Rが曲率閾値のみで確実に開眼、閉眼と判定できない開眼判定領域(3),閉眼判定領域(4)にあるので、第2開閉眼判定処理を実行して、ステップS15a17に移行する。
CL11…顔画像撮像手段
CL12…顔部位検出手段
CL120…眼検出手段
CL121…眼位置検出手段
CL122…眼位置追跡手段
CL2…上瞼検出手段
CL3…上瞼座標抽出手段
CL4…曲線近似手段
CL5…相関値検出手段
CL6…開閉眼判定閾値設定手段
CL7…上瞼曲率検出手段
CL8…開閉眼判定手段
CL9…上瞼横幅検出手段
H,h…縦幅
L1,L2…間隔
K01〜K3…相関値(上瞼検出判定閾値)
P…頂点(頂点部分)
R01〜R5…曲率半径閾値(上瞼検出判定閾値)
(1)…開閉眼判定確実領域
(2)…開閉眼判定確実領域
(3)…開閉眼判定不確実領域
(4)…開閉眼判定不確実領域
Claims (9)
- 眼画像取得手段により取得された被検出者の眼画像から上瞼の曲率及び前記上瞼の曲率の頂点と眉の代表座標値との間隔又は眼の縦幅の少なくとも一方を算出し、この上瞼の曲率が所定の曲率閾値より大きい場合は開眼と判定し、上瞼の曲率が前記所定の曲率閾値より小さい場合は閉眼と判定する開閉眼判定方法であって、
前記上瞼の曲率を確実に検出できる開閉眼判定確実領域及び上瞼の曲率を不確定ながら検出することが可能であるものの検出された上瞼の曲率の判定精度の低いために前記曲率閾値のみで確実に上瞼の開眼,閉眼の判定が難しい開閉眼判定不確実領域の設定の指標となる上瞼検出判定閾値を設定して、前記上瞼検出判定閾値を用いて前記開閉眼判定確実領域と前記開閉眼判定不確実領域とを設定すると共に、
前記上瞼の曲率の頂点と眉の代表座標値との間隔の所定の値を開眼と閉眼の判定を行うための間隔判断の閾値と、眼の縦幅の所定の値を開眼と閉眼の判定を行うための眼の縦幅判断の閾値の少なくとも一方を設定して、
算出された前記上瞼の曲率が前記開閉眼判定確実領域にある場合は、前記上瞼の曲率が所定の曲率閾値に対して大きいか小さいかから前記上瞼の開眼と閉眼の判定を行い、
算出された前記上瞼の曲率が前記開閉眼判定不確実領域にある場合は、前記上瞼の曲率の頂点と眉の代表座標値との間隔が前記間隔判断の閾値より大きいとき閉眼と判定し且つ小さいときに開眼と判定する第2開閉眼判定処理と、前記眼の縦幅が眼の縦幅判断の閾値より大きいとき開眼と判定し且つ小さいとき閉眼と判定する第2開閉眼判定処理の少なくとも一方を実行することを特徴とする開閉眼判定方法。 - 請求項1に記載の開閉眼判定方法において、前記眼画像の上瞼のエッジラインの複数の点の座標(Xi,Yj)の高さ方向の座標値Yjの総平方和を第1総平方和Mとして求めると共に、近似曲線のXiにおける高さ方向座標値Yの総平方和を第2総平方和Nとして求めて、前記第1総平方和M/第2総平方和Nを相関値Kとして算出すると共に、
予め設定された複数の値に対する前記相関値Kの大小関係と前記上瞼の曲率から前記上瞼の開閉眼の判定が前記曲率のみで可能か否かを判定し、判定可能である場合には前記上瞼の開閉眼の判定を算出された前記上瞼の曲率が前記曲率閾値より大きいとき開眼と判定し且つ小さいとき閉眼と判定する一方、予め設定された複数の値に対する前記相関値Kの大小関係と前記上瞼の曲率から前記上瞼の開閉眼の判定が前記曲率のみで判定不可能である場合には前記間隔判断の閾値又は前記眼の縦幅判断の閾値を用いて前記上瞼の第2開閉眼判定処理を行うことを特徴とする開閉眼判定方法。 - 請求項2に記載の開閉眼判定方法において、上瞼の曲率の大きい開眼時の上瞼位置をEoとし、上瞼の曲率の小さい閉眼時の上瞼位置をEcとしたとき、上瞼位置が上瞼位置Eoと上瞼位置Ecとの間Epに位置する曲率の第一開閉眼判定閾値と、上瞼位置が前記上瞼位置EpとEoとの間で目の開度を判定する第二開閉眼判定閾値を前記曲率閾値として設定して、
前記上瞼の曲率が開閉眼判定不確実領域の場合に前記第二開閉眼判定閾値を前記間隔判断の閾値として前記第2開閉眼判定処理を実行することを特徴とする開閉眼判定方法。 - 眼を含む眼画像を取得する眼画像取得手段と、
前記眼画像取得手段により得られた眼画像から上瞼を検出する上瞼検出手段と、
前記上瞼検出手段によって得られた上瞼から上瞼を構成する部分の座標群を抽出する上瞼座標抽出手段と、
前記上瞼座標抽出手段から抽出された上瞼の座標群から上瞼の曲率を算出する上瞼曲率算出手段と、
前記上瞼曲率算出手段により算出された上瞼の曲率により開眼と閉眼を判定する指標となる曲離閾値を設定する開閉眼判定閾値設定手段と、
前記上瞼曲率算出手段から得られた上瞼の曲率が前記曲率閾値より大きい場合は開眼と判定し、前記上瞼曲率算出手段から得られた上瞼の曲率が前記曲率閾値より小さい場合は閉眼と判定する開閉眼判定手段と、を備える開閉眼判定装置であって、
前記開閉眼判定閾値設定手段は、前記上瞼検出手段が前記曲率閾値に基づいて前記上瞼の曲率を確実に検出できる開閉眼判定確実領域及び前記上瞼検出手段が前記曲率閾値に基づいて上瞼の曲率を不確定ながら検出することが可能であるものの検出された上瞼の曲率の判定精度の低いために前記曲率閾値のみで確実に上瞼の開眼,閉眼の判定が難しい開閉眼判定不確実領域の設定の指標となる上瞼検出判定閾値を設定して、前記上瞼検出判定閾値を用いて前記開閉眼判定確実領域と前記開閉眼判定不確実領域とを設定すると共に、
前記上瞼の曲率の頂点と眉の代表座標値との間隔の所定の値を開眼と閉眼の判定を行うための間隔判断の閾値と、眼の縦幅の所定の値を開眼と閉眼の判定を行うための眼の縦幅判断の閾値の少なくとも一方を設定したとき、
前記開閉眼判定手段は、前記上瞼曲率算出手段により算出される前記上瞼の曲率が前記開閉眼判定確実領域にある場合は上瞼の曲率により開眼と閉眼の判定を行い、前記上瞼曲率算出手段により算出される前記上瞼の曲率が前記開閉眼判定不確実領域にある場合は前記上瞼の曲率の頂点と眉の代表座標値との間隔が前記間隔判断の閾値より大きいとき閉眼と判定し且つ小さいときに閉眼と判定する第2開閉眼判定処理と、前記眼の縦幅が眼の縦幅判断の閾値より大きいとき開眼と判定し且つ小さいとき閉眼と判定する第2開閉眼判定処理との少なくとも一方を実行することを特徴とする開閉眼判定装置。 - 請求項4に記載の開閉眼判定装置において、
前記上瞼座標抽出手段から得られた上瞼の座標群から上瞼を二次以上の次数を有する曲線に近似する曲線近似手段と、
前記上瞼座標抽出手段から得られた上瞼の座標群と前記曲線近似手段によって得られた曲線との相関値を検出する相関値検出手段とを更に備え、
前記開閉眼判定閾値設定手段は前記相関値が高い場合の前記開閉眼判定不確実領域が前記相関値が低い場合の前記開閉眼判定不確実領域よりも狭い範囲になるように前記上瞼検出判定閾値を設定することを特徴とする開閉眼判定装置。 - 請求項4又は5に記載の開閉眼判定装置において、
前記眼画像取得手段は、
前記被検出者の前方略正面に設置されて前記被検出者の顔全体を含む顔画像を撮像する顔画像撮像手段と、
前記顔画像撮像手段によって撮像された前記顔画像から前記被検出者の眼を検出する眼検出手段とを備え、
前記眼検出手段は検出した眼の位置を中心とした微小範囲の画像を前記顔画像から抽出しその微小範囲の画像を眼画像とすることを特徴とする開閉眼判定装置。 - 請求項6に記載の開閉眼判定装置において、
前記眼検出手段は、
前記顔画像撮像手段で撮像された前記顔画像から前記顔画像における眼の座標位置を検出する眼位置検出手段と、
前記眼位置検出手段によって検出された前記眼の座標位置から眼を追跡して前記顔画像における眼の座標位置を検出する眼位置追跡手段とを備えることを特徴とする開閉眼検出装置。 - 請求項7に記載の開閉眼判定装置において、
前記開閉眼判定閾値設定手段は、前記相関値検出手段が算出する上瞼の座標群と前記曲線近似線との相関値が統計的に相関がないことを示す非相関閾値および上瞼の曲率の統計的な最大値を曲率存在限界閾値として設定し、
前記開閉眼判定手段は、前記相関値検出手段が算出する前記相関値が前記非相関閾値より小さい場合または前記上瞼曲率検出手段が検出する前記上瞼の曲率が前記曲率存在限界閾値より大きい場合は、前記眼位置追跡手段によって検出された前記眼の座標位置を破棄して、前記眼位置検出手段によって前記顔画像から前記眼の座標位置を検出することを特徴とする開閉眼検出装置。 - 請求項4〜8のいずれか一つに記載の開閉眼判定装置において、前記上瞼座標抽出手段によって抽出された上瞼の座標群から上瞼の横幅を算出する上瞼横幅検出手段を備え、
前記開閉眼判定閾値設定手段は、前記上瞼横幅検出手段によって算出された上瞼の横幅が所定値以下の場合、前記上瞼の横幅が所定値を越える場合に比べ前記開閉眼判定不確実領域が広くなるように前記上瞼検出判定閾値を設定することを特徴とする開閉眼検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006081244A JP4710679B2 (ja) | 2006-03-23 | 2006-03-23 | 開閉眼判定方法及びその装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006081244A JP4710679B2 (ja) | 2006-03-23 | 2006-03-23 | 開閉眼判定方法及びその装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007257332A JP2007257332A (ja) | 2007-10-04 |
JP4710679B2 true JP4710679B2 (ja) | 2011-06-29 |
Family
ID=38631510
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006081244A Expired - Fee Related JP4710679B2 (ja) | 2006-03-23 | 2006-03-23 | 開閉眼判定方法及びその装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4710679B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5435013B2 (ja) * | 2011-11-17 | 2014-03-05 | 沖電気工業株式会社 | 目開閉判定装置およびプログラム |
JP6227996B2 (ja) | 2013-12-18 | 2017-11-08 | 浜松ホトニクス株式会社 | 計測装置及び計測方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004192551A (ja) * | 2002-12-13 | 2004-07-08 | Nissan Motor Co Ltd | 開閉眼判定装置 |
-
2006
- 2006-03-23 JP JP2006081244A patent/JP4710679B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004192551A (ja) * | 2002-12-13 | 2004-07-08 | Nissan Motor Co Ltd | 開閉眼判定装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2007257332A (ja) | 2007-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4826506B2 (ja) | 視線推定装置 | |
EP2074550B1 (en) | Eye opening detection system and method of detecting eye opening | |
JP6234762B2 (ja) | 眼部検出装置、方法、およびプログラム | |
US20150098633A1 (en) | Face detection apparatus, face detection method, and program | |
US10311583B2 (en) | Eye motion detection method, program, program storage medium, and eye motion detection device | |
JP2008146172A (ja) | 眼部検出装置、眼部検出方法及びプログラム | |
JP3063504B2 (ja) | 画像データの特徴量検出装置 | |
KR20000076473A (ko) | 안화상처리장치 | |
JP2001022933A (ja) | 2次元テンプレートを用いた顔画像処理装置 | |
JP2006065640A (ja) | 顔部品位置検出装置及び方法並びにプログラム | |
JP4989249B2 (ja) | 目検知装置、居眠り検知装置及び目検知装置の方法 | |
JP2001307076A (ja) | 眼の状態検出装置、居眠り検出装置 | |
JP4107087B2 (ja) | 開閉眼判定装置 | |
JP4710679B2 (ja) | 開閉眼判定方法及びその装置 | |
JP4529635B2 (ja) | 開閉眼判定装置 | |
JP2004192552A (ja) | 開閉眼判定装置 | |
JP7240910B2 (ja) | 乗員観察装置 | |
JP2000067225A (ja) | 眼位置検出装置 | |
JP3746916B2 (ja) | 瞬目状態検出方法 | |
JP4118773B2 (ja) | 視線方向検出装置及び視線方向検出方法 | |
CN111696312B (zh) | 乘员观察装置 | |
JP4996943B2 (ja) | 顔特徴点検出装置、顔特徴点検出方法及びプログラム | |
JP4184133B2 (ja) | 画像処理装置 | |
JP4623044B2 (ja) | 眼の開閉状態検出装置 | |
JP4103495B2 (ja) | 顔の特徴量検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101124 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101214 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110222 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110307 |
|
LAPS | Cancellation because of no payment of annual fees |