JP3364816B2

JP3364816B2 - 画像処理装置

Info

Publication number: JP3364816B2
Application number: JP32540094A
Authority: JP
Inventors: 光生下谷; 稔西田; 真規人関; 敏英佐竹; 太大川
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1994-12-27
Filing date: 1994-12-27
Publication date: 2003-01-08
Anticipated expiration: 2018-01-08
Also published as: JPH08185503A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、人物の顔面上の特徴を
抽出するための画像処理装置、特に照明を検出対象者に
照射して眼球からの反射像を顔面上の特徴点とし、人物
の状態を検出する画像処理装置に関するものである。

【０００２】

【従来の技術】図５６は、例えば特開昭６０−１５８３
０３号公報に示された従来の運転者撮影装置を用いた目
の位置検出装置の構成図である。図において、１は運転
者、１０ａ、１０ｂはＣＣＤカメラ、１３は赤外線ＬＥ
Ｄ、１４は赤外線ＬＥＤ１３に電流を供給するＬＥＤ駆
動回路、１００は運転者挙動検出回路である。

【０００３】次に動作について説明する。赤外線ＬＥＤ
１３は運転席の運転者１を照射する。運転者１の映像は
運転者１の顔面を含む所定の領域を撮影できる位置に設
置されたＣＣＤカメラ１０ａ、１０ｂに入力される。入
力された画像は運転者挙動検出回路１００に入力され、
目の位置や顔の向きなどがエッジ検出やパターン認識等
の画像処理により抽出されていた。

【０００４】一方、論文「瞳孔の抽出処理と頭部の動き
を許容する視線検出装置の試作」（電子情報通信学会論
文誌Ｄ−ＩＩ Vol.J76-D-II No.3）で示されるよう
に、同軸落射装置で顔面を照射すると、網膜反射像が顕
著に撮影でき、例えば２値化処理のような非常に簡単な
画像処理で目の位置を検出できる（同軸落射照明とは、
カメラの光軸と照明光の照射方向とが同一になる構造に
した照明のことである）。図５７はこの装置を用いて
居眠り検出装置を構成したものであり、特願平５−２８
２５０２号明細書に記載されたものである。図におい
て、１は検出対象者、１０は検出対象者１の顔面を含む
所定の領域を撮影できる位置に設置されたＣＣＤカメ
ラ、１１は可視光成分をカットする可視光カットフィル
タ、１２はＣＣＤカメラに対して４５度の角度で設置し
たハーフミラー、１３は発光波長８６０ｎｍ、指向角度
±２０度で発光し、ハーフミラー１２に光を反射して検
出対象者１を照明する赤外線ＬＥＤ、１４は赤外線ＬＥ
Ｄを駆動するＬＥＤ駆動回路、３０はＣＣＤカメラから
出力される画像信号を一時記憶する画像メモリ、３１は
ＣＣＤカメラ１０や画像メモリ３０などにタイミング信
号を与えるタイミング発生回路、４０は画像メモリ３０
の内容を予め定められた閾値ｔｈ１に従って２値化処理
を行う２値化処理回路Ａ、４１は２値化処理した内容を
記憶する２値化メモリ、５０は２値化メモリ４１の内容
から顔面上の特徴を抽出する特徴計算回路、７０は特徴
計算回路５０の出力から覚醒度を判断する居眠り検出回
路、７１は警報を出力する警報回路である。

【０００５】次に動作について説明する。図５７におい
て、光路ｌ1 で照射される赤外線ＬＥＤ１３の照明光
は、ハーフミラー１２で半分の光を反射し、光路ｌ2 で
検出対象者１の顔面を照射する。検出対象者１の画像は
光路ｌ3 でハーフミラー１２を通り、半分の光がＣＣＤ
カメラ１０に到達し、ＣＣＤカメラ１０は検出対象者１
の画像を取り込む。この時、光路ｌ2 とｌ3 の光軸は検
出対象者からみて、同軸になっている（同軸落射照
明）。この時検出対象者の撮影画像は図５８のようにな
る。図５８において、３は鼻孔、４は虹彩、５は強膜、
６は瞳孔、７は顔表面である。上記のような構成の同軸
落射照明により、瞳孔６は網膜で反射された光により、
あたかも瞳孔が光っているように観察され、顔の表面や
他の特徴点に比べて、著しく輝度が高く映る。これは網
膜が入射光と同一方向に反射光を返す性質を持つからで
ある。図５８には、撮影画像のＡ−Ａ線での輝度分布も
併せて示す。図５８下部に示された輝度分布において
は、瞳孔の位置は明らかに輝度が他の部分と異なり輝度
が高いことがわかる。ＣＣＤカメラ１０が取り込んだ顔
画像は、画像メモリ３０に一旦入力される。

【０００６】図５９に本装置による居眠り検出の処理フ
ローを示す。２値化処理回路Ａ４０はＳＴ１０で顔画像
を入力し、ＳＴ１１において瞳孔のみを抽出するため、
適当な輝度しきい値ｔｈ１で２値化処理を行う。得られ
た２値化画像は、図６０に示すようになる。この２値化
画像は瞳孔のみが白領域として２つの円となり、他の部
分は黒領域となるので、ＳＴ１２で白色領域の画素数を
数えるだけで、瞳孔の見かけ上の大きさが計算できる。
ＳＴ１３では白色領域の画素数が、予め定められた個数
以上の時は開眼、未満のときは閉眼と判断する。この開
眼閉眼情報は、居眠り検出回路７０に入力され、居眠り
検出回路７０はＳＴ１４で連続して３秒以上閉眼情報が
入力されたかどうかを判断し、３秒以上閉眼状態であっ
たならば、居眠り状態であると判断し、ＳＴ１５で警報
回路７１に警報出力命令を出力する。閉眼状態が３秒未
満の時はＳＴ１０に処理は移る。

【０００７】

【発明が解決しようとする課題】従来の運転者撮影装置
は以上のように構成されているので、検出対象者が裸眼
であり、金属性のアクセサリを身につけていない場合
は、網膜反射像を検出できたが、照明光により反射像を
生じるもの、例えば、眼鏡やイヤリングなどを装着して
いる場合、これらの反射像と網膜反射像との区別がつか
ないという問題があった。

【０００８】図６１に眼鏡による反射像の影響を説明す
る説明図を示す。図６１は銀縁の眼鏡を装着した図であ
るが、照明光が眼鏡レンズで反射したレンズ反射像８、
照明光が眼鏡枠で反射した眼鏡枠反射像９が観察され
る。これを従来装置の２値化処理回路Ａで２値化処理す
ると、図６２のように５つの白画素領域ができ、例え眼
を閉じた場合でもレンズ反射像８や眼鏡枠反射像９が白
画素として残り、閉眼が検出できない。このように上述
の従来装置では、眼鏡を装着した場合や、金属性のアク
セサリを身につけた場合、顔面上の特徴点を抽出できな
くなるという問題点があった。

【０００９】本発明は上記のような問題点を解決するた
めになされたもので、眼鏡を装着した場合や、金属性の
アクセサリを身につけた場合でも、顔面上の特徴点を抽
出できる装置を得ることを目的とする。

【００１０】

【課題を解決するための手段】請求項１に係る画像処理
装置は、照明光の有無を制御する照明光制御手段、照明
光が有りの検出対象者の画像を出力する明撮影画像出力
手段、照明光が無しの検出対象者の画像を出力する暗撮
影画像出力手段、及び明撮影画像と暗撮影画像の差分画
像を出力する差分画像出力手段を備え、特徴点抽出手段
は、検出対象者の眼球からの反射像を抽出するための第
１の閾値と、検出対象者が装着する装着物からの反射像
を抽出するための第２の閾値とを有し、上記差分画像を
第１の閾値により処理した第１の２値化処理画像と、上
記明撮影画像を第２の閾値により処理した第２の２値化
処理画像とを用いて、眼球からの反射像を顔面上の特徴
点として抽出するものである。

【００１１】また、請求項２に係る画像処理装置は、差
分画像を第１の閾値により処理した第１の２値化処理画
像と、明撮影画像を第２の閾値により処理した第２の２
値化処理画像とを用いて、眼球からの反射像を顔面上の
特徴点として抽出するものである。

【００１２】また、請求項３に係る画像処理装置は、照
明光の強弱または光入力手段の入力ゲインを制御する照
明光制御手段、照明光が強または入力ゲインが大の検出
対象者の画像を出力する明撮影画像出力手段、照明光が
弱または入力ゲインが小の検出対象者の画像を出力する
暗撮影画像出力手段、明撮影画像と暗撮影画像の差分画
像を出力する差分画像出力手段を備え、特徴点抽出手段
は、検出対象者の眼球からの反射像を抽出するための第
１の閾値と、検出対象者が装着する装着物からの反射像
を抽出するための第２の閾値とを有し、上記差分画像を
第１の閾値により処理した第１の２値化処理画像と、上
記暗撮影画像を第２の閾値により処理した第２の２値化
処理画像とを用いて、眼球からの反射像を顔面上の特徴
点として抽出するものである。

【００１３】また、請求項４に係る画像処理装置におい
ては、特徴点抽出手段は、ｉ番目に撮影した暗撮影画像
と、ｉ−１番目に撮影した明撮影画像と、ｉ−２番目に
撮影した暗撮影画像とを用いて、上記ｉ−１番目に撮影
した明撮影画像から上記ｉ番目に撮影した暗撮影画像を
差分処理して得られた第１の差分画像と、上記ｉ−１番
目に撮影した明撮影画像から上記ｉー２番目に撮影した
暗撮影画像を差分処理して得られた第２の差分画像とを
求め、第１の差分画像及び第２の差分画像により、眼球
からの反射像を顔面上の特徴点として抽出するものであ
る。

【００１４】また、請求項５に係る画像処理装置におい
ては、特徴点抽出手段は、ｉ番目に撮影した暗撮影画像
と、ｉ−１番目に撮影した明撮影画像と、ｉ−２番目に
撮影した暗撮影画像とを用いて、上記ｉ−１番目に撮影
した明撮影画像から、上記ｉ番目に撮影した暗撮影画像
と、上記ｉー２番目に撮影した暗撮影画像とを差分処理
して得られた差分画像を求め、上記差分画像により、眼
球からの反射像を顔面上の特徴点として抽出するもので
ある。

【００１５】また、請求項６に係る画像処理装置は、検
出対象者の顔面を含む所定領域を光入力手段と同軸で照
明する同軸照明手段、検出対象者の顔面を含む所定領域
を上記光入力手段と非同軸で照明する非同軸照明手段、
同軸照明手段と非同軸照明手段の発光の有無を制御する
照明光制御手段、同軸照明光による検出対象者の画像を
出力する同軸画像出力手段、非同軸照明光による検出対
象者の画像を出力する非同軸画像出力手段、同軸画像と
非同軸画像の差分画像を出力する差分画像出力手段を備
え、特徴点抽出手段は、検出対象者の眼球からの反射像
を抽出するための第１の閾値と、検出対象者が装着する
装着物からの反射像を抽出するための第２の閾値とを有
し、上記差分画像を第１の閾値により処理した第１の２
値化処理画像と、上記非同軸画像を第２の閾値により処
理した第２の２値化処理画像とを用いて、眼球からの反
射像を顔面上の特徴点として抽出するものである。

【００１６】また、請求項７に係る画像処理装置におい
ては、特徴点抽出手段は、ｉ番目に撮影した非同軸画像
と、ｉ−１番目に撮影した同軸画像と、ｉ−２番目に撮
影した非同軸画像とを用いて、上記ｉ−１番目に撮影し
た同軸画像から上記ｉ番目に撮影した非同軸画像を差分
処理して得られた第１の差分画像と、上記ｉ−１番目に
撮影した同軸画像から上記ｉー２番目に撮影した非同軸
画像を差分処理して得られた第２の差分画像とを求め、
第１の差分画像及び第２の差分画像により、眼球からの
反射像を顔面上の特徴点として抽出するものである。

【００１７】また、請求項８に係る画像処理装置におい
ては、特徴点抽出手段は、ｉ番目に撮影した非同軸画像
と、ｉ−１番目に撮影した同軸画像と、ｉ−２番目に撮
影した非同軸画像とを用いて、上記ｉ−１番目に撮影し
た同軸画像から、上記ｉ番目に撮影した非同軸画像と上
記ｉー２番目に撮影した非同軸画像とを差分処理して得
られた差分画像を求め、上記差分画像により、眼球から
の反射像を顔面上の特徴点として抽出するものである。

【００１８】また、請求項９に係る画像処理装置におい
ては、特徴点抽出手段は、上記差分画像を第１の閾値に
より処理した第１の２値化処理画像と、暗撮影画像また
は非同軸画像を第２の閾値により処理した第２の２値化
処理画像とを用いて、眼球からの反射像を顔面上の特徴
点として抽出するものである。

【００１９】また、請求項１０に係る画像処理装置にお
いては、特徴点抽出手段は、第１の差分画像を第１の閾
値により処理した第１の差分処理画像と、第２の差分画
像を第１の閾値により処理した第２の差分処理画像とを
用いて、眼球からの反射像を顔面上の特徴点として抽出
するものである。

【００２０】また、請求項１１に係る画像処理装置は、
照明光の強弱または光入力手段の入力ゲインを制御する
照明光制御手段、照明光が強または入力ゲインが大の検
出対象者の画像を出力する明撮影画像出力手段、照明光
が弱または入力ゲインが小の検出対象者の画像を出力す
る暗撮影画像出力手段を備え、特徴点抽出手段は、検出
対象者の眼球からの反射像を抽出するための第１の閾値
と、検出対象者が装着する装着物からの反射像を抽出す
るための第２の閾値とを有し、明撮影画像を第１の閾値
により処理した第１の２値化処理画像と、暗撮影画像を
第２の閾値により処理した第２の２値化処理画像とを用
いて、眼球からの反射像を顔面上の特徴点として抽出す
るものである。

【００２１】また、請求項１２に係る画像処理装置にお
いては、特徴点抽出手段は、ｉ番目に撮影した暗撮影画
像の２値化処理画像と、ｉ−１番目に撮影した明撮影画
像の２値化処理画像と、ｉ−２番目に撮影した暗撮影画
像の２値化処理画像とを用いて、上記ｉ−１番目に撮影
した明撮影画像の２値化処理画像を上記ｉ番目に撮影し
た暗撮影画像の２値化処理画像でマスク処理して得られ
た第１のマスク画像と、上記ｉ−１番目に撮影した明撮
影画像の２値化処理画像を上記ｉー２番目に撮影した暗
撮影画像の２値化処理画像でマスク処理して得られた第
２のマスク画像とを求め、第１のマスク画像及び第２の
マスク画像により、眼球からの反射像を顔面上の特徴点
として抽出するものである。

【００２２】また、請求項１３に係る画像処理装置にお
いては、特徴点抽出手段は、ｉ番目に撮影した暗撮影画
像の２値化処理画像と、ｉ−１番目に撮影した明撮影画
像の２値化処理画像と、ｉ−２番目に撮影した暗撮影画
像の２値化処理画像とを用いて、上記ｉ−１番目に撮影
した明撮影画像の２値化処理画像を、上記ｉ番目に撮影
した暗撮影画像の２値化処理画像と、上記ｉー２番目に
撮影した暗撮影画像の２値化処理画像とで、マスク処理
して得られたマスク画像を求め、上記マスク画像によ
り、眼球からの反射像を顔面上の特徴点として抽出する
ものである。

【００２３】また、請求項１４に係る画像処理装置は、
検出対象者の顔面を含む所定領域を光入力手段と同軸で
照明する同軸照明手段、検出対象者の顔面を含む所定領
域を光入力手段と非同軸で照明する非同軸照明手段、同
軸照明手段と非同軸照明手段の発光の有無を制御する照
明光制御手段、同軸照明光による検出対象者の画像を出
力する同軸画像出力手段、非同軸照明光による検出対象
者の画像を出力する非同軸画像出力手段を備え、特徴点
抽出手段は、検出対象者の眼球からの反射像を抽出する
ための第１の閾値と、検出対象者が装着する装着物から
の反射像を抽出するための第２の閾値とを有し、同軸画
像を第１の閾値により処理した第１の２値化処理画像
と、非同軸画像を第２の閾値により処理した第２の２値
化処理画像とを用いて、眼球からの反射像を顔面上の特
徴点として抽出するものである。

【００２４】また、請求項１５に係る画像処理装置にお
いては、特徴点抽出手段は、ｉ番目に撮影した非同軸画
像の２値化処理画像と、ｉ−１番目に撮影した同軸画像
の２値化処理画像と、ｉ−２番目に撮影した非同軸画像
の２値化処理画像とを用いて、上記ｉ−１番目に撮影し
た同軸画像の２値化処理画像を上記ｉ番目に撮影した非
同軸画像の２値化処理画像でマスク処理して得られた第
１のマスク画像と、上記ｉ−１番目に撮影した同軸画像
の２値化処理画像を上記ｉー２番目に撮影した非同軸画
像の２値化処理画像でマスク処理して得られた第２のマ
スク画像とを求め、第１のマスク画像及び第２のマスク
画像により、眼球からの反射像を顔面上の特徴点として
抽出するものである。

【００２５】また、請求項１６に係る画像処理装置にお
いては、特徴点抽出手段は、ｉ番目に撮影した非同軸画
像の２値化処理画像と、ｉ−１番目に撮影した同軸画像
の２値化処理画像と、ｉ−２番目に撮影した非同軸画像
の２値化処理画像とを用いて、上記ｉ−１番目に撮影し
た同軸画像の２値化処理画像を、上記ｉ番目に撮影した
非同軸画像の２値化処理画像と上記ｉー２番目に撮影し
た非同軸画像の２値化処理画像でマスク処理して得られ
たマスク画像を求め、上記マスク画像により、眼球から
の反射像を顔面上の特徴点として抽出するものである。

【００２６】また、請求項１７に係る画像処理装置は、
差分処理される画像またはマスク処理される画像を縮退
処理するものである。

【００２７】また、請求項１８に係る画像処理装置は、
差分処理する画像またはマスク処理する画像を拡大処理
するものである。

【００２８】また、請求項１９に係る画像処理装置は、
同軸照明と非同軸照明の位置関係に対応して拡大または
縮退処理に方向性を持たせるものである。

【００２９】また、請求項２０に係る画像処理装置は、
検出対象者の装着物の有無を判定する装着物判定手段を
有し、特徴点抽出手段は、上記装着物判定手段の判定結
果によって、第１の２値化処理画像および第２の２値化
処理画像を用いた装着用の画像処理と第１の２値化処理
画像を用いた非装着用の画像処理とを切り換える、また
は各画像処理による処理結果を選択するものである。

【００３０】また、請求項２１に係る画像処理装置は、
装着物判定手段は照明光による反射像の数または最大輝
度により装着物の有無を検出するものである。

【００３１】また、請求項２２に係る画像処理装置にお
いては、特徴点抽出手段は、装着物がある場合には照明
光を強めるものである。

【００３２】また、請求項２３に係る画像処理装置にお
いては、特徴点抽出手段は、装着物がある場合には光入
力手段の入力ゲインを上げるものである。

【００３３】また、請求項２４に係る画像処理装置にお
いては、特徴点抽出手段は、第１の２値化処理画像およ
び第２の２値化処理画像を用いた装着用の画像処理と第
１の２値化処理画像を用いた非装着用の画像処理とを有
し、画像処理結果によってどちらか一方の画像処理結果
を選択するものである。

【００３４】

【作用】請求項１による画像処理装置は、照明光の有無
を制御し、照明光が有りの検出対象者の明撮影画像と、
照明光が無しの検出対象者の暗撮影画像との差分画像を
第１の閾値により処理した第１の２値化処理画像と、明
撮影画像を第２の閾値により処理し、この２値化処理画
像を用いて、眼球からの反射像を抽出する。

【００３５】請求項２による画像処理装置は、差分画像
を第１の閾値により処理した第１の２値化処理画像と、
明撮影画像を第２の閾値により処理した第２の２値化処
理画像とを用いて、眼球からの反射像を抽出する。

【００３６】請求項３による画像処理装置は、照明光の
強弱または光入力手段の入力ゲインを制御し、照明光が
強または入力ゲインが大の検出対象者の明撮影画像と、
照明光が弱または入力ゲインが小の検出対象者の暗撮影
画像との差分画像を第１の閾値により処理した第１の２
値化処理画像と、暗撮影画像を第２の閾値により処理し
た第２の２値化処理画像とを用いて、眼球からの反射像
を抽出する。

【００３７】請求項４による画像処理装置は、ｉ−１番
目に撮影した明撮影画像からｉ番目に撮影した暗撮影画
像を差分処理して得られた第１の差分画像と、ｉ−１番
目に撮影した明撮影画像からｉー２番目に撮影した暗撮
影画像を差分処理して得られた第２の差分画像とを求
め、第１の差分画像及び第２の差分画像により、眼球か
らの反射像を抽出する。

【００３８】請求項５による画像処理装置は、ｉ−１番
目に撮影した明撮影画像から、ｉ番目に撮影した暗撮影
画像と、ｉー２番目に撮影した暗撮影画像とを差分処理
して得られた差分画像を求め、上記差分画像により、眼
球からの反射像を抽出する。

【００３９】請求項６による画像処理装置は、同軸画像
と非同軸画像の差分画像を第１の閾値により処理した第
１の２値化処理画像と、上記非同軸画像を第２の閾値に
より処理した第２の２値化処理画像とを用いて、眼球か
らの反射像を抽出する。

【００４０】請求項７による画像処理装置は、ｉ−１番
目に撮影した同軸画像からｉ番目に撮影した非同軸画像
を差分処理して得られた第１の差分画像と、ｉ−１番目
に撮影した同軸画像からｉー２番目に撮影した非同軸画
像を差分処理して得られた第２の差分画像とを求め、第
１の差分画像及び第２の差分画像により、眼球からの反
射像を抽出する。

【００４１】請求項８による画像処理装置は、ｉ−１番
目に撮影した同軸画像から、ｉ番目に撮影した非同軸画
像とｉー２番目に撮影した非同軸画像とを差分処理して
得られた差分画像を求め、上記差分画像により、眼球か
らの反射像を抽出する。

【００４２】請求項９による画像処理装置は、差分画像
を第１の閾値により処理した第１の２値化処理画像と、
暗撮影画像または非同軸画像を第２の閾値により処理し
た第２の２値化処理画像とを用いて、眼球からの反射像
を抽出する。

【００４３】請求項１０による画像処理装置は、第１の
差分画像を第１の閾値により処理した第１の差分処理画
像と、第２の差分画像を第１の閾値により処理した第２
の差分処理画像とを用いて、眼球からの反射像を抽出す
る。

【００４４】請求項１１による画像処理装置は、照明光
の強弱または光入力手段の入力ゲインを制御し、明撮影
画像を第１の閾値により処理した第１の２値化処理画像
と、暗撮影画像を第２の閾値により処理した第２の２値
化処理画像とを用いて、眼球からの反射像を抽出する。

【００４５】請求項１２による画像処理装置は、ｉ−１
番目に撮影した明撮影画像の２値化処理画像をｉ番目に
撮影した暗撮影画像の２値化処理画像でマスク処理して
得られた第１のマスク画像と、ｉ−１番目に撮影した明
撮影画像の２値化処理画像をｉー２番目に撮影した暗撮
影画像の２値化処理画像でマスク処理して得られた第２
のマスク画像とを求め、第１のマスク画像及び第２のマ
スク画像により、眼球からの反射像を抽出する。

【００４６】請求項１３による画像処理装置は、ｉ−１
番目に撮影した明撮影画像の２値化処理画像を、ｉ番目
に撮影した暗撮影画像の２値化処理画像と、ｉー２番目
に撮影した暗撮影画像の２値化処理画像とで、マスク処
理して得られたマスク画像を求め、上記マスク画像によ
り、眼球からの反射像を抽出する。

【００４７】請求項１４による画像処理装置は、同軸画
像を第１の閾値により処理した第１の２値化処理画像
と、非同軸画像を第２の閾値により処理した第２の２値
化処理画像とを用いて、眼球からの反射像を抽出する。

【００４８】請求項１５による画像処理装置は、ｉ−１
番目に撮影した同軸画像の２値化処理画像をｉ番目に撮
影した非同軸画像の２値化処理画像でマスク処理して得
られた第１のマスク画像と、ｉ−１番目に撮影した同軸
画像の２値化処理画像をｉー２番目に撮影した非同軸画
像の２値化処理画像でマスク処理して得られた第２のマ
スク画像とを求め、第１のマスク画像及び第２のマスク
画像により、眼球からの反射像を抽出する。

【００４９】請求項１６による画像処理装置は、ｉ−１
番目に撮影した同軸画像の２値化処理画像を、ｉ番目に
撮影した非同軸画像の２値化処理画像とｉー２番目に撮
影した非同軸画像の２値化処理画像でマスク処理して得
られたマスク画像を求め、上記マスク画像により、眼球
からの反射像を抽出する。

【００５０】請求項１７による画像処理装置は、差分処
理される画像またはマスク処理される画像を縮退処理す
る。

【００５１】請求項１８による画像処理装置は、差分処
理する画像またはマスク処理する画像を拡大処理する。

【００５２】請求項１９による画像処理装置は、同軸照
明と非同軸照明の位置関係に対応して拡大または縮退処
理に方向性を持たせる。

【００５３】請求項２０による画像処理装置は、検出対
象者の装着物の有無を判定し、判定結果によって、第１
の２値化処理画像および第２の２値化処理画像を用いた
装着用の画像処理と第１の２値化処理画像を用いた非装
着用の画像処理とを切り換える、または各画像処理によ
る処理結果を選択する。

【００５４】請求項２１による画像処理装置は、照明光
による反射像の数または最大輝度により装着物の有無を
検出する。

【００５５】請求項２２による画像処理装置は、特徴点
抽出手段は、装着物がある場合には照明光を強める。

【００５６】請求項２３に係る画像処理装置は、特徴点
抽出手段は、装着物がある場合には光入力手段の入力ゲ
インを上げる。

【００５７】請求項２４による画像処理装置は、装着物
の装着用の画像処理結果と非装着用の画像処理結果によ
って、どちらか一方の画像処理結果を選択する。

【００５８】

【実施例】実施例１．以下、本発明の一実施例を図について説明する。図１に
おいて、６０は網膜反射像を抽出するための第１の閾値
ｔｈ１と、眼鏡による反射像を抽出するための第２の閾
値ｔｈ２を有する２値化処理回路Ｂである。６１は２値
化処理した内容を記憶する２値化メモリである。図２
（ａ）は眼鏡を装着した場合の撮影画像、図２（ｂ）は
この撮影画像の輝度分布をＢ−Ｂ線で見た図である。図
２（ｂ）に示すように、レンズ反射像８や眼鏡枠反射像
９は網膜反射像６より輝度が高くなる。

【００５９】次に動作について説明する。図１におい
て、画像メモリ３０に顔画像を入力するまでの動作は前
記従来例と同一の動作をする。図３に本実施例の居眠り
検出装置による居眠り検出の処理フローを示す。図３に
おいて、ＳＴ２０で２値化処理回路Ｂ６０は、第１の閾
値ｔｈ１と第２の閾値ｔｈ２との間の濃度の画素は白画
素（値１）、それ以外の濃度の画素は黒画素（値０）に
変換して２値化メモリ４１に出力する。このとき、２値
化メモリ４１の内容を図にしたのが図４である。図４に
示すとおり、網膜反射像６は円形の白領域、レンズ反射
像８及び眼鏡枠反射像９は穴の開いたドーナッツ状の白
領域となる。特徴計算回路５０は２値化メモリ６１にを
読み込んで、第２値化処理画像の形より、網膜反射像を
判別する。即ち、ＳＴ２１で左上の白領域から順にラベ
リングを行い、ＳＴ２２でドーナッツ状の白領域を除外
する。ドーナッツ状の白領域の判別には、例えば、画像
処理では公知であるオイラー数演算により判別する。Ｓ
Ｔ２２でドーナッツ状の白領域を除いた図を図５に示
す。図５は網膜反射像のみが白領域として残った画像で
ある。以下、ステップＳＴ１２以降は従来例と同一とな
り、従来と同様の動作により、網膜反射像６を抽出し
て、居眠りを検出することができる。

【００６０】実施例２．上記実施例１では網膜反射像を用いて瞳孔を抽出し、居
眠りを検出するものを示した。本実施例では角膜の反射
像を用いて、視線方向や脇見を検出するものを示す。図
６は本実施例の脇見検出装置を示す構成図であり、図に
おいて、８０はエッジ抽出回路、８１は画像メモリ、７
２は脇見判定回路である。本実施例では、非同軸照明を
用いており、虹彩と、照明光による角膜の反射像である
プルキニエ像の位置関係により脇見や視線方向を求め
る。図７は顔を正面に向け、眼球を左に向けた場合の図
である。赤外線ＬＥＤ１３がカメラのやや上に設置して
いる場合、眼球がカメラ方向を向いていると、プルキニ
エ像２は虹彩４の中心よりやや上に観察され、眼球が右
を向くとプルキニエ像２は虹彩４の左に、眼球が左を向
くとプルキニエ像２は虹彩４の右に観察される。プルキ
ニエ像の移動量は眼球の回転１０度に対して約１ｍｍ程
度であり、プルキニエ像２と虹彩４の中心との位置関係
により眼球の角度を推定することができる。

【００６１】次に動作について説明する。実施例１と同
様の動作により、検出対象者１の顔画像が画像メモリ３
０に入力される。図７は本実施により撮影された検出対
象者１の入力画像である。プルキニエ像２の抽出は２値
化処理回路Ｂ６０により変換された２値化処理画像か
ら、特徴計算回路５０により、実施例１と同様の動作に
より行われる。特徴計算回路５０では、さらにプルキニ
エ像２の位置を白領域の重心計算により求める。次に、
虹彩４の中心位置の導出方法についてのべる。エッジ抽
出回路８０は画像メモリ３０からエッジ抽出処理を行
い、エッジ抽出結果を画像メモリ８１に格納する。図８
にエッジ抽出結果を示す。特徴計算回路５０はエッジ抽
出により得られた画像に対し、公知の円を求めるハフ変
換処理を用い、虹彩の大きさ２ｃｍ近傍に設定して、上
記ハフ変換処理を行い、虹彩の位置を求める。このと
き、演算量を少なくするためハフ変換の領域はプルキニ
エ像２の例えば２ｃｍ四方に限定する。特徴計算回路５
０は、さらにプルキニエ像２の位置と虹彩４の位置関係
から眼球の向き、即ち視線方向を求め、脇見検出回路７
２は、例えば眼球の向きが正面から２０度以上の位置に
５秒以上いたとき脇見と判断して、警報回路７１に警報
命令を出力する。

【００６２】このように抽出する顔面の特徴点として、
眼球からの反射像を用いる場合、本発明の構成をとれ
ば、眼鏡等の装着物と顔面上の特徴点を区別でき、特徴
点の抽出が確実に行える。

【００６３】実施例３．図９は本発明の実施例３による居眠り検出装置を示す構
成図である。実施例１の装置に対し、白領域縮退処理回
路６２、及びこの処理回路６２による処理結果を格納す
る２値化メモリ６３が加わる。実施例１では、ドーナッ
ツ状の白領域を除外することで網膜反射像６を抽出した
が、本実施例では２値化メモリ６１の白領域を縮退処理
することにより網膜反射像６を抽出する。

【００６４】実施例１では２値化処理が最適に行われた
場合を示したが、眼鏡の向きや材質によっては図４の様
なドーナッツ状の反射像が得られないこともあり、例え
ば図１０のようにドーナッツが欠けたり（９ａ）、小さ
な白領域（９ｂ）が出現したりする。白領域縮退処理回
路６１は例えば５×５のミニマムフィルタで構成され、
白領域の縮退処理を行う。その結果を図１１に示す。こ
のようにすることにより、網膜反射像６の領域は小さく
なるが、レンズ反射像８や眼鏡枠反射像９の白領域を除
くことができる。

【００６５】なお、本実施例３では白領域の縮退処理を
行ったが、縮退処理してから、例えば５×５のマックス
フィルタを用い、拡大処理を行うオープニング処理を行
っても良い。このとき、網膜反射像６のみが図１０に示
す基の大きさに復元される。

【００６６】また、実施例３では縮退処理回路や拡大処
理回路を５×５のミニマムフィルタや５×５の拡大処理
回路で実現したが、５×５でなくても１×５、５×１な
ど１ラインのミニマムフィルタや拡大フィルタで実現し
てもよい。１ラインにすると眼鏡反射像除去の効果は小
さくなるが回路が簡単になる。さらに、縮退処理はミニ
マムフィルタに限るものではなく最小値から２番目の値
を取るようなフィルタでもよい。

【００６７】実施例４．図１２は本発明の実施例４による居眠り検出装置を示す
構成図である。図１２において、３２は撮影画像である
濃淡画像（２５６諧調の画像）を縮退処理する縮退処理
回路、３３は上記濃淡画像を拡大処理する拡大処理回
路、４０ａは網膜反射像用の閾値ｔｈ１（第１の閾値）
で２値化処理を行う第１の２値化処理回路、４０ｂは眼
鏡反射用の閾値ｔｈ２（第２の閾値）で２値化処理を行
う第２の２値化処理回路、４１ａは第１の２値化処理回
路４０ａで処理した第１の２値化処理画像を格納する第
１の２値化メモリ、４１ｂは第２の２値化処理回路４１
ｂで処理した第２の２値化処理画像を格納する第２の２
値化メモリである。６５は第１の２値化処理画像を第２
の２値化処理画像でマスクするマスク回路、４１Ｃはマ
スク処理することによって得られる２値化処理画像（第
３の２値化処理画像）を格納する第３の２値化メモリで
ある。マスク回路６５は第１の２値化処理画像の白領域
のうち、第２の２値化処理画像の白領域に対応する画素
を黒にする様に動作する。

【００６８】次に動作について説明する。図１２におい
て、画像メモリ３０に顔画像を入力し、この濃淡画像を
縮退処理回路３２で縮退処理し、第１の２値化処理回路
４０ａで第１の閾値ｔｈ１により２値化処理し、第１の
２値化メモリ４１ａに２値化処理画像を格納する。一
方、上記濃淡画像を拡大処理回路３３で拡大処理し、第
２の２値化処理回路４０ｂで第２の閾値ｔｈ２により２
値化処理し、第２の２値化メモリ４１ｂに２値化処理画
像を格納する。図１３は第１の２値化処理画像、図１４
は第２の２値化処理画像である。図１３では、網膜反射
像６、レンズ反射像８、眼鏡枠反射像９は図４に比べて
小さくなっている。図１４では、レンズ反射像８、眼鏡
枠反射像９が図４に比べて大きくなっているのが分か
る。マスク回路６５では、第１の２値化処理画像の白領
域のうち、第２の２値化処理画像の白領域に対応する画
素を黒にする様に動作する。即ち、第１の２値化処理画
像をＰ１（Ｘ，Ｙ）、第２の２値化処理画像をＰ２
（Ｘ，Ｙ）、マスク処理することによって得られる第３
の２値化処理画像をＱ（Ｘ，Ｙ）とすると、Ｐ１（Ｘ，Ｙ）＝１、ＡＮＤＰ２（Ｘ，Ｙ）＝０の
とき、Ｑ（ｘ，ｙ）＝１その他のとき、Ｑ（Ｘ，Ｙ）＝０となる。この画像は図１１と同様になる。特徴計算回路
５０ではこの２値化処理画像により、従来と同様にし
て、瞳孔の見かけ上の大きさを計算し、居眠りを検出す
る。

【００６９】なお、実施例４ではマスク処理を上述の数
式を用いた方法で実現したが、マスク処理はこの方法に
限るものではなく、例えば、第２の２値化処理画像を反
転し、反転した第２の２値化処理画像と第１の２値化処
理画像とのＡＮＤ画像をとることにより実現してもよ
い。

【００７０】また、本実施例では縮退処理回路３２と拡
大処理回路３３を用いたが、どちらか一方、あるいは両
方とも省いてもよい。なお、両方とも省いた場合、マス
ク処理することによって得られる第３の２値化処理画像
は、図４と同様のドーナッツ状の白領域を含む画像とな
るので、特徴計算回路５０で実施例１と同様にして、２
値化処理画像の形よりドーナッツ状の白領域を除外す
る。あるいは実施例３と同様にして、２値化処理画像を
縮退し、ドーナッツ状の白領域を除外する。

【００７１】実施例５．図１５は本発明の実施例５による画像処理装置を示す構
成図である。上記実施例４では、マスク回路６５を用い
たが、マスク回路６５及び第３の２値化メモリ４１ｃを
設けずに、特徴計算回路５０において、例えば、次表に
示すように、第１の２値化処理画像に対し、Ｎ１、Ｎ
２、Ｎ３、第２の２値化処理画像に対し、Ｍ１、Ｍ２、
Ｍ３とラベリングし、各々その位置を求めて、第１の２
値化処理画像の白領域の中で、第２の２値化処理画像の
白領域と近い位置にある白領域を除くように処理しても
同様の画像処理が可能となる。即ち、Ｎ１に最も距離が
近いＭ１、Ｎ２に最も距離が近いＭ２、Ｎ３に最も距離
が近いＭ４を除き、残ったＭ３とＭ５が瞳孔であると判
断する。

【００７２】

【表１】

【００７３】なお、上記実施例５では縮退処理回路３２
と拡大処理回路３３を用いたが、どちらか一方、あるい
は両方とも省いてもよい。

【００７４】実施例６．図１６は本発明の実施例６による居眠り検出装置を示す
構成図である。上記実施例５では、画像メモリ３０の内
容を拡大、または、縮退処理した後２つの閾値によりそ
れぞれ２値化処理をしたが、先に２値化処理した後、白
領域の拡大または縮退処理し、マスクを掛けても同様の
効果がある。このようにすることにより、ハードウェア
も濃淡画像の拡大縮退処理より、２値化した画像の拡大
縮退処理の方が小規模で済む。図１６において、６６は
網膜反射像を抽出するための第１の閾値ｔｈ１と眼鏡か
らの反射像を抽出するための第２の閾値ｔｈ２を有する
２値化処理回路Ｃであり、網膜反射像を抽出するための
第１の閾値ｔｈ１による２値化処理の結果は２値化メモ
リ４１ａに、眼鏡反射像を抽出するための第２の閾値ｔ
ｈ２による２値化処理の結果は２値化メモリ４１ｂに出
力される。第２の２値化メモリ４１ｂの画像（第２の２
値化処理画像）は白領域拡大処理回路６７で拡大処理さ
れ、２値化メモリ６８に出力される。マスク回路６５は
第１の２値化メモリ４１ａに格納された第１の２値化処
理画像の白領域を、２値化メモリ６８に格納される拡大
された第２の２値化処理画像の白領域でマスク処理をす
る。この結果、第３の２値化メモリ４１ｃに格納される
第３の２値化処理画像には網膜反射像６のみの白領域が
残る。

【００７５】上記実施例６において第３の２値化処理画
像に対し、白領域の縮退処理を実施すればさらに、眼鏡
反射像を除く効果がある。

【００７６】実施例７．図１７は本発明の実施例７による居眠り検出装置を示す
構成図である。上記実施例６では白領域拡大処理回路６
７を第２の２値化メモリ４１ｂの画像に対して実行させ
たが、白領域縮退回路６２を第１の２値化メモリ４１ａ
の画像に対して実行させると更に効果がある。

【００７７】なお、実施例７において、白領域拡大処理
回路６７及び２値化メモリ６８を省いた構成も実施例６
と同様の効果がある。

【００７８】実施例８．以上の実施例は照明光（ＬＥＤ）がオン状態のままで顔
面上の特徴点を装着物と区別して抽出するものについて
述べたが、本実施例では照明光をオン・オフに切り換え
て特徴点を装着物と区別して精度よく抽出するものを示
す。車室内など明るい環境においては、図１８（ａ）に
示すように、顔面全体が明るく撮影され、外乱光の影響
でＬＥＤオンの画像のみでは網膜反射像は顕著に現れな
い。一方、図１８（ｂ）に示すように、ＬＥＤオフの画
像は網膜反射像が現れず、瞳孔が暗く撮影される。従っ
て、ＬＥＤオンの明撮影画像からＬＥＤオフの暗撮影画
像を差分した画像は、図１８（ｃ）に示すように、ＬＥ
Ｄオンの明撮影画像に比べて網膜反射像が顕著に現れ
る。本実施例は明るい環境で用いるために、差分処理を
施し、眼鏡反射像と網膜反射像を区別する画像処理装置
の実施例である。

【００７９】図１９は本発明の実施例８による居眠り検
出装置を示す構成図である。図において、３０ａは画像
メモリ、３０ｂは画像メモリ３０ａの１フレーム前の内
容を記憶する画像メモリ、３４は差分回路、３０ｃは画
像メモリ、ＬＥＤ駆動回路１４は赤外線ＬＥＤ１３をタ
イミング発生回路３１の信号によりフレーム周期ごとに
オン／オフを切り換えて発光させる。図２０はＬＥＤ発
光タイミングチャートと画像メモリ３０ａ、３０ｂ、３
０ｃの内容であり、ＬＥＤのオンオフに対応して、画像
メモリ３０ａは順次、オフ画像ｂi、オン画像ａi+1、オ
フ画像ｂi+2、オン画像ａi+3・・・を格納していく。画
像メモリ３０ｂは画像メモリ３０ａとは１フレーム遅れ
て、オフ画像ｂi 、オン画像ａi+1、オフ画像ｂi+2、オ
ン画像ａi+3 ・・・を格納していく。画像メモリ３０ｃ
は画像メモリ３０ｂとは１フレーム遅れて、差分画像ａ
i+1−ｂi、ａi+3−ｂi+2、・・・を格納していく。

【００８０】次に動作について説明する。ＬＥＤ駆動回
路１４は赤外線ＬＥＤ１３をフレーム周期ごとにオン／
オフを切り換えて発光させ、画像メモリ３０ａと画像メ
モリ３０ｂには照明光の有無に応じた明撮影画像と暗撮
影画像が交互に格納される。差分回路３４で上記明撮影
画像と暗撮影画像の差分画像をとり、画像メモリ３０ｃ
に格納する。画像メモリ３０ｃに格納された画像は網膜
反射像が顕著に現われた画像となる。第１の２値化処理
回路４０ａは画像メモリ３０ｃからこの差分画像を入力
し、第１の閾値ｔｈ１で２値化処理を行う。得られた２
値化処理画像は図２１（ａ）に示すように網膜反射像と
眼鏡反射像を含む。一方、第２の２値化処理回路４０ｂ
は画像メモリ３０ａから明撮影画像を入力し、第２の閾
値ｔｈ２で２値化処理をする。この２値化処理画像は図
２１（ｂ）に示すように眼鏡反射像を含む。２値化メモ
リ４１ａ、４１ｂに格納された上記２値化処理画像はマ
スク回路でマスク処理され、図２１（ｃ）に示すドーナ
ッツ状の白領域を含む画像となる。以下の動作は実施例
１と同様である。

【００８１】このように照明光をオンオフさせて、得ら
れる明暗撮影画像の差分をとることにより、外乱光成分
が除去でき、網膜反射像が強調されるので、閾値ｔｈ１
で２値化処理する際、網膜反射像を確実に抽出できる。

【００８２】実施例９．図２２は本発明の実施例９による居眠り検出装置を示す
構成図である。本実施例は実施例８に白領域縮退回路６
２及び画像メモリ６３を加えたものである。本実施例で
は、２値化メモリ４１ｃに格納されたドーナッツ状の白
領域を含む画像に対し、実施例３と同様に縮退処理を行
なって、ドーナッツ状の白領域を除外する。

【００８３】実施例１０．図２３は本発明の実施例１０による居眠り検出装置を示
す構成図である。本実施例は実施例８の第２の２値化処
理回路４０ｂの後に白領域拡大処理回路６７及び２値化
メモリ６８を加えたものであり、眼鏡反射像が拡大され
ているため、マスク回路６５でマスク処理された２値化
処理画像は、実施例８に見られるようなドーナッツ状の
白領域が現われず、網膜反射像のみが得られる。従っ
て、以下、実施例４と同様にして居眠りの検出が行え
る。

【００８４】なお、上記実施例では第２の２値化処理回
路４０ｂの後に白領域拡大処理回路を入れたものを示し
たが、第１の２値化処理回路４０ａの後に白領域縮退処
理回路を入れてもよい。あるいは、白領域拡大処理回路
と白領域縮退処理回路の両方をいれてもよい。

【００８５】また、第２の２値化処理回路４０ｂで２値
化処理する前に拡大処理してもよいし、第１の２値化処
理回路４０ａで２値化処理する前に差分画像を縮退処理
してもよい。

【００８６】実施例１１．図２４は本発明の実施例１１による居眠り検出装置を示
す構成図である。本実施例は図２１（ａ）に示す実施例
８における差分画像に対し、実施例１と同様に、２値化
処理回路Ｂ６０により閾値ｔｈ１、ｔｈ２で２値化処理
を行うものであり、マクス回路６５を用いずに、２値化
処理回路Ｂ６０により直接、図２１（ｃ）と同様の２値
化処理画像を得るものである。

【００８７】実施例１２．図２５は本発明の実施例１２による居眠り検出装置を示
す構成図である。本実施例では照明光を強と弱に切り換
えて特徴点を精度よく抽出するものを示す。図２５にお
いて、３０ａは画像メモリ、３０ｂは画像メモリ３０ａ
の１フレーム前の内容を記憶する画像メモリ、３４は差
分回路、３０ｃは画像メモリ、ＬＥＤ駆動回路１４は赤
外線ＬＥＤ１３をタイミング発生回路３１の信号により
フレーム周期ごとに強／弱を切り換えて発光させる。Ｌ
ＥＤ発光タイミングチャートと画像メモリ３０ａ、３０
ｂの内容は実施例８と同様であり、ＬＥＤの強弱に対応
して、強発光画像（以下、明撮影画像と記す）と弱発光
画像（以下、暗撮影画像と記す）を順次格納し、画像メ
モリ３０ｃは差分画像を格納していく。

【００８８】次に本実施例における差分画像を説明す
る。図２６にＣＣＤカメラ１０の入出力特性を示す。カ
メラ１０に入力される網膜反射像や眼鏡等の装着物から
の反射光の輝度は、照明光の強弱によって図２６の横軸
に示すような順序になり、照明光が弱くても眼鏡の反射
はかなり明るい。このため、カメラからの出力（濃度
値）はオーバフローに近い値になる。すなわち、弱発光
でも強発光でも、眼鏡の反射像の濃度値は変化が少な
い。従って、明撮影画像から暗撮影画像を引くと、眼鏡
の反射像の濃度差は低く、画像メモリ３０ｃには、眼鏡
の反射像はむしろ暗く、網膜反射像のみが明るく光る画
像が出現する。画像メモリ３０ｃの画像を図２７に示
す。この画像ではレンズ反射像８、眼鏡枠反射像９の中
心は暗くなるが、周りには明るいドーナッツ領域が現れ
る。

【００８９】図２５において、２値化処理回路Ａ４０
で、画像メモリ３０ｃに格納された上記差分画像を閾値
ｔｈ１で２値化すると図４のようになる。以下の動作は
実施例１と同様である。

【００９０】なお、本実施例１２において、２値化メモ
リ４１または２値化メモリ４１ｃのあとに実施例３と同
様、白領域の縮退処理回路をいれても良い。

【００９１】また、２値化処理回路Ａ４０は２値化処理
回路Ｂ６０でもよく、同様の２値化処理画像となる。

【００９２】このように照明光を強弱発光させて、得ら
れる明暗撮影画像の差分をとることにより、装着物の反
射像の影響を消すように動作するので、特徴点検出精度
がさらに向上する。

【００９３】実施例１３．図２８は本発明の実施例１３による居眠り検出装置を示
す構成図である。本実施例では、実施例１２の装置に対
し、画像メモリ３０ｂの後に暗撮影画像を拡大処理する
拡大処理回路３３及び画像メモリ３０ｄを挿入してい
る。これにより、弱発光時の眼鏡からの反射像が拡大さ
れ、明撮影画像との間で差分を取ると、画像メモリ３０
ｃには図２９のように眼鏡反射が暗くなる画像が得られ
る。この画像を２値化処理回路Ａ４０により２値化すれ
ば、網膜反射像のみが抽出できる。

【００９４】実施例１４．図３０は本発明の実施例１４による居眠り検出装置を示
す構成図である。本実施例では、実施例１３の装置に対
し、画像メモリ３０ａの後に明撮影画像を縮退処理する
縮退処理回路３３及び画像メモリ３０ｅを挿入してい
る。これにより、多少顔が動いても眼鏡反射を除去でき
るようになる。

【００９５】実施例１５．上記実施例１２、１３、１４では差分画像のみを用いて
眼球の特徴点を抽出したが、実施例８、９、１０と同様
に、２つの２値化処理画像を得、マスク処理を行なうよ
うにしてもよい。即ち、図１９に示すように、第２の２
値化処理回路４０ｂを設け、画像メモリ３０ａから弱発
光画像を入力し、第２の閾値ｔｈ２で２値化処理をし
て、第２の２値化処理画像である眼鏡反射像を得、一
方、２値化処理回路４０ａで差分画像を第１の閾値ｔｈ
１で２値化処理し、第１の２値化処理画像である網膜反
射像を得、両２値化処理画像をマスク回路６５でマスク
処理して、図４と同様の画像を得てもよい。

【００９６】また、本実施例のものに対し、第１の２値
化処理画像の縮退処理と、第２の２値化処理画像の拡大
処理のどちらか一方、あるいは両方を行なってもよい。

【００９７】また、第２の２値化処理回路４０ｂで２値
化処理する前に拡大処理してもよいし、第１の２値化処
理回路４０ａで２値化処理する前に差分画像を縮退処理
してもよい。

【００９８】実施例１６．なお、上記実施例１２〜１５では照明光の強弱に対する
差分画像をもちいて網膜反射像を得たが、カメラのゲイ
ンを可変にし、ＬＥＤ強発光の代わりにカメラゲインを
大、ＬＥＤ弱発光の代わりにカメラゲインを小にしても
同様の効果がある。図３１は本発明の実施例１６による
居眠り検出装置を示す構成図である。図において、１０
は入力ゲイン信号に対応して出力画像信号の大きさを変
化する機能があるＣＣＤカメラ、１６はゲイン信号を発
生するゲイン信号発生回路である。

【００９９】タイミング発生回路３１のフレーム周期に
従ったタイミング信号によりゲイン信号発生回路１６は
ゲイン大の信号とゲイン小の信号をＣＣＤカメラ１０に
出力する。画像メモリ３０ａには、フレーム周期毎にカ
メラゲインが異なる画像が入力され、画像入力のタイミ
ング毎に画像メモリ３０ａの画像は画像メモリ３０ｂに
転送し、結果として画像メモリ３０ｂには１フレーム前
の画像が格納されている。画像メモリ３０ａにゲイン大
の明撮影画像、画像メモリ３０ｂにゲイン小の暗撮影画
像が入力されたとき、差分回路３４は、ゲイン大の明撮
影画像からゲイン小の暗撮影画像を引く演算をする。画
像メモリ３０ｃの画像は図２７と同様である。以下の処
理は実施例１２と同様である。

【０１００】本実施例では、フレーム周期毎にゲインの
大小を切り換えて検出対象者を撮影したが、撮影画像の
濃淡レベルを変化させるものなら何でもよく、カメラの
絞りを変化させても良い。即ち、ゲイン大小の代わり
に、絞り開閉度大と絞り開閉度小をフレーム周期毎に切
り換えても良い。また、カメラのシャッタ速度を可変に
し、遅いシャッタ速度による撮影と、早いシャッタ速度
による撮影とをフレーム周期毎に切り換えても良い。

【０１０１】このように、照明光の強弱の代わりに、Ｃ
ＣＤカメラのカメラゲインや絞りやシャッタスピード等
のカメラ（光入力手段）の入力ゲインを変化させて、同
様の動作を行なえば、ＳＮは下がるかも知れないが、Ｌ
ＥＤの寿命等が延びる等の利点がある。

【０１０２】実施例１７．図３２は本発明の実施例１７による居眠り検出装置を示
す構成図である。本実施例では、検出対象者１をＣＣＤ
カメラ１０と同軸で照明するＬＥＤ１３ａと、検出対象
者１をＣＣＤカメラ１０と非同軸で照明するＬＥＤ１３
ｂを交互に発光させ、同軸照明と非同軸照明を切り換え
て特徴点を精度よく抽出するものである。即ち、同軸照
明の場合は、眼鏡枠反射像や眼鏡等の装着物からの反射
像と網膜反射像が撮像され（同軸画像）、非同軸照明の
場合は、装着物からの反射像のみが撮像される（非同軸
画像）。従って、同軸画像と非同軸画像の差分画像をと
ることにより、眼鏡反射が除去できる。

【０１０３】次に動作について説明する。図３２におい
て、ＬＥＤ駆動回路１４は赤外線ＬＥＤ１３ａと赤外線
ＬＥＤ１３ｂをタイミング発生回路３１の信号によりフ
レーム周期ごとに交互に切り換えて発光させる。ＬＥＤ
発光タイミングチャートと画像メモリ３０ａ、３０ｂの
内容は実施例８、１２と同様であり、発光するＬＥＤに
対応して、同軸画像と非同軸画像を順次格納する。拡大
処理回路３３及び画像メモリ３０ｄは非同軸画像を拡大
処理し、差分回路３４はこの非同軸拡大処理画像を、画
像メモリ３０ａの同軸画像から差分し、差分画像を生成
する。以下、実施例１３と同様に２値化処理回路Ａ４０
で、画像メモリ３０ｃに格納された上記差分画像を閾値
ｔｈ１で２値化し図４の網膜反射像を得る。

【０１０４】本実施例では拡大処理回路３３を設け、非
同軸画像を拡大処理し、同軸画像との間で差分画像を生
成した。これは眼鏡反射像の除去を確実にするためであ
る。即ち、ＬＥＤ１３ａと１３ｂの位置が異なるため、
同軸画像と非同軸画像とで反射像の位置が多少異なる結
果、このまま差分を取れば眼鏡反射像の一部が残るが、
非同軸画像を拡大し、眼鏡反射像を拡大して差分を取る
ことにより、眼鏡反射像をすべて除去できる。

【０１０５】なお、実施例１４と同様に、縮退処理回路
３２を、画像メモリ３０ａの後に入れ、同軸画像を縮退
処理して、非同軸拡大処理画像とで差分を取れば、多少
顔が動いても眼鏡反射を除去できるようになる。

【０１０６】なお、ＬＥＤの並んでいる方向が上下方向
なら、例えば５×５のマックスフィルタを７×５のマッ
クスフィルタに換え、拡大の方向を上下方向に強くすれ
ば除去効果があがる。

【０１０７】実施例１８．上記実施例１７では差分画像のみを用いて眼球の特徴点
を抽出したが、実施例８、１５と同様に、２つの２値化
処理画像を得、マスク処理を行なうようにしてもよい。
即ち、図１９に示すように、第２の２値化処理回路４０
ｂを設け、画像メモリ３０ａから非同軸画像を入力し、
第２の閾値ｔｈ２で２値化処理をして、第２の２値化処
理画像である眼鏡反射像を得、一方、２値化処理回路４
０ａで差分画像を第１の閾値ｔｈ１で２値化処理し、第
１の２値化処理画像である網膜反射像を得、両２値化処
理画像をマスク回路６５でマスク処理して、図４と同様
の画像を得てもよい。

【０１０８】また、本実施例のものに対し、第１の２値
化処理画像の縮退処理と、第２の２値化処理画像の拡大
処理のどちらか一方、あるいは両方を行なってもよい。

【０１０９】また、第２の２値化処理回路４０ｂで２値
化処理する前に拡大処理してもよいし、第１の２値化処
理回路４０ａで２値化処理する前に差分画像を縮退処理
してもよい。

【０１１０】実施例１９．図３３は本発明の実施例１９による居眠り検出装置を示
す構成図である。本実施例は、上記実施例のように照明
光の強弱、または入力ゲインの大小、または同軸、非同
軸照明に対する差分画像をもちいて網膜反射像を得るの
ではなく、照明光の強弱、または入力ゲインの大小、ま
たは同軸、非同軸照明に対する２つの画像を、各々第１
の閾値と第２の閾値により２値化処理し、これらの２つ
の２値化処理画像を用いて、眼球からの反射像を顔面上
の特徴点として抽出するものである。図３３において、
ＬＥＤ駆動回路１４は赤外線ＬＥＤ１３をタイミング発
生回路３１の信号によりフレーム周期ごとに強／弱を切
り換えて発光させる。第１の２値化処理回路４０ａは画
像メモリ３０ａから明撮影画像を入力し、第１の閾値ｔ
ｈ１で２値化処理をして、第１の２値化処理画像である
網膜反射像と眼鏡反射像が含まれる画像を得る。一方、
第２の２値化処理回路４０ｂでは画像メモリ３０ｂから
暗撮影画像を入力し、第２の閾値ｔｈ２１で２値化処理
をして、第２の２値化処理画像である眼鏡反射像が含ま
れる画像を得る。マスク回路６５で第１の２値化処理画
像を第２の２値化処理画像でマスク処理して、図４と同
様の画像を得る。以下の動作は上記各実施例と同様であ
る。

【０１１１】なお、本実施例において、２値化メモリ４
１ｃのあとに実施例３と同様、白領域の縮退処理回路を
いれても良い。

【０１１２】また、第１の２値化処理画像の縮退処理
と、第２の２値化処理画像の拡大処理のどちらか一方、
あるいは両方を行なってからマスク処理を行なってもよ
い。

【０１１３】実施例２０．図３４は本発明の実施例２０による居眠り検出装置を示
す構成図である。本実施例は、図３３に示す装置に対
し、第２の２値化処理回路４０ｂで２値化処理する前に
拡大処理回路３３で拡大処理し、第１の２値化処理回路
４０ａで２値化処理する前に縮退処理回路３２で縮退処
理するものである。

【０１１４】なお、上記実施例１９、２０は照明光を強
弱切り換えるものを示したが、入力ゲインを切り換える
もの、または同軸、非同軸照明を切り換えるものに対し
ても同様の構成が可能である。このように、実施例１
９、２０では画像メモリの数が減り、変わりに２値化メ
モリが増えるが、２値化メモリの方がハードウェアが小
さいので、メモリ容量が小さくなり、装置が小型にな
る。また、濃淡画像の差分処理の代わりにマスク処理を
行うが、同様、処理回路が簡単になるので装置が小型に
なる。

【０１１５】実施例２１．図３５は本発明の実施例２１による居眠り検出装置を示
す構成図、図３６は実施例２１による居眠り検出装置の
動作を説明する説明図である。上記実施例１９、２０で
は画像メモリ３０ａ、３０ｂに格納された明暗撮影画像
を各々２値化処理回路４０ａ、４０ｂで２値化処理した
が、本実施例では、画像メモリと２値化処理回路を１つ
にし、特徴計算回路５０において、２値化処理回路４０
に対し、２値化の閾値を図３６に示すように、フレーム
周期毎に切り換える処理をおこなう。このようにするこ
とにより、２値化メモリ４１ａ、４１ｂ、４１ｃに格納
される２値化処理画像は、実施例１９と同様になる。本
実施例では、２値化処理回路が１つになり、画像メモリ
も少なくなるので回路がより小型になる。

【０１１６】実施例２２．図３７は本発明の実施例２２による居眠り検出装置を示
す構成図である。本実施例は、顔が動いた場合にも精度
よく網膜反射像を抽出できるものであり、照明光を強弱
発光させて、順次得られる暗撮影画像、明撮影画像、暗
撮影画像の差分をとることにより、眼球からの反射像を
顔面上の特徴点として抽出するものである。図３７にお
いて、３０ｄはｉ番目に撮影した暗撮影画像を拡大処理
した画像を格納する画像メモリ、３０ｂはｉ−１番目に
撮影した明撮影画像を格納する画像メモリ、３０ｆはｉ
−２番目に撮影した暗撮影画像を拡大処理した画像を格
納する画像メモリ、３５はｉ−１番目に撮影した明撮影
画像からｉ番目に撮影した暗撮影画像を差分処理する第
１の差分回路、３６はｉ−１番目に撮影した明撮影画像
からｉー２番目に撮影した暗撮影画像を差分処理する第
２の差分回路、３０ｇは第１の差分回路３５からの第１
の差分画像を格納する画像メモリ、３０ｈは第２の差分
回路３６からの第２の差分画像を格納する画像メモリ、
４０は第１の閾値により第１の差分画像あるいは第２の
差分画像を処理する２値化処理回路Ａ、３７は２値化処
理回路Ａで各々処理された第１の差分処理画像と第２の
差分処理画像とのＡＮＤ画像をとるＡＮＤ回路、４０ｄ
はＡＮＤ画像を格納する２値化メモリである。

【０１１７】次に動作について説明する。ＬＥＤ駆動回
路１４は赤外線ＬＥＤ１３をフレーム周期ごとに強／弱
を切り換えて発光させ、画像メモリ３０ａと画像メモリ
３０ｂには照明光の強弱に応じた暗撮影画像と明撮影画
像が交互に格納される。図３８に検出対象者が左から右
に動いたとした時の画像メモリ３０ｄ、３０ｂ、３０
ｆ、３０ｇ、３０ｈに格納される画像を眼鏡反射像と網
膜反射像に注目して模式的に示す。ｉ−２番目及びｉ番
目に撮影した暗撮影画像を拡大処理した画像３０Ｆ、３
０Ｄは眼鏡反射像が拡大されて撮像され、網膜反射像は
撮像されない。また、顔を動かしているので眼鏡反射像
は撮影画像上を移動し、画像３０Ｆにおける眼鏡反射像
は左寄りに、画像３０Ｄにおける眼鏡反射像は右寄りに
現われる。ｉ−１番目に撮影した明撮影画像３０Ｂは眼
鏡反射像と網膜反射像が撮像され、また、眼鏡反射像は
中央に現われる。第１の差分回路３５で差分処理され、
メモリ３０ｇに格納された画像３０Ｇと、第２の差分回
路３６で差分処理され、メモリ３０ｈに格納された画像
３０Ｈを第１の閾値により２値化処理回路Ａ４０でそれ
ぞれ２値化処理し、ＡＮＤ回路３７でＡＮＤをとると、
画像４０Ｄに示すＡＮＤ画像が得られる。このＡＮＤ画
像４０Ｄは眼鏡反射像の大部分がほぼ除去され、網膜反
射像の抽出できた画像となっている。

【０１１８】このように、例えば実施例１３において差
分画像を取る時、顔が動くと眼鏡反射像が充分除去でき
ないことがあるが、本実施例のようにして２つの差分画
像を用いて処理すると、精度よく網膜反射像を抽出でき
る。特徴計算回路５０では網膜反射像のみを形等より抽
出し、上記各実施例と同様にして居眠りを検出する。

【０１１９】実施例２３．図３９は本発明の実施例２３による居眠り検出装置を示
す構成図である。本実施例は実施例２２の構成のものに
対し、画像メモリ３０ｂに格納される明撮影画像３０Ｂ
を縮退処理回路３２で縮退処理し、差分するときに差分
される側になる眼鏡反射像を小さくしている。これによ
り第１の差分画像３０Ｇと第２の差分画像３０Ｈにおい
ては、眼鏡反射像の残っている部分が小さくなり、その
結果、ＡＮＤ画像４０Ｄにおいても、眼鏡反射像が殆ど
残らなくなる。

【０１２０】本実施例では縮退処理回路３２と拡大処理
回路３３の両方を入れたものを示したが、拡大処理回路
３３を省いてもよいし、両方ともなくてもよい。

【０１２１】また、上記実施例２２、２３では照明光を
強弱切り換え、２種類の差分をとり画像処理するものを
示したが、実施例１６と同様に入力ゲインを切り換え、
あるいは実施例１７と同様に同軸照明と非同軸照明を切
り換え、実施例２２、２３と同様に２種類の差分をとる
構成であってもよい。

【０１２２】実施例２４．図４０は本発明の実施例２４による居眠り検出装置を示
す構成図である。本実施例は、上記実施例２２、２３と
同様に、顔が動いた場合にも精度よく網膜反射像を抽出
できるものであり、２種類の差分のとり方が異なるもの
である。図４０において、３８はｉ−１番目に撮影した
明撮影画像からｉ番目に撮影した暗撮影画像を差分した
差分画像３０Ｇから、さらにｉー２番目に撮影した暗撮
影画像を差分処理する差分回路であり、３０ｊはこの差
分画像を格納する画像メモリである。

【０１２３】次に動作について説明する。ＬＥＤ駆動回
路１４は赤外線ＬＥＤ１３をフレーム周期ごとに強／弱
を切り換えて発光させ、画像メモリ３０ａと画像メモリ
３０ｂには照明光の強弱に応じた暗撮影画像と明撮影画
像が交互に格納される。図４１に検出対象者が左から右
に動いたとした時の画像メモリ３０ｄ、３０ｂ、３０
ｆ、３０ｇ，３０ｊに格納される画像を眼鏡反射像と網
膜反射像に注目して模式的に示す。ｉ−２番目及びｉ番
目に撮影した暗撮影画像を拡大処理した画像３０Ｆ、３
０Ｄ、ｉ−１番目に撮影した明撮影画像３０Ｂ、第１の
差分回路３５で差分処理され、メモリ３０ｇに格納され
た画像３０Ｇは、上記実施例２２と同じであり、本実施
例では差分画像３０Ｇから、さらにｉー２番目に撮影し
た暗撮影画像を差分回路３８で差分する。この差分画像
３０Ｊを第１の閾値により２値化処理回路Ａ４０で２値
化処理すると、実施例２２で得られたＡＮＤ画像４０Ｄ
と同様の画像が得られ、眼鏡反射像の大部分がほぼ除去
され、網膜反射像の抽出できた画像となっている。

【０１２４】実施例２５．図４２は本発明の実施例２５による居眠り検出装置を示
す構成図である。本実施例は実施例２３と同様、上記実
施例２４の構成のものに対し、画像メモリ３０ｂに格納
される明撮影画像３０Ｂを縮退処理回路３２で縮退処理
し、差分するときに削られる側になる眼鏡反射像の小さ
くしている。これにより実施例２３と同様、眼鏡反射像
が殆ど残らなくなる。

【０１２５】本実施例では縮退処理回路３２と拡大処理
回路３３の両方を入れたものを示したが、拡大処理回路
３３を省いてもよいし、両方ともなくてもよい。

【０１２６】また、上記実施例２２、２３では照明光を
強弱切り換え、明撮影画像から２重に差分をとり画像処
理するものを示したが、実施例１６と同様に、同軸照明
と非同軸照明を切り換え、同軸画像から実施例２２、２
３と同様に２重に差分をとる構成であってもよい。

【０１２７】実施例２６．図４３は本発明の実施例２６による居眠り検出装置を示
す構成図である。眼鏡の形状によっては、照明の位置を
少しずらせるだけで眼鏡レンズ上の反射像が動いてしま
い、同軸、非同軸照明に対して差分をとっても眼鏡レン
ズ上の反射像が残り、網膜反射像を抽出できないことが
ある。本実施例は、このような場合にも精度よく網膜反
射像が抽出できる装置であり、同軸照明における光軸に
対し対称となる２つの光軸で非同軸照明を行なうもので
ある。図４３では、同軸照明の光軸に対し検出対象者を
ＬＥＤ１３ｂ、１３ｃにより左右から照明して、非同軸
照明を実施する。

【０１２８】次に動作について説明する。ＬＥＤ駆動回
路１４は赤外線ＬＥＤ１３ａ、１３ｂ、１３ｃをフレー
ム周期ごとに、非同軸左、同軸、非同軸右、同軸、非同
軸左、同軸、非同軸右・・・と切り換えて発光させ、画
像メモリ３０ａには同軸、非同軸に応じた同軸画像と非
同軸画像が交互に格納される。非同軸左画像が画像メモ
リ３０ａに入力されると拡大処理回路３３で拡大処理さ
れ画像メモリ３０ｄに格納される。次に、同軸画像が画
像メモリ３０ａに入力されると画像メモリ３０ｂに格納
される。このとき、画像メモリ３０ｄの非同軸左拡大画
像は画像メモリ３０ｆに転送される。以下画像が入力す
る度にこの処理を繰り返す。例えばｉ番目に非同軸右画
像が画像メモリ３０ｄに格納されたときは、画像メモリ
３０ｂはｉ−１番目の同軸画像、画像メモリ３０ｆには
ｉ−２番目の非同軸左画像が格納されている。画像メモ
リ３０ｄ、３０ｂ、３０ｆ、３０ｇ、３０ｈに格納され
る画像は図３８と同様になる。即ち、画像３０Ｆはｉ−
２番目に撮影された非同軸左の非同軸画像の拡大画像で
あり、眼鏡反射像は左寄りに現われる。画像３０Ｄはｉ
番目に撮影した非同軸右の非同軸画像の拡大画像であ
り、眼鏡反射像は右寄りに現われる。３０Ｂはｉ−１番
目に撮影した同軸照明の同軸画像であり、眼鏡反射像は
中央に現われる。これらの画像に対し、実施例２２と同
様に２種類の差分をとることにより、眼鏡反射像の大部
分がほぼ除去され、網膜反射像の抽出が精度よくでき
る。

【０１２９】なお、同軸照明に対し、対称な非同軸照明
をとる構成は、実施例２３〜実施例２５に対しても適用
できる。また、同軸照明に対し、対称な非同軸照明とし
ては、上下方向や斜め方向であってもよい。

【０１３０】実施例２７．図４４は本発明の実施例２７による居眠り検出装置を示
す構成図である。本実施例は、上記実施例２２〜２３に
示した２種類の差分画像をもちいたものに対し、実施例
１９〜２０と同様、先に２値化処理して、この２値化処
理画像を用いて、２種類の差分画像の代わりに２種類の
マスク画像を得、特徴抽出を行なうものである。図４４
において、ＬＥＤは弱、強、弱、強と順次切り換えて発
光する。ｉ−２番目に撮影した暗撮影画像は２値化処理
回路４０ｂで２値化され、２値化メモリ４１ｂに格納さ
れる。ｉ−１番目に撮影した明撮影画像は２値化処理回
路４０ａで２値化され、２値化メモリ４１ａに格納され
る。このとき、２値化メモリ４１ｂのｉ−２番目の暗撮
影画像は２値化メモリ４１ｅに転送される。次いでｉ番
目に撮影した暗撮影画像は２値化処理回路４０ｂで２値
化され、２値化メモリ４１ｂに格納される。このときｉ
番目の暗撮影画像は２値化メモリ４１ｂに、ｉ−１番目
の明撮影画像は２値化メモリ４１ａに、ｉ−２番目の弱
発光画像は２値化メモリ４１ｂに格納されていることに
なる。次に、マスク回路６５ａは２値化メモリ４１ａの
ｉー１番目の明撮影画像に対して２値化メモリ４１ｂの
ｉ番目の暗撮影画像でマスク処理をして結果を２値化メ
モリ４１ｆに出力する。一方、マスク回路６５ｂは２値
化メモリ４１ａのｉー１番目の明撮影画像に対して２値
化メモリ４１ｅのｉー２番目の暗撮影画像でマスク処理
し、結果を２値化メモリ４１ｇに出力する。次いで、Ａ
ＮＤ回路３７は２値化メモリ４１ｆの内容と、２値化メ
モリ４１ｇの内容のＡＮＤをとり、２値化メモリ４１ｈ
に結果を出力する。

【０１３１】なお、実施例２４〜実施例２６に対して
も、本実施例と同様、先に２値化処理してマスク処理を
行なってもよい。

【０１３２】このような構成にすることにより、実施例
２２〜２６に比べて、２値化メモリは増えるが、画像メ
モリが少なくて済み差分回路も省けるので、小型で低価
格の装置ができる効果がある。

【０１３３】実施例２８．図４５は本発明の実施例２８による居眠り検出装置を示
す構成図である。本実施例は実施例３の構成のものに対
し、眼鏡の有無を判断する眼鏡装着判定手段６９を備え
たものである。眼鏡装着判定手段６９は、２値化メモリ
６１における白領域をラベリング処理し、白領域の個数
を数える。眼鏡の非装着時には反射像は２つ、装着時に
は３つ以上あるので、白領域の数で眼鏡の有無を判断す
る。特徴計算回路５０は、眼鏡装着判定手段６９の判定
結果により、眼鏡装着用の特徴抽出ロジックと、眼鏡非
装着用のロジックを切り替える。例えば、図１０では５
個あるので、眼鏡装着と判断し、実施例３と同様に２値
化メモリ６３の内容から網膜反射像６を抽出する処理を
行う。眼鏡非装着と判断された時には、２値化メモリ６
１の内容から網膜反射像６を抽出する処理を行う。

【０１３４】縮退処理をすると網膜反射像６の情報が少
なくなるが、本実施例の場合は、眼鏡装着時の、瞳孔抽
出精度が向上する。

【０１３５】なお、上記実施例では眼鏡装着判定手段６
９は、２値化メモリ６１における白領域の個数を数え、
眼鏡の装着を判定したが、眼鏡反射像は網膜反射像に比
べて輝度が著しく高いことから、眼鏡装着判定手段６９
は、画像メモリ３０から信号を取入れ、最大輝度をみ
て、所定値以上なら眼鏡装着と判定してもよい。

【０１３６】また、上記各実施例では眼鏡を装着するも
のについて述べてきたが、イヤリング等の装着物に対し
ても同様の効果がある。

【０１３７】図４６は本発明の実施例２８による他の居
眠り検出装置を示す構成図である。図４５に示す実施例
では画像処理により眼鏡装着を判断したが、スイッチ１
５により眼鏡装着か非装着かの信号を特徴計算回路５０
に入力してもよい。特徴計算回路５０の動作は、眼鏡の
有無により、眼鏡装着用の特徴抽出ロジックと、眼鏡非
装着用のロジックを、上記実施例と同様にして切り替え
る。即ち、眼鏡装着時には、２値化メモリ６３の内容か
ら網膜反射像６を抽出する処理を行い、眼鏡非装着時に
は、２値化メモリ６１の内容から網膜反射像６を抽出す
る処理を行う。

【０１３８】図４７は本発明の実施例２８によるさらに
他の居眠り検出装置を示す構成図である。図４７におい
て、特徴計算回路５０は、眼鏡の有無により、眼鏡装着
用の特徴抽出ロジックと、眼鏡非装着用のロジックを切
り替えるだけでなく、さらに撮影条件を変えるものであ
る。即ち、特徴計算回路５０は眼鏡を装着すると網膜反
射像６が暗くなるので、眼鏡装着時には裸眼時に比べて
赤外線ＬＥＤ１３の放射パワーを上げるように、ＬＥＤ
駆動回路１４を制御する。他の動作は図４６に示す実施
例と同じである。このようにすることにより、適正な光
量で照明するので、眼鏡装着時でも裸眼時でも正しく特
徴点を抽出することができる。

【０１３９】なお、図４５に示す装置に対しても、眼鏡
装着の有無により撮影方法を切り換えるようにしてもよ
い。また、眼鏡装着の有無を判断してＬＥＤの放射パワ
ーを変えたが、眼鏡装着時にはカメラのゲインを上げ、
裸眼時にはカメラのゲインを下げるようにしても同様の
効果がある。

【０１４０】実施例２９．なお、上記実施例２８において、特徴計算回路５０は、
眼鏡の有無により、眼鏡装着用の画像処理と、眼鏡非装
着用の画像処理を切り替えるものを示したが、予め、眼
鏡装着用の画像処理と、眼鏡非装着用の画像処理で網膜
反射像を抽出しておき、眼鏡の有無によって、上記画像
処理結果を選択するようにしてもよい。

【０１４１】あるいは、特徴計算回路５０は、眼鏡装着
用の画像処理と非眼鏡装着用の画像処理とを有し、画像
処理結果によってどちらか一方の画像処理結果を選択し
てもよい。例えば、図４７の場合、２値化メモリ６１の
白領域の個数と、２値化メモリ６３の白領域の個数を比
べ、２値化メモリ６１の白領域の個数と２値化メモリ６
３の白領域の個数が同じならば、眼鏡非装着として、２
値化メモリ６１による特徴抽出結果を選択し、個数が違
えば、眼鏡装着として、２値化メモリ６３による特徴抽
出結果を選択する。また、２値化メモリ６１の白領域の
面積と、２値化メモリ６３の白領域の面積を一定時間記
憶し、瞬きにより白領域の面積が小さくなることから、
面積が小さくなる割合が大きい方の、特徴抽出結果を選
択しても良い。

【０１４２】さらに、上記実施例は実施例３の構成のも
のに対し、眼鏡装着の有無に応じた画像処理または画像
処理結果を選択するものを示したが、他の実施例に対し
て適用してもよい。

【０１４３】実施例３０．さらに、上記各実施例では２値化処理回路において、第
１の閾値ｔｈ１と第２の閾値ｔｈ２は予め決められた所
定の値を用いたが、撮影画像、検出対象者近傍の照度、
または２値化処理画像をもとに、第１の閾値と第２の閾
値を決定すると、網膜反射像と装着物からの反射像とを
より正確に判別できる。本実施例では入力画像に従って
閾値ｔｈ１、ｔｈ２を設定するものを示す。図４８はこ
のような居眠り検出装置の一例を示す構成図である。図
において、６４はヒストグラム演算回路であり、画像メ
モリ３０から画像を入力し、入力画像の最大濃度と平均
濃度と分散をもとに、以下のように閾値ｔｈ１、ｔｈ２
を設定する。ｔｈ１＝平均濃度＋３×分散・・・（１）ｔｈ２＝最大濃度 − （最大濃度−ｔｈ１）／２・・・（２）このようして得られた閾値ｔｈ１、ｔｈ２により、２値
化処理することにより、網膜反射像を精度よく抽出でき
る。

【０１４４】なお、上記実施例において、特徴抽出回路
５０において、ヒストグラム演算回路６４から最大濃度
を入力し、この入力画像の最大濃度に応じてＬＥＤ光量
を変え、レンズ反射像８や眼鏡枠反射像９がオーバフロ
ーしないように設定すれば、網膜反射像６とレンズ反射
像８との濃度の差が出やすくなり、閾値ｔｈ１、ｔｈ２
が決定しやすい。図４９はこのような実施例を示すもの
であり、特徴抽出回路５０は最大濃度が２５５に近けれ
ば、光量を下げるように、ＬＥＤ駆動回路１４に指令を
出す。

【０１４５】実施例３１．上記実施例３０では入力画像全体の平均濃度を用いて閾
値の決定をしたが、図５０は夜間の網膜反射を含む画像
全体の濃度分布であり、濃度値ａを持つ画素数をｎ
（ａ）としたものである。ここでａは０〜２５５までの
値を取る。また、Ａは最小の濃度、Ｂは濃度分布の立ち
上がり濃度、Ｃは最大濃度（濃度max）である。図５０
において、顔面領域及び背景は暗いので点Ｂより暗い濃
度を持つ。これに比べ、網膜反射像や眼鏡の反射像は著
しく明るく、画素数が少ないので点Ｂから点Ｃの分布内
にある。従って、上記実施例３０の全体画像の平均濃度
による閾値決定方法では、Ｓ／Ｎの悪い顔面領域や背景
の濃度分布から閾値のを決めることになり、必ずしも最
適な値が得られないことがわかる。本実施例では、濃度
分布の立ち上がり濃度Ｂを見つけ、濃度Ｂ以上の画素の
濃度分布に注目して２値化の閾値を決定するものであ
り、より最適な閾値が求められる。

【０１４６】濃度Ｂの求め方は、例えば次のとおりに計
算する。まず、点Ｂのおおよその位置を求めるために、
濃度値を例えば１６の区画に分割し、区分ｉの画素数Ｎ
（ｉ）を次式により求める。

【０１４７】

【数１】

【０１４８】次に、隣合う区画間の差分Ｍ（ｉ）をと
り、Ｍ（ｉ）＝Ｎ（ｉ）ーＮ（ｉ−１）但し、ｉ＝１〜１５差分Ｍ（ｉ）が一定値以上の画素数Ｍｔｈを持つ区画Ｍ（ｉ）≧Ｍｔｈなる区画、ｊ１，ｊ２、．．．、Ｊを抽出し、濃度値最
大の区画Ｊを選択する。点Ｂはこの区画Ｊ内で最小の画
素数を持つ濃度値、即ち、ＭＩＮ｛ｎ（１６Ｊ）、ｎ（１６Ｊ＋１）、．．．ｎ（１６Ｊ＋１５）｝を与える濃度値とする。

【０１４９】このようにして求められた点Ｂに対し、閾
値の選び方は、ｔｈ１＝濃度Ｂ＋ α１ｔｈ２＝濃度max − α２但し、α１、α２はオフセット値であり、例えばα１＝
１０、α２＝２０とする。

【０１５０】または、ｔｈ１＝濃度Ｂ＋濃度Ｂ以上の濃度平均値×β１＋ α１ｔｈ２＝濃度max − 濃度Ｂ以上の濃度平均値×β２ − α２（ここで、α１、α２、β１、β２は、例えば、α１＝５、α２＝１０、 β１＝β２＝０．２）閾値の選び方は、後者の閾値のほうが演算時間がかかる
が、確実に特徴点が抽出できるという意味で精度があが
る。

【０１５１】さらに、図５１（ａ）（ｂ）は各々、夜間
の明撮影画像の濃度分布と暗撮影画像の濃度分布であ
る。図５１に示すように、眼鏡反射像の濃度は網膜反射
像の濃度より大きいところに位置し、明撮影（例えば強
発光）の場合は、網膜反射像を抽出する必要があるの
で、閾値の選び方を、ｔｈ１＝濃度Ｂ＋ α１とし、暗撮影（例えば弱発光）の場合は、眼鏡反射像の
みを抽出する必要があるので、ｔｈ２＝濃度max − 濃度Ｂ以上の濃度平均値×β２ − α２としてもよい。

【０１５２】実施例３２．さらに、閾値ｔｈ１、ｔｈ２の設定の仕方としては、検
出対象者近傍の照度を照度センサにより検出し、上記照
度をもとに閾値ｔｈ１、ｔｈ２を設定することもでき
る。例えば、閾値ｔｈ１は照度が大きくなるに連れて大
きくなる値、ｔｈ２は一定としたマップを用い、検出さ
れた照度により閾値ｔｈ１、ｔｈ２を決定する。あるい
は、明るいと顔の平均濃度に対する網膜反射像の濃度
が、暗いときに比べて小さくなることを考慮して、上記
（１）式をｔｈ１＝平均濃度＋ｘ(s)×分散と設定し、ｘ(s)を照度が大きくなるに連れて小さくな
る値に設定したマップを用いて、入力画像の最大濃度と
平均濃度と分散と、検出された照度をもとに、閾値ｔｈ
１、ｔｈ２を決定する。

【０１５３】実施例３３．検出対象者によって網膜反射像の輝度や大きさは異な
る。また、眼鏡によっても眼鏡反射像の輝度や大きさが
異なる。本実施例は異なる閾値で処理した複数の２値化
処理画像をもとに、最適な閾値を決定し、最適な閾値に
よる画像処理、または画像処理結果を選択するものであ
る。図５２は本発明の実施例３３による画像処理装置を
示す構成図である。図５２において、２値化処理回路Ｃ
６６は予め定められた濃度に対する４つの閾値ｔｈ１
１、ｔｈ１２、ｔｈ１３、ｔｈ２を持っている。ｔｈ２
は上記各実施例と同様の眼鏡反射像検出用の閾値であ
り、ｔｈ１１、ｔｈ１２、ｔｈ１３は網膜反射像検出用
の閾値であり、ｔｈ１１〉ｔｈ１２〉ｔｈ１３である。
４１ｂは閾値ｔｈ２で２値化処理した結果を格納する第
２の２値化メモリ、４１１ａは閾値ｔｈ１１で２値化処
理した結果を格納する第１の２値化メモリ、４１２ａは
閾値ｔｈ１２で２値化処理した結果を格納する第１の２
値化メモリ、４１３ａは閾値ｔｈ１３で２値化処理した
結果を格納する第１の２値化メモリ、３９は信号切り換
え器であり、特徴計算回路５０の指令により、２値化メ
モリ４１１ａ、４１２ａ、４１３ａのうちの１つの出力
を、マスク回路６５に接続する。

【０１５４】次に動作について説明する。画像メモリ３
０に画像が入力されると、特徴計算回路５０は信号切り
換え器３９に指令を送り、２値化メモリ４１１ａとマス
ク回路６５を接続する。２値化メモリ４１１ａの２値化
処理画像はマスク回路６５で２値化メモリ４１ｂの２値
化処理画像によりマスク処理され、白領域縮退回路６２
を経て、２値化メモリ６３に格納される。特徴計算回路
５０は２値化メモリ６３におけるこの画像の白領域の面
積と白領域の個数を調べる。次に、特徴計算回路５０は
２値化メモリ４１２ａとマスク回路６５を接続し、同様
の処理を行なう。最後に、特徴計算回路５０は２値化メ
モリ４１３ａとマスク回路６５を接続し、同様の処理を
行なう。次に、特徴計算回路５０は２値化メモリ４１１
ａ、４１２ａ、４１３ａのそれぞれに接続した場合の、
面積情報Ｓ１、Ｓ２、Ｓ３と個数情報Ｎ１、Ｎ２、Ｎ３
を用いて、最適の結果を生み出した結果を選択し、以
下、その閾値に対応した２値化メモリとマスク回路６５
を接続する。白領域の面積と個数を用いて、最適値を選
択する選択基準を以下に示す。個数情報Ｎ１、Ｎ２、Ｎ
３が全て３以上の時、最小の個数を持つものを選択す
る。個数が同じ場合は、最小の面積を持つ結果を最適と
する。Ｎ１、Ｎ２、Ｎ３の値が２であるものが存在すれ
ば、個数Ｎ＝２で、かつ最大の面積を持つ結果を最適と
する。Ｎ１、Ｎ２、Ｎ３が全て２未満の時は、網膜反射
像検出不能とし、再度最適閾値選択処理を行なう。

【０１５５】図５３に眼鏡Ａを掛けた場合の最適な閾値
の選択の例を示す。Ｎ１＝０、Ｎ２＝２、Ｎ３＝５、Ｓ
１＝０、Ｓ２＝２０、Ｓ３＝４０であるので、Ｎ＝２で
ある２値化メモリ４１２ａによる結果を最適として選択
する。

【０１５６】図５４に眼鏡Ｂを掛けた場合の最適な閾値
の選択の例を示す。Ｎ１＝０、Ｎ２＝２、Ｎ３＝２、Ｓ
１＝０、Ｓ２＝２０、Ｓ３＝３０であり、Ｎ２＝Ｎ３＝
２なので、Ｓ２とＳ３の大小を比較する。Ｓ３の方が大
きいので、２値化メモリ４１３ａによる結果を最適とし
て選択する。

【０１５７】なお、白領域の個数による選択理由は、個
数が２個に近いほど、眼鏡の反射像を除去し、網膜反射
像のみを抽出している可能性が高いからである。また、
Ｎ＝２の場合の面積による選択の理由は、面積が大きい
ほど、網膜反射像が抽出できている割合が高いからであ
る。Ｎ＝３以上の場合の面積による選択の理由は、面積
が大きいほど、眼鏡反射像が混入している割合が高いか
らである。

【０１５８】なお、上記実施例３３では網膜反射像抽出
用の第１の閾値を３個設けたが、眼鏡反射像抽出用の第
２の閾値を複数個設けて同様の処理を行なってもよい。

【０１５９】また、上記実施例３３では白領域の縮退処
理を行なったが、縮退処理を行なわずに、白領域の形状
で、閾値の最適値を判断してもよい。例えば、ドーナッ
ツ状の白領域を除いた白領域の個数や面積で判断しても
よい。

【０１６０】実施例３４．上記実施例３３では、複数の閾値による複数の２値化処
理画像を用いて網膜反射像を抽出したが、閾値を変化さ
せた処理結果をもとに、閾値を選択してもよい。図５５
は本発明の実施例３４による画像処理装置を示す構成図
である。図５５において、特徴計算回路５０は網膜反射
像抽出のための閾値ｔｈ１１、ｔｈ１２、ｔｈ１３を順
次、２値化処理回路Ｃ６６に設定し、２値化メモリ６３
の画像を基に最適の閾値を設定する。なお、本実施例で
は眼鏡反射像検出用の閾値ｔｈ２は一定である。

【０１６１】例えば、眼鏡Ａを掛けた場合は、ｔｈ１１
とｔｈ２で処理すると、実施例３３と同様に、結果はＮ
１＝０、Ｓ１＝０となる。特徴計算回路５０は２値化処
理回路Ｃ６６にｔｈ１２とｔｈ２を設定し、結果Ｎ２＝
２、Ｓ２＝２０を得る。次に特徴計算回路５０は２値化
処理回路Ｃ６６にｔｈ１３とｔｈ２を設定し、結果Ｎ３
＝５、Ｓ３＝４０を得る。特徴計算回路５０は実施例３
３と同様の選択基準により最適な閾値ｔｈ１２を選択す
る。眼鏡Ｂの場合は、同様に最適な閾値ｔｈ１３を選択
する。Ｎ１＝０、Ｎ２＝２、Ｎ３＝５、Ｓ１＝０、Ｓ２
＝２０、Ｓ３＝４０であるので、Ｎ＝２である２値化メ
モリ４１２ａによる結果を最適として選択する。

【０１６２】なお、上記実施例３４において、第１の閾
値は３個でなくてもよいし、眼鏡反射像抽出用の第２の
閾値を変化させるようにしてもよい。

【０１６３】また、上記各実施例１〜２９に対し、実施
例３３、３４と同様、複数の閾値で画像処理を行い、最
適な閾値を設定するようにしてもよい。

【０１６４】

【発明の効果】

【０１６５】本発明の請求項１においては、照明光の有
無を制御する照明光制御手段、照明光が有りの検出対象
者の画像を出力する明撮影画像出力手段、照明光が無し
の検出対象者の画像を出力する暗撮影画像出力手段、及
び明撮影画像と暗撮影画像の差分画像を出力する差分画
像出力手段を備え、特徴点抽出手段は、差分画像を第１
の閾値により処理した第１の２値化処理画像と、明撮影
画像を第２の閾値により処理した２値化処理画像を用い
て、眼球からの反射像を顔面上の特徴点として抽出する
ので、眼球の反射像と検出対象者の装着物による反射像
とを確実に識別でき、検出対象者の特徴点抽出を精度よ
く行う画像処理装置が提供できる。

【０１６６】また、請求項２においては、差分画像を第
１の閾値により処理した第１の２値化処理画像と、明撮
影画像を第２の閾値により処理した第２の２値化処理画
像とを用いて、眼球からの反射像を顔面上の特徴点とし
て抽出するので、請求項１の効果に加え、外乱光が変化
したばあいに対する特徴点抽出精度が向上する。

【０１６７】また、請求項３においては、照明光の強弱
または光入力手段の入力ゲインを制御する照明光制御手
段、照明光が強または入力ゲインが大の検出対象者の画
像を出力する明撮影画像出力手段、照明光が弱または入
力ゲインが小の検出対象者の画像を出力する暗撮影画像
出力手段、明撮影画像と暗撮影画像の差分画像を出力す
る差分画像出力手段を備え、特徴点抽出手段は、差分画
像を第１の閾値により処理した第１の２値化処理画像
と、暗撮影画像を第２の閾値により処理した第２の２値
化処理画像とを用いて、眼球からの反射像を顔面上の特
徴点として抽出するので、装着物の反射像の影響を消す
ように動作し、請求項１の効果に加え、特徴点検出精度
がさらに向上する。

【０１６８】また、請求項４においては、特徴点抽出手
段は、ｉ番目に撮影した暗撮影画像と、ｉ−１番目に撮
影した明撮影画像と、ｉ−２番目に撮影した暗撮影画像
とを用いて、上記ｉ−１番目に撮影した明撮影画像から
上記ｉ番目に撮影した暗撮影画像を差分処理して得られ
た第１の差分画像と、上記ｉ−１番目に撮影した明撮影
画像から上記ｉー２番目に撮影した暗撮影画像を差分処
理して得られた第２の差分画像とを求め、第１の差分画
像及び第２の差分画像により、眼球からの反射像を顔面
上の特徴点として抽出するので、請求項３の効果に加
え、検出対象者の顔面が動いた場合においても、特徴点
抽出が正確にでき、抽出精度が下がらない。

【０１６９】また、請求項５においては、特徴点抽出手
段は、ｉ番目に撮影した暗撮影画像と、ｉ−１番目に撮
影した明撮影画像と、ｉ−２番目に撮影した暗撮影画像
とを用いて、上記ｉ−１番目に撮影した明撮影画像か
ら、上記ｉ番目に撮影した暗撮影画像と、上記ｉー２番
目に撮影した暗撮影画像とを差分処理して得られた差分
画像を求め、上記差分画像により、眼球からの反射像を
顔面上の特徴点として抽出するので、請求項４と同様の
効果がある。

【０１７０】また、請求項６においては、検出対象者の
顔面を含む所定領域を光入力手段と同軸で照明する同軸
照明手段、検出対象者の顔面を含む所定領域を上記光入
力手段と非同軸で照明する非同軸照明手段、同軸照明手
段と非同軸照明手段の発光の有無を制御する照明光制御
手段、同軸照明光による検出対象者の画像を出力する同
軸画像出力手段、非同軸照明光による検出対象者の画像
を出力する非同軸画像出力手段、同軸画像と非同軸画像
の差分画像を出力する差分画像出力手段を備え、特徴点
抽出手段は、差分画像をを第１の閾値により処理した第
１の２値化処理画像と、非同軸画像を第２の閾値により
処理した２値化処理画像を用いて、眼球からの反射像を
顔面上の特徴点として抽出するので、請求項１の効果に
加え、外乱光が変化したばあいに対する特徴点抽出精度
が向上する。

【０１７１】また、請求項７においては、特徴点抽出手
段は、ｉ番目に撮影した非同軸画像と、ｉ−１番目に撮
影した同軸画像と、ｉ−２番目に撮影した非同軸画像と
を用いて、上記ｉ−１番目に撮影した同軸画像から上記
ｉ番目に撮影した非同軸画像を差分処理して得られた第
１の差分画像と、上記ｉ−１番目に撮影した同軸画像か
ら上記ｉー２番目に撮影した非同軸画像を差分処理して
得られた第２の差分画像とを求め、第１の差分画像及び
第２の差分画像により、眼球からの反射像を顔面上の特
徴点として抽出するので、請求項６の効果に加え、検出
対象者の顔面が動いた場合においても、特徴点抽出が正
確にでき、抽出精度が下がらない。

【０１７２】また、請求項８においては、特徴点抽出手
段は、ｉ番目に撮影した非同軸画像と、ｉ−１番目に撮
影した同軸画像と、ｉ−２番目に撮影した非同軸画像と
を用いて、上記ｉ−１番目に撮影した同軸画像から、上
記ｉ番目に撮影した非同軸画像と上記ｉー２番目に撮影
した非同軸画像とを差分処理して得られた差分画像を求
め、上記差分画像により、眼球からの反射像を顔面上の
特徴点として抽出するので、請求項７と同様の効果があ
る。

【０１７３】また、請求項９においては、特徴点抽出手
段は、上記差分画像を第１の閾値により処理した第１の
２値化処理画像と、暗撮影画像または非同軸画像を第２
の閾値により処理した第２の２値化処理画像とを用い
て、眼球からの反射像を顔面上の特徴点として抽出する
ので、請求項３または請求項６の効果に加え、装着物の
反射像の影響を軽減できるので、特徴点抽出精度が上が
る。

【０１７４】また、請求項１０においては、特徴点抽出
手段は、第１の差分画像を第１の閾値により処理した第
１の差分処理画像と、第２の差分画像を第１の閾値によ
り処理した第２の差分処理画像とを用いて、眼球からの
反射像を顔面上の特徴点として抽出するので、請求項４
または請求項７の効果に加え、簡単な画像演算で特徴点
を抽出できる効果がある。

【０１７５】また、請求項１１においては、照明光の強
弱または光入力手段の入力ゲインを制御する照明光制御
手段、照明光が強または入力ゲインが大の検出対象者の
画像を出力する明撮影画像出力手段、照明光が弱または
入力ゲインが小の検出対象者の画像を出力する暗撮影画
像出力手段を備え、特徴点抽出手段は、明撮影画像を第
１の閾値により処理した第１の２値化処理画像と、暗撮
影画像を第２の閾値により処理した第２の２値化処理画
像とを用いて、眼球からの反射像を顔面上の特徴点とし
て抽出するので、請求項３の効果に加え、濃淡画像の差
分処理が無くなる結果、画像用のメモリ容量が小さくな
り、処理回路が簡単になって装置が小型で安価になる効
果がある。

【０１７６】また、請求項１２においては、特徴点抽出
手段は、ｉ番目に撮影した暗撮影画像の２値化処理画像
と、ｉ−１番目に撮影した明撮影画像の２値化処理画像
と、ｉ−２番目に撮影した暗撮影画像の２値化処理画像
とを用いて、上記ｉ−１番目に撮影した明撮影画像の２
値化処理画像を上記ｉ番目に撮影した暗撮影画像の２値
化処理画像でマスク処理して得られた第１のマスク画像
と、上記ｉ−１番目に撮影した明撮影画像の２値化処理
画像を上記ｉー２番目に撮影した暗撮影画像の２値化処
理画像でマスク処理して得られた第２のマスク画像とを
求め、第１のマスク画像及び第２のマスク画像により、
眼球からの反射像を顔面上の特徴点として抽出するの
で、請求項４の効果に加え、画像用のメモリ容量が小さ
くなり、処理回路が簡単になって装置が小型で安価にな
る効果がある。

【０１７７】また、請求項１３においては、特徴点抽出
手段は、ｉ番目に撮影した暗撮影画像の２値化処理画像
と、ｉ−１番目に撮影した明撮影画像の２値化処理画像
と、ｉ−２番目に撮影した暗撮影画像の２値化処理画像
とを用いて、上記ｉ−１番目に撮影した明撮影画像の２
値化処理画像を、上記ｉ番目に撮影した暗撮影画像の２
値化処理画像と、上記ｉー２番目に撮影した暗撮影画像
の２値化処理画像とで、マスク処理して得られたマスク
画像を求め、上記マスク画像により、眼球からの反射像
を顔面上の特徴点として抽出するので、請求項１２と同
様の効果がある。

【０１７８】また、請求項１４においては、検出対象者
の顔面を含む所定領域を光入力手段と同軸で照明する同
軸照明手段、検出対象者の顔面を含む所定領域を光入力
手段と非同軸で照明する非同軸照明手段、同軸照明手段
と非同軸照明手段の発光の有無を制御する照明光制御手
段、同軸照明光による検出対象者の画像を出力する同軸
画像出力手段、非同軸照明光による検出対象者の画像を
出力する非同軸画像出力手段を備え、特徴点抽出手段
は、同軸画像を第１の閾値により処理した第１の２値化
処理画像と、非同軸画像を第２の閾値により処理した第
２の２値化処理画像とを用いて、眼球からの反射像を顔
面上の特徴点として抽出するので、請求項６の効果に加
え、濃淡画像の差分処理が無くなる結果、画像用のメモ
リ容量が小さくなり、処理回路が簡単になって装置が小
型で安価になる効果がある。

【０１７９】また、請求項１５においては、特徴点抽出
手段は、ｉ番目に撮影した非同軸画像の２値化処理画像
と、ｉ−１番目に撮影した同軸画像の２値化処理画像
と、ｉ−２番目に撮影した非同軸画像の２値化処理画像
とを用いて、上記ｉ−１番目に撮影した同軸画像の２値
化処理画像を上記ｉ番目に撮影した非同軸画像の２値化
処理画像でマスク処理して得られた第１のマスク画像
と、上記ｉ−１番目に撮影した同軸画像の２値化処理画
像を上記ｉー２番目に撮影した非同軸画像の２値化処理
画像でマスク処理して得られた第２のマスク画像とを求
め、第１のマスク画像及び第２のマスク画像により、眼
球からの反射像を顔面上の特徴点として抽出するので、
請求項７の効果に加え、画像用のメモリ容量が小さくな
り、処理回路が簡単になって装置が小型で安価になる効
果がある。

【０１８０】また、請求項１６においては、特徴点抽出
手段は、ｉ番目に撮影した非同軸画像の２値化処理画像
と、ｉ−１番目に撮影した同軸画像の２値化処理画像
と、ｉ−２番目に撮影した非同軸画像の２値化処理画像
とを用いて、上記ｉ−１番目に撮影した同軸画像の２値
化処理画像を、上記ｉ番目に撮影した非同軸画像の２値
化処理画像と上記ｉー２番目に撮影した非同軸画像の２
値化処理画像でマスク処理して得られたマスク画像を求
め、上記マスク画像により、眼球からの反射像を顔面上
の特徴点として抽出するので、請求項１５と同様の効果
がある。

【０１８１】また、請求項１７においては、差分処理さ
れる画像またはマスク処理される画像を縮退処理するの
で、装着物の反射像の影響を軽減でき、特徴点抽出精度
が上がる。

【０１８２】また、請求項１８においては、差分処理す
る画像またはマスク処理する画像を拡大処理するので、
装着物の反射像の影響を軽減でき、特徴点抽出精度が上
がる。

【０１８３】また、請求項１９においては、同軸照明と
非同軸照明の位置関係に対応して拡大または縮退処理に
方向性を持たせるので、装着物の反射像の影響をさらに
軽減でき、特徴点抽出精度が上がる。

【０１８４】また、請求項２０においては、検出対象者
の装着物の有無を判定する装着物判定手段を有し、特徴
点抽出手段は、上記装着物判定手段の判定結果によっ
て、第１の２値化処理画像および第２の２値化処理画像
を用いた装着用の画像処理と第１の２値化処理画像を用
いた非装着用の画像処理とを切り換える、または各画像
処理による処理結果を選択するので、眼鏡装着の有無に
より最適な画像処理を選択でき、特徴点抽出の精度が上
がる。

【０１８５】また、請求項２１においては、装着物判定
手段は照明光による反射像の数または最大輝度により装
着物の有無を検出するので、眼鏡装着の有無を精度よく
判定でき、特徴点抽出精度が上がる。

【０１８６】また、請求項２２においては、装着物があ
る場合には照明光を強めるので、眼鏡装着時でも裸眼時
でも正しく特徴点を抽出することができる。

【０１８７】また、請求項２３においては、装着物があ
る場合には光入力手段の入力ゲインを上げるので、請求
項２２と同様の効果がある。

【０１８８】また、請求項２４においては、特徴点抽出
手段は、第１の２値化処理画像および第２の２値化処理
画像を用いた装着用の画像処理と第１の２値化処理画像
を用いた非装着用の画像処理とを有し、画像処理結果に
よってどちらか一方の画像処理結果を選択するので、装
着物の有無の２つの処理結果から最適な特徴抽出結果を
選択でき、特徴点抽出の精度が上がる。

【図面の簡単な説明】

【図１】本発明の実施例１による居眠り検出装置を示
す構成図である。

【図２】本発明の実施例１による居眠り検出装置の動
作を説明する説明図である。

【図３】本発明の実施例１による居眠り検出装置の動
作を示すフローチャートである。

【図４】本発明の実施例１による居眠り検出装置の動
作を説明する説明図である。

【図５】本発明の実施例１による居眠り検出装置の動
作を説明する説明図である。

【図６】本発明の実施例２による脇見検出装置を示す
構成図である。

【図７】本発明の実施例２による脇見検出装置の動作
を説明する説明図である。

【図８】本発明の実施例２による脇見検出装置の動作
を説明する説明図である。

【図９】本発明の実施例３による居眠り検出装置を示
す構成図である。

【図１０】本発明の実施例３による居眠り検出装置の
動作を説明する説明図である。

【図１１】本発明の実施例３による居眠り検出装置の
動作を説明する説明図である。

【図１２】本発明の実施例４による居眠り検出装置を
示す構成図である。

【図１３】本発明の実施例４による居眠り検出装置の
動作を説明する説明図である。

【図１４】本発明の実施例４による居眠り検出装置の
動作を説明する説明図である。

【図１５】本発明の実施例５による画像処理装置を示
す構成図である。

【図１６】本発明の実施例６による居眠り検出装置を
示す構成図である。

【図１７】本発明の実施例７による居眠り検出装置を
示す構成図である。

【図１８】本発明の実施例８による居眠り検出装置の
動作を説明する説明図である。

【図１９】本発明の実施例８による居眠り検出装置を
示す構成図である。

【図２０】本発明の実施例８による居眠り検出装置の
動作を説明する説明図である。

【図２１】本発明の実施例８による居眠り検出装置の
動作を説明する説明図である。

【図２２】本発明の実施例９による居眠り検出装置を
示す構成図である。

【図２３】本発明の実施例１０による居眠り検出装置
を示す構成図である。

【図２４】本発明の実施例１１による居眠り検出装置
を示す構成図である。

【図２５】本発明の実施例１２による居眠り検出装置
を示す構成図である。

【図２６】本発明の実施例１２に係わるＣＣＤカメラ
の入出力特性を示す特性図である。

【図２７】本発明の実施例１２による居眠り検出装置
の動作を説明する説明図である。

【図２８】本発明の実施例１３による居眠り検出装置
を示す構成図である。

【図２９】本発明の実施例１３による居眠り検出装置
の動作を説明する説明図である。

【図３０】本発明の実施例１４による居眠り検出装置
を示す構成図である。

【図３１】本発明の実施例１６による居眠り検出装置
を示す構成図である。

【図３２】本発明の実施例１７による居眠り検出装置
を示す構成図である。

【図３３】本発明の実施例１９による居眠り検出装置
を示す構成図である。

【図３４】本発明の実施例２０による居眠り検出装置
を示す構成図である。

【図３５】本発明の実施例２１による居眠り検出装置
を示す構成図である。

【図３６】本発明の実施例２１による居眠り検出装置
の動作を説明する説明図である。

【図３７】本発明の実施例２２による居眠り検出装置
を示す構成図である。

【図３８】本発明の実施例２２による居眠り検出装置
の動作を説明する説明図である。

【図３９】本発明の実施例２３による居眠り検出装置
を示す構成図である。

【図４０】本発明の実施例２４による居眠り検出装置
を示す構成図である。

【図４１】本発明の実施例２４による居眠り検出装置
の動作を説明する説明図である。

【図４２】本発明の実施例２５による居眠り検出装置
を示す構成図である。

【図４３】本発明の実施例２６による居眠り検出装置
を示す構成図である。

【図４４】本発明の実施例２７による居眠り検出装置
を示す構成図である。

【図４５】本発明の実施例２８による居眠り検出装置
を示す構成図である。

【図４６】本発明の実施例２８による他の居眠り検出
装置を示す構成図である。

【図４７】本発明の実施例２８によるさらに他の居眠
り検出装置を示す構成図である。

【図４８】本発明の実施例３０による居眠り検出装置
を示す構成図である。

【図４９】本発明の実施例３０による他の居眠り検出
装置を示す構成図である。

【図５０】本発明の実施例３１による居眠り検出装置
の動作を説明する説明図である。

【図５１】本発明の実施例３１による他の居眠り検出
装置の動作を説明する説明図である。

【図５２】本発明の実施例３３による画像処理装置を
示す構成図である。

【図５３】本発明の実施例３３による画像処理装置の
動作を説明する説明図である。

【図５４】本発明の実施例３３による画像処理装置の
動作を説明する説明図である。

【図５５】本発明の実施例３４による画像処理装置を
示す構成図である。

【図５６】従来の目の位置検出装置を示す構成図であ
る。

【図５７】従来の居眠り検出装置を示す構成図であ
る。

【図５８】従来の居眠り検出装置の動作を説明する説
明図である。

【図５９】従来の居眠り検出装置の動作を示すフロー
チャートである。

【図６０】従来の居眠り検出装置の動作を説明する説
明図である。

【図６１】眼鏡による反射像の影響を説明する説明図
である。

【図６２】眼鏡による反射像の影響を説明する説明図
である。

【符号の説明】

１検出対象者、６網膜反射像、８レンズ反射像、
９眼鏡枠反射像、１０ＣＣＤカメラ、１２ハーフ
ミラー、１３，１３ａ，１３ｂ，１３ｃ赤外線ＬＥ
Ｄ、１５スイッチ、３０，３０ａ，３０ｂ，３０ｃ，
３０ｄ，３０ｅ，３０ｆ，３０ｇ，３０ｈ、３０Ｉ、３
０Ｊ画像メモリ、３１タイミング発生回路、３２
縮退処理回路、３３拡大処理回路、３４差分回路、
３５第１の差分回路、３６第２の差分回路、３７
ＡＮＤ回路、３８差分回路、３９信号切り換え器、４
０ａ第１の２値化処理回路、４０ｂ第２の２値化処
理回路、４１ａ第１の２値化メモリ、４１ｂ第２の
２値化メモリ、４１ｃ第３の２値化メモリ、４１ｄ，
４１ｅ，４１ｆ，４１ｇ，４１ｈ２値化メモリ、５０
特徴計算回路、６０２値化処理回路Ｂ、６１２値
化メモリ、６２白領域縮退処理回路、６３２値化メ
モリ、６４ヒストグラム演算回路、６５マスク回路、
６６２値化処理回路Ｃ、６７白領域拡大処理回路、
６８２値化メモリ、６９眼鏡装着判定手段、７０居
眠り検出回路、７１警報回路、７２脇見検出回路、
８０エッジ抽出回路、８１画像メモリ。

フロントページの続き (72)発明者佐竹敏英尼崎市塚口本町八丁目１番１号三菱電機株式会社産業システム研究所内 (72)発明者大川太尼崎市塚口本町八丁目１番１号三菱電機株式会社生産技術センター内 (56)参考文献特開平２−138673（ＪＰ，Ａ) 特開平５−143714（ＪＰ，Ａ) 特開平６−274269（ＪＰ，Ａ) 特開昭62−138987（ＪＰ，Ａ) 特開平７−134800（ＪＰ，Ａ) 特開平７−61256（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 340 B60K 28/06 G08B 21/06

Claims

(57)【特許請求の範囲】

【請求項１】検出対象者の顔面を含む所定の領域の像
を入力する光入力手段、上記検出対象者の顔面を含む所
定領域を照明する照明手段、及び上記光入力手段から出
力される上記検出対象者の撮影画像から顔面上の特徴点
を抽出する特徴点抽出手段を備えるものにおいて、照明
光の有無を制御する照明光制御手段、照明光が有りの検
出対象者の画像を出力する明撮影画像出力手段、照明光
が無しの検出対象者の画像を出力する暗撮影画像出力手
段、及び明撮影画像と暗撮影画像の差分画像を出力する
差分画像出力手段を備え、上記特徴点抽出手段は、上記
検出対象者の眼球からの反射像を抽出するための第１の
閾値と、上記検出対象者が装着する装着物からの反射像
を抽出するための第２の閾値とを有し、上記差分画像を
第１の閾値により処理した第１の２値化処理画像と、上
記明撮影画像を第２の閾値により処理した第２の２値化
処理画像とを用いて、眼球からの反射像を顔面上の特徴
点として抽出することを特徴とする画像処理装置。
【請求項２】特徴点抽出手段は、差分画像を第１の閾
値により処理した第１の２値化処理画像と、明撮影画像
を第２の閾値により処理した第２の２値化処理画像とを
用いて、眼球からの反射像を顔面上の特徴点として抽出
することを特徴とする請求項１記載の画像処理装置。
【請求項３】検出対象者の顔面を含む所定の領域の像
を入力する光入力手段、上記検出対象者の顔面を含む所
定領域を照明する照明手段、及び上記光入力手段から出
力される上記検出対象者の撮影画像から顔面上の特徴点
を抽出する特徴点抽出手段を備えるものにおいて、照明
光の強弱または上記光入力手段の入力ゲインを制御する
照明光制御手段、照明光が強または入力ゲインが大の検
出対象者の画像を出力する明撮影画像出力手段、照明光
が弱または入力ゲインが小の検出対象者の画像を出力す
る暗撮影画像出力手段、明撮影画像と暗撮影画像の差分
画像を出力する差分画像出力手段を備え、上記特徴点抽
出手段は、上記検出対象者の眼球からの反射像を抽出す
るための第１の閾値と、上記検出対象者が装着する装着
物からの反射像を抽出するための第２の閾値とを有し、
上記差分画像を第１の閾値により処理した第１の２値化
処理画像と、上記暗撮影画像を第２の閾値により処理し
た第２の２値化処理画像とを用いて、眼球からの反射像
を顔面上の特徴点として抽出することを特徴とする画像
処理装置。
【請求項４】特徴点抽出手段は、ｉ番目に撮影した暗
撮影画像と、ｉ−１番目に撮影した明撮影画像と、ｉ−
２番目に撮影した暗撮影画像とを用いて、上記ｉ−１番
目に撮影した明撮影画像から上記ｉ番目に撮影した暗撮
影画像を差分処理して得られた第１の差分画像と、上記
ｉ−１番目に撮影した明撮影画像から上記ｉー２番目に
撮影した暗撮影画像を差分処理して得られた第２の差分
画像とを求め、第１の差分画像及び第２の差分画像によ
り、眼球からの反射像を顔面上の特徴点として抽出する
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】特徴点抽出手段は、ｉ番目に撮影した暗
撮影画像と、ｉ−１番目に撮影した明撮影画像と、ｉ−
２番目に撮影した暗撮影画像とを用いて、上記ｉ−１番
目に撮影した明撮影画像から、上記ｉ番目に撮影した暗
撮影画像と、上記ｉー２番目に撮影した暗撮影画像とを
差分処理して得られた差分画像を求め、上記差分画像に
より、眼球からの反射像を顔面上の特徴点として抽出す
ることを特徴とする請求項３記載の画像処理装置。
【請求項６】検出対象者の顔面を含む所定の領域の像
を入力する光入力手段、上記検出対象者の顔面を含む所
定領域を上記光入力手段と同軸で照明する同軸照明手
段、上記検出対象者の顔面を含む所定領域を上記光入力
手段と非同軸で照明する非同軸照明手段、及び上記光入
力手段から出力される上記検出対象者の撮影画像から顔
面上の特徴点を抽出する特徴点抽出手段を備えるものに
おいて、上記同軸照明手段と上記非同軸照明手段の発光
の有無を制御する照明光制御手段、同軸照明光による検
出対象者の画像を出力する同軸画像出力手段、非同軸照
明光による検出対象者の画像を出力する非同軸画像出力
手段、同軸画像と非同軸画像の差分画像を出力する差分
画像出力手段を備え、上記特徴点抽出手段は、上記検出
対象者の眼球からの反射像を抽出するための第１の閾値
と、上記検出対象者が装着する装着物からの反射像を抽
出するための第２の閾値とを有し、上記差分画像を第１
の閾値により処理した第１の２値化処理画像と、上記非
同軸画像を第２の閾値により処理した第２の２値化処理
画像とを用いて、眼球からの反射像を顔面上の特徴点と
して抽出することを特徴とする画像処理装置。
【請求項７】特徴点抽出手段は、ｉ番目に撮影した非
同軸画像と、ｉ−１番目に撮影した同軸画像と、ｉ−２
番目に撮影した非同軸画像とを用いて、上記ｉ−１番目
に撮影した同軸画像から上記ｉ番目に撮影した非同軸画
像を差分処理して得られた第１の差分画像と、上記ｉ−
１番目に撮影した同軸画像から上記ｉー２番目に撮影し
た非同軸画像を差分処理して得られた第２の差分画像と
を求め、第１の差分画像及び第２の差分画像により、眼
球からの反射像を顔面上の特徴点として抽出することを
特徴とする請求項６記載の画像処理装置。
【請求項８】特徴点抽出手段は、ｉ番目に撮影した非
同軸画像と、ｉ−１番目に撮影した同軸画像と、ｉ−２
番目に撮影した非同軸画像とを用いて、上記ｉ−１番目
に撮影した同軸画像から、上記ｉ番目に撮影した非同軸
画像と上記ｉー２番目に撮影した非同軸画像とを差分処
理して得られた差分画像を求め、上記差分画像により、
眼球からの反射像を顔面上の特徴点として抽出すること
を特徴とする請求項６記載の画像処理装置。
【請求項９】特徴点抽出手段は、差分画像を第１の閾
値により処理した第１の２値化処理画像と、暗撮影画像
または非同軸画像を第２の閾値により処理した第２の２
値化処理画像とを用いて、眼球からの反射像を顔面上の
特徴点として抽出することを特徴とする請求項３または
６記載の画像処理装置。
【請求項１０】特徴点抽出手段は、第１の差分画像を
第１の閾値により処理した第１の差分処理画像と、第２
の差分画像を第１の閾値により処理した第２の差分処理
画像とを用いて、眼球からの反射像を顔面上の特徴点と
して抽出することを特徴とする請求項４または７記載の
画像処理装置。
【請求項１１】検出対象者の顔面を含む所定の領域の
像を入力する光入力手段、上記検出対象者の顔面を含む
所定領域を照明する照明手段、及び上記光入力手段から
出力される上記検出対象者の撮影画像から顔面上の特徴
点を抽出する特徴点抽出手段を備えるものにおいて、照
明光の強弱または上記光入力手段の入力ゲインを制御す
る照明光制御手段、照明光が強または入力ゲインが大の
検出対象者の画像を出力する明撮影画像出力手段、照明
光が弱または入力ゲインが小の検出対象者の画像を出力
する暗撮影画像出力手段を備え、上記特徴点抽出手段
は、上記検出対象者の眼球からの反射像を抽出するため
の第１の閾値と、上記検出対象者が装着する装着物から
の反射像を抽出するための第２の閾値とを有し、明撮影
画像を第１の閾値により処理した第１の２値化処理画像
と、暗撮影画像を第２の閾値により処理した第２の２値
化処理画像とを用いて、眼球からの反射像を顔面上の特
徴点として抽出することを特徴とする画像処理装置。
【請求項１２】特徴点抽出手段は、ｉ番目に撮影した
暗撮影画像の２値化処理画像と、ｉ−１番目に撮影した
明撮影画像の２値化処理画像と、ｉ−２番目に撮影した
暗撮影画像の２値化処理画像とを用いて、上記ｉ−１番
目に撮影した明撮影画像の２値化処理画像を上記ｉ番目
に撮影した暗撮影画像の２値化処理画像でマスク処理し
て得られた第１のマスク画像と、上記ｉ−１番目に撮影
した明撮影画像の２値化処理画像を上記ｉー２番目に撮
影した暗撮影画像の２値化処理画像でマスク処理して得
られた第２のマスク画像とを求め、第１のマスク画像及
び第２のマスク画像により、眼球からの反射像を顔面上
の特徴点として抽出することを特徴とする請求項１１記
載の画像処理装置。
【請求項１３】特徴点抽出手段は、ｉ番目に撮影した
暗撮影画像の２値化処理画像と、ｉ−１番目に撮影した
明撮影画像の２値化処理画像と、ｉ−２番目に撮影した
暗撮影画像の２値化処理画像とを用いて、上記ｉ−１番
目に撮影した明撮影画像の２値化処理画像を、上記ｉ番
目に撮影した暗撮影画像の２値化処理画像と、上記ｉー
２番目に撮影した暗撮影画像の２値化処理画像とで、マ
スク処理して得られたマスク画像を求め、上記マスク画
像により、眼球からの反射像を顔面上の特徴点として抽
出することを特徴とする請求項１１記載の画像処理装
置。
【請求項１４】検出対象者の顔面を含む所定の領域の
像を入力する光入力手段、上記検出対象者の顔面を含む
所定領域を上記光入力手段と同軸で照明する同軸照明手
段、上記検出対象者の顔面を含む所定領域を上記光入力
手段と非同軸で照明する非同軸照明手段、及び上記光入
力手段から出力される上記検出対象者の撮影画像から顔
面上の特徴点を抽出する特徴点抽出手段を備えるものに
おいて、上記同軸照明手段と上記非同軸照明手段の発光
の有無を制御する照明光制御手段、同軸照明光による検
出対象者の画像を出力する同軸画像出力手段、非同軸照
明光による検出対象者の画像を出力する非同軸画像出力
手段を備え、上記特徴点抽出手段は、上記検出対象者の
眼球からの反射像を抽出するための第１の閾値と、上記
検出対象者が装着する装着物からの反射像を抽出するた
めの第２の閾値とを有し、同軸画像を第１の閾値により
処理した第１の２値化処理画像と、非同軸画像を第２の
閾値により処理した第２の２値化処理画像とを用いて、
眼球からの反射像を顔面上の特徴点として抽出すること
を特徴とする画像処理装置。
【請求項１５】特徴点抽出手段は、ｉ番目に撮影した
非同軸画像の２値化処理画像と、ｉ−１番目に撮影した
同軸画像の２値化処理画像と、ｉ−２番目に撮影した非
同軸画像の２値化処理画像とを用いて、上記ｉ−１番目
に撮影した同軸画像の２値化処理画像を上記ｉ番目に撮
影した非同軸画像の２値化処理画像でマスク処理して得
られた第１のマスク画像と、上記ｉ−１番目に撮影した
同軸画像の２値化処理画像を上記ｉー２番目に撮影した
非同軸画像の２値化処理画像でマスク処理して得られた
第２のマスク画像とを求め、第１のマスク画像及び第２
のマスク画像により、眼球からの反射像を顔面上の特徴
点として抽出することを特徴とする請求項１４記載の画
像処理装置。
【請求項１６】特徴点抽出手段は、ｉ番目に撮影した
非同軸画像の２値化処理画像と、ｉ−１番目に撮影した
同軸画像の２値化処理画像と、ｉ−２番目に撮影した非
同軸画像の２値化処理画像とを用いて、上記ｉ−１番目
に撮影した同軸画像の２値化処理画像を、上記ｉ番目に
撮影した非同軸画像の２値化処理画像と上記ｉー２番目
に撮影した非同軸画像の２値化処理画像でマスク処理し
て得られたマスク画像を求め、上記マスク画像により、
眼球からの反射像を顔面上の特徴点として抽出すること
を特徴とする請求項１４記載の画像処理装置。
【請求項１７】特徴点抽出手段は、差分処理される画
像またはマスク処理される画像を縮退処理することを特
徴とする請求項１ないし８、１２、１３、１５、１６の
いずれかに記載の画像処理装置。
【請求項１８】特徴点抽出手段は、差分処理する画像
またはマスク処理する画像を拡大処理することを特徴と
する請求項１ないし８、１２、１３、１５、１６のいず
れかに記載の画像処理装置。
【請求項１９】特徴点抽出手段は、同軸照明と非同軸
照明の位置関係に対応して拡大または縮退処理に方向性
を持たせることを特徴とする請求項１７または１８に記
載の画像処理装置。
【請求項２０】検出対象者の装着物の有無を判定する
装着物判定手段を有し、特徴点抽出手段は、上記装着物
判定手段の判定結果によって、第１の２値化処理画像お
よび第２の２値化処理画像を用いた装着用の画像処理と
第１の２値化処理画像を用いた非装着用の画像処理とを
切り換える、または各画像処理による処理結果を選択す
ることを特徴とする請求項１ないし１９のいずれかに記
載の画像処理装置。
【請求項２１】装着物判定手段は照明光による反射像
の数または最大輝度により装着物の有無を検出すること
を特徴とする請求項２０記載の画像処理装置。
【請求項２２】特徴点抽出手段は、装着物がある場合
には照明光を強めることを特徴とする請求項２０または
２１に記載の画像処理装置。
【請求項２３】特徴点抽出手段は、装着物がある場合
には光入力手段の入力ゲインを上げることを特徴とする
請求項２０または２１に記載の画像処理装置。
【請求項２４】特徴点抽出手段は、第１の２値化処理
画像および第２の２値化処理画像を用いた装着用の画像
処理と第１の２値化処理画像を用いた非装着用の画像処
理とを有し、画像処理結果によってどちらか一方の画像
処理結果を選択することを特徴とする請求項１ないし１
９のいずれかに記載の画像処理装置。