JP2004287845A - Line-of-sight detector for vehicle driver - Google Patents

Line-of-sight detector for vehicle driver Download PDF

Info

Publication number
JP2004287845A
JP2004287845A JP2003079014A JP2003079014A JP2004287845A JP 2004287845 A JP2004287845 A JP 2004287845A JP 2003079014 A JP2003079014 A JP 2003079014A JP 2003079014 A JP2003079014 A JP 2003079014A JP 2004287845 A JP2004287845 A JP 2004287845A
Authority
JP
Japan
Prior art keywords
driver
image
face
eye
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003079014A
Other languages
Japanese (ja)
Other versions
JP4192643B2 (en
Inventor
Kunihiko Soshi
邦彦 曽雌
Yoshichika Konishi
圭睦 小西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to JP2003079014A priority Critical patent/JP4192643B2/en
Publication of JP2004287845A publication Critical patent/JP2004287845A/en
Application granted granted Critical
Publication of JP4192643B2 publication Critical patent/JP4192643B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a line-of-sight detector for a vehicle driver which easily and surely registers the reference position of the face of the vehicle driver, specifies a face position inside a vehicle driver image picked up at every prescribed interval of time on the basis of the registered reference position and accurately and surely extracts an eye position from the specified face position. <P>SOLUTION: The controller of the line-of-sight detector for the vehicle driver captures a first image, for which the image inside a vehicle immediately before the driver sits on a driver's seat is picked up, to a storage device (step 104), captures a second image, for which the image of the driver sitting on the driver's seat is picked up, to the storage device (step 108), calculates the difference image of the first and second images (step 110), and registers an area equivalent to the calculated difference image as the reference position of the face of the driver (step 118). Then, the face and the eye are specified on the basis of the reference position of the face of the driver inside the image picked up by a camera after the point of time of registering the reference position (steps 120 and 122). <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、車両運転者の視線検出装置に関し、特に運転者の顔位置を特定する装置に関する。
【０００２】
【従来の技術】
従来から、車両運転者の運転状態（例えば脇見や居眠り状態など）を検出するため、車載カメラで車両運転者を撮影し、得られた画像を処理して運転者の目の状態を監視する装置が提案されている（例えば特許文献１）。この特許文献１には、車両運転者の有無を検出して車両運転者がいない場合の画像（背景画像）と車両運転者が存在する場合の画像（車両運転者画像）を取得し、両画像の差分値に基づいて運転者の顔位置を特定する技術が記載されている。
【０００３】
【特許文献１】
特開平４−６８５００号公報（第３〜６頁、第２、４、５図）
【０００４】
【発明が解決しようとする課題】
上記従来技術では、背景画像を取得してからすぐに車両運転者画像を取得するわけでなく両画像の取得の間に時間差が生じたときに背景画像に対して車両運転者を撮影した際の実際の背景が変化する場合があり、この場合には両画像の差分値には車両運転者に起因する差分値の他に、変化した背景に起因する差分値も含まれてしまうことになるので、運転者の顔位置を特定することが困難となるという問題があった。また、上記従来技術では、車両運転者画像を撮像した時点にて両画像の差分を計算し頭位置を特定し頭の位置座標をメモリに記憶し、その後運転者を撮像する際には撮像する度に先に記憶したメモリ内の位置座標を読み出してその位置座標に基づいて撮像した画像から目を抽出しているので、車両運転者画像と、この画像以降に撮像した画像の各頭位置が相対的にずれる場合には、正確かつ確実に運転者の目を抽出することができないおそれがあった。
【０００５】
本発明は、上述した各問題を解消するためになされたもので、車両運転者の顔の基準位置を容易かつ確実に登録し、かつ、この登録された基準位置に基づいて所定時間毎に撮像した車両運転者画像内に顔位置を特定し、特定された顔位置から目位置を正確かつ確実に抽出する車両運転者の視線検出装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の課題を解決するため、請求項１に係る発明の構成上の特徴は、車両の運転シートに着座した運転者の前方に設けられて同運転者を正面から撮像するカメラと、運転者が運転シートに着座する直前の車内をカメラによって撮像した第１画像を記憶装置に取り込む第１画像取り込み手段と、運転シートに着座した運転者をカメラによって撮像した第２画像を記憶装置に取り込む第２画像取り込み手段と、第１および第２画像取り込み手段によってそれぞれ取り込まれた第１および第２画像の差分画像を算出する画像差分算出手段と、カメラの画像領域内であって画像差分算出手段により算出された差分画像に相当する領域を運転者の顔の基準位置として登録する顔基準位置登録手段と、この顔基準位置登録手段が基準位置を登録した時点以降にカメラにより撮像した画像内に顔基準位置登録手段により登録された運転者の顔の基準位置に基づいて運転者の顔を特定する顔特定手段と、この顔特定手段により特定された運転者の顔内に目を特定する目特定手段と、この目特定手段により特定された運転者の目からの視線を検出する視線検出手段とを備えたことである。
【０００７】
また、請求項２に係る発明の構成上の特徴は、請求項１において、第１画像取り込み手段は、運転者が乗車するために車両のドアを開けたことを検出するドア開状態検出手段の検出結果に基づいて第１画像を撮像することである。
【０００８】
また、請求項３に係る発明の構成上の特徴は、請求項１において、第２画像取り込み手段は、運転者が車両の運転シートに着座していることを検出する着座検出手段の検出結果に基づいて第２画像を撮像することである。
【０００９】
また、請求項４に係る発明の構成上の特徴は、請求項１乃至請求項３の何れか一項において、画像差分算出手段により算出された差分画像から運転者の顔を検出する顔検出手段と、この顔検出手段により検出された運転者の顔の中から目を検出する目検出手段と、この目検出手段により運転者の目が検出されたか否かを判定する目検出判定手段とをさらに備え、この目検出判定手段により目が検出されたと判定された場合には、顔基準位置登録手段によって画像差分算出手段により算出された差分画像に相当する領域を運転者の顔の基準位置として登録し、目が検出されなかったと判定された場合には、第２画像取り込み手段により運転シートに着座した運転者をカメラによって撮像した第２画像を記憶装置に取り込み、画像差分算出手段によって第１および第２画像取り込み手段によりそれぞれ取り込まれた第１および第２画像の差分画像を算出し、顔検出手段により運転者の顔を検出し、目検出手段により運転者の目を検出する処理を、目検出判定手段により目が検出されたと判定されるまで繰り返し実行することである。
【００１０】
【発明の作用および効果】
上記のように構成した請求項１に係る発明においては、第１画像取り込み手段により運転者が運転シートに着座する直前の車内をカメラによって撮像した第１画像を記憶装置に取り込み、第２画像取り込み手段により運転シートに着座した運転者をカメラによって撮像した第２画像を記憶装置に取り込み、画像差分算出手段により第１および第２画像の差分画像を算出し、顔基準位置登録手段によってカメラの画像領域内であって画像差分算出手段により算出された差分画像に相当する領域を運転者の顔の基準位置として登録する。これにより、運転者が運転シートに着座する直前の車内画像（第１画像）を取得した後、時間を空けずに車両運転者画像（第２画像）を取得するため、車両運転者の背景が変化する前に車両運転者画像を取得するので、背景の変化に起因する差分値をできるだけ排除した車両運転者に起因する差分値に基づいて容易かつ確実に運転者の顔の基準位置を特定することができる。そして、顔特定手段は、車両運転者画像を取得して運転者の顔の基準位置を登録した時点以降にカメラにより撮像した画像内に、顔基準位置登録手段により登録された運転者の顔の基準位置に基づいて運転者の顔を特定し、目特定手段は顔特定手段により特定された運転者の顔内に目を特定し、視線検出手段は目特定手段により特定された運転者の目からの視線を検出する。
これにより、所定時間毎に撮像した車両運転者画像（第２画像ではない）内に登録された基準位置に基づいて顔位置を特定し、特定された顔位置から目位置を正確かつ確実に抽出することができる。
【００１１】
上記のように構成した請求項２に係る発明においては、第１画像取り込み手段は、運転者が乗車するために車両のドアを開けたことを検出するドア開状態検出手段の検出結果に基づいて第１画像を撮像するので、確実に乗車直前であることを検出して第１画像を乗車直前に撮像することができる。
【００１２】
上記のように構成した請求項３に係る発明においては、第２画像取り込み手段は、運転者が車両の運転シートに着座していることを検出する着座検出手段の検出結果に基づいて第２画像を撮像するので、確実に車両運転者が着座したことを検出して第２画像を撮像することができる。
【００１３】
上記のように構成した請求項４に係る発明においては、顔検出手段は、画像差分算出手段により算出された差分画像から運転者の顔を検出し、目検出手段は顔検出手段により検出された運転者の顔の中から目を検出し、目検出判定手段は目検出手段により運転者の目が検出されたか否かを判定する。そして、目検出判定手段により目が検出されたと判定された場合には、顔基準位置登録手段によって画像差分算出手段により算出された差分画像に相当する領域を運転者の顔の基準位置として登録し、目が検出されなかったと判定された場合には、第２画像取り込み手段により第２画像を撮像し記憶装置に取り込み、画像差分算出手段により第１および第２画像の差分画像を算出し、顔検出手段により運転者の顔を検出し、目検出手段により運転者の目を検出する処理を、目検出判定手段により目が検出されたと判定されるまで繰り返し実行する。これにより、顔基準位置登録手段によって画像差分算出手段により算出された差分画像に相当する領域を確実に運転者の顔の基準位置として登録することができる。
【００１４】
【発明の実施の形態】
以下、本発明による車両運転者の視線検出装置の一実施の形態について説明する。図１はこの視線検出装置の構成を示すブロック図である。
【００１５】
この車両運転者の視線検出装置は制御装置１０を備えていて、この制御装置１０にはカメラ１１、体重センサ１２、ドアセンサ１３、警報装置１４および記憶装置１５が接続されている。カメラ１１は、車両の運転シートに着座した運転者の前方（例えばインスツルメントパネル）に設けられており、運転者を正面から撮像し、その画像を制御装置１０に送信する。カメラ１１は所定の短時間毎（例えば１／３０秒）に撮影し、その画像を送信する。このカメラ１１の一例としてＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）カメラが挙げられる。なお、上記における正面とは、運転者に対しての真正面に限らず、顔の少なくとも目、鼻、口が撮像できる位置であればよい。
【００１６】
体重センサ１２は、運転シート内に設けられており、運転者が運転シートに着座しているか着座していないかを検出し、その検出結果を制御装置１０に送信する。ドアセンサ１３は、車両のドアの開閉状態を検出し、その検出結果を制御装置１０に送信する。警報装置１４は、後述するように検出した運転者の視線に基づいて運転者が居眠り状態やわき見状態であることを検出した場合には、ブザーを鳴動させたり、警報ランプを点灯、点滅させたりして運転者に警報する。記憶装置１５は、カメラ１１から送信される画像を記憶するものである。
【００１７】
制御装置１０は、マイクロコンピュータ（図示省略）を有しており、マイクロコンピュータは、バスを介してそれぞれ接続された入出力インターフェース、ＣＰＵ、ＲＡＭおよびＲＯＭ（いずれも図示省略）を備えている。ＣＰＵは、図２のフローチャートに対応したプログラムを実行して、カメラ１１が撮影した画像に基づいて運転者の視線を検出する制御を行っている。ＲＡＭは同プログラムの実行に必要な変数を一時的に記憶するものであり、ＲＯＭは前記プログラムを記憶するものである。
【００１８】
次に、上述した車両運転者の視線検出装置の動作について図２を参照して説明する。制御装置１０は、運転者が運転シートに着座する直前の車内をカメラ１１によって撮像し、その画像（車内画像）を第１画像として記憶装置１５に取り込む。具体的には制御装置１０は、ステップ１０２において、運転者が運転シートに着座する直前であるかを判定する。すなわち運転シートに設けた体重センサ１２が未着座の状態を検出し続けるなかで、ドアセンサ１３がドア開状態を検出すれば、制御装置１０は運転者が乗車するためにドアを開けたと判定し、つまり運転者が着座直前であると判定する。制御装置１０は、運転者が着座直前であると判定すれば、プログラムをステップ１０４に進める。ステップ１０４においては、制御装置１０は、運転者が着座直前であると判定した時点の車内をカメラ１１によって撮影し、その画像（車内画像）を第１画像（図３（ａ）参照）として記憶装置１５に記憶する。
【００１９】
制御装置１０は、運転シートに着座した運転者をカメラ１１によって撮像し、その画像（車両運転者画像）を第２画像として記憶装置１５に取り込む。具体的にはステップ１０６において、運転シートに設けた体重センサ１２が着座状態を検出すれば、制御装置１０は運転者が着座したと判定する。制御装置１０は、運転者が着座したと判定すれば、プログラムをステップ１０８に進める。ステップ１０８においては、制御装置１０は、運転者が着座したと判定した時点の運転者を含めた車内をカメラ１１によって撮影し、その画像（車両運転者画像）を第２画像（図３（ｂ）参照）として記憶装置１５に記憶する。
【００２０】
制御装置１０は、第１画像と第２画像の差分画像を算出し、カメラ１１の画像領域内であって第１画像と第２画像の差分画像に相当する領域を運転者の顔の基準位置として登録する。具体的には、制御装置１０は、ステップ１１０において、記憶装置１５に記憶されている第１および第２画像を読み出して、両画像の差分画像を算出する。この算出結果は、図３（ｃ）に示すように、第２画像に撮影された運転者のみが存在する画像（差分画像）である。差分画像には運転者の上半身が映し出されており、予め記憶された顔情報（例えば眉毛、目、鼻、口の配置パターン、あるいは顔の輪郭）に基づいて上半身のなかから顔または顔の位置を検出する（ステップ１１２）。そして、予め記憶された目情報（例えば左右の両目の配置パターン、目の輪郭、瞳の輪郭）に基づいて検出した顔のなかから目または目の位置を検出する（ステップ１１４）。
【００２１】
そして、制御装置１０は、ステップ１１６においてステップ１１４の処理により運転者の目を検出することができたか否かを判定し、運転者の目を検出することができたと判定した場合には、プログラムをステップ１１８に進める。ステップ１１８においては、ステップ１１０にて算出された差分画像の領域のうち運転者の顔位置に相当する領域を運転者の顔の基準位置として記憶装置１５に記憶する（登録する）。この顔の基準位置は運転者が運転シートに着座してほぼ正面前方を向いている場合の顔の位置を示しており、運転者が正面前方以外を向いている場合の顔の位置を示すものではない。一方、ステップ１１６において運転者の目を検出することができなかったと判定した場合には、プログラムをステップ１０８に戻し、カメラ１１により第２画像を撮像し記憶装置１５に取り込み（ステップ１０８）、第１および第２画像の差分画像を算出し（ステップ１１０）、差分画像に基づいて運転者の顔を検出し（ステップ１１２）、運転者の目を検出する（ステップ１１４）処理を、ステップ１１６にて目を検出することができたと判定されるまで繰り返し実行する。
【００２２】
制御装置１０は、ステップ１１８にて基準位置を登録した時点以降においてカメラ１１から順次送信される画像から運転者の顔および目（の位置）を特定し、運転者の視線を検出する。カメラ１１により撮像された画像が送信される度に、ステップ１２０において、ステップ１１８にて登録された顔の基準位置を記憶装置１５から読み出し、顔の基準位置に基づいて送信された画像内に運転者の顔（顔位置）を特定する。すなわち、予め記憶された顔情報（例えば眉毛、目、鼻、口の配置パターン、あるいは顔の輪郭）に基づいて送信された画像内の基準位置の領域およびその周辺から顔を探索する。ステップ１２２において、ステップ１１４と同様に予め記憶された目情報（例えば左右の両目の配置パターン、目の輪郭、瞳の輪郭）に基づいて特定した顔のなかから目または目の位置を特定する。
そして、ステップ１２４において、特定した運転者の目からの視線（視線の方向）を検出する。なお、この視線検出については、例えば瞳孔中心とプルキニエ像との相対位置関係から算出することが一般に行われているので、詳細な説明は省略する。制御装置１０は、視線検出の処理が終了するまで、例えばイグニッションスイッチがオフされるまで、上述したステップ１２０〜１２４の処理をカメラ１１から画像が送信される度に繰り返し実行する（ステップ１２６）。
【００２３】
上述した説明から理解できるように、この実施の形態においては、運転者が運転シートに着座する直前の車内をカメラ１１によって撮像した第１画像を記憶装置１５に取り込み（ステップ１０２，１０４）、運転シートに着座した運転者をカメラ１１によって撮像した第２画像を記憶装置１５に取り込み（ステップ１０６，１０８）、第１および第２画像の差分画像を算出し（ステップ１１０）、カメラ１１の画像領域内であってステップ１１０にて算出された差分画像に相当する領域を運転者の顔の基準位置として登録する（ステップ１１８）。これにより、運転者が運転シートに着座する直前の車内画像（第１画像）を取得した後、時間を空けずに車両運転者画像（第２画像）を取得するため、車両運転者の背景が変化する前に車両運転者画像を取得するので、背景の変化に起因する差分値をできるだけ排除した車両運転者に起因する差分値に基づいて容易かつ確実に運転者の顔の基準位置を特定することができる。そして、車両運転者画像を取得して運転者の顔の基準位置を登録した時点以降にカメラ１１により撮像した画像内に、ステップ１１８にて登録された運転者の顔の基準位置に基づいて運転者の顔を特定し（ステップ１２２）、この特定された運転者の顔内に目を特定し（ステップ１２４）、この特定された運転者の目からの視線を検出する（ステップ１２６）。これにより、所定時間毎に撮像した車両運転者画像（第２画像ではない）内に登録された基準位置に基づいて顔位置を特定し、特定された顔位置から目位置を正確かつ確実に抽出することができる。
【００２４】
また、上記実施の形態においては、ステップ１０２，１０４の処理により、運転者が乗車するために車両のドアを開けたことを検出して第１画像を撮像するので、確実に乗車直前であることを検出して第１画像を乗車直前に撮像することができる。また、ステップ１０６，１０８の処理により、運転者が車両の運転シートに着座していることを検出して第２画像を撮像するので、確実に車両運転者が着座したことを検出して第２画像を撮像することができる。
【００２５】
また、上記実施の形態においては、ステップ１１０にて算出された差分画像から運転者の顔を検出し（ステップ１１２）、ステップ１１２にて検出された運転者の顔の中から目を検出し（ステップ１１４）、ステップ１１４にて運転者の目が検出されたか否かを判定する（ステップ１１６）。そして、ステップ１１６にて目が検出されたと判定された場合には、ステップ１１０にて算出された差分画像に相当する領域を運転者の顔の基準位置として登録し（ステップ１１８）、目が検出されなかったと判定された場合には、再度、第２画像を撮像し記憶装置に取り込み（ステップ１０８）、第１および第２画像の差分画像を算出し（ステップ１１０）、運転者の顔を検出し（ステップ１１２）、運転者の目を検出する（ステップ１１４）処理を、ステップ１１６にて目が検出されたと判定されるまで繰り返し実行する。これにより、ステップ１１８においてはステップ１１０にて算出された差分画像に相当する領域を確実に運転者の顔の基準位置として登録することができる。
【００２６】
なお、上述した実施の形態においては、ドアセンサ１３からの検出信号の代わりに、リモコンキーからのドアロック解除信号を利用するようにしてもよい。
【００２７】
また、上述した実施の形態においては、運転者の着座状態を検出するために体重センサ１２からの検出信号を利用するようにしたが、これに代えて、シートベルトの着用状態を検出するシートベルト着用センサからの検出信号を利用するようにしてもよい。
【００２８】
また、上述した実施の形態においては、ステップ１１８において、運転者の上半身を示す差分画像の領域を顔の基準位置として登録するようにしてもよい。この場合、ステップ１２０において、ステップ１１８にて登録された顔の基準位置を記憶装置１５から読み出し、運転者の上半身を示す差分画像の領域のうち顔の領域に基づいて送信された画像内に運転者の顔を特定すればよい。なお、顔の領域は頭、首、肩の配置パターンなどにより推定できる。
【図面の簡単な説明】
【図１】本発明による車両運転者の視線検出装置の一実施の形態の構成を示すブロック図である。
【図２】図１に示した制御装置にて実行される制御プログラムのフローチャートである。
【図３】（ａ）は運転者が運転シートに着座する直前の車内の画像であり、（ｂ）は運転者が運転シートに着座した状態の画像であり、（ｃ）は両画像の差分画像である。
【符号の説明】
１０…制御装置、１１…カメラ、１２…体重センサ、１３…ドアセンサ、１４…警報装置、１５…記憶装置。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an apparatus for detecting a line of sight of a vehicle driver, and more particularly to an apparatus for identifying a driver's face position.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, in order to detect a driving state of a vehicle driver (for example, an inattentive or dozing state), a device that captures the vehicle driver with an on-vehicle camera, processes the obtained image, and monitors the driver's eye condition Has been proposed (for example, Patent Document 1). In Patent Document 1, an image in the case where no vehicle driver is present (background image) and an image in the case where a vehicle driver is present (vehicle driver image) are acquired by detecting the presence or absence of a vehicle driver, and both images are obtained. A technique for specifying a driver's face position based on the difference value of the driver is described.
[0003]
[Patent Document 1]
JP-A-4-68500 (pages 3 to 6, FIGS. 2, 4, and 5)
[0004]
[Problems to be solved by the invention]
In the above prior art, the vehicle driver image is not acquired immediately after the background image is acquired, but when the vehicle driver is photographed with respect to the background image when a time difference occurs between the acquisition of the two images. The actual background may change. In this case, the difference between the two images includes the difference due to the changed background in addition to the difference due to the vehicle driver. However, there is a problem that it is difficult to specify the driver's face position. Further, in the above-described conventional technology, when a vehicle driver image is captured, the difference between the two images is calculated, the head position is specified, the head position coordinates are stored in a memory, and then when the driver is captured, the image is captured. Since the position coordinates in the memory previously stored are read out and the eyes are extracted from the image photographed based on the position coordinates, the vehicle driver image and each head position of the image photographed after this image are obtained. In the case of relative deviation, the driver's eyes may not be accurately and reliably extracted.
[0005]
SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and it is possible to easily and reliably register a reference position of a vehicle driver's face, and to take an image at predetermined time intervals based on the registered reference position. It is an object of the present invention to provide a gaze detection device for a vehicle driver that specifies a face position in a specified vehicle driver image and accurately and reliably extracts an eye position from the specified face position.
[0006]
[Means for Solving the Problems]
In order to solve the above-described problem, a structural feature of the invention according to claim 1 is that a camera provided in front of a driver sitting on a driving seat of a vehicle and capturing an image of the driver from the front is provided. A first image capturing unit that captures a first image captured by a camera of a vehicle immediately before sitting on a driving seat into a storage device, and a second image capturing device captures a second image captured by a camera of a driver seated on the driving seat into a storage device. Image capturing means, image difference calculating means for calculating a difference image between the first and second images respectively captured by the first and second image capturing means, and image difference calculating means within an image area of the camera. Face reference position registration means for registering a region corresponding to the obtained difference image as a reference position of the driver's face, and a time when the face reference position registration means registers the reference position. A face identification unit that identifies the driver's face based on the reference position of the driver's face registered by the face reference position registration unit in the image captured by the camera; An eye identifying means for identifying an eye in a face, and a visual line detecting means for detecting a line of sight from the driver's eyes identified by the eye identifying means are provided.
[0007]
According to a second aspect of the present invention, in the first aspect, the first image capturing unit includes a door open state detecting unit that detects that a driver has opened a door of the vehicle to get on the vehicle. Capturing the first image based on the detection result.
[0008]
Further, according to a third aspect of the present invention, in the first aspect, the second image capturing means includes a detection result of the seating detection means for detecting that the driver is seated on the driving seat of the vehicle. Imaging a second image based on the second image.
[0009]
According to a fourth aspect of the present invention, there is provided a face detecting means for detecting a driver's face from a difference image calculated by the image difference calculating means according to any one of the first to third aspects. Eye detection means for detecting eyes from the driver's face detected by the face detection means, and eye detection determination means for determining whether the driver's eyes have been detected by the eye detection means. In addition, when the eyes are detected by the eye detection determination means, the area corresponding to the difference image calculated by the image difference calculation means by the face reference position registration means is set as the reference position of the driver's face. When it is determined that the eyes are not detected, the second image capturing unit captures the second image captured by the camera of the driver sitting on the driving seat into the storage device, and stores the second image in the image difference calculating unit. Calculating a difference image between the first and second images respectively captured by the first and second image capturing means, detecting the driver's face by the face detecting means, and detecting the driver's eyes by the eye detecting means. Is repeatedly executed until it is determined that the eye is detected by the eye detection determination unit.
[0010]
Function and Effect of the Invention
In the invention according to claim 1 configured as described above, the first image capturing means captures the first image captured by the camera of the inside of the vehicle immediately before the driver sits on the driving seat into the storage device, and captures the second image. A second image captured by the camera of the driver seated on the driver's seat by the means is loaded into the storage device, a difference image between the first and second images is calculated by the image difference calculation means, and an image of the camera is obtained by the face reference position registration means. An area in the area corresponding to the difference image calculated by the image difference calculation means is registered as a reference position of the driver's face. Thereby, after the driver acquires the in-vehicle image (first image) immediately before sitting on the driver's seat, the driver obtains the vehicle driver image (second image) without a break, so that the background of the vehicle driver is obtained. Since the vehicle driver image is acquired before the change, the reference position of the driver's face can be easily and reliably specified based on the difference value caused by the vehicle driver, in which the difference value caused by the background change is eliminated as much as possible. be able to. Then, the face identification unit acquires the driver's face registered by the face reference position registration unit in an image captured by the camera after the vehicle driver image is acquired and the reference position of the driver's face is registered. The driver's face is specified based on the reference position, the eye specifying means specifies the eyes in the driver's face specified by the face specifying means, and the line of sight detecting means specifies the driver's eyes specified by the eye specifying means. Detects the line of sight from.
As a result, the face position is specified based on the reference position registered in the vehicle driver image (not the second image) captured every predetermined time, and the eye position is accurately and reliably extracted from the specified face position. can do.
[0011]
In the invention according to claim 2 configured as described above, the first image capturing means is based on the detection result of the door open state detecting means for detecting that the driver has opened the door of the vehicle to get on the vehicle. Since the first image is captured, it is possible to surely detect that the vehicle is right before boarding and to capture the first image immediately before boarding.
[0012]
In the invention according to claim 3 configured as described above, the second image capturing unit detects the second image based on the detection result of the seating detection unit that detects that the driver is sitting on the driving seat of the vehicle. , It is possible to reliably detect that the vehicle driver is seated and take the second image.
[0013]
In the invention according to claim 4 configured as described above, the face detection unit detects the driver's face from the difference image calculated by the image difference calculation unit, and the eye detection unit detects the driver's face. The eyes are detected from the face of the driver, and the eye detection determining means determines whether the eyes of the driver are detected by the eye detecting means. When it is determined that the eyes are detected by the eye detection determination unit, the area corresponding to the difference image calculated by the image difference calculation unit is registered as the reference position of the driver's face by the face reference position registration unit. If it is determined that no eyes have been detected, the second image capturing means captures the second image and captures the captured second image in the storage device, and calculates the difference image between the first and second images by the image difference calculating means. The process of detecting the driver's face by the detecting means and detecting the driver's eyes by the eye detecting means is repeatedly executed until the eyes detection determining means determines that the eyes are detected. Thus, the area corresponding to the difference image calculated by the image difference calculation means by the face reference position registration means can be reliably registered as the reference position of the driver's face.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of a gaze detecting device for a vehicle driver according to the present invention will be described. FIG. 1 is a block diagram showing the configuration of the eye-gaze detecting device.
[0015]
This device for detecting the line of sight of a vehicle driver includes a control device 10, and a camera 11, a weight sensor 12, a door sensor 13, an alarm device 14, and a storage device 15 are connected to the control device 10. The camera 11 is provided in front of the driver sitting on the driving seat of the vehicle (for example, an instrument panel), captures an image of the driver from the front, and transmits the image to the control device 10. The camera 11 captures an image every predetermined short time (for example, 1/30 second) and transmits the image. An example of the camera 11 is a charge-coupled device (CCD) camera. The front in the above description is not limited to a position directly in front of the driver, but may be any position at which at least the eyes, nose, and mouth of the face can be imaged.
[0016]
The weight sensor 12 is provided in the driving seat, detects whether the driver is sitting on the driving seat or not, and transmits the detection result to the control device 10. The door sensor 13 detects the open / closed state of the door of the vehicle, and transmits the detection result to the control device 10. The alarm device 14, when detecting that the driver is dozing or looking away based on the driver's line of sight detected as described later, sounds a buzzer, turns on or flashes an alarm lamp, To alert the driver. The storage device 15 stores an image transmitted from the camera 11.
[0017]
The control device 10 has a microcomputer (not shown). The microcomputer has an input / output interface, a CPU, a RAM, and a ROM (all not shown) connected via a bus. The CPU executes a program corresponding to the flowchart of FIG. 2 to perform control for detecting a driver's line of sight based on an image captured by the camera 11. RAM temporarily stores variables necessary for executing the program, and ROM stores the program.
[0018]
Next, the operation of the above-described vehicle driver's line of sight detection device will be described with reference to FIG. The control device 10 takes an image of the inside of the vehicle immediately before the driver sits on the driving seat with the camera 11, and loads the image (in-vehicle image) into the storage device 15 as a first image. Specifically, the control device 10 determines in step 102 whether the driver is immediately before sitting on the driving seat. That is, while the weight sensor 12 provided on the driver's seat continues to detect the non-seat state, and the door sensor 13 detects the door open state, the control device 10 determines that the driver has opened the door for boarding, That is, it is determined that the driver is just before sitting. If the control device 10 determines that the driver is immediately before sitting, the program proceeds to step 104. In step 104, the control device 10 captures an image of the inside of the vehicle at the time when the driver determines that the driver is immediately before sitting by the camera 11, and stores the image (in-vehicle image) as a first image (see FIG. 3A). It is stored in the device 15.
[0019]
The control device 10 captures an image of the driver sitting on the driver's seat with the camera 11, and loads the image (vehicle driver image) into the storage device 15 as a second image. Specifically, in step 106, if the weight sensor 12 provided on the driving seat detects the sitting state, the control device 10 determines that the driver is seated. If control device 10 determines that the driver is seated, the program proceeds to step 108. In step 108, the control device 10 uses the camera 11 to photograph the inside of the vehicle including the driver at the time when it is determined that the driver is seated, and takes the image (vehicle driver image) as a second image (FIG. 3 (b)). ) Is stored in the storage device 15.
[0020]
The control device 10 calculates a difference image between the first image and the second image, and sets an area in the image area of the camera 11 corresponding to the difference image between the first image and the second image to the reference position of the driver's face. Register as Specifically, in step 110, the control device 10 reads the first and second images stored in the storage device 15 and calculates a difference image between the two images. The calculation result is an image (difference image) in which only the driver captured in the second image exists, as shown in FIG. The difference image shows the upper body of the driver, and the face or the position of the face from the upper body is determined based on face information (for example, eyebrow, eye, nose, and mouth arrangement patterns or face contours) stored in advance. Is detected (step 112). Then, the eye or the position of the eye is detected from the detected face based on the eye information (for example, the arrangement pattern of the left and right eyes, the outline of the eye, the outline of the pupil) stored in advance (step 114).
[0021]
Then, in step 116, the control device 10 determines whether or not the driver's eyes have been detected by the processing in step 114. If it is determined that the driver's eyes have been detected, the program proceeds to step 116. To step 118. In step 118, an area corresponding to the driver's face position in the area of the difference image calculated in step 110 is stored (registered) in the storage device 15 as a reference position of the driver's face. The reference position of the face indicates the position of the face when the driver is seated on the driving seat and faces substantially in front, and indicates the position of the face in the case where the driver faces other than the front. is not. On the other hand, if it is determined in step 116 that the eyes of the driver have not been detected, the program returns to step 108, the second image is captured by the camera 11 and loaded into the storage device 15 (step 108). The difference image between the first and second images is calculated (step 110), the face of the driver is detected based on the difference image (step 112), and the eyes of the driver are detected (step 114). It repeatedly executes until it is determined that the eyes can be detected.
[0022]
The control device 10 specifies the face and eyes (position) of the driver from the images sequentially transmitted from the camera 11 after the reference position is registered in step 118, and detects the driver's line of sight. Every time an image captured by the camera 11 is transmitted, in step 120, the reference position of the face registered in step 118 is read from the storage device 15, and the driving in the image transmitted based on the reference position of the face is performed. The person's face (face position). That is, a face is searched from the area of the reference position in the transmitted image and its periphery based on the face information (for example, the arrangement pattern of the eyebrows, eyes, nose, and mouth, or the contour of the face) stored in advance. In step 122, the eye or the position of the eye is specified from the specified face based on the eye information (for example, the arrangement pattern of the left and right eyes, the outline of the eye, the outline of the pupil) stored in advance similarly to the step 114.
Then, in step 124, the line of sight (the direction of the line of sight) from the eyes of the specified driver is detected. It should be noted that this gaze detection is generally calculated from, for example, the relative positional relationship between the center of the pupil and the Purkinje image, and a detailed description thereof will be omitted. The control device 10 repeatedly performs the above-described processes of steps 120 to 124 each time an image is transmitted from the camera 11 (step 126), until the gaze detection process ends, for example, until the ignition switch is turned off.
[0023]
As can be understood from the above description, in this embodiment, the first image captured by the camera 11 of the inside of the vehicle immediately before the driver sits on the driving seat is loaded into the storage device 15 (steps 102 and 104), and the driving is performed. The second image captured by the camera 11 of the driver sitting on the seat is loaded into the storage device 15 (steps 106 and 108), and a difference image between the first and second images is calculated (step 110). A region corresponding to the difference image calculated in step 110 is registered as a reference position of the driver's face (step 118). Thereby, after the driver acquires the in-vehicle image (first image) immediately before sitting on the driver's seat, the driver obtains the vehicle driver image (second image) without a break, so that the background of the vehicle driver is obtained. Since the vehicle driver image is acquired before the change, the reference position of the driver's face can be easily and reliably specified based on the difference value caused by the vehicle driver, in which the difference value caused by the background change is eliminated as much as possible. be able to. Then, based on the reference position of the driver's face registered in step 118, the image captured by the camera 11 after the vehicle driver's image is acquired and the reference position of the driver's face is registered. The driver's face is specified (step 122), the eyes are specified in the specified driver's face (step 124), and the line of sight from the specified driver's eyes is detected (step 126). As a result, the face position is specified based on the reference position registered in the vehicle driver image (not the second image) captured every predetermined time, and the eye position is accurately and reliably extracted from the specified face position. can do.
[0024]
Further, in the above-described embodiment, the first image is captured by detecting that the driver has opened the door of the vehicle in order to get on the vehicle by the processing of steps 102 and 104, so that the driver is sure to be right before getting on the vehicle. And the first image can be taken immediately before boarding. Further, since the processing of steps 106 and 108 detects that the driver is sitting on the driving seat of the vehicle and captures the second image, it is possible to reliably detect that the vehicle driver is seated and perform the second processing. Images can be taken.
[0025]
In the above embodiment, the driver's face is detected from the difference image calculated in step 110 (step 112), and eyes are detected from the driver's face detected in step 112 ( Step 114), it is determined whether or not the eyes of the driver are detected in step 114 (step 116). If it is determined in step 116 that an eye has been detected, an area corresponding to the difference image calculated in step 110 is registered as a reference position of the driver's face (step 118). If not, the second image is again captured and stored in the storage device (step 108), and a difference image between the first and second images is calculated (step 110), and the face of the driver is detected. Then, the process of detecting the driver's eyes (step 114) is repeatedly executed until it is determined in step 116 that the eyes are detected. Thus, in step 118, the area corresponding to the difference image calculated in step 110 can be reliably registered as the reference position of the driver's face.
[0026]
In the above-described embodiment, a door unlock signal from a remote control key may be used instead of the detection signal from the door sensor 13.
[0027]
Further, in the above-described embodiment, the detection signal from the weight sensor 12 is used to detect the seating state of the driver. However, instead of this, the seat belt for detecting the wearing state of the seat belt is used. A detection signal from a wearing sensor may be used.
[0028]
Further, in the above-described embodiment, in step 118, the area of the difference image indicating the upper body of the driver may be registered as the reference position of the face. In this case, in step 120, the reference position of the face registered in step 118 is read from the storage device 15, and the driving in the image transmitted based on the face region among the difference image regions indicating the upper body of the driver is performed. What is necessary is just to specify the person's face. Note that the face area can be estimated based on the arrangement pattern of the head, neck, and shoulder.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of a gaze detecting device for a vehicle driver according to the present invention.
FIG. 2 is a flowchart of a control program executed by the control device shown in FIG.
3A is an image of the inside of the vehicle immediately before the driver sits on the driving seat, FIG. 3B is an image of a state where the driver is sitting on the driving seat, and FIG. 3C is a difference between the two images. It is an image.
[Explanation of symbols]
10: control device, 11: camera, 12: weight sensor, 13: door sensor, 14: alarm device, 15: storage device.

Claims (4)

車両の運転シートに着座した運転者の前方に設けられて同運転者を正面から撮像するカメラと、
前記運転者が前記運転シートに着座する直前の車内を前記カメラによって撮像した第１画像を記憶装置に取り込む第１画像取り込み手段と、
前記運転シートに着座した前記運転者を前記カメラによって撮像した第２画像を前記記憶装置に取り込む第２画像取り込み手段と、
前記第１および第２画像取り込み手段によってそれぞれ取り込まれた第１および第２画像の差分画像を算出する画像差分算出手段と、
前記カメラの画像領域内であって前記画像差分算出手段により算出された差分画像に相当する領域を運転者の顔の基準位置として登録する顔基準位置登録手段と、
該顔基準位置登録手段が基準位置を登録した時点以降に前記カメラにより撮像した画像内に前記顔基準位置登録手段により登録された運転者の顔の基準位置に基づいて前記運転者の顔を特定する顔特定手段と、
該顔特定手段により特定された運転者の顔内に目を特定する目特定手段と、
該目特定手段により特定された運転者の目からの視線を検出する視線検出手段とを備えたことを特徴とする車両運転者の視線検出装置。A camera provided in front of the driver sitting on the driver's seat of the vehicle and imaging the driver from the front,
First image capturing means for capturing, into a storage device, a first image captured by the camera of the inside of the vehicle immediately before the driver sits on the driving seat;
Second image capturing means for capturing a second image of the driver seated on the driving seat by the camera into the storage device;
Image difference calculating means for calculating a difference image between the first and second images respectively taken by the first and second image taking means;
Face reference position registration means for registering an area within the image area of the camera corresponding to the difference image calculated by the image difference calculation means as a reference position of the driver's face,
Identifying the driver's face based on the reference position of the driver's face registered by the face reference position registration means in an image taken by the camera after the point of reference registration of the reference position by the face reference position registration means. Face identification means to be
Eye specifying means for specifying eyes in the driver's face specified by the face specifying means;
An eye-gaze detecting means for detecting a gaze from the eyes of the driver identified by the eye identifying means; 請求項１において、前記第１画像取り込み手段は、前記運転者が乗車するために車両のドアを開けたことを検出するドア開状態検出手段の検出結果に基づいて前記第１画像を撮像することを特徴とする車両運転者の視線検出装置。2. The method according to claim 1, wherein the first image capturing unit captures the first image based on a detection result of a door open state detecting unit that detects that the driver has opened a door of the vehicle to get on the vehicle. A gaze detecting device for a vehicle driver. 請求項１において、前記第２画像取り込み手段は、前記運転者が車両の運転シートに着座していることを検出する着座検出手段の検出結果に基づいて前記第２画像を撮像することを特徴とする車両運転者の視線検出装置。2. The device according to claim 1, wherein the second image capturing unit captures the second image based on a detection result of a seating detecting unit that detects that the driver is sitting on a driving seat of a vehicle. Line of sight detection device for vehicle driver. 請求項１乃至請求項３の何れか一項において、前記画像差分算出手段により算出された差分画像から前記運転者の顔を検出する顔検出手段と、
該顔検出手段により検出された運転者の顔の中から目を検出する目検出手段と、
該目検出手段により運転者の目が検出されたか否かを判定する目検出判定手段とをさらに備え、
該目検出判定手段により目が検出されたと判定された場合には、前記顔基準位置登録手段によって前記画像差分算出手段により算出された差分画像に相当する領域を運転者の顔の基準位置として登録し、
目が検出されなかったと判定された場合には、前記第２画像取り込み手段により前記運転シートに着座した前記運転者を前記カメラによって撮像した第２画像を前記記憶装置に取り込み、前記画像差分算出手段によって前記第１および第２画像取り込み手段によりそれぞれ取り込まれた第１および第２画像の差分画像を算出し、前記顔検出手段により前記運転者の顔を検出し、前記目検出手段により前記運転者の目を検出する処理を、前記目検出判定手段により目が検出されたと判定されるまで繰り返し実行することを特徴とする車両運転者の視線検出装置。The face detection unit according to any one of claims 1 to 3, wherein the face detection unit detects the driver's face from the difference image calculated by the image difference calculation unit,
Eye detection means for detecting eyes from the driver's face detected by the face detection means,
Eye detection determining means for determining whether the driver's eyes have been detected by the eye detecting means,
When it is determined that the eyes are detected by the eye detection determination unit, the area corresponding to the difference image calculated by the image difference calculation unit is registered as the reference position of the driver's face by the face reference position registration unit. And
If it is determined that no eyes have been detected, the second image capturing means captures a second image of the driver sitting on the driving seat by the camera into the storage device, and the image difference calculating means. Calculating a difference image between the first and second images respectively captured by the first and second image capturing means, detecting the driver's face by the face detecting means, and detecting the driver's face by the eye detecting means. The eye-gaze detecting device for a vehicle driver, wherein the eye-detecting means repeatedly executes a process of detecting the eye of the vehicle until the eye detection determining means determines that the eye is detected.
JP2003079014A 2003-03-20 2003-03-20 Vehicle driver's gaze detection device Expired - Fee Related JP4192643B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003079014A JP4192643B2 (en) 2003-03-20 2003-03-20 Vehicle driver's gaze detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003079014A JP4192643B2 (en) 2003-03-20 2003-03-20 Vehicle driver's gaze detection device

Publications (2)

Publication Number Publication Date
JP2004287845A true JP2004287845A (en) 2004-10-14
JP4192643B2 JP4192643B2 (en) 2008-12-10

Family

ID=33293317

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003079014A Expired - Fee Related JP4192643B2 (en) 2003-03-20 2003-03-20 Vehicle driver's gaze detection device

Country Status (1)

Country Link
JP (1) JP4192643B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006253787A (en) * 2005-03-08 2006-09-21 Aisin Seiki Co Ltd Image input device and passenger monitoring device for vehicle provided with the same
JP2008081071A (en) * 2006-09-29 2008-04-10 Aisin Seiki Co Ltd Vehicular mirror position adjusting device
JP2009107527A (en) * 2007-10-31 2009-05-21 Denso Corp Occupant detection device of vehicle
CN111231968A (en) * 2018-11-27 2020-06-05 通用汽车环球科技运作有限责任公司 Driver-oriented camera movement tracking
WO2020122079A1 (en) * 2018-12-11 2020-06-18 ソニー株式会社 Image processing device, image processing method, and image processing system
WO2020122084A1 (en) * 2018-12-11 2020-06-18 ソニー株式会社 Image processing device, image processing method, and image processing system
CN111976595A (en) * 2019-05-24 2020-11-24 奥迪股份公司 Door opening assist system, vehicle including the same, and corresponding method and medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0468500A (en) * 1990-07-09 1992-03-04 Toyota Motor Corp Vehicle driver monitoring device
JPH07181012A (en) * 1993-12-22 1995-07-18 Nissan Motor Co Ltd Feature amount detector for image data
JPH11161798A (en) * 1997-12-01 1999-06-18 Toyota Motor Corp Vehicle driver monitoring device
JP2001043382A (en) * 1999-07-27 2001-02-16 Fujitsu Ltd Eye tracking device
JP2002008020A (en) * 2000-06-26 2002-01-11 Nissan Motor Co Ltd Ocular state detector

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0468500A (en) * 1990-07-09 1992-03-04 Toyota Motor Corp Vehicle driver monitoring device
JPH07181012A (en) * 1993-12-22 1995-07-18 Nissan Motor Co Ltd Feature amount detector for image data
JPH11161798A (en) * 1997-12-01 1999-06-18 Toyota Motor Corp Vehicle driver monitoring device
JP2001043382A (en) * 1999-07-27 2001-02-16 Fujitsu Ltd Eye tracking device
JP2002008020A (en) * 2000-06-26 2002-01-11 Nissan Motor Co Ltd Ocular state detector

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006253787A (en) * 2005-03-08 2006-09-21 Aisin Seiki Co Ltd Image input device and passenger monitoring device for vehicle provided with the same
JP2008081071A (en) * 2006-09-29 2008-04-10 Aisin Seiki Co Ltd Vehicular mirror position adjusting device
JP2009107527A (en) * 2007-10-31 2009-05-21 Denso Corp Occupant detection device of vehicle
CN111231968A (en) * 2018-11-27 2020-06-05 通用汽车环球科技运作有限责任公司 Driver-oriented camera movement tracking
CN111231968B (en) * 2018-11-27 2023-04-18 通用汽车环球科技运作有限责任公司 Driver-oriented camera movement tracking
JPWO2020122079A1 (en) * 2018-12-11 2021-10-21 ソニーグループ株式会社 Image processing equipment, image processing method and image processing system
CN113170083A (en) * 2018-12-11 2021-07-23 索尼集团公司 Image processing apparatus, image processing method, and image processing system
JPWO2020122084A1 (en) * 2018-12-11 2021-10-21 ソニーグループ株式会社 Image processing equipment, image processing method and image processing system
WO2020122084A1 (en) * 2018-12-11 2020-06-18 ソニー株式会社 Image processing device, image processing method, and image processing system
US11603043B2 (en) 2018-12-11 2023-03-14 Sony Group Corporation Image processing apparatus, image processing method, and image processing system
WO2020122079A1 (en) * 2018-12-11 2020-06-18 ソニー株式会社 Image processing device, image processing method, and image processing system
US11813988B2 (en) 2018-12-11 2023-11-14 Sony Group Corporation Image processing apparatus, image processing method, and image processing system
JP7484722B2 (en) 2018-12-11 2024-05-16 ソニーグループ株式会社 Image processing device, image processing method, and image processing system
JP7494735B2 (en) 2018-12-11 2024-06-04 ソニーグループ株式会社 Image processing device, image processing method, and image processing system
CN111976595A (en) * 2019-05-24 2020-11-24 奥迪股份公司 Door opening assist system, vehicle including the same, and corresponding method and medium

Also Published As

Publication number Publication date
JP4192643B2 (en) 2008-12-10

Similar Documents

Publication Publication Date Title
US9888875B2 (en) Driver monitoring apparatus
US10936890B2 (en) Vehicle device
JP5974915B2 (en) Arousal level detection device and arousal level detection method
US8045758B2 (en) Conduct inference apparatus
US20200039508A1 (en) Driving assistance apparatus and driving assistance method
WO2013157466A1 (en) Smoking detection device, method and program
JP6926636B2 (en) State estimator
JP2011128966A (en) Face feature point detection device and sleepiness detection device
JP2008065776A (en) Doze detection device and doze detection method
JP2012084068A (en) Image analyzer
KR20120074820A (en) Control system for vehicle using face recognition function
CN114423343A (en) Cognitive function estimation device, learning device, and cognitive function estimation method
KR101461911B1 (en) System and method of guiding to fasten safety belt correctly
JP4192643B2 (en) Vehicle driver&#39;s gaze detection device
JP4322537B2 (en) Mask wearing judgment device
JP3036319B2 (en) Driver status monitoring device
CN114103961B (en) Face information acquisition device and face information acquisition method
JP4635857B2 (en) Ellipse detection method, image recognition device, control device
JP2009069975A (en) Behavior estimating device
JP2010108167A (en) Face recognition device
JP2010009093A (en) Person state determination device
CN110235178B (en) Driver state estimating device and driver state estimating method
JP2022012858A (en) Driver monitoring device
US20240127606A1 (en) Seat belt detection
JP2008191785A (en) Eye closure detection apparatus, doze detection apparatus, eye closure detection method, and program for eye closure detection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080226

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080423

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080520

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080717

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080826

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080908

R151 Written notification of patent or utility model registration

Ref document number: 4192643

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111003

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121003

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131003

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees