JP5150610B2 - 注視判定装置 - Google Patents
注視判定装置 Download PDFInfo
- Publication number
- JP5150610B2 JP5150610B2 JP2009275693A JP2009275693A JP5150610B2 JP 5150610 B2 JP5150610 B2 JP 5150610B2 JP 2009275693 A JP2009275693 A JP 2009275693A JP 2009275693 A JP2009275693 A JP 2009275693A JP 5150610 B2 JP5150610 B2 JP 5150610B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- vehicle device
- line
- stored
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Description
さらに、本発明の第3態様に係る注視判定装置は、少なくとも1つ以上の方向での車両の加速度を取得して取得結果を出力する加速度取得手段(例えば、実施の形態での加速度センサ13)と、前記加速度取得手段から出力された前記取得結果の前記加速度が所定値以下であるか否かを判定して判定結果を出力する加速度判定手段(例えば、実施の形態でのステップS31)とを備え、前記格納手段は、前記視線検出手段から出力された前記検出結果の前記視線方向のうち、前記加速度判定手段から出力された前記判定結果において前記加速度が前記所定値以下であるときに前記視線検出手段により検出された前記視線方向が、前記領域拡大手段から出力された前記第2領域と交差する場合に、当該視線方向に対応する座標位置を前記車載機器毎に格納する。
また、車載機器近傍において第1領域を拡大して得られる第2領域に対してのみ、視線方向に対応する座標位置を格納することから、座標位置の中央位置の算出精度の向上に寄与しない座標位置が格納されてしまうことを防止して、中央位置の算出結果に所望の精度を確保することができると共に、処理演算負荷が不必要に増大してしまうことを防止することができる。
また、第1領域の位置を変更する較正の実行途中において、視線検出手段から出力された検出結果の視線方向が、第2領域と交差する場合に、運転者が当該第2領域に対応する車載機器を注視していると判定する判定手段を備えた場合には、較正の実行途中であっても、運転者が車載機器を注視しているか否かを判定することができ、装置の信頼性を向上させることができる。
さらに、本発明の第3態様に係る注視判定装置によれば、加速度が所定値よりも大きい場合、つまり運転者の姿勢が定常状態ではない可能性が高い場合に検出された視線方向を除外して、視線方向に対応する座標位置を格納することから、第1領域の位置の変更を精度良く行なうことができる。
本実施の形態による注視判定装置10は、例えば図1に示すように、乗員カメラ11と、処理装置12と、加速度センサ13とを備えて構成され、さらに、処理装置12は、視線検出部21と、注視判定部22と、第1領域記憶部23と、領域拡大部24と、座標位置格納部25と、格納数判定部26と、中央位置算出部27と、第1領域位置変更部28とを備えて構成されている。
注視判定部22は、視線検出部21から出力された検出結果と、第1領域記憶部23に記憶されている第1領域とに基づき、例えば運転者の視線方向が第1領域と交差するか否かを判定することにより、運転者が第1領域に対応する車載機器を注視しているか否かを判定して、判定結果を出力する。
なお、注視判定部22は、後述する補正処理の実行中(つまり、第2領域が設定されている状態)では、例えば運転者の視線方向が第2領域と交差するか否かを判定することにより、運転者が第2領域に対応する車載機器を注視しているか否かを判定して、判定結果を出力する。
この第1領域は、例えば車載機器の実際の存在位置に応じて予め設定された既定の存在領域(例えば図2(A)に示すドアミラー、ルームミラー、ナビゲーション画面などに対する各領域A1〜A4など)である。
領域拡大部24は、車載機器毎に車載機器近傍において第1領域を拡大しており、例えば第1領域の周縁部を、車載機器の周縁部に対応する形状で所定程度だけ拡大する。
また、第1領域を拡大する場合には、例えば適宜の倍率(縦方向に1.4倍かつ横方向に1.2倍など)で拡大してもよいし、適宜の加算(縦方向にプラス15cmかつ横方向にプラス20cmなど)で拡大してもよい。
また、座標位置格納部25は、例えば加速度センサ13から出力される加速度の検出結果に基づき、視線方向に対応する第2領域上の座標位置を格納するか否かを決定しており、先ず、加速度センサ13により検出された加速度が所定の閾値以下であるか否かを判定する。そして、検出された加速度が所定値以下であるときに視線検出部21により検出された視線方向が第2領域と交差する場合に、この視線方向に対応する第2領域上の座標位置を車載機器毎に格納する。
なお、加速度に対する所定の閾値は、例えば、前後方向加速度に対して0.5G、上下方向加速度に対して0.2G、左右方向加速度に対して0.4Gなどである。
中央位置算出部27は、格納数判定部26から出力された判定結果において何れかの車載機器に対する座標位置の格納数が所定数以上である場合には、この車載機器に対して座標位置格納部25に格納されている複数の座標位置の中央位置(例えば図2(C)に示す各中央位置D1〜D4など)を算出して、算出結果を出力する。
なお、座標位置の格納数に対する所定数は、例えば各座標位置での視線方向の停留時間を積算して得られる積算時間が所定時間となる状態に対応する座標位置の格納数などである。
なお、複数の座標位置の中央位置が算出された車載機器に対しては、第1領域の一時的な拡大により第2領域を設定する動作は解除される。
次に、ステップS02においては、第1領域記憶部23に記憶されている第1領域の中心座標位置を変更する補正処理が完了しているか否かを判定する。
この判定結果が「YES」の場合には、ステップS03に進み、このステップS03においては、後述する注視判定の処理を実行し、エンドに進む。
一方、この判定結果が「NO」の場合には、ステップS04に進み、このステップS04においては、後述する補正を伴う注視判定の処理を実行し、エンドに進む。
先ず、例えば図4に示すステップS11においては、第1領域記憶部23に記憶されている車載機器毎の第1領域の中心座標位置を、補正処理により設定された補正位置に一致させるようにして第1領域の位置を変更する。
この判定結果が「YES」の場合には、ステップS13に進み、このステップS13においては、運転者が第1領域に対応する対象(車載機器)を注視していると判定し、エンドに進む。
一方、この判定結果が「NO」の場合には、ステップS14に進み、このステップS14においては、運転者が第1領域に対応する対象(車載機器)を注視していないと判定し、エンドに進む。
先ず、例えば図5に示すステップS21においては、例えば車載機器毎に車載機器近傍において第1領域を拡大することなどによって、第2領域を取得する。
次に、ステップS22においては、視線ベクトルが第2領域に交差しているか否かを判定する。
この判定結果が「NO」の場合には、ステップS23に進み、このステップS23においては、運転者が第2領域に対応する対象(車載機器)を注視していないと判定し、エンドに進む。
一方、この判定結果が「YES」の場合には、ステップS24に進む。
次に、ステップS25においては、何れかの車載機器に対する座標位置の格納数が所定数以上であるか否かを判定する。
この判定結果が「NO」の場合には、後述するステップS28に進む。
一方、この判定結果が「YES」の場合には、ステップS26に進む。
次に、ステップS27においては、補正処理を完了する。
次に、ステップS28においては、運転者が第2領域に対応する対象(車載機器)を注視していると判定し、エンドに進む。
また、車載機器近傍において第1領域を拡大して得られる第2領域に対してのみ、視線方向に対応する座標位置を格納することから、座標位置の中央位置の算出精度の向上に寄与しない座標位置が格納されてしまうことを防止して、中央位置の算出結果に所望の精度を確保することができると共に、処理演算負荷が不必要に増大してしまうことを防止することができる。
また、第1領域の位置を変更する補正処理の実行途中において、視線検出部21から出力された検出結果の視線方向が、第2領域と交差する場合に、運転者が当該第2領域に対応する車載機器を注視していると判定することにより、補正処理の実行途中であっても、運転者が車載機器を注視しているか否かを判定することができ、装置の信頼性を向上させることができる。
この第1変形例では、上述したステップS22の判定結果が「YES」の場合には、ステップS31に進む。
そして、ステップS31においては、加速度センサ13により検出された加速度が所定の閾値以下であるか否かを判定する。
この判定結果が「NO」の場合には、上述したステップS28に進む。
一方、この判定結果が「YES」の場合には、上述したステップS24に進む。
なお、加速度が所定の閾値よりも大きくなって座標位置の格納が行われない場合であっても、視線方向が第2領域と交差するか否かに応じて注視判定が実行されることにより、装置の信頼性を向上させることができる。
この第2変形例では、先ず、ステップS41において、乗員カメラ11から出力された画像に基づき運転者の顔を認識する。
次に、ステップS42においては、認識した運転者に応じた補正位置が存在するか否かを判定する。
この判定結果が「NO」の場合には、後述するステップS44に進む。
一方、この判定結果が「YES」の場合には、ステップS43に進む。
次に、ステップS44においては、運転者の視線ベクトルを取得する。
次に、ステップS45においては、第1領域記憶部23に記憶されている第1領域または運転者に応じた補正位置によって補正された第1領域の中心座標位置を変更する補正処理が完了しているか否かを判定する。
この判定結果が「NO」の場合には、ステップS46に進み、このステップS46においては、上述した補正を伴う注視判定の処理を実行し、エンドに進む。
一方、この判定結果が「YES」の場合には、ステップS47に進む。
そして、ステップS47においては、補正処理により設定された補正位置を運転者に対応させて記憶する。
そして、ステップS48においては、上述した注視判定の処理を実行し、エンドに進む。
この第2変形例によれば、運転者毎に応じて第1領域の位置変更の変更精度を向上させることができる。
11 乗員カメラ(撮像手段)
13 加速度センサ(加速度取得手段)
21 視線検出部(視線検出手段)
22 注視判定部(注視判定手段)
23 第1領域記憶部(記憶手段)
24 領域拡大部(領域拡大手段)
25 座標位置格納部(格納手段)
26 格納数判定部(格納数判定手段)
27 中央位置算出部(中央位置算出手段)
28 第1領域位置変更部(領域位置変更手段)
ステップS31 加速度判定手段
Claims (3)
- 運転席に着座した運転者の眼を撮像して画像を出力する撮像手段と、該撮像手段から出力された前記画像に基づき前記運転者の視線方向を検出して検出結果を出力する視線検出手段と、少なくとも1つ以上の車載機器毎の存在領域を第1領域として記憶する記憶手段と、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記記憶手段に記憶された前記第1領域と交差する場合に、前記運転者が当該第1領域に対応する前記車載機器を注視していると判定する注視判定手段とを備える注視判定装置であって、
前記車載機器毎の前記第1領域を前記車載機器近傍において一時的に拡大して拡大結果を前記車載機器毎の第2領域として出力する領域拡大手段と、
前記視線検出手段から出力された前記検出結果の前記視線方向が、前記領域拡大手段から出力された前記第2領域と交差する場合に、当該視線方向に対応する座標位置を前記車載機器毎に格納する格納手段と、
前記格納手段に格納された前記車載機器毎の前記座標位置の格納数が所定数以上であるか否かを判定して判定結果を出力する格納数判定手段と、
前記格納数判定手段から出力された前記判定結果において前記格納数が所定数以上である場合に、前記車載機器毎の前記座標位置の中央位置を算出して算出結果を出力する中央位置算出手段と、
前記記憶手段に記憶された前記車載機器毎の前記第1領域の中心座標位置が前記中央位置算出手段から出力された前記算出結果の前記車載機器毎の前記中央位置に一致するようにして、前記第1領域の位置を変更して変更結果を出力する領域位置変更手段とを備え、
前記注視判定手段は、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記領域位置変更手段から出力された前記変更結果の前記第1領域と交差する場合に、前記運転者が当該第1領域に対応する前記車載機器を注視していると判定することを特徴とする注視判定装置。 - 運転席に着座した運転者の眼を撮像して画像を出力する撮像手段と、該撮像手段から出力された前記画像に基づき前記運転者の視線方向を検出して検出結果を出力する視線検出手段と、少なくとも1つ以上の車載機器毎の存在領域を第1領域として記憶する記憶手段と、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記記憶手段に記憶された前記第1領域と交差する場合に、前記運転者が当該第1領域に対応する前記車載機器を注視していると判定する注視判定手段とを備える注視判定装置であって、
前記車載機器毎の前記第1領域を前記車載機器近傍において一時的に拡大して拡大結果を前記車載機器毎の第2領域として出力する領域拡大手段と、
前記視線検出手段から出力された前記検出結果の前記視線方向が、前記領域拡大手段から出力された前記第2領域と交差する場合に、当該視線方向に対応する座標位置を前記車載機器毎に格納する格納手段と、
前記格納手段に格納された前記車載機器毎の前記座標位置の格納数が所定数以上であるか否かを判定して判定結果を出力する格納数判定手段と、
前記格納数判定手段から出力された前記判定結果において前記格納数が所定数以上である場合に、前記車載機器毎の前記座標位置の中央位置を算出して算出結果を出力する中央位置算出手段と、
前記記憶手段に記憶された前記車載機器毎の前記第1領域の中心座標位置が前記中央位置算出手段から出力された前記算出結果の前記車載機器毎の前記中央位置に一致するようにして、前記第1領域の位置を変更して変更結果を出力する領域位置変更手段とを備え、
前記注視判定手段は、前記視線検出手段から出力された前記検出結果の前記視線方向が、前記領域位置変更手段から出力された前記変更結果の前記第1領域と交差する場合に、前記運転者が当該第1領域に対応する前記車載機器を注視していると判定しており、
前記領域拡大手段は、前記車載機器毎の前記第1領域を、該第1領域の周縁部を前記車載機器の周縁部に対応する形状で所定程度だけ拡大するようにして、一時的に拡大することを特徴とする注視判定装置。 - 少なくとも1つ以上の方向での車両の加速度を取得して取得結果を出力する加速度取得手段と、
前記加速度取得手段から出力された前記取得結果の前記加速度が所定値以下であるか否かを判定して判定結果を出力する加速度判定手段とを備え、
前記格納手段は、前記視線検出手段から出力された前記検出結果の前記視線方向のうち、前記加速度判定手段から出力された前記判定結果において前記加速度が前記所定値以下であるときに前記視線検出手段により検出された前記視線方向が、前記領域拡大手段から出力された前記第2領域と交差する場合に、当該視線方向に対応する座標位置を前記車載機器毎に格納することを特徴とする請求項1または請求項2に記載の注視判定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009275693A JP5150610B2 (ja) | 2009-12-03 | 2009-12-03 | 注視判定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009275693A JP5150610B2 (ja) | 2009-12-03 | 2009-12-03 | 注視判定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011116248A JP2011116248A (ja) | 2011-06-16 |
JP5150610B2 true JP5150610B2 (ja) | 2013-02-20 |
Family
ID=44282111
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009275693A Expired - Fee Related JP5150610B2 (ja) | 2009-12-03 | 2009-12-03 | 注視判定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5150610B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2708420B1 (en) * | 2011-06-20 | 2016-08-17 | Honda Motor Co., Ltd. | Automotive instrument operating device and alert device |
JP6316559B2 (ja) * | 2013-09-11 | 2018-04-25 | クラリオン株式会社 | 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム |
JP6908339B2 (ja) * | 2017-04-24 | 2021-07-28 | アルパイン株式会社 | 視線検知装置、視線検知プログラムおよび視線検知方法 |
JP2019169004A (ja) * | 2018-03-23 | 2019-10-03 | 富士通デバイス株式会社 | 視線検出システムおよび視線検出プログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3785669B2 (ja) * | 1996-03-05 | 2006-06-14 | 日産自動車株式会社 | 視線方向計測装置 |
BR0315384A (pt) * | 2002-10-15 | 2005-09-06 | Volvo Technology Corp | Método e disposição para interpretar a atividade da cabeça e ocular de indivìduos |
JP5098438B2 (ja) * | 2007-05-24 | 2012-12-12 | 株式会社デンソー | 情報表示装置 |
JP5144412B2 (ja) * | 2008-07-18 | 2013-02-13 | 本田技研工業株式会社 | 車両用物体判定装置 |
-
2009
- 2009-12-03 JP JP2009275693A patent/JP5150610B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011116248A (ja) | 2011-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6062473B2 (ja) | 道路標識判断装置及び道路標識判断方法 | |
US9430046B2 (en) | Gesture based image capturing system for vehicle | |
JP6379967B2 (ja) | 画像生成装置および画像生成方法 | |
JP2010246088A (ja) | 車載カメラ装置の画像調整装置及び方法、並びに車載カメラ装置 | |
JP5150610B2 (ja) | 注視判定装置 | |
JP2010018201A (ja) | 運転者支援装置、運転者支援方法および運転者支援処理プログラム | |
CN110316063B (zh) | 车载显示终端***、车载显示终端的显示控制方法和车辆 | |
CN110494904B (zh) | 用于运行用于车辆的辅助***的方法和辅助*** | |
JP2010208359A (ja) | 車両用表示装置 | |
CN111252074A (zh) | 多模态控制方法、装置、计算机可读存储介质和车辆 | |
WO2019187283A1 (ja) | 画像処理装置、画像表示システムおよび画像処理方法 | |
JP2012195634A (ja) | 車両後方視認装置 | |
EP3185173B1 (en) | Automated vehicle human-machine interface system based on glance-direction | |
JP7320736B2 (ja) | 表示システム | |
JP2019020312A (ja) | 表示制御装置および表示制御方法 | |
JP6407596B2 (ja) | 画像処理装置、及び、運転支援システム | |
JP5042296B2 (ja) | 注視判定装置 | |
US10953811B2 (en) | Vehicle image controller, system including the same, and method thereof | |
JP6669017B2 (ja) | 車両用操作システム及びコンピュータプログラム | |
JP6322991B2 (ja) | 視線検出装置、および視線検出方法 | |
JP2017083308A (ja) | 電子装置、施設特定方法および施設特定プログラム | |
JP6405930B2 (ja) | 車載用表示装置 | |
JP2017112566A (ja) | パラメータ特定装置 | |
JP6398578B2 (ja) | 車両用表示装置 | |
JP6432033B2 (ja) | 車載装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120710 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120830 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121203 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151207 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |