JP6179447B2 - 視線検出装置、視線検出方法 - Google Patents
視線検出装置、視線検出方法 Download PDFInfo
- Publication number
- JP6179447B2 JP6179447B2 JP2014083696A JP2014083696A JP6179447B2 JP 6179447 B2 JP6179447 B2 JP 6179447B2 JP 2014083696 A JP2014083696 A JP 2014083696A JP 2014083696 A JP2014083696 A JP 2014083696A JP 6179447 B2 JP6179447 B2 JP 6179447B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- luminance
- sight
- subject
- detection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
また仮に、十分な解像度で検査領域の画像データが得られる場合であっても、検査領域の輝度分布情報から直接的に(目の正確な位置や、黒目と白目との境界を検出することなく)対象者の視線を検出できるので、視線検出の処理負担を軽減することが可能となる。
そして、検査領域内に設定した輝度判定ラインに沿って検出することにより、検査領域の全体から検出するのに比べて簡便に対象者の視線を検出することができる。さらに、縦方向および横方向に設定された輝度判定ラインのうち、何れか一方の輝度判定ラインに沿って輝度が所定値よりも小さい部分(暗部)を検出できない場合には、何れか他方の輝度判定ラインに沿った輝度分布情報に基づいて、当該何れか一方の輝度判定ラインの位置が補正されるので、暗部を検出することができる。
A.装置構成 :
図1には、本実施例の視線検出装置20を備えた支援システム1の構成が示されている。図示されるように視線検出装置20には、車両の進行方向前方の画像を撮影するカメラ10や、視線検出装置20からの情報に基づいて危険性を判定する危険判定部30などが接続されており、この危険判定部30には、危険性ありと判定した場合に運転者に危険性を報知するスピーカー40が接続されている。
尚、これら6つの「部」21〜26は、視線検出装置20を機能に着目して概念的に分類したものであり、それぞれが必ずしも物理的に独立して存在している必要はない。これらは、各種の機器や、電子部品、集積回路、コンピューター、コンピュータープログラム、あるいはそれらの組合せなどによって構成することができる。また、前述した危険判定部30についても同様である。
顔領域抽出部22は、画像データ取得部21が取得した画像データを解析することによって、前方画像内の対象者の顔領域を抽出する。
検査領域設定部23は、顔領域抽出部22が抽出した顔領域の中から目が含まれる所定の検査領域を設定する。
尚、本実施例では、画像データ取得部21が本発明の「画像データ取得手段」に相当し、検査領域設定部23が本発明の「検査領域設定手段」に相当する。
記憶部25は、輝度分布情報取得部24が取得した輝度分布情報を記憶する。
尚、本実施例では、輝度分布情報取得部24が本発明の「情報取得手段」に相当し、記憶部25が本発明の「記憶手段」に相当している。
また、視線検出部26は、危険判定部30と接続されており、検出した視線の情報を危険判定部30に向けて出力する。
尚、本実施例の視線検出部26は、本発明の「視線検出手段」に相当している。
図2には、本実施例の視線検出装置20を備えた支援システム1で実行される安全運転支援処理のフローチャートが示されている。この処理は、主に視線検出装置20と危険判定部30とによって実行される。
安全運転支援処理(S100)を開始すると、先ず、カメラ10が撮影した車両の前方画像のデータを取得する(S101)。カメラ10は動画像を撮影しており、S101では、所定の周期で1コマ分の静止画のデータを取得する。
尚、対象者の検出方法はこれに限られず、例えば、S101で取得した画像データを記憶することとして、1つ前の画像データと比較することで、車両の前方に移動する者を対象者として検出してもよい。
一方、前方画像内に対象者がいる場合は(S102:yes)、その対象者の顔領域を抽出する(S103)。この抽出は、予め用意された顔のテンプレートを用いて行われ、対象者のシルエット内でテンプレートと符合する領域を顔領域として抽出する。
尚、対象者のシルエットに応じて予め定められた領域を顔領域として抽出するようにしてもよい。
何れのグラフにおいても、検査領域内で虹彩部(黒目)が存在する位置で輝度が極小値となっている。
そして、同じ対象者の輝度分布情報が記憶されていない場合は(S106:no)、S105で取得された輝度分布情報に基づいて対象者の視線を検出する(S108)。
逆に、検査領域内で輝度が極小値となる位置が基準位置よりも左側にある場合は、対象者の視線が左方向にあると判断する。
また、検査領域内で輝度が極小値となる位置が基準位置にある場合は、対象者の視線が正面にあると判断する。
逆に、検査領域内で輝度が極小値となる位置が基準位置よりも下側にある場合は、対象者の視線が下方向にあると判断する。
また、検査領域内で輝度が極小値となる位置が基準位置にある場合は、対象者の視線が正面にあると判断する。
例えば、図6に示した輝度分布情報を、図5に示した輝度分布情報と比較することによって、輝度が極小値となる位置の変化から対象者の視線が右方向に移動したと判断する。
続いて、S105で取得された輝度分布情報に基づいて対象者の視線を検出する(S108)。
例えば、対象者の視線が自車両側に向いていれば、対象者は自車両に気付いており危険性なしと判断し、対象者の視線が自車両側に向いていなければ、対象者は自車両に気付いておらず危険性ありと判断する。
あるいは、S107で対象者の視線の移動を検出している場合は、視線が移動した過程に自車両側が含まれていれば、対象者は自車両に気付いており危険性なしと判断し、視線が移動した過程に自車両側が含まれていなければ、対象者は自車両に気付いておらず危険性ありと判断する。
S110の報知は、所定の警報音や、「通行者に注意して下さい」などのアナウンスをスピーカー40から出力することによって実行する。
その後、安全運転支援処理の先頭に戻り、所定の周期で前方画像のデータを再び取得する(S101)。
尚、S111で記憶された輝度分布情報は、次回の処理のS107で用いられる。
また、検査領域の下方には、横方向の輝度判定ラインに設定されたe行目に沿った輝度の分布が表されており、検査領域の左方には、縦方向の輝度判定ラインに設定された7列目に沿った輝度の分布が表されている。
また、検査領域の下方には、横方向の輝度判定ラインに設定されたe行目に沿った輝度の分布が示されており、検査領域の左方には、縦方向の輝度判定ラインに設定された8列目に沿った輝度の分布が示されている。
また、8列目に沿った輝度の分布では、暗部がd〜e行目に位置しており、基準のe行目よりも上側に偏っているので、対象者の視線が上方向にあると判断する。
そして、これらの結果を合わせて対象者の視線が右斜め上方向にあると判断することができる。
また、横方向の輝度判定ラインに沿った輝度の分布で暗部が検出されない場合には、縦方向の輝度判定ラインに沿った輝度の分布に基づいて、暗部が検出される位置に横方向の輝度判定ラインの位置が補正される。
そして、補正後の輝度判定ラインの位置が記憶され、次回の視線検出では、先ず記憶されている輝度判定ラインに沿った輝度の分布から暗部を検出する。
また仮に、十分な解像度で検査領域の画像データが得られる場合でも、黒目と白目との境界などを特定することなく、検査領域の中で輝度が極小値となっている位置の情報だけで簡便に対象者の視線を検出できるので、視線検出装置20の処理負担を軽減することができる。
そして、縦方向および横方向に設定された輝度判定ラインのうち、何れか一方の輝度判定ラインに沿って暗部を検出できない場合には、何れか他方の輝度判定ラインに沿った輝度の分布に基づいて、当該何れか一方の輝度判定ラインの位置が補正されるので、対象者の視線が大きく移動した場合でも暗部を検出することができる。
さらに、検査領域の輝度分布情報を記憶しておき、新たに取得された輝度分布情報を、記憶されている輝度分布情報と比較することによって、対象者の視線の移動を検出することができる。
上述した実施例には、幾つかの変形例が存在する。以下では、これら変形例について簡単に説明する。
上述した実施例では、検査領域の中の暗部(輝度の小さい部分)の配置状況から虹彩部(黒目)が存在する位置を特定することで、対象者の視線を検出していた。しかし、検査領域の中の明部(輝度が大きい部分)の配置状況に基づいて、対象者の視線を検出してもよい。
図示した例では、検査領域の中で輝度が所定値よりも大きい部分(明部)が基準位置よりも左側に偏っているので、白目が左方向を向いていると考えられる。すると、黒目はその反対側を向いているので、対象者の視線が右方向にあると判断できる。
また、検査領域の中で明部が基準位置を挟んで両側にある場合は(図8参照)、明部と明部との間に黒目があると考えられるので、対象者の視線が正面にあると判断する。
尚、図8に示したように輝度分布情報が連続的な分布曲線として得られる場合は、検査領域内で輝度が極大値となる位置から強膜部(白目)が存在する位置を特定することで、対象者の視線を検出してもよい。
また、上述した実施例および第1変形例では、検査領域内の基準位置に対する暗部あるいは明部の配置状況から対象者の視線を検出していた。しかし、必ずしも検査領域内に基準位置を設定する必要はなく、暗部と明部とを対比することよって対象者の視線を検出してもよい。
図示した例では、検査領域の中で暗部(輝度が小さい部分)が明部(輝度の大きい部分)の右側に位置しているので、対象者の視線(黒目)が右方向にあると判断できる。
また、検査領域の中で明部と明部との間に暗部が挟まれて入れる場合は(図8参照)、対象者の視線が正面にあると判断する。
尚、図8に示したように輝度分布情報が連続的な分布曲線として得られる場合は、検査領域内で輝度が極小値となる位置と輝度が極大値となる位置とを対比することによって、対象者の視線を検出してもよい。
こうすれば、顔の画像データの左右に解像度の偏りがある場合(顔の左右の何れか一方が手前で他方が奥側の場合など)に、解像度の高い側の目を含む検査領域の輝度分布情報に基づいて対象者の視線を検出することにより、検出精度を高めることができる。
例えば、車両の運転者の視線を検出して、脇見運転と判定した場合に警告を発するシステムにも好適に適用することができる。
21…画像データ取得部、 22…顔領域抽出部、 23…検査領域設定部、
24…輝度分布情報取得部、 25…記憶部、 26…視線検出部、
30…危険判定部、 40…スピーカー。
Claims (6)
- 撮影された画像内の対象者の視線を検出する視線検出装置(20)であって、
前記画像のデータを取得する画像データ取得手段(21)と、
前記画像内の対象者の顔領域の中から目が含まれる所定の検査領域を設定する検査領域設定手段(23)と、
前記検査領域における輝度の分布を表す輝度分布情報を取得する情報取得手段(24)と、
前記輝度分布情報に基づいて対象者の視線を検出する視線検出手段(26)と
を備え、
前記検査領域内には、縦方向の輝度判定ラインおよび横方向の輝度判定ラインが設定されており、
前記視線検出手段は、前記輝度判定ラインに沿った前記輝度分布情報に基づいて対象者の視線を検出し、
前記縦方向の輝度判定ラインおよび前記横方向の輝度判定ラインは、何れか一方の輝度判定ラインに沿って輝度が所定値よりも小さい部分が検出されない場合に、何れか他方の輝度判定ラインに沿った前記輝度分布情報に基づいて、輝度が所定値よりも小さい部分が検出される位置に前記何れか一方の輝度判定ラインの位置が補正される
視線検出装置。 - 請求項1に記載の視線検出装置であって、
前記視線検出手段は、前記輝度判定ライン上で輝度が所定値よりも小さい暗部の配置状況に基づいて対象者の視線を検出する
視線検出装置。 - 請求項1または請求項2に記載の視線検出装置であって、
前記視線検出手段は、前記輝度判定ライン上で輝度が極小値となる極小部の配置状況に基づいて対象者の視線を検出する
視線検出装置。 - 請求項1ないし請求項3の何れか一項に記載の視線検出装置であって、
前記視線検出手段は、前記輝度判定ライン上で輝度が所定値よりも大きい明部の配置状況に基づいて対象者の視線を検出する
視線検出装置。 - 請求項1ないし請求項4の何れか一項に記載の視線検出装置であって、
前記視線検出手段は、前記輝度判定ライン上で輝度が極大値となる極大部の配置状況に基づいて対象者の視線を検出する
視線検出装置。 - 請求項1ないし請求項5の何れか一項に記載の視線検出装置であって、
前記情報取得手段によって取得された前記輝度分布情報を記憶する記憶手段(25)を備え、
前記視線検出手段は、前記情報取得手段が取得した輝度分布情報と、前記記憶手段に記憶されている輝度分布情報とを比較することで、対象者の視線の移動を検出する
視線検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014083696A JP6179447B2 (ja) | 2014-04-15 | 2014-04-15 | 視線検出装置、視線検出方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014083696A JP6179447B2 (ja) | 2014-04-15 | 2014-04-15 | 視線検出装置、視線検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015204021A JP2015204021A (ja) | 2015-11-16 |
JP6179447B2 true JP6179447B2 (ja) | 2017-08-16 |
Family
ID=54597439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014083696A Expired - Fee Related JP6179447B2 (ja) | 2014-04-15 | 2014-04-15 | 視線検出装置、視線検出方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6179447B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106325510B (zh) * | 2016-08-19 | 2019-09-24 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
NL2022598B1 (en) * | 2019-02-19 | 2020-08-31 | Easee Health B V | A method of performing an eye examination test for examining eyes of a user as well as a corresponding computing device. |
JP7477280B2 (ja) | 2019-10-25 | 2024-05-01 | 株式会社京三製作所 | ロック偏移測定装置、ロック偏移測定システムおよびロック偏移測定方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3272906B2 (ja) * | 1995-05-29 | 2002-04-08 | シャープ株式会社 | 視線方向検出方法及び装置及びそれを含むマンマシンインターフェース装置 |
JPH09175224A (ja) * | 1995-12-25 | 1997-07-08 | Nippon Hoso Kyokai <Nhk> | 瞳測定装置 |
JP4134891B2 (ja) * | 2003-11-28 | 2008-08-20 | 株式会社デンソー | 衝突可能性判定装置 |
JP2007206963A (ja) * | 2006-02-01 | 2007-08-16 | Canon Inc | 画像処理装置及び画像処理方法及びプログラム及び記憶媒体 |
-
2014
- 2014-04-15 JP JP2014083696A patent/JP6179447B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2015204021A (ja) | 2015-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11017218B2 (en) | Suspicious person detection device, suspicious person detection method, and program | |
JP4359710B2 (ja) | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 | |
JP5576937B2 (ja) | 車両の周辺監視装置 | |
JP4173902B2 (ja) | 車両周辺監視装置 | |
JP2007310705A (ja) | 車両周辺監視装置 | |
JP2015179984A (ja) | 画像処理装置、その方法、及び、そのプログラム | |
JP4528283B2 (ja) | 車両周辺監視装置 | |
JP2008123113A (ja) | 歩行者検知装置 | |
JP2007293627A (ja) | 車両の周辺監視装置、車両、車両の周辺監視方法、および車両の周辺監視用プログラム | |
JP2013009825A (ja) | 視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラム | |
US20160350615A1 (en) | Image processing apparatus, image processing method, and storage medium storing program for executing image processing method | |
EP2779024A1 (en) | Intersection recognizing apparatus and computer-readable storage medium | |
JP2016109587A (ja) | 画像処理装置 | |
JP6179447B2 (ja) | 視線検出装置、視線検出方法 | |
US10525900B2 (en) | Vehicle periphery monitoring device | |
JP2019052889A (ja) | 画像処理装置 | |
US10642353B2 (en) | Non-transitory computer-readable storage medium, information processing apparatus, and information processing method | |
JPWO2019016971A1 (ja) | 乗員数検知システム、乗員数検知方法、およびプログラム | |
JP2010026601A (ja) | 車両周辺監視装置 | |
CN111183454B (zh) | 识别装置、识别方法及识别程序 | |
JP6299371B2 (ja) | 撮像方向の傾き検出方法、撮像方向の傾き検出プログラムおよび撮像方向の傾き検出装置 | |
US10346706B2 (en) | Image processing device, image processing method, and non-transitory storage medium storing image processing program | |
JPWO2015198592A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP2010286995A (ja) | 車両用画像処理システム | |
JP2012073679A (ja) | 撮像装置、画像評価方法、及び焦点調整制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160627 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170407 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170605 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170620 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170703 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6179447 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |