JP7465738B2 - 電子機器、情報処理装置、覚醒度算出方法および覚醒度算出プログラム - Google Patents

電子機器、情報処理装置、覚醒度算出方法および覚醒度算出プログラム Download PDF

Info

Publication number
JP7465738B2
JP7465738B2 JP2020123234A JP2020123234A JP7465738B2 JP 7465738 B2 JP7465738 B2 JP 7465738B2 JP 2020123234 A JP2020123234 A JP 2020123234A JP 2020123234 A JP2020123234 A JP 2020123234A JP 7465738 B2 JP7465738 B2 JP 7465738B2
Authority
JP
Japan
Prior art keywords
image
subject
gaze
alertness
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020123234A
Other languages
English (en)
Other versions
JP2022019417A (ja
Inventor
教志 篠▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2020123234A priority Critical patent/JP7465738B2/ja
Priority to PCT/JP2021/025042 priority patent/WO2022014354A1/ja
Priority to CN202180048635.7A priority patent/CN115803778A/zh
Priority to US18/004,295 priority patent/US20230222816A1/en
Priority to EP21841278.1A priority patent/EP4184436A4/en
Publication of JP2022019417A publication Critical patent/JP2022019417A/ja
Application granted granted Critical
Publication of JP7465738B2 publication Critical patent/JP7465738B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6893—Cars
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Developmental Disabilities (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Ophthalmology & Optometry (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、電子機器、情報処理装置、覚醒度算出方法および覚醒度算出プログラム
に関するものである。
移動体の安全な運転には、運転者の注意力が求められる。それゆえ、運転者の注意力を観察して、注意力が低下する場合、運転者への警告を発したり、運転の支援を行うことが検討されている。注意力の観察として、自車の周辺の対向車などの対象物に対する視線の重なり度合いの累積値である累積視認度を算出し、基準値と比較することが提案されている（特許文献１参照）。また、監視対象者が視認すべき対象物を視認しているか否かを推定する注意力推定システムが提案されている（特許文献２参照）。
国際公開２００８－０２９８０２号 特開２０１５－２０７１６３号公報
特許文献１においては、累積視認度を算出するために、毎時における視認度を、テーブルを用いて算出している。しかし、実環境の多様な運転状況に対して適切なテーブルは異なっており、多様な運転状況において、運転者の注意力を正確に観察することは難しかった。特許文献２においては、監視対象者の状態を推定するためにマイクロサッカードを抽出する必要があり、処理が煩雑であった。
従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、多様な状況に対して対象者の注意力を正確に推定する電子機器、情報処理装置、覚醒度算出方法および覚醒度算出プログラムを提供することにある。
上述した諸課題を解決すべく、第１の観点による電子機器は、
撮像により光景に対応する画像を生成する撮像部と、
前記光景に対する対象者の視線を検知する視線検知部と、
前記画像および前記視線に基づいて前記対象者の覚醒度を推定する制御部と、を備え、
前記制御部は、
学習用画像と該学習用画像に対する学習用対象者の覚醒度が第１の範囲内である場合の視線との関係が機械学習された学習データによって構築され、前記画像に基づいて前記覚醒度が前記第１の範囲内である場合における該画像を構成する各位置における前記視線の確率を示す第１のヒートマップを推定可能な第１の推定部として機能し、
前記第１のヒートマップおよび前記対象者の視線に基づいて該対象者の覚醒度を算出する。
第２の観点による情報処理装置は、
光景に対応する画像、および前記光景に対する対象者の視線を取得する取得部と、
前記画像および前記視線に基づいて前記対象者の覚醒度を推定する制御部と、
前記覚醒度を出力する出力部と、を備え、
前記制御部は、
学習用画像と該学習用画像に対する学習用対象者の覚醒度が第１の範囲内である場合の視線との関係が機械学習された学習データによって構築され、前記画像に基づいて前記覚醒度が前記第１の範囲内である場合における該画像を構成する各位置における前記視線の確率を示す第１のヒートマップを推定可能な第１の推定部として機能し、
前記第１のヒートマップおよび前記対象者の視線に基づいて該対象者の覚醒度を算出する。
第３の観点による覚醒度算出方法は、
撮像により光景に対応する画像を生成する撮像工程と、
前記光景に対する対象者の視線を検知する視線検知工程と、
前記画像および前記視線に基づいて前記対象者の覚醒度を推定する推定工程と、を備え、
前記推定工程は、
学習用画像と該学習用画像に対する学習用対象者の覚醒度が第１の範囲内である場合の視線との関係が機械学習された学習データによって、前記画像に基づいて前記覚醒度が前記第１の範囲内である場合における該画像を構成する各位置における前記視線の確率を示す第１のヒートマップを推定し、
前記第１のヒートマップおよび前記対象者の視線に基づいて該対象者の覚醒度を算出する。
第４の観点による覚醒度算出プログラムは、
コンピュータを、
撮像により光景に対応する画像を生成する撮像部、
前記光景に対する対象者の視線を検知する視線検知部、および、
前記画像および前記視線に基づいて前記対象者の覚醒度を推定する制御部と、して機能させ、
前記制御部は、
学習用画像と該学習用画像に対する学習用対象者の覚醒度が第１の範囲内である場合の視線との関係が機械学習された学習データによって構築され、前記画像に基づいて前記覚醒度が前記第１の範囲内である場合における該画像を構成する各位置における前記視線の確率を示す第１のヒートマップを推定可能な第１の推定部として機能し、
前記第１のヒートマップおよび前記対象者の視線に基づいて該対象者の覚醒度を算出する。
上記のように構成された本開示に係る電子機器、情報処理装置、覚醒度算出方法および覚醒度算出プログラムによれば、多様な状況に対して対象者の注意力の推定精度が向上する。
第１の実施形態に係る電子機器の概略構成を示すブロック図である。 視線検知部が検知する視線と画像との関係を説明するための図である。 画像に対して第１の推定部が推定する第１のヒートマップの具体例を示す図である。 第１の実施形態において図１の制御部が実行する推定処理を説明するためのフローチャートである。 第２の実施形態に係る電子機器の概略構成を示すブロック図である。 第２の実施形態において、制御部が実行する類似度を算出するアルゴリズムを説明する第１の図である。 第２の実施形態において、制御部が実行する類似度を算出するアルゴリズムを説明する第２の図である。 視線の確率に対して定められる重みが関連付けられたテーブルである。 第２の実施形態において図５の制御部が実行する推定処理を説明するためのフローチャートである。 第１の実施形態の変形例において、第１の推定部が推定するヒートマップの概念図である。 第１の実施形態の変形例において推定されるヒートマップのデータ構造を示す図である。 第２の実施形態の変形例において、制御部が複数の推定部として機能してそれぞれヒートマップを推定する構成を説明するための概念図である。 第１の実施形態および第２の実施形態の変形例である情報処理装置の概略構成を示すブロック図である。
以下、本開示を適用した電子機器の実施形態について、図面を参照して説明する。なお、以下の説明は、本開示を適用した情報処理装置、覚醒度算出方法および覚醒度算出プログラムの説明を兼ねる。
本開示の第１の実施形態に係る電子機器は、例えば、移動体に設けられる。移動体は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。
図１に示すように、本開示の第１の実施形態に係る電子機器１０は、撮像部１１、視線検知部１２、メモリ１３、および制御部１４を含んで構成される。
撮像部１１は、例えば、移動体の前進方向の光景を撮像可能に、移動体に設けられている。撮像部１１は、例えば、３０ｆｐｓの速度で撮像可能なカメラである。撮像部１１は、撮像により光景に対応する画像を生成する。
視線検知部１２は、例えば、移動体の運転席に着座する対象者の視線を検知可能に、移動体に設けられている。視線検知部１２は、例えば、接触型のアイトラッカーおよび非接触型のアイトラッカーのいずれかであり、光景に対する対象者の視線を検知する。図２に示すように、視線ＬＳは、例えば、撮像部１１が撮像により生成する画像ＩＭと同じ座標系における位置ＰＥに相当する視線の方向として示される。
視線検知部１２は、視線データとして時系列の視線の視線データを検知してもよい。さらに具体的には、視線検知部１２は、時間ごとに視線の位置を画像上に検知して、その一連の時系列の視線の位置を視線データとして出力してもよい。視線検知部１２は、撮像部１１より高速、言換えると高頻度で視線を検知してよく検知したその一連の時系列の視線の位置を１つの画像の視線の経路として積算して出力してもよい。
メモリ１３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。メモリ１３は、制御部１４を機能させる多様なプログラム、および制御部１４が用いる多様な情報を記憶する。
制御部１４は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。制御部１４は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってもよい。制御部１４は、電子機器１０の各構成要素の動作を制御する。
制御部１４は、通常時に、例えば、３０ｆｐｓなどの速度で連続的な撮像を撮像部１１に実行させ、連続的に画像ＩＭを情報として取得する。制御部１４は、撮像部１１における撮像の実行時の対象者の視線ＬＳを視線検知部１２に検知させ、画像ＩＭの撮像時点と実質的に同じ時期における視線ＬＳを情報として取得する。画像ＩＭの撮像時点と実質的に同じ時期とは、単一の検出時点を含んでよく、画像ＩＭの直近の撮像のひとつ前の撮像時点から直近の撮像時点までの間の複数の検出時点を含んでよい。画像ＩＭの撮像時点と実質的に同じ時期は、視線の単一の検出時点を含む場合、厳密な同時点ではなく、画像撮像と同じ周期の視線検知において、撮像時に最も近い時点における検知時点を含んでよい。制御部１４は、画像ＩＭと、当該画像ＩＭの撮像時点と実質的に同じ時期に検知される視線ＬＳとを関連付けてメモリ１３に格納する。
制御部１４は、取得する画像ＩＭに画像処理を施してよい。後述する、推定部の学習を、セマンティックセグメンテーション画像などのように、通常の撮像画像ＩＭに対して所定の画像処理を施した画像で行う構成において、制御部１４は取得する画像ＩＭに当該所定の画像処理を施して、視線ＬＳと関連付けてメモリ１３に格納する。セマンティックセグメンテーション画像は、画像内の全画素に、ラベルまたはカテゴリを関連付けた画像である。
制御部１４は、撮像時点と検知時期とが実質的に同じである画像ＩＭおよび視線ＬＳに基づいて、対象者の覚醒度を推定する。さらに具体的には、制御部１４は、第１の推定部１５として機能することにより、対象者の覚醒度を推定する。
第１の推定部１５は、画像ＩＭに基づいて、対象者の覚醒度が第１の範囲である場合の第１のヒートマップを推定する。図３に示すように、第１のヒートマップＭＰ１とは、一般的な対象者の覚醒度が第１の範囲に含まれる場合に特定の光景に対してそれぞれの位置を注視する、すなわち視線ＬＳと重なる確率を、当該光景に対応する画像ＩＭを構成する各位置において示す二次元マップである。第１の範囲は、対象者が不注意状態と判別され得る範囲である。例えば、０％から３３％以下の範囲を低い覚醒度、３３％より大きく６６％以下の範囲を通常の覚醒度、６６％より大きく１００％以下の範囲を高い覚醒度とみなした場合、第１の範囲は、例えば、０％以上３３％以下の範囲内で定められる任意の範囲である。第１の範囲は、上記範囲に限定されず、適宜決定されてもよい。
第１の推定部１５は、例えば、多層構造のニューラルネットワークにより構成されている。第１の推定部１５は、後述するように、機械学習を実施することにより構築される。また、本開示で以下に説明する第１の推定部１５は、多層構造のニューラルネットワークにより構成されるとしてもよい。
制御部１４は、後述するように、連続的に撮像された複数の学習用画像を用いた学習により第１の推定部１５が構築されている構成において、連続的に撮像される複数の画像ＩＭおよび当該複数の画像ＩＭ毎に対する視線ＬＳ、言い換えると、複数の画像ＩＭ毎に関連付けられている視線ＬＳに基づいて、単一の第１のヒートマップＭＰ１を推定してよい。制御部１４は、例えば、最新の画像ＩＭから所定の時間間隔で遡った範囲内のフレームの画像ＩＭに基づいて、単一の第１のヒートマップＭＰ１を推定してよい。
制御部１４は、第１の推定部１５が推定した第１のヒートマップＭＰ１および対象者の視線ＬＳに基づいて、対象者の覚醒度を算出する。制御部１４は、例えば、対象者の視線ＬＳに対応する第１のヒートマップＭＰ１の位置、または当該位置を含む領域を特定する。制御部１４は、さらに、第１のヒートマップＭＰ１の位置における確率、または領域における確率の平均値もしくは重付け平均値などに応じた覚醒度を算出する。制御部１４は、例えば、関数またはテーブルにより、確率が大きくなるほど、低くなるように覚醒度を算出する。制御部１４は、例えば、確率が大きくなるほど、対象者の覚醒度が第１の範囲内の平均値、最大値、最小値などの特定の値に近づくように覚醒度を算出してもよい。制御部１４は、第１の推定部１５が推定した単一の第１のヒートマップＭＰ１上の対象者の視線ＬＳの経路における確率の積算値などを用いて覚醒度を算出してもよい。
制御部１４は、連続的に撮像される複数の画像ＩＭに基づいてそれぞれ推定される複数の第１のヒートマップＭＰ１、および当該複数の画像ＩＭ毎に対する視線ＬＳの位置にそれぞれ複数の第１のヒートマップＭＰ１において対応する確率の積算値に基づいて、対象者の覚醒度を算出してよい。制御部１４は、例えば、最新の画像ＩＭから所定の時間間隔で遡った範囲内のフレームの画像ＩＭにそれぞれ対応する第１のヒートマップＭＰ１基づいて、覚醒度を算出してよい。
制御部１４は、後述するように、連続的に撮像された複数の学習用画像に対して視線ＬＳの移動速度が閾値未満である学習用画像を用いた学習により第１の推定部１５が構築されている構成において、連続的に撮像される複数の画像ＩＭおよび当該複数の画像ＩＭに対する視線ＬＳの中で、視線ＬＳの移動速度が閾値以上である場合、当該視線ＬＳおよび当該視線ＬＳに関連付けられている画像ＩＭの組合せを除外して、対象者の覚醒度を全体的に推定してよい。より具体的には、制御部１４は、任意の検知時における視線ＬＳの、直前の検知時における視線ＬＳからの移動量が閾値を超える場合、当該任意の検知時における視線ＬＳ、および当該視線ＬＳの検知時に関連付けられている画像ＩＭの組合せを、除外してよい。言換えると、制御部１４は、サッカード中の情報を除外してもよい。除外する理由は、サッカードは次の注視点に移っている途中の動作であって、サッカード中の視線の位置は注視点としての意味を持たないためである。制御部１４は、サッカード中か否かを視線の位置の移動速度などで判定してもよい。
例えば、複数の画像ＩＭ毎に関連付けられている視線ＬＳに基づいて単一の第１のヒートマップＭＰ１を推定する構成においては、上述の組合せを除外して単一の第１のヒートマップＭＰ１を推定し、当該第１のヒートマップＭＰ１と視線ＬＳとに基づいて覚醒度を算出してよい。または、複数の画像ＩＭ毎に対する視線ＬＳの位置にそれぞれ複数の第１のヒートマップＭＰ１において対応する確率の積算値に基づいて対象者の覚醒度を算出する構成においては、上述の組合せを除外した複数の第１のヒートマップＭＰ１を推定し、上述の組合せを除外した視線ＬＳに対応する確率の積算値に基づいて覚醒度を算出してよい。
また、制御部１４は、単一の学習用画像内での視線ＬＳの移動速度が閾値未満である部分を含む経路を用いた学習により第１の推定部１５が構築されている構成において、視線ＬＳの経路の中で、視線ＬＳの移動速度が閾値以上である部分を除外して、対象者の覚醒度を全体的に推定してよい。
制御部１４は、算出した覚醒度を外部機器１６に出力する。外部機器１６は、覚醒度に基づいて所定の動作を行う装置である。外部機器１６は、例えば、覚醒度に基づいて対象者に警告を発する警告装置、覚醒度に基づいて移動体の運転補助を行う運転補助装置、および覚醒度に基づいて移動体の運転を行う運転装置などである。
第１の推定部１５は、学習用画像と、および当該学習用画像に対する学習用対象者の覚醒度が第１の範囲内である場合の当該学習用対象者の実際の視線との関係を機械学習させた学習データにより構築されている。学習のために用いる、学習用対象者の覚醒度は、学習用対象者から検出される覚醒度に関する生体情報から算出される。覚醒度に関する生体情報は、覚醒度を算出または推定させる生体情報である。覚醒度を算出または推定させる情報は、例えば、心拍、脳波、瞬き回数、ＰＥＲＣＬＯＳ（Ｐｅｒｃｅｎｔ ｏｆ Ｅｙｅｌｉｄ Ｃｌｏｓｕｒｅ）などの少なくとも１つを含む。
第１の推定部１５は、学習用画像と、覚醒度が第１の範囲内である場合の学習用対象者の視線ＬＳとの関係に基づいて、任意の画像ＩＭを構成する、画素毎、または複数の画素により構成される領域毎に視線ＬＳに重なる確率を推定する。第１の推定部１５は、覚醒度が第１の範囲内である場合の、任意の画像ＩＭを構成する位置毎の当該確率を二次元状に示す第１のヒートマップＭＰ１を生成する。
第１の推定部１５は、さらには、連続的に撮像された複数の学習用画像、および複数の学習用画像毎に相当する光景に対する学習用対象者の、覚醒度が第１の範囲内である場合の実際の視線の機械学習により構築されていてよい。より具体的には、連続的に撮像された複数の学習用画像それぞれに対して覚醒度が第１の範囲内である学習用対象者の視線の位置に基づいて、任意の単一の画像ＩＭを構成する、画素毎、または複数の画素により構成される領域毎に視線ＬＳに重なる確率を推定してよい。第１の推定部１５は、さらには、連続的に撮像された複数の学習用画像に対する視線の移動速度が閾値未満である学習用画像、および視線により構築されていてよい。
次に、第１の実施形態において制御部１４が実行する、推定処理について、図４のフローチャートを用いて説明する。推定処理は、１フレームの画像ＩＭおよび視線ＬＳを制御部１４が取得するたびに開始する。
ステップＳ１００において、制御部１４は、取得した視線ＬＳの移動速度を、直前に取得した視線ＬＳの位置ＰＥとの比較により算出する。算出後、プロセスはステップＳ１０１に進む。
ステップＳ１０１では、制御部１４は、ステップＳ１０１において算出した移動速度が閾値以上であるか否かを判別する。閾値以上である場合、プロセスはステップＳ１０２に進む。閾値以上でない場合、プロセスはステップＳ１０３に進む。
ステップＳ１０２では、制御部１４は、推定処理の開始時に取得した画像ＩＭおよび視線ＬＳを廃棄する。廃棄後、プロセスはステップＳ１０４に進む。
ステップＳ１０３では、制御部１４は、推定処理の開始時に取得した画像ＩＭおよび視線ＬＳを互いに関連付けてメモリ１３に格納する。格納後、プロセスはステップＳ１０４に進む。
ステップＳ１０４では、制御部１４は、所定の時間間隔で遡った範囲内に格納された画像ＩＭおよび視線ＬＳの組合せ中の画像ＩＭをメモリ１３から読出す。読出し後、プロセスはステップＳ１０５に進む。
ステップＳ１０５では、制御部１４は、ステップＳ１０４において読出した組合せに含まれる複数の画像ＩＭ基づいて、第１の推定部１５として機能することにより第１のヒートマップＭＰ１を推定する。推定後、プロセスはステップＳ１０６に進む。
ステップＳ１０６では、制御部１４は、ステップＳ１０５において推定した複数の第１のヒートマップＭＰ１と、ステップＳ１０４において読出した組合せに含まれる視線ＬＳとに基づいて、覚醒度が第１の範囲内に含まれる場合の視線ＬＳの確率を決定する。さらに、制御部１４は、決定した確率に基づいて、覚醒度を算出する。算出後、プロセスはステップＳ１０７に進む。
ステップＳ１０７では、制御部１４は、ステップＳ１０６において算出した覚醒度を外部機器１６に出力する。出力後、推定処理は終了する。
以上のような構成の第１の実施形態の電子機器１０では、制御部１４は、画像ＩＭに基づいて、覚醒度が第１の範囲内である場合における当該画像ＩＭを構成する各位置における視線ＬＳの確率を示す第１のヒートマップＭＰ１を推定可能な第１の推定部１５として機能し、推定された第１のヒートマップＭＰ１および視線ＬＳに基づいて、対象者の覚醒度を推定する。例えば、高速道路、市街地、郊外、住宅地などの多様な光景に対して、注視する対象および方向などは変わることが一般的である。それゆえ、単に視線ＬＳの動きのみの検知では、覚醒度の推定精度を向上させることが難しい。一方で、前述のような構成により、電子機器１０は、多様な光景に対して覚醒度の低い場合に人が注視する対象物の傾向を学習済みなので、その時々の光景に対応する画像ＩＭおよび視線ＬＳに基づいて、精度の高い覚醒度を推定し得る。人間の注意力は覚醒度に影響を受けるので、電子機器１０は、多様な状況における対象者の注意力の推定精度を向上させ得る。
また、第１の実施形態の電子機器１０は、連続的に撮像される複数の画像ＩＭおよび当該複数の画像ＩＭ毎に対する視線ＬＳに基づいて、対象者の覚醒度を算出する。このような構成により、電子機器１０は、覚醒度の違いによる多様な光景における視線ＬＳの変動を学習済みなので、その時々の光景に対応する画像ＩＭおよび視線ＬＳに基づいて、さらに精度の高い覚醒度を算出し得る。
また、第１の実施形態の電子機器１０は、連続的に撮像される複数の画像ＩＭおよび当該複数の画像ＩＭ毎に対する視線ＬＳの中で、視線ＬＳの移動速度が閾値を超える視線ＬＳおよび画像ＩＭの組合せを除外して、対象者の覚醒度を算出する。光景の中で対象者が注視している物体が、覚醒度に大きな影響を与える因子であると考えられる。それゆえ、サッカード中のように、任意の物体から他の物体に視線ＬＳが高速で変わる間の、視線ＬＳは覚醒度に与える影響は低いと考えられる。それゆえ、上述の構成の電子機器１０は、覚醒度に対する影響が低いと思われる画像ＩＭおよび視線ＬＳの組合せを除外しているので、よりいっそう精度の高い覚醒度を算出し得る。
次に、本開示の第２の実施形態に係る電子機器１０について説明する。第２の実施形態では、制御部１４の機能の一部において第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第２の実施形態について説明する。なお、第１の実施形態と同じ構成を有する部位には同じ符号を付す。
図５に示すように、第２の実施形態に係る電子機器１０は、撮像部１１、視線検知部１２、メモリ１３、および制御部１４を含んで構成される。第２の実施形態における撮像部１１、視線検知部１２、およびメモリ１３の構成および機能は、第１の実施形態と同じである。第２の実施形態における制御部１４の構成は、第１の実施形態と同じである。
第２の実施形態において、制御部１４は、第１の実施形態と異なり、第１の推定部１５および第２の推定部１７として機能することにより、撮像時と検知時が実質的に同じ時点である画像ＩＭおよび視線ＬＳに基づいて、対象者の覚醒度を推定する。第２の実施形態において、第１の推定部１５の機能および学習方法は、第１の実施形態と同じである。
第２の推定部１７は、画像ＩＭに基づいて、対象者の覚醒度が第２の範囲である場合の第２のヒートマップを推定する。第２のヒートマップとは、第１のヒートマップＭＰ１に類似して、一般的な対象者の覚醒度が第２の範囲に含まれる場合に特定の光景に対してそれぞれの位置を注視する、すなわち視線ＬＳと重なる確率を、当該光景に対応する画像ＩＭを構成する各位置において示す二次元マップである。第２の範囲は、対象者が平常状態と判別され得る範囲である。例えば、上述の範囲を低い覚醒度、通常の覚醒度、および高い覚醒度とみなした場合、第２の範囲は、例えば、３３％以上１００％以下の範囲内で定められる任意の範囲である。第２の範囲は、上記範囲に限定されず、適宜決定されてもよい。
第２の推定部１７は、例えば、多層構造のニューラルネットワークにより構成されている。第２の推定部１７は、後述するように、機械学習を実施することにより構築される。
第２の実施形態において、制御部１４は、第１の実施形態と異なり、第１の推定部１５が推定した第１のヒートマップＭＰ１、第２の推定部１７が推定した第２のヒートマップ、および対象者の視線ＬＳに基づいて、対象者の覚醒度を算出する。第２の実施形態において、制御部１４は、例えば、対象者の視線ＬＳと、第１のヒートマップＭＰ１および第２のヒートマップとに基づいて第１の覚醒度および第２の覚醒度への類似度を算出し、算出した類似度に基づいて、覚醒度を算出する。類似度は、対象者の視線ＬＳが、覚醒度が第１の範囲である一般的な対象者の視線、又は覚醒度が第２範囲である一般的な対象者の視線の類似の程度を示す指標である。類似度の算出方法について、以下に例示して説明する。
制御部１４は、例えば、単一の画像ＩＭに対して推定された第１のヒートマップＭＰ１および第２のヒートマップＭＰ２において、対象者の視線ＬＳの位置の確率を類似度として算出する。また、制御部１４は、例えば、第１の推定部１５が推定した第１のヒートマップＭＰ１上の対象者の視線ＬＳの経路における確率の積算値と、第２の推定部１７が推定した第２のヒートマップＭＰ２上の対象者の視線ＬＳの経路における確率の積算値とを比較し、より値が大きい積算値を用いて類似度を算出する。
視線ＬＳの経路に基づく類似度の算出について、図６、７を参照して説明する。図６、７は、第２の実施形態において制御部１４が実行する類似度を算出するアルゴリズムを説明するための図である。前述のように、単一の画像ＩＭに対して、第１の推定部１５は第１のヒートマップＭＰ１を推定し、第２の推定部１７は第２のヒートマップＭＰ２を推定する。
制御部１４は、単一の画像ＩＭに対する視線ＬＳの経路ＲＴに基づいて、第１のヒートマップＭＰ１および第２のヒートマップＭＰ２それぞれにおける当該経路ＲＴが通る各位置の確率を読み出す。制御部１４は、例えば、第１のヒートマップＭＰ１および第２のヒートマップＭＰ２それぞれにおける経路ＲＴが通る各位置の確率の積算値、言換えると、図７に示すように、経路ＲＴの始点および終点における視線ＬＳの位置の検知時点の間隔における面積を算出する。制御部１４は、当該面積を類似度として算出してよい。または、制御部１４は、当該面積に応じて大きくなる値を類似度として算出してよい。例えば、制御部１４は、視線の確率に応じて大きくなる重み付けられた確率の積算値を類似度として算出してよい。
図８に示すように、メモリ１３は、視線ＬＳの確率に対する重みが関連付けられたテーブルを格納する。制御部１４は、視線ＬＳの確率の重み付け積算値を算出する場合、メモリ１３からテーブルを読み出す。
例えば、当該テーブルでは、学習により推定可能な確率が整数である構成において、 ８０％以上かつ１００％以下の範囲の確率に対して、重みは１．５に定められている。また、当該テーブルでは、６０％以上かつ７９％以下の範囲の確率に対して、重みは１．０に定められている。また、当該テーブルでは、４０％以上かつ５９％以下の範囲の確率に対して、重みは０．５に定められている。また、当該テーブルでは、０％以上かつ３９％以下の範囲の確率に対して、重みは０．３に定められている。ただし、確率の値に対する重み以外の設定は適宜定められてよい。
このように、制御部１４が、視線ＬＳの確率に応じた重み付け積算値に基づいて類似度を算出することにより、信頼度が高い確率の比重を大きくし、覚醒度推定の精度を向上させ得る。なお、制御部１４は、前述の第１の実施形態において、この図８に示されるようなテーブルを用いて、視線ＬＳの確率に応じた重み付け積算値に基づいて信頼度が高い確率の比重を大きくし、覚醒度推定の精度を向上させてもよい。
また、制御部１４は、上述の確率の積算値の時間当たりの平均値または重付け平均値などを類似度として算出してもよい。
さらに、制御部１４は、例えば、第１の範囲内の平均値、最大値、最小値などの特定の値と、第２の範囲内の平均値、最大値、最小値などの特定の値とに、類似度により重み付けした平均値を覚醒度として算出してよい。
第２の実施形態において、制御部１４は、第１の実施形態と同じく、算出した覚醒度を外部機器１６に出力する。
第２の推定部１７は、学習用画像と、当該学習用画像に対する学習用対象者の覚醒度が第２の範囲内である場合の当該学習用対象者の実際の視線との関係を機械学習させた学習データにより構築されている。第２の推定部１７は、学習用画像と、覚醒度が第２の範囲内である場合の学習用対象者の視線との関係に基づいて、任意の画像ＩＭを構成する、画素毎、または複数の画素により構成される領域毎に視線ＬＳに重なる確率を推定する。第２の推定部１７は、覚醒度が第２の範囲内である場合の、任意の画像ＩＭを構成する位置毎の当該確率を二次元状に示す第２のヒートマップを生成する。
次に、第２の実施形態において制御部１４が実行する、推定処理について、図９のフローチャートを用いて説明する。推定処理は、１フレームの画像ＩＭおよび視線ＬＳを制御部１４が取得するたびに開始する。
ステップＳ２００からＳ２０４において、制御部１４は、第１の実施形態の推定処理と同じ制御を実行する。ステップＳ２０４において、組合せ中の画像ＩＭの読出し後、プロセスはステップＳ１０５に進む。
ステップＳ２０５では、制御部１４は、ステップＳ２０４において読出した組合せに含まれる複数の画像ＩＭ基づいて、第１の推定部１５として機能することにより第１のヒートマップＭＰ１を推定する。また、制御部１４は、ステップＳ２０４において読出した組合せに含まれる複数の画像ＩＭ基づいて、第２の推定部１７として機能することにより第２のヒートマップを推定する。推定後、プロセスはステップＳ２０６に進む。
ステップＳ２０６では、制御部１４は、ステップＳ２０５において推定した複数の第１のヒートマップＭＰ１および複数の第２のヒートマップと、ステップＳ２０４において読出した組合せに含まれる視線ＬＳとに基づいて、覚醒度を算出する。算出後、プロセスはステップＳ２０７に進む。
ステップＳ２０７では、制御部１４は、ステップＳ２０６において算出した覚醒度を外部機器１６に出力する。出力後、推定処理は終了する。
以上のような構成の第２の実施形態の電子機器１０では、制御部１４は、画像ＩＭに基づいて、覚醒度が第２の範囲内である場合における当該画像ＩＭを構成する各位置における視線ＬＳの確率を示す第２のヒートマップを推定可能な第２の推定部１７としてさらに機能し、推定された第１のヒートマップＭＰ１、第２のヒートマップ、および視線ＬＳに基づいて、対象者の覚醒度を推定する。上述のような構成により、電子機器１０は、覚醒度が第の範囲内である場合だけでなく、第２の範囲内にある場合の第２のヒートマップも用いて、対象者の覚醒度を推定するので、より信頼性の高い、言い換えると精度の高い覚醒度を算出し得る。
本開示の内容は、当業者であれば本開示に基づき種々の変形および修正を行うことができる。したがって、これらの変形および修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段、各ステップなどは論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段、各ステップなどと置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段、各ステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。
例えば、第１の実施形態において制御部１４は第１の推定部１５として機能する構成である。しかし、制御部１４はこのような構成に限定されない。例えば、第１の推定部１５は、覚醒度が第１の範囲以外である複数の範囲別のヒートマップを推定してよい。
複数の範囲別のヒートマップを推定する構成について、以下に簡単に説明する。制御部１４は、３次元行列を用いて単一の画像に対して複数の範囲別のヒートマップを出力してもよい。第１の実施形態の変形例の電子機器１０を、図１０を参照して説明する。図１０は、第１の実施形態の変形例に係る電子機器１０において推定されるヒートマップの概念図である。
図１０に示すように、変形例に係る電子機器１０において、第１の推定部１５は覚醒度の複数の範囲別のヒートマップを推定する。変形例に係る電子機器１０における第１の推定部１５が推定する複数の範囲別のヒートマップについて、図１１を参照して説明する。図１１は、変形例における第１の推定部１５の動作の概念図である。図１１に示すように、第１の推定部１５は、縦画素×横画素２次元座標系で示される画像ＩＭに対して、複数の覚醒度の座標軸を加えた３次元状のヒートマップを推定して、出力する。
例えば、３次元状のヒートマップは、覚醒度の第１の範囲に対応するヒートマップと、覚醒度の第２の範囲に対応するヒートマップと、覚醒度の第３の範囲に対応するヒートマップと、覚醒度の第４の範囲に対応するヒートマップを含む。覚醒度の第１の範囲に対応するヒートマップは、ａ［０］［０］［０］、ａ［０］［１］［０］、・・・、ａ［０］［１］［２］を含む。ここで、ａ［ｓ］［ｉ］［ｊ］は、覚醒度の番号にｓ、ｘ座標がｉであり、y座標がｊである視線ＬＳの位置における、覚醒度の番号がｓである覚醒度に対応する確率を示す。覚醒度の第２の範囲に対応するヒートマップは、ａ［１］［０］［０］、ａ［１］［１］［０］、・・・、ａ［１］［１］［２］を含む。覚醒度の第３の範囲に対応するヒートマップは、ａ［２］［０］［０］、ａ［２］［１］［０］、・・・、ａ［２］［１］［２］を含む。覚醒度の第４の範囲に対応するヒートマップは、ａ［３］［０］［０］、ａ［３］［１］［０］、・・・、ａ［３］［１］［２］を含む。上述の３次元状のヒートマップは、各値が連続するように並べられ、メモリ１３に順次格納される。
上述の例における３次元状のヒートマップは４つの覚醒度の範囲を含む構成であるが、覚醒度の範囲の数は任意に定めてよい。また、当該３次元状のヒートマップは、各範囲に対して、２×３のサイズの行列状のヒートマップが含む構成であるが、サイズは任意に定めてもよい。
また、第２の実施形態において、制御部１４は第１の推定部１５および第２の推定部１７の２つの推定部として機能する構成であるが、推定部の数は２つに限定されず、制御部１４は複数の推定部として機能してよい。図１２に示すように、例えば、制御部１４は、第１の推定部１５、第３の推定部２２、および第４の推定部２３の３つの推定部として機能する。第１の実施形態のように、第１の推定部１５は、対象者の覚醒度が第１の範囲である場合の第１のヒートマップＭＰ１を推定する。第３の推定部２２は、対象者の覚醒度が通常程度、例えば、覚醒度が３３％以上６６％以下の範囲である場合の第３のヒートマップＭＰ３を推定する。第４の推定部２３は、対象者が高い覚醒度、例えば、覚醒度が６６％を超え１００％以下の範囲である場合の第４のヒートマップＭＰ４を推定する。
このように、第２の実施形態の変形例では、各推定部がヒートマップを推定する。このように、第２の実施形態の変形例では、各推定部がそれぞれの覚醒度に応じたヒートマップを推定するように役割が限定されているため、適切なヒートマップを推定するなど高い性能を発揮させることができる。
さらに、制御部１４は、第１のヒートマップＭＰ１、複数のヒートマップ、および対象者の視線ＬＳに基づいて、覚醒度を算出してよい。当該複数のヒートマップは、学習用画像と、当該学習用画像に対する学習用対象者の覚醒度がそれぞれ前述の複数の範囲別の学習用対象の視線との関係を機械学習させた学習データにより構築されていてよい。
また、第１実施形態および第２の実施形態において、電子機器１０が撮像部１１および視線検知部１２を備え、覚醒度の推定に用いる画像ＩＭおよび視線ＬＳを制御部１４が取得する構成であるが、このような構成に限定されない。図１３に示すように、例えば、クラウドサーバなどの情報処理装置１８が、電子機器１０と類似して、画像ＩＭおよび視線ＬＳに基づいて、覚醒度を推定しよい。このような構成においては、情報処理装置１８は、撮像部１１および視線検知部１２を搭載する移動体１９から、取得部２０を介して画像ＩＭおよび視線ＬＳを情報として取得してよい。情報処理装置１８は、出力部２１を介して推定した覚醒度を、当該移動体１９における外部機器１６に出力してもよい。
１０ 電子機器
１１ 撮像部
１２ 視線検知部
１３ メモリ
１４ 制御部
１５ 第１の推定部
１６ 外部機器
１７ 第２の推定部
１８ 情報処理装置
１９ 取得部
２０ 移動体
２１ 出力部
２２ 第３の推定部
２４ 第４の推定部
２５ 第５の推定部
ＩＭ 画像
ＬＳ 視線
ＭＰ１ 第１のヒートマップ
ＰＥ 視線の方向に相当する位置
ＲＴ 視線の経路

Claims (8)

  1. 撮像により光景に対応する画像を生成する撮像部と、
    前記光景に対する対象者の視線を検知する視線検知部と、
    前記画像および前記視線に基づいて前記対象者の覚醒度を推定する制御部と、を備え、
    前記制御部は、
    学習用画像と該学習用画像に対する学習用対象者の覚醒度が第１の範囲内である場合の視線との関係が機械学習された学習データによって構築され、前記画像に基づいて前記覚醒度が前記第１の範囲内である場合における該画像を構成する各位置における前記視線の確率を示す第１のヒートマップを推定可能な第１の推定部として機能し、
    前記第１のヒートマップおよび前記対象者の視線に基づいて該対象者の覚醒度を算出する
    電子機器。
  2. 請求項１に記載の電子機器において、
    前記第１の推定部は、
    学習用画像と該学習用画像に対する学習用対象者の覚醒度が第１の範囲以外の少なくとも１つの範囲別の前記学習用対象者の視線との関係が機械学習された学習データによって構築され、前記画像に基づいて、前記覚醒度が前記複数の範囲それぞれに含まれる場合における該画像を構成する各位置における前記視線の確率を示す該少なくとも１つの範囲別のヒートマップを推定可能であり、
    前記制御部は、前記複数のヒートマップに基づいて該対象者の覚醒度を算出する
    電子機器。
  3. 請求項１または２に記載の電子機器において、
    前記制御部は、
    学習用画像と該学習用画像に対する学習用対象者の覚醒度が第１の範囲以外の少なくとも１つの範囲別の前記学習用対象者の視線との関係が機械学習された学習データによって構築され、前記画像に基づいて、前記覚醒度が前記少なくとも１つの範囲に含まれる場合における該画像を構成する各位置における前記視線の確率を示す該少なくとも１つの範囲別のヒートマップを推定可能な少なくとも1つの推定部として機能し、
    前記第１のヒートマップと前記少なくとも１つのヒートマップに基づいて該対象者の覚醒度を算出する
    電子機器。
  4. 請求項１から３のいずれか１項に記載の電子機器において、
    前記制御部は、連続的に撮像される複数の前記画像および該複数の画像毎に対する前記視線に基づいて、前記対象者の覚醒度を算出する
    電子機器。
  5. 請求項４に記載の電子機器において、
    前記制御部は、前記連続的に撮像される複数の前記画像および該画像毎に対する前記視線の中で、前記視線の移動速度が閾値を超える視線および画像の組合せを除外して、前記対象者の覚醒度を算出する
    電子機器。
  6. 光景に対応する画像、および前記光景に対する対象者の視線を取得する取得部と、
    前記画像および前記視線に基づいて前記対象者の覚醒度を推定する制御部と、
    前記覚醒度を出力する出力部と、を備え、
    前記制御部は、
    学習用画像と該学習用画像に対する学習用対象者の覚醒度が第１の範囲内である場合の視線との関係が機械学習された学習データによって構築され、前記画像に基づいて前記覚醒度が前記第１の範囲内である場合における該画像を構成する各位置における前記視線の確率を示す第１のヒートマップを推定可能な第１の推定部として機能し、
    前記第１のヒートマップおよび前記対象者の視線に基づいて該対象者の覚醒度を算出する
    情報処理装置。
  7. 撮像により光景に対応する画像を生成する撮像工程と、
    前記光景に対する対象者の視線を検知する視線検知工程と、
    前記画像および前記視線に基づいて前記対象者の覚醒度を推定する推定工程と、を備え、
    前記推定工程は、
    学習用画像と該学習用画像に対する学習用対象者の覚醒度が第１の範囲内である場合の視線との関係が機械学習された学習データによって、前記画像に基づいて前記覚醒度が前記第１の範囲内である場合における該画像を構成する各位置における前記視線の確率を示す第１のヒートマップを推定し、
    前記第１のヒートマップおよび前記対象者の視線に基づいて該対象者の覚醒度を算出する
    覚醒度算出方法。
  8. コンピュータを、
    撮像により光景に対応する画像を生成する撮像部、
    前記光景に対する対象者の視線を検知する視線検知部、および、
    前記画像および前記視線に基づいて前記対象者の覚醒度を推定する制御部と、して機能させ、
    前記制御部は、
    学習用画像と該学習用画像に対する学習用対象者の覚醒度が第１の範囲内である場合の視線との関係が機械学習された学習データによって構築され、前記画像に基づいて前記覚醒度が前記第１の範囲内である場合における該画像を構成する各位置における前記視線の確率を示す第１のヒートマップを推定可能な第１の推定部として機能し、
    前記第１のヒートマップおよび前記対象者の視線に基づいて該対象者の覚醒度を算出する
    覚醒度算出プログラム。
JP2020123234A 2020-07-17 2020-07-17 電子機器、情報処理装置、覚醒度算出方法および覚醒度算出プログラム Active JP7465738B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020123234A JP7465738B2 (ja) 2020-07-17 2020-07-17 電子機器、情報処理装置、覚醒度算出方法および覚醒度算出プログラム
PCT/JP2021/025042 WO2022014354A1 (ja) 2020-07-17 2021-07-01 電子機器、情報処理装置、覚醒度算出方法および覚醒度算出プログラム
CN202180048635.7A CN115803778A (zh) 2020-07-17 2021-07-01 电子设备、信息处理装置、清醒度计算方法以及清醒度计算程序
US18/004,295 US20230222816A1 (en) 2020-07-17 2021-07-01 Electronic device, information processing device, alertness level calculating method, and alertness level calculating program
EP21841278.1A EP4184436A4 (en) 2020-07-17 2021-07-01 ELECTRONIC DEVICE, INFORMATION PROCESSING DEVICE, CONSCIOUSNESS CALCULATION METHOD AND CONSCIOUSNESS CALCULATION PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020123234A JP7465738B2 (ja) 2020-07-17 2020-07-17 電子機器、情報処理装置、覚醒度算出方法および覚醒度算出プログラム

Publications (2)

Publication Number Publication Date
JP2022019417A JP2022019417A (ja) 2022-01-27
JP7465738B2 true JP7465738B2 (ja) 2024-04-11

Family

ID=79555302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020123234A Active JP7465738B2 (ja) 2020-07-17 2020-07-17 電子機器、情報処理装置、覚醒度算出方法および覚醒度算出プログラム

Country Status (5)

Country Link
US (1) US20230222816A1 (ja)
EP (1) EP4184436A4 (ja)
JP (1) JP7465738B2 (ja)
CN (1) CN115803778A (ja)
WO (1) WO2022014354A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3136258A1 (en) * 2021-01-05 2022-07-05 The Boeing Company Fuel receptacle and boom tip position and pose estimation for aerial refueling

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005087284A (ja) 2003-09-12 2005-04-07 Nissan Diesel Motor Co Ltd 覚醒状態判定装置及び覚醒状態判定方法
JP2005267108A (ja) 2004-03-17 2005-09-29 Denso Corp 運転支援装置
WO2017195405A1 (ja) 2016-05-11 2017-11-16 ソニー株式会社 画像処理装置及び画像処理方法、並びに移動体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008029802A1 (fr) 2006-09-04 2008-03-13 Panasonic Corporation Dispositif fournissant des informations de voyage
JP2015207163A (ja) 2014-04-21 2015-11-19 株式会社デンソー 状態推定装置、および状態推定プログラム
US20150339589A1 (en) * 2014-05-21 2015-11-26 Brain Corporation Apparatus and methods for training robots utilizing gaze-based saliency maps
JP7289661B2 (ja) 2019-01-31 2023-06-12 キヤノン株式会社 情報処理装置、制御方法、およびそのプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005087284A (ja) 2003-09-12 2005-04-07 Nissan Diesel Motor Co Ltd 覚醒状態判定装置及び覚醒状態判定方法
JP2005267108A (ja) 2004-03-17 2005-09-29 Denso Corp 運転支援装置
WO2017195405A1 (ja) 2016-05-11 2017-11-16 ソニー株式会社 画像処理装置及び画像処理方法、並びに移動体

Also Published As

Publication number Publication date
CN115803778A (zh) 2023-03-14
WO2022014354A1 (ja) 2022-01-20
JP2022019417A (ja) 2022-01-27
US20230222816A1 (en) 2023-07-13
EP4184436A1 (en) 2023-05-24
EP4184436A4 (en) 2024-05-29

Similar Documents

Publication Publication Date Title
Azim et al. Fully automated real time fatigue detection of drivers through fuzzy expert systems
JP6087088B2 (ja) 乗り物の操作者の遂行見積もりを向上させるためのシステムおよび方法
CN111497741B (zh) 碰撞预警方法及装置
KR20160133179A (ko) 통합 hvi기반 운전자 위험상황 판단 방법 및 장치
Chang et al. Driver fatigue surveillance via eye detection
JP7465738B2 (ja) 電子機器、情報処理装置、覚醒度算出方法および覚醒度算出プログラム
JP7160867B2 (ja) 電子機器、情報処理装置、推定方法、および推定プログラム
JP7433155B2 (ja) 電子機器、情報処理装置、推定方法、および推定プログラム
Tang et al. Driver's Perception Model in Driving Assist
WO2021024905A1 (ja) 画像処理装置、モニタリング装置、制御システム、画像処理方法、コンピュータプログラム、及び記憶媒体
WO2021262166A1 (en) Operator evaluation and vehicle control based on eyewear data
US20240005676A1 (en) Electronic device, information processing apparatus, degree-of-concentration calculation program, degree-of-concentration calculation method, and computer training method
JP2022088962A (ja) 電子機器、情報処理装置、集中度算出プログラム、及び集中度算出方法
Rahunathan et al. Drowsiness detection and accident prevention by using K Nearest Neighbor (KNN) algorithm
EP4332886A1 (en) Electronic device, method for controlling electronic device, and program
US20230215016A1 (en) Facial structure estimating device, facial structure estimating method, and facial structure estimating program
JP7318352B2 (ja) 画像処理装置、モニタリング装置、制御システム、画像処理方法、及びプログラム
Uke et al. Drowsiness Detection–A Visual System for Driver Support
Kaur et al. Driver’s Drowsiness Detection System Using Machine Learning
Jain et al. Advanced Detection of Driver Drowsiness Using CNN-LSTM Robust Approach
JP2024068440A (ja) 運転支援装置
Li et al. Vision-based estimation of driving inattention fused via dempster-shafer theory
Fazli et al. Automatic Fatigue Detection Based On Eye States
Azim et al. Automatic fatigue detection of drivers through real time eye tracking
Zaid et al. Assessing Driver Hazard Attention Toward anIntelligent, Artificial Co-Driver

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240401

R150 Certificate of patent or registration of utility model

Ref document number: 7465738

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150