JP6535694B2 - 情報処理方法、情報処理装置及びプログラム - Google Patents

情報処理方法、情報処理装置及びプログラム Download PDF

Info

Publication number
JP6535694B2
JP6535694B2 JP2017031288A JP2017031288A JP6535694B2 JP 6535694 B2 JP6535694 B2 JP 6535694B2 JP 2017031288 A JP2017031288 A JP 2017031288A JP 2017031288 A JP2017031288 A JP 2017031288A JP 6535694 B2 JP6535694 B2 JP 6535694B2
Authority
JP
Japan
Prior art keywords
eye
user
information processing
degree
awakening degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017031288A
Other languages
English (en)
Other versions
JP2018134274A (ja
JP2018134274A5 (ja
Inventor
泰生 菰田
泰生 菰田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JINS INC.
Original Assignee
JINS INC.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JINS INC. filed Critical JINS INC.
Priority to JP2017031288A priority Critical patent/JP6535694B2/ja
Priority to CN201880013229.5A priority patent/CN110366388B/zh
Priority to US16/487,575 priority patent/US11006873B2/en
Priority to PCT/JP2018/002929 priority patent/WO2018155098A1/ja
Priority to EP18757540.2A priority patent/EP3586733B1/en
Publication of JP2018134274A publication Critical patent/JP2018134274A/ja
Publication of JP2018134274A5 publication Critical patent/JP2018134274A5/ja
Application granted granted Critical
Publication of JP6535694B2 publication Critical patent/JP6535694B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168Evaluating attention deficit, hyperactivity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/398Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Emergency Alarm Devices (AREA)

Description

本発明は、情報処理方法、情報処理装置及びプログラムに関する。
従来、運転者から覚醒度の低下が検出された場合に、運転者の覚醒度を向上させる装置が提案されている。例えば、特許文献1の記載の技術では、運転者の瞬きから抽出されるパラメータに基づいて、運転者の覚醒度を算出する。
特許3127760号公報
特許文献1には、パラメータとして眼電位を用いてもよいことが開示されている。しかし、眼電位のピークにおける幅や高さは、瞬きの長さや弱さによって変動するため、覚醒度合が同一の場合であっても、個人間や個人内でばらつきが大きい。従って、特許文献1のような従来の技術では、このような個人間や個人内のばらつきによって、覚醒度の判定に誤差が生じてしまう。
そこで、開示技術は、瞬きの個人間や個人内のばらつきによる覚醒度の判定誤差を低減させることを目的とする。
開示技術の一態様における情報処理方法は、コンピュータが実行する情報処理方法であって、ユーザが装着する処理装置からユーザの眼電位に関する第1生体情報を取得することと、眼電位のピークにおける高さと幅とを軸とする座標空間において、等覚醒度線と平行な射影軸と、第1生体情報をプロットした点との距離に基づいて、ユーザの覚醒度合を算出することと、を実行する。
開示技術によれば、瞬きの個人間や個人内のばらつきによる覚醒度の判定誤差を低減させることを可能にする。
実施例における情報処理システムの一例を示す図である。 実施例における処理装置の構成の一例を示すブロック図である。 実施例における情報処理装置のハードウェア構成を示す概略構成図である。 実施例における情報処理装置の構成の一例を示す図である。 実施例における覚醒度算出処理に用いられるグラフである。 実施例における覚醒度算出処理に用いられるグラフである。 実施例における報知処理の一例を示すフローチャートである。 変形例における覚醒度算出処理に用いられるグラフである。
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
[実施例]
実施例では、加速度センサ及び角速度センサ、生体電極を搭載する対象として、アイウエアを例に挙げるが、これに限られない。図1は、実施例における情報処理システム1の一例を示す図である。図1に示す情報処理システム1は、外部装置10とアイウエア30とサーバ40を含み、外部装置10とアイウエア30とサーバ40は、ネットワークを介して接続され、データ通信可能になっている。
アイウエア30は、例えばテンプル部分に処理装置20を搭載する。処理装置20は、3軸加速度センサ及び3軸角速度センサ(6軸センサでもよい)を含む。また、アイウエア30は、一対のノーズパッド及びブリッジ部分にそれぞれ生体電極31、33、35を有する。アイウエア30に設けられる生体電極から取得される眼電位信号は、処理装置20に送信される。生体電極は、瞬目や視線移動等を検出するために設けられているが、画像処理により瞬目や視線移動等を検出する場合には、生体電極は設けられなくてもよい。
処理装置20は、センサ信号や眼電位信号、及び/又はこれらの信号から算出される生体情報等を外部装置10やサーバ40に送信する。処理装置20の設置位置は、必ずしもテンプルである必要はないが、アイウエア30が装着された際のバランスを考慮して位置決めされればよい。
外部装置10は、通信機能を有する情報処理装置である。例えば、外部装置10は、ユーザが所持する携帯電話及びスマートフォン等の携帯通信端末、パーソナルコンピュータ、タブレット端末等である。外部装置10は、処理装置20から受信したセンサ信号や眼電位信号等に基づいて、運転中のユーザの覚醒度を判定し、運転を支援する。以下、外部装置10は、情報処理装置10と称して説明する。
サーバ40は、情報処理装置10から覚醒度に関する情報等を取得し、記憶する。サーバ40は、処理装置20から直接、生体情報や、センサ信号、眼電位信号等を取得する構成でもよい。この場合、サーバ40は、必要に応じて情報処理装置10からのリクエストに応じ、センサ信号や眼電位信号等を外部装置10に送信することができる。
<処理装置20の構成>
図2は、実施例における処理装置20の構成の一例を示すブロック図である。図2に示すように、処理装置20は、処理部202、送信部204、6軸センサ206、及び電源部208を有する。また、各生体電極31、33、35は、例えば増幅部を介して電線を用いて処理部202に接続される。なお、処理装置20の各部は、一方のテンプルに設けられるのではなく、一対のテンプルに分散して設けられてもよい。
6軸センサ206は、3軸加速度センサ及び3軸角速度センサである。また、これらの各センサは別個に設けられてもよい。6軸センサ206は、検出したセンサ信号(又は検出データとも称す)を処理部202に出力する。
処理部202は、例えばプロセッサであり、6軸センサ206から得られるセンサ信号や、生体電極から得られる眼電位信号を必要に応じて処理し、送信部204に出力する。例えば、処理部202は、眼電位信号を用いて、瞬目に関する生体情報や、視線移動に関する生体情報を算出することができる。なお、実施例では、処理部202は眼電位信号に関する生体情報を送信部204に出力するものとして説明する。
また、処理部202は、6軸センサ206からのセンサ信号を用いて、体動に関する生体情報を算出する。体動に関する生体情報は、例えば所定時間内における頭部運動を示す情報である。例えば、処理部202は、6軸センサ206からのセンサ信号を用いて、ピッチ(Pitch)角を示すデータ、ロール(Roll)角を示すデータ、ヨー(Yaw)角を示すデータ、及び体軸の傾きの方向と大きさを含む姿勢を示すデータ(以下、これらを総称して「頭部運動情報」とも呼ぶ)を生成することができる。ピッチ角は、例えば頭の前後のブレを示し、ロール角は、例えば頭の左右のブレを示し、ヨー角は、例えば首の左右回転のブレを示し、体軸の傾きの方向及び大きさは、例えば頭の傾きの方向及び大きさを示す。ピッチ角、ロール角、ヨー角及び姿勢については、公知の技術を用いて算出すればよい。また、処理部202は、6軸センサ206から得られるセンサ信号を増幅等するだけでもよい。以下では、瞬目や視線移動に関する生体情報や、頭部運動情報について、処理部202により算出される例を用いて説明するが、情報処理装置10又はサーバ40により算出されてもよい。
送信部204は、処理部202によって処理された眼電位信号に関する生体情報、及び/又は頭部運動情報を含む各情報を情報処理装置10やサーバ40に送信する。例えば、送信部204は、Bluetooth(登録商標)及び無線LAN等の無線通信、又は有線通信によって瞬目や視線移動に関する生体情報や頭部運動情報を情報処理装置10やサーバ40に送信する。電源部208は、処理部202、送信部204、6軸センサ206等に電力を供給する。
<情報処理装置10の構成>
(ハードウェア構成)
図3は、実施例における情報処理装置10のハードウェア構成を示す概略構成図である。情報処理装置10の典型的な一例は、スマートフォンなどの携帯電話であるが、この他、ネットワークに無線又は有線接続可能な携帯端末、あるいはタブレット型端末のようなタッチパネルを搭載した電子機器など、ネットワークを使って通信しながらデータ処理しつつ画面表示可能な汎用機器なども実施形態における情報処理装置10に該当しうる。
実施形態における情報処理装置10は、例えば、図示しない矩形の薄形筐体を備え、その筐体の一方の面には、タッチパネル102が構成される。情報処理装置10では、各構成要素が主制御部150に接続されている。主制御部150は、例えばプロセッサである。
主制御部150には、移動体通信用アンテナ112、移動体通信部114、無線LAN通信用アンテナ116、無線LAN通信部118、記憶部120、スピーカ104、マイクロフォン106、ハードボタン108、ハードキー110及び6軸センサ111が接続されている。また、主制御部150には、さらに、タッチパネル102、カメラ130、及び外部インターフェース140が接続されている。外部インターフェース140は、音声出力端子142を含む。
タッチパネル102は、表示装置及び入力装置の両方の機能を備え、表示機能を担うディスプレイ(表示画面)102Aと、入力機能を担うタッチセンサ102Bとで構成される。ディスプレイ102Aは、例えば、液晶ディスプレイや有機EL(Electro Luminescence)ディスプレイなどの一般的な表示デバイスにより構成される。タッチセンサ102Bは、ディスプレイ102Aの上面に配置された接触操作を検知するための素子及びその上に積層された透明な操作面を備えて構成される。タッチセンサ102Bの接触検知方式としては、静電容量式、抵抗膜式(感圧式)、電磁誘導式など既知の方式のうちの任意の方式を採用することができる。
表示装置としてのタッチパネル102は、主制御部150によるプログラム122の実行により生成されるアプリケーションの画像を表示する。入力装置としてのタッチパネル102は、操作面に対して接触する接触物(プレイヤの指やスタイラスなどを含む。以下、「指」である場合を代表例として説明する。)の動作を検知することで、操作入力を受け付け、その接触位置の情報を主制御部150に与える。指の動作は、接触点の位置または領域を示す座標情報として検知され、座標情報は、例えば、タッチパネル102の短辺方向及び長辺方向の二軸上の座標値として表される。
情報処理装置10は、移動体通信用アンテナ112や無線LAN通信用アンテナ116を通じてネットワークNに接続され、処理装置20との間でデータ通信をすることが可能である。なお、記憶部120は、プログラム122を記録し、また、記憶部120は、外部装置10と別体であってもよく、例えば、SDカードやCD−ROM等の記録媒体であってもよい。
(機能構成)
次に、情報処理装置10の機能構成について説明する。図4は、情報処理装置10の構成の一例を示す図である。情報処理装置10は、記憶部302、通信部304、及び制御部306を有する。
記憶部302は、例えば、図3に示す記憶部120等により実現されうる。記憶部302は、実施例におけるユーザの覚醒度を管理するアプリケーション(以下、「ドライブアプリ」ともいう。)に関するデータ等を記憶する。ドライブアプリに関するデータは、例えば、処理装置20又はサーバ40から受信したデータや、後述する等覚醒度直線に関するデータ、眼電位分布に関するデータ等である。
通信部304は、例えば移動体通信部114や無線LAN通信部118等により実現されうる。通信部304は、例えば処理装置20又はサーバ40からデータを受信する。また、通信部304は、情報処理装置10において処理されたデータをサーバ40に送信してもよい。すなわち、通信部304は、送信部と受信部としての機能を有する。
制御部306は、例えば主制御部150等により実現され、ドライブアプリを実行する。実施例におけるドライブアプリは、ユーザの覚醒度が低下した場合に報知を行い、さらに報知によって覚醒度が向上したか否かを判定する機能を有する。この機能を実現するため、制御部306は、取得部312、分布算出部314、覚醒度算出部316を有する。
取得部312は、眼電位信号に基づく生体情報や、人体に装着された6軸センサ206からのセンサ信号に基づく頭部運動情報を取得する。なお、人体に装着されたとは、直接的に装着されることだけではなく、アイウエア20等を含むウェアラブルデバイスを用いて間接的に装着されることを含む。
分布算出部314は、取得した生体情報に基づいて、ユーザの眼電位の強度(具体的には、ピーク時の高さと幅である。)のヒストグラム(以下、「眼電位分布」ともいう。)を算出する。図5を参照して眼電位分布の算出法について、詳細に説明する。図5は対象となるユーザから取得した、眼電位の測定点の分布を示すグラフである。図5において、縦軸は眼電位のピークの高さを示しており、横軸は眼電位のピークの幅を示している。以下の説明では、眼電位のピークの高さを「高さH」ともいい、眼電位のピークの幅を「幅W」ともいう。なお、眼電位のピークは、瞬きが弱くなるほど高さHが低くなり、瞬きが長くなるほど、幅Wが長くなる。すなわち、高さHが高くなると、ユーザが眠くないことを示し、高さHが低くなると、ユーザが眠いことを示す。一方、幅Wが長くなると、ユーザが眠いことを示し、幅Wが短くなると、ユーザが眠くないことを示す。
図5において直線y=ax+bであらわされる直線(以下、射影軸ともいう)は、あらかじめ算出された等覚醒度線Xに平行な直線である。この等覚醒度線Xは、同じ覚醒度と判断された複数のユーザにおける眼電位のピークの測定点を図5と同様の高さHと、幅Wとの空間にプロットして、求めたものである。具体的には、各測定点における眼電位は、評価者の客観評価で得た覚醒度について同じ覚醒度が所定の時間(例えば10分間)連続した状態であると判定した場合に測定したものである。したがって、等覚醒度線Xよりも上側の領域は、等覚醒度線Xよりも眠くない場合にプロットされる。逆に、等覚醒度線Xよりも下側の領域は、等覚醒度線Xよりも眠い場合にプロットされる。なお、射影軸は等覚醒度線Xに平行であればよく、例えば等覚醒度線Xと一致してもよい。また、図5の例では、等覚醒度線は直線であるが、これに限定されず、曲線であってもよい。
分布算出部314は、取得部312が、ユーザの運転中における判定基準期間(例えば30分程度である。)において取得した、対象のユーザにおける眼電位のピークの測定点それぞれについて、射影軸の上側の領域と射影軸の下側の領域における射影軸との距離Lを算出する。分布算出部314は、算出した距離Lのヒストグラムである、眼電位分布を算出する。具体的には、分布算出部314は、算出した距離について平均(μ)と標準偏差(σ)を求めることで眼電位分布を算出する。なお、このとき分布算出部314は、射影軸から大きく離れた測定点を外れ値として除外することが好ましい。
図6は、このような手法によって分布算出部314が算出した眼電位分布の一例を示すグラフである。図6において、横軸は、分布算出部314が算出した距離を示しており、縦軸は、距離が算出される頻度を示している。本実施例では、図6に示すように眼電位分布は正規分布となると想定している。この場合、正規分布の頂点が、対象のユーザにおいて、運転中に最も発生しやすい眼電位の強度を示しており、正規分布の右側に射影軸の上側の領域における距離が分布し、正規分布の左側に射影軸の下側の領域における距離が分布する。分布算出部314が、このような眼電位分布を算出することによって、眼電位のピークを、高さHと幅Wとの2次元のデータから1次元のデータに変換して扱うことが可能になる。
覚醒度算出部316は、分布算出部314が算出した眼電位分布に基づいて、ユーザの覚醒度をスコアリングする。具体的には、覚醒度算出部316は、運転中に取得部312が取得したユーザの眼電位の高さHと幅Wに基づいて、図5のグラフに測定点をプロットした場合の、測定点と射影軸との距離を算出する。次に、覚醒度算出部316は算出した距離が、図6の眼電位分布における横軸のどの位置に対応するかに基づいて、覚醒度をスコアリングする。具体的には、覚醒度算出部316は、眼電位分布における横軸の±k(定数)×σの範囲が、0点から100点のレンジになるように線形変換して、覚醒度をスコアリングする。この場合、50点が、そのユーザの運転中において、最も平均的な覚醒度に相当する。また、100点が最も高い覚醒度に相当し、0点が最も低い覚醒度に相当する。例えば、覚醒度が眼電位分布の下位5%に含まれる場合に眠っているとみなす場合には、覚醒度が5点以下のスコアとなった場合に、非常に眠いと判定される。
なお覚醒度算出部316は、測定点と射影軸との間の距離は、所定の期間(例えば2分間)における眼電位の測定点から距離の移動平均を算出して用いることが好ましい。これにより、より精度の高い覚醒度の算出を行うことができる。
覚醒度算出部316は、算出した覚醒度が所定値より低いか否かを判定し、低い場合にはユーザに対して通知を行うことが好ましい。この通知は、例えば音声やバイブレーション等で行うことができる。
眼電位のピークにおける高さHや幅Wは、瞬きの長さや弱さによって変動するため、覚醒度が同一でも変動する場合がある。他方で、高さHと幅Wの比率は、覚醒度が同一であれば一定になる。従って、分布算出部314が等覚醒度線Xに平行な射影軸に基づいて眼電位分布を算出することで、瞬きの個人間や個人内のばらつきによる覚醒度の判定誤差を低減することができる。
<動作>
次に、実施例における情報処理装置10の動作について説明する。図7は、実施例におけるアプリケーションの全体処理の一例を示すフローチャートである。
まず、取得部312が、運転中のユーザから所定の時間(この例では30分間)、眼電位を取得する(S101)。所定の期間が経過すると(S102:YES)、分布算出部314は、当該期間において取得した眼電位から、眼電位分布(図5を参照)を作成する(S103)。
眼電位分布が作成されると、覚醒度算出部316は、眼電位分布を参照して、取得部312が取得した眼電位に基づいて、ユーザの覚醒度を算出する(S104)。
覚醒度算出部316は、算出したユーザの覚醒度が所定値以下であるか否か判定する(S105)。ユーザの覚醒度が所定値以下に低下した場合(S105:Yes)、覚醒度算出部316は、音声及び/又はバイブレーションによりユーザに通知する(S106)。他方で、ユーザの覚醒度が所定値以下に低下していない場合(S105:Yes)、ステップS101に処理を戻す。
制御部306は、このS101〜S106までの処理を、アプリケーションの起動中に繰り返し実行する。
以上、実施例によれば、瞬きの個人間や個人内のばらつきによる覚醒度の判定誤差を低減することができる。
なお、実施例において、アイウエア30がメガネである場合について説明した。しかし、アイウエアはこれに限定されない。アイウエアは、眼に関連する装具であればよく、メガネ、サングラス、ゴーグル及びヘッドマウントディスプレイならびにこれらのフレームなどの顔面装着具又は頭部装着具であってよい。
また、実施例において、アイウエア30が生体電極や6軸センサを設けることを説明したが、上述したように、例えば、ハイスピードな車載カメラ等から運転中のユーザの画像(静止画像又は動画像)を取得し、当該画像から視線移動や瞬目に関する情報(第生体情報)を画像処理を用いて取得可能であれば、生体電極や6軸センサは設けられなくてもよい。この場合、取得部312は、車載カメラからユーザの瞬目の画像を取得する。分布算出部314は、取得したユーザの瞬目の画像から目の開きの大きさ(開眼度)を算出する。例えば、分布算出部314は、ユーザの瞬目の画像の肌色を閾値とした二値化処理を実行し、眼球開口部面積又は上下瞼の最大幅をユーザの目の開きの大きさとして算出する。
図8は、対象となるユーザから取得した、目の開きの大きさの分布を示すグラフである。分布算出部314は、目の開きの大きさの移動平均を算出し、0.1秒で目の開きの大きさが直前の大きさの95%以下になった場合、ユーザが目を閉じ始めたと検出する。そして、分布算出部314は、ユーザが目を閉じ始める直前の画像と、ユーザが目を閉じて目の開きの大きさが目を閉じ始める直前の大きさまで開いたときの画像とを取得する。分布算出部314は、ユーザが目を閉じ始める直前の画像からユーザの目の大きさを検出する。分布算出部314は、目を閉じ始める直前の画像の撮影時刻と、ユーザが目を閉じ始める直前の大きさまで開いたときの画像の撮影時刻とから目を閉じ始めてから目を開くまでの時間を示す閉眼時間を計測する。実施例の眼電位のピークにおける高さが「瞬目の目を閉じ始める前の画像の目の開きの大きさを示す開眼度」に対応し、実施例の眼電位のピークにおける幅が「目を閉じ始めてから開き終わるまでの時間を示す閉眼時間」に対応する。そして、分布算出部314は、瞬目の目を閉じ始める前の画像の目の開きの大きさを示す開眼度と、目を閉じ始めてから開き終わるまでの時間を示す閉眼時間とを軸とするヒストグラムを眼電位分布と同様に算出する。その後の分布算出部314と覚醒度算出部316の処理は、眼電位分布の場合と同様の処理である。
なお、実施例において、アイウエア30に搭載された6軸センサ206からのセンサ信号を用いて説明したが、情報処理装置10に搭載された6軸センサ111からのセンサ信号を用いても、実施例において説明したアプリケーションを実行することが可能である。すなわち、6軸センサは頭部だけではなく、人体のいずれかの位置に装着されていればよい。
また、実施例において、生体情報として、瞬目や視線移動、体動を用いて説明したが、これら以外にも、心拍、脈拍等の生体情報を用いてもよい。 また、実施例において、運転中のユーザを例に用いて説明したが、これに限定されず、日常生活(休日、仕事中)のユーザであってもよい。
また、実施例において、分布算出部314と覚醒度算出部316とを情報処理装置10が備える構成について説明したが、これに限定されず、サーバ40が備える構成でもよい。
また、実施例において、眼電位の測定点それぞれについて、射影軸との距離Lのヒストグラムにより、眼電位分布を算出したが、これに限定されない。眼電位の測定点を射影軸と平行にX軸又はY軸に射影し、射影軸とX軸又はY軸との交点との距離のヒストグラムにより、眼電位分布を算出してもよい。
以上、本発明について実施例を用いて説明したが、本発明の技術的範囲は上記実施例に記載の範囲には限定されない。上記実施例に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
10 情報処理装置
20 処理装置
30 アイウエア
40 サーバ
302 記憶部
304 通信部
306 制御部
312 取得部
314 分布算出部
316 覚醒度算出部

Claims (8)

  1. コンピュータが実行する情報処理方法であって、
    ユーザが装着する処理装置からユーザの眼電位に関する第1生体情報を取得することと、
    眼電位のピークにおける高さと幅とを軸とする座標空間において、等覚醒度線と平行な射影軸と、前記第1生体情報をプロットした点との距離に基づいて、前記ユーザの覚醒度合をスコアリングすることと、
    を実行する情報処理方法。
  2. 前記等覚醒度線は、前記座標空間において、同一の覚醒度合のユーザから取得した眼電位に関する第2生体情報をプロットした点に基づいて定められた直線である、
    請求項1に記載の情報処理方法。
  3. 前記情報処理方法は、さらに、
    判定基準期間において取得した前記ユーザの眼電位に関する第3生体情報と前記射影軸との間の距離に関するヒストグラムを算出すること、
    を実行し、
    前記覚醒度合をスコアリングすることは、
    前記ヒストグラム、及び前記射影軸と前記第1生体情報をプロットした点との間の距離に基づいて、前記覚醒度合をスコアリングすること、
    を含む請求項1または2に記載の情報処理方法。
  4. ユーザが装着する処理装置からユーザの眼電位に関する第1生体情報を取得する取得部と、
    眼電位のピークにおける高さと幅とを軸とする座標空間において、等覚醒度線と平行な射影軸と、前記第1生体情報をプロットした点との距離に基づいて、前記ユーザの覚醒度合をスコアリングする覚醒度算出部と、
    を備える情報処理装置。
  5. コンピュータに、
    ユーザが装着する処理装置からユーザの眼電位に関する第1生体情報を取得することと、
    眼電位のピークにおける高さと幅とを軸とする座標空間において、等覚醒度線と平行な射影軸と、前記第1生体情報をプロットした点との距離に基づいて、前記ユーザの覚醒度合をスコアリングすることと、
    を実行させるプログラム。
  6. コンピュータが実行する情報処理方法であって、
    ユーザを撮影する撮影装置からユーザの瞬目の画像に関する第4生体情報を取得することと、
    前記瞬目の目を閉じ始める前の画像の目の開きの大きさを示す開眼度と、目を閉じ始めてから開き終わるまでの時間を示す閉眼時間とを軸とする座標空間において、等覚醒度線と平行な射影軸と、前記第4生体情報をプロットした点との距離に基づいて、前記ユーザの覚醒度合をスコアリングすることと、
    を実行する情報処理方法。
  7. ユーザを撮影する撮影装置からユーザの瞬目に関する第4生体情報を取得する取得部と、
    前記瞬目の目を閉じ始める前の画像の目の開きの大きさを示す開眼度と、目を閉じ始めてから開き終わるまでの時間を示す閉眼時間とを軸とする座標空間において、等覚醒度線と平行な射影軸と、前記第4生体情報をプロットした点との距離に基づいて、前記ユーザの覚醒度合をスコアリングする覚醒度算出部と、
    を備える情報処理装置。
  8. コンピュータに、
    ユーザを撮影する撮影装置からユーザの瞬目に関する第4生体情報を取得することと、
    前記瞬目の目を閉じ始める前の画像の目の開きの大きさを示す開眼度と、目を閉じ始めてから開き終わるまでの時間を示す閉眼時間とを軸とする座標空間において、等覚醒度線と平行な射影軸と、前記第4生体情報をプロットした点との距離に基づいて、前記ユーザの覚醒度合をスコアリングすることと、
    を実行させるプログラム。
JP2017031288A 2017-02-22 2017-02-22 情報処理方法、情報処理装置及びプログラム Active JP6535694B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017031288A JP6535694B2 (ja) 2017-02-22 2017-02-22 情報処理方法、情報処理装置及びプログラム
CN201880013229.5A CN110366388B (zh) 2017-02-22 2018-01-30 信息处理方法、信息处理装置以及计算机可读存储介质
US16/487,575 US11006873B2 (en) 2017-02-22 2018-01-30 Calculating a score of a degree of arousal of a user
PCT/JP2018/002929 WO2018155098A1 (ja) 2017-02-22 2018-01-30 情報処理方法、情報処理装置及びプログラム
EP18757540.2A EP3586733B1 (en) 2017-02-22 2018-01-30 Information processing method, information processing device, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017031288A JP6535694B2 (ja) 2017-02-22 2017-02-22 情報処理方法、情報処理装置及びプログラム

Publications (3)

Publication Number Publication Date
JP2018134274A JP2018134274A (ja) 2018-08-30
JP2018134274A5 JP2018134274A5 (ja) 2019-05-16
JP6535694B2 true JP6535694B2 (ja) 2019-06-26

Family

ID=63252568

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017031288A Active JP6535694B2 (ja) 2017-02-22 2017-02-22 情報処理方法、情報処理装置及びプログラム

Country Status (5)

Country Link
US (1) US11006873B2 (ja)
EP (1) EP3586733B1 (ja)
JP (1) JP6535694B2 (ja)
CN (1) CN110366388B (ja)
WO (1) WO2018155098A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020162362A1 (ja) 2019-02-04 2020-08-13 日本電気株式会社 覚醒度制御装置、覚醒度制御方法および記録媒体
WO2020162358A1 (ja) 2019-02-04 2020-08-13 日本電気株式会社 覚醒度制御装置、覚醒度制御方法および記録媒体
JP7170277B2 (ja) * 2019-12-09 2022-11-14 株式会社辰巳菱機 通報装置
JP6957695B1 (ja) * 2020-07-30 2021-11-02 株式会社ジンズホールディングス プログラム、情報処理方法、及び情報処理装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0791224B2 (ja) 1989-10-12 1995-10-04 帝人株式会社 イソカルバサイクリン類の製造法
JPH07156682A (ja) * 1993-12-03 1995-06-20 Nissan Motor Co Ltd 覚醒状態検出装置
JP3127760B2 (ja) 1995-02-20 2001-01-29 株式会社豊田中央研究所 運転者の覚醒度検出装置
US6431705B1 (en) * 1999-11-10 2002-08-13 Infoeye Eyewear heart rate monitor
JP4864541B2 (ja) * 2006-05-23 2012-02-01 旭化成株式会社 まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置
KR101078466B1 (ko) * 2007-01-19 2011-10-31 아사히 가세이 가부시키가이샤 각성 상태 판정 모델 생성 장치, 각성 상태 판정 장치, 경고 장치, 차량, 각성 상태 판정 모델 생성 방법, 각성 상태 판정 방법, 각성 상태 판정 모델 생성 프로그램을 기록한 컴퓨터 판독 가능 기록매체, 및 각성 상태 판정 프로그램을 기록한 컴퓨터 판독 가능 기록매체
DE102008007152B4 (de) * 2007-03-30 2019-01-17 Volkswagen Ag Verfahren zur Parametrisierung des Augenöffnungsgrades eines Fahrers eines Kraftfahrzeugs
US20110218454A1 (en) * 2008-11-14 2011-09-08 Philip Low Methods of Identifying Sleep & Waking Patterns and Uses
JP5163440B2 (ja) * 2008-11-19 2013-03-13 株式会社デンソー 眠気判定装置、プログラム
EP2550918A1 (en) * 2010-03-23 2013-01-30 Aisin Seiki Kabushiki Kaisha Alertness determination device, alertness determination method, and program
FI126095B (fi) * 2011-03-31 2016-06-30 Vivago Oy Järjestely sairauskohtausten ennustamiseksi tai havaitsemiseksi
WO2013140525A1 (ja) * 2012-03-19 2013-09-26 富士通株式会社 覚醒度判定装置、覚醒度判定プログラムおよび覚醒度判定方法
JP5959920B2 (ja) * 2012-04-25 2016-08-02 花王株式会社 目の大きさの印象判定方法及びその装置
JP6200249B2 (ja) * 2013-09-11 2017-09-20 キヤノン株式会社 情報処理装置、情報処理方法
EP3155971A4 (en) * 2014-06-11 2018-03-07 Olympus Corporation Medical diagnostic device, medical diagnostic device operation method, and medical diagnostic device operation program
CN106361270B (zh) * 2015-07-22 2021-05-07 松下电器(美国)知识产权公司 清醒度预测方法和清醒度预测装置

Also Published As

Publication number Publication date
US20190380637A1 (en) 2019-12-19
JP2018134274A (ja) 2018-08-30
CN110366388A (zh) 2019-10-22
CN110366388B (zh) 2022-05-17
EP3586733A4 (en) 2020-12-09
EP3586733B1 (en) 2023-06-28
US11006873B2 (en) 2021-05-18
WO2018155098A1 (ja) 2018-08-30
EP3586733A1 (en) 2020-01-01

Similar Documents

Publication Publication Date Title
CN110520824B (zh) 多模式眼睛跟踪
JP6535694B2 (ja) 情報処理方法、情報処理装置及びプログラム
US20160070122A1 (en) Computerized replacement temple for standard eyewear
KR20130031120A (ko) 올바른 기기사용자세 유도 장치 및 방법
JP2015213734A (ja) プログラム、情報処理装置、及びアイウエア
JP2017185076A (ja) 情報処理方法、情報処理装置及びプログラム
TWI582728B (zh) 疲勞警示系統
US11137600B2 (en) Display device, display control method, and display system
JP6932007B2 (ja) 情報処理方法、情報処理装置及びプログラム
JP6687639B2 (ja) 情報処理方法、情報処理装置、プログラム及びアイウエア
JP2015202183A (ja) 検出制御装置、装着具、眼電位情報処理システム、及びプログラム
WO2016076268A1 (ja) プログラム、情報処理装置、及びアイウエア
WO2016072395A1 (ja) プログラム、情報処理装置、及びアイウエア
JP6706958B2 (ja) 情報処理方法、情報処理装置及びプログラム
KR20150140049A (ko) 웨어러블 디바이스
WO2016158574A1 (ja) 視線移動検出方法、プログラム、情報処理装置及びアイウエア
WO2017064800A1 (ja) プログラム、情報処理装置、及びアイウエア
JP6621134B2 (ja) 情報処理方法、情報処理装置及びプログラム
WO2017122533A1 (ja) 眼電位キャリブレーション装置、眼鏡型電子機器、眼電位キャリブレーション方法およびプログラム
TWM555004U (zh) 可視顯示裝置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190405

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190405

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190405

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190603

R150 Certificate of patent or registration of utility model

Ref document number: 6535694

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250