JP2019034723A - 視線移動関連値取得装置、それを備えた輸送機器及び視線移動関連値取得方法 - Google Patents

視線移動関連値取得装置、それを備えた輸送機器及び視線移動関連値取得方法 Download PDF

Info

Publication number
JP2019034723A
JP2019034723A JP2018151326A JP2018151326A JP2019034723A JP 2019034723 A JP2019034723 A JP 2019034723A JP 2018151326 A JP2018151326 A JP 2018151326A JP 2018151326 A JP2018151326 A JP 2018151326A JP 2019034723 A JP2019034723 A JP 2019034723A
Authority
JP
Japan
Prior art keywords
movement
subject
related value
eye
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018151326A
Other languages
English (en)
Other versions
JP2019034723A5 (ja
JP7066123B2 (ja
Inventor
圭祐 森島
Keisuke Morishima
圭祐 森島
仁寛 山中
Kimihiro Yamanaka
仁寛 山中
崇徳 茅原
Takanori CHIHARA
崇徳 茅原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kanazawa University NUC
Yamaha Motor Co Ltd
Konan University
Original Assignee
Kanazawa University NUC
Yamaha Motor Co Ltd
Konan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kanazawa University NUC, Yamaha Motor Co Ltd, Konan University filed Critical Kanazawa University NUC
Publication of JP2019034723A publication Critical patent/JP2019034723A/ja
Publication of JP2019034723A5 publication Critical patent/JP2019034723A5/ja
Application granted granted Critical
Publication of JP7066123B2 publication Critical patent/JP7066123B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Pathology (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Emergency Management (AREA)
  • Ophthalmology & Optometry (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】人の有効視野を検出可能な構成を得る。
【解決手段】視線移動関連値取得装置220は、被験者の視線移動に関する被験者視線移動関連値を取得し、前記取得した前記被験者視線移動関連値に対する、前記被験者の眼球運動及び頭部運動の協調運動に関する協調運動関連値を取得し、前記取得した、前記被験者の視線移動に関する前記被験者視線移動関連値と、前記取得した、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値との関係から、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値が所定の値の場合における、前記被験者の視線移動に関する前記被験者視線移動関連値を出力する。
【選択図】図14

Description

本発明は、被験者の視線移動に関する視線移動関連値を取得する視線移動関連値取得装置、それを備えた輸送機器及び視線移動関連値取得方法に関する。
人の眼球運動及び頭部運動に基づいて、人の状態を推定する装置として、例えば特許文献1に開示される人の状態推定装置が知られている。この人の状態推定装置は、人の眼球運動のタイミングと頭部運動のタイミングとを比較することによってこれらのタイミングの順序を判定し、その判定結果に基づいて人の内的状態を推定する。
具体的には、前記特許文献1に開示されている人の状態推定装置は、図17に示すように、人の内的状態を推定する。以下で、特許文献1における段落[0062]から段落[0082]を引用して説明する。
まず、ステップS1及びS2において、眼球運動及び頭部運動の計測を行う。具体的には、アイカメラが眼球運動を測定する。測定結果は、眼球の角度の時系列データ(各時刻における眼球の回転角度に関する情報)である。
ジャイロセンサが頭部運動を測定する。測定結果は、頭部の角速度及び角度に関する時系列データ(各時刻における頭部の角速度及び角度に関する情報)である。
ここで、前記アイカメラ及び前記ジャイロセンサは同時計測を行う。これにより、各時系列データの時刻を容易に同期させることができる。
次に、ステップS3において、眼球運動のタイミングの特定を行う。具体的には、眼球運動タイミング特定部が、前記アイカメラの測定結果に基づいて眼球運動のタイミングを特定する。所定の条件を満たす眼球運動を選別し、選別された眼球運動のタイミングを特定する。以下では、眼球運動を抽出する処理と、眼球運動のタイミングを特定する処理とに分けて説明する。
眼球運動を抽出する処理では、サッカード眼球運動(Saccade、Saccadic eye movement)を選別する。サッカード眼球運動は、「急速眼球運動」とも呼ばれ、眼球を素早く移動させる眼球運動である。
サッカード眼球運動を、眼球の移動量が所定の値De以上であり、かつ、眼球の角速度が所定の角速度Re以上である眼球運動と定義し、これらの条件を全て満たす眼球運動を抽出する。ここで、眼球の移動量は、1回の眼球運動において眼球が回転する角度であり、振幅とも呼ばれる。眼球の移動量を、眼球の角速度が所定の角速度Reを超えている期間における移動量とする。所定の値Deは、例えば3.5[degree]である。角速度Reは、例えば30[degree/sec]である。
図18を参照して、眼球運動を抽出する処理を例示する。図18において、横軸は時間であり、縦軸は眼球の角速度である。図18では、説明の便宜上、任意の一方向に対する眼球の角速度を示している。なお、眼球の角速度は、アイカメラの測定結果を時間で微分することによって得られる。
図18は、複数の眼球運動e1乃至e7を示している。このうち、眼球の角速度が所定の角速度Re以上である眼球運動は眼球運動e5のみである。よって、その他の眼球運動e1乃至e4、e6、e7を抽出しない(除外する)。眼球運動e5に関しては、眼球の移動量を求める。ここでは、眼球の角速度が所定の角速度Reを超えている時刻t1から時刻t2までの期間で眼球の角速度を積分することにより、眼球の移動量を得る。そして、得られた眼球の移動量が所定の値De以上であれば眼球運動e5を抽出し、そうでなければ眼球運動e5を抽出しない。
次に、眼球運動のタイミングを特定する処理を説明する。眼球運動のタイミングを眼球運動の開始時刻とする。また、前記開始時刻を、角速度が所定の角速度Reを超えている期間の始期とする。図18に示す眼球運動e5の場合、そのタイミングは時刻t1であると特定される。
図17に示すステップS4では、頭部運動のタイミングの特定を行う。具体的には、頭部運動タイミング特定部が、前記ジャイロセンサの測定結果に基づいて頭部運動タイミングを特定する。
前記頭部運動タイミング特定部は、頭部の角加速度の最大値が所定の角加速度Ah以上である頭部運動を選別し、選別された頭部運動のタイミングを求める。ここで、頭部運動のタイミングを頭部運動の開始時刻とし、該開始時刻を頭部の角加速度が所定の閾値Th以上である期間の始期とする。閾値Thは、例えば、0[degree/sec2]である。
図19を参照して、頭部運動のタイミングを特定する処理を例示する。図19において、横軸は時間であり、縦軸は頭部の角加速度である。図19では、説明の便宜上、任意の一方向に対する頭部の角加速度を示している。
図19は、複数の頭部運動h1乃至h6を示している。このうち、頭部運動h6のみが所定の角加速度Ah以上の区間を含んでいる。この頭部運動h6において角加速度が閾値Thを超えている期間は、時刻t3から時刻t4までである。よって、時刻t3を頭部運動h6のタイミングとして特定する。なお、その他の頭部運動h1乃至h5は抽出されず、それらのタイミングも特定されない。
図17に示すステップS5では、タイミング順序の判定を行う。具体的には、タイミング比較・推定部は、眼球運動及び頭部運動の各タイミングを比較し、それらの順序を判定する。
図20を参照する。図20は、眼球運動のタイミングと頭部運動のタイミングを示す図である。図20は、図18、図19を重ね合わせたものである。各タイミングが図20に示す関係にある場合、眼球運動のタイミング(開始時刻t1)が頭部運動のタイミング(開始時刻t3)よりも先であると判定する。これにより、視認行動が眼球先行型であることが判明する。
上述したとおり、この順序情報は、ライダーの内的状態を示す評価指標である。例えば、眼球先行型を示す順序情報は、ライダーの注意(attention)レベルが比較的に高いこと(または、そのように推定できること)を意味する。他方、頭部先行型を示す順序情報は、ライダーの注意レベルが比較的に低いことを意味する。「注意レベルが比較的に高い」状態とは、特定の事象に対して過大な注意を向けている状態ではなく、様々な事象に対して注意を向けることができる状態である。また、「注意レベルが比較的に低い」状態とは、特定の事象(複数の事象も含む)に対して過大な注意が向けられ、その他の事象に対しての注意がおろそかになる状態である。
タイミング比較・推定部は、順序情報を記憶部に記憶させるとともに、出力選択部に順序情報を出力する。
図17に示すステップS6では、ライダーへの情報提示または制御パラメータの変更を行う。具体的には、前記出力選択部は、順序情報に基づいて情報の提示及び制御パラメータの変更に関して選択し、表示部、抵抗力調整部、振動発生部、音声出力部及びECUに適宜に命令を出力する。選択の結果、前記表示部、前記抵抗力調整部、前記振動発生部、前記音声出力部及び前記ECUの全部または一部に命令が出力される場合のみならず、いずれにも命令が出力されない場合もある。
前記出力選択部が前記表示部、前記抵抗力調整部、前記振動発生部及び前記音声出力部の少なくともいずれかに命令を出力した場合、ライダーの内的状態の推定結果またはライダーへのアドバイス等に関する情報を提示する。例えば、前記表示部は、ライダーの内的状態の推定結果を示す数値またはグラフなどを表示してもよい。前記抵抗力調整部は、アクセルグリップの回転に対する抵抗力を可変してもよい。前記振動発生部は、シートを振動させてもよい。前記音声出力部は、「そろそろ休憩しましょう」等の音声を出力してもよい。
前記出力選択部が前記ECUに命令を出力した場合、前記ECUは鞍乗型車両の制御パラメータを変更する。この制御パラメータの変更によって、前記鞍乗型車両の操縦性(操縦のしやすさ)を強制的に調整する。例えば、前記鞍乗型車両の操縦性を簡易化して、ライダーの負担を低減させてもよい。また、予め初心者モードや習熟者モードが設定されている場合には、それらのモードを切り替えてもよい。
そして、ステップS1に戻り、上述した一連の処理を繰り返す。
このように、視認行動が眼球先行型であるか頭部先行型であるかによってライダーの内的状態を推測できるという知見に基づき、比較的に簡易に測定できる眼球運動及び頭部運動のみを生体情報として採用している。これにより、アイカメラ及びジャイロセンサのような簡易なセンサで、眼球運動及び頭部運動を測定することができる。さらに、タイミング比較・推定部は、眼球運動及び頭部運動の各タイミングの順序を判定するといった比較的に簡素な処理によって、ライダーの内的状態が反映された順序情報を得ることができる。このように、簡易に計測できる生体情報に基づいてライダーの内的状態を簡易に推定することができる。
また、前記特許文献1には、眼球運動及び頭部運動の各タイミングの時間差が、順序情報に比べてライダーの内的状態をより詳しく示す評価指標であることが開示されている。
一方、眼球運動及び頭部運動は、人の内的状態に応じて変化する有効視野にも関係していることが知られている。このような関係について記載された文献として、例えば非特許文献1などが知られている。この非特許文献1には、眼球運動と頭部運動との時間差から有効視野を検出可能であることが示唆されている。
特開2014−113227号公報
森島圭祐、外3名、「眼球・頭部協調運動と有効視野の関係」、日本経営工学会論文誌、日本経営工学会、2016年、Vol.67、No.3、p.252−260
有効視野は、人の内的状態に関係しているため、人の内的状態を把握するために、有効視野を検出することは有効である。しかしながら、人の内的状態の変化は個人差が大きく、しかも、人の内的状態は、その人が置かれている状況に応じて大きく変化する。そのため、内的状態に応じて変化する有効視野の検出は困難であった。
本発明は、人の有効視野を検出可能な構成を得ることを目的とする。
本発明者らは、上述の特許文献1のような眼球運動及び頭部運動を用いた人の内的状態を推定する方法について鋭意検討する中で、上述の非特許文献1に開示されるように眼球運動及び頭部運動を用いることによって有効視野を相対的に評価可能であることを見出した。
しかしながら、人の内的状態の変化は個人差が大きく、しかも、人の内的状態は、その人が置かれている状況に応じて大きく変化する。そのため、内的状態によって変化する有効視野の検出は困難であった。
本発明者らは、人の内的状態の変化における個人差の影響について検討を進める中で、被験者からデータを取得することにより、該被験者の個人の特性を考慮したデータを取得できることに気付いた。
具体的には、本発明者は、以下のような構成に想到した。
本発明の一実施形態に係る視線移動関連値取得装置は、被験者の視線移動に関する被験者視線移動関連値を取得し、前記取得した前記被験者視線移動関連値に対する、前記被験者の眼球運動及び頭部運動の協調運動に関する協調運動関連値を取得し、前記取得した、前記被験者の視線移動に関する前記被験者視線移動関連値と、前記取得した、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値との関係から、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値が所定の値の場合における、前記被験者の視線移動に関する前記被験者視線移動関連値を出力する。
これにより、被験者の被験者視線移動関連値及び協調運動関連値を取得できる。しかも、前記被験者視線移動関連値と前記協調運動関連値との関係において、前記協調運動関連値が所定の値の場合における前記被験者視線移動関連値を出力することにより、被験者の視線移動に関連する指標を得ることができる。そして、このような被験者の視線移動に関連する指標から、該被験者の有効視野に関連する指標を得ることが可能になる。
他の観点によれば、本発明の視線移動関連値取得装置は、以下の構成を含むことが好ましい。継続的に、同一の被験者に関する複数のデータを含む同一被験者継続データを取得し、前記同一被験者継続データから、前記被験者の視線移動に関する値を、前記被験者視線移動関連値として取得し、前記同一被験者継続データから、前記取得した前記被験者視線移動関連値に対する、前記被験者の眼球運動及び頭部運動の協調運動に関する値を、前記協調運動関連値として取得する。
これにより、被験者の個人差の影響が少ない被験者視線移動関連値及び協調運動関連値を取得できる。しかも、前記被験者視線移動関連値と前記協調運動関連値との関係において、前記協調運動関連値が所定の値の場合における前記被験者視線移動関連値を出力することにより、個人差の影響を受けることなく被験者の視線移動に関連する指標を得ることができる。そして、このような被験者の視線移動に関連する指標から、該被験者の有効視野に関連する指標を得ることが可能になる。
他の観点によれば、本発明の視線移動関連値取得装置は、以下の構成を含むことが好ましい。視線移動関連値取得装置は、前記取得した、前記被験者の視線移動に関する前記被験者視線移動関連値に対する、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値を、前記取得した、前記被験者の視線移動に関する前記被験者視線移動関連値の大小の順番に並べて、前記順番に並んだ、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値から、連続した所定数の値を抽出してそれらの代表値を算出するとともに、前記抽出された、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値に対応する、前記被験者の視線移動に関する前記同一被験者視線移動関連値から、それらの代表値を算出し、前記算出された、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値の前記代表値と、前記算出された、前記被験者の視線移動に関する前記被験者視線移動関連値の代表値とから、前記被験者の視線移動に関する前記被験者視線移動関連値と、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値との前記関係を得る。
これにより、被験者視線移動関連値と協調運動関連値との関係を容易に得ることができる。よって、個人差の影響を受けることなく被験者の有効視野に関連する指標を容易に得ることができる。
他の観点によれば、本発明の視線移動関連値取得装置は、以下の構成を含むことが好ましい。前記被験者の視線移動に関する前記被験者視線移動関連値は、前記被験者における視線の移動量である。
これにより、被験者の有効視野に関連するパラメータとして、前記被験者の眼球運動及び頭部運動の協調運動に関する協調運動関連値が所定の値の場合における視線の移動量(視線移動量)を求めることができる。
他の観点によれば、本発明の視線移動関連値取得装置は、以下の構成を含むことが好ましい。前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値は、前記協調運動において前記頭部運動が前記眼球運動よりも先行する割合である頭部運動先行率、または、前記協調運動において前記頭部運動の開始のタイミングと前記眼球運動の開始のタイミングとの時間差である運動時間差である。
被験者の眼球運動及び頭部運動の協調運動において、前記頭部運動が前記眼球運動よりも先行する頭部運動先行率、または、前記頭部運動の開始のタイミングと前記眼球運動の開始のタイミングとの時間差である運動時間差は、人の内的状態によって変化する。そのため、前記頭部運動先行率または前記運動時間差をパラメータとして、前記頭部運動先行率または前記運動時間差が所定の値の場合における前記被験者の視線移動に関する被験者視線移動関連値を求めることにより、人の内的状態に関係する有効視野を検出することが可能になる。
他の観点によれば、本発明の視線移動関連値取得装置は、以下の構成を含むことが好ましい。前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値における前記所定の値は、前記頭部運動先行率が50%である。
これにより、頭部運動先行率をパラメータとして、人の内的状態に関係する有効視野を精度良く検出することができる。
本発明の一実施形態に係る視線移動関連値取得装置は、被験者の視線移動に関する被験者視線移動関連値を取得する被験者視線移動関連値取得部と、前記被験者視線移動関連値取得部によって取得された前記被験者視線移動関連値に対する、前記被験者の眼球運動及び頭部運動の協調運動に関する協調運動関連値を取得する協調運動関連値取得部と、前記被験者視線移動関連値取得部によって取得された、前記被験者の視線移動に関する前記被験者視線移動関連値と、前記協調運動関連値取得部によって取得された、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値との関係から、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値が所定の値の場合における、前記被験者の視線移動に関する前記被験者視線移動関連値を出力する被験者視線移動関連値出力部と、を有する。
本発明の一実施形態に係る輸送機器は、前記被験者が乗員である。被験者が輸送機器の乗員の場合に、上述の視線移動関連値取得装置を用いて、個人差の影響を受けることなく乗員の視線移動に関連する指標を得ることができる。よって、このような乗員の視線移動に関連する指標から、該乗員の有効視野に関連する指標を得ることが可能になる。
他の観点によれば、本発明の輸送機器は、以下の構成を含むことが好ましい。輸送機器は、前記輸送機器の運動を計測する輸送機器運動計測部と、前記被験者の頭部の運動を計測する頭部運動計測部と、を備える。前記視線移動関連値取得装置は、前記頭部運動計測部によって計測された前記被験者の頭部の運動から前記輸送機器運動計測部によって計測された前記輸送機器の運動を除いて、前記被験者の視線移動に関する前記被験者視線移動関連値、及び、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値を算出する。
これにより、輸送機器の乗員である被験者の頭部運動の計測値から、前記輸送機器の運動によって前記計測値が影響を受けている分を除くことができる。よって、前記被験者の有効視野をより精度良く検出することができる。
他の観点によれば、本発明の輸送機器は、以下の構成を含むことが好ましい。前記視線移動関連値取得装置から出力された、前記被験者の視線移動に関する前記被験者視線移動関連値に対応する情報を出力する情報出力部を備える。
これにより、被験者の有効視野に関するパラメータとして、視線移動関連値取得装置によって得られた被験者視線移動関連値に基づいて、前記被験者等に情報を通知することができる。したがって、前記被験者等に内的状態等を通知することが可能になる。
他の観点によれば、本発明の輸送機器は、以下の構成を含むことが好ましい。前記視線移動関連値取得装置から出力された、前記被験者の視線移動に関する前記被験者視線移動関連値に基づいて、前記輸送機器の動作を制御する制御装置を備える。
これにより、被験者の有効視野に関するパラメータとして、視線移動関連値取得装置によって得られた被験者視線移動関連値に基づいて、前記被験者が乗員である輸送機器の動作を制御することができる。したがって、前記被験者の内的状態等に応じて前記輸送機器の動作を制御することが可能になる。
本発明の一実施形態に係る視線移動関連値取得方法は、被験者の視線移動に関する被験者視線移動関連値を取得し、前記取得した前記被験者視線移動関連値に対する、前記被験者の眼球運動及び頭部運動の協調運動に関する協調運動関連値を取得し、前記取得した、前記被験者の視線移動に関する前記被験者視線移動関連値と、前記取得した、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値との関係から、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値が所定の値の場合における、前記被験者の視線移動に関する前記被験者視線移動関連値を出力する。
他の観点によれば、本発明の視線移動関連値取得方法は、以下の構成を含むことが好ましい。継続的に、同一の被験者に関する複数のデータを含む同一被験者継続データを取得し、前記同一被験者継続データから、前記被験者の視線移動に関する値を、前記被験者視線移動関連値として取得し、前記取得した前記被験者視線移動関連値に対する、前記被験者の眼球運動及び頭部運動の協調運動に関する値を、前記協調運動関連値として取得する。
他の観点によれば、本発明の視線移動関連値取得方法は、以下の構成を含むことが好ましい。視線移動関連値取得方法は、前記取得した、前記被験者の視線移動に関する前記被験者視線移動関連値に対する、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値を、前記取得した、前記被験者の視線移動に関する前記被験者視線移動関連値の大小の順番に並べて、前記順番に並んだ、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値から、連続した所定数の値を抽出してそれらの代表値を算出するとともに、前記抽出された、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値に対応する、前記被験者の視線移動に関する前記被験者視線移動関連値から、それらの代表値を算出し、前記算出された、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値の前記代表値と、前記算出された、前記被験者の視線移動に関する前記被験者視線移動関連値の代表値とから、前記被験者の視線移動に関する前記被験者視線移動関連値と、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値との前記関係を得る。
他の観点によれば、本発明の視線移動関連値取得方法は、以下の構成を含むことが好ましい。前記被験者の視線移動に関する前記被験者視線移動関連値は、前記被験者における視線の移動量である。
他の観点によれば、本発明の視線移動関連値取得方法は、以下の構成を含むことが好ましい。前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値は、前記協調運動において前記頭部運動が前記眼球運動よりも先行する割合である頭部運動先行率、または、前記協調運動において前記頭部運動の開始のタイミングと前記眼球運動の開始のタイミングとの時間差である運動時間差である。
他の観点によれば、本発明の視線移動関連値取得方法は、以下の構成を含むことが好ましい。前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値における前記所定の値は、前記頭部運動先行率が50%である。
本明細書で使用される専門用語は、特定の実施例のみを定義する目的で使用されるのであって、前記専門用語によって発明を制限する意図はない。
本明細書で使用される「及び/または」は、一つまたは複数の関連して列挙された構成物のすべての組み合わせを含む。
本明細書において、「含む、備える(including)」「含む、備える(comprising)」または「有する(having)」及びそれらの変形の使用は、記載された特徴、工程、要素、成分、及び/または、それらの等価物の存在を特定するが、ステップ、動作、要素、コンポーネント、及び/または、それらのグループのうちの1つまたは複数を含むことができる。
本明細書において、「取り付けられた」、「接続された」、「結合された」、及び/または、それらの等価物は、広義の意味で使用され、“直接的及び間接的な”取り付け、接続及び結合の両方を包含する。さらに、「接続された」及び「結合された」は、物理的または機械的な接続または結合に限定されず、直接的または間接的な接続または結合を含むことができる。
他に定義されない限り、本明細書で使用される全ての用語(技術用語及び科学用語を含む)は、本発明が属する技術分野の当業者によって一般的に理解される意味と同じ意味を有する。
一般的に使用される辞書に定義された用語は、関連する技術及び本開示の文脈における意味と一致する意味を有すると解釈されるべきであり、本明細書で明示的に定義されていない限り、理想的または過度に形式的な意味で解釈されることはない。
本発明の説明においては、いくつもの技術及び工程が開示されていると理解される。これらの各々は、個別の利益を有し、他に開示された技術の1つ以上、または、場合によっては全てと共に使用することもできる。
したがって、明確にするために、本発明の説明では、不要に個々のステップの可能な組み合わせをすべて繰り返すことを控える。しかしながら、本明細書及び特許請求の範囲は、そのような組み合わせがすべて本発明の範囲内であることを理解して読まれるべきである。
本明細書では、本発明に係る視線移動関連値取得装置の実施形態について説明する。
以下の説明では、本発明の完全な理解を提供するために多数の具体的な例を述べる。しかしながら、当業者は、これらの具体的な例がなくても本発明を実施できることが明らかである。
よって、以下の開示は、本発明の例示として考慮されるべきであり、本発明を以下の図面または説明によって示される特定の実施形態に限定することを意図するものではない。
[有効視野]
本明細書において、有効視野とは、被験者が、視野において視対象を捉える行動において、有効に活用されている視覚情報を収集可能な範囲である。
[代表値]
本明細書において、代表値とは、複数の値の平均値または中央値などのように、前記複数の値を代表して用いることが可能な値を意味する。
[視線移動量]
本明細書において、視線移動量とは、眼球の移動量である眼球移動量と、頭部の移動量である頭部移動量との和によって求められる値である。
[眼球運動]
本明細書において、眼球運動とは、頭部に対する眼球の運動を意味する。すなわち、前記眼球運動は、頭部に対する眼球の移動を意味する。前記眼球運動は、例えば眼球の回転角速度の絶対値が閾値α(例えば30deg/sec)以上で且つ該回転角速度を積分することによって得られる運動量の絶対値が閾値β(例えば、3.5deg)以上のサッカード眼球運動(Saccade、Saccadic eye movement)を含む。
[頭部運動]
本明細書において、頭部運動は、上下左右の絶対座標において頭部が移動または回転した際の頭部の運動を意味する。すなわち、前記頭部運動は、胴体に対して頭部が移動または回転した際の頭部の運動と、頭部が胴体と一緒に移動または回転した際の頭部の運動と、頭部及び胴体がそれぞれ移動または回転した際の頭部の運動と、を含む。
[眼球運動の開始]
本明細書において、眼球運動の開始とは、眼球の運動に関するパラメータが、所定の閾値を越えた時点を意味する。
[頭部運動の開始]
本明細書において、頭部運動の開始とは、頭部の運動に関するパラメータが所定の閾値を越えた時点を意味する。
[眼球運動及び頭部運動の協調運動]
本明細書において、眼球運動及び頭部運動の協調運動とは、被験者が視対象を視認する際の視認行動において、眼球運動及び頭部運動の少なくとも一方を含む運動である。
[継続的に取得]
本明細書において、データを継続的に取得とは、前記被験者の視線移動に関する被験者視線移動関連値と、前記被験者の眼球運動及び頭部運動の協調運動に関する協調運動関連値との関係が得られるような期間、継続してデータを取得することを意味する。
[輸送機器]
本明細書において、輸送機器とは、自動二輪車に限らず、三輪車または四輪車などの車両、船舶、航空機など、乗員が運転操作することにより、人または荷物などの輸送対象を輸送可能な機器を意味する。
本発明の一実施形態によれば、人の有効視野を検出可能な構成が得られる。
図1は、本発明の実施形態1に係る視線移動関連値取得装置を備えた車両の概略構成を示す図である。 図2は、車両を運転する乗員の有効視野を模式的に示す図である。 図3は、視認行動の一例を模式的に示す図である。 図4は、視線移動関連値取得装置の構成を示す機能ブロック図である。 図5は、眼球の回転角速度の時間変化の一例を示す図である。 図6は、頭部の回転角速度の時間変化の一例を示す図である。 図7は、先行運動情報及び視線移動量のデータ処理を模式的に示す図である。 図8は、頭部運動先行率及び視線移動量の関係の一例を示すグラフである。 図9は、頭部運動先行率及び視線移動量の関係を示すグラフにおいて、近似曲線を示す図である。 図10は、視線移動関連値取得装置の動作を示すフローチャートである。 図11は、実施形態2に係る視線移動関連値取得装置の構成を示す機能ブロック図である。 図12は、実施形態2に係る視線移動関連値取得装置の動作を示すフローチャートである。 図13は、実施形態1に係る視線移動関連値取得装置の構成を示す機能ブロック図、及び、頭部運動先行率及び視線移動量の関係の一例を示すグラフである。 図14は、実施形態3に係る視線移動関連値取得装置の構成を示す機能ブロック図である。 図15は、実施形態3に係る視線移動関連値取得装置の動作を示すフローチャートである。 図16は、実施形態4に係る視線移動関連値取得装置の構成を示す機能ブロック図である。 図17は、従来例における状態推定装置の処理手順を示すフローチャートである。 図18は、従来例における眼球運動の角速度と時間との関係を示す図である。 図19は、従来例における頭部運動の角加速度と時間との関係を示す図である。 図20は、従来例における眼球運動のタイミング及び頭部運動のタイミングを示す図である。
以下で、各実施形態について、図面を参照しながら説明する。なお、各図中の構成部材の寸法は、実際の構成部材の寸法及び各構成部材の寸法比率等を忠実に表したものではない。
以下では、輸送機器の一例として、自動二輪車を用いて説明する。そのため、以下では、図中の矢印Fは、自動二輪車の前方向を示す。図中の矢印Uは、自動二輪車の上方向を示す。また、前後左右の方向は、それぞれ、自動二輪車を運転する乗員から見た場合の前後左右の方向を意味する。
(実施形態1)
<全体構成>
図1に、本発明の実施形態1に係る視線移動関連値取得装置20を備えた車両1(輸送機器)の概略構成を示す。本実施形態では、車両1は、一般的な構成を有する自動二輪車である。なお、車両1は、自動二輪車に限らず、三輪車または四輪車などの車両であってもよい。
車両1は、車体2と、前輪3と、後輪4とを有する。車体2は、ハンドル6、シート7及びパワーユニット8等の各構成部品を支持する。車体2は、フレーム10と、一対のフロントフォーク15とを有する。このフレーム10が、ハンドル6、シート7及びパワーユニット8等の各構成部品を支持する。
フレーム10は、ヘッドパイプ11と、メインフレーム12と、シートレール13と、スイングアーム14とを有する。
ヘッドパイプ11は、車両1の前部に位置し、ハンドル6に接続されたステアリングシャフト(図示省略)を回転可能に支持する。メインフレーム12は、ヘッドパイプ11から車両後方に向かって延びるように、ヘッドパイプ11に接続されている。メインフレーム12は、パワーユニット8等を支持する。
前記ステアリングシャフトの下端部には、一対のフロントフォーク15が接続されている。一対のフロントフォーク15の下端部には、前輪3が回転可能に支持されている。これにより、ハンドル6を操作することにより、ステアリングシャフト及び一対のフロントフォーク15が前記ステアリングシャフトを中心として一体に回転するため、前輪3も前記ステアリングシャフトを中心として回転する。
一対のフロントフォーク15の下端部と前輪3との間には、前輪ブレーキ16が配置されている。前輪ブレーキ16は、例えば、ハンドル6に設けられた図示しないブレーキレバーの操作によって作動する。
シートレール13は、メインフレーム12の上部の後部分に、車両後方に向かって延びるように接続されている。シートレール13は、シート7を支持する。
スイングアーム14は、メインフレーム12の下部の後部分に、上下方向に回転可能に支持されている。スイングアーム14の後端部には、後輪4が回転可能に支持されている。スイングアーム14と後輪4との間には、後輪ブレーキ17が配置されている。後輪ブレーキ17は、例えば、図示しないブレーキペダルの操作によって作動する。
また、車両1は、ECU9(Electric Control Unit:電子制御ユニット)と、情報出力部18と、視線移動関連値取得装置20とを有する。
ECU9は、車体2における制御対象の各構成部品を制御する。すなわち、ECU9は、制御パラメータによって、車体2における制御対象の各構成部品の動作を制御する。ECU9は、車体2において、シート7の下方に配置されている。なお、後述するように、ECU9は、視線移動関連値取得装置20の出力に応じて、車体2における制御対象の各構成部品の動作を制御する。
情報出力部18は、視線移動関連値取得装置20の出力結果を、車両1を運転する乗員に伝達する。本実施形態では、情報出力部18は、例えば、ディスプレイ、音声出力装置などを含む。なお、車両1は、視線移動関連値取得装置20の出力を前記乗員に対して振動等で伝える装置を備えていてもよい。
視線移動関連値取得装置20は、車両1を運転する乗員(被験者)の視線移動に関連する同一被験者視線移動関連値(被験者視線移動関連値)を継続的に取得する。この同一被験者視線移動関連値は、後述するように、前記乗員(被験者)の有効視野に関連する値である。すなわち、視線移動関連値取得装置20は、前記乗員(被験者)の有効視野に関連するパラメータを取得する。
視線移動関連値取得装置20は、演算処理装置21と、記憶部22と、車両用ジャイロセンサ27と、無線通信機28とを有する。演算処理装置21は、視線移動関連値取得装置20において、各種演算を行う。すなわち、演算処理装置21は、後述する図4における機能ブロックの一部を構成する。記憶部22は、車両用ジャイロセンサ27、後述のアイカメラ25及び乗員用ジャイロセンサ26で取得したデータ、及び、演算処理装置21で行った演算結果等を格納する。演算処理装置21、記憶部22、車両用ジャイロセンサ27及び無線通信機28は、車体2において、シート7の下方に配置されている。
また、視線移動関連値取得装置20は、車両1を運転する乗員が着用するヘルメット31にそれぞれ設けられた、アイカメラ25と、乗員用ジャイロセンサ26と、無線通信機29とを有する。
アイカメラ25は、ヘルメット31の全面に形成された開口部の下部に配置されている。乗員用ジャイロセンサ26及び無線通信機29は、ヘルメット31に設けられている。
視線移動関連値取得装置20の詳しい構成は後述する。
(視線移動関連値と有効視野との関係)
まず、視線移動関連値取得装置20によって取得される同一被験者視線移動関連値と、被験者の有効視野との関係について説明する。図2は、車両1を運転する乗員の有効視野を模式的に示す図である。前記有効視野は、被験者が、視野において視対象を捉える行動において、有効に活用されている視覚情報を収集可能な範囲である。
人の有効視野の広さは、その人の内的状態に応じて変化する。ここで、内的状態とは、注意レベル(状態)、覚醒レベル(状態)、集中レベル(集中度)、余裕度または情報処理パフォーマンス等を意味する。さらに、前記内的状態は、精神的な状態に限らず、肉体的な状態(疲労度)も意味する。
具体的には、人の有効視野は、その人の内的状態が低下するほど、狭くなる傾向にある。図2において、A及びBは、それぞれ、同一人の内的状態に応じた有効視野を模式的に示している。Bは、Aに比べて内的状態が低い場合の視野の範囲を示す。図2に示すように、内的状態が低い場合の視野Bは、視野Aに比べて狭い。
よって、人の有効視野を検出することにより、その人の内的状態を把握できる可能性がある。本実施形態では、人の有効視野を検出するために、その人の視線移動に着目した。
人は、有効視野内から得られる情報を手がかりに次に注視すべき視対象を検出し、検出した視対象に対して眼球運動及び頭部運動による視線移動を行う。有効視野内に視対象が位置している場合には、頭部運動に対して眼球運動が先行する。一方、視対象が有効視野外に位置している場合には、眼球運動に対して頭部運動が先行する。このように、有効視野内に視対象が位置しているかどうかによって、人が視対象を視認する行動(以下、視認行動という)が異なる。
なお、視認行動は、眼球の運動(眼球運動)及び頭部の運動(頭部運動)の少なくとも一方を含む。眼球運動とは、頭部に対する眼球の運動を意味する。すなわち、前記眼球運動は、頭部に対する眼球の移動を意味する。前記眼球運動は、例えば眼球の回転角速度の絶対値が閾値α(例えば30deg/sec)以上で且つ該回転角速度を積分することによって得られる運動量の絶対値が閾値β(例えば、3.5deg)以上のサッカード眼球運動(Saccade、Saccadic eye movement)を含む。頭部運動は、上下左右の絶対座標において頭部が移動または回転した際の頭部の運動を意味する。すなわち、前記頭部運動は、胴体に対して頭部が移動または回転した際の頭部の運動と、頭部が胴体と一緒に移動または回転した際の頭部の運動と、頭部及び胴体がそれぞれ移動または回転した際の頭部の運動と、を含む。
図3は、視認行動の一例を模式的に示す図である。人は、左右方向において、左右の眼球の中心線上で視対象Pを視認するように視認行動を行う。そのため、図3(a)のように、左右方向において、視対象Pが左の眼球及び右の眼球から等しい距離に位置する中心線Q(以下、単に、左右の眼球の間の中心線という)上から外れている場合には、図3(b)または図3(c)に示す視認行動を行うことによって、図3(d)に示すように、左右方向において、視対象Pを左右の眼球の間の中心線Q上で視認する。
なお、図3の例では、時間の経過に伴って、人の眼球及び頭部の少なくとも一方が(a)、(b)、(d)の順、または、(a)、(c)、(d)の順に移動する。また、図3では、断面ではないが、説明のために、視対象Pを斜線で示す。
図3(a)に示すように、左右方向において、視対象Pが左右の眼球の間の中心線Q上から外れている場合、人は、視対象Pを左右の眼球の間の中心線Q上で視認するように、眼球及び頭部を移動させる。
図3(b)に、頭部運動が先に生じる状態を模式的に示す。この場合には、左右方向において、視対象Pが左右の眼球の間の中心線Q上に位置するように、頭部の移動を開始させる。その後、左右の眼球の移動を開始させて、視対象Pを視認する(図3(d))。この図3(b)に示すように、視対象Pを左右の眼球で視認する際には、頭部運動を先に開始する場合がある。このように、眼球運動の開始よりも頭部運動の開始が時間的に先である視認行動を、「頭部先行型視認行動」、または、単に「頭部先行型」と言う。
図3(c)に、眼球運動が先に生じる状態を模式的に示す。この場合には、左右方向において、視対象Pが左右の眼球の間の中心線Q上に位置するように、眼球の移動を開始させる。その後、頭部の移動を開始させる(図3(d))。この図3(c)に示すように、視対象Pを左右の眼球で視認する際には、眼球運動を先に開始する場合がある。このように、頭部運動の開始よりも眼球運動の開始が時間的に先である視認行動を、「眼球先行型視認行動」、または、単に「眼球先行型」と言う。
以上のように、左右方向において、視対象Pが左右の眼球の間の中心線上から外れている場合に、視対象Pを視認する際には、視認行動として、頭部先行型視認行動と眼球先行型視認行動とがある。
本発明者らは、眼球先行型視認行動は、視対象が有効視野内に位置している際に発生しやすく、頭部先行型視認行動は、視対象が有効視野内に位置していない際に発生しやすいと考えた。そのため、本発明者らは、有効視野が狭いほど、該有効視野内に視対象が位置する可能性が低くなるため、頭部先行型視認行動が多くなると考えた。
このように視対象を左右の眼球の間の中心線上で視認するように視認行動を行う際に、頭部先行型視認行動であるか眼球先行型視認行動であるかは、人の有効視野によって影響を受けると考えられる。そして、既述のように、人の視野は、人の内的状態に影響を受ける。そのため、視認行動における頭部先行型視認行動及び眼球先行型視認行動を分析することにより、人の内的状態と関係する有効視野を相対的に評価できると考えられる。
しかしながら、人の内的状態の変化は、個人差が大きい。しかも、人の内的状態は、その人が置かれている状況に応じて大きく変化する。そのため、上述のように、視認行動における頭部先行型視認行動の分析によって、人の内的状態を示す有効視野を相対的に評価可能であったとしても、前記内的状態によって変化する前記有効視野の検出は難しい。
これに対し、本発明者らは、人の内的状態の変化における個人差の影響について検討を進める中で、同一の被験者から連続したデータを取得することにより、該同一被験者の個人の特性を考慮したデータを取得できることに気付いた。これにより、内的状態の変化における個人差の影響を考慮しつつ、有効視野を検出することができる。
上述のような知見に基づいて、本実施形態の視線移動関連値取得装置20は、同一の被験者から連続して取得されるデータを用いて、視線移動に関連する視線移動関連値としての視線移動量と、頭部運動が先行する割合(頭部運動先行率)との関係を求めるように構成される。そして、視線移動関連値取得装置20は、前記関係から、有効視野に関連する値を出力する。
以下で、視線移動関連値取得装置20の具体的な構成を説明する。
(視線移動関連値取得装置)
図4及び図13は、視線移動関連値取得装置20の構成を示す機能ブロック図である。
視線移動関連値取得装置20は、演算処理装置21と、記憶部22と、アイカメラ25と、乗員用ジャイロセンサ26(頭部運動計測部)と、車両用ジャイロセンサ27(輸送機器運動計測部)と、無線通信機28と、無線通信機29とを有する。なお、図4では、記憶部22の図示を省略する。
アイカメラ25は、ヘルメット31を着用した乗員(被験者)の眼球運動を計測する。アイカメラ25の計測結果は、無線通信機28,29を介して、演算処理装置21に送信される。
乗員用ジャイロセンサ26は、ヘルメット31を着用した乗員(被験者)の頭部運動を計測する。なお、本実施形態では、ヘルメット31の運動を、前記乗員の頭部運動とみなしている。乗員用ジャイロセンサ26の計測結果は、無線通信機28,29を介して、演算処理装置21に送信される。
車両用ジャイロセンサ27は、旋回、前後方向の傾斜及び左右方向の傾斜などの車両1の挙動を計測する。車両用ジャイロセンサ27の計測結果は、演算処理装置21に入力される。
演算処理装置21は、アイカメラ25、乗員用ジャイロセンサ26及び車両用ジャイロセンサ27の各測定結果に基づいて、前記乗員(被験者)の視線移動に関連する視線移動関連値を取得して出力する。具体的には、演算処理装置21は、同一被験者継続データ取得部41と、同一被験者視線移動関連値取得部42(被験者視線移動関連値取得部)と、協調運動関連値取得部43と、関係取得部44と、有効視野関連パラメータ取得部(被験者視線移動関連値出力部)45とを有する。
同一被験者継続データ取得部41は、アイカメラ25、乗員用ジャイロセンサ26及び車両用ジャイロセンサ27から出力された各測定結果を、同一被験者継続データとして取得する。この同一被験者継続データは、アイカメラ25によって同一被験者の眼球運動を継続的に計測することにより得られた眼球運動データと、乗員用ジャイロセンサ26及び車両用ジャイロセンサ27によって同一被験者の頭部運動を継続的に計測することにより得られた頭部運動データとを含む。この頭部運動データは、乗員用ジャイロセンサ26の計測値から車両用ジャイロセンサ27の計測値(車両挙動データ)を減算することにより得られる。これにより、車両1の挙動が、乗員(被験者)の頭部運動データに影響を与えることを防止できる。
同一被験者視線移動関連値取得部42は、同一被験者継続データ取得部41が取得した同一被験者継続データに基づいて、乗員(被験者)の視線移動に関連する値である同一被験者視線移動関連値(被験者視線移動関連値)を取得する。具体的には、同一被験者視線移動関連値取得部42は、前記同一被験者継続データの前記眼球運動データにおける眼球移動量を継続的に算出するとともに、前記眼球運動データに対応する前記同一被験者継続データの前記頭部運動データの頭部移動量を継続的に算出し、前記眼球移動量及び前記頭部移動量の和を継続的に求める。また、同一被験者視線移動関連値取得部42は、被験者の頭部運動の開始のタイミングと眼球運動の開始のタイミングとを特定し、特定されたタイミングに基づいて、頭部運動及び眼球運動のいずれが先行しているかを判定する。
ここで、被験者の視線移動量は、該被験者の眼球移動量と頭部移動量との合計によって表される。すなわち、本実施形態では、前記眼球移動量と前記頭部移動量との和が、被験者の視線移動量である。よって、同一被験者視線移動関連値取得部42は、被験者の視線移動量を継続的に求める。
より詳しくは、同一被験者視線移動関連値取得部42は、眼球運動特定部51と、頭部運動特定部52と、運動関連付部53と、視線移動量算出部54と、運動先行判定部55とを有する。
眼球運動特定部51は、同一被験者継続データ取得部41で取得した前記同一被験者継続データの眼球運動データ(例えば、眼球の回転角速度)から、眼球運動の区間を特定するとともに、該眼球運動の開始のタイミングを特定する。具体的には、眼球運動特定部51は、前記眼球運動データから、例えば眼球の回転角速度の絶対値が閾値α(例えば30deg/sec)以上で且つ該回転角速度を積分することによって得られる運動量の絶対値が閾値β(例えば、3.5deg)以上の場合に、眼球運動として特定する。この眼球運動は、サッカード眼球運動または急速眼球運動と呼ばれる。
また、眼球運動特定部51は、検出された前記眼球運動において、最初に回転角速度の絶対値が閾値αを越えた時点を、眼球運動の開始と判断する。
図5に、眼球の回転角速度の時間変化の一例を示す。この図5の例では、「眼球運動」と記載された範囲以外は、眼球の回転角速度の絶対値が閾値α未満、または、眼球の運動量の絶対値が閾値β未満であるため、眼球運動とは特定されない。
頭部運動特定部52は、同一被験者継続データ取得部41で取得した前記同一被験者継続データの頭部運動データ(例えば、頭部の回転角速度)から、頭部運動の区間を特定するとともに、該頭部運動の開始のタイミングを特定する。具体的には、頭部運動特定部52は、前記頭部運動データから、例えば頭部の回転角速度の絶対値が閾値γ(例えば10deg/sec)以上で且つ該回転角速度を積分することによって得られる運動量の絶対値が閾値δ(例えば、3.5deg)以上の場合に、頭部運動として特定する。
また、頭部運動特定部52は、検出された前記頭部運動において、最初に回転角速度の絶対値が閾値γを越えた時点を、頭部運動の開始と判断する。
図6に、頭部の回転角速度の時間変化の一例を示す。この図6の例では、「頭部運動」と記載された範囲以外は、頭部の回転角速度の絶対値が閾値γ未満、または、頭部の運動量の絶対値が閾値δ未満であるため、頭部運動とは特定されない。なお、図6には、乗員(被験者)の頭部運動データだけでなく、乗員用ジャイロセンサ26の計測値(出力)及び車両用ジャイロセンサ27の計測値(出力)も図示されている。
運動関連付部53は、眼球運動特定部51で検出された眼球運動と頭部運動特定部52で検出された頭部運動とを、それらの運動が特定されたタイミングで関連付ける。
視線移動量算出部54は、運動関連付部53で関連付けられた眼球運動及び頭部運動において、各運動が特定された区間の運動量(回転角速度の積分値)の合計を、視線移動量として算出する。
運動先行判定部55は、運動関連付部53で関連付けられた眼球運動及び頭部運動のうち、先行する運動を判定する。
具体的には、運動先行判定部55は、眼球運動特定部51によって眼球運動と特定された区間内において、頭部運動特定部52によって頭部運動と特定された運動が存在しない場合に、眼球運動が先行していると判定する。また、運動先行判定部55は、眼球運動特定部51によって眼球運動と特定された区間内において、頭部運動特定部52によって頭部運動と特定された運動が存在している場合でも、眼球運動の開始が頭部運動の開始よりも早い場合には、眼球運動が先行していると判定する。
一方、運動先行判定部55は、頭部運動特定部52によって頭部運動と特定された区間内において、眼球運動特定部51によって眼球運動と特定された運動が存在している場合に、頭部運動の開始が眼球運動の開始よりも早い場合には、頭部運動が先行していると判定する。なお、頭部運動と特定された区間内に、眼球運動と特定された区間が存在しない場合には、被験者は一点を見ている状態(注視または停留の状態)と判断されるため、視認行動とは判定されない。
運動先行判定部55による判定結果は、視線移動量算出部54で算出された視線移動量と紐づけされて、協調運動関連値取得部43に出力される。すなわち、前記視線移動量は、頭部運動及び眼球運動のうち先行する運動がどちらかという情報(先行運動情報)とともに、協調運動関連値取得部43に出力される。
協調運動関連値取得部43は、同一被験者視線移動関連値取得部42から出力されたデータに基づいて、被験者の眼球運動及び頭部運動の協調運動に関する協調運動関連値を取得する。なお、本実施形態では、同一被験者視線移動関連値取得部42から出力されたデータのうち、前記視線移動量が同一被験者視線移動関連値である。また、前記協調運動関連値は、同一の被験者の眼球運動及び頭部運動の協調運動に関する値であり、本実施形態では、頭部運動先行率である。
具体的には、協調運動関連値取得部43は、データ抽出部61と、頭部運動先行率算出部62と、視線移動量平均算出部63とを有する。
データ抽出部61は、同一被験者視線移動関連値取得部42から出力されたデータ、すなわち先行運動情報と視線移動量とが紐づけられたデータのうち、所定期間に取得された取得データを抽出して視線移動量の大小の順番に並べる。その後、データ抽出部61は、視線移動量の大小の順番に並んだ取得データから、連続する所定数のデータ(演算対象データ)を抽出する。
図7の左に、前記先行運動情報(図7では、単に先行運動と記載)と前記視線移動量とが紐づけられたデータのうち、所定期間に取得された取得データの一例を示す。なお、図7に示す例では、所定期間に取得されたi個のデータが取得データとして抽出されている。図7の右に、抽出されたi個の取得データを視線移動量の小さい順に並べて、それらのデータから所定数(本実施形態ではk個)の演算対象データを抽出する様子を示す。
頭部運動先行率算出部62は、データ抽出部61によって抽出された所定数の取得データにおいて頭部運動が先行しているデータの割合、すなわち頭部運動先行率(代表値)を算出する。この頭部運動先行率は、前記抽出された所定数の演算対象データの数に対して、頭部運動が先行しているデータ数の割合を求めることにより得られる。
視線移動量平均算出部63は、データ抽出部61によって抽出され且つ頭部運動先行率算出部62によって頭部運動先行率が算出された所定数の演算対象データにおいて、視線移動量の平均値(代表値)を算出する。
頭部運動先行率算出部62で算出された頭部運動先行率と、視線移動量平均算出部63で算出された視線移動量の平均値とは、紐づけられて出力される。
なお、データ抽出部61は、頭部運動先行率算出部62が頭部運動先行率を算出し且つ視線移動量平均算出部63が視線移動量の平均値を算出した後、前記抽出された所定数の演算対象データの先頭データに対して次のデータから所定数の演算対象データを抽出する。頭部運動先行率算出部62及び視線移動量平均算出部63は、データ抽出部61によって所定数の演算対象データが抽出される毎に、それぞれ、頭部運動先行率及び視線移動量の平均値を算出する。
具体的には、図7の右に示すように、i個の取得データにおいて視線移動量が最も小さい順に所定数の演算対象データを抽出して、頭部運動先行率算出部62が頭部運動先行率を算出し且つ視線移動量平均算出部63が視線移動量の平均値を算出する。その後、i個の取得データにおいて視線移動量が二番目に小さいデータから小さい順に所定数の演算対象データを抽出して、頭部運動先行率算出部62が頭部運動先行率を算出し且つ視線移動量平均算出部63が視線移動量の平均値を算出する。データ抽出部61は、i個の取得データ全てにおいて、頭部運動先行率算出部62による頭部運動先行率の算出及び視線移動量平均算出部63による視線移動量の平均値の算出が行われるまで、上述の動作を繰り返す。
関係取得部44は、協調運動関連値取得部43から出力される頭部運動先行率と視線移動量の平均値とを用いて、頭部運動先行率及び視線移動量の関係を示すデータ(例えば、グラフ、テーブルなど)を作成する。このデータの一例として、図8に、頭部運動先行率及び視線移動量の関係をグラフで示す。
図8に、車両1を運転する乗員の運転余裕が大きい場合における頭部運動先行率と視線移動との関係を太線で示す。一方、図8に、車両1を運転する乗員の運転余裕が小さい場合における頭部運動先行率と視線移動との関係を細線で示す。なお、車両1を運転する乗員の運転余裕が大きい場合には、前記乗員の内的状態が良好であることを意味する。一方、車両1を運転する乗員の運転余裕が小さい場合には、前記乗員の内的状態が低いことを意味する。
図8に示すように、頭部運動先行率が40%から60%の間で、乗員の運転余裕の違い、すなわち乗員の内的状態の違いによって、視線移動量の違いが顕著になる。特に、頭部運動先行率が50%の場合に、視線移動量の差がより顕著になる。
ところで、既述のように、視対象が人の有効視野の外方に位置している場合には、頭部運動が先行する。すなわち、内的状態が低下して人の視野が狭くなると、頭部運動が先行する。よって、図8を用いて、頭部運動先行率が所定値の場合の視線移動量を評価することにより、人の視野を検出することが可能になる。なお、前記所定値は、内的状態に応じて視線移動量に差が生じる値であれば、どのような値であってもよいが、例えば40%から60%の間がより好ましく、50%が特に好ましい。
有効視野関連パラメータ取得部45は、上述のような図8の特性を利用して、図8において頭部運動先行率が所定値(例えば50%)の場合の視線移動量X、Yを、有効視野に関連するパラメータとして取得する。具体的には、図8において、運転余裕が大きい場合には、頭部運動先行率が所定値の場合の視線移動量はYである。この視線移動量Yは、運転余裕が小さい場合の視線移動量Xよりも大きい。よって、頭部運動先行率が同じであっても、運転余裕が大きい場合の方が、運転余裕が小さい場合よりも有効視野が大きい。
これにより、有効視野関連パラメータ取得部45で取得された前記パラメータを用いて、人の有効視野を検出することが可能になる。なお、有効視野に関連するパラメータとして取得される前記視線移動量X、Yが、被験者の視線移動に関する同一被験者視線移動関連値(被験者視線移動関連値)である。
なお、本実施形態では、有効視野関連パラメータ取得部45は、図8に示すような頭部運動先行率と視線移動量との関係において、頭部運動先行率が50%の場合の視線移動量X、Yを取得している。しかしながら、前記所定値は、40%から60%の間の値であってもよい。すなわち、有効視野関連パラメータ取得部45は、頭部運動先行率と視線移動量との関係において、人の内的状態に応じて視線移動量の違いを検出可能な頭部運動先行率の値であれば、前記所定値として、どのような値を用いてもよい。
有効視野関連パラメータ取得部45は、図8に示すような頭部運動先行率と視線移動量との関係を示すデータにおいて、前記頭部運動先行率の前記所定値に対応する視線移動量が複数存在する場合、視線移動量が最も小さい値を有効視野に関連するパラメータとして取得してもよいし、視線移動量が最も大きい値を有効視野に関連するパラメータとして取得してもよい。また、有効視野関連パラメータ取得部45は、上述のように前記頭部運動先行率の前記所定値に対応する視線移動量が複数存在する場合には、視線移動量が最も小さい値と最も大きい値との中間値を、有効視野に関連するパラメータとして取得してもよいし、それらの視線移動量の平均値を有効視野に関連するパラメータとして取得してもよい。
また、図9に示すように、頭部運動先行率と視線移動量との関係を示すデータの近似曲線において、前記頭部運動先行率の前記所定値に対応する視線移動量X、Yを、有効視野に関連するパラメータとして取得してもよい。
有効視野関連パラメータ取得部45は、ECU9及び情報出力部18に、前記視線移動量を有効視野に関連するパラメータとして出力する。ECU9は、有効視野関連パラメータ取得部45から出力された値に応じて、車両1を運転する乗員の内的状態に合うように、車両1の制御対象の各構成部品を制御する。情報出力部18は、有効視野関連パラメータ取得部45から出力された値に応じて、前記乗員に内的状態に関する情報を通知する。
(視線移動関連値取得装置の動作)
次に、視線移動関連値取得装置20の動作について説明する。図10に、視線移動関連値取得装置20の動作のフローチャートを示す。
図10に示すフローがスタートすると、ステップSA1で、同一被験者継続データ取得部41が、アイカメラ25、乗員用ジャイロセンサ26及び車両用ジャイロセンサ27から、それぞれ、継続的に計測された計測データを取得する。具体的には、同一被験者継続データ取得部41は、アイカメラ25によって計測された、同一の乗員(被験者)の眼球運動に関する眼球運動データを継続的に取得する。また、同一被験者継続データ取得部41は、乗員用ジャイロセンサ26によって計測された、同一の乗員(被験者)の頭部運動に関する頭部運動データを継続的に取得する。また、同一被験者継続データ取得部41は、車両用ジャイロセンサ27によって計測された、車両1の挙動に関する車両挙動データを継続的に取得する。
次に、ステップSA2で、同一被験者視線移動関連値取得部42の眼球運動特定部51が、同一被験者継続データ取得部41が取得した眼球運動データに基づいて、眼球運動の特定を行うとともに、眼球運動の開始のタイミングを特定する。具体的には、眼球運動特定部51は、前記眼球運動データから、例えば眼球の回転角速度の絶対値が閾値α以上で且つ該回転角速度を積分することによって得られる運動量の絶対値が閾値β以上の場合に、眼球運動として特定する。また、眼球運動特定部51は、検出された前記眼球運動において、最初に回転角速度の絶対値が閾値αを越えた時点を、眼球運動の開始と判断する。
また、ステップSA2では、同一被験者視線移動関連値取得部42の頭部運動特定部52が、同一被験者継続データ取得部41が取得した頭部運動データに基づいて、頭部運動の特定を行うとともに、頭部運動の開始のタイミングを特定する。なお、前記頭部運動データは、乗員用ジャイロセンサ26の計測値から車両用ジャイロセンサ27の計測値(車両挙動データ)を減算することにより得られる。
具体的には、頭部運動特定部52は、前記頭部運動データから、例えば頭部の回転角速度の絶対値が閾値γ以上で且つ該回転角速度を積分することによって得られる運動量の絶対値が閾値δ以上の場合に、頭部運動として特定する。また、頭部運動特定部52は、検出された前記頭部運動において、最初に回転角速度の絶対値が閾値γを越えた時点を、頭部運動の開始と判断する。
続くステップSA3では、同一被験者視線移動関連値取得部42の運動関連付部53が、眼球運動特定部51で検出された眼球運動と頭部運動特定部52で検出された頭部運動とを、それらの運動が特定されたタイミングで関連付ける。
ステップSA4では、同一被験者視線移動関連値取得部42の視線移動量算出部54が、運動関連付部53で関連付けられた眼球運動及び頭部運動において、各運動が特定された区間の運動量(回転角速度の積分値)の合計を、視線移動量として算出する。
ステップSA5では、同一被験者視線移動関連値取得部42の運動先行判定部55が、運動関連付部53で関連付けられた眼球運動及び頭部運動のうち、先行する運動を判定する。
具体的には、運動先行判定部55は、眼球運動特定部51によって眼球運動と特定された区間内において、頭部運動特定部52によって頭部運動と特定された運動が存在しない場合に、眼球運動が先行していると判定する。また、運動先行判定部55は、眼球運動特定部51によって眼球運動と特定された区間内において、頭部運動特定部52によって頭部運動と特定された運動が存在している場合でも、眼球運動の開始が頭部運動の開始よりも早い場合には、眼球運動が先行していると判定する。
一方、運動先行判定部55は、頭部運動特定部52によって頭部運動と特定された区間内において、眼球運動特定部51によって眼球運動と特定された運動が存在している場合に、頭部運動の開始が眼球運動の開始よりも早い場合には、頭部運動が先行していると判定する。なお、頭部運動と特定された区間内に、眼球運動と特定された区間が存在しない場合には、被験者は一点を見ている状態(注視または停留の状態)と判断されるため、視認行動とは判定されない。
運動先行判定部55による判定結果(先行運動情報)は、視線移動量算出部54で算出された視線移動量と紐づけされる。
ステップSA6では、協調運動関連値取得部43のデータ抽出部61が、同一被験者視線移動関連値取得部42から出力されたデータ、すなわち先行運動情報と視線移動量とが紐づけられたデータのうち、所定期間に取得された取得データを抽出する。そして、ステップSA7では、データ抽出部61が、抽出した取得データを視線移動量の大小の順番に並べて、続くステップSA8では、連続して並んだ取得データから、連続する所定数の演算対象データを抽出する。
ステップSA9では、協調運動関連値取得部43の頭部運動先行率算出部62が、データ抽出部61によって抽出された所定数の演算対象データにおいて頭部運動が先行しているデータの割合、すなわち頭部運動先行率(代表値)を算出する。
ステップSA10では、協調運動関連値取得部43の視線移動量平均算出部63が、データ抽出部61によって抽出され且つ頭部運動先行率算出部62によって頭部運動先行率が算出された所定数の演算対象データにおいて、視線移動量の平均値(代表値)を算出する。
ステップSA11では、データ抽出部61が、前記所定期間の取得データを演算対象データとして全て抽出したかどうかを判定する。ステップSA11で、前記所定期間の取得データを演算対象データとして全て抽出したと判定された場合(YESの場合)には、ステップSA12に以降に進む。一方、ステップSA11で、前記所定期間の取得データを演算対象データとして全て抽出していないと判定された場合(NOの場合)には、ステップSA8に戻って、データ抽出部61は、前記所定期間の取得データから所定数の演算対象データの抽出を行う。なお、データ抽出部61は、前記所定期間の取得データから所定数の演算対象データの抽出を行う際には、前記抽出された所定数の演算対象データの先頭データに対して次のデータから所定数の演算対象データを抽出する。
ステップSA11で前記所定期間の取得データを演算対象データとして全て抽出したと判定された場合に進むステップSA12では、関係取得部44が、頭部運動先行率と視線移動量との関係を生成する(例えば図7)。その後、ステップSA13では、有効視野関連パラメータ取得部45が、頭部運動先行率と視線移動量との関係から、乗員(被験者)の有効視野に関連するパラメータを取得する。具体的には、有効視野関連パラメータ取得部45は、前記頭部運動先行率の所定値(例えば50%)に対応する視線移動量を、前記有効視野に関連するパラメータとして取得する。なお、前記所定値は、頭部運動先行率と視線移動量との関係において、人の内的状態に応じて視線移動量の違いを検出可能な頭部運動先行率の値である。
ここで、ステップSA1は、同一の被験者に関する複数のデータを含む同一被験者継続データを取得する同一被験者継続データ取得工程であり、ステップSA4は、前記同一被験者継続データから前記被験者の視線移動に関する同一被験者視線移動関連値を取得する同一被験者視線移動関連値取得工程である。
また、ステップSA9は、前記取得した前記同一被験者視線移動関連値に対する、前記被験者の眼球運動及び頭部運動の協調運動に関する協調運動関連値を取得する協調運動関連値取得工程である。
さらに、ステップSA13は、前記取得した、前記被験者の視線移動に関する前記同一被験者視線移動関連値と、前記取得した、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値との関係から、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値が所定の値の場合における、前記被験者の視線移動に関する前記同一被験者視線移動関連値を出力する同一被験者視線移動関連値出力工程である。
また、ステップSA7は、前記取得した、前記被験者の視線移動に関する前記同一被験者視線移動関連値に対する、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値を、前記取得した、前記被験者の視線移動に関する前記同一被験者視線移動関連値の大小の順番に並べる整列工程である。
また、ステップSA9及びSA10は、前記順番に並んだ、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値から、連続した所定数の値を抽出してそれらの代表値を算出するとともに、前記抽出された、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値に対応する、前記被験者の視線移動に関する前記同一被験者視線移動関連値から、それらの代表値を算出する代表値算出工程である。
さらに、ステップSA12は、前記算出された、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値の前記代表値と、前記算出された、前記被験者の視線移動に関する前記同一被験者視線移動関連値の代表値とから、前記被験者の視線移動に関する前記同一被験者視線移動関連値と、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値との前記関係を得る関係生成工程である。
本発明の実施形態において、演算処理装置21は、図10に示すステップSA1からSA13を実行する。演算処理装置21によってステップSA1からSA13の処理を実行することにより、本実施形態における視線移動関連値取得装置20と視線移動関連値取得方法とを実現することができる。この場合、演算処理装置21は、例えばプロセッサによって構成されている。なお、演算処理装置21において、図10に示すステップSA1からSA13は、プログラムによって実行されてもよい。このプログラムを用いて演算処理装置21によってステップSA1からSA13の処理を実行することにより、本実施形態における視線移動関連値取得装置20と視線移動関連値取得方法とを実現することができる。
また、本実施形態では、演算処理装置21が取得したデータ及び演算した演算結果は、記憶部22に記憶される。演算処理装置21は、記憶部22に記憶されたデータを用いて演算を行う場合には、前記データを読み込んで演算処理を行う。記憶部22は、メモリ、ハードディスク等の記憶装置を含む記憶媒体によって構成される。
本実施形態の構成では、視線移動関連値取得装置20は、継続的に、同一の乗員(被験者)に関する複数のデータを含む同一被験者継続データを取得するとともに、該同一被験者継続データを用いて、同一被験者視線移動関連値としての視線移動量及び協調運動関連値としての頭部運動先行率を取得する。そして、視線移動関連値取得装置20は、視線移動量と頭部運動先行率との関係から、該頭部運動先行率が所定の値の場合における前記視線移動量を出力する。
これにより、被験者の個人差の影響が少ない同一被験者視線移動関連値及び協調運動関連値を取得できる。しかも、前記同一被験者視線移動関連値と前記協調運動関連値との関係において、前記協調運動関連値が所定の値の場合における前記同一被験者視線移動関連値を出力することにより、個人差の影響を受けることなく被験者の視線移動に関連する指標を得ることができる。そして、このような被験者の視線移動に関連する指標から、該被験者の有効視野に関連する指標を得ることが可能になる。
本実施形態の構成を有する視線移動関連値取得装置20によって取得された有効視野に関連するパラメータは、被験者が運動または機械の操作を行う際に利用することができる。すなわち、被験者が運動または機械の操作を行う際に、視線移動関連値取得装置20によって有効視野に関連するパラメータを取得することにより、取得したパラメータを、運動または機械の操作を行う際の被験者の内的状態の判断などに利用することができる。また、前記取得したパラメータは、運動または機械の操作を行う際の内的状態に関し、被験者同士の相対評価等にも利用することができる。さらに、前記取得したパラメータは、仮想空間での動作または作業における被験者の内的状態の評価及び管理にも利用することができる。
ここで、前記内的状態とは、注意レベル(状態)、覚醒レベル(状態)、集中レベル(集中度)、余裕度または情報処理パフォーマンス等を意味する。さらに、前記内的状態は、精神的な状態に限らず、肉体的な状態(疲労度)も意味する。
[実施形態2]
図11に、実施形態2に係る視線移動関連値取得装置120の機能ブロックを示す。図12に、実施形態2に係る視線移動関連値取得装置120の動作のフローチャートを示す。この実施形態では、視線移動関連値取得装置120は、実施形態1のように頭部運動先行率と視線移動量との関係を生成するのではなく、頭部運動先行率が所定値と等しい場合に、対応する視線移動量を出力する。以下では、実施形態1と同様の構成については同一の符号を付して説明を省略し、実施形態1と異なる部分についてのみ説明する。
(視線移動関連値取得装置の構成)
図11に示すように、視線移動関連値取得装置120は、演算処理装置121と、アイカメラ25と、乗員用ジャイロセンサ26と、車両用ジャイロセンサ27と、無線通信機28と、無線通信機29とを有する。なお、特に図示しないが、本実施形態の視線移動関連値取得装置120も、実施形態1の視線移動関連値取得装置20と同様、記憶部を有する。
演算処理装置121は、同一被験者継続データ取得部41と、同一被験者視線移動関連値取得部42と、協調運動関連値取得部143とを有する。
協調運動関連値取得部143は、データ抽出部61と、頭部運動先行率算出部62と、視線移動量平均算出部163とを有する。
視線移動量平均算出部163は、頭部運動先行率算出部62で算出された頭部運動先行率が所定値と等しい場合に、該頭部運動先行率を算出した演算対象データにおける視線移動量の平均値を算出する。算出された視線移動量の平均値は、内的状態に応じた有効視野に関連するパラメータとして、情報出力部18及びECU9に出力される。
(視線移動関連値取得装置の動作)
次に、図12を用いて、視線移動関連値取得装置120の動作について説明する。なお、図12において、ステップSB1からSB9は、実施形態1におけるフローのステップSA1からSA9と同様なので、説明を省略する。
ステップSB10では、協調運動関連値取得部43の視線移動量平均算出部63が、所定数の演算対象データから頭部運動先行率算出部62によって算出された頭部運動先行率が、所定値と等しいかどうかを判定する。この所定値は、実施形態1と同様、頭部運動先行率と視線移動量との関係において、人の内的状態に応じて視線移動量の違いを検出可能な頭部運動先行率の値である。前記所定値は、例えば50%である。
ステップSB10において、頭部運動先行率が所定値と等しいと判定された場合(YESの場合)には、ステップSB11に進んで、視線移動量平均算出部63が、データ抽出部61によって抽出され且つ頭部運動先行率算出部62によって頭部運動先行率が算出された所定数の演算対象データにおいて、視線移動量の平均値(代表値)を算出する。算出された視線移動量の平均値は、情報出力部18及びECU9に出力される。その後、このフローを終了する(エンド)。
一方、ステップSB10において、頭部運動先行率が所定値と等しくないと判定された場合(NOの場合)には、ステップSB12に進んで、データ抽出部61が、所定期間の取得データを演算対象データとして全て抽出したかどうかを判定する。
ステップSB12において、前記所定期間の取得データを演算対象データとして全て抽出したと判定された場合(YESの場合)には、このフローを終了する(エンド)。
一方、ステップSB12で、前記所定期間のデータを全て抽出していないと判定された場合(NOの場合)には、ステップSB8に戻って、データ抽出部61は、前記所定期間のデータから所定数のデータの抽出を行う。なお、実施形態1と同様、データ抽出部61は、前記所定期間のデータから所定数のデータの抽出を行う際には、前記抽出された所定数のデータの先頭データに対して次のデータから所定数のデータを抽出する。
本実施形態により、頭部運動先行率と視線移動量との関係から、前記頭部運動先行率が所定値の場合の視線移動量を求めることができる。よって、内的状態に応じて視線移動量が異なる場合に、その違いを求めることができる。したがって、頭部運動先行率と視線移動量との関係から、有効視野に関係する指標を求めることができる。
[実施形態3]
図14に、実施形態3に係る視線移動関連値取得装置220の機能ブロックを示す。図15に、実施形態3に係る視線移動関連値取得装置220の動作のフローチャートを示す。この実施形態では、視線移動関連値取得装置220は、実施形態1のように継続して同一被験者視線移動関連値を取得するのではなく、被験者から取得した一つまたは複数の被験者視線移動関連値を用いて、予め被験者視線移動関連値と協調運動関連値との関係が記憶されたデータベースから有効視野関連パラメータを取得する。以下では、実施形態1と同様の構成については同一の符号を付して説明を省略し、実施形態1と異なる部分についてのみ説明する。
(視線移動関連値取得装置の構成)
図14に示すように、視線移動関連値取得装置220は、演算処理装置221と、アイカメラ25と、乗員用ジャイロセンサ26と、車両用ジャイロセンサ27と、無線通信機28と、無線通信機29と、記憶部223とを有する。
演算処理装置221は、被験者データ取得部241と、被験者視線移動関連値取得部242と、関係取得部244と、有効視野関連パラメータ取得部45とを有する。
被験者データ取得部241は、アイカメラ25、乗員用ジャイロセンサ26及び車両用ジャイロセンサ27から出力された各測定結果を、被験者データとして取得する。被験者データ取得部241は、一つまたは複数の被験者データを取得する。この被験者データは、継続したデータでない点を除いて、実施形態1の同一被験者継続データと同様のデータであるため、詳しい説明を省略する。
被験者視線移動関連値取得部242は、被験者データ取得部241が取得した一つまたは複数の被験者データに基づいて、被験者の視線移動に関連する値である一つまたは複数の被験者視線移動関連値を取得する。前記被験者視線移動関連値は、被験者の有効視野に関連する値である。具体的には、本実施形態では、前記被験者視線移動関連値は、被験者の視線移動量である。
被験者視線移動関連値取得部242は、前記被験者視線移動関連値だけでなく、協調運動関連値も含むデータを、関係取得部244に出力する。前記協調運動関連値は、頭部運動及び眼球運動に関する情報を含む。具体的には、被験者視線移動関連値取得部242は、前記協調運動関連値として、頭部運動及び眼球運動のうち先行する運動がどちらかという情報、及び、頭部運動の開始のタイミングと眼球運動の開始のタイミングとの時間差(運動時間差)等の情報も出力する。なお、前記協調運動関連値は、実施形態1と同様に、頭部運動先行率であってもよい。
関係取得部244は、被験者視線移動関連値取得部242から出力されたデータに基づいて、記憶部223に記憶されている複数のデータから、前記被験者視線移動関連値と前記協調運動関連値との関係を示す一つのデータを抽出する。
記憶部223には、前記被験者視線移動関連値と前記協調運動関連値との関係を示すデータ(例えばグラフデータ、関数式、テーブルデータなど)が複数、記憶されている。具体的には、記憶部223には、前記複数のデータとして、被験者の様々な状態における前記被験者視線移動関連値と前記協調運動関連値との関係を示すデータが記憶されている。すなわち、記憶部223には、前記複数のデータとして、予め得られたデータが蓄積されている。なお、記憶部223には、複数の被験者の様々な状態における前記被験者視線移動関連値と前記協調運動関連値との関係を示すデータが記憶されていてもよい。
よって、関係取得部244は、記憶部223に記憶されている上述の複数のデータから、被験者視線移動関連値取得部242から出力されたデータに適合する、前記被験者視線移動関連値と前記協調運動関連値との関係を示すデータを抽出する。
有効視野関連パラメータ取得部45は、関係取得部244によって抽出された、前記被験者視線移動関連値と前記協調運動関連値との関係を示すデータを用いて、被験者の有効視野に関連するパラメータを取得する。具体的には、有効視野関連パラメータ取得部45は、運動時間差の所定値に対応する視線移動量を、前記有効視野に関連するパラメータとして取得する。なお、前記所定値は、運動時間差と視線移動量との関係において、人の内的状態に応じて視線移動量の違いを検出可能な運動時間差の値である。
(視線移動関連値取得装置の動作)
次に、図15を用いて、視線移動関連値取得装置220の動作について説明する。
図15に示すフローがスタートすると、ステップSC1で、被験者データ取得部241が、アイカメラ25、乗員用ジャイロセンサ26及び車両用ジャイロセンサ27から、それぞれ、計測された計測データを取得する。具体的には、被験者データ取得部241は、アイカメラ25によって計測された、被験者の眼球運動に関する眼球運動データを取得する。また、被験者データ取得部241は、乗員用ジャイロセンサ26によって計測された、被験者の頭部運動に関する頭部運動データを取得する。また、被験者データ取得部241は、車両用ジャイロセンサ27によって計測された、車両1の挙動に関する車両挙動データを取得する。
次に、ステップSC2で、被験者視線移動関連値取得部242の眼球運動特定部51が、被験者データ取得部241が取得した眼球運動データに基づいて、眼球運動の特定を行うとともに、眼球運動の開始のタイミングを特定する。眼球運動の取得、眼球運動の特定及び眼球運動の開始のタイミングの特定は、実施形態1と同様の方法によって特定されるため、詳しい説明を省略する。
また、ステップSC2では、被験者視線移動関連値取得部242の頭部運動特定部52が、被験者データ取得部241が取得した頭部運動データに基づいて、頭部運動の特定を行うとともに、頭部運動の開始のタイミングを特定する。頭部運動データの取得、頭部運動の特定及び頭部運動の開始のタイミングの特定は、実施形態1と同様の方法によって特定されるため、詳しい説明を省略する。
続くステップSC3では、被験者視線移動関連値取得部242の運動関連付部53が、眼球運動特定部51で検出された眼球運動と頭部運動特定部52で検出された頭部運動とを、それらの運動が特定されたタイミングで関連付ける。
ステップSC4では、被験者視線移動関連値取得部242の視線移動量算出部54が、運動関連付部53で関連付けられた眼球運動及び頭部運動において、各運動が特定された区間の運動量(回転角速度の積分値)の合計を、視線移動量として算出する。
ステップSC5では、被験者視線移動関連値取得部242の運動先行判定部55が、運動関連付部53で関連付けられた眼球運動及び頭部運動のうち先行する運動を判定するとともに、眼球運動と頭部運動との時間差を算出する。先行する運動の判定は、実施形態1と同様の方法によって判定されるため、詳しい説明を省略する。
運動先行判定部55による判定結果(先行運動情報)は、視線移動量算出部54で算出された視線移動量と紐づけされる。
ステップSC6では、関係取得部244が、記憶部223に記憶されている複数のデータから、被験者視線移動関連値取得部242から出力されたデータに適合する、前記被験者視線移動関連値と前記協調運動関連値との関係を示すデータを抽出する。
ステップSC7では、有効視野関連パラメータ取得部45が、運動時間差と視線移動量との関係から、乗員(被験者)の有効視野に関連するパラメータを取得する。具体的には、有効視野関連パラメータ取得部45は、前記運動時間差の所定値に対応する視線移動量を、前記有効視野に関連するパラメータとして取得する。なお、前記所定値は、運動時間差と視線移動量との関係において、人の内的状態に応じて視線移動量の違いを検出可能な運動時間差の値である。
ここで、ステップSC4は、被験者データから被験者の視線移動に関する被験者視線移動関連値を取得する被験者視線移動関連値取得工程である。
また、ステップSC5は、前記取得した前記被験者視線移動関連値に対する、前記被験者の眼球運動及び頭部運動の協調運動に関する協調運動関連値を取得する協調運動関連値取得工程である。
さらに、ステップSC7は、前記取得した、前記被験者の視線移動に関する前記被験者視線移動関連値と、前記取得した、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値との関係から、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値が所定の値の場合における、前記被験者の視線移動に関する前記被験者視線移動関連値を出力する被験者視線移動関連値出力工程である。
本実施形態により、実施形態1のように同一の被験者の眼球運動及び頭部運動を継続的に計測することなく、記憶部223に記憶されている頭部運動先行率と視線移動量との関係から、前記頭部運動先行率が所定値の場合の視線移動量を求めることができる。よって、有効視野に関係する指標を容易に求めることができる。
[実施形態4]
図16に、実施形態4に係る視線移動関連値取得装置320の機能ブロックを示す。この実施形態では、視線移動関連値取得装置320は、乗員の視線を検出可能なアイカメラ325が車両のメータパネルに設けられている点で、実施形態1の構成とは異なる。以下では、実施形態1と同様の構成については同一の符号を付して説明を省略し、実施形態1と異なる部分についてのみ説明する。
視線移動関連値取得装置320は、実施形態1と同様、車両に設けられている。視線移動関連値取得装置320は、演算処理装置321と、記憶部(図示省略)と、アイカメラ325とを有する。
アイカメラ325は、車両の運転席に着座した乗員の眼球及び頭部を撮像することにより、前記乗員の視線及び頭部の動きを計測可能に構成されている。すなわち、アイカメラ325は、前記乗員の眼球の動きを撮像することにより、前記乗員の視線の移動、すなわち眼球運動を測定し、前記乗員の頭部の動きを撮像することにより、頭部運動を測定する。このように、本実施形態では、ジャイロセンサ等を用いることなく、アイカメラ325によって、前記乗員の頭部運動も測定する。アイカメラ325によって得られた前記乗員の画像は、図示しない演算装置によって画像処理される。前記演算装置は、画像処理されたデータから、前記乗員の眼球運動及び頭部運動の測定結果を求めて、演算処理装置321に出力する。なお、アイカメラ325によって得られた画像の画像処理及びデータ処理は、演算処理装置321で行ってもよい。
アイカメラ325は、例えば、前記乗員の眼球または瞼の動きなどを検出するカメラと兼用することができる。アイカメラ325は、車両に搭載される一般的なドライバモニタリング用の赤外線カメラと同様の構成を有する。そのため、アイカメラ325の詳しい説明は、省略する。なお、アイカメラ325は、前記乗員の眼球または瞼の動きなどを検出可能な構成であれば、赤外線カメラ以外のカメラであってもよい。
アイカメラ325は、例えば、図示しない車両において、車両の運転席よりも前方に位置するメータパネル330に設けられている。詳しくは、アイカメラ325は、車両の運転席に着座した乗員の視線及び頭部を検出しやすいように、メータパネル330の上部に設けられている。なお、アイカメラ325は、前記乗員の視線及び頭部を検出可能な位置であれば、メータパネル330以外の位置に設けられていてもよい。
演算処理装置321は、アイカメラ325の測定結果に基づいて、前記乗員(被験者)の視線移動に関連する視線移動関連値を取得して出力する。具体的には、演算処理装置321は、同一被験者継続データ取得部341と、同一被験者視線移動関連値取得部342(被験者視線移動関連値取得部)と、協調運動関連値取得部43と、関係取得部44と、有効視野関連パラメータ取得部(被験者視線移動関連値出力部)45とを有する。
同一被験者継続データ取得部341は、アイカメラ325から出力された各測定結果を、同一被験者継続データとして取得する。この同一被験者継続データは、アイカメラ325によって同一被験者の眼球運動を継続的に計測することにより得られた眼球運動データと、アイカメラ325によって同一被験者の頭部運動を継続的に計測することにより得られた頭部運動データとを含む。
同一被験者視線移動関連値取得部342は、同一被験者継続データ取得部341が取得した同一被験者継続データに基づいて、被験者の視線移動に関連する値である同一被験者視線移動関連値(被験者視線移動関連値)を取得する。具体的には、同一被験者視線移動関連値取得部342は、前記同一被験者継続データの前記眼球運動データにおける眼球移動量を継続的に算出するとともに、前記眼球運動データに対応する前記同一被験者継続データの前記頭部運動データの頭部移動量を継続的に算出し、前記眼球移動量及び前記頭部移動量の和を継続的に求める。また、同一被験者視線移動関連値取得部342は、被験者の頭部運動の開始のタイミングと眼球運動の開始のタイミングとを特定し、特定されたタイミングに基づいて、頭部運動及び眼球運動のいずれが先行しているかを判定する。
ここで、被験者の視線移動量は、実施形態1と同様、該被験者の眼球移動量と頭部移動量との合計によって表される。すなわち、本実施形態においても、前記眼球移動量と前記頭部移動量との和が、被験者の視線移動量である。よって、同一被験者視線移動関連値取得部342は、被験者の視線移動量を継続的に求める。
同一被験者視線移動関連値取得部342における前記視線移動量の算出及び運動(眼球運動及び頭部運動)の先行判定は、実施形態1と同様である。そのため、詳しい説明は、省略する。
同一被験者視線移動関連値取得部342で得られた視線移動量及び先行運動情報は、協調運動関連値取得部43に入力される。協調運動関連値取得部43は、実施形態1と同様、同一被験者視線移動関連値取得部342から出力されたデータに基づいて、被験者の眼球運動及び頭部運動の協調運動に関する協調運動関連値を取得する。
関係取得部44は、実施形態1と同様、協調運動関連値取得部43から出力される頭部運動先行率と視線移動量の平均値とを用いて、頭部運動先行率及び視線移動量の関係を示すデータ(例えば、グラフ、テーブルなど)を作成する。
有効視野関連パラメータ取得部45は、実施形態1と同様、関係取得部44によって取得されたデータに基づいて、頭部運動先行率が所定値(例えば50%)の場合の視線移動量X、Y(図8におけるX、Yと同様)を、有効視野に関連するパラメータとして取得する。なお、本実施形態でも、実施形態1と同様、前記所定値は、40%から60%の間の値であってもよい。すなわち、有効視野関連パラメータ取得部45は、頭部運動先行率と視線移動量との関係において、人の内的状態に応じて視線移動量の違いを検出可能な頭部運動先行率の値であれば、前記所定値として、どのような値を用いてもよい。
これにより、実施形態1と同様、有効視野関連パラメータ取得部45で取得された前記パラメータを用いて、人の有効視野を検出することが可能になる。なお、有効視野に関連するパラメータとして取得される前記視線移動量X、Yが、被験者の視線移動に関する同一被験者視線移動関連値(被験者視線移動関連値)である。
なお、有効視野関連パラメータ取得部45は、頭部運動先行率と視線移動量との関係を示すデータにおいて、前記頭部運動先行率の前記所定値に対応する視線移動量が複数存在する場合、視線移動量が最も小さい値を有効視野に関連するパラメータとして取得してもよいし、視線移動量が最も大きい値を有効視野に関連するパラメータとして取得してもよい。また、有効視野関連パラメータ取得部45は、上述のように前記頭部運動先行率の前記所定値に対応する視線移動量が複数存在する場合には、視線移動量が最も小さい値と最も大きい値との中間値を、有効視野に関連するパラメータとして取得してもよいし、それらの視線移動量の平均値を有効視野に関連するパラメータとして取得してもよい。
また、頭部運動先行率と視線移動量との関係を示すデータの近似曲線において、前記頭部運動先行率の前記所定値に対応する視線移動量X、Yを、有効視野に関連するパラメータとして取得してもよい。
視線移動関連値取得装置320の動作は、実施形態1におけるアイカメラ25、乗員用ジャイロセンサ26及び車両用ジャイロセンサ27の代わりに、車両のメータパネル330に設けられたアイカメラ325によって乗員の眼球運動及び頭部運動を計測した点以外、実施形態1の視線移動関連値取得装置20の動作と同様である。よって、視線移動関連値取得装置320の動作に関する詳しい説明は、省略する。
以上より、本実施形態では、車両のメータパネル330に設けられたアイカメラ325によって乗員の眼球運動及び頭部運動を計測し、その計測結果に基づいて有効視野に関するパラメータを取得することができる。よって、実施形態1のように車両の乗員がアイカメラを装着することなく且つ実施形態1の構成に比べてコンパクトな構成で、前記乗員の有効視野に関するパラメータを容易に取得することができる。
なお、本実施形態の視線移動関連値取得装置320にも、実施形態2、3の視線移動関連値取得装置120,220の構成を適用してもよい。
(その他の実施形態)
以上、本発明の実施の形態を説明したが、上述した実施の形態は本発明を実施するための例示に過ぎない。よって、上述した実施の形態に限定されることなく、その趣旨を逸脱しない範囲内で上述した実施の形態を適宜変形して実施することが可能である。
前記各実施形態では、同一被験者視線移動関連値は、視線移動量算出部54で算出された同一の被験者の視線移動量である。しかしながら、前記同一被験者視線移動関連値は、例えば、サッカードに関する指標(サッカードサイズ、サッカード時間、サッカード速度など)、頭部運動に関する指標(頭部移動量、頭部運動時間、頭部運動速度など)等、同一の被験者の視線移動に関連する値であれば、他の値であってもよい。
なお、前記サッカードサイズは、眼球移動量と同じであり、前記サッカード時間は、眼球運動特定部51によって眼球運動として特定された区間における時間の長さを意味する。また、前記サッカード速度は、眼球運動特定部51によって眼球運動と特定された区間における眼球の回転角速度の平均を意味する。前記頭部運動時間は、頭部運動特定部52によって頭部運動と特定された区間における時間の長さを意味する。また、前記頭部運動速度は、頭部運動特定部52によって頭部運動と特定された区間における頭部の回転角速度の平均を意味する。
前記各実施形態では、協調運動関連値は、頭部運動先行率算出部62で算出された同一の被験者の頭部運動先行率である。しかしながら、前記協調運動関連値は、例えば、頭部運動の開始のタイミングと眼球運動の開始のタイミングとの時間差など、同一の被験者の眼球運動及び頭部運動の協調運動に関する値であれば、他の値であってもよい。
前記各実施形態では、データ抽出部61によって抽出され且つ頭部運動先行率算出部62によって頭部運動先行率が算出された所定数のデータにおいて、視線移動量の平均値を、視線移動量の代表値としている。しかしながら、視線移動量の代表値は、前記所定数のデータにおける中央値など、該所定数のデータを代表する値であれば、どのような値であってもよい。
前記各実施形態では、眼球運動特定部51によって特定された眼球運動のうち、最初に回転角速度の絶対値が閾値αを越えた時点を、眼球運動の開始と判断する。また、頭部運動特定部52によって特定された頭部運動のうち、最初に回転角速度の絶対値が閾値γを越えた時点を、頭部運動の開始と判断する。しかしながら、眼球運動の開始は、眼球の運動に関する他のパラメータを用いて判定されてもよい。同様に、頭部運動の開始は、頭部の運動に関する他のパラメータを用いて判定されてもよい。
前記各実施形態では、乗員の頭部運動を計測するために乗員用ジャイロセンサ26が用いられ、車両1の挙動を計測するために車両用ジャイロセンサ27が用いられている。しかしながら、乗員用ジャイロセンサ26は、乗員の頭部運動を計測可能なセンサであれば他のセンサであってもよい。また、車両用ジャイロセンサ27は、車両1の挙動を計測可能なセンサであれば他のセンサであってもよい。なお、ジャイロセンサの代わりに、慣性計測装置(IMU:Inertial measurement unit)を用いた場合には、加減速を検出することができる。
前記実施形態1では、視線移動関連値取得装置20によって取得された有効視野に関連するパラメータは、被験者が運動または機械の操作を行う際の被験者の内的状態の判断などに利用可能である。また、前記取得したパラメータは、運動または機械の操作を行う際の内的状態に関し、被験者同士の相対評価等にも利用することができる。さらに、前記取得したパラメータは、仮想空間での動作または作業における被験者の内的状態の評価及び管理にも利用することができる。同様に、実施形態2から4における視線移動関連値取得装置120,220,320によって取得された有効視野に関連するパラメータも、被験者が運動または機械の操作を行う際の被験者の内的状態の判断、被験者同士の内的状態の相対評価、または、仮想空間での動作または作業における被験者の内的状態の評価及び管理等に利用可能である。
前記各実施形態で実行される視線移動関連値取得方法を、コンピュータとしての演算処理装置を用いて、プログラムによって実行してもよい。詳しくは、前記プログラムは、前記コンピュータに、被験者の視線移動に関する被験者視線移動関連値を取得させ、前記取得させた前記被験者視線移動関連値に対する、前記被験者の眼球運動及び頭部運動の協調運動に関する協調運動関連値を取得させ、前記取得させた、前記被験者の視線移動に関する前記被験者視線移動関連値と、前記取得させた、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値との関係から、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値が所定の値の場合における、前記被験者の視線移動に関する前記被験者視線移動関連値を出力させる(第1の構成)。
また、前記プログラムは、上述の第1の構成において、前記コンピュータに、継続的に、同一の被験者に関する複数のデータを含む同一被験者継続データを取得させ、前記同一被験者継続データから、前記被験者の視線移動に関する値を、同一被験者視線移動関連値として取得させ、前記取得させた前記被験者視線移動関連値に対する、前記被験者の眼球運動及び頭部運動の協調運動に関する値を、前記協調運動関連値として取得させる(第2の構成)。
また、前記プログラムは、上述の第2の構成において、前記コンピュータに、前記取得させた、前記被験者の視線移動に関する前記被験者視線移動関連値に対する、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値を、前記取得させた、前記被験者の視線移動に関する前記被験者視線移動関連値の大小の順番に並べさせ、前記順番に並んだ、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値から、連続した所定数の値を抽出してそれらの代表値を算出させるとともに、前記抽出された、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値に対応する、前記被験者の視線移動に関する前記被験者視線移動関連値から、それらの代表値を算出させ、前記算出された、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値の前記代表値と、前記算出された、前記被験者の視線移動に関する前記被験者視線移動関連値の代表値とから、前記被験者の視線移動に関する前記被験者視線移動関連値と、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値との前記関係を求めさせる(第3の構成)。
なお、上述の第1から第3の構成のうちいずれか一つの構成において、前記被験者の視線移動に関する前記被験者視線移動関連値は、前記被験者における視線の移動量である(第4の構成)。
また、上述の第1から第4の構成のうちいずれか一つの構成において、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値は、前記協調運動において前記頭部運動の開始が前記眼球運動の開始よりも先行する割合である頭部運動先行率である(第5の構成)。
また、上述の第5の構成において、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値における前記所定の値は、前記頭部運動先行率が50%である(第6の構成)。
本発明は、同一の被験者の視線移動に関する視線移動関連値を取得する視線移動関連値取得装置に利用可能である。
1 車両(輸送機器)
2 車体
7 シート
8 パワーユニット
9 ECU
18 情報出力部
20、120、220、320 視線移動関連値取得装置
21、121、221、321 演算処理装置
22、223 記憶部
25、325 アイカメラ
26 乗員用ジャイロセンサ(頭部運動計測部)
27 車両用ジャイロセンサ(輸送機器運動計測部)
28、29 無線通信機
31 ヘルメット
41、241、341 同一被験者継続データ取得部
42、242、342 同一被験者視線移動関連値取得部(被験者視線移動関連値取得部)
43、143 協調運動関連値取得部
44、244 関係取得部
45 有効視野関連パラメータ取得部(被験者視線移動関連値出力部)
51 眼球運動特定部
52 頭部運動特定部
53 運動関連付部
54 視線移動量算出部
55 運動先行判定部
61 データ抽出部
62 頭部運動先行率算出部
63、163 視線移動量平均算出部

Claims (17)

  1. 被験者の視線移動に関する被験者視線移動関連値を取得し、
    前記取得した前記被験者視線移動関連値に対する、前記被験者の眼球運動及び頭部運動の協調運動に関する協調運動関連値を取得し、
    前記取得した、前記被験者の視線移動に関する前記被験者視線移動関連値と、前記取得した、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値との関係から、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値が所定の値の場合における、前記被験者の視線移動に関する前記被験者視線移動関連値を出力する、視線移動関連値取得装置。
  2. 請求項1に記載の視線移動関連値取得装置において、
    継続的に、同一の被験者に関する複数のデータを含む同一被験者継続データを取得し、
    前記同一被験者継続データから、前記被験者の視線移動に関する値を、前記被験者視線移動関連値として取得し、
    前記同一被験者継続データから、前記取得した前記被験者視線移動関連値に対する、前記被験者の眼球運動及び頭部運動の協調運動に関する値を、前記協調運動関連値として取得する、
    視線移動関連値取得装置。
  3. 請求項2に記載の視線移動関連値取得装置において、
    前記取得した、前記被験者の視線移動に関する前記被験者視線移動関連値に対する、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値を、前記取得した、前記被験者の視線移動に関する前記被験者視線移動関連値の大小の順番に並べて、
    前記順番に並んだ、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値から、連続した所定数の値を抽出してそれらの代表値を算出するとともに、前記抽出された、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値に対応する、前記被験者の視線移動に関する前記被験者視線移動関連値から、それらの代表値を算出し、
    前記算出された、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値の前記代表値と、前記算出された、前記被験者の視線移動に関する前記被験者視線移動関連値の代表値とから、前記被験者の視線移動に関する前記被験者視線移動関連値と、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値との前記関係を得る、視線移動関連値取得装置。
  4. 請求項1から3のいずれか一つに記載の視線移動関連値取得装置において、
    前記被験者の視線移動に関する前記被験者視線移動関連値は、前記被験者における視線の移動量である、視線移動関連値取得装置。
  5. 請求項1から4のいずれか一つに記載の視線移動関連値取得装置において、
    前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値は、前記協調運動において前記頭部運動の開始が前記眼球運動の開始よりも先行する割合である頭部運動先行率、または、前記協調運動において前記頭部運動の開始のタイミングと前記眼球運動の開始のタイミングとの時間差である運動時間差である、視線移動関連値取得装置。
  6. 請求項5に記載の視線移動関連値取得装置において、
    前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値における前記所定の値は、前記頭部運動先行率が50%である、視線移動関連値取得装置。
  7. 被験者の視線移動に関する被験者視線移動関連値を取得する被験者視線移動関連値取得部と、
    前記被験者視線移動関連値取得部によって取得された前記被験者視線移動関連値に対する、前記被験者の眼球運動及び頭部運動の協調運動に関する協調運動関連値を取得する協調運動関連値取得部と、
    前記被験者視線移動関連値取得部によって取得された、前記被験者の視線移動に関する前記被験者視線移動関連値と、前記協調運動関連値取得部によって取得された、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値との関係から、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値が所定の値の場合における、前記被験者の視線移動に関する前記被験者視線移動関連値を出力する被験者視線移動関連値出力部と、
    を有する、視線移動関連値取得装置。
  8. 請求項1から7のいずれか一つに記載の視線移動関連値取得装置を備え、
    前記被験者が乗員である、輸送機器。
  9. 請求項8に記載の輸送機器において、
    前記輸送機器の運動を計測する輸送機器運動計測部と、
    前記被験者の頭部の運動を計測する頭部運動計測部と、を備え、
    前記視線移動関連値取得装置は、前記頭部運動計測部によって計測された前記被験者の頭部の運動から前記輸送機器運動計測部によって計測された前記輸送機器の運動を除いて、前記被験者の視線移動に関する前記被験者視線移動関連値、及び、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値を算出する、輸送機器。
  10. 請求項8または9に記載の輸送機器において、
    前記視線移動関連値取得装置から出力された、前記被験者の視線移動に関する前記被験者視線移動関連値に対応する情報を出力する情報出力部を備える、輸送機器。
  11. 請求項8から10のいずれか一つに記載の輸送機器において、
    前記視線移動関連値取得装置から出力された、前記被験者の視線移動に関する前記被験者視線移動関連値に基づいて、前記輸送機器の動作を制御する制御装置を備える、輸送機器。
  12. 被験者の視線移動に関する被験者視線移動関連値を取得し、
    前記取得した前記被験者視線移動関連値に対する、前記被験者の眼球運動及び頭部運動の協調運動に関する協調運動関連値を取得し、
    前記取得した、前記被験者の視線移動に関する前記被験者視線移動関連値と、前記取得した、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値との関係から、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値が所定の値の場合における、前記被験者の視線移動に関する前記被験者視線移動関連値を出力する、視線移動関連値取得方法。
  13. 請求項12に記載の視線移動関連値取得方法において、
    継続的に、同一の被験者に関する複数のデータを含む同一被験者継続データを取得し、
    前記同一被験者継続データから、前記被験者の視線移動に関する値を、前記被験者視線移動関連値として取得し、
    前記取得した前記被験者視線移動関連値に対する、前記被験者の眼球運動及び頭部運動の協調運動に関する値を、前記協調運動関連値として取得する、
    視線移動関連値取得方法。
  14. 請求項13に記載の視線移動関連値取得方法において、
    前記取得した、前記被験者の視線移動に関する前記被験者視線移動関連値に対する、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値を、前記取得した、前記被験者の視線移動に関する前記被験者視線移動関連値の大小の順番に並べて、
    前記順番に並んだ、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値から、連続した所定数の値を抽出してそれらの代表値を算出するとともに、前記抽出された、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値に対応する、前記被験者の視線移動に関する前記被験者視線移動関連値から、それらの代表値を算出し、
    前記算出された、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値の前記代表値と、前記算出された、前記被験者の視線移動に関する前記被験者視線移動関連値の代表値とから、前記被験者の視線移動に関する前記被験者視線移動関連値と、前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値との前記関係を得る、視線移動関連値取得方法。
  15. 請求項12から14のうちいずれか一つに記載の視線移動関連値取得方法において、
    前記被験者の視線移動に関する前記被験者視線移動関連値は、前記被験者における視線の移動量である、視線移動関連値取得方法。
  16. 請求項12から15のいずれか一つに記載の視線移動関連値取得方法において、
    前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値は、前記協調運動において前記頭部運動の開始が前記眼球運動の開始よりも先行する割合である頭部運動先行率、または、前記協調運動において前記頭部運動の開始のタイミングと前記眼球運動の開始のタイミングとの時間差である運動時間差である、視線移動関連値取得方法。
  17. 請求項16に記載の視線移動関連値取得方法において、
    前記被験者の眼球運動及び頭部運動の協調運動に関する前記協調運動関連値における前記所定の値は、前記頭部運動先行率が50%である、視線移動関連値取得方法。
JP2018151326A 2017-08-10 2018-08-10 視線移動関連値取得装置、それを備えた輸送機器及び視線移動関連値取得方法 Active JP7066123B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017155947 2017-08-10
JP2017155947 2017-08-10

Publications (3)

Publication Number Publication Date
JP2019034723A true JP2019034723A (ja) 2019-03-07
JP2019034723A5 JP2019034723A5 (ja) 2021-06-10
JP7066123B2 JP7066123B2 (ja) 2022-05-13

Family

ID=65271539

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018151326A Active JP7066123B2 (ja) 2017-08-10 2018-08-10 視線移動関連値取得装置、それを備えた輸送機器及び視線移動関連値取得方法

Country Status (4)

Country Link
EP (2) EP4368469A2 (ja)
JP (1) JP7066123B2 (ja)
AU (1) AU2018316010B2 (ja)
WO (1) WO2019031599A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019176492A1 (ja) * 2018-03-15 2019-09-19 オムロン株式会社 算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体
WO2021235366A1 (ja) 2020-05-20 2021-11-25 ヤマハ発動機株式会社 視線検出装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019117933A1 (de) * 2019-07-03 2021-01-07 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren und Vorrichtung zum Unterstützen eines Fahrzeugführers

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008079737A (ja) * 2006-09-26 2008-04-10 Toyota Motor Corp 集中度評価装置及びこれを用いた車両用表示装置
US20090268944A1 (en) * 2008-04-28 2009-10-29 Omron Corporation Line of sight detecting device and method
JP2014113227A (ja) * 2012-12-07 2014-06-26 Tokyo Metropolitan Univ 人の状態推定装置およびそれを備えた輸送機器
WO2016195066A1 (ja) * 2015-06-05 2016-12-08 聖 星野 眼球の運動を検出する方法、そのプログラム、そのプログラムの記憶媒体、及び、眼球の運動を検出する装置
JP2017094121A (ja) * 2016-12-26 2017-06-01 ヤマハ発動機株式会社 人の状態推定装置およびそれを備えた輸送機器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008079737A (ja) * 2006-09-26 2008-04-10 Toyota Motor Corp 集中度評価装置及びこれを用いた車両用表示装置
US20090268944A1 (en) * 2008-04-28 2009-10-29 Omron Corporation Line of sight detecting device and method
JP2009266086A (ja) * 2008-04-28 2009-11-12 Omron Corp 視線検出装置および方法、並びに、プログラム
JP2014113227A (ja) * 2012-12-07 2014-06-26 Tokyo Metropolitan Univ 人の状態推定装置およびそれを備えた輸送機器
WO2016195066A1 (ja) * 2015-06-05 2016-12-08 聖 星野 眼球の運動を検出する方法、そのプログラム、そのプログラムの記憶媒体、及び、眼球の運動を検出する装置
US20180174309A1 (en) * 2015-06-05 2018-06-21 Kiyoshi Hoshino Eye Motion Detection Method, Program, Program Storage Medium, and Eye Motion Detection Device
JP2017094121A (ja) * 2016-12-26 2017-06-01 ヤマハ発動機株式会社 人の状態推定装置およびそれを備えた輸送機器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019176492A1 (ja) * 2018-03-15 2019-09-19 オムロン株式会社 算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体
WO2021235366A1 (ja) 2020-05-20 2021-11-25 ヤマハ発動機株式会社 視線検出装置

Also Published As

Publication number Publication date
AU2018316010A1 (en) 2020-03-05
EP3649954A4 (en) 2020-07-15
JP7066123B2 (ja) 2022-05-13
AU2018316010B2 (en) 2021-09-30
EP4368469A2 (en) 2024-05-15
EP3649954A1 (en) 2020-05-13
WO2019031599A1 (ja) 2019-02-14
EP3649954B1 (en) 2024-04-17

Similar Documents

Publication Publication Date Title
JP7066123B2 (ja) 視線移動関連値取得装置、それを備えた輸送機器及び視線移動関連値取得方法
JP6435104B2 (ja) 身体状態の変化を判定するシステム及び方法
CN102159136B (zh) 困意预兆检测装置
US11203347B2 (en) In-vehicle device, information management server, information management system, and method
JP2014180543A5 (ja)
JP6572393B2 (ja) ホイールフレーム、駆動輪、車椅子、エルゴメータ、及び、測定システム
WO2018186488A1 (ja) 操縦入力情報取得装置
JP2014230681A (ja) パワーアシスト装置及び歩行補助車
JP2009213636A (ja) 状態推定装置
JP6068964B2 (ja) 人の状態推定装置およびそれを備えた輸送機器
JP2013186897A5 (ja)
WO2016024565A1 (ja) モーションキャプチャ装置、モーションキャプチャ方法、運動性能診断方法およびモーションキャプチャ用身体装着具
US20160081614A1 (en) Exercise analysis device, exercise analysis method, and storage medium having exercise analysis program
JP6344747B2 (ja) 演算処理装置及び人の状態推定方法
JP2018165070A (ja) 乗員状態推定装置及び乗員状態推定方法
JP2017519917A (ja) 位置フィードバックを提供するヘルメット
WO2021079494A1 (ja) リーン車両走行状態データ出力装置及びリーン車両操縦技量判定装置
JP5163275B2 (ja) 運転誘導装置および運転誘導方法
JP2018135002A (ja) 車両用健康診断装置
JP6087171B2 (ja) 人の状態推定装置およびそれを備えた輸送機器
JP2021053240A (ja) 眠気又は覚醒レベル評価装置及び評価プログラム
WO2017057114A1 (ja) 血圧左右差算出装置および血圧左右差算出方法
EP3157415A1 (en) Stress monitoring for individuals in moving structures
DK2962586T3 (en) Helmet with position feedback
JP7280968B2 (ja) リーン車両用リアルタイム情報提示制御装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210420

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220413

R150 Certificate of patent or registration of utility model

Ref document number: 7066123

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150