CN110366388B - 信息处理方法、信息处理装置以及计算机可读存储介质 - Google Patents

信息处理方法、信息处理装置以及计算机可读存储介质 Download PDF

Info

Publication number
CN110366388B
CN110366388B CN201880013229.5A CN201880013229A CN110366388B CN 110366388 B CN110366388 B CN 110366388B CN 201880013229 A CN201880013229 A CN 201880013229A CN 110366388 B CN110366388 B CN 110366388B
Authority
CN
China
Prior art keywords
user
eye
arousal level
equal
biological information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880013229.5A
Other languages
English (en)
Other versions
CN110366388A (zh
Inventor
菰田泰生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingzi Holding Co
Original Assignee
Jingzi Holding Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingzi Holding Co filed Critical Jingzi Holding Co
Publication of CN110366388A publication Critical patent/CN110366388A/zh
Application granted granted Critical
Publication of CN110366388B publication Critical patent/CN110366388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168Evaluating attention deficit, hyperactivity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/398Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明的目的在于降低由于眨眼的个人之间或者个人内部的偏差而导致的清醒度的判定误差。本发明执行以下步骤:从用户佩戴的处理装置获取关于用户的眼电位的第1生物信息;以及在将眼电位的峰值中的高度和宽度作为轴的坐标空间中,基于与等清醒度线平行的投影轴、和绘制第1生物信息的点之间的距离,计算用户的清醒程度。

Description

信息处理方法、信息处理装置以及计算机可读存储介质
技术领域
本发明涉及一种信息处理方法、信息处理装置以及计算机可读存储介质。
背景技术
以往,有人提出了在检测到驾驶员的清醒度(degree of arousal)降低时提高驾驶员的清醒度的装置。例如,在专利文献1记载的技术中,基于从驾驶员的眨眼抽取的参数,计算驾驶员的清醒度。
专利文献
专利文献1:日本专利3127760号公报
发明内容
在专利文献1中,公开了也可以使用眼电位作为参数。但是,由于眼电位的峰值的宽度、高度会根据眨眼的长度或强弱而发生变化,因此即使在清醒程度相同的情况下,个人之间或个人内部的偏差也会很大。因此,在如专利文献1的现有技术中,由于这种个人之间或个人内部的偏差,在清醒度的判定上就会产生误差。
于是,本公开技术的目的在于降低由于眨眼的个人之间或个人内部的偏差而导致的清醒度的判定误差。
公开技术的一个实施方式中的信息处理方法为计算机所执行的信息处理方法,该信息处理方法执行以下步骤:从用户佩戴的处理装置获取关于用户的眼电位的第1生物信息;以及在将眼点位的峰值中的高度和宽度作为轴的坐标空间中,基于与等清醒度线平行的投影轴、和绘制第1生物信息的点之间的距离,计算用户的清醒程度。
根据公开技术,能够降低由于眨眼的个人之间或个人内部的偏差而导致的清醒度的判定误差。
附图说明
图1为实施例中的信息处理***的一个例子的示意图。
图2为表示实施例中的处理装置的结构的一个例子的方框图。
图3为表示实施例中的信息处理装置的硬件结构的结构示意图。
图4为实施例中的信息处理装置的结构的一个例子的示意图。
图5为实施例中的清醒度计算处理中使用的图。
图6为实施例中的清醒度计算处理中使用的图。
图7为表示实施例中的通知处理的一个例子的流程图。
图8为变形例中的清醒度计算处理中使用的图。
具体实施方式
以下,参照附图对本发明的实施方式进行说明。但是,以下所说明的实施方式仅是示例,并不旨在排除以下没有明示的各种变形或者技术的应用。即,本发明在不脱离其主旨的范围内,可以进行各种变形并实施。此外,在以下附图的记载中,对相同或者类似的部分标记相同或者类似的符号来表示。附图是示意性的附图,未必与实际的尺寸或比例等一致。即使是在附图相互之间,有时也包含彼此的尺寸关系或比例有所不同的部分。
[实施例]
在实施例中,虽然作为搭载加速度传感器以及角速度传感器、生物电极的对象,列举了眼部佩戴用具(eyewear)的例子,但不仅限于此。图1为实施例中的信息处理***1的一个例子的示意图。图1所示的信息处理***1包含外部装置10、眼部佩戴用具30以及服务器40,外部装置10、眼部佩戴用具30以及服务器40通过网络连接,从而能够进行数据通信。
眼部佩戴用具30例如在镜腿(temple)部分搭载有处理装置20。处理装置20包含三轴加速度传感器以及三轴角速度传感器(也可以是六轴传感器)。此外,眼部佩戴用具30在一对鼻托以及鼻梁部分分别具有生物电极31、33、35。从设于眼部佩戴用具30的生物电极获取的眼电位信号被发送到处理装置20。虽然为了检测眨眼或视线移动等而设置生物电极,但是在通过图像处理来检测眨眼或视线移动等的情况下也可以不设置生物电极。
处理装置20将传感器信号、眼电位信号、和/或从这些信号计算出的生物信息等发送至外部装置10或服务器40。处理装置20的设置位置不一定为镜腿,考虑佩戴眼部佩戴用具30时的平衡性来决定位置即可。
外部装置10为具有通信功能的信息处理装置。例如,外部装置10为用户持有的手机以及智能手机等移动通信终端、个人电脑、平板终端等。外部装置10基于从处理装置20接收到的传感器信号或眼电位信号等,判定驾驶中的用户的清醒度,从而辅助驾驶。以下,将外部装置10称为信息处理装置10来进行说明。
服务器40从信息处理装置10获取关于清醒度的信息等并将其存储。服务器40也可以为从处理装置20直接获取生物信息、传感器信号、眼电位信号等的结构。在这种情况下,服务器40能够根据需要响应来自信息处理装置10的请求,向外部装置10发送传感器信号或眼电位信号等。
<处理装置20的结构>
图2表示实施例中的处理装置20的结构的一个例子的方框图。如图2所示,处理装置20具有处理部202、发送部204、六轴传感器206、以及电源部208。此外,各个生物电极31、33、35例如通过增幅部并使用电线与处理部202连接。应予说明,处理装置20的各个部也可以不设置在一侧的镜腿,而是分散地设置在一对镜腿上。
六轴传感器206为三轴加速度传感器以及三轴角速度传感器。此外,这些各个传感器也可以分别设置。六轴传感器206向处理部202输出检测的传感器信号(或者也称为检测数据)。
处理部202例如为处理器,其根据需要来处理从六轴传感器206获得的传感器信号或者从生物电极获得的眼电位信号,并向发送部204输出。例如,处理部202能够使用眼电位信号,计算出关于眨眼的生物信息或者关于视线移动的生物信息。应予说明,在实施例中,处理部202作为将关于眼电位信号的生物信息向发送部204输出的装置而进行说明。
此外,处理部202用来自六轴传感器206的传感器信号,计算出关于身体动作(bodymotion)的生物信息。关于身体动作的生物信息例如为表示规定时间内的头部运动的信息。例如,处理部202可以使用来自六轴传感器206的传感器信号,生成表示俯仰(pitch)角的数据、表示滚转(roll)角的数据、表示偏航(yaw)角的数据、以及表示包含体轴(body axis)的倾斜方向和大小的姿势的数据(以下,也将这些数据统称为“头部运动信息”)。俯仰角表示例如头的前后摇动,滚转角表示例如头的左右摇动,偏航角表示例如颈部的左右旋转的摇动,体轴的倾斜方向以及大小表示例如头的倾斜的方向以及大小。关于俯仰角、滚转角、偏航角以及姿势,使用公知技术来计算即可。此外,处理部202也可以仅对从六轴传感器206获得的传感器信号进行增幅等。以下,对于关于眨眼或视线移动的生物信息、或头部运动信息,虽然使用通过处理部202来计算的例子来进行说明,但也可以通过信息处理装置10或者服务器40来进行计算。
发送部204向信息处理装置10或服务器40发送包含经过处理部202处理的关于眼电位信号的生物信息、和/或头部运动信息的各种信息。例如,发送部204通过Bluetooth(注册商标)以及无线LAN(Local Area Network,局域网)等无线通信、或者有线通信向信息处理装置10或者服务器40发送关于眨眼或者视线移动的生物信息、或者头部运动信息。电源部208向处理部202、发送部204、六轴传感器206等供给电力。
<信息处理装置10的结构>
(硬件结构)
图3为表示实施例中的信息处理装置10的硬件结构的结构示意图。信息处理装置10的一个典型的例子是智能手机等手机,但除此以外,可以与网络无线或者有线连接的手机终端、或者如平板(tablet)型终端般搭载有触摸屏的电子设备等可以在使用网络进行通信的同时一边处理数据一边显示画面的通用设备等也可以属于实施方式中的信息处理装置10。
实施方式中的信息处理装置10例如具备未图示的长方形薄型壳体、在该壳体的一侧的面上形成有触摸屏102。在信息处理装置10中,各个结构单元与主控制部150连接。主控制部150例如为处理器。
在主控制部150上连接有移动体通信用天线112、移动体通信部114、无线LAN通信用天线116、无线LAN通信部118、存储部120、扬声器104、麦克风106、硬按钮108、硬键110以及六轴传感器111。此外,在主控制部150上进一步连接有触摸屏102、照相机130、以及外部接口140。外部接口140包含声音输出端子142。
触摸屏102具备显示装置以及输入装置两者的功能,由承担显示功能的显示器(显示画面)102A以及承担输入功能的触摸传感器102B构成。显示器102A由例如液晶显示器或者有机EL(electro luminescence,电致发光)显示器等普通的显示装置构成。触摸传感器102B构成为具备配置于显示器102A的上表面的用于检测接触操作的元件、以及层叠在其上的透明的操作面。作为触摸传感器102B的接触检测方式,可以采用静电电容式、电阻膜式(压敏式)、电磁感应式等已知的方式中的任意方式。
作为显示装置的触摸屏102显示应用(application)的图像,该应用的图像由基于主控制部150的程序122的执行而生成。作为输入装置的触摸屏102通过检测接触操作面的接触物(包含使用者的手指或者触笔等。以下以“手指”的情况作为代表例进行说明。)的动作,接收操作输入,并将该接触位置的信息提供给主控制部150。手指的动作以表示接触点的位置或者区域的坐标信息的方式而被检测,坐标信息例如表示为触摸屏102的短边方向以及长边方向的二轴上的坐标值。
信息处理装置10通过移动体通信用天线112或者无线LAN通信用天线116与网络N连接,从而能够在与处理装置20之间进行数据通信。应予说明,存储部120记录程序122,此外,存储部120也可以与外部装置10为不同的装置,例如,也可以为SD卡(secure digitalmemory card,安全数据存储卡)或者CD-ROM(compact disc read-only memory,光盘只读存储器)等存储媒体。
(功能结构)
接着,针对信息处理装置10的功能结构进行说明。图4为信息处理装置10的结构的一个例子的示意图。信息处理装置10具有存储部302、通信部304、以及控制部306。
存储部302可以通过例如图3所示的存储部120等来实现。存储部302存储与实施例中的管理用户的清醒度的应用(以下也称为“驱动应用(drive app)”)相关的数据等。与驱动应用相关的数据例如为从处理装置20或者服务器40接收的数据、与后述的等清醒度直线相关的数据或者与眼电位分布相关的数据等。
通信部304可以通过例如移动体通信部114或者无线LAN通信部118等来实现。通信部304从例如处理装置20或者服务器40接收数据。此外,通信部304也可以向服务器40发送在信息处理装置10中被处理的数据。即,通信部304具有作为发送部和接收部的功能。
控制部306通过例如主控制部150等来实现,并执行驱动应用。实施例中的驱动应用在用户的清醒度降低的情况下进行通知,并进一步具有判定清醒度是否有因为通知而提高的功能。为了实现该功能,控制部306具有获取部312、分布计算部314、清醒度计算部316。
获取部312获取基于眼电位信号的生物信息、或者基于来自佩戴于人体的六轴传感器206的传感器信号的头部运动信息。应予说明,佩戴于人体所指的不仅是直接地佩戴的情况,也包含使用包括眼部佩戴用具30等的可穿戴设备而间接地佩戴的情况。
分布计算部314基于获取的生物信息,计算出用户的眼电位的强度(具体而言,为峰值(peak)时的高度和宽度。)的直方图(以下,也称为“眼电位分布”。)。参照图5,对眼电位分布的计算方法详细地进行说明。图5为表示从对象用户处获取的眼电位的测定点的分布的图。在图5中,纵轴表示眼电位的峰值的高度,横轴表示眼电位的峰值的宽度。在以下说明中,也将眼电位的峰值的高度称为“高度H”,将眼电位的峰值的宽度称为“宽度W”。应予说明,关于眼电位的峰值,随着眨眼变弱而高度H变低,眨眼变长而宽度W变长。即,如果高度H变高,则表示用户不犯困,如果高度H变低,则表示用户在犯困。另一方面,如果宽度W变长,则表示用户在犯困,如果宽度W变短,则表示用户不犯困。
在图5中,用直线y=ax+b来表示的直线(以下也称为投影轴)为与事先计算的等清醒度线X平行的直线。该等清醒度线X为在与图5同样的高度H和宽度W的空间中,绘制被判断为清醒度相同的多个用户的眼电位的峰值的测定点后求得。具体而言,各测定点中的眼电位为在如下情况下所测定的数值,即,对于通过评价者的客观评价所得到的清醒度,在判定处于相同的清醒度连续保持了规定时间(例如10分钟)的状态的情况下进行测定。因此,等清醒度线X上侧的区域,是在相比等清醒度线X不犯困的情况下被绘制。反之,等清醒度线X下侧的区域,是在相比等清醒度线X犯困的情况下被绘制。应予说明,投影轴与等清醒度线X平行即可,例如也可以与等清醒度线X一致。此外,在图5的例子中,虽然等清醒度线为直线,但是不限定于此,也可以为曲线。
分布计算部314对获取部312在用户驾驶时的判定基准期间(例如30分钟左右。)所获取的、对象用户的眼电位的峰值的各测定点,分别计算其与投影轴的距离L。分布计算部314计算作为算出的距离L的直方图的眼电位分布。具体而言,分布计算部314对算出的距离,通过求取平均值(μ)和标准偏差(σ)而计算眼电位分布。应予说明,此时分布计算部314优选将大幅远离投影轴的测定点作为离群值而排除。
图6为表示分布计算部314根据这种方法算出的眼电位分布的一个例子的图。在图6中,横轴表示分布计算部314算出的距离,纵轴表示距离被算出的频度。在本实施例中,如图6所示,假定眼电位分布为正态分布。在这种情况下,正态分布的顶点表示在对象用户中,在驾驶中最容易发生的眼电位的强度。分布计算部314通过计算这种眼电位分布,能够将眼电位的峰值从高度H和宽度W的二维数据转换为一维数据来处理。
清醒度计算部316基于分布计算部314所算出的眼电位分布,对用户的清醒度进行记分(scoring)。具体而言,清醒度计算部316基于在驾驶中获取部312获取的用户的眼电位的高度H和宽度W,计算将测定点绘制于图5的图中时测定点与投影轴的距离。接着,清醒度计算部316基于算出的距离对应于图6的眼电位分布中的横轴的哪个位置,对清醒度进行记分。具体而言,清醒度计算部316以眼电位分布中横轴的±k(常数)×σ的范围为0分至100分的范围的方式进行线性变换,从而对清醒度进行记分。在这种情况下,50分相当于在该用户的驾驶中最平均的清醒度。此外,100分相当于最高的清醒度,0分相当于最低的清醒度。例如,当将清醒度位于眼电位分布的低位5%的情况视作犯困时,在清醒度变为5分以下的分数的情况下,判定为非常困。
另外,对于测定点和投影轴之间的距离,清醒度计算部316优选从规定的期间(例如2分钟)内的眼电位的测定点来计算距离的移动平均值并使用。由此,能够进行更高精度的对清醒度的计算。
清醒度计算部316优选判定算出的清醒度是否比规定值低,并在比规定值低的情况下通知用户。该通知可以通过例如声音或者振动等来进行。
由于眼电位的峰值中的高度H或者宽度W会根据眨眼的长度或者强弱而发生变化,因此即使清醒度相同,也存在发生变化的情况。另一方面,如果清醒度相同,则高度H与宽度W的比例恒定。因此,分布计算部314通过基于与等清醒度线X平行的投影轴来计算眼电位分布,能够降低因眨眼的个人之间或者个人内部的偏差而导致的清醒度的判定误差。
<动作>
接着,针对实施例中的信息处理装置10的动作进行说明。图7为表示实施例中的应用的整体处理的一个例子的流程图。
首先,获取部312以规定的时间(在该例子中为30分钟)从驾驶中的用户处获取眼电位(S101)。一旦经过规定的期间(S102:是),则分布计算部314根据在该时间内获取的眼电位来制作眼电位分布(参照图5)(S103)。
一旦制作眼电位分布,则清醒度计算部316参照眼电位分布,基于获取部312获取的眼电位,计算用户的清醒度(S104)。
清醒度计算部316判定算出的用户的清醒度是否为规定值以下(S105)。在用户的清醒度降低至规定值以下的情况下(S105:是),清醒度计算部316通过声音和/或振动来通知用户(S106)。另一方面,在用户的清醒度未降低至规定值以下的情况下(S105:否),返回步骤S101进行处理。
控制部306在应用的启动中反复执行该S101~S106的处理。
以上,根据实施例,能够降低因眨眼的个人之间或者个人内部的偏差而导致的清醒度的判定误差。
应予说明,在实施例中,虽然对眼部佩戴用具30为眼镜的情况进行了说明。但是,眼部佩戴用具不限定于此。眼部佩戴用具只要是关于眼睛的用具即可,可以是眼镜、墨镜、护目镜、头戴式显示器以及它们的框架等面部佩戴用具或者头部佩戴用具。
此外,在实施例中,虽然对眼部佩戴用具30设置有生物电极或者六轴传感器的情况进行了说明,但是如上所述,例如,只要从高速的车载摄像头等获取驾驶中的用户的图像(静止图像或者动态图像),并且能够使用图像处理从该图像中获取关于视线移动或者眨眼的信息(第4生物信息),则也可以不设置生物电极或者六轴传感器。在这种情况下,获取部312从车载摄像头获取用户的眨眼图像。分布计算部314从获取的用户的眨眼图像来计算眼睛睁开的大小(睁眼度)。例如,分布计算部314执行将用户眨眼的图像的肤色作为阈值的二值化处理,从而将眼球开口部面积或者上下眼睑的最大宽度作为用户的眼睛睁开的大小来计算。
图8为表示从对象用户获取的眼睛睁开的大小的分布的图。分布计算部314计算眼睛睁开的大小的移动平均值,当在0.1秒内眼睛睁开的大小为之前的大小的95%以下时,检测出用户开始闭眼。而且,分布计算部314获取用户即将开始闭眼时的图像、以及用户闭眼后又睁开至眼睛睁开的大小为即将开始闭眼时的大小时的图像。分布计算部314从用户即将开始闭眼时的图像中检测出用户的眼睛的大小。分布计算部314从即将开始闭眼时的图像的拍摄时刻、和用户眼睛睁开至即将开始闭眼时的大小为止时的图像的拍摄时刻,计测表示从开始闭眼到睁开眼为止的时间的闭眼时间。实施例的眼电位的峰值中的高度对应于“表示眨眼的开始闭眼之前的图像中的眼睛睁开的大小的睁眼度”,实施例的眼电位的峰值中的宽度对应于“表示从开始闭眼至睁眼结束为止的时间的闭眼时间”。而且,与眼电位分布同样地,分布计算部314计算将表示眨眼的开始闭眼之前的图像中的眼睛睁开的大小的睁眼度、和表示从开始闭眼至睁眼结束为止的时间的闭眼时间作为轴的直方图。其后的分布计算部314和清醒度计算部316的处理为与眼电位分布的情况相同的处理。
另外,在实施例中,虽然使用来自搭载于眼部佩戴用具30的六轴传感器206的传感器信号来进行了说明,但是即使使用来自搭载于信息处理装置10的六轴传感器111的传感器信号,也能够执行实施例中说明的应用。即,六轴传感器不仅可以佩戴于头部,只要佩戴于人体的任意位置即可。
此外,在实施例中,作为生物信息,虽然使用眨眼或者视线移动、身体动作来进行了说明,但是除此以外,也可以使用心跳、脉搏等生物信息。此外,在实施例中,虽然使用驾驶中的用户作为例子进行了说明,但是不限定于此,也可以为日常生活(休假、工作中)的用户。
此外,在实施例中,虽然对信息处理装置10具备分布计算部314和清醒度计算部316的结构进行了说明,但是不限定于此,也可以为服务器40具备分布计算部314和清醒度计算部316的结构。
此外,在实施例中,对于眼电位的各测定点,虽然通过其与投影轴的距离L的直方图来计算眼电位分布,但是不限定于此。也可以将眼电位的测定点与投影轴平行地投影到X轴或者Y轴上,根据其和投影轴与X轴或者Y轴的交点之间的距离的直方图,计算眼电位分布。
以上,虽然使用实施例对本发明进行了说明,但是本发明的技术范围不限于上述实施例中记载的范围。本领域技术人员清楚得知,能够在上述实施例中加入各种变更或者改良。该加入了各种变更或者改良的方式也能够包含于本发明的技术范围内,这是从权利要求书的记载中能够清楚得知的。
符号说明
10 信息处理装置
20 处理装置
30 眼部佩戴用具
40 服务器
302 存储部
304 通信部
306 控制部
312 获取部
314 分布计算部
316 清醒度计算部。

Claims (8)

1.一种信息处理方法,所述信息处理方法为计算机所执行的信息处理方法,其中,所述信息处理方法执行以下步骤:
从用户所佩戴的处理装置获取关于用户的眼电位的第1生物信息;以及
在将眼电位的峰值中的高度和宽度作为轴的坐标空间中,基于与等清醒度线平行的投影轴、和绘制所述第1生物信息的点之间的距离,计算所述用户的清醒程度,
所述等清醒度线为在所述坐标空间中,基于绘制第2生物信息的点而确定的线,该第2生物信息关于从相同清醒程度的用户处获取的眼电位。
2.如权利要求1所述的信息处理方法,其中,
所述等清醒度线为直线。
3.如权利要求1或2所述的信息处理方法,其中,
所述信息处理方法进一步执行以下步骤:
计算关于第3生物信息与所述投影轴之间的距离的直方图,所述第3生物信息关于在判定基准期间获取的所述用户的眼电位,
计算所述清醒程度包含基于所述直方图、以及所述投影轴与绘制所述第1生物信息的点之间的距离来计算所述清醒程度。
4.一种信息处理装置,其具备:
获取部,所述获取部从用户佩戴的处理装置获取关于用户的眼电位的第1生物信息;以及
清醒度计算部,所述清醒度计算部在将眼电位的峰值中的高度和宽度作为轴的坐标空间中,基于与等清醒度线平行的投影轴、和绘制所述第1生物信息的点之间的距离,计算所述用户的清醒程度,
所述等清醒度线为在所述坐标空间中,基于绘制第2生物信息的点而确定的线,该第2生物信息关于从相同清醒程度的用户处获取的眼电位。
5.一种计算机可读存储介质,其中,所述计算机可读存储介质包括其存储的程序,在所述程序运行时使计算机执行以下步骤:
从用户佩戴的处理装置获取关于用户的眼电位的第1生物信息;以及
在将眼电位的峰值中的高度和宽度作为轴的坐标空间中,基于与等清醒度线平行的投影轴、和绘制所述第1生物信息的点之间的距离,计算所述用户的清醒程度,
所述等清醒度线为在所述坐标空间中,基于绘制第2生物信息的点而确定的线,该第2生物信息关于从相同清醒程度的用户处获取的眼电位。
6.一种信息处理方法,所述信息处理方法为计算机所执行的信息处理方法,其中,所述信息处理方法执行以下步骤:
从拍摄用户的拍摄装置获取关于用户的眨眼的图像的第4生物信息;以及
在将睁眼度和闭眼时间作为轴的坐标空间中,基于与等清醒度线平行的投影轴、和绘制所述第4生物信息的点之间的距离,计算所述用户的清醒程度,其中,所述睁眼度表示所述眨眼的开始闭眼之前的图像中的眼睛睁开的大小,所述闭眼时间表示从开始闭眼至睁眼结束为止的时间,
所述等清醒度线为在所述坐标空间中,基于绘制第5生物信息的点而确定的线,该第5生物信息关于从相同清醒程度的用户处获取的用户的眨眼的图像。
7.一种信息处理装置,其具备:
获取部,所述获取部从拍摄用户的拍摄装置获取关于用户的眨眼的第4生物信息;以及
清醒度计算部,所述清醒度计算部在将睁眼度和闭眼时间作为轴的坐标空间中,基于与等清醒度线平行的投影轴、和绘制所述第4生物信息的点之间的距离,计算所述用户的清醒程度,其中所述睁眼度表示所述眨眼的开始闭眼之前的图像中的眼睛睁开的大小,所述闭眼时间表示从开始闭眼至睁眼结束为止的时间,
所述等清醒度线为在所述坐标空间中,基于绘制第5生物信息的点而确定的线,该第5生物信息关于从相同清醒程度的用户处获取的用户的眨眼的图像。
8.一种计算机可读存储介质,其中,所述计算机可读存储介质包括其存储的程序,在所述程序运行时使计算机执行以下步骤:
从拍摄用户的拍摄装置获取关于用户的眨眼的第4生物信息;以及
在将睁眼度和闭眼时间作为轴的坐标空间中,基于与等清醒度线平行的投影轴、和绘制所述第4生物信息的点之间的距离,计算所述用户的清醒度,其中,所述睁眼度表示所述眨眼的开始闭眼之前的图像中的眼睛睁开的大小,所述闭眼时间表示从开始闭眼至睁眼结束为止的时间,
所述等清醒度线为在所述坐标空间中,基于绘制第5生物信息的点而确定的线,该第5生物信息关于从相同清醒程度的用户处获取的用户的眨眼的图像。
CN201880013229.5A 2017-02-22 2018-01-30 信息处理方法、信息处理装置以及计算机可读存储介质 Active CN110366388B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-031288 2017-02-22
JP2017031288A JP6535694B2 (ja) 2017-02-22 2017-02-22 情報処理方法、情報処理装置及びプログラム
PCT/JP2018/002929 WO2018155098A1 (ja) 2017-02-22 2018-01-30 情報処理方法、情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
CN110366388A CN110366388A (zh) 2019-10-22
CN110366388B true CN110366388B (zh) 2022-05-17

Family

ID=63252568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880013229.5A Active CN110366388B (zh) 2017-02-22 2018-01-30 信息处理方法、信息处理装置以及计算机可读存储介质

Country Status (5)

Country Link
US (1) US11006873B2 (zh)
EP (1) EP3586733B1 (zh)
JP (1) JP6535694B2 (zh)
CN (1) CN110366388B (zh)
WO (1) WO2018155098A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020162358A1 (ja) 2019-02-04 2020-08-13 日本電気株式会社 覚醒度制御装置、覚醒度制御方法および記録媒体
JPWO2020162362A1 (ja) 2019-02-04 2021-10-21 日本電気株式会社 覚醒度制御装置、覚醒度制御方法およびプログラム
JP7170277B2 (ja) * 2019-12-09 2022-11-14 株式会社辰巳菱機 通報装置
JP6957695B1 (ja) * 2020-07-30 2021-11-02 株式会社ジンズホールディングス プログラム、情報処理方法、及び情報処理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008007152A1 (de) * 2007-03-30 2008-10-02 Volkswagen Ag Verfahren zur Parametrisierung des Augenöffnungsgrades eines Fahrers eines Kraftfahrzeugs
CN101583313A (zh) * 2007-01-19 2009-11-18 旭化成株式会社 觉醒状态判断模型生成装置、觉醒状态判断装置以及警告装置
CN102821690A (zh) * 2010-03-23 2012-12-12 爱信精机株式会社 清醒度判定装置与清醒度判定方法以及程序
CN106361270A (zh) * 2015-07-22 2017-02-01 松下电器(美国)知识产权公司 清醒度预测方法和清醒度预测装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0791224B2 (ja) 1989-10-12 1995-10-04 帝人株式会社 イソカルバサイクリン類の製造法
JPH07156682A (ja) * 1993-12-03 1995-06-20 Nissan Motor Co Ltd 覚醒状態検出装置
JP3127760B2 (ja) 1995-02-20 2001-01-29 株式会社豊田中央研究所 運転者の覚醒度検出装置
US6431705B1 (en) * 1999-11-10 2002-08-13 Infoeye Eyewear heart rate monitor
JP4864541B2 (ja) * 2006-05-23 2012-02-01 旭化成株式会社 まばたきデータ種別装置、覚醒状態判定装置及び覚醒状態判断装置
EP2355700A4 (en) * 2008-11-14 2013-07-10 Neurovigil Inc METHOD FOR IDENTIFYING SLEEPING AND UPGRADING PATTERNS AND USE
JP5163440B2 (ja) * 2008-11-19 2013-03-13 株式会社デンソー 眠気判定装置、プログラム
FI126095B (fi) * 2011-03-31 2016-06-30 Vivago Oy Järjestely sairauskohtausten ennustamiseksi tai havaitsemiseksi
EP2829230B1 (en) * 2012-03-19 2019-03-20 Fujitsu Limited Awaking degree determination device, awaking degree determination program, and awaking degree determination method
JP5959920B2 (ja) * 2012-04-25 2016-08-02 花王株式会社 目の大きさの印象判定方法及びその装置
JP6200249B2 (ja) * 2013-09-11 2017-09-20 キヤノン株式会社 情報処理装置、情報処理方法
EP3155971A4 (en) * 2014-06-11 2018-03-07 Olympus Corporation Medical diagnostic device, medical diagnostic device operation method, and medical diagnostic device operation program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101583313A (zh) * 2007-01-19 2009-11-18 旭化成株式会社 觉醒状态判断模型生成装置、觉醒状态判断装置以及警告装置
DE102008007152A1 (de) * 2007-03-30 2008-10-02 Volkswagen Ag Verfahren zur Parametrisierung des Augenöffnungsgrades eines Fahrers eines Kraftfahrzeugs
CN102821690A (zh) * 2010-03-23 2012-12-12 爱信精机株式会社 清醒度判定装置与清醒度判定方法以及程序
CN106361270A (zh) * 2015-07-22 2017-02-01 松下电器(美国)知识产权公司 清醒度预测方法和清醒度预测装置

Also Published As

Publication number Publication date
CN110366388A (zh) 2019-10-22
WO2018155098A1 (ja) 2018-08-30
US20190380637A1 (en) 2019-12-19
EP3586733A4 (en) 2020-12-09
EP3586733A1 (en) 2020-01-01
JP6535694B2 (ja) 2019-06-26
JP2018134274A (ja) 2018-08-30
US11006873B2 (en) 2021-05-18
EP3586733B1 (en) 2023-06-28

Similar Documents

Publication Publication Date Title
CN110366388B (zh) 信息处理方法、信息处理装置以及计算机可读存储介质
CN110520824B (zh) 多模式眼睛跟踪
CN106471435B (zh) 检测可穿戴装置的状态
US20200073122A1 (en) Display System
US9164588B1 (en) Wearable computing device with gesture recognition
JP6240345B2 (ja) ヘッド・マウント・ディスプレイ上の情報表示
DE112015002673T5 (de) Anzeige zur Informationsverwaltung
US20190028793A1 (en) Wireless Earpiece and Smart Glasses System and Method
CN114930272A (zh) 基于头部和眼部的姿势识别
KR20200144196A (ko) 전자 장치 및 각막 이미지를 이용한 전자 장치의 기능 제공 방법
JP2015213734A (ja) プログラム、情報処理装置、及びアイウエア
US10386921B2 (en) Display of information on a head mounted display
US11016295B2 (en) Eyeglasses wearable device, method of controlling the eyeglasses wearable device and data management server
US11137600B2 (en) Display device, display control method, and display system
CN109977836B (zh) 一种信息采集方法及终端
JP6932007B2 (ja) 情報処理方法、情報処理装置及びプログラム
JP2015202183A (ja) 検出制御装置、装着具、眼電位情報処理システム、及びプログラム
KR20180045644A (ko) 머리 착용형 디스플레이 장치 및 그의 제어 방법
WO2016072395A1 (ja) プログラム、情報処理装置、及びアイウエア
CN114661152A (zh) 一种降低视觉疲劳的ar显示控制***及方法
US11457804B1 (en) System for monitoring vision changes
WO2016076268A1 (ja) プログラム、情報処理装置、及びアイウエア
KR101805749B1 (ko) 사용자 인증 장치
WO2016158574A1 (ja) 視線移動検出方法、プログラム、情報処理装置及びアイウエア
CN117425889A (zh) 作为生物计量信号的弯曲估计

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant