CN115136225A - 效率推定装置 - Google Patents

效率推定装置 Download PDF

Info

Publication number
CN115136225A
CN115136225A CN202180015606.0A CN202180015606A CN115136225A CN 115136225 A CN115136225 A CN 115136225A CN 202180015606 A CN202180015606 A CN 202180015606A CN 115136225 A CN115136225 A CN 115136225A
Authority
CN
China
Prior art keywords
efficiency
subject person
estimation device
learning
biological information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180015606.0A
Other languages
English (en)
Inventor
小堀宽和
中岛悠太
池本纪子
木村司
长原一
沼尾正行
篠原一光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daikin Industries Ltd
Original Assignee
Daikin Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021002281A external-priority patent/JP2021140139A/ja
Application filed by Daikin Industries Ltd filed Critical Daikin Industries Ltd
Publication of CN115136225A publication Critical patent/CN115136225A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychiatry (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Evolutionary Computation (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Fuzzy Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Educational Administration (AREA)

Abstract

一种效率推定装置(100)，其推定对象者(10)的效率，其中，该效率推定装置(100)具有生物体信息取得部(20)和推定部(30)。生物体信息取得部(20)取得对象者(10)的生物体信息。推定部(30)具有学习完毕模型(40)，使用学习完毕模型(40)根据生物体信息来推定对象者(10)的效率。学习完毕模型(40)是通过包含生物体信息和对象者(10)的效率在内的示教数据集进行学习而得到的。

Description

效率推定装置
技术领域
涉及一种效率推定装置。
背景技术
以往，确定对象者相对于显示对象的注视点，仅通过由视线引起的数据推定对象者的集中度(专利文献1(日本特开2016-224142号公报)。
发明内容
发明要解决的课题
在推定对象者的学习效率或作业效率的情况下，要求越是生产率升高那样的集中状态，越是被评价为集中度较高的状态，但存在如难以仅通过由视线引起的数据评价是否为生产率升高那样的集中状态的课题。即使视线准确地观察了学习对象，也不一定成为生产率升高那样的集中状态，推定模型中考虑的信息不充分。此外，作为推定对象，优选推定成为生产率的评价指标的对象者的效率，而不是推定集中状态那样的生物体状态。
用于解决课题的手段
第1观点的效率推定装置是一种推定对象者的效率的效率推定装置，其中，该效率推定装置具有生物体信息取得部和推定部。生物体信息取得部取得对象者的生物体信息。推定部根据生物体信息来推定对象者的效率。
在该效率推定装置中，能够根据对象者的生物体信息来推定作为生产率的评价指标的对象者的效率。
第2观点的效率推定装置是一种推定对象者的效率的效率推定装置，其中，该效率推定装置具有生物体信息取得部和推定部。生物体信息取得部取得对象者的生物体信息。推定部具有学习完毕模型，使用学习完毕模型根据生物体信息来推定对象者的效率。学习完毕模型是通过包含生物体信息和对象者的效率在内的示教数据集进行学习而得到的。
在该效率推定装置中，能够根据对象者的生物体信息来推定作为生产率的评价指标的对象者的效率。
在第3观点的效率推定装置中，根据第1观点或第2观点的装置，效率是对象者的学习效率。
在第4观点的效率推定装置中，根据第3观点的装置，学习效率基于对对象者进行的测验的结果中的对象者的正确率。
在第5观点的效率推定装置中，根据第3观点的装置，学习效率基于对对象者进行的测验的结果中的对象者的回答时间。
在第6观点的效率推定装置中，根据第1观点或第2观点的装置，效率是对象者的作业效率。
在该效率推定装置中，能够推定对象者的作业效率。
在第7观点的效率推定装置中，根据第6观点的装置，作业效率基于对象者的作业精度。对象者的作业精度包含对象者在规定作业中的错误的产生程度。
在第8观点的效率推定装置中，根据第6观点的装置，作业效率基于对象者的规定作业所需的作业时间。
在第9观点的效率推定装置中，根据第1观点至第8观点中的任意一个的装置，生物体信息包含与对象者的视线相关的信息、脑电波、心率、体温、身体动作、表情和脸的朝向中的至少一者。
在第10观点的效率推定装置中，根据第1观点至第8观点中的任意一个的装置，生物体信息是对由于生物体现象或生物体活动而产生的生物体信号进行施加而得到的信息，包含困倦程度、清醒度、集中度和疲劳度中的至少一者。
在第11观点的效率推定装置中，根据第10观点的装置，由于生物体现象或生物体活动而产生的生物体信号是对象者的脑电波、心率、体温、身体动作、表情或脸的朝向。
在第12观点的效率推定装置中，根据第9观点的装置，与对象者的视线相关的信息包含对象者的视线的位置、视线的移动和视线移动的速度中的至少一者。
附图说明
图1是效率推定装置100的功能框图。
图2是示出网络架构的例子的图。
图3是示出学习数据的例子的图。
图4是示出学习效率的直方图的例子的图。
图5是效率推定装置100的流程图。
图6A是示出学习效率的直方图的其他例子的图。
图6B是示出学习效率的直方图的其他例子的图。
图7是效率推定装置200的功能框图。
图8是效率推定装置200的流程图。
具体实施方式
<第1实施方式>
(1)效率推定装置的整体结构
图1示出本实施方式的效率推定装置100。效率推定装置100通过计算机实现。效率推定装置100具有生物体信息取得部20和推定部30。生物体信息取得部20取得对象者10的生物体信息。推定部30使用学习完毕模型40，根据对象者10的生物体信息来推定对象者10的效率。
(2)效率推定装置的详细结构
(2-1)生物体信息取得部
生物体信息取得部20取得对象者10的生物体信息。生物体信息是与对象者10的视线相关的信息。与对象者10的视线相关的信息包含对象者10的视线的位置、视线的移动和视线移动的速度中的至少一者。在本实施方式中，生物体信息取得部20使用摄像头取得对象者10的视线的位置。
(2-2)推定部
推定部30具有学习完毕模型40，使用学习完毕模型40根据生物体信息来推定对象者10的效率。推定部30中可以使用CPU或GPU这样的处理器。推定部30读出存储装置(未图示)中存储的程序，并按照该程序进行规定的运算处理。并且，效率推定装置100能够按照程序将运算结果写入存储装置中，或者读出存储装置中存储的信息。存储装置能够用作数据库。
(2-3)学习完毕模型
(2-3-1)网络架构
学习完毕模型40是通过包含生物体信息和对象者10的效率在内的示教数据集进行学习而得到的。
在本实施方式中，为了使用学习完毕模型10预测(推定)对象者10的效率，使用对象者10在画面上的视线。将下述的式(1)设为画面上的位置(xK、yK)T的连结。
p∈R2×K (1)
关于式(1)，对象者10在画面上的视线的位置数量存在在每次试行时不同的情况。K为收集到的视线坐标的数据数量。例如，在由以1次采样/秒取得对象者10在画面上的视线的摄像头取得10秒钟数据的情况下，为K＝10。
二项分类任务找到映射p的函数，以标记是高效的、还是低效的。
在本实施方式中，使用深度神经网络。具体而言，使用具有L＝1、2或3的卷积层的卷积神经网络，在各层连着非线性函数的ReLU函数(斜坡函数)作为激活函数。来自最上层的卷积层的输出通过提取平均值或最大值来进行池化，以取得对时序方向上的维度进行压缩后的特征量，并供给到具有非线性函数的softmax函数作为激活函数的已完全连接的层。
图2示出卷积层为双层的网络架构的例子。
首先，如下述的式(2)所示，网络架构的输入为画面上的x坐标的值和y坐标的值。
p＝(x1、y1)、(x2、y2)、……(xK、yK) (2)
在式(2)中，(xK、yK)为向量。在图2所示的双层网络架构中，从输入侧(图2的下侧)输入多个输入向量(x1、y1)、(x2、y2)…，从输出侧(图2的上侧)输出对象者的效率。该网络架构由2个层L1、L2构成。
向第1卷积层L1输入输入向量(x1、y1)、(x2、y2)、…(xK、yK)。在第1卷积层L1中，提取对象者10的视线的特征量，输出第1特征量。
接着，向第2卷积层L2输入来自第1卷积层L1的第1特征量。在第2卷积层L2中，从第1特征量中提取对象者10的视线的特征量，输出第2特征量。
接着，向池化层(mean/max pooling)输入来自第2卷积层L2的第2特征量。在池化层中，通过提取第2特征量(特征图)的平均值或最大值来进行压缩。
接着，向全连接层输入来自池化层的特征向量。全连接层的输出被输入到输出层(未图示)。全连接层的输出表示对象者10的效率是高效的、还是低效的。
(3)学习处理
对效率推定装置100所使用的学习完毕模型40进行说明。学习完毕模型40在神经网络中使用预先通过包含生物体信息和对象者的效率在内的示教数据集进行学习而得到的推定模型。
在学习处理中，准备用于测定与视线相关的信息的个人计算机的摄像头(未图示)和带测验的电子化学习(e-learning)。通过将与正在接受电子化学习的对象者的视线相关的信息作为输入数据、将与接受电子化学习后的测验的正确率相关的信息作为输出数据的示教数据集进行学习。
图3示出学习数据的一例。在该例子中，将记录了正在接受电子化学习的对象者10在画面上的视线位于显示有内容的画面上的何处的信息设为对象者的生物体信息。如图3所示，在接受电子化学习后的测验的正确率为80％的情况下，通过将被记录为对象者10的视线的位置为“(x1、y1)、(x2、y2)、…(xk、yk)”的生物体信息作为输入、将80％的正确率作为输出的示教数据集进行学习。此外，通过将被记录为对象者10的视线的位置为“(x1’、y1’)、(x2’、y2’)、…(xl’、yl’)”的生物体信息作为输入、将90％的正确率作为输出的示教数据集进行学习。此外，通过将被记录为对象者10的视线的位置为“(x1”、y1”)、(x2”、y2”)、…(xm”、ym”)”的生物体信息作为输入、将50％的正确率作为输出的示教数据集进行学习。此外，通过将被记录为对象者10的视线的位置为“(x1”’、y1”’)、(x2”’、y2”’)、…(xn”’、yn”’)”的生物体信息作为输入、将40％的正确率作为输出的示教数据集进行学习。
(4)学习效率
效率推定装置100的对象者10的效率是学习效率。学习效率基于对象者10的测验的正确率。
图4示出学习效率的直方图的例子。横轴为对象者10的测验的正确率，纵轴为对象者的人数。如图4所例示的那样，学习数据分为集群A和集群B这2个集群。集群A将对象者10的测验的正确率80％作为峰值。在集群A中，对象者10的测验的正确率较高，因此被推定为学习效率较高。集群B将对象者10的测验的正确率40％作为峰值。在集群B中，对象者10的测验的正确率较低，因此被推定为学习效率较低。
(5)效率推定装置100的整体动作
图5示出效率推定装置100的流程图。在本实施方式中，对在电子化学习中使用效率推定装置100的情况进行说明。
首先，在步骤S1中，对象者10接受电子化学习。正在接受电子化学习的对象者10是由摄像头拍摄到的。通过生物体信息取得部20取得正在接受电子化学习的对象者10的视线的位置(步骤S2)。推定部30使用学习完毕模型40，根据对象者10的视线的位置来推定对对象者10进行了测验的情况下的正确率(步骤S3)。接着，推定部30向显示器(未图示)输出在步骤S3中推定出的正确率(步骤S4)。显示器显示推定出的测验的正确率。
(6)特征
(6-1)
在本实施方式的效率推定装置100中，推定对象者10的效率，其中，该效率推定装置100具有生物体信息取得部20和推定部30。生物体信息取得部20取得对象者10的生物体信息。推定部30具有学习完毕模型40，使用学习完毕模型40根据生物体信息来推定对象者10的效率。学习完毕模型40是通过包含生物体信息和对象者10的效率在内的示教数据集进行学习而得到的。
在该效率推定装置100中，由于使用通过包含生物体信息和对象者10的效率在内的示教数据进行学习而得到的学习完毕模型40，因此，能够根据对象者10的生物体信息推定作为生产率的评价指标的对象者10的效率。
(6-2)
在本实施方式的效率推定装置100中，效率是对象者10的学习效率。
在该效率推定装置100中，由于推定对象者10的学习效率，因此，能够推定接受了电子化学习的对象者10的学习效率。
(6-3)
在本实施方式的效率推定装置100中，学习效率基于对对象者10进行的测验的结果中的对象者10的正确率。
在该效率推定装置100中，由于学习效率基于对对象者10进行的测验的结果中的对象者10的正确率，因此，能够根据正在接受电子化学习的对象者10的学习效率(推定出的正确率)，变更电子化学习的内容。
(6-4)
在本实施方式的效率推定装置100中，与对象者的视线相关的信息包含对象者的视线的位置、视线的移动和视线移动的速度中的至少一者。
在该效率推定装置100中，能够使用与对象者的视线相关的各种信息作为生物体信息。
(7)变形例
(7-1)变形例1A
在本实施方式中，对效率推定装置100推定电子化学习中的对象者的学习效率的情况进行了说明，但也可以推定WEB授课中的学习效率。
由此，能够参考学***的WEB授课。
(7-2)变形例1B
在本实施方式中，对效率推定装置100推定电子化学***均值在内的示教数据集进行学习而得到的模型。或者，学习完毕模型使用通过包含与特定学生的视线相关的信息和该学生的正确率在内的示教数据集进行学习而得到的模型。
(7-3)变形例1C
在本实施方式中，对效率推定装置100的生物体信息是与对象者10的视线相关的信息的情况进行了说明，但不限于此。效率推定装置100的生物体信息也可以是包含对象者的脑电波、心率、体温、身体动作、表情和脸的朝向中的至少一者。此外，效率推定装置100的生物体信息也可以是对由于生物体现象或生物体活动而产生的生物体信号施加处理而得到的信息，包含困倦程度、清醒度、集中度和疲劳度中的至少一者。作为生物体现象的例子，有心率、脑电波、脉搏、呼吸、出汗等。此外，作为生物体活动的例子，有表情、脸的朝向、身体的移动等。此外，由于生物体现象和生物体活动而产生的生物体信号中包含脑电波、心率、体温、身体动作、表情或脸的朝向等，由于生物体现象而产生的生物体信号的一部分被称作生命体征。
在变形例1C的效率推定装置中，由于生物体信息包含与对象者的视线相关的信息、脑电波、心率、体温、身体动作、表情和脸的朝向中的至少一者，因此，能够根据对象者的各种生物体信息来推定对象者的效率。此外，在变形例1C的效率推定装置中，是对由于生物体现象或生物体活动而产生的生物体信号施加处理而得到的信息，包含困倦程度、清醒度、集中度和疲劳度中的至少一者，因此，不限于由生物体通过生物体现象或生物体活动产生的生物体信号，还能够使用对由于生物体现象或生物体活动而产生的生物体信号施加处理而得到的信息作为生物体信息，推定对象者的效率。
此外，在本实施方式中，对生物体信息取得部20从摄像头取得对象者的生物体信息的情况进行了说明，但也可以从生物体传感器取得对象者的生物体信息。
(7-4)变形例1D
在本实施方式中，关于效率推定装置100的效率，对学习效率基于对象者10的测验的正确率的情况进行了说明，但也可以基于对象者10的测验的回答时间或学习所花费的时间。
例如，如图6A所示，在测验的回答时间较短的情况下，对应于将回答时间30分钟作为峰值的集群A，推定为：学习效率较高。此外，在测验的回答时间较长的情况下，对应于将回答时间90分钟作为峰值的集群B，推定为：学习效率较低。
在变形例1D的效率推定装置中，由于学习效率基于对对象者进行的测验的结果中的对象者的回答时间，因此，能够根据接受了电子化学习的对象者的培训后的测验的回答时间，变更电子化学习的内容。
此外，如图6B所示，在学习所花费的时间较短的情况下，对应于将学习时间30分钟作为峰值的集群A，推定为学习效率较高。此外，在学习所花费的时间较长的情况下，对应于将学习时间作为90分钟为峰值的集群B，推定为学习效率较低。学习所花费的时间设为由教材和测验构成电子化学习时的教材的学习所花费的时间。
在变形例1D的效率推定装置中，由于学习效率基于对对象者进行的测验的结果中的对象者的学习所花费的时间，因此，能够根据接受了电子化学习的对象者的学习所花费的时间，变更电子化学习的内容。
学习所花费的时间也可以设为通过WEB授课进行学习时的播放时间。例如，当通过WEB授课进行学习时多次进行倒回时，WEB授课的播放时间变长。
此外，学习效率也可以将对象者10的测验的正确率、测验的回答时间、学习所花费的时间中的任意两者或全部设为指标。使用计时器，取得对象者的测验的回答时间或学习所花费的时间。
(7-5)变形例1E
在本实施方式中，对效率推定装置100的效率是对象者10的学习效率的情况进行了说明，但也可以是对象者的作业效率。
对象者的作业效率基于对象者的作业精度。对象者的作业精度包含对象者在规定作业中的错误的产生程度。对象者的作业效率也可以基于对象者的规定作业所需的作业时间。对象者的规定作业为工厂的组装线上的作业或数据输入的作业等。
在变形例1E的效率推定装置中，推定对象者的作业效率，因此，能够推定工厂的组装线、数据输入的作业等的对象者的作业效率。
此外，在变形例1E的效率推定装置中，由于作业效率基于对象者的作业精度，对象者的作业精度包含对象者在规定作业中的错误的产生程度，因此，能够适于组装线的各负责人对作业场所进行分配，能够对进行了数据输入作业的对象者进行改善错误输入的指导等。
此外，在变形例1E的效率推定装置中，作业效率包含对象者的规定作业所具有的作业时间，因此，能够进行组装线上的负荷偏差的改善，或者促使进行了数据输入作业的对象者休息。
<第2实施方式>
(1)效率推定装置的整体结构
图7示出本实施方式的效率推定装置200。效率推定装置200通过计算机实现。效率推定装置200具有生物体信息取得部20和推定部50。生物体信息取得部20取得对象者10的生物体信息。推定部50使用物理模型60，根据对象者10的生物体信息推定对象者10的效率。
(2)效率推定装置的详细结构
(2-1)生物体信息取得部
生物体信息取得部20取得对象者10的生物体信息。生物体信息是与对象者10的视线相关的信息。与对象者10的视线相关的信息包含对象者10的视线的位置、视线的移动和视线移动的速度中的至少一者。在本实施方式中，生物体信息取得部20使用摄像头，取得对象者10的视线的位置。
(2-2)推定部
推定部50具有物理模型60，使用物理模型60根据生物体信息推定对象者10的效率。推定部50可以使用CPU或GPU这样的处理器。推定部50读出存储装置(未图示)中存储的程序，按照该程序进行规定的运算处理。此外，效率推定装置200能够按照程序将运算结果写入存储装置中，或者读出存储装置中存储的信息。存储装置能够用作数据库。
(2-3)物理模型
对效率推定装置200所使用的物理模型60进行说明。物理模型60表示生物体信息与对象者10的效率的相关关系。
在本实施方式中，为了使用物理模型60预测(推定)对象者10的效率，使用对象者10在画面上的视线。将取得了正在接受电子化学习的对象者10在画面上的视线位于显示有内容的画面上的何处的信息设为对象者的生物体信息。
在将取得的、对象者10的视线的位置为“(x1、y1)、(x2、y2)、…(xk、yk)”的生物体信息作为输入的情况下，接受电子化学习后的测验的正确率能够通过下述的式(3)的物理模型60来求出。
正确率＝f(x1，x2，…xk、y1，y2，…yk) (3)
(3)效率推定装置200的整体动作
图8示出效率推定装置200的流程图。在本实施方式中，对在电子化学习中使用效率推定装置200的情况进行说明。
首先，在步骤S11中，对象者10接受电子化学习。正在接受电子化学习的对象者10是由摄像头拍摄到的。通过生物体信息取得部20取得正在接受电子化学习的对象者10的视线的位置(步骤S12)。推定部50使用物理模型60，根据对象者160的视线的位置来推定对对象者10进行了测验的情况下的正确率(步骤S13)。接着，推定部50向显示器(未图示)输出在步骤S3中推定出的正确率(步骤S14)。显示器显示推定出的测验的正确率。
(4)特征
(4-1)
在本实施方式的效率推定装置200中，推定对象者10的效率，其中，该效率推定装置200具有生物体信息取得部20和推定部50。生物体信息取得部20取得对象者10的生物体信息。推定部50根据生物体信息推定对象者10的效率。
在该效率推定装置200中，由于物理模型60基于生物体信息与对象者10的效率的相关关系，因此，能够根据对象者10的生物体信息推定作为生产率的评价指标的对象者10的效率。
(5)变形例
(5-1)变形例2A
在本实施方式中，对效率推定装置100推定电子化学习中的对象者的学习效率的情况进行了说明，但也可以推定WEB授课中的学习效率。
(5-2)变形例2B
在本实施方式中，对效率推定装置100推定电子化学习中的对象者的学习效率的情况进行了说明，但也可以推定补习学校、学校的授课中的学习效率。
(5-3)变形例2C
在本实施方式中，对效率推定装置100的生物体信息是与对象者10的视线相关的信息的情况进行了说明，但不限于此。效率推定装置100的生物体信息也可以是包含对象者的脑电波、心率、体温、身体动作、表情和脸的朝向中的至少一者。此外，效率推定装置100的生物体信息也可以包含对由于生物体现象或生物体活动而产生的生物体信号进行处理而得到的信息、例如转换为困倦程度、清醒度、集中度、疲劳度后的信息。
此外，在本实施方式中，对生物体信息取得部20从摄像头取得对象者的生物体信息的情况进行了说明，但也可以从生物体传感器取得对象者的生物体信息。
(5-4)变形例2D
在本实施方式中，关于效率推定装置100的效率，对学习效率基于对象者10的测验的正确率的情况进行了说明，但也可以基于对象者10的测验的回答时间或学习所花费的时间。
(5-5)变形例2E
在本实施方式中，对效率推定装置100的效率是对象者10的学习效率的情况进行了说明，但也可以是对象者的作业效率。
(5-6)变形例2F
以上，已说明了本公开的实施方式，但是应当理解为：在不脱离权利要求书所记载的本公开的主旨和范围的情况下，能够对方式、细节进行各种变更。
标号说明
10：对象者；
20：生物体信息取得部；
30、50：推定部；
40：学习完毕模型；
60：物理模型；
100、200：效率推定装置。
现有技术文献
专利文献
专利文献1：日本特开2016-224142号公报

Claims (12)

1.一种效率推定装置，其推定对象者的效率，其中，
所述效率推定装置具有：
生物体信息取得部，其取得所述对象者的生物体信息；以及
推定部，其根据所述生物体信息推定所述对象者的效率。
2.一种效率推定装置(100)，其推定对象者(10)的效率，其中，
所述效率推定装置具有：
生物体信息取得部(20)，其取得所述对象者的生物体信息；以及
推定部(30)，其具有学习完毕模型(40)，使用所述学习完毕模型根据所述生物体信息来推定所述对象者的效率，
所述学习完毕模型是通过包含所述生物体信息和所述对象者的效率在内的示教数据集进行学习而得到的。
3.根据权利要求1或2所述的效率推定装置，其中，
所述效率是所述对象者的学习效率。
4.根据权利要求3所述的效率推定装置，其中，
所述学习效率基于对所述对象者进行的测验的结果中的所述对象者的正确率。
5.根据权利要求3所述的效率推定装置，其中，
所述学习效率基于对所述对象者进行的测验的结果中的所述对象者的回答时间。
6.根据权利要求1或2所述的效率推定装置，其中，
所述效率是所述对象者的作业效率。
7.根据权利要求6所述的效率推定装置，其中，
所述作业效率基于所述对象者的作业精度，
所述对象者的作业精度包含所述对象者在规定作业中的错误的产生程度。
8.根据权利要求6所述的效率推定装置，其中，
所述作业效率基于所述对象者的规定作业所需的作业时间。
9.根据权利要求1～8中的任意一项所述的效率推定装置，其中，
所述生物体信息包含与所述对象者的视线相关的信息、脑电波、心率、体温、身体动作、表情和脸的朝向中的至少一者。
10.根据权利要求1～8中的任意一项所述的效率推定装置，其中，
所述生物体信息是对由于生物体现象或生物体活动而产生的生物体信号施加处理而得到的信息，包含困倦程度、清醒度、集中度和疲劳度中的至少一者。
11.根据权利要求10所述的效率推定装置，其中，
所述由于生物体现象或生物体活动而产生的生物体信号是所述对象者的脑电波、心率、体温、身体动作、表情或脸的朝向。
12.根据权利要求9所述的效率推定装置，其中，
与所述对象者的视线相关的信息包含所述对象者的视线的位置、视线的移动和视线移动的速度中的至少一者。
CN202180015606.0A 2020-02-28 2021-03-01 效率推定装置 Pending CN115136225A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2020-033697 2020-02-28
JP2020033697 2020-02-28
JP2021002281A JP2021140139A (ja) 2020-02-28 2021-01-08 効率推定装置
JP2021-002281 2021-01-08
PCT/JP2021/007670 WO2021172584A1 (ja) 2020-02-28 2021-03-01 効率推定装置

Publications (1)

Publication Number Publication Date
CN115136225A true CN115136225A (zh) 2022-09-30

Family

ID=77491652

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180015606.0A Pending CN115136225A (zh) 2020-02-28 2021-03-01 效率推定装置

Country Status (4)

Country Link
US (1) US20230293115A1 (zh)
EP (1) EP4113483A4 (zh)
CN (1) CN115136225A (zh)
WO (1) WO2021172584A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105046284A (zh) * 2015-08-31 2015-11-11 鲁东大学 一种基于特征选择的多示例多标签学习方法及***
JP2016224142A (ja) * 2015-05-28 2016-12-28 富士通株式会社 評価方法、プログラム及び評価装置
CN108154003A (zh) * 2017-12-04 2018-06-12 西北工业大学 基于Spark基因表达式优化的***振动预测方法
US20190080623A1 (en) * 2017-09-14 2019-03-14 Massachusetts Institute Of Technology Eye Tracking As A Language Proficiency Test
WO2019056499A1 (zh) * 2017-09-20 2019-03-28 平安科技（深圳）有限公司 预测模型训练方法、数据监控方法、装置、设备及介质
JP2019128365A (ja) * 2018-01-19 2019-08-01 株式会社ベネッセコーポレーション 学習支援システム
CN110268456A (zh) * 2017-03-14 2019-09-20 欧姆龙株式会社 驾驶员监视装置、驾驶员监视方法、学习装置及学习方法
CN110826796A (zh) * 2019-11-01 2020-02-21 广州云蝶科技有限公司 成绩预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106073805B (zh) * 2016-05-30 2018-10-19 南京大学 一种基于眼动数据的疲劳检测方法和装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016224142A (ja) * 2015-05-28 2016-12-28 富士通株式会社 評価方法、プログラム及び評価装置
CN105046284A (zh) * 2015-08-31 2015-11-11 鲁东大学 一种基于特征选择的多示例多标签学习方法及***
CN110268456A (zh) * 2017-03-14 2019-09-20 欧姆龙株式会社 驾驶员监视装置、驾驶员监视方法、学习装置及学习方法
US20190080623A1 (en) * 2017-09-14 2019-03-14 Massachusetts Institute Of Technology Eye Tracking As A Language Proficiency Test
US20190079917A1 (en) * 2017-09-14 2019-03-14 Massachusetts Institute Of Technology Predicting Native Language From Gaze
WO2019056499A1 (zh) * 2017-09-20 2019-03-28 平安科技（深圳）有限公司 预测模型训练方法、数据监控方法、装置、设备及介质
CN108154003A (zh) * 2017-12-04 2018-06-12 西北工业大学 基于Spark基因表达式优化的***振动预测方法
JP2019128365A (ja) * 2018-01-19 2019-08-01 株式会社ベネッセコーポレーション 学習支援システム
CN110826796A (zh) * 2019-11-01 2020-02-21 广州云蝶科技有限公司 成绩预测方法

Also Published As

Publication number Publication date
WO2021172584A1 (ja) 2021-09-02
US20230293115A1 (en) 2023-09-21
EP4113483A1 (en) 2023-01-04
EP4113483A4 (en) 2024-03-13

Similar Documents

Publication Publication Date Title
Kaur et al. Prediction and localization of student engagement in the wild
Goldberg et al. Attentive or not? Toward a machine learning approach to assessing students’ visible engagement in classroom instruction
Khatamino et al. A deep learning-CNN based system for medical diagnosis: an application on Parkinson’s disease handwriting drawings
Mekyska et al. Identification and rating of developmental dysgraphia by handwriting analysis
Behera et al. Associating facial expressions and upper-body gestures with learning tasks for enhancing intelligent tutoring systems
CN110678935A (zh) 采用面部追踪和情感检测及其相关的方法应用在一种交互式自适应学习及神经认知障碍诊断***
JP7326002B2 (ja) 診断検査方法および装置
CN111887867A (zh) 基于表情识别与心理学测试生成性格的分析方法及***
Ethington Differences among women intending to major in quantitative fields of study
Zakka et al. Estimating student learning affect using facial emotions
Pise et al. Estimation of learning affects experienced by learners: an approach using relational reasoning and adaptive mapping
CN117671787A (zh) 一种基于Transformer的康复动作评估方法
CN117542121B (zh) 基于计算机视觉的智能化训练考核***及方法
KR101996247B1 (ko) 진단 검사 방법 및 장치
CN115136225A (zh) 效率推定装置
JP2021140139A (ja) 効率推定装置
CN115188051A (zh) 基于对象行为的在线课程推荐方法及***
CN114998440A (zh) 基于多模态的测评方法、装置、介质及设备
JP7469966B2 (ja) 情報処理装置、情報処理方法及びプログラム
Katsumata A multiple smart device-based personalized learning environment
Yu et al. Analysis of student e-learning engagement using learning affect: Hybrid of facial emotions and domain model
CN111048200A (zh) 一种自闭症患者刻板行为评估***、方法及终端
Maddu et al. Online learners’ engagement detection via facial emotion recognition in online learning context using hybrid classification model
Pavlenko et al. Eye Tracking in the Study of Cognitive Processes.
Sukumaran et al. Multimodal Engagement Recognition From Image Traits Using Deep Learning Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination