CN115516544A - 辅助***、辅助方法以及辅助程序 - Google Patents

辅助***、辅助方法以及辅助程序 Download PDF

Info

Publication number
CN115516544A
CN115516544A CN202180032586.8A CN202180032586A CN115516544A CN 115516544 A CN115516544 A CN 115516544A CN 202180032586 A CN202180032586 A CN 202180032586A CN 115516544 A CN115516544 A CN 115516544A
Authority
CN
China
Prior art keywords
user
sample
target
data
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180032586.8A
Other languages
English (en)
Inventor
川上量生
小田桐优理
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dwango Co Ltd
Original Assignee
Dwango Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dwango Co Ltd filed Critical Dwango Co Ltd
Publication of CN115516544A publication Critical patent/CN115516544A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

一实施方式的辅助***具备至少一个处理器。至少一个处理器进行以下处理：获取表示目标用户的视点的移动的目标数据；参照存储部，所述存储部存储对应关系数据和辅助信息，所述对应关系数据是通过对多个样本数据进行统计处理而得到的数据，并表示用户的视点的移动与该用户对内容的理解度之间的对应关系，其中，所述多个样本数据是从多个样本用户得到的数据，各个样本数据表示对样本内容进行了视觉确认的样本用户的视点的移动与该样本用户对该样本内容的理解度的对，所述辅助信息是与用户对内容的理解度相对应起来的信息；基于目标数据和对应关系数据，估计目标用户的理解度；输出与目标用户的理解度对应的辅助信息。

Description

辅助***、辅助方法以及辅助程序
技术领域
本公开的一个方面涉及辅助***、辅助方法以及辅助程序。
背景技术
已知有对视觉确认内容的用户进行辅助的技术。例如，在专利文献1中记载了用于辅助外语的阅读理解的学习的学习辅助装置。该学习辅助装置追踪学习者阅读课题外语文章时的视线移动，计算读回频率和视线停留，将与该读回频率和视线停留有关的信息提示给指导者。在专利文献2至6中也记载有与用户的辅助相关的技术。
现有技术文献
专利文献
专利文献1：日本特开2005-338173号公报
专利文献2：日本特开2010-039646号公报
专利文献3：日本特开2016-114684号公报
专利文献4：日本特开2018-097266号公报
专利文献5：日本专利第6636670号公报
专利文献6：日本特开2014-194637号公报
发明内容
发明所要解决的课题
期望一种能够适当地辅助视觉确认内容的用户的方法。
用于解决课题的手段
本公开的一个方面所涉及的辅助***具备至少一个处理器。至少一个处理器进行以下处理：获取表示目标用户的视点在显示目标内容的画面上的移动的目标数据；参照存储部，所述存储部存储对应关系数据和辅助信息，所述对应关系数据是通过对多个样本数据进行统计处理而得到的数据，并表示用户的视点的移动与该用户对内容的理解度之间的对应关系，其中，所述多个样本数据是从对样本内容进行了视觉确认的多个样本用户得到的数据，各个样本数据表示对该样本内容进行了视觉确认的样本用户的视点的移动与该样本用户对该样本内容的理解度的对，所述辅助信息是与用户对内容的理解度相对应起来的信息；基于目标数据和对应关系数据，估计目标用户对目标内容的理解度；输出与估计出的目标用户的理解度对应的辅助信息。
在这样的方面，通过对从样本用户获得的样本数据进行统计处理来生成对应关系数据，并基于该对应关系数据和表示目标用户的视点相对于目标内容的移动的目标数据来估计该目标用户的理解度。通过使用通过统计处理获得的对应关系数据，根据对内容进行视觉确认的用户的实际倾向来估计目标用户的理解度。通过输出基于该估计的辅助信息，能够适当地辅助视觉确认目标内容的目标用户。
发明效果
根据本公开的实施例，可以适当地辅助视觉确认内容的用户。
附图说明
图1是表示实施方式的辅助***的应用的一例的图。
图2是表示与实施方式的辅助***相关联的硬件结构的一例的图。
图3是表示与实施方式的辅助***相关联的功能结构的一例的图。
图4是表示实施方式的辅助***的动作的一例的流程图。
图5是表示实施方式的眼动追踪***的动作的一例的流程图。
图6是表示对第一内容设定的引导区域的一例的图。
图7是表示对第一内容设定的引导区域的一例的图。
图8是表示实施方式的辅助***的动作的一例的流程图。
图9是表示实施方式的辅助***的动作的一例的流程图。
图10是表示辅助信息的例的图。
具体实施方式
以下，参照附图详细说明本公开中的实施方式。在附图的说明中，对相同或同等的要素标注相同的附图标记，并省略重复的说明。
[***的概要]
实施方式的辅助***是对视觉确认内容的用户进行辅助的计算机***。内容是指由计算机或计算机***提供的、人能够识别的信息。表示内容的电子数据被称为内容数据。内容的表现形式没有限定，例如，内容也可以通过文书、图像(例如，照片、影像等)、或者它们的组合来表现。内容的目的以及利用场景没有限定，例如，内容能够以教育、新闻、演讲、商业交易、娱乐、医疗、游戏、聊天等各种目的来利用。
辅助***通过向用户终端发送内容数据来向用户提供内容。用户是想要从辅助***得到信息的人，即，是内容的收看者。用户终端也可以称为“收看者终端”。辅助***可以根据来自用户的请求将内容数据提供给用户终端，也可以基于与用户不同的发布者的指示将内容数据提供给用户终端。发布者是要向用户(收看者)传递信息的人，即，是内容的发送者。
辅助***根据需要不仅向用户提供内容，还向用户提供与用户的理解度对应的辅助信息。用户的理解度是表示用户对内容的理解程度的指标。例如，在内容中包含文章的情况下，用户的理解度也可以是表示用户对该文章理解了多少(例如，用户是否理解了文章中包含的单词的意思、用户是否理解了文章的语法等)的指标。辅助信息是用于促进用户对内容的理解的信息。例如，在内容中包含文章的情况下，辅助信息也可以是表示文章中包含的单词的意思、文章的语法等的信息。在以下的说明中，将成为估计理解度的目标的用户(换言之，成为根据需要被提供辅助信息的目标的用户)称为目标用户，将由该目标用户视觉确认的内容称为目标内容。
为了输出辅助信息，辅助***基于目标用户的视点在显示目标内容的画面上的移动，估计目标用户的理解度。具体而言，辅助***参照表示用户的视点的移动与用户的理解度之间的对应关系的对应关系数据。对应关系数据是通过对预先获取的样本数据进行统计处理而生成的电子数据。样本数据是表示对内容进行了视觉确认的用户的视点的移动与用户对内容的理解度的对的电子数据。在以下的说明中，将提供用于生成对应关系数据的样本数据的用户称为样本用户，将由样本用户视觉确认的内容称为样本内容。
辅助***从该目标用户的用户终端获取表示目标用户的视点的移动的数据。表示视点的移动的数据是表示用户的视点在用户终端的画面上如何移动的数据，在本公开中也称为视点数据。以下，将表示目标用户的视点的移动的数据(即，目标用户的视点数据)称为目标数据。辅助***使用对应关系数据和目标数据来估计目标用户的理解度。之后，辅助***根据需要将与目标用户的理解度对应的辅助信息输出至该目标用户的用户终端。
在本公开中，在不需要区分样本用户和目标用户的情况下，有时将它们统称为用户来进行说明。
视点数据由眼动追踪(eye Tracking)***获取。眼动追踪***基于用户的眼睛的移动，每隔给定的时间间隔确定用户的视点坐标，获取表示沿着时间序列排列的多个视点坐标的视点数据。视点坐标是表示视点在用户终端的画面上的位置的坐标。视点坐标也可以使用二维的坐标系来表示。眼动追踪***可以搭载于用户终端，也可以搭载于与用户终端不同的其他计算机。或者，追踪***也可以通过用户终端与其他计算机协作来实现。
眼动追踪***进行用于更高精度地确定用户的视点坐标的处理即校正。作为一例，首先，眼动追踪***将显示于用户终端的画面的内容的部分区域设定为用于使用户注视的引导区域。以下，将设定有引导区域的内容称为第一内容。然后，眼动追踪***基于用户的眼睛的移动，将注视引导区域的用户的视点坐标确定为第一视点坐标，并计算该第一视点坐标与引导区域的区域坐标之间的差分。引导区域的区域坐标是表示引导区域在用户终端的画面上的位置的坐标。之后，眼动追踪***在用户对显示于用户终端的画面的内容(第二内容)进行视觉确认时，基于该用户的眼睛的移动，将观看第二内容的用户的视点坐标确定为第二视点坐标。然后，眼动追踪***使用预先计算出的差分来对所确定的第二视点坐标进行校正。第二内容是在校正第二视点坐标时用户正在观看的内容。
如上所述，内容的目的和使用场景不受限定。在本实施方式中，作为内容的一例而示出教育用内容，辅助***对视觉确认教育用内容的学生进行辅助。因此，目标内容是“教育用的目标内容”，样本内容是“教育用的样本内容”。教育用内容是用于对学生进行教育的内容，并且例如可以是诸如练习题、试题等的测试，或者可以是教科书。教育用内容也可以包含文章、数学式、图表或者图形等。学生是指接受学业、技艺等的教育的人。学生是用户(收看者)的一例。如上所述，也可以基于发布者的指示而向收看者进行内容的发布。在内容是教育用内容的情况下，发布者也可以是教师。教师是指对学生教授学业、技艺等的人。教师可以是具有教师资格证的人，也可以是不具有教师资格证的人。对于教师以及学生各自的年龄以及所属没有限定。因此，教育用内容的目的以及利用场景也没有限定。例如，教育用内容可以在托儿所、幼儿园、小学、中学、高中、大学、大学研究生院、专门学院、预备学校、在线学校等各种学校中使用，也可以在学校以外的场所或场景中使用。与此相关，教育用内容能够以幼儿教育、义务教育、高等教育、生涯教育等各种目的来使用。此外，教育用内容不仅包括学校教育，还包括在企业等的研讨会或培训的场景中使用的内容。
[***的结构]
图1是表示实施方式的辅助***1的应用的一例的图。在本实施方式中，辅助***1具备服务器10。服务器10经由通信网络N与用户终端20以及数据库30能够通信地连接。通信网络N的结构没有限定。例如，通信网络N可以构成为包含因特网，也可以构成为包含局域网。
服务器10是将内容分发给用户终端20，并根据需要将辅助信息提供给用户终端20的计算机。服务器10也可以由一个或多个计算机构成。
用户终端20是由用户使用的计算机。在本实施方式中，用户是收看教育用的内容的学生。在一例中，用户终端20具有访问辅助***1而接收内容数据以及辅助信息并进行显示的功能、和将视点数据发送给辅助***1的功能。用户终端20的种类没有限定，例如也可以是高性能便携电话机(智能手机)、平板终端、可穿戴终端(例如，头戴式显示器(HMD)、智能眼镜等)、膝上型个人计算机、便携电话机等便携终端。或者，用户终端20也可以是台式个人计算机等固定型终端。在图1中，示出3台用户终端20，但用户终端20的个数没有限定。在本实施方式中，在区分说明样本用户的终端和目标用户的终端时，将样本用户的终端标记为“用户终端20A”，将目标用户的终端标记为“用户终端20B”。用户对用户终端20进行操作而登录辅助***1，能够收看内容。在本实施方式中，以辅助***1的用户已经登录为前提。
数据库30是存储由辅助***1使用的数据的非暂时性的存储装置。在本实施方式中，数据库30存储内容数据、样本数据、对应关系数据以及辅助信息。数据库30可以是单一的数据库，也可以是多个数据库的集合。
图2是表示与辅助***1相关联的硬件结构的一例的图。图2表示作为服务器10发挥功能的服务器计算机100和作为用户终端20发挥功能的终端计算机200。
作为一例，服务器计算机100具备处理器101、主存储部102、辅助存储部103以及通信部104作为硬件构成要素。
处理器101是执行操作***以及应用程序的运算装置。作为处理器的例，可举出CPU(Central Processing Unit：中央处理单元)及GPU(Graphics Processing Unit：图形处理单元)，但处理器101的种类并不限定于这些。
主存储部102是存储用于实现服务器10的程序、从处理器101输出的运算结果等的装置。主存储部102例如由ROM(Read Only Memory：只读存储器)以及RAM(Random AccessMemory：随机存取存储器)中的至少一个构成。
辅助存储部103一般是能够存储比主存储部102更大量的数据的装置。辅助存储部103例如由硬盘、闪存等非易失性存储介质构成。辅助存储部103存储用于使服务器计算机100作为服务器10发挥功能的服务器程序P1和各种数据。在本实施方式中，作为服务器程序P1安装辅助程序。
通信部104是经由通信网络N与其他计算机之间执行数据通信的装置。通信部104例如由网卡或无线通信模块构成。
服务器10的各功能要素通过使处理器101或主存储部102读入服务器程序P1并使处理器101执行该程序来实现。服务器程序P1包含用于实现服务器10的各功能要素的代码。处理器101按照服务器程序P1使通信部104工作，执行主存储部102或辅助存储部103中的数据的读出和写入。通过这样的处理来实现服务器10的各功能要素。
服务器10可以由一个或多个计算机构成。在使用多个计算机的情况下，这些计算机经由通信网络N相互连接，由此在逻辑上构成一个服务器10。
作为一例，终端计算机200具备处理器201、主存储部202、辅助存储部203、通信部204、输入接口205、输出接口206以及摄像部207作为硬件构成要素。
处理器201是执行操作***以及应用程序的运算装置。处理器201例如可以是CPU或GPU，但处理器201的种类不限于此。
主存储部202是存储用于实现用户终端20的程序、从处理器201输出的运算结果等的装置。主存储部202例如由ROM和RAM中的至少一个构成。
辅助存储部203一般是能够存储比主存储部202更大量的数据的装置。辅助存储部203例如由硬盘、闪存等非易失性存储介质构成。辅助存储部203存储用于使终端计算机200作为用户终端20发挥功能的客户端程序P2和各种数据。
通信部204是经由通信网络N与其他计算机之间执行数据通信的装置。通信部204例如由网卡或无线通信模块构成。
输入接口205是基于用户的操作或动作来接收数据的装置。例如，输入接口205由键盘、操作按钮、指示设备、触摸面板、麦克风、传感器以及摄像机中的至少一个构成。
输出接口206是输出由终端计算机200处理后的数据的装置。例如，输出接口206由监视器、触摸面板、HMD以及扬声器中的至少一个构成。
摄像部207是对于拍摄了现实世界的图像进行拍摄的装置，具体而言是摄像机。摄像部207可以拍摄运动图像(影像)或静止图像(照片)。摄像部207还可以作为输入接口205发挥功能。
用户终端20的各功能要素通过使处理器201或主存储部202读入客户端程序P2并使处理器201执行该程序来实现。客户端程序P2包含用于实现用户终端20的各功能要素的代码。处理器201按照客户端程序P2使通信部204、输入接口205、输出接口206或摄像部207工作，进行主存储部202或辅助存储部203中的数据的读出及写入。通过该处理，实现用户终端20的各功能要素。
服务器程序P1和客户端程序P2中的至少一个也可以在非暂时性地记录于CD-ROM、DVD-ROM、半导体存储器等有形的记录介质的基础上提供。或者，这些程序中的至少一个也可以作为叠加于载波的数据信号而经由通信网络N提供。这些程序可以单独提供，也可以一起提供。
图3是表示与辅助***1相关联的功能结构的一例的图。服务器10包括内容分发部11、统计处理部12、估计部13和辅助部14作为功能要素。统计处理部12是生成对应关系数据的功能要素。统计处理部12通过对存储于数据库30的样本数据进行统计处理来生成对应关系数据，并将对应关系数据保存于数据库30。估计部13是估计目标用户对目标内容的理解度的功能要素。估计部13从用户终端20B获取表示目标用户的视点的移动的目标数据，基于该目标数据和对应关系数据来估计目标用户的理解度。辅助部14是将与目标用户的理解度对应的辅助信息发送给用户终端20B的功能要素。
用户终端20具备设定部21、确定部22、计算部23、追踪部24以及显示控制部25作为功能要素。设定部21是将显示于用户终端20的画面的第一内容的部分区域设定为引导区域的功能要素。识别部22是基于注视引导区域的用户的眼睛的移动来识别用户的第一视点坐标的功能要素。计算部23是计算由设定部21设定的引导区域的区域坐标与由确定部22确定的第一视点坐标之间的差分的功能要素。追踪部24是通过对观看显示在用户终端20的画面上的内容的用户的眼睛的移动进行观测来生成视点数据的功能要素。追踪部24使用计算出的差分对观看第二内容的用户的第二视点坐标进行校正，生成表示校正后的第二视点坐标的视点数据。显示控制部25是控制用户终端20上的画面的显示的功能要素。在本实施方式中，眼动追踪***由设定部21、确定部22、计算部23、追踪部24以及显示控制部25构成。
[***的动作]
图4是将辅助***1的动作作为处理流程S1表示的流程图。参照图4，对辅助***1的处理的整体情况进行说明。
在步骤S11中，服务器10的统计处理部12对多个样本数据进行统计处理，生成对应关系数据。
对成为步骤S11的前提的样本数据的收集的一例进行说明。首先，内容分发部11向多个用户终端20A中的每一个分发样本内容。向各个用户终端20A分发样本内容的时刻没有限定。例如，内容分发部11可以根据来自各个用户终端20A的请求将样本内容分发到该用户终端20A，也可以将样本内容一齐分发到2个以上的用户终端20A。在每个用户终端20A中，显示控制部25接收并显示样本内容。然后，用户终端20A的追踪部24生成视点数据，该视点数据表示对样本内容进行了视觉确认的样本用户的视点的移动。在一例中，样本用户以回答问卷调查的形式将对样本内容的理解度输入到用户终端20A，用户终端20A接受该输入数据。或者，用户终端20A或服务器10可以基于用户对样本内容的解答(例如，对提问的解答)来估计样本用户的理解度。输入或估计的理解度例如表示是否能够理解文章中包含的单词的意思、是否能够理解文章的语法等。在一例中，用户终端20A生成表示所生成的视点数据与输入或估计出的理解度的对的样本数据，并将该样本数据发送至服务器10。或者，也可以是，用户终端20A向服务器10发送视点数据，服务器10生成表示该视点数据与估计出的理解度的对的样本数据。在任何情况下，服务器10将样本数据存储在数据库30中。服务器10将关于某个特定样本内容从多个用户终端20A获得的多个样本数据存储在数据库30中。服务器10可以针对多个样本内容中的每一个存储多个样本数据。辅助***1通过这一系列的处理来收集样本数据。
统计处理部12从数据库30读出多个样本数据，对该多个样本数据进行统计处理，生成对应关系数据。由统计处理部12进行的统计处理的方法以及所生成的对应关系数据的表现形式没有限定。
作为一例，统计处理部12基于样本用户的视点的移动以及用户对样本内容的理解度，对多个样本数据进行聚类，由此生成对应关系数据。统计处理部12也可以基于视点的移动速度、视点的反转次数(视点的移动方向变化的次数)、视点移动的区域的面积中的至少一个来判断视点的移动的类似性。统计处理部12也可以基于单词的意思的理解度和文章的语法的理解度中的至少一个来判断内容的理解度的类似性。统计处理部12也可以针对各个样本数据，将与视点的移动有关的特征和与理解度有关的特征作为特征向量进行矢量化，使该特征向量共同或类似的样本数据彼此属于相同的类。统计处理部12根据聚类的结果导出用户的视点的移动与用户的理解度之间的对应关系。更具体而言，该对应关系可以说表示用户的视点的移动的倾向和与该倾向对应的理解度的对。统计处理部12生成表示该对应关系的对应关系数据，并将该对应关系数据存储在数据库30中。
作为其他例，统计处理部12也可以通过进行回归分析来生成对应关系数据。具体而言，统计处理部12基于规定的规则将样本用户的视点的移动以及样本用户的理解度分别数值化。统计处理部12对数值化后的数据进行回归分析，生成以样本用户的理解度为目的变量、以样本用户的视点的移动为说明变量的回归式。此时，统计处理部12也可以将样本用户的视点的移动分解为视点的移动速度、视点的反转次数等多个要素，设定与该多个要素对应的多个说明变量。例如，统计处理部12也可以将视点的移动速度以及视点的反转次数分别作为独立的说明变量进行数值化，进行使用了该多个说明变量的多元回归分析。统计处理部12将通过回归分析生成的回归式作为对应关系数据存储在数据库30中。由统计处理部12进行的回归分析的方法也可以是部分的最小二乘回归(PLS)或者支持向量回归(SVR)。总之，该对应关系数据也表示用户的视点的移动的倾向和与该倾向对应的理解度的对。
作为又一例，统计处理部12也可以通过机器学习来对样本用户的视点的移动与样本用户的理解度之间的对应关系进行分析，生成对应关系数据。机器学习也可以是使用了神经网络的深度学习。统计处理部12使用构成为当将表示用户的视点的移动的数据输入到输入层时输出表示用户的理解度的数据的机器学习模型，进行将样本数据作为学习数据的有教师学习，调整该学习模型内的加权参数。统计处理部12将进行了加权参数的调整的模型(学习完毕模型)作为对应关系数据存储于数据库30。在采用机器学习的情况下，统计处理部12也可以对存储于数据库30的样本数据进行预处理，转换为适于机器学习的形式的数据。
统计处理部12也可以适当选择在统计处理中使用的样本数据，生成多种对应关系数据。例如，统计处理部12也可以针对多个样本内容的每一个，使用从收看该样本内容的多个样本用户获取的样本数据来生成对应关系数据。在该情况下，针对各个内容生成对应关系数据。以下，将该对应关系数据称为“内容特有的对应关系数据”。或者，统计处理部12也可以使用多个样本内容(例如，属于相同类别的多个样本内容)的样本数据来生成对应关系数据。在该情况下，对于多个内容(例如，属于相同类别的多个内容)生成共同的对应关系数据。以下，将该对应关系数据称为“被一般化的对应关系数据”。
在步骤S12中，辅助部14根据需要向正在对目标内容进行视觉确认的目标用户提供辅助信息。辅助部14估计目标用户对目标内容的理解度，根据需要提供与该理解度对应的辅助信息。稍后将描述输出辅助信息的处理的详细内容。用户的理解度与辅助信息的对应关系被预先确定，辅助信息以能够确定该对应关系的方式被预先存储于数据库30。也可以以通过辅助信息来补充目标用户对目标内容的理解不足的部分的方式将用户的理解度和辅助信息对应起来。例如，对于表示未理解内容中的文章中包含的单词的意思的用户的理解度，也可以将该单词的意思作为辅助信息而相对应起来。
图5是将眼动追踪***的动作作为处理流程S2表示的流程图。基于眼动追踪***的处理大致分为计算视点坐标的校正中使用的差分的工序(步骤S21至步骤S23)、以及使用计算出的差分来对用户的视点坐标进行校正的工序(步骤S24以及步骤S25)。
在步骤S21中，设定部21将显示在用户终端20的画面上的第一内容的部分区域动态地设定为引导区域。第一内容是由内容分发部11分发并由显示控制部25显示的任意的内容。第一内容既可以是教育用内容，也可以是不以教育为目的的内容。引导区域是用于使用户注视的区域，由连续排列的多个像素构成。动态地设定引导区域是指，响应于在画面上显示未预先设定用于使用户注视的区域的第一内容，在该第一内容中设定引导区域。在一例中，仅在第一内容显示在画面上的期间设定该引导区域。在画面上显示的第一内容中的引导区域的位置不受限制。例如，设定部21也可以在第一内容的中央部分、上侧部分、下侧部分、角的部分等任意的位置设定引导区域。在一例中，在设定部21设定了引导区域之后，显示控制部25基于该设定而在第一内容中显示引导区域。引导区域的形状以及面积(像素数)也没有限定。引导区域是为了对视点坐标进行校正而使用户注视的区域，因此，典型地，设定部21将引导区域的面积设定得远小于在画面上显示的第一内容的面积(即，显示装置的面积)。
动态地设定引导区域的方法没有限定。在一例中，设定部21也可以通过使引导区域的显示方式与引导区域以外的区域(以下也将其称为非引导区域)的显示方式不同，从而在视觉上区分引导区域和非引导区域。设定显示方式的方法没有限定。作为具体例，设定部21也可以通过不改变引导区域的分辨率而降低非引导区域的分辨率来相对地提高引导区域的分辨率，从而区分引导区域和非引导区域。作为另一具体例，设定部21也可以不改变引导区域的显示方式而对非引导区域进行模糊处理，由此区分引导区域和非引导区域。例如，设定部21也可以通过将非引导区域中的某个目标像素的颜色设定为与该目标像素相邻的多个像素的颜色的平均颜色，来进行模糊处理。设定部21既可以在维持非引导区域的分辨率的同时进行模糊处理，也可以在使分辨率降低的基础上进行模糊处理。作为另一具体例，设定部21也可以通过用特定颜色或特定种类的框线包围引导区域的外缘来区分引导区域和非引导区域。设定部21也可以通过组合分辨率的调整、模糊处理以及框线的描绘中的任意2个以上的方法来使引导区域区别于其他区域。
或者，在第一内容中包含有能够由用户选择的选择对象的情况下，设定部21也可以将显示该选择对象的区域设定为引导区域。即，设定部21也可以将该选择对象确定为部分区域，将该选择对象设定为引导区域。典型地，选择对象也可以是在应用程序的教程画面中显示的选择按钮或链接。或者，在由用户终端20进行问题练习或测试的情况下，选择对象可以是用于选择问题的按钮，也可以是用于开始练习或测试的按钮。设定部21可以在保持被设定为引导区域的选择对象的分辨率的同时降低非引导区域的分辨率。在该处理的基础上或者代替该处理，设定部21可以对非引导区域进行模糊处理，也可以用特定颜色或者特定种类的框线包围设定为引导区域的选择对象的外缘。
设定部21通过任意的方法设定引导区域的区域坐标。例如，设定部21也可以将引导区域的中央或重心的坐标设定为区域坐标。或者，设定部21也可以将引导区域中的任意1个像素的位置设定为区域坐标。
在步骤S22中，确定部22将注视引导区域的用户的视点坐标确定为第一视点坐标。确定部22基于用户的眼睛的移动来确定视点坐标。视点坐标的确定方法没有限定。作为一例，确定部22也可以通过用户终端20的摄像部207拍摄用户的眼睛的周边图像，基于以用户的内眼角为基准点的虹膜的位置来确定视点坐标。作为另一例，确定部22也可以使用角膜反射法(PCCR)来确定用户的视点坐标。在采用角膜反射法的情况下，用户终端20也可以具备红外线射出装置以及红外线摄像机作为硬件结构。
在步骤S23中，计算部23计算由确定部22确定的第一视点坐标与由设定部21设定的引导区域的区域坐标之间的差分。例如，在由XY坐标系表示用户终端20的画面上的位置的情况下，在第一视点坐标为(105，105)且区域坐标为(100，100)的情况下，差分为(105-100，105-100)＝(5，5)。计算部23将计算出的差分存储在主存储部202、辅助存储部203等任意的存储装置中。
为了提高校正的精度，用户终端20也可以改变引导区域的位置的同时反复多次从步骤S21到步骤S23的处理。在该情况下，计算部23也可以将计算出的多个差分的统计值(例如平均值)设定为在之后的校正处理(步骤S25)中使用的差分。
在步骤S24中，追踪部24将观看第二内容的用户的视点坐标确定为第二视点坐标。第二内容是由内容分发部11分发并由显示控制部25显示的任意的内容。例如，第二内容可以是样本内容或目标内容。追踪部24可以通过与确定部22对第一视点坐标的确定相同的方法(即，与步骤S22的处理相同的方法)来确定第二视点坐标。第二内容可以与第一内容不同，也可以相同。
在步骤S25中，追踪部24使用差分来对第二视点坐标进行校正。例如，当在步骤S24中确定的第二视点坐标是(190，155)并且在步骤S23中计算出的差分是(5，5)时，追踪部24以成为(190-5，155-5)＝(185，150)的方式对第二视点坐标进行校正。
追踪部24也可以反复进行步骤S24、S25的处理，获取按时间序列排列的校正后的多个第二视点坐标，生成表示用户的视点的移动的视点数据。或者，追踪部24也可以获取校正后的多个第二视点坐标，服务器10基于该多个第二视点坐标生成视点数据。
参照图6和图7，对引导区域的设定例进行说明。图6和图7都是表示由设定部21对第一内容设定的引导区域的一例的图。
在图6的例中，设定部21通过降低非引导区域的分辨率来设定引导区域。在该示例中，用户终端20显示包括孩子、草坪和球的第一内容C11，并且在改变第一内容C11上的引导区域的位置的同时计算差分。随着引导区域的位置的变化，显示按照画面D11、D12、D13的顺序变化。在图6中，用虚线表示非引导区域。
首先，设定部21将孩子的脸部的部分设定为引导区域A11。画面D11对应于该设定。设定部21不改变引导区域A11的分辨率，而降低引导区域A11以外的区域(非引导区域)的分辨率。作为一例，设定部21也可以降低非引导区域的分辨率，以使引导区域A11的分辨率成为非引导区域的分辨率的2倍以上或4倍以上。例如，在引导区域A11的分辨率为300ppi时，非引导区域的分辨率也可以为150ppi以下或75ppi以下。通过这样的分辨率的设定，非引导区域比引导区域A11模糊地显示，因此用户的视线通常朝向清晰地显示的引导区域A11。由此，能够确定注视引导区域A11的用户的视点坐标(第一视点坐标)。在正在显示画面D11的期间，确定部22获取用户的第一视点坐标。接着，计算部23计算第一视点坐标与引导区域A11的区域坐标之间的差分。
之后，设定部21将球的部分设定为引导区域A12。画面D12对应于该设定。设定部21将引导区域A12的分辨率恢复为原始值，降低引导区域A12以外的区域(非引导区域)的分辨率。其结果，用户的视线通常朝向引导区域A12。在正在显示画面D12的期间，确定部22获取用户的第一视点坐标。接着，计算部23计算第一视点坐标与引导区域A12的区域坐标之间的差分。
之后，设定部21将第一内容C11的右下部分(草坪的部分)设定为引导区域A13。画面D13对应于该设定。设定部21将引导区域A13的分辨率恢复为原始值，降低引导区域A13以外的区域(非引导区域)的分辨率。其结果，用户的视线通常朝向引导区域A13。在正在显示画面D13的期间，确定部22获取用户的第一视点坐标。接着，计算部23计算第一视点坐标与引导区域A13的区域坐标之间的差分。计算部23求出所计算出的多个差分的统计值。该统计值用于追踪部24对第二视点坐标的校正(步骤S25)。
在图7的例中，设定部21将第一内容C21内的选择对象设定为引导区域。在该例中，第一内容C21是在线学力考试的教程。随着该教程的进行，显示按照画面D11、D12、D13的顺序变化。
画面D21包含“出国语的问题。”这样的字符串和OK按钮。OK按钮是选择对象。设定部21将显示有OK按钮的区域设定为引导区域A21。通常，用户在对选择对象进行操作时注视该选择对象。因此，能够确定注视引导区域A21的用户的视点坐标(第一视点坐标)。在一例中，在由用户选择了OK按钮时，确定部22获取用户的第一视点坐标。接着，计算部23计算第一视点坐标与引导区域A21的区域坐标之间的差分。
若用户对OK按钮进行操作，则显示控制部25将画面D21切换为画面D22。画面D22包括“请选择问题数。”这样的字符串和“5个”、“10个”以及“15个”这样的三个选择按钮。这些选择按钮是选择对象。设定部21将显示有三个选择按钮的区域分别设定为引导区域A22、引导区域A23以及引导区域A24。在一例中，在用户选择了三个选择按钮中的任意一个时，确定部22确定用户的视点坐标(第一视点坐标)。然后，计算部23计算第一视点坐标与对应于由用户选择的所选对象的引导区域(引导区域A22至引导区域A24中的一个)的区域坐标之间的差分。
若用户选择一个选择按钮，则显示控制部25将画面D22切换为画面D23。画面D23包括“开始测试吗？”这样的字符串和开始按钮。开始按钮是选择对象。设定部21将显示有开始按钮的区域设定为引导区域A25。在一例中，在由用户选择了开始按钮时，确定部22获取用户的第一视点坐标。接着，计算部23计算第一视点坐标与引导区域A25的区域坐标之间的差分。计算部23求出所计算出的多个差分的统计值。该统计值用于追踪部24对第二视点坐标的校正(步骤S25)。
图8是将辅助***1的动作的一例作为处理流程S3表示的流程图。处理流程S3表示对收看目标内容的目标用户提供辅助信息的处理步骤。处理流程S3以目标用户登录辅助***1为前提。另外，以眼动追踪***已经计算出视点坐标的校正中所使用的差分为前提。
在步骤S31中，用户终端20B的显示控制部25在用户终端20B的画面上显示目标内容。显示控制部25例如从服务器10接收从内容分发部11分发的内容数据，并基于该内容数据显示目标内容。
在步骤S32中，用户终端20B的追踪部24获取对目标内容进行视觉确认的目标用户的视点坐标(第二视点坐标)。具体而言，追踪部24基于观看目标内容的目标用户的眼睛的移动来确定视点坐标(校正前的视点坐标)，并且使用预先计算出的差分来对所确定的视点坐标进行校正。追踪部24也可以每隔给定的时间间隔获取校正后的视点坐标，生成该多个视点坐标沿着时间序列排列的视点数据(即，表示目标用户的视点的移动的目标数据)。
在步骤S33中，估计部13获取目标数据。例如，估计部13可以从用户终端20B的追踪部24接收目标数据。或者，追踪部24也可以将多个校正后的视点坐标依次发送到服务器10，估计部13生成该多个视点坐标沿着时间序列排列的视点数据(目标数据)。
在步骤S34中，估计部13参照数据库30获取对应关系数据，基于目标数据以及对应关系数据来估计目标用户对目标内容的理解度。作为一例，在通过聚类生成对应关系数据的情况下，估计部13将由目标数据所属的类表示的理解度估计为目标用户的理解度。作为另一例，在通过回归分析生成了对应关系数据的情况下，估计部13将目标数据应用于回归式来估计目标用户的理解度。作为又一例，在对应关系数据为学习完毕模型的情况下，估计部13通过向该学习完毕模型输入目标数据来估计目标用户的理解度。
在步骤S35中，辅助部14从数据库30获取与目标用户的理解度对应的辅助信息，将该辅助信息发送到用户终端20B。用户终端20B的显示控制部25在用户终端20B的画面上显示辅助信息。辅助信息的输出时刻没有限定。例如，显示控制部25也可以在从目标内容被显示在用户终端20的画面上时起经过了规定时间(例如15秒)之后输出辅助信息。或者，显示控制部25也可以根据来自用户的请求而输出辅助信息。显示控制部25也可以根据用户的理解度来调整辅助信息的显示时间。或者，显示控制部25也可以仅在预先由用户等设定的显示时间的期间显示辅助信息。或者，辅助部14可以显示辅助信息直到目标内容的显示被切换为止，或者可以显示辅助信息直到用户对目标内容进行输入(例如，对提问的解答)为止。在所估计的理解度表示目标用户对目标内容的理解是充分的情况下，辅助部14可以不输出辅助信息而结束处理。辅助信息的输出方式没有限定。在辅助信息包含声音数据的情况下，用户终端20也可以从扬声器输出该声音数据。
如步骤S36所示，辅助***1在用户终端20B显示目标内容的期间，反复进行从步骤S32到步骤S35的处理。作为一例，辅助***1在显示目标内容的期间反复进行该一系列的处理。
图9是将辅助***1的动作的例作为处理流程S4表示的流程图。处理流程S4也涉及对收看目标内容的目标用户提供辅助信息的处理，但具体的步骤与处理流程S3不同。处理流程S4也以目标用户登录辅助***1和眼动追踪***已经计算出差分为前提。
在步骤S41中，用户终端20B的显示控制部25在用户终端20B的画面上显示目标内容。在步骤S42中，用户终端20B的追踪部24获取对目标内容进行视觉确认的目标用户的视点坐标(第二视点坐标)。在步骤S43中，估计部13获取表示目标用户的视点的移动的目标数据。这一系列的处理与步骤S31至S33相同。
在步骤S44中，估计部13参照数据库30获取被一般化的对应关系数据，并且基于目标数据和被一般化的对应关系数据来估计目标用户对目标内容的理解度(第一理解度)。具体的估计方法与步骤S34相同。
在步骤S45中，辅助部14从数据库30获取与目标用户的第一理解度对应的辅助信息，将该辅助信息发送到用户终端20B。用户终端20B的显示控制部25向用户终端20B的画面输出辅助信息。
在步骤S46中，辅助部14判定是否对目标用户进行追加的辅助，即是否将追加的辅助信息提供给目标用户。在辅助部14判定为不进行追加的辅助的情况下，处理移至步骤S49。在辅助部14判定为进行追加的辅助的情况下，处理转移至步骤S47。作为一例，也可以在规定时间内进行了针对目标内容的用户输入(例如，针对提问的解答)的情况下，辅助部14判定为不进行追加的辅助，在规定时间内未进行该用户输入的情况下，辅助部14判定为进行追加的辅助。
在步骤S47中，估计部13参照数据库30获取目标内容特有的对应关系数据，基于目标数据以及内容特有的对应关系数据来估计目标用户对目标内容的理解度(第二理解度)。该处理以将相同的内容用作样本内容和目标内容为前提。具体的估计方法与步骤S34相同。
在步骤S48中，辅助部14从数据库30获取与目标用户的第二理解度对应的追加的辅助信息，将该辅助信息发送到用户终端20B。用户终端20B的显示控制部25向用户终端20B的画面输出追加的辅助信息。
如步骤S49所示，辅助***1在用户终端20B正在显示目标内容的期间，反复进行从步骤S42到步骤S48的处理。作为一例，辅助***1在正在显示目标内容的期间反复进行该一系列的处理。
图10是表示辅助信息的例的图。在该例中，设目标内容Q11是英语的问题的一部分，目标用户是日本人的学生。在该例中，辅助***1参照包含与表示“词汇力的不足”的理解度Ra、表示“语法力的不足”的理解度Rb、以及表示“关于文章的背景的理解不足”的理解度Rc有关的信息的对应关系数据。例如，在估计部13基于目标数据和其对应关系数据估计为目标用户的词汇力不足的情况下，辅助部14输出与该理解度对应的辅助信息B11。在估计部13估计为目标用户的语法力不足的情况下，辅助部14输出与该理解度对应的辅助信息B12。在估计部13估计为目标用户未理解文章的背景的情况下，辅助部14输出与该理解度对应的辅助信息B13。用户终端20B的显示控制部25显示所输出的辅助信息。目标用户能够参考该辅助信息来解决问题。
[效果]
如上所述，根据本公开的一个方面的辅助***具备至少一个处理器。至少一个处理器进行以下处理：获取表示目标用户的视点在显示目标内容的画面上的移动的目标数据；参照存储部，所述存储部存储对应关系数据和辅助信息，所述对应关系数据是通过对多个样本数据进行统计处理而得到的数据，并表示用户的视点的移动与该用户对内容的理解度之间的对应关系，其中，所述多个样本数据是从对样本内容进行了视觉确认的多个样本用户得到的数据，各个样本数据表示对该样本内容进行了视觉确认的样本用户的视点的移动与该样本用户对该样本内容的理解度的对，所述辅助信息是与用户对内容的理解度相对应起来的信息；基于目标数据和对应关系数据，估计目标用户对目标内容的理解度；输出与估计出的目标用户的理解度对应的辅助信息。
本公开的一个方面的辅助方法由具备至少一个处理器的辅助***执行。辅助方法包括以下步骤：获取表示目标用户的视点在显示目标内容的画面上的移动的目标数据；参照存储部，所述存储部存储对应关系数据和辅助信息，所述对应关系数据是通过对多个样本数据进行统计处理而得到的数据，并表示用户的视点的移动与该用户对内容的理解度之间的对应关系，其中，所述多个样本数据是从对样本内容进行了视觉确认的多个样本用户得到的数据，各个样本数据表示对该样本内容进行了视觉确认的样本用户的视点的移动与该样本用户对该样本内容的理解度的对，所述辅助信息是与用户对内容的理解度相对应起来的信息；基于目标数据和对应关系数据，估计目标用户对目标内容的理解度；以及输出与估计出的目标用户的理解度对应的辅助信息。
根据本公开的一个方面的辅助程序使计算机执行以下步骤：获取表示目标用户的视点在显示目标内容的画面上的移动的目标数据；参照存储部，所述存储部存储对应关系数据和辅助信息，所述对应关系数据是通过对多个样本数据进行统计处理而得到的数据，并表示用户的视点的移动与该用户对内容的理解度之间的对应关系，其中，所述多个样本数据是从对样本内容进行了视觉确认的多个样本用户得到的数据，各个样本数据表示对该样本内容进行了视觉确认的样本用户的视点的移动与该样本用户对该样本内容的理解度的对，所述辅助信息是与用户对内容的理解度相对应起来的信息；基于目标数据以及对应关系数据，估计目标用户对目标内容的理解度；输出与估计出的目标用户的理解度对应的辅助信息。
在这样的方面，通过对从样本用户获得的样本数据执行统计处理来生成对应关系数据，并基于对应关系数据和表示目标用户的视点相对于目标内容的移动的目标数据来估计目标用户的理解度。通过使用通过统计处理获得的对应关系数据，根据对内容进行视觉确认的用户的实际倾向来估计目标用户的理解度。通过输出基于该估计的辅助信息，能够适当地辅助对目标内容进行视觉确认的目标用户。由于通过统计处理来导出用户的视点的移动与用户的理解度之间的对应关系，所以不需要针对该对应关系预先设定假设。此外，能够通过统计处理高精度地求出其对应关系(高精度地设定假设是非常困难的)。因此，能够根据实际情况适当地辅助目标用户。
在根据另一方面的辅助***中，统计处理可以包括基于样本用户的视点的移动和样本用户的理解度对多个样本数据进行聚类的处理。在该情况下，能够通过聚类适当地导出用户的视点的移动与用户的理解度之间的对应关系。
在其他方面的辅助***中，统计处理也可以包括对多个样本数据进行回归分析的处理。在该情况下，能够通过回归分析适当地导出用户的视点的移动与用户的理解度之间的对应关系。
在其他方面的辅助***中，也可以是，至少一个处理器在从目标内容被显示在画面上时起经过规定时间之后输出辅助信息。在该情况下，可以在不使用辅助信息的情况下将考虑目标内容的时间给予目标用户，并且例如，可以提高目标用户使用了目标内容的学习的自由度。
在其他方面的辅助***中，对应关系数据也可以包括：被一般化的对应关系数据，其是通过对多个第一样本数据进行统计处理而得到的数据，所述多个第一样本数据包含从对不同于目标内容的样本内容进行了视觉确认的样本用户得到的样本数据；以及内容特有的对应关系数据，其是通过对多个第二样本数据进行统计处理而得到的数据，所述多个第二样本数据是从作为样本内容对目标内容进行了视觉确认的多个样本用户得到的数据。至少一个处理器可以基于目标数据和被一般化的对应关系数据来估计目标用户对目标内容的第一理解度，输出与所估计的目标用户的第一理解度对应的辅助信息，基于目标数据和内容特有的对应关系数据来估计目标用户对目标内容的第二理解度，并且输出与所估计的目标用户的第二理解度对应的辅助信息。在该情况下，能够通过基于被一般化的对应关系数据的辅助信息(不限定于目标内容的一般的辅助信息)和基于内容特有的对应关系数据的辅助信息(专用于目标内容的辅助信息)这2种辅助信息来有效地辅助用户。
在其他方面的辅助***中，也可以是，至少一个处理器在输出了与目标用户的第一理解度对应的辅助信息之后，输出与目标用户的第二理解度对应的辅助信息。在该情况下，对于仅通过基于被一般化的对应关系数据的辅助信息对目标内容的理解不充分的目标用户，能够通过基于内容特有的对应关系数据的辅助信息(即，更具体的辅助信息)有效地辅助用户。
[变形例]
以上，基于本公开的实施方式详细地进行了说明。但是，本公开并不限定于上述实施方式。本公开能够在不脱离其主旨的范围内进行各种变形。
在上述实施方式中，辅助***1使用服务器10而构成，但辅助***1也可以不使用服务器10而构成。在该情况下，服务器10的各功能要素可以安装于任意一个用户终端20，例如，也可以安装于内容的发布者使用的终端以及内容的收看者使用的终端中的任意一方。或者，服务器10的各个功能要素也可以分开安装于多个用户终端20，例如也可以分开安装于发布者使用的终端以及收看者使用的终端。与此相关联地，辅助程序也可以作为客户端程序来实现。通过用户终端20具有服务器10的功能，能够降低服务器10的负荷。此外，与学生等内容的收看者相关的信息(例如，表示视点的移动的数据)不被发送到用户终端20的外部，因此能够更可靠地保护收看者的秘密。
在上述实施方式中，眼动追踪***仅由用户终端20构成，但该***也可以使用服务器10构成。在该情况下，用户终端20的几个功能要素也可以安装于服务器10。例如，也可以将相当于计算部23的功能要素安装于服务器10。
在上述实施方式中，辅助信息与目标内容分开显示，但辅助信息也可以以构成目标内容的一部分的方式显示。例如在目标内容包含文章的情况下，辅助部14也可以将该文章的一部分(例如为了文章的理解而重要的部分)作为辅助信息进行强调显示。即，辅助信息也可以是附加于目标内容的视觉效果。此时，辅助部14也可以通过使成为辅助信息的对象的文章的一部分的颜色或字体与其他部分不同来执行其强调显示。
在上述实施方式中，辅助***1输出与目标用户的理解度对应的辅助信息。但是，辅助***1也可以不使用该理解度而输出辅助信息。以下，对该变形例进行说明。
服务器10从各个用户终端20A获取表示对样本内容进行了视觉确认的样本用户的视点的移动的视点数据和表示提示给该样本用户的辅助信息的样本数据，并且将该样本数据存储在数据库30。在一例中，提示给样本用户的辅助信息(即，与样本用户对应的辅助信息)通过人工的实验或调查、对样本用户的问卷调查等来确定，并输入到用户终端20A。统计处理部12对数据库30内的样本数据进行统计处理，生成表示用户的视点的移动与内容的辅助信息之间的对应关系的对应关系数据，并将该对应关系数据存储在数据库30。与上述实施方式同样地，统计处理的方法以及所生成的对应关系数据的表现形式没有限定。因此，统计处理部12可以通过聚类、回归分析、机器学习等各种方法来生成对应关系数据。
服务器10基于从用户终端20B接收到的目标数据及其对应关系数据，输出与该目标数据对应的辅助信息。在一例中，估计部13参照数据库30获取对应关系数据，确定与目标数据对应的辅助信息。在通过聚类生成对应关系数据的情况下，估计部13确定由目标数据所属的类表示的辅助信息。作为另一例，在通过回归分析生成了对应关系数据的情况下，估计部13将目标数据应用于回归式来作为辅助信息。作为又一例，在对应关系数据是学习完毕模型的情况下，估计部13通过向该学习完毕模型输入目标数据来确定辅助信息。辅助部14从数据库30获取所确定的辅助信息，并将该辅助信息发送至用户终端20B。
即，本公开的一个方面的辅助***具备至少一个处理器。至少一个处理器进行以下处理：获取表示目标用户的视点在显示目标内容的画面上的移动的目标数据；参照存储部，所述存储部存储对应关系数据，所述对应关系数据是通过对多个样本数据进行统计处理而得到的数据，并表示用户的视点的移动与内容的辅助信息之间的对应关系，其中，所述多个样本数据是从对样本内容进行了视觉确认的多个样本用户得到的数据，各个样本数据表示对该样本内容进行了视觉确认的样本用户的视点的移动和与该样本用户对应的辅助信息；基于目标数据和对应关系数据，输出与该目标数据对应的辅助信息。
在这样的方面，通过对从样本用户获得的样本数据执行统计处理来生成对应关系数据，并基于该对应关系数据和表示目标用户的视点相对于目标内容的移动的目标数据来输出辅助信息。通过使用通过统计处理得到的对应关系数据，能够根据对内容进行视觉确认的用户的实际的倾向来输出辅助信息。因此，能够适当地辅助对目标内容进行视觉确认的目标用户。
在本公开中，“至少一个处理器执行第一处理，执行第二处理，…执行第n处理”这样的表达或与其对应的表达是包括从第一处理到第n处理为止的n个处理的执行主体(即处理器)在中途变化的情况的概念。即，该表达是包括n个处理全部由相同的处理器执行的情况和在n个处理中处理器以任意方针变化的情况这两者的概念。
由至少一个处理器执行的方法的处理顺序并不限定于上述实施方式中的例。例如，可以省略上述步骤(处理)的一部分，也可以以其他顺序执行各步骤。另外，可以组合上述步骤中的任意2个以上的步骤，也可以修正或删除步骤的一部分。或者，也可以在上述的各步骤的基础上执行其他的步骤。
符号说明
1…辅助***、10…服务器、11…内容分发部、12…统计处理部、13…估计部、14…辅助部、20、20A、20B…用户终端、21…设定部、22…确定部、23…计算部、24…追踪部、25…显示控制部、30…数据库、100…服务器计算机、101…处理器、102…主存储部、103…辅助存储部、104…通信部、200…终端计算机、201…处理器、202…主存储部、203…辅助存储部、204…通信部、205…输入接口、206…输出接口、207…摄像部、A11、A12、A13、A21、A22、A23、A24、A25…引导区域、C11、C21…第一内容、D11、D12、D13、D21、D22、D23…画面、N…通信网络、P1…服务器程序、P2…客户端程序。

Claims (9)

1.一种辅助***，其具备至少一个处理器，其中，
所述至少一个处理器进行以下处理：
获取表示目标用户的视点在显示目标内容的画面上的移动的目标数据；
参照存储部，所述存储部存储对应关系数据和辅助信息，所述对应关系数据是通过对多个样本数据进行统计处理而得到的数据，并表示用户的视点的移动与该用户对内容的理解度之间的对应关系，所述多个样本数据是从对样本内容进行了视觉确认的多个样本用户得到的数据，各个样本数据表示对该样本内容进行了视觉确认的所述样本用户的视点的移动与该样本用户对该样本内容的理解度的对，所述辅助信息是与用户对内容的理解度相对应起来的信息；
基于所述目标数据和所述对应关系数据，估计所述目标用户对所述目标内容的理解度；
输出与估计出的所述目标用户的理解度对应的所述辅助信息。
2.根据权利要求1所述的辅助***，其中，
所述统计处理包括基于所述样本用户的视点的移动和所述样本用户的理解度对所述多个样本数据进行聚类的处理。
3.根据权利要求1所述的辅助***，其中，
所述统计处理包括对所述多个样本数据进行回归分析的处理。
4.根据权利要求1～3中任意一项所述的辅助***，其中，
所述至少一个处理器在从所述目标内容显示于所述画面时起经过规定时间之后输出所述辅助信息。
5.根据权利要求1～4中的任意一项所述的辅助***，其中，
所述对应关系数据包含：
被一般化的对应关系数据，其是通过对多个第一样本数据进行所述统计处理而得到的数据，所述多个第一样本数据包含从对不同于所述目标内容的样本内容进行了视觉确认的所述样本用户得到的所述样本数据；以及
内容特有的对应关系数据，其是通过对多个第二样本数据进行所述统计处理而得到的数据，所述多个第二样本数据是从作为样本内容对所述目标内容进行了视觉确认的多个样本用户得到的数据，
所述至少一个处理器进行以下处理：
基于所述目标数据以及所述被一般化的对应关系数据，估计所述目标用户对所述目标内容的第一理解度；
输出与估计出的所述目标用户的所述第一理解度对应的辅助信息；
基于所述目标数据以及所述内容特有的对应关系数据，估计所述目标用户对所述目标内容的第二理解度；
输出与估计出的所述目标用户的所述第二理解度对应的辅助信息。
6.根据权利要求5所述的辅助***，其中，
所述至少一个处理器在输出了与所述目标用户的所述第一理解度对应的辅助信息之后，输出与所述目标用户的所述第二理解度对应的辅助信息。
7.一种辅助方法，其是由具备至少一个处理器的辅助***执行的辅助方法，其中，
包括以下步骤：
获取表示目标用户的视点在显示目标内容的画面上的移动的目标数据；
参照存储部，所述存储部存储对应关系数据和辅助信息，所述对应关系数据是通过对多个样本数据进行统计处理而得到的数据，并表示用户的视点的移动与该用户对内容的理解度之间的对应关系，其中，所述多个样本数据是从对样本内容进行了视觉确认的多个样本用户得到的数据，各个样本数据表示对该样本内容进行了视觉确认的所述样本用户的视点的移动与该样本用户对该样本内容的理解度的对，所述辅助信息是与用户对内容的理解度相对应起来的信息；
基于所述目标数据和所述对应关系数据，估计所述目标用户对所述目标内容的理解度；
输出与估计出的所述目标用户的理解度对应的所述辅助信息。
8.一种辅助程序，其使计算机执行如下步骤：
获取表示目标用户的视点在显示目标内容的画面上的移动的目标数据；
参照存储部，所述存储部存储对应关系数据和辅助信息，所述对应关系数据是通过对多个样本数据进行统计处理而得到的数据，并表示用户的视点的移动与该用户对内容的理解度之间的对应关系，其中，所述多个样本数据是从对样本内容进行了视觉确认的多个样本用户得到的数据，各个样本数据表示对该样本内容进行了视觉确认的所述样本用户的视点的移动与该样本用户对该样本内容的理解度的对，所述辅助信息是与用户对内容的理解度相对应起来的信息；
基于所述目标数据和所述对应关系数据，估计所述目标用户对所述目标内容的理解度；
输出与估计出的所述目标用户的理解度对应的所述辅助信息。
9.一种辅助***，其具备至少一个处理器，其中，
所述至少一个处理器进行以下处理：
获取表示目标用户的视点在显示目标内容的画面上的移动的目标数据；
参照存储部，所述存储部存储对应关系数据，所述对应关系数据是通过对多个样本数据进行统计处理而得到的数据，并表示用户的视点的移动与内容的辅助信息之间的对应关系，其中，所述多个样本数据是从对样本内容进行了视觉确认的多个样本用户得到的数据，各个样本数据表示对该样本内容进行了视觉确认的所述样本用户的视点的移动和与该样本用户对应的辅助信息；
基于所述目标数据和所述对应关系数据，输出与该目标数据对应的所述辅助信息。
CN202180032586.8A 2020-09-30 2021-09-01 辅助***、辅助方法以及辅助程序 Pending CN115516544A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-166484 2020-09-30
JP2020166484A JP6980883B1 (ja) 2020-09-30 2020-09-30 アシストシステム、アシスト方法、およびアシストプログラム
PCT/JP2021/032165 WO2022070747A1 (ja) 2020-09-30 2021-09-01 アシストシステム、アシスト方法、およびアシストプログラム

Publications (1)

Publication Number Publication Date
CN115516544A true CN115516544A (zh) 2022-12-23

Family

ID=78870883

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180032586.8A Pending CN115516544A (zh) 2020-09-30 2021-09-01 辅助***、辅助方法以及辅助程序

Country Status (4)

Country Link
US (1) US20230360548A1 (zh)
JP (2) JP6980883B1 (zh)
CN (1) CN115516544A (zh)
WO (1) WO2022070747A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230334068A1 (en) * 2021-08-20 2023-10-19 Boe Technology Group Co., Ltd. Data processing method and apparatus thereof, electronic device, and computer-readable storage medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265369A (ja) * 1992-03-18 1993-10-15 Olympus Optical Co Ltd 学習装置
JP2013200440A (ja) * 2012-03-26 2013-10-03 Mitsubishi Electric Corp 映像表示装置
JP6292672B2 (ja) * 2014-06-26 2018-03-14 Kddi株式会社 操作支援装置、操作支援方法及び操作支援プログラム
JP7099377B2 (ja) * 2019-02-05 2022-07-12 オムロン株式会社 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
JP6980883B1 (ja) 2021-12-15
JP2022058315A (ja) 2022-04-11
JP2022057958A (ja) 2022-04-11
WO2022070747A1 (ja) 2022-04-07
US20230360548A1 (en) 2023-11-09

Similar Documents

Publication Publication Date Title
Kuhn et al. gPhysics—Using smart glasses for head-centered, context-aware learning in physics experiments
US10984602B1 (en) Facial expression tracking during augmented and virtual reality sessions
Ashwin et al. Impact of inquiry interventions on students in e-learning and classroom environments using affective computing framework
Chiu et al. Augmented reality system for tourism using image-based recognition
CN110992222A (zh) 教学交互方法、装置、终端设备及存储介质
CN110767005A (zh) 基于儿童专用智能设备的数据处理方法及***
WO2022070747A1 (ja) アシストシステム、アシスト方法、およびアシストプログラム
KR102245319B1 (ko) 원격지 학습자의 집중도를 분석하는 시스템
Luangrungruang et al. Applying universal design for learning in augmented reality education guidance for hearing impaired student
JP2018060375A (ja) 情報処理システム、情報処理装置およびプログラム
JP7034228B1 (ja) アイトラッキングシステム、アイトラッキング方法、及びアイトラッキングプログラム
Risal et al. Web explainer for children’s education with image recognition based on deep learning
Rojas-Murillo et al. Visual learning curves for American sign language (ASL) alphabet
Rao et al. Teacher assistance system to detect distracted students in online classroom environment
JP7069550B2 (ja) 講義映像分析装置、講義映像分析システム、方法およびプログラム
Adiani et al. Evaluation of webcam-based eye tracking for a job interview training platform: Preliminary results
US20220343783A1 (en) Content control system, content control method, and content control program
JP7440889B2 (ja) 学習支援システム、プログラム
US20230237922A1 (en) Artificial intelligence-driven avatar-based personalized learning techniques
KR102554422B1 (ko) 학습 몰입도 분석 시스템 및 그 동작 방법
Kang et al. Predicting classroom activity index through multi-scale head posture classification network
CN113141464B (zh) 摄像头的控制方法、装置、介质和电子设备
JP2022131735A (ja) ユーザインターフェース装置、制御方法、及びプログラム
Kasapakis et al. Sign language in immersive virtual reality: design, development, and evaluation of a virtual reality learning environment prototype
Angel Advancing Towards a More Complete Sign Language Detection Application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination