CN107562186B - 基于注意力辨识进行情感运算的3d校园导览方法 - Google Patents

Abstract

本发明提供一种基于注意力辨识进行情感运算的3D校园导览方法，包括眼动仪捕捉使用者注视终端设备屏幕上3D校园环境导览应用的眼动信息并发送给终端设备；终端设备接收眼动仪发送的眼动信息，将屏幕视线坐标转换为3D校园环境导览应用中的窗口坐标，判断所述窗口坐标是否位于感兴趣区域，如果是，计算注视持续时间；如果注视持续时间少于第一预设时间，不做任何回馈；如果注视持续时间大于第一预设时间少于第二预设时间，显示对应回馈内容；如果注视持续时间大于第二预设时间，显示详细资讯回馈内容。本发明透过最直接的注视分析，减少操作上的负荷，改善使用者的互动体验，达到直觉、人性化的自然感受。

Description

基于注意力辨识进行情感运算的3D校园导览方法

技术领域

本发明涉及人机交互技术领域，特别涉及一种基于注意力辨识进行情感运算的3D校园导览方法。

背景技术

人机互动一直是接口互动设计上重要的议题，以往人们仰赖键盘、鼠标或是游戏杆这一类的传统操控设备来与计算机进行沟通与互动，然而这些需要透过双手直接接触来进行操控的硬设备，往往也使得使用者在与计算机的互动过程中过于生硬，甚至可能连带影响了使用者对于***的体验与融入感到困难，也可能因此局限了***原本应该带给使用者不同感受的可能性。

如今已有越来越多穿戴式或非接触式等互动设备的研发，试图打破以往传统互动的操作模式，将人与计算机的沟通带向更加人性化、直觉化的自然互动模式前进。例如早期Nintendo游戏公司的Wii，到近期Leap Motion体感技术研发公司所研发的Leap Motion手部感测控制器，不依赖游戏杆手把，改以侦测手部及手指头的动作来进行互动；Microsoft公司开发的Kinect体感控制器，也试图运用非接触的方式，侦测使用者的肢体动作来进行操控；此外，早期用于阅读行为分析的眼动追踪(Eye-tracking)技术，随着近年来技术的普及与盛行，也开始被广泛运用在各个领域之中，透过追踪使用者眼睛的运动，也可以成为另一种与计算机进行沟通的互动方式。

此外，在人机互动接口设计的思考模式中，从以往注重在***的发想，衍伸到自然使用者接口(Natural User Interface；NUI)的概念，颠覆以往逻辑，改以使用者本身为重的方式来进行思考与设计，而近期情感使用者接口(Emotional User Interface；EUI)议题的兴起，更是让以往的互动模式加入了情感运算(Affective Computing)这一个新的观点来重新出发，进一步的探讨人与科技之间真正应该要有怎样的互动关系。

这些重大的转变除了一再地改变人们传统对互动的认知之外，也显示出一些重要的概念，人与计算机之间的互动应该要以贴近、符合人类日常一些习以为常的生活习惯作为设计的目标，这样的方式才可能在数字游戏、互动导览等不同的***应用中以最自然、直觉的方式让使用者进行体验，也才能提高使用者与***融入上的感受。

近年来，眼动技术被广泛地应用在心理学、医学、产品设计等议题的研究领域之中，透过眼动仪设备追踪使用者的视线信息，便可以得到使用者在观看图像、事物时的视线顺序、热点，以及注视点的信息分析，而这些信息大多被运用在产品包装设计或网页设计，以及图像与阅读理解等等一些人类注视行为的分析，以帮助设计者改善产品、网页的设计，以引起使用者的兴趣，甚至是试图引导使用者视线的动向，然而以往这些研究大多都只着重在静态图像任务上的分析与运用，将眼动结合在动态、较具高互动性的***应用中的研究相对少了许多。

然而日常的生活当中，我们随时随地都需要仰赖眼睛来接收外界的信息，视线是人类最直接面对外界事物的方式，吸收了这些画面之后，我们的大脑便会开始思考、理解眼前的事物，因此眼睛的注视行为往往也反映出了我们思考的过程，而这样的注视过程也可以呈现出人类在观看事物的行为中，一些心理的情绪与感受，例如藉由注视行为的过程，可以分析出哪些是观看者所重视的事物，而那些又是他们下意识忽略，或是不受吸引的事物，进而得知观看者视线的注意力，以及感兴趣的目标对象。

此外，在人们与计算机互动的需求逐渐提升之际，光是单方面的提升人性的操控接口显然已越来越无法满足人类的需求，除了操控方式的改进之外，计算机本身也必须进一步的提升。因此，情感运算这种期望让计算机理解情绪，并针对情绪自动给予回馈的能力显然已成为新兴的发展趋势，而人类眼睛观看的视线也正是人们表达情感的管道之一。

由于导览***常因操作的复杂度而降低了使用者的使用意愿，因此本申请希望将眼动结合在动态的互动***之中应用，依据真实校园环境开发的虚拟3D校园导览应用，结合眼动仪的技术来追纵、辨识使用者观看的注视行为，并依视线的注意力情绪，在3D导览应用中自动回馈信息给使用者，结合视线的操控，来改善互动的自然性，透过最直接的注视分析，减少生硬的操作与负荷。

发明内容

本发明目的在于克服现有技术的不足，提出一种基于注意力辨识进行情感运算的3D校园导览方法，通过眼动追踪技术，将情感运算结合到依据真实校园所开发的3D校园导览应用之中，分析使用者的视线位置与注意力情绪的判断，依据环境中设定的感兴趣区域，显示对应区域与情绪的回馈内容。透过最直接的注视分析，减少操作上的负荷，改善使用者的互动体验，达到直觉、人性化的自然感受。

本发明解决其技术问题所采用的技术方案是：

一种基于注意力辨识进行情感运算的3D校园导览方法，包括：

眼动仪捕捉使用者注视终端设备屏幕上3D校园环境导览应用的眼动信息并发送给终端设备；所述眼动信息包括屏幕视线坐标；

所述终端设备接收所述眼动仪发送的眼动信息，将所述屏幕视线坐标转换为3D校园环境导览应用中的窗口坐标，判断所述窗口坐标是否位于感兴趣区域，如果是，计算注视持续时间，通过注视持续时间的长短来辨识使用者的情绪；如果注视持续时间少于第一预设时间，表示使用者的视线只是扫过或忽略，3D校园环境导览应用不做任何回馈；如果注视持续时间大于第一预设时间少于第二预设时间，表示使用者的注意力集中，3D校园环境导览应用在预设位置显示对应回馈内容；如果注视持续时间大于第二预设时间，表示使用者感兴趣，3D校园环境导览应用在预设位置显示详细资讯回馈内容；所述对应回馈内容包括操作指令、环境地图和/或资讯简介。

在所述3D校园环境导览应用之中，使用者通过键盘来进行角色的行动操控，使用者可以自由地观看与进入依据真实的校园环境所建造出来的3D楼层环境，了解各楼层内部的样貌，参观的同时，使用者的眼动信息会透过眼动仪进行捕捉。通过键盘来进行角色的行动操控的指令包括：角色向前进、角色向后退、角色向左转和角色向右转。

眼动仪捕捉使用者注视终端设备屏幕上3D校园环境导览应用的眼动信息并发送给终端设备之前，还包括：使用者使用所述眼动仪进行视线的校正。

所述校正方法包括：使用者佩戴眼动仪观看所述终端设备屏幕上显示的圆十字图案，并进行9个定位点的视线定位，以计算对应屏幕的(x,y)坐标，校正后使用者便可以进行3D校园环境导览。

所述第一预设时间为600ms，所述第二预设时间为3000ms。

如果所述窗口坐标没有位于感兴趣区域，不做任何回馈。所述感兴趣区域可设置。

显示对应回馈内容或显示详细资讯回馈内容之后，还包括：根据使用者是否开始使用键盘移动角色来判别是否离开当前区域；如果没有移动，继续显示对应回馈内容或显示详细资讯回馈内容；如果有移动，重新判断窗口坐标是否位于新的感兴趣区域。

所述眼动仪通过红外线感测和追踪瞳孔位置来获取屏幕视线坐标。

所述终端设备包括PC机、平板电脑和智能手机。

与现有技术相比，本发明具有如下有益效果：

本发明提出一种基于注意力辨识进行情感运算的3D校园导览方法，通过眼动追踪技术，将情感运算结合到依据真实校园所开发的3D校园导览应用之中，分析使用者在操作3D校园导览应用时，视线的注视过程与持续时间，依据环境中设定的感兴趣区域，显示对应区域与情绪的回馈内容，透过最直接的注视分析，减少操作上的负荷，改善使用者的互动体验，达到直觉、人性化的自然感受。

附图说明

图1是本发明方法的流程图；

图2是本发明方法的视线校正图；其中图2(a)表示圆十字图案的视线校正点会随机在9个黄色框中出现，图2(b)表示校正完成后呈现的视线验证及校正质量状况的画面；

图3是本发明实施例的***架构图；

图4是本发明实施例的图书馆画面图；

图5是本发明实施例的3D校园导览应用***画面图；其中图5(a)表示观看地图后显示楼层信息，图5(b)表示观看操作说明图标后显示操作指令；

图6是本发明实施例的视线获取与注意力情绪判别流程图；

图7是本发明实施例的讯息显示框回馈画面图；其中图7(a)显示信息简介内容；图7(b)显示详细信息内容。

具体实施方式

本实施例中，在眼睛追踪与辨识的设备上选用了The Eye Tribe眼动仪设备，此眼动仪设备能够支持C++、C#、Java三种的程序语言进行开发撰写；采用Unity游戏开发引擎来进行3D校园导览应用***的开发与建置，并使用JavaScript与C#语言来进行3D校园导览应用***的程序撰写。所述3D校园导览应用程序运行在终端设备上，所述终端设备包括但不限于PC机、平板电脑和手机。

参见图1所示，本实施例中，一种基于注意力辨识进行情感运算的3D校园导览方法，包括：

步骤101，眼动仪捕捉使用者注视终端设备屏幕上3D校园环境导览应用的眼动信息并发送给终端设备；所述眼动信息包括屏幕视线坐标；

步骤102，所述终端设备接收所述眼动仪发送的眼动信息，将所述屏幕视线坐标转换为3D校园环境导览应用中的窗口坐标；

步骤103，判断所述窗口坐标是否位于感兴趣区域，如果不是，执行步骤104，如果是，执行步骤105；

步骤104，不做任何回馈；

步骤105，计算注视持续时间，通过注视持续时间的长短来辨识使用者的情绪；

步骤106，判断注视持续时间，如果注视持续时间少于第一预设时间，执行步骤107；如果注视持续时间大于第一预设时间少于第二预设时间，执行步骤108；如果注视持续时间大于第二预设时间，执行步骤109；

步骤107，表示使用者的视线只是扫过或忽略，3D校园环境导览应用不做任何回馈；

步骤108，表示使用者的注意力集中，3D校园环境导览应用在预设位置显示对应回馈内容；所述对应回馈内容包括操作指令、环境地图和/或资讯简介；

步骤109，表示使用者感兴趣，3D校园环境导览应用在预设位置显示详细资讯回馈内容。

本实施例通过The Eye Tribe眼动仪这一个情感平台，来捕捉使用者的眼动信息，并根据获取的视线位置与持续时间来判别使用者的注意力与兴趣，最后，根据情感平台所得出的情绪类别，进行响应决策，根据事先已决定好的对应特征回馈内容，将情感的种类依据所对应的决策回传到***之中，呈现给使用者，以提供对应使用者情感上的回馈互动。

在开始进行导览之前，使用者会先被要求进行视线的校正，通过观看屏幕上显示的圆十字图案(参见图2(a))，进行9个定位点的视线定位，以计算对应屏幕的(x,y)坐标，校正后(参见图2(b))使用者便可以进行校园环境的导览。在导览应用***之中，是以键盘来进行第三人称角色的行动操控，使用者可以自由地观看与进入依据真实的校园环境所建造出来的3D楼层环境，了解各楼层内部的样貌，而参观的同时，使用者的视线信息会透过眼动仪进行捕捉，如果使用者的视线位置坐落于***设定的感兴趣区域之中的话，***将会分析使用者的注视信息，判别注意力情绪，并给予适当的显示内容作为回馈。通过键盘来进行角色的行动操控的指令包括：角色向前进、角色向后退、角色向左转和角色向右转。

具体的，实现本实施例一种基于注意力辨识进行情感运算的3D校园导览方法的***架构如图3所示，实用者通过键盘操控来游览整个校园楼层，并且根据眼动仪的视线校正，将视线的位置转换到屏幕视线坐标，再转换成Unity***画面里对应的(x,y)坐标(即屏幕坐标)，接着，捕捉到的视线将会进行注视时间的分析，视觉注意力大约为150至600毫秒(ms)的观看时间后，大脑会开始处理所见事物的讯息，因此本实施例将持续时间区分为三种，并以此来辨别不同的注意力情绪：

●注意力：以持续停留注视600ms表示使用者注意力集中在某事物上，并显示对应的回馈内容，包括显示操作指令、显示环境地图和显示资讯简介。

●感兴趣：以持续停留注视3000ms以上表示使用者不仅注意力集中在某事物上，并对此感兴趣，因此进一步回馈更详细的内容信息。

●不感兴趣：以停留注视小于600ms表示使用者的视线仅是扫过或忽略，因此不做任何回馈。

最后，根据回馈显示的需求，会向服务器发送请求，并将数据库中建立的信息内容回传呈现。

本实施例中，所开发的3D校园导览应用***是以真实的校园环境为范本，建置各楼层内区域环境的3D模型，在每层楼的场景当中，不同的3D模型对象将会依照导览介绍的需求，来设置不同的感兴趣区域，以便让使用者的视线注意力坐落于此区域时，能够实时的显示相对应的回馈信息内容，带领使用者来了解每一个区域的相关讯息。

以图4的图书馆画面为例，在此楼层范围中，导览应用***将介绍使用者图书馆中摆放的图书区域类别，因此***将会依据书柜的位子来作为要侦测视线信息的感兴趣区域，当使用者的视线注视在不同的书柜上后，使用者的视线信息将会被作为辨别注意力情绪的依据，并且将此书柜区域的介绍内容显示于画面下方的讯息框中。此外，画面右上方及右下方的方框的区域分别为地图的显示，以及操作说明的图示，如图4所示，当使用者的视线注视在两者区域时，***便会自动显示楼层地图信息与操作指令说明画面，帮助使用者了解所在的位置环境与操作的按键指令，如图5所示。

进一步的，详细的视线获取与注意力判断的流程如图6所示，当使用者经过眼动仪的校正后，便可以取得对应屏幕的使用者视线坐标，由于导览***是使用Unity游戏引擎所开发的，Unity的游戏窗口与屏幕的(x,y)坐标起始点不同，因此对应屏幕的视线坐标还必须转换成对应Unity窗口的(x,y)坐标位置。在判别视线坐标非为空值后，将坐标转换至导览***的执行画面窗口之中，并且***会在画面中以图标标记当前视线的位置，方便确认校正过后的精准度，以及视线坐落的区域。

在得到视线对应窗口的坐标后，当使用者在进行游览环境的过程当中，若是视线位于事先设定好的感兴趣区域之中，***便会开始进行注视时间的计算，如使用者观看的持续时间达到600ms，便表示使用者的注意力集中于此感兴趣区域中的事物，接着，以是否超过3000ms来判断使用者的注意力情绪是否对此事物感到兴趣。如图7所示，以当观看视听中心时的讯息显示框的内容为例，若使用者对此事物不太感兴趣(注视时间未到达3000ms)，在讯息显示框中的内容变仅会显示如图7(a)中简短的简介内容；倘若使用者持续地注视时间到达3000ms，便表示使用者对此感兴趣，讯息显示框就会改为显示更加详细的介绍内容，如图7(b)。

最后，回馈显示出的信息内容会根据使用者是否开始使用键盘移动角色(例如：离开当前区域)，来作为判别的因素之一，同时判断使用者的视线坐标是否位于感兴趣区域之中。如未在此区域当中，将不再回馈相关的信息内容与讯息显示框，并结束视线注意力的过程。

以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种基于注意力辨识进行情感运算的3D校园导览方法，其特征在于，包括：

眼动仪捕捉使用者注视终端设备屏幕上3D校园环境导览应用的眼动信息并发送给终端设备；所述眼动信息包括屏幕视线坐标；

所述终端设备接收所述眼动仪发送的眼动信息，将所述屏幕视线坐标转换为3D校园环境导览应用中的窗口坐标，判断所述窗口坐标是否位于感兴趣区域，如果是，计算注视持续时间，通过注视持续时间的长短来辨识使用者的情绪；如果注视持续时间少于第一预设时间，表示使用者的视线只是扫过或忽略，3D校园环境导览应用不做任何回馈；如果注视持续时间大于第一预设时间少于第二预设时间，表示使用者的注意力集中，3D校园环境导览应用在预设位置显示对应回馈内容；如果注视持续时间大于第二预设时间，表示使用者感兴趣，3D校园环境导览应用在预设位置显示详细资讯回馈内容；所述对应回馈内容包括操作指令、环境地图和/或资讯简介；

眼动仪捕捉使用者注视终端设备屏幕上3D校园环境导览应用的眼动信息并发送给终端设备之前，还包括：使用者使用所述眼动仪进行视线的校正；

所述校正方法包括：使用者佩戴眼动仪观看所述终端设备屏幕上显示的圆十字图案，并进行9个定位点的视线定位，以计算对应屏幕的(x,y)坐标，校正后使用者便可以进行3D校园环境导览。

2.根据权利要求1所述的基于注意力辨识进行情感运算的3D校园导览方法，其特征在于，在所述3D校园环境导览应用之中，使用者通过键盘来进行角色的行动操控，使用者可以自由地观看与进入依据真实的校园环境所建造出来的3D楼层环境，了解各楼层内部的样貌，参观的同时，使用者的眼动信息会透过眼动仪进行捕捉。

3.根据权利要求1所述的基于注意力辨识进行情感运算的3D校园导览方法，其特征在于，所述第一预设时间为600ms，所述第二预设时间为3000ms。

4.根据权利要求1所述的基于注意力辨识进行情感运算的3D校园导览方法，其特征在于，如果所述窗口坐标没有位于感兴趣区域，不做任何回馈。

5.根据权利要求1所述的基于注意力辨识进行情感运算的3D校园导览方法，其特征在于，所述感兴趣区域可设置。

6.根据权利要求1所述的基于注意力辨识进行情感运算的3D校园导览方法，其特征在于，显示对应回馈内容或显示详细资讯回馈内容之后，还包括：根据使用者是否开始使用键盘移动角色来判别是否离开当前区域；如果没有移动，继续显示对应回馈内容或显示详细资讯回馈内容；如果有移动，重新判断窗口坐标是否位于新的感兴趣区域。

7.根据权利要求1所述的基于注意力辨识进行情感运算的3D校园导览方法，其特征在于：所述眼动仪通过红外线感测和追踪瞳孔位置来获取屏幕视线坐标。

8.根据权利要求1所述的基于注意力辨识进行情感运算的3D校园导览方法，其特征在于，所述终端设备包括PC机、平板电脑和智能手机。

Images