CN103827800A - 显示装置、显示方法和程序 - Google Patents

Abstract

信息处理装置（1）检测用户的视线，并在用户观看的位置显示光标（10）。在光标（10）靠近图像的显示区域的边缘的状态下，如果用户利用手指触摸所述显示区域，则记录手指触摸的位置。当用户移动手指时，根据手指的移动距离来确定图像的滚动速度，并且朝着光标的方向滚动图像。如果用户观看的位置改变并且滚动方向要改变的情况下，在改变之后的滚动方向处于与改变之前的滚动方向交叉的方向的情况下，在保持滚动速度的同时改变滚动方向。

Description

显示装置、显示方法和程序

技术领域

本发明涉及用户界面。

背景技术

专利文献1公开了一种用于利用用户的视线滚动画面的***。该***基于相机捕获的图像检测用户的视线的方向，并检测正被用户观看的显示装置的画面上的位置。当视线到达画面的边缘时，滚动箭头显示在画面的边缘上，并且当视线在显示滚动箭头之后移动到画面以外时，画面滚动。

现有技术文献

专利文献

专利文献1：日本特开2002-99386号公报

发明内容

本发明要解决的问题

在专利文献1的***中，当视线移动并且观看的画面的边缘的位置改变时，图像的滚动停止。例如，当显示大的图像（诸如地图）并且接近用户想要观看的位置时，用户从竖直至水平或者从水平至竖直细微地滚动图像，以显示期望的位置。然而，在专利文献1的***中，每当观看的方向改变时，图像的滚动停止，这需要时间来滚动至期望的位置。

鉴于以上背景提出了本发明，并且本发明的目的在于，当通过移动视线来滚动图像时，缩短显示期望的位置所需的时间。

解决问题的手段

本发明的一方面是提供了一种显示装置，该显示装置包括：显示单元，其具有显示图像的显示面；第一检测单元，其检测用户的视线；第二检测单元，其检测用户在所述显示面上执行的操作；方向确定单元，其根据所述第一检测单元检测到的视线来确定图像的滚动方向；速度确定单元，其根据所述第二检测单元检测到的操作来确定图像的滚动速度；以及显示控制单元，其控制所述显示单元沿着滚动方向滚动图像，当滚动方向改变并且改变之前的滚动方向的线路与改变之后的滚动方向的线路交叉时，开始按照与滚动方向改变之前的滚动速度相同的滚动速度滚动图像，并且当改变之后的滚动方向处于沿着改变之前的滚动方向的线路的相反方向时，开始按照预定速度滚动图像或者停止滚动图像，并且当滚动速度作为用户进行的输入操作的结果而改变时，按照根据所述输入操作的滚动速度滚动图像。

在本发明的优选方面中，当视线在显示面的预定区域中移动并且随后沿着移动之前的方向移动时，所述显示控制单元开始按照比视线在预定区域中移动之前的滚动速度更快的滚动速度滚动图像。

本发明的另一方面提供了一种显示方法，该显示方法包括以下步骤：检测用户的视线；检测用户在显示图像的显示单元的显示面上执行的操作；根据所检测到的视线来确定图像的滚动方向；根据所检测到的操作来确定图像的滚动速度；以及控制所述显示单元沿着滚动方向滚动图像，当滚动方向改变并且改变之前的滚动方向的线路与改变之后的滚动方向的线路交叉时，开始按照与滚动方向改变之前的滚动速度相同的滚动速度滚动图像，并且当改变之后的滚动方向处于沿着改变之前的滚动方向的线路的相反方向时，开始按照预定速度滚动图像或者停止滚动图像，并且当滚动速度作为用户进行的输入操作的结果而改变时，按照根据所述输入操作的滚动速度来滚动图像。

本发明的另一方面提供了一种程序，该程序使得计算机执行以下步骤：检测用户的视线；检测用户在显示图像的显示单元的显示面上执行的操作；根据所检测到的视线来确定图像的滚动方向；根据所检测到的操作来确定图像的滚动速度；以及控制所述显示单元沿着滚动方向滚动图像，当滚动方向改变并且改变之前的滚动方向的线路与改变之后的滚动方向的线路交叉时，开始按照与滚动方向改变之前的滚动速度相同的滚动速度滚动图像，并且当改变之后的滚动方向处于沿着改变之前的滚动方向的线路的相反方向时，开始按照预定速度滚动图像或者停止滚动图像，并且当滚动速度作为用户进行的输入操作的结果而改变时，按照根据所述输入操作的滚动速度来滚动图像。

本发明的效果

根据本发明，当通过视线的移动来滚动图像时，显示期望的位置所需的时间缩短了。

附图说明

图1是示出信息处理装置1的硬件配置的示图。

图2是示出信息处理装置1的功能的框图。

图3是示出由控制单元102执行的处理的流程的流程图。

图4是示出由控制单元102执行的处理的流程的流程图。

图5是示出显示在显示单元1042上的画面的示例的示图。

图6是示出显示在显示单元1042上的画面的示例的示图。

图7是示出显示在显示单元1042上的画面的示例的示图。

图8是示出显示在显示单元1042上的画面的示例的示图。

图9是示出显示在显示单元1042上的画面的示例的示图。

图10是示出显示在显示单元1042上的画面的示例的示图。

图11是示出在滚动图像的同时用户观看的区域的示图。

图12是示出在滚动图像的同时用户观看的区域的示图。

标号的说明

1...信息处理装置、101...总线、102...控制单元、

102A...CPU、102B...ROM、102C...RAM、

103...存储单元、104...输入操作单元、104A...触摸屏、

1041...位置检测单元、1042...显示单元、105...通信单元、

106...摄像单元、201...操作检测单元、202...视线检测单元、

203...方向确定单元、204...速度确定单元、205...显示控制单元。

具体实施方式

[实施方式]

（硬件配置）

图1是示出根据本发明的实施方式的信息处理装置1的硬件配置的示图。根据本实施方式的信息处理装置1是包括触摸屏和硬件按钮的计算机装置，被称作“平板终端”。触摸屏和硬件按钮设置在平板状壳体中。信息处理装置1是在触摸屏上显示图像的显示装置的示例。信息处理装置1的组件经由总线101互相连接，如图1所示。

通信单元105具有执行无线通信的通信接口的功能。信息处理装置1控制通信单元105以连接至无线LAN（局域网络）或移动通信网络，信息处理装置1经由所述无线LAN（局域网络）或移动通信网络执行数据或语音通信。

输入操作单元104包括用于操作信息处理装置1的多个硬件按钮。输入操作单元104还包括集成有显示单元1042和位置检测单元1041的触摸屏104A。显示单元1042是用于显示图像的显示装置的示例。位置检测单元1041设置在显示单元1042的表面上。位置检测单元1041发送由显示单元1042显示的图像，并检测手指触摸的位置。显示单元1042可以是液晶显示器、有机EL（电致发光）显示器或任何其它显示器。位置检测单元1041可以是诸如电容式传感器的传感器，其检测一个以上手指触摸的位置。在用户的手指触摸触摸屏104A的同时，位置检测单元1041生成表示手指触摸的位置的位置数据，并将生成的位置数据提供给控制单元102。

摄像单元106包括镜头和固态摄像传感器，并生成表示由镜头形成在固态摄像传感器中的图像的数据。

存储单元103包括非易失性存储器。存储单元103存储用于提供操作***的程序OS和各种应用程序。控制单元102包括CPU（中央处理单元）102A、ROM（只读存储器）102B和RAM（随机存取存储器）102C。当CPU102A执行存储在ROM102B中的IPL（初始程序加载程序）时，存储在存储单元103中的程序OS被执行，使得操作***被加载。结果，各种应用程序变得可执行。在本实施方式中，在提供了操作***之后，提供了使用触摸屏104A和摄像单元106的用户界面。

（功能框的描述）

图2是示出涉及本发明的特征的控制单元102所提供的功能的框图。在本实施方式中，用户界面设置有触摸屏104A和摄像单元106，如上所述。图2是示出关于用户界面功能的功能的框图。

操作检测单元201获得位置检测单元1041中生成的位置数据。该位置数据指示由用户的手指触摸的显示单元1042的显示面上的位置。当用户的手指移动时，位置数据的内容变化。操作检测单元201基于位置数据检测经由用户的手指执行的操作。

视线检测单元202检测用户的视线。视线检测单元202获得示出用户的脸部的图像。视线检测单元202基于所获得的用户的脸部的图像来检测用户的视线。

方向确定单元203基于由视线检测单元202检测到的视线来确定滚动图像的情况下的滚动方向。

速度确定单元204根据由操作检测单元201执行的操作来确定滚动图像的情况下的滚动速度。例如，当执行手指在触摸屏104A上移动的操作时，速度确定单元204根据从触摸位置至手指移动之后的位置的距离来确定滚动速度。

显示控制单元205控制显示单元1042滚动图像。显示控制单元205利用方向确定单元203所确定的滚动方向和速度确定单元204所确定的滚动速度来滚动图像。

（实施方式的示例操作）

将参照图3和图4所示的流程图以及图5至图10所示的示例画面来描述本实施方式的操作的示例。图5示出了当信息处理装置1执行实现网络浏览器的应用程序时显示的画面的示例。显示的画面是用户选择的网页。

控制单元102控制摄像单元106捕获图像。当用户观看显示画面时，摄像单元106捕获用户的脸部的图像。摄像单元106生成表示用户的脸部的图像（下文中，称作“脸部图像”）。

每当生成脸部图像时，控制单元102执行图3所示的处理。首先，控制单元102获得脸部图像（步骤SA1）。在获得脸部图像之后，控制单元102利用例如日本特开平10-39995号公报中公开的技术来检测用户的视线以识别用户观看的显示画面上的位置（步骤SA2）。还应该注意，检测用户的视线的技术可以是任何其它传统技术。例如，可基于安装在用户头部的相机捕获的用户的眼睛的图像来检测用户的视线。

在识别了用户观看的位置之后，控制单元102控制显示单元1042在所识别的位置处显示光标10（步骤SA3）。当执行了步骤SA3的处理时，光标10显示在用户观看的位置，如图5所示。

为了滚动所显示的网页，用户朝着显示单元1042的矩形显示区域的边缘移动他/她的视线。控制单元102利用摄像单元106捕获的脸部图像来识别用户观看的位置，并将光标10朝着所识别的位置移动。在移动光标10之后，控制单元102确定用户观看的位置是否移动至图6所示的区域B1至B8中的任一个。

当用户观看的位置从区域A（图6所示）移动至区域B1至B8中的任一个时，控制单元102确定用户的手指是否接触触摸屏104A。如果当用户观看的位置从区域A移动至区域B1至B8中的任一个时触摸屏104A不提供位置数据（步骤SB1；否），则控制单元102确定用户观看的位置是否在区域B1至B8中的任一个之内。如果用户观看的位置在区域B1至B8中的任一个以外（诸如区域A或显示单元1042的显示区域以外（步骤SB2；否）），则控制单元102结束图4所示的处理。

另一方面，在步骤SB1中进行了肯定确定的情况下，控制单元102利用所获得的位置数据来识别用户的手指在显示画面上触摸的位置（步骤SB3）。控制单元102将关于步骤SB3中识别的位置（下文中称作“第一位置”）的数据存储在RAM102C中（步骤SB4）。当位置已经从区域A移动至区域B1至B8中的任一个时，控制单元102记录移动后的区域（步骤SB5）。

接着，控制单元102确定用户观看的位置是否是区域B1至B8中的任一个。如果用户观看的位置不是区域B1至B8中的任一个（步骤SB6；否），则控制单元102结束图4所示的处理。另一方面，如果用户观看的位置是区域B1至B8中的任一个（步骤SB6；是），则控制单元102确定此时用户观看的区域与步骤SB5中记录的区域相同。如果此时用户观看的区域与步骤SB5中记录的区域不同（步骤SB7；否），则控制单元102返回步骤SB1。

另一方面，在步骤SB7进行了肯定确定的情况下，控制单元102确定是否提供了位置数据。如果未提供位置数据（步骤SB8；否），则控制单元102确定手指离开触摸屏，并结束图4所示的处理。

在步骤SB8进行了肯定确定的情况下，控制单元102从位置数据识别用户的手指的位置（步骤SB97），并确定用户的手指的位置是否与第一位置相同。如果步骤SB9中识别的位置与第一位置相同（步骤SB10；是），则控制单元102返回步骤SB6。

另选地，如果步骤SB9中识别的位置与第一位置不同（步骤SB10；否），则控制单元102确定用户的手指的位置已从第一位置改变。当用户的手指的位置已改变时，控制单元102计算步骤SB9中识别的位置与第一位置之间的距离（步骤SB11）。

在步骤SB11中计算距离之后，控制单元102根据光标10的位置和所计算出的距离滚动显示的图像（步骤SB12）。具体地说，控制单元102沿着现有光标10的区域的方向滚动图像。例如，当光标10从图5所示的位置移动至区域B1以滚动显示的图像时，图像朝着区域B1滚动，如图7所示。另选地，当光标10从图5所示的位置移动至区域B5以滚动显示的图像时，图像朝着区域B5滚动，如图8所示。应该注意，与触摸屏104A接触的手指未在图7和图8中示出。

此外，控制单元102根据步骤SB11中计算出的距离设置图像的滚动速度（每单位时间（例如，一秒）的移动量）。例如，随着步骤SB11中计算出的距离变长，控制单元102使滚动速度变快。因此，如图9所示，当手指从第一位置移动时，如果手指在移动之后的位置靠近第一位置，则滚动速度减速，并且随着手指在移动之后的位置变得更加远离第一位置，滚动速度加速。结果，如图10所示，当移动后的位置与图9所示的位置相比更加远离第一位置时，图10的情况下的滚动速度比图9的情况下更快。

在步骤SB12的处理之后，控制单元102返回步骤SB6。然后，如果用户观看区域B1至B8以外的点，或者用户的手指离开触摸屏104A，则控制单元102结束图像滚动。

如果在滚动图像的同时用户观看的区域从步骤SB5中记录的区域改变，则控制单元102在步骤SB7进行否定确定。

接着，控制单元102确定用户观看的区域是否为步骤SB5中记录的区域的相反方向的区域。例如，当视线从区域B1移动至B5、从区域B5移动至B1、从区域B3移动至B7以及从区域B7移动至B3时，控制单元102确定用户观看的区域是步骤SB5中记录的区域的相反方向的区域（步骤SB13；是），并返回步骤SB1。

当控制单元102在步骤SB13进行了肯定确定并返回步骤SB1时，此时用户的手指的位置被记录为第一位置。控制单元102在手指从第一位置移动之前不滚动图像。因此，当在滚动图像期间视线的移动方向改变为相反方向时，图像的滚动停止。接着，当手指从新的第一位置移动时，根据从视线移动时存储的第一位置至手指在移动之后的位置的距离来滚动图像。

另一方面，当控制单元102在步骤SB13进行了否定确定时，控制单元102返回步骤SB8。在这种情况下，根据从第一位置至手指的位置的距离来设置滚动速度。因此，与视线移动之前相比，滚动速度相同，并且滚动方向改变。例如，当视线从区域B1移动至区域B7时，滚动方向改变为区域B7的方向，同时保持视线面对区域B1时的滚动速度。

根据本实施方式，可通过用户的视线来确定图像的滚动方向，并通过用户的手指的操作来控制滚动速度。另外，根据本实施方式，随着在滚动图像的同时用户将他/她的视线移动至相反方向，图像的滚动停止。因此，与在保持滚动速度的同时滚动方向改变为相反方向的情况相比，可容易地显示用户的期望位置。

[修改形式]

可按照除上述以外的实施方式实施本发明。例如，以上实施方式可如下述修改。以上实施方式和以下修改形式可彼此组合。

在以上实施方式中，在视线在区域B1至B8中的任一个中的同时滚动图像；然而，用于滚动图像的视线的位置不限于这些区域。可在视线移动至显示单元1042的显示区域以外的同时滚动图像。

例如，在存在图11中的虚线示出的图像的显示区域的情况下，可在视线在区域C1至C8中（也就是说，显示区域以外）而非区域B1至B8中的同时滚动图像。

另选地，在存在图12中的虚线所示的图像的显示区域的情况下，可在视线在图12所示的区域D1至D8而非区域B1至B8中的同时滚动图像。

在以上实施方式中，根据移动量来确定图像的滚动速度。然而，确定滚动速度的方法不限于以上实施方式的方法。

例如，存在能够测量手指施加的压力的触摸屏。在这种情况下，随着手指施加的压力增大，图像的滚动速度可加速。

另外，当用户在他/她的视线移动至区域B1至B8中的任一个之后利用他/她的手指触摸触摸屏时，随着手指触摸触摸屏的时间增加，图像的滚动速度可加速。

另选地，当用户在他/她的视线移动至区域B1至B8中的任一个之后利用他/她的手指轻敲触摸屏时，随着在触摸屏上轻敲的次数增加，图像的滚动速度可加速。

在以上实施方式中，如果用户移动他/她的视线，则图像的滚动停止。接着，为了再次滚动图像，用户必须在移动视线之后移动他/她的手指。然而，如果视线返回至用户在停止滚动之前观看的位置，则可如下所述执行操作。

例如，当用户观看的位置从区域B1至B8中的任一个移动至区域A时，控制单元102存储关于在移动至区域A之前用户观看的区域以及在位置移动至区域A之前的滚动速度的数据。接着，当用户在他/她的手指未从触摸屏104脱离的情况下观看的位置返回至存储的区域时，控制单元102按照比存储的速度快的速度沿着用户观看的方向滚动图像。另选地，当用户观看的位置未返回至存储的区域而是移动至其它位置时，控制单元102存储关于新的第一位置的数据，并在手指的位置移动之前停止滚动图像。

根据当前修改形式，在沿着相同方向连续地执行滚动的同时，在图像的滚动未停止的情况下，与停止滚动的情况相比，用户能够更快地滚动图像。

在以上实施方式中，在记录第一位置之后，当视线沿着滚动方向的相反方向移动时，图像的滚动停止；然而，控制单元102可不设置这种配置。例如，当视线从区域B1移动至区域B5时，控制单元102将视线移动至区域B5时的手指的位置记录为第一位置，并按照预定速度沿着区域B5的方向滚动图像。另外，随着手指进一步远离第一位置移动，利用预定速度作为基准，控制单元102可根据从第一位置至手指的位置的距离来使得滚动速度更快。

在以上实施方式中，针对不同的应用或要显示的内容，滚动速度可变化。例如，即使手指从第一位置的移动量相同，通过网络浏览器显示网页时的滚动速度也可与通过文字处理器应用显示文档时的滚动速度不同。另外，通过网络浏览器显示文字页时的滚动速度可与通过网络浏览器显示地图页时的滚动速度不同。

在以上实施方式中，通过执行操作***程序提供了根据手指的位置和视线来滚动图像的功能。然而，可通过执行诸如应用程序的另一程序而非操作***程序来提供所述功能。

在以上实施方式中，摄像单元106内置在信息处理装置1中；然而，摄像单元106可不内置在信息处理装置1中。例如，具有镜头和固态摄像传感器的相机可连接至信息处理装置1，并且可利用相机来捕获用户的面部的图像。相机可安装在眼镜框上，并且可利用所述相机来捕获用户的面部的图像。

在以上实施方式中，信息处理装置1设置有利用通信网络执行通信的功能；然而，信息处理装置1可不设置这种功能。例如，信息处理装置1可以是电子书阅读器。

用于提供以上实施方式所述的功能的程序可按照计算机可读记录介质的形式提供，以安装在信息处理装置1中。所述记录介质可以是磁性记录介质、光学记录介质、磁光记录介质或半导体存储器。磁性记录介质可以是磁带或磁盘，诸如HDD（硬盘驱动器）或FD（软盘）。光学记录介质可以是光盘。程序可经由通信线路下载到信息处理装置1，以安装在信息处理装置1中。

Claims (4)

1.一种显示装置，该显示装置包括：

显示单元，其具有显示图像的显示面；

第一检测单元，其检测用户的视线；

第二检测单元，其检测所述用户在所述显示面上执行的操作；

方向确定单元，其根据所述第一检测单元检测到的所述视线来确定所述图像的滚动方向；

速度确定单元，其根据所述第二检测单元检测到的所述操作来确定所述图像的滚动速度；以及

显示控制单元，其控制所述显示单元沿着所述滚动方向滚动所述图像，当所述滚动方向改变并且改变之前的滚动方向的线路与改变之后的滚动方向的线路交叉时，开始按照与所述滚动方向改变之前的滚动速度相同的滚动速度滚动所述图像，当改变之后的所述滚动方向处于沿着改变之前的所述滚动方向的线路的相反方向时，开始按照预定速度滚动所述图像或者停止滚动所述图像，并且当作为所述用户进行的输入操作的结果所述滚动速度改变时，按照与所述输入操作相应的滚动速度来滚动所述图像。

2.根据权利要求1所述的显示装置，其中，当所述视线在所述显示面的预定区域中移动并且随后沿着移动之前的方向移动时，所述显示控制单元开始按照比所述视线在所述预定区域中移动之前的滚动速度快的滚动速度滚动所述图像。

3.一种显示方法，该显示方法包括以下步骤：

检测用户的视线；

检测所述用户在显示图像的显示单元的显示面上执行的操作；

根据所检测到的视线来确定所述图像的滚动方向；

根据所检测到的操作来确定所述图像的滚动速度；以及

控制所述显示单元沿着所述滚动方向滚动所述图像，当所述滚动方向改变并且改变之前的滚动方向的线路与改变之后的滚动方向的线路交叉时，开始按照与所述滚动方向改变之前的滚动速度相同的滚动速度滚动所述图像，当改变之后的所述滚动方向处于沿着改变之前的所述滚动方向的线路的相反方向时，开始按照预定速度滚动所述图像或者停止滚动所述图像，并且当作为所述用户进行的输入操作的结果所述滚动速度改变时，按照与所述输入操作相应的滚动速度来滚动所述图像。

4.一种程序，该程序使得计算机执行以下步骤：

检测用户的视线；

检测所述用户在显示图像的显示单元的显示面上执行的操作；

根据所检测到的视线来确定所述图像的滚动方向；

根据所检测到的操作来确定所述图像的滚动速度；以及

控制所述显示单元沿着所述滚动方向滚动所述图像，当所述滚动方向改变并且改变之前的滚动方向的线路与改变之后的滚动方向的线路交叉时，开始按照与所述滚动方向改变之前的滚动速度相同的滚动速度滚动所述图像，当改变之后的所述滚动方向处于沿着改变之前的所述滚动方向的线路的相反方向时，开始按照预定速度滚动所述图像或者停止滚动所述图像，并且当作为所述用户进行的输入操作的结果所述滚动速度改变时，按照与所述输入操作相应的滚动速度来滚动所述图像。

Images