CN107015635A - 指向支持装置和指向支持方法 - Google Patents

指向支持装置和指向支持方法 Download PDF

Info

Publication number
CN107015635A
CN107015635A CN201610949734.3A CN201610949734A CN107015635A CN 107015635 A CN107015635 A CN 107015635A CN 201610949734 A CN201610949734 A CN 201610949734A CN 107015635 A CN107015635 A CN 107015635A
Authority
CN
China
Prior art keywords
path
pointer
control unit
display control
attentively
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610949734.3A
Other languages
English (en)
Inventor
中山宽
小田切淳
小田切淳一
中岛哲
村濑健太郎
田中正清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN107015635A publication Critical patent/CN107015635A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0227—Cooperation and interconnection of the input arrangement with other functional units of a computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

公开了一种指向支持装置和指向支持方法，该指向支持装置(100、200)包括：注视位置检测单元(150a、250a)，该注视位置检测单元检测用户在屏幕上的注视位置；以及显示控制单元(150b、250b)，该显示控制单元将注视位置设定为指针的初始位置，并且基于路径定义信息将从初始位置开始的路径显示在屏幕上且沿着该路径移动指针，该路径定义信息定义移动指针的路径和路径的移动模式。

Description

指向支持装置和指向支持方法
技术领域
本文中讨论的实施方案涉及一种指向支持装置等。
背景技术
近些年，装配有图形用户界面（GUI）的信息技术装置（诸如个人计算机（PC）、平板计算机终端和智能手机）已被广泛使用。用户通过指向位于GUI上的任何位置的目标（诸如图标、按钮或命令选项卡）来操作信息技术装置。
通过用户利用他的/她的上肢执行鼠标操作或利用他的/她的手指在触摸板上执行操作来执行信息技术装置上的指向。因此，上肢或手指不能良好地活动的身体有障碍的人、老年人等不能操作装配有GUI的信息技术装置。
为了处理这个问题，存在下述注视输入技术：其检测用户在屏幕上的注视位置从而使得用户能够执行指向，而不需要利用他的/她的上肢或手指执行直接操作。例如，常规技术1被提供作为用于通过注视输入执行指向的技术的示例。
常规技术1是下述技术：其根据注视位置和指针位置之间的距离控制移动指针的速度，并且将指针移动接近注视位置，然后，当注视位置和指针位置之间的距离变成在预定范围内时，固定指针位置。
然而，常规技术1的前提是以高准确度检测用户的注视位置。通常，检测注视位置的准确度允许从实际注视位置起约20mm的误差界限；因此，难以将指针移动至用户的预期位置。附带地，能够以高准确度检测注视位置的装置是昂贵的，并且难以作为标准将这种装置安装在信息技术装置中。
另一方面，存在抑制注视位置中的误差界限的常规技术2。常规技术2用于基于输入校正信息来校正注视位置和假定被选作注视位置的对象之间的位置间隙。通过用户他自身/她自身操作输入装置来将校正信息输入到装置。
专利文献1：日本公开专利公布No.2004-287823
专利文献2：日本公开专利公布No.2000-89905
然而，上述常规技术不能够通过注视输入适当地执行指向。
例如，根据常规技术2，可以通过基于校正信息校正注视位置来减小注视位置的误差界限；然而，用户他自身/她自身操作输入装置以输入校正信息，因此身体有障碍的人、老年人等难以操作。
本文中讨论的技术的一方面旨在提供一种能够通过注视输入适当地执行指向的指向支持装置、指向支持方法和指向支持程序。
发明内容
根据实施方案的一方面，一种指向支持装置包括执行处理的处理器，该处理包括：检测用户在屏幕上的注视位置；将注视位置设定为指针的初始位置；基于路径定义信息将从初始位置开始的路径显示在屏幕上，该路径定义信息定义移动指针的路径和路径的移动模式；以及沿着该路径移动指针。
借助于权利要求中具体指出的要素和组合将实现和获得本发明的目的和优点。
应当理解，前述总体描述和以下详细描述两者均是示例性的和说明性的，并且不限制所要求保护的本发明。
附图说明
图1是图示根据第一实施方案的指向支持装置的配置的功能框图；
图2是图示路径定义表的数据结构的示例的图；
图3是用于说明第一路径定义的图；
图4是用于说明第二路径定义的图；
图5是用于说明第三路径定义的图；
图6是用于说明根据第一实施方案的显示控制单元执行的处理的图；
图7是图示根据第一实施方案的指向支持装置的处理的过程的流程图；
图8是图示根据第二实施方案的指向支持装置的配置的功能框图；
图9是用于说明根据第二实施方案的显示控制单元执行的处理的图；
图10是图示根据第二实施方案的指向支持装置的处理的过程的流程图（1）；
图11是图示根据第二实施方案的指向支持装置的处理的过程的流程图（2）；
图12是用于说明指向支持装置执行的另一处理（1）的图；
图13是用于说明指向支持装置执行的另一处理（2）的图；
图14是用于说明指向支持装置执行的另一处理（3）的图；
图15是图示显示控制单元接收肢体动作输入的过程的流程图；以及
图16是图示执行指向支持程序的计算机的示例的图。
具体实施方式
将参照附图来说明本发明的优选实施方案。附带地，本文中讨论的技术不受这些实施方案的限制。
[a]第一实施方案
对根据第一实施方案的指向支持装置的配置进行说明。图1是图示根据第一实施方案的指向支持装置的配置的功能框图。如图1所示，指向支持装置100包括注视输入单元110、开关120、显示单元130、存储单元140和控制单元150。
注视输入单元110是用于输入用户的注视的装置。例如，注视输入单元110对应于摄像装置。注视输入单元110拍摄用户的面部图像，并且将所拍摄的面部图像的数据输出至控制单元150。
开关120是包括能够由用户按压的按钮的开关。开关将指示按钮是否正在被按压的信号输出至控制单元150。开关120是接收单元的示例。
显示单元130是显示从控制单元150输出的各种信息的显示装置。显示单元130对应于液晶显示器、触摸板等。
存储单元140包括路径定义表140a。存储单元140对应于半导体存储装置（诸如随机存取存储器（RAM）、只读存储器（ROM）或闪存存储器）或存储装置（诸如硬盘驱动器（HDD））。
路径定义表140a是保存路径定义信息的表，该路径定义信息定义移动指针的路径和路径的移动模式。图2是图示路径定义表的数据结构的示例的图。如图2所示，该路径定义表140a使路径定义标识信息与多个步骤相关联。该路径定义标识信息是唯一地标识路径定义的信息。步骤指示用于移动路径的步骤或用于沿着路径移动指针的步骤。存在各种路径定义；然而，这里，作为示例，对第一至第三路径定义进行说明。
图3是用于说明第一路径定义的图。第一路径定义具有步骤1和步骤2。第一路径定义的步骤1是显示从当前指针位置10开始的线性移动条11和将线性移动条11围绕指针位置10旋转移动的步骤。
第一路径定义的步骤2是在由线性移动条11指示的方向上线性地移动线性移动条11的步骤，该线性移动条11的方向已在第一路径定义的步骤1处确定。指针位置10a随着线性移动条11的移动而移动。在第一路径定义中，路径是线性移动条11。
图4是用于说明第二路径定义的图。第二路径定义具有步骤1和步骤2。第二路径定义的步骤1是同心地扩展以当前指针位置10为中心的圆12的步骤。
第二路径定义的步骤2是从圆12上的任意位置沿着圆12移动指针位置12a的步骤，圆12已在第二路径定义的步骤1处确定。在第二路径定义中，路径是圆12。
图5是用于说明第三路径定义的图。第三路径定义具有步骤1到4。第三路径定义的步骤1是通过竖直参考线（vertical guide）13a将指针从当前指针位置10a水平向右移动的步骤。
第三路径定义的步骤2是通过竖直参考线13a将指针从在步骤1处的移动中确定的指针位置10b水平向左移动的步骤。
第三路径定义的步骤3是通过水平参考线（horizontal guide）13b将指针从在步骤2处的移动中确定的指针位置10c竖直向上移动的步骤。
第三路径定义的步骤4是通过水平参考线13b将指针从在步骤3处的移动中确定的指针位置10d竖直向下移动的步骤。
附带地，上述第三路径定义仅仅是示例；可以从第三路径定义的步骤1至4中省略步骤2和4，或者可以省略步骤1和3。
返回图1的说明，控制单元150包括注视位置检测单元150a和显示控制单元150b。控制单元150对应于集成装置，诸如专用集成电路（ASIC）或现场可编程门阵列（FPGA）。或者，控制单元150对应于电子电路，诸如中央处理单元（CPU）或微处理单元（MPU）。
注视位置检测单元150a是检测用户在显示单元130的屏幕上的注视位置的处理单元。注视位置检测单元150a将关于注视位置的信息输出至显示控制单元150b。
注视位置检测单元150a可以通过使用任何常规技术来检测用户的注视位置。例如，每当注视位置检测单元150a从注视输入单元110获得面部图像数据时，注视位置检测单元150a分析该面部图像数据的图像并且识别用户眼睛的参考点和移动点。注视位置检测单元150a根据参考点和移动点之间的关系检测用户的注视位置。参考点和移动点的组合是用户眼睛的内眼角和虹膜或者是用户眼睛的角膜反射和瞳孔。注视位置检测单元150a可以通过使用日本公开专利公布No.2012-187190中描述的技术来检测注视位置。
显示控制单元150b是下述处理单元：其将注视位置设定为指针的初始位置，并且基于路径定义表140a将从初始位置开始的路径显示在显示单元130的屏幕上且沿着该路径移动指针。
图6是用于说明根据第一实施方案的显示控制单元执行的处理的图。图6图示下述情况作为示例：显示控制单元150b基于路径定义表140a的第一路径定义执行处理。
步骤S10图示了指向目标30和注视位置20存在于显示单元130的屏幕130a上。显示控制单元150b基于从注视位置检测单元150a获得的注视位置信息来识别注视位置20的位置。在按压开关120的按钮之前，每当显示控制单元150b从注视位置检测单元150a获得关于注视位置20的信息时，显示控制单元150b更新注视位置20。
步骤S11图示了下述情况：当用户已经按压开关120的按钮并且显示控制单元150b已经从开关120接收到信号时，显示控制单元150b将注视位置20设定为指针的初始位置。例如，当开关120的按钮正被按压时，显示控制单元150b显示线性移动条21并且围绕初始指针位置20旋转线性移动条21。
当旋转线性移动条21时，显示控制单元150b可以根据施加至开关120的按钮的按压力调节旋转速度。显示控制单元150b从开关120获得关于施加至按钮的按压力的信息。如果施加至按钮的按压力等于或大于阈值，则显示控制单元150b以第一旋转速度旋转线性移动条21。如果施加至按钮的按压力小于阈值，则显示控制单元150b以第二旋转速度旋转线性移动条21。第一旋转速度应大于第二旋转速度。
步骤S12图示了下述情况：用户参考屏幕130a并且在线性移动条21与目标30重叠时释放开关120的按钮。当显示控制单元150b检测到开关120的按钮已经变成未被按压时，显示控制单元150b停止旋转线性移动条21。然后，显示控制单元150b在由线性移动条21指示的方向上线性地移动线性移动条21。
步骤S13图示了下述情况：用户参考屏幕130a并且在线性移动条21的开始点（指针位置20）与目标30重叠时按压开关120的按钮。当显示控制单元150b检测到在线性移动条21的开始点（指针位置20）与目标30重叠时开关120的按钮已经被按压时，显示控制单元150b确定已经选择目标30。显示控制单元150b执行由于选择目标30的预定处理。
显示控制单元150b执行图6中图示的步骤S10至S13处的处理，从而可以通过注视输入适当地执行指向。例如，每当按压开关120的按钮时，设定指针的初始位置，并且旋转线性移动条21，然后线性地移动线性移动条21；通过这些步骤，可以选择目标30。因此，即使注视位置的准确度是低的，也可以适当地选择目标30。再者，按压开关120的按钮是简单操作，因此即使身体有障碍的人、老年人等也可以操作。
附带地，在步骤S10至S13处图示的示例中，开关120的按钮被按压的定时和开关120的按钮变成未被按压的定时被说明为切换处理的定时；然而，切换定时不限于此。例如，显示控制单元150b可以在开关120的按钮被按压时切换处理，并且不需要将按钮变成未被按压考虑为切换定时。
随后，说明根据第一实施方案的指向支持装置100的处理的过程。图7是图示了根据第一实施方案的指向支持装置的处理的过程的流程图。如图7所示，指向支持装置100的注视位置检测单元150a检测屏幕上的注视位置（步骤S101）。如果未按压开关120的按钮（步骤S102处的否），则指向支持装置100的显示控制单元150b将处理返回至步骤S101。
另一方面，如果已按压开关120的按钮（步骤S102处的是），则显示控制单元150b将注视位置设定为指针的初始位置（步骤S103）。显示控制单元150b参考路径定义表140a，并且将路径定义的第一步骤设定为当前步骤（步骤S104）。
显示控制单元150b根据当前步骤将路径显示在屏幕上并且移动路径或指针位置（步骤S105）。如果未按压开关120的按钮（步骤S106处的否），则显示控制单元150b再次将处理返回至步骤S105。
另一方面，如果已按压开关120的按钮（步骤S106处的是），则显示控制单元150b确定是否存在下一步骤（步骤S107）。如果存在下一步骤（步骤S107处的是），则显示控制单元150b将路径定义的下一步骤设定为当前步骤（步骤S108）并且将处理返回至步骤S105。
另一方面，如果不存在下一步骤（步骤S107处的否），则显示控制单元150b将移动后的指针位置确定为最终指针位置（步骤S109）。
随后，说明根据第一实施方案的指向支持装置100的有利效果。指向支持装置100将注视位置设定为指针的初始位置，并且基于路径定义表140a将从初始位置开始的路径显示在屏幕上且沿着该路径移动指针。因此，即使注视位置的准确度是低的，也可以根据路径定义将指针位置从初始位置移动至目标并且可以适当地指向目标。
在显示控制单元150b接收到指示已按压开关120的按钮的信号时，显示控制单元150b将收到信号时的注视位置设定为指针的初始位置。显示控制单元150b将从初始位置开始的路径显示在屏幕上并且沿着该路径移动指针。按压开关120的按钮是简单操作，因此即使身体有障碍的人、老年人等也可以操作。
在接收到指示开关120的按钮是否正在被按压的信号之后，在按钮正被按压时，显示控制单元150b移动路径或指针，并且在按钮变成未被按压时，停止移动路径或指针。通过该处理，用户仅释放用户正在按压的按钮，从而可以使得转换到下一处理并且高效地执行指向操作。
显示控制单元150b根据施加至按钮的按压力控制移动路径或指针的速度。因此，用户可以根据他的/她的偏好调节移动路径或指针的速度。[b]第二实施方案
随后，说明根据第二实施方案的指向支持装置的配置。图8是图示根据第二实施方案的指向支持装置的配置的功能框图。如图8所示，指向支持装置200包括注视输入单元210、开关220、显示单元230、存储单元240和控制单元250。
注视输入单元210和显示单元230与根据第一实施方案的注视输入单元110和显示单元130相同，因此省略了这些单元的描述。
开关220是包括能够由用户按压的按钮的开关。例如，用户操作开关220以及单击或双击按钮。这里的单击按钮表示用户按压开关220的按钮一次。这里的双击按钮表示用户按压开关220的按钮一次然后在给定长度的时间内再次按压按钮。当开关220接收到对按钮的单击时，开关220将指示收到单击的信号输出至控制单元250。当开关220接收到对按钮的双击时，开关220将指示收到双击的信号输出至控制单元250。
存储单元240包括路径定义表240a。存储单元240对应于半导体存储装置（诸如RAM、ROM或闪存存储器）或者诸如HDD的存储装置。
路径定义表240a是保存路径定义信息的表，该路径定义信息定义移动指针的路径和路径的移动模式。路径定义表240a的数据结构与图2中图示的路径定义表140a的数据结构相同，因此省略了路径定义表240a的数据结构的描述。
控制单元250包括注视位置检测单元250a和显示控制单元250b。控制单元250对应于集成装置，诸如ASIC或FPGA。或者，控制单元250对应于电子电路，诸如CPU或MPU。
注视位置检测单元250a是检测用户在显示单元230的屏幕上的注视位置的处理单元。注视位置检测单元250a将关于注视位置的信息输出至显示控制单元250b。注视位置检测单元250a的其他功能与第一实施方案中描述的注视位置检测单元150a相同。
显示控制单元250b是下述处理单元：其将注视位置设定为指针的初始位置，并且基于路径定义表240a将从初始位置开始的路径显示在显示单元230的屏幕上且沿着该路径移动指针。再者，如果在沿着路径移动指针时，显示控制单元250b已经从开关220获得信号，则显示控制单元250b移动路径以便将从获得信号时的指针位置开始的路径显示在屏幕上，并且沿着该路径移动指针。
图9是用于说明根据第二实施方案的显示控制单元执行的处理的图。图9图示下述情况作为示例：显示控制单元250b基于路径定义表240a的第一路径定义执行处理。
步骤S20图示了指向目标30和注视位置20存在于显示单元230的屏幕230a上。显示控制单元250b基于从注视位置检测单元250a获得的注视位置信息来识别注视位置20的位置。在单击开关220之前，每当显示控制单元250b从注视位置检测单元250a获得关于注视位置20的信息时，显示控制单元250b更新屏幕230a上的注视位置20。
步骤S21图示了下述情况：当用户已单击开关220的按钮并且显示控制单元250b已从开关220接收到信号时，显示控制单元250b将注视位置20设定为初始指针位置。例如，当开关220的按钮正被按压时，显示控制单元250b显示线性移动条21并且围绕初始指针位置20旋转线性移动条21。
步骤S22图示了下述情况：用户参考屏幕230a并且在特定时间释放开关220的按钮。当显示控制单元250b检测到开关220的按钮变成未被按压时，显示控制单元250b停止旋转线性移动条21。然后，显示控制单元250b在由线性移动条21指示的方向上线性地移动线性移动条21。
步骤S23图示了下述情况：正如图6中的步骤S13处一样，如果在显示控制单元250b线性地移动线性移动条21时，用户单击开关220的按钮，则显示控制单元250b确定已选择在单击时的线性移动条21的开始点（指针位置20），并且结束处理。
另一方面，如果在显示控制单元250b线性地移动线性移动条21时，用户双击开关220的按钮，则显示控制单元250b将当前指针位置20设定为初始指针位置。
步骤S24图示了下述情况：在正在按压开关220的按钮时，显示控制单元250b显示线性移动条21并且围绕初始指针位置旋转线性移动条21。例如，当用户双击按钮时，用户阻止释放对按钮的第二点击，从而继续按压按钮。
显示控制单元250b可以将步骤S24处旋转线性移动条21的速度减小至低于步骤S21处旋转线性移动条21的速度。第二指针位置相比第一指针位置离目标30的距离更短。因此，通过减小旋转从第二指针位置或随后的指针位置开始的线性移动条21的速度，可以容易地将线性移动条21的方向设定为朝向目标30。
步骤S25图示了用户参考屏幕230a并且在特定时间释放开关220的按钮。当显示控制单元250b检测到开关220的按钮变成未被按压时，显示控制单元250b停止旋转线性移动条21。然后，显示控制单元250b在由线性移动条21指示的方向上线性地移动线性移动条21。正如图6中的步骤S13处一样，如果在显示控制单元250b线性地移动线性移动条21时，用户单击开关220的按钮，则显示控制单元250b确定已选择在单击时位于线性移动条21的开始点（指针位置20）的目标30。
附带地，在步骤S23处，如果双击开关220的按钮，则显示控制单元250b进一步根据第一路径定义执行步骤S24和S25处的处理。替选地，例如，每当双击开关220的按钮时，显示控制单元250b可以通过将步骤切换至第二或第三路径定义来执行随后的处理。应当由用户提前在指向支持装置200中设定是否将步骤切换至另一路径定义的步骤。
随后，说明根据第二实施方案的指向支持装置200的处理的过程。图10和图11是图示了根据第二实施方案的指向支持装置的处理的过程的流程图。如图10所示，指向支持装置200的注视位置检测单元250a检测屏幕上的注视位置（步骤S201）。如果未单击开关220的按钮（步骤S202处的否），则指向支持装置200的显示控制单元250b将处理返回至步骤S201。
另一方面，如果已单击开关220的按钮（步骤S202处的是），则显示控制单元250b将注视位置设定为指针的初始位置（步骤S203）。显示控制单元250b从路径定义表240a读出第一路径定义，并且将所读取的路径定义设定为当前路径定义（步骤S204）。
显示控制单元250b将当前路径定义的第一步骤设定为当前步骤（步骤S205），并且继续至图11中的步骤S206。
继续至图11的说明，显示控制单元250b根据当前步骤将路径显示在屏幕上并且移动路径或指针位置（步骤S206）。如果已单击开关220的按钮（步骤S207处的是），则显示控制单元250b继续至步骤S208。如果未单击开关220的按钮（步骤S207处的否），则显示控制单元250b继续至步骤S211。
显示控制单元250b确定是否存在下一步骤（步骤S208）。如果不存在下一步骤（步骤S208处的否），则显示控制单元250b将移动后的指针位置确定为最终指针位置（步骤S209）。
对步骤S208之后的处理进行说明。如果存在下一步骤（步骤S208处的是），则显示控制单元250b将下一步骤设定为当前步骤（步骤S210）并且返回至步骤S206。
对步骤S211处和步骤S211之后的处理进行说明。显示控制单元250b确定是否已双击开关220的按钮（步骤S211）。如果未双击按钮（步骤S211处的否），则显示控制单元250b返回至步骤S206。
如果已双击按钮（步骤S211处的是），则显示控制单元250b确定是否存在下一路径定义（步骤S212）。如果不存在下一路径定义（步骤S212处的否），则显示控制单元250b继续至步骤S214。
如果存在下一路径定义（步骤S212处的是），则显示控制单元250b读出下一路径定义，并且将所读取的路径定义设定为当前路径定义（步骤S213）。显示控制单元250b将当前指针位置设定为初始指针位置（步骤S214）。
显示控制单元250b将当前路径定义的第一步骤设定为当前步骤（步骤S215）。显示控制单元250b减小当前路径定义中的移动速度（步骤S216），并且返回至步骤S206。
随后，说明根据第二实施方案的指向支持装置200的有利效果。指向支持装置200将注视位置设定为指针的初始位置，并且基于路径定义表240a将从初始位置开始的路径显示在屏幕上且沿着该路径移动指针。再者，如果在指向支持装置200正沿着路径移动指针时双击开关220的按钮，则指向支持装置200移动路径以便将从双击时的指针位置开始的路径显示在屏幕上，并且沿着该路径移动指针。因此，即使注视位置的准确度是低的，也可以根据路径定义将指针位置从初始位置移动至目标，并且可以适当地指向目标。
再者，当开关220接收到对按钮的双击并且显示控制单元250b通过将路径的开始点切换至收到双击时的指针位置来移动路径时，显示控制单元250b将移动速度减小至低于在先移动速度。因此，即使目标的位置接近当前指针，也可以准确地将路径的位置引导至目标。
附带地，根据第一和第二实施方案的指向支持装置100和200执行的上述处理仅仅是示例，并且指向支持装置100和200可以执行其他处理。以下说明指向支持装置100和200中的任一装置执行的其他处理（1）至（5）。这里，为了方便说明，其他的处理将由指向支持装置200执行。
说明指向支持装置200执行的另一处理（1）。指向支持装置200的显示控制单元250b可以放大屏幕的一部分的图像并且显示该放大图像以进一步提高指向目标的准确度。图12是用于说明指向支持装置执行的处理（1）的图。
步骤S30图示了指向目标30和注视位置20存在于显示单元230的屏幕230a上。显示控制单元250b基于从注视位置检测单元250a获得的注视位置信息来识别注视位置20的位置。例如，屏幕230a的分辨率是1920×1080。
步骤S31图示了下述情况：当开关220接收到对按钮的单击时，显示控制单元250b将注视位置20设定为指针的初始位置。显示控制单元250b放大以初始位置20为中心的矩形框35，以便从矩形框35的中心放大矩形框35。例如，显示控制单元250b可以放大矩形框35，直到开关220再次接收到对按钮的单击为止。
步骤S32图示了矩形框35已被放大至与屏幕230a相同的尺寸。例如，当矩形框35已被放大至与屏幕230a相同的尺寸时，1像素的目标30变成5×5像素的目标30。
步骤S33图示了下述情况：在放大矩形框35之后，显示控制单元250b再次从注视位置检测单元250a获得关于注视位置的信息，并且将获得的注释位置20显示在屏幕230a上。当矩形框35已被放大至全屏幕时，目标30和指针的初始位置之间的距离增大；因此，显示控制单元250b再次更新指针的初始位置。例如，如果在步骤S33处开关220再次接收到对按钮的单击，则显示控制单元250b将收到单击时的注视位置设定为指针的初始位置。
如步骤S30至S33所示，目标30的尺寸相比放大之前变大；因此，用户可以准确地移动指针。
说明指向支持装置200执行的另一处理（2）。图13是用于说明指向支持装置执行的处理（2）的图。如果注视位置偏离屏幕230a，则显示控制单元250b校正注视位置，使得注视位置在屏幕230a内。
如果注视位置在水平方向上在屏幕230a的区域之外，则显示控制单元250b校正注视位置，使得注视位置在水平方向上位于DH个像素内。再者，如果注视位置在垂直方向上在屏幕230a的区域之外，则显示控制单元250b校正注视位置，使得注视位置在垂直方向上位于DV个像素内。
如图13所示，在注视位置41a的情况下，显示控制单元250b将注视位置41a校正为注视位置42a。在注视位置41b的情况下，显示控制单元250b将注视位置41b校正为注视位置42b。在注视位置41c的情况下，显示控制单元250b将注视位置41c校正为注视位置42c。
如上所述，如果注视位置位于屏幕之外，则显示控制单元250b校正注视位置使得其在屏幕内，从而使得注视位置能够总是位于屏幕内。
说明指向支持装置200执行的另一处理（3）。图14是用于说明指向支持装置执行的处理（3）的图。在线性地移动指针位置的步骤处，如果线性移动的目的地移动至屏幕230a或活动窗口之外，则显示控制单元250b执行滚动，使得可以看到目的地中的屏幕。
步骤S40图示了下述情况：例如，在第一路径定义的步骤1处，显示控制单元250b确定线性移动条21的位置和方向；在步骤2处，显示控制单元250b在线性移动条21的方向上移动线性移动条21。在移动之前的线性移动条21被称为线性移动条21a，并且在移动之后的线性移动条21被称为线性移动条21b。在这种情况下，显示控制单元250b使屏幕230a的图像向右滚动，直到发出停止线性移动的指令或者到达使屏幕230a向右滚动的限制为止。向右滚动的方法不限于此；替选地，显示控制单元250b可以通过子区域使屏幕230a向右滚动。
步骤S41图示了下述情况：在第一路径定义的步骤1处，显示控制单元250b确定线性移动条21的位置和方向；在步骤2处，显示控制单元250b在线性移动条21的方向上移动线性移动条21。在移动之前的线性移动条21被称为线性移动条21a，并且在移动之后的线性移动条21被称为线性移动条21b。在这种情况下，显示控制单元250b使屏幕230a的图像向左滚动，直到发出停止线性移动的指令或者到达使屏幕230a向左滚动的限制为止。向左滚动的方法不限于此；替选地，显示控制单元250b可以通过子区域使屏幕230a向左滚动。
步骤S42图示了下述情况：在第一路径定义的步骤1处，显示控制单元250b确定线性移动条21的位置和方向；在步骤2处，显示控制单元250b在线性移动条21的方向上移动线性移动条21。在移动之前的线性移动条21被称为线性移动条21a，并且在移动之后的线性移动条21被称为线性移动条21b。在这种情况下，显示控制单元250b使屏幕230a的图像向上滚动，直到发出停止线性移动的指令或者到达使屏幕230a向上滚动的限制为止。向上滚动的方法不限于此；替选地，显示控制单元250b可以通过子区域使屏幕230a向上滚动。
步骤S43图示了下述情况：在第一路径定义的步骤1处，显示控制单元250b确定线性移动条21的位置和方向；在步骤2处，显示控制单元250b在线性移动条21的方向上移动线性移动条21。在移动之前的线性移动条21被称为线性移动条21a，并且在移动之后的线性移动条21被称为线性移动条21b。在这种情况下，显示控制单元250b使屏幕230a的图像向下滚动，直到发出停止线性移动的指令或者到达使屏幕230a向下滚动的限制为止。向下滚动的方法不限于此；替选地，显示控制单元250b可以通过子区域使屏幕230a向下滚动。
如果正在移动的路径或指针位置偏离了屏幕的区域或活动窗口的区域，则显示控制单元250b使屏幕或活动窗口的区域滚动。因此，用户可以容易地在他的/她的预期方向上使屏幕滚动。
说明指向支持装置200执行的另一处理（4）。显示控制单元250b基于开关220的按钮是否被点击而确定是否已经做出选择；然而，确定方法不限于此，并且显示控制单元250b可以接收肢体动作输入，并且基于肢体动作输入确定是否已经做出选择。
例如，如果显示控制单元250b检测到用户闭眼达给定长度的时间，则显示控制单元250b确定已经做出选择。例如，显示控制单元250b连接至摄像装置（未示出），并且通过执行模板匹配等确定用户已经闭眼。
图15是图示显示控制单元接收肢体动作输入的过程的流程图。如图15所示，显示控制单元250b确定用户是否已经闭眼（步骤S301）。如果用户没有闭眼（步骤S301处的否），则显示控制单元250b重复步骤S301。
如果用户已经闭眼（步骤S301处的是），则显示控制单元250b停止指针的移动（步骤S302）。步骤S302处的指针的移动表示，例如，如图3中的步骤2所示，指针位置随着线性移动条21的移动而移动。显示控制单元250b重置计时器，并且开始测量时间（步骤S303）。
如果测量的时间超过阈值（步骤S304处的是），则显示控制单元250b确定已经选择与指针重叠的目标（步骤S305）。
另一方面，如果测量的时间没有超过阈值（步骤S304处的否），则显示控制单元250b确定用户是否已经睁眼（步骤S306）。如果用户没有睁眼（步骤S306处的否），则显示控制单元250b返回至步骤S304。
如果用户已经睁眼（步骤S306处的是），则显示控制单元250b恢复指针的移动（步骤S307），并且返回至步骤S301。
如上所述，显示控制单元250b基于用户的肢体动作接收选择；因此，用户可以选择目标，而不需要按压开关220的按钮。
说明指向支持装置200执行的另一处理（5）。显示控制单元250b通过开关220或用户的肢体动作接收各种选择；除此之外，显示控制单元250b可以基于语音输入接收选择。例如，指向支持装置200还包括麦克风（未示出）和连接至该麦克风的语音识别单元；在接收到预定语音输入时，语音识别单元将信号输出至显示控制单元250b。
例如，当语音识别单元从用户接收到语音输入（诸如“开始”、“停止”或“确定”）时，语音识别单元将信号输出至显示控制单元250b。当显示控制单元250b从语音识别单元接收到信号时，显示控制单元250b执行与在收到选择的情况下相同的处理。
如上所述，显示控制单元250b接收由基于语音输入的信号做出的选择；因此，用户可以选择目标，而不需要按压开关220的按钮。
再者，在显示控制单元250b根据图5中图示的第三路径定义来移动路径时，显示控制单元250b可以基于语音输入省略第三路径定义的步骤1至4中的任何步骤。例如，如果通过语音输入“右”和“下”来命令移动方向，则显示控制单元250b根据步骤1将竖直参考线13a向右移动，并且然后根据步骤4将水平参考线13b向下移动。
随后，描述执行指向支持程序的计算机的示例，该指向支持程序实现与根据第一和第二实施方案的指向支持装置100和200中的任何装置相同的功能。图16是图示执行指向支持程序的计算机的示例的图。
如图16所示，计算机300包括执行各种算术处理的CPU 301、从用户接收数据输入的输入装置302和显示器303。再者，计算机300包括从存储介质读取程序等的读取装置304、经由网络执行计算机300和另一计算机之间的数据传输的接口装置305以及摄像装置306。再者，计算机300包括RAM 307和硬盘装置308；RAM 307暂时地将各种信息存储于其中。装置301至308连接至总线309。
硬盘装置308包括注视位置检测程序308a和显示控制程序308b。CPU 301将注视位置检测程序308a和显示控制程序308b读取和展开至RAM 307中。
注视位置检测程序308a用作注视位置检测处理307a。显示控制程序308b用作显示控制处理307b。
注视位置检测处理307a对应于注视位置检测单元150a和250a执行的处理中的任何处理。显示控制程序307b对应于显示控制单元150b和250b执行的处理中的任何处理。
附带地，注视位置检测程序308a和显示控制程序308b不一定必须从开始起就存储于硬盘装置308中。例如，这些程序可以存储在要***计算机300中的“便携式物理介质”（诸如软盘（FD）、CD-ROM、数字通用光盘（DVD）、磁光盘或IC卡）中，使得计算机300可以读出和执行程序308a和308b。
可以通过注视输入适当地执行指向。
本文中记载的所有示例和条件语言旨在用于辅助读者理解由发明人贡献的用于推进现有技术的发明和概念的教学目的，并且不被解释为限于这种具体记载的示例和条件，说明书中的这种示例的组织也不涉及表示本发明的优势和劣势。虽然详细描述了本发明的实施方案，但是应当理解，在不背离本发明的精神和范围的情况下，可以做出各种改变、替换和变更。

Claims (18)

1.一种指向支持装置，包括：
注视位置检测单元(150a、250a)，其检测用户在屏幕上的注视位置；以及
显示控制单元(150b、250b)，其将所述注视位置设定为指针的初始位置，并且基于路径定义信息将从所述初始位置开始的路径显示在所述屏幕上且沿着所述路径移动所述指针，所述路径定义信息定义移动所述指针的所述路径和所述路径的移动模式。
2.根据权利要求1所述的指向支持装置，还包括接收单元(120、220)，所述接收单元(120、220)在从所述用户接收到预定指令时，将信号输出至所述显示控制单元(150b、250b)，其中：
所述显示控制单元(150b、250b)将从所述接收单元获得信号时的注视位置设定为所述初始位置。
3.根据权利要求2所述的指向支持装置，其中：
每当所述显示控制单元(150b、250b)由于获得信号而切换所述路径的开始点时，所述显示控制单元(150b、250b)将移动所述路径或所述路径上的指针的速度减小至低于在先移动速度。
4.根据权利要求2所述的指向支持装置，其中：
所述显示控制单元(150b、250b)在按钮被按压时移动所述路径或所述指针，并且在所述按钮变成未被按压时停止移动所述路径或所述指针。
5.根据权利要求2所述的指向支持装置，其中：
所述接收单元(120、220)还将关于施加至按钮的按压力的信息输出至所述显示控制单元，以及
所述显示控制单元(150b、250b)基于施加至所述按钮的所述按压力而控制移动所述路径或所述指针的速度。
6.根据权利要求2所述的指向支持装置，其中：
所述注视位置检测单元(150a、250a)检测用户在放大的图像区域上的注视位置。
7.根据权利要求1所述的指向支持装置，其中：
当在所述路径上移动的所述指针偏离了所述屏幕的区域或活动窗口的区域时，所述显示控制单元(150b、250b)使所述屏幕或活动窗口的区域滚动。
8.根据权利要求1所述的指向支持装置，其中：
所述显示控制单元(150b、250b)将收到语音输入时的注视位置设定为所述初始位置，并且基于所述语音输入控制所述路径或所述指针的移动。
9.根据权利要求1所述的指向支持装置，其中：
所述显示控制单元(150b、250b)将检测到预定肢体动作时的注视位置设定为所述初始位置，并且基于所述预定肢体动作控制所述路径或所述指针的移动。
10.一种指向支持方法，包括：
检测用户在屏幕上的注视位置；
将所述注视位置设定为指针的初始位置；
基于路径定义信息将从所述初始位置开始的路径显示在所述屏幕上，所述路径定义信息定义移动所述指针的所述路径和所述路径的移动模式；以及
沿着所述路径移动所述指针。
11.根据权利要求10所述的指向支持方法，还包括在从所述用户接收到预定指令时输出信号，其中：
所述设定将获得信号时的注视位置设定为所述初始位置。
12.根据权利要求11所述的指向支持方法，其中：
每当由于获得信号而切换所述路径的开始点时，所述移动将移动所述路径或所述路径上的指针的速度减小至低于在先移动速度。
13.根据权利要求11所述的指向支持方法，其中：
所述移动在按钮被按压时移动所述路径或所述指针，并且在所述按钮变成未被按压时停止移动所述路径或所述指针。
14.根据权利要求13所述的指向支持方法，其中：
所述输出输出关于施加至所述按钮的按压力的信息，以及
所述移动基于施加至所述按钮的所述按压力而控制移动所述路径或所述指针的速度。
15.根据权利要求10所述的指向支持方法，其中：
所述检测检测用户在放大的图像区域上的注视位置。
16.根据权利要求10所述的指向支持方法，还包括：当在所述路径上移动的所述指针偏离了所述屏幕的区域或活动窗口的区域时，使所述屏幕或所述活动窗口的区域滚动。
17.根据权利要求10所述的指向支持方法，其中：
所述设定将收到语音输入时的注视位置设定为所述初始位置，并且所述移动基于所述语音输入控制所述路径或所述指针的移动。
18.根据权利要求10所述的指向支持方法，其中：
所述设定将检测到预定肢体动作时的注视位置设定为所述初始位置，并且所述移动基于所述预定肢体动作控制所述路径或所述指针的移动。
CN201610949734.3A 2015-11-12 2016-10-26 指向支持装置和指向支持方法 Pending CN107015635A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-222518 2015-11-12
JP2015222518A JP2017091327A (ja) 2015-11-12 2015-11-12 ポインティング支援装置、ポインティング支援方法およびポインティング支援プログラム

Publications (1)

Publication Number Publication Date
CN107015635A true CN107015635A (zh) 2017-08-04

Family

ID=58691018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610949734.3A Pending CN107015635A (zh) 2015-11-12 2016-10-26 指向支持装置和指向支持方法

Country Status (3)

Country Link
US (1) US10241570B2 (zh)
JP (1) JP2017091327A (zh)
CN (1) CN107015635A (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP1617940S (zh) 2017-10-17 2018-11-12
JP1617939S (zh) 2017-10-17 2018-11-12
USD852841S1 (en) * 2017-11-07 2019-07-02 Microsoft Corporation Display screen with animated graphical user interface
USD852221S1 (en) * 2017-11-07 2019-06-25 Microsoft Corporation Display screen with animated graphical user interface
US10871874B2 (en) * 2018-05-09 2020-12-22 Mirametrix Inc. System and methods for device interaction using a pointing device and attention sensing device
JP7115737B2 (ja) * 2018-06-07 2022-08-09 株式会社オリィ研究所 視線入力装置、視線入力方法、視線入力プログラム及び視線入力システム
CN111782111A (zh) * 2019-04-04 2020-10-16 广州高新兴机器人有限公司 在触摸屏上绘制多边形的方法
USD919656S1 (en) * 2019-10-04 2021-05-18 Butterfly Network, Inc. Display panel or portion thereof with graphical user interface
US20230185368A1 (en) * 2021-12-14 2023-06-15 Lenovo (United States) Inc. Gazed based cursor adjustment

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670655A (en) * 1995-09-15 1997-09-23 Merck & Co. Inc. Method for analyzing isomers of enalapril and enalaprilat
US6204828B1 (en) * 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US6587131B1 (en) * 1999-06-04 2003-07-01 International Business Machines Corporation Method for assisting user to operate pointer
CN102609085A (zh) * 2010-12-27 2012-07-25 卡西欧计算机株式会社 信息处理装置及方法、以及程序
CN102915191A (zh) * 2011-07-20 2013-02-06 三星电子株式会社 显示装置及其显示方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4847605A (en) * 1987-04-27 1989-07-11 International Business Machines Corporation Picking in a graphics system
JP2905502B2 (ja) * 1989-07-31 1999-06-14 株式会社日立製作所 画面スクロール方法及び装置
JP2666538B2 (ja) * 1990-08-10 1997-10-22 富士通株式会社 パニング制御システム
US5196838A (en) * 1990-12-28 1993-03-23 Apple Computer, Inc. Intelligent scrolling
US5360971A (en) * 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
US5670955A (en) * 1995-01-31 1997-09-23 Microsoft Corporation Method and apparatus for generating directional and force vector in an input device
US7401299B2 (en) * 2001-09-05 2008-07-15 Autodesk, Inc. Method and apparatus for providing a presumptive drafting solution
US5774111A (en) * 1996-02-12 1998-06-30 Dassault Systemes Method and apparatus for providing a dynamically oriented compass cursor on computer displays
US5689619A (en) * 1996-08-09 1997-11-18 The United States Of America As Represented By The Secretary Of The Army Eyetracker control of heads-up displays
TW420931B (en) * 1996-08-22 2001-02-01 Hitachi Ltd Television receiver and receiving method thereof
US5870079A (en) * 1996-11-12 1999-02-09 Legaltech, Inc. Computer input device and controller therefor
JP2000089905A (ja) 1998-09-14 2000-03-31 Sony Corp ポインティングデバイス
JP2001100903A (ja) * 1999-09-28 2001-04-13 Sanyo Electric Co Ltd 視線検出機能搭載装置
US6717600B2 (en) * 2000-12-15 2004-04-06 International Business Machines Corporation Proximity selection of selectable item in a graphical user interface
JP3953753B2 (ja) * 2001-06-22 2007-08-08 日本電信電話株式会社 マウスポインタの誘導方法、マウスポインタの誘導プログラム、および同プログラムを記録した記録媒体
JP2003044204A (ja) * 2001-07-31 2003-02-14 Matsushita Electric Ind Co Ltd 携帯情報端末
JP2004287823A (ja) 2003-03-20 2004-10-14 Seiko Epson Corp ポインティング操作支援システム
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US7365738B2 (en) * 2003-12-02 2008-04-29 International Business Machines Corporation Guides and indicators for eye movement monitoring systems
US7523418B2 (en) * 2006-03-15 2009-04-21 International Business Machines Corporation Techniques for choosing a position on a display having a cursor
JP2007257650A (ja) * 2007-04-16 2007-10-04 Hitachi Ltd ポインティングデバイスを用いた端末装置
US8245156B2 (en) * 2008-06-28 2012-08-14 Apple Inc. Radial menu selection
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
US8743053B2 (en) * 2009-08-31 2014-06-03 Adobe Systems Incorporation Restricting cursor movement to track an existing path
TW201117064A (en) * 2009-11-05 2011-05-16 Wistron Corp Method of testing a cursor of a pointing device shown on a display device
JP2012027874A (ja) * 2010-07-28 2012-02-09 Panasonic Corp 入力装置、入力方法および入力プログラム
JP5811780B2 (ja) * 2011-11-07 2015-11-11 富士通株式会社 情報処理装置およびその入力制御プログラム
US9910490B2 (en) * 2011-12-29 2018-03-06 Eyeguide, Inc. System and method of cursor position control based on the vestibulo-ocular reflex
US9658733B2 (en) * 2012-08-03 2017-05-23 Stickshift, LLC User interface with selection patterns
JP6260255B2 (ja) * 2013-12-18 2018-01-17 株式会社デンソー 表示制御装置およびプログラム
US20160291692A1 (en) * 2014-01-08 2016-10-06 Sony Corporation Information processing system, information processing method, and program
GB201417208D0 (en) * 2014-09-30 2014-11-12 Ibvision Ltd Method Software And Apparatus For Testing A Patiants Visual Field

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670655A (en) * 1995-09-15 1997-09-23 Merck & Co. Inc. Method for analyzing isomers of enalapril and enalaprilat
US6204828B1 (en) * 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US6587131B1 (en) * 1999-06-04 2003-07-01 International Business Machines Corporation Method for assisting user to operate pointer
CN102609085A (zh) * 2010-12-27 2012-07-25 卡西欧计算机株式会社 信息处理装置及方法、以及程序
CN102915191A (zh) * 2011-07-20 2013-02-06 三星电子株式会社 显示装置及其显示方法

Also Published As

Publication number Publication date
JP2017091327A (ja) 2017-05-25
US10241570B2 (en) 2019-03-26
US20170139477A1 (en) 2017-05-18

Similar Documents

Publication Publication Date Title
CN107015635A (zh) 指向支持装置和指向支持方法
JP6657593B2 (ja) 生体撮影装置、生体撮影方法及び生体撮影プログラム
JP5157969B2 (ja) 情報処理装置、閾値設定方法及びそのプログラム
US9411463B2 (en) Electronic device having a touchscreen panel for pen input and method for displaying content
CN105487797B (zh) 一种屏幕显示模式的控制方法及终端设备
WO2017032068A1 (zh) 一种查看短信的方法及用户终端
US20110310049A1 (en) Information processing device, information processing method, and information processing program
US9442655B2 (en) Character input device, and method and program for inputting character
JP5865597B2 (ja) 携帯電子機器
CN104423625A (zh) 字符输入装置及字符输入方法
CN102681757B (zh) 用于控制便携式终端中的屏幕显示的设备和方法
WO2014045953A1 (ja) 情報処理装置および方法、並びにプログラム
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
KR20170089929A (ko) 비디오 이미지를 스케일링하는 방법 및 이동 단말
KR20150079829A (ko) 제스처에 기반한 대화 처리 방법, 장치, 단말 장치, 프로그램 및 기록 매체
EP3748520A1 (en) Biometric authentication device, system, method and recording medium
JP5910345B2 (ja) 文字入力プログラム、情報処理装置および文字入力方法
JP2011022687A (ja) 認証機能を有する電子機器および認証方法
US9348497B2 (en) Electronic device, and handwriting processing method
CN105183359B (zh) 一种放大和缩小的方法、装置及终端
KR20100062899A (ko) 터치 패턴을 이용한 입력 방법 및 장치
WO2012086133A1 (ja) タッチパネル装置
CN105426091B (zh) 一种控制黑屏手势处理的方法及终端
US20150193068A1 (en) Method and apparatus for sensing touch pressure of touch panel and touch sensing apparatus using the same
JP5332623B2 (ja) 画像表示装置及び画像表示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170804

WD01 Invention patent application deemed withdrawn after publication