CN103608761B - 输入设备、输入方法以及记录介质 - Google Patents

输入设备、输入方法以及记录介质 Download PDF

Info

Publication number
CN103608761B
CN103608761B CN201280020412.0A CN201280020412A CN103608761B CN 103608761 B CN103608761 B CN 103608761B CN 201280020412 A CN201280020412 A CN 201280020412A CN 103608761 B CN103608761 B CN 103608761B
Authority
CN
China
Prior art keywords
display
user
camera
hand
absorbed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280020412.0A
Other languages
English (en)
Other versions
CN103608761A (zh
Inventor
玉井润
玉井润一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Electrical Scheme Innovation Corporation
Original Assignee
Japan Electrical Scheme Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Electrical Scheme Innovation Corp filed Critical Japan Electrical Scheme Innovation Corp
Publication of CN103608761A publication Critical patent/CN103608761A/zh
Application granted granted Critical
Publication of CN103608761B publication Critical patent/CN103608761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

在本发明中，获取单元（1）获取指示显示单元（130）与被相机单元（120）摄取的用户之间的距离的信息。显示控制单元（2）在显示单元（130）的显示屏中显示操作屏幕，所述操作屏幕的大小在由所述获取单元（1）所获取的信息的基础上得以设定。确定单元（3）在由所述相机单元（120）摄取的用户的运动和/或形状的基础上确定来自用户的操作指令。执行单元（4）执行与由确定单元（3）确定的操作指令对应的处理。

Description

输入设备、输入方法以及记录介质
技术领域
本发明涉及输入设备、输入方法以及记录介质。
背景技术
所谓的手势设备是已知的，其基于用户的手的运动来确定来自该用户的操作指令。例如，专利文献1公开了一种输入设备，其在被显示在电视机上的操作屏幕中合成由相机摄取（pick up）的用户图像，并且使得该用户能够在该操作屏幕中基于对象的运动来选择，例如菜单项。
引用列表
专利文献
专利文献1：未经审查的日本专利申请特开No.2010-257093。
发明内容
技术问题
在专利文献1中公开的输入设备的情形中，由于操作屏幕的大小总是保持相同，因此当用户尝试在远离电视机的情况下给出操作时，用户不易查看该操作屏幕，并因此对于用户而言难以给出操作。
本发明是在考虑到上面所解释的情况下做出的，本发明的目标在于提供一种当以远离屏幕的方式给出操作时使得该操作便于进行的输入设备、输入方法以及记录介质。
问题的解决方案
根据本发明第一方面的输入设备，包括：获取器，该获取器获取指示显示器或相机与由所述相机摄取的对象之间的距离的信息；显示控制器，该显示控制器在所述显示器的显示屏幕上显示操作屏幕，所述操作屏幕具有根据由所述获取器获取的信息而设定的大小；以及确定器，该确定器基于由所述相机摄取的对象的运动及其形状中的至少一项来确定来自所述对象的操作指令。
根据本发明第二方面的输入方法，包括：获取步骤，用于获取指示显示器或相机与由所述相机摄取的对象之间的距离的信息；显示控制步骤，用于在所述显示器的显示屏幕上显示操作屏幕，所述操作屏幕具有根据通过所述获取步骤获取的信息而设定的大小；以及确定步骤，用于基于由所述相机摄取的所述对象的运动及其形状中的至少一项来确定来自所述对象的操作指令。
根据本发明第三方面的程序允许计算机起如下作用：获取器，该获取器获取指示显示器或相机与由所述相机摄取的对象之间的距离的信息；显示控制器，该显示控制器在所述显示器的显示屏幕上显示操作屏幕，所述操作屏幕具有根据由所述获取器获取的信息而设定的大小；以及确定器，该确定器基于由所述相机摄取的对象的运动及其形状中的至少一项来确定来自所述对象的操作指令。
发明的有益效果
根据本发明，即使操作是以远离屏幕的方式给出，也能容易地给出该操作。
附图说明
图1是图示了根据本发明的实施例的输入设备的透视图；
图2是图1中所图示的输入设备的功能框图；
图3(A)是图示了如何在显示屏幕上显示小的操作屏幕的图；
图3(B)是图示了如何在显示屏幕上显示大的操作屏幕的图；
图4是图示了示例性命令表的图，该命令表使用户的手的运动与操作命令相关联；
图5(A)是图示了如何显示在近距离摄取的手的图像的图；
图5(B)是图示了如何显示在远距离摄取的手的图像的图；
图6(A)是图示了在小的操作屏幕上显示的手的运动的图；
图6(B)是图示了在大的操作屏幕上显示的手的运动的图；
图7是用于解释根据实施例的输入过程的流程图；
图8(A)是图示了当手与相机之间的距离短时的可识别方向的图；
图8(B)是图示了当手与相机之间的距离长时的可识别方向的图；
图9是图示了图形如何与手的运动同步改变的图；以及
图10是图示了图形如何与手的运动同步移动的图。
具体实施方式
现在将参照附图给出对根据实施例的输入设备100的说明。
输入设备100具有基于用户的手的运动来确定来自用户的操作指令的功能。示例性输入设备100为个人计算机。图1图示了输入设备100的外部视图。如图1所示，输入设备100包括操作设备110、相机120、显示器130、主体140以及声音输出器150。
操作设备110包括诸如键盘这样的输入设备。操作设备110接受操作输入，诸如来自用户的过程启动指令，并将所接受的指令输出给主体140。
相机120例如包括具有CCD（电荷耦合设备）图像传感器的相机或者具有CMOS（互补金属氧化物半导体）的相机。相机120被设置在显示器130的上部中心处。相机120以一定方式设置以便摄取面向显示器130的方向上的图像。因此，相机120摄取操作输入设备100并且正在观看显示器130的用户的图像。
显示器130包括诸如液晶显示器这样的显示设备。显示器130在显示设备的显示屏幕上显示各种图像。显示器130所显示的各种图像包括操作屏幕。“操作屏幕”是作为用来在显示屏幕上操作输入设备100的用户接口的图像或类似事物。例如，操作屏幕是显示由相机120所摄取的用户自己或者菜单项等的窗口。
主体140是输入设备100的主要单元。主体140根据来自用户的诸如过程启动指令的操作输入来执行各种过程。
声音输出器150包括扬声器等。声音输出器150根据由主体140所执行的过程来输出声音等。
接下来，将参照图2给出对主体140的功能结构的说明。如图2所示，主体140包括图像存储器141、存储器142以及控制器143。
图像存储器141例如包括诸如RAM（随机存取存储器）的视频存储器，并存储由相机120输出的图像数据。图像数据例如包括与由相机120所摄取的用户的图像等对应的图像数据。
存储器142包括诸如RAM和硬盘的存储器设备。存储器142存储诸如操作屏幕信息142a和命令表142b等的各种数据。
操作屏幕信息142a例如是关于操作屏幕位置及其大小的信息。图3(A)示出了作为操作屏幕131的、设置在大体上占据显示屏幕20%的矩形区域中的操作屏幕131a。在这种情况下，与操作屏幕131a相关的操作屏幕信息142a例如是矩形的一个顶点的坐标（X1,Y1）以及在起自该矩形的前一顶点的对角线上的顶点的坐标（X2,Y2）。操作屏幕的位置及其大小可以基于坐标（X1,Y1）和坐标（X2,Y2）进行设置。图3(B)示出了作为操作屏幕131的、设置在大体上占据显示屏幕80%的矩形区域中的操作屏幕131b。在这种情况下，与操作屏幕131b相关的操作屏幕信息142a例如是矩形的一个顶点的坐标（X1,Y1）以及在起自该矩形的前一顶点的对角线上的顶点的坐标（X3,Y3）。操作屏幕信息142a并不限于顶点的坐标，而是可以是被设置为操作屏幕的区域的重心的坐标以及该重心与区域一端（end）的距离。
如图4所示，命令表142b包括具有彼此关联的用户的“手的运动”和“操作命令”的信息。“操作命令”是通过软件之间的接口（在下文中称为“软件接口”）输出至操作***或者诸如音乐播放器软件等的应用软件的信息。操作命令例如是与提供给操作***的操作有关的信息，以及与提供给音乐播放器软件等的操作有关的信息，该操作诸如播放、停止、快进以及跳过。
在图4中，操作命令与手的运动相关联。例如，作为与提供给操作***的操作有关的信息，“操作开始”与“手的快速水平运动”相关联。此外，作为与提供给音乐播放器软件的操作有关的信息，“增加音量”与“手的向上运动”相关联。另外，“播放”与“手的向右运动”相关联。
控制器143包括处理器等，与存储在存储器142中的程序相关联地操作，并且根据来自用户的诸如过程开始指令的操作输入执行各种过程。当操作设备110输出过程开始指令时，控制器143指示相机120开始图像摄取。基于该指令，相机120连续地输出所摄取的图像至图像存储器141。控制器143控制显示器130来显示各个图像。
此外，当操作设备110输出过程开始指令时，控制器143执行诸如音乐播放器软件的应用软件，并启动用于通过软件接口将操作命令输入到该应用软件的输入过程。
控制器143用作获取器1、显示控制器2、确定器3以及执行器4。获取器1获取与显示器130（显示设备）或相机120与由相机120所摄取的用户（对象）之间的距离有关的信息。相机120被布置在显示器130的上部中心处，因此可以认为显示器130与用户之间的距离和相机120与用户之间的距离基本相同。因此认为，获取器1获取与显示器130与用户之间的距离有关的信息。例如，作为和与用户的距离有关的信息，获取器1获取手的图像的面积相对于与图像数据对应的整个图像的面积的比率R。显示器130与由相机120所摄取的用户的手之间的距离与手的图像的面积相对于与图像数据对应的整个图像的面积的比率R成比例。也就是说，手的图像的面积相对于与图像数据对应的整个图像的面积的比率R越大，显示器130与用户的手之间的距离越短。
显示控制器2在显示器130上显示操作屏幕131，该操作屏幕具有基于由获取器1所获取的比率R而设定的大小。例如，在设置操作屏幕131的大小时，显示控制器2基于获取器1所获取的比率R来检测显示器130与用户之间的距离。例如，当手的图像的面积相对于与图像数据对应的整个图像的面积的比率R为5%时，显示控制器2检测出显示器130与手之间的距离，其为3m。而且，当手的图像的面积相对于与图像数据对应的整个图像的面积的比率R为10%时，显示控制器2获取显示器130与手之间的距离，其为1m。
随着由获取器1所获取的比率R所表示的距离变大，显示控制器2增大操作屏幕131。例如，当检测出的距离小于预先确定的阈值时，显示控制器2设置小的操作屏幕131a。相反，当检测出的距离大于预先确定的阈值时，显示控制器2设置大的操作屏幕131b。与由显示控制器2设置的操作屏幕131对应的数据被输出至显示器130，并在显示设备的显示屏幕上显示。
显示控制器2获取将要在操作屏幕131上显示的图像数据作为来自图像存储器141的最新的图像数据。显示控制器2处理根据操作屏幕131的大小所获取的图像数据，并且设置操作屏幕。例如，作为手的图像数据，与下述范围内的图像对应的图像数据被从所获取的图像数据中切出（cut out）：在该范围中，在包围手的最小矩形的四个边中的每个边上添加了预先确定的宽度。根据操作屏幕131的大小，被切出的图像数据被放大或缩小，并且由显示控制器2设置为将要在操作屏幕131上显示的图像。因此，当操作屏幕131a被设置为操作屏幕131时，如图5(A)所示，手的图像被显示在操作屏幕131a中。此外，当操作屏幕131b被设置为操作屏幕131时，如图5(B)所示，手的图像被显示在操作屏幕131b中。
显示控制器2根据需要更新操作屏幕131。例如，显示控制器2根据相机120所摄取的用户的手势（运动和形状中的至少一项）来改变操作屏幕131。显示控制器2根据需要从图像数据中切出手的图像数据，并且将与所设置的图像对应的图像数据输出至显示器130，由此改变操作屏幕131。
确定器3基于由相机120摄取的用户的手势来确定来自用户的操作指令。首先，确定器3确定图像数据中是否包括人手的图像。例如，存储器142预先存储提取人手的图像的特征的模式数据。确定器3利用该模式数据来检查图像数据，由此确定图像数据中是否包括人手的图像。
接下来，确定器3确定相机120所摄取的用户的手势是否与和操作指令相关联的手势匹配。例如，确定器3确定作为用户的手势、由相机120摄取的用户的手的手势是否与和操作指令关联的手势匹配。例如，确定器3识别手的图像的运动以便确定手的手势。在这种情况下，作为图像数据中的手的重心，确定器3根据需要计算与图像数据中的手的图像对应的所有像素的位置坐标的平均值。当该重心在一定时间内在水平方向上移动超过预先确定的宽度时，确定器3确定手在水平方向上快速移动。来自对象的操作指令基于由相机摄取的对象的手的运动得以确定。
此外，确定器3可以被配置为计算手的重心与图像的中心之间的距离以根据需要识别用户的手的图像的运动，该图像的中心是图像数据中所有像素的位置坐标的平均值。例如，当计算出的距离等于或者大于预先确定的阈值时，确定器3识别出用户的手在移动。此时，如图6(A)所示，当互连手的重心与图像的中心的直线在从向左下倾斜45度到向左上倾斜45度的范围内时，确定器3识别出手向左移动。而且，如图6(B)所示，当互连手的重心与图像的中心的直线在从向左上倾斜45度到向右上倾斜45度的范围内时，确定器3确定手向上移动。同样地，当互连手的重心与图像的中心的直线在从向右上倾斜45度到向右下倾斜45度的范围内时，确定器3确定手向右移动。当互连手的重心与图像的中心的直线在从向右下倾斜45度到向左下倾斜45度的范围内时，确定器3识别出手向下移动。
当用户的手的运动通过这种方式得以识别时，确定器3查找命令表142b，并将与识别出的手的运动对应的操作命令确定为来自用户的操作指令。例如，当识别出手水平地快速移动时，确定器3将与“手的快速水平运动”相关联的操作命令“操作开始”确定为来自用户的操作指令。此外，当识别出手向右移动时，确定器3将与“手的向右运动”相关联的操作命令“播放”确定为来自用户的操作指令。而且，当识别出手向上移动时，确定器3将与“手的向上运动”相关联的操作命令“增大音量”确定为来自用户的操作指令。
当已经确定了来自用户的操作指令时，控制器143在显示器130上显示例如图解（illustration）或消息，作为指示从用户接收到操作指令的信息。
执行器4根据由确定器3确定的操作指令来执行过程。执行器4通过软件接口将操作命令输出至诸如音乐播放器软件的应用软件。例如，当操作命令为“播放”时，执行器4通过诸如音乐播放器软件的应用软件来播放预先确定的声音数据等。相应地，声音输出器150输出与该声音数据对应的声音。而且，当操作命令为“增大音量”时，执行器4通过诸如音乐播放器软件的应用软件来增加音量。因此，声音输出器150增加输出声音的音量。
接下来，将给出对输入设备100的操作的解释。下面将参照图7的流程图对输入过程进行解释。
控制器143从图像存储器141获取最新的图像数据（步骤S101）。
确定器3确定图像数据是否包含人手的图像（步骤S102）。当在图像数据中不包含人手的图像时（步骤S102：否），控制器143将过程返回到步骤S101。
当图像数据中包含人手的图像时（步骤S102：是），获取器1获取手的图像的面积相对于与图像数据对应的整个图像的面积的比率R（步骤S103）。接下来，显示控制器2基于由获取器1获取的手的图像的面积相对于与图像数据对应的整个图像的面积的比率R检测显示器130与所摄取的手之间的距离（步骤S104）。
接下来，显示控制器2基于检测到的距离设置操作屏幕的大小（步骤S105）。显示控制器2通过显示器130在显示器130上显示具有设定大小的操作屏幕131（步骤S106）。
显示控制器2从图像存储器141获取最新的图像数据，并且，如图5所示，在操作屏幕131上显示与所获取的图像数据对应的手的图像（步骤S107）。
接下来，确定器3识别用户的手势，并确定是否指令操作开始（步骤S108）。
控制器143待命，直到指令操作开始（步骤S108：否）。当指令操作开始（步骤S108：是）时，控制器143通过显示器130显示指示操作开始的图像、诸如图解或消息，作为指示从用户接收到操作开始指令的信息（步骤S109）。
确定器3待命，直到与图像数据对应的手的图像移动（步骤S110：否）。当手的图像移动时（步骤S110：是），确定器3根据与识别出的手的图像移动的方向相关联的操作命令执行过程（步骤S111）。
根据该实施例，当用户在远离输入设备100的位置时，输入设备100在显示器130上显示大的操作屏幕131b，因此用户能够从远离的位置确切地检查用户自己的运动。因此，用户能够在检查用户自己的运动时容易地操作应用软件等。
此外，当用户在靠近输入设备100的位置处时，输入设备100在显示器130上显示小的操作屏幕131a，因此用户能够在向应用软件等给出操作时有效地利用屏幕，而不会***作屏幕131干扰。
确定器3可以基于由相机120摄取的用户的手势的差异确定多个操作指令。此时，由于显示控制器2检测到的距离变得更短，确定器3可以确定更大数量的操作指令。例如，当由显示控制器2检测到的距离小于预先确定的阈值时，如图8(A)所示，确定器3从图像的中心以径向方式将操作屏幕131a分成八片，并且在八个方向上识别手的运动，该八个方向即垂直和水平方向以及倾斜方向。相反，当由显示控制器2检测到的距离大于预先确定的阈值时，如图8(B)所示，确定器3在四个方向上识别手的运动，该四个方向即垂直和水平方向。相应地，当手位于相机120附近时，相机120有可能捕获精细的运动，与更大数量的运动相关联的操作命令是可确定的。这使得能够输入更大数量的操作。而且，当手远离相机120时，相机120难以捕获精细运动，与更少数量的运动相关联的操作命令可以被确定。这限制了要被识别的手的目标运动，因此可以减少误操作输入。
此外，根据该实施例，显示控制器2在操作屏幕131中显示由相机120摄取的用户的图像。这使得输入设备100有可能将用户自己的运动反馈给该用户，并且用户能够在检查用户自己的运动时输入操作。在操作屏幕131中显示的图像并不局限于由相机120摄取的图像。显示控制器2可以在操作屏幕131中显示图形（figure），并且可以与由相机120摄取到的手的运动同步地改变图形的形状。例如，如图9所示，显示控制器2可以在操作屏幕131a中显示与手的图像的移动方向对应的八种箭头。在这种情况下，例如，当用户的手移动为向左上倾斜时，向左上倾斜箭头的颜色或色调可以改变。此外，例如，如图10所示，显示控制器2可以在操作屏幕131a中显示黑点来代替用户的手。在这种情况下，例如，当用户的手移动为向右下倾斜时，该黑点可以被移动为向右下倾斜。此外，根据手的运动，该黑点可以被变为三角形或矩形以便将用户自己的运动反馈给该用户。这允许用户根据简化的图形的运动来捕获用户自己的运动，这增加了可视性。
此外，根据该实施例，确定器3基于相机120所摄取的用户的手的运动来确定来自用户的操作指令。本发明并不局限于这种情况，并且确定器3可以基于用户的手的形状来确定来自用户的操作指令。
例如，存储器142存储张开的手的形状的模式数据，握紧的手的形状的模式数据以及只有食指和中指竖起的手的形状的模式数据，并且确定器3基于这些模式数据在图像数据中识别手的形状。接下来，基于所识别的手的形状，确定器3在手为张开的形状时确定“播放”命令，在手为握紧形状时确定“停止”命令，并且在手为只有食指和中指竖起的形状时确定“跳过”命令，作为操作指令。这允许基于手的形状进行操作的输入，因此操作输入的变化增加。
作为手势，确定器3可以确定用户除了手之外的其它部分的运动是否和与操作指令相关联的手势匹配。例如，确定器3可以确定用户在一定时间内眨眼睛的数量是否和与操作指令相关联的手势匹配，并且可以确定身体的运动是否和与操作指令相关联的手势匹配。示例性的身体的运动是站、坐以及举手。
此外，显示控制器2基于手的图像的面积相对于与获取器1所获取的图像数据对应的整个图像的面积的比率R来检测显示器130与用户之间的距离，但是显示控制器2可以通过其它技术来检测该距离。例如，获取器1在图像数据中识别用户的脸，并通过识别出的脸获取眼睛之间的距离（下文中称为“眼间距”）。此时，显示控制器2可以基于获取器1所获取的眼间距来检测显示器130与用户之间的距离。此外，当显示器130附加有诸如红外传感器或超声传感器的用来测量距离的传感器并且获取器1通过用来测量距离的传感器获取测量值时，显示控制器2可以基于测距传感器的测量值来检测显示器130与用户之间的距离。此外，输入设备100可以包括两个相机，并且显示控制器2可以例如基于获取器1所获取的两个相机的图像的差异通过三角测量（trigonometric）技术来检测显示器130与用户之间的距离。
保留在操作屏幕信息142a中的操作屏幕131的大小并不局限于两种：小的操作屏幕131a；和大的操作屏幕131b，并且可以例如存储等于或多于三种具有不同大小的操作屏幕131。此外，显示控制器2可以根据需要检测显示器130与用户之间的距离，并根据检测到的距离而放大或缩小操作屏幕131，例如通过将检测到的距离转换为操作屏幕131的垂直长度或其水平长度。
该实施例的输入设备100可以通过专门的***实现或者可以通过通常的计算机***来实现。例如，存储于计算机可读记录介质中的用于执行上述操作的程序被分发并安装到计算机上，由此配置成执行上述过程的输入设备100。而且，这样的程序可以被存储在诸如因特网这样的网络上的服务设备的硬盘设备中，并例如被下载到计算机中。上面描述的功能可以通过OS（操作***）与应用软件的协同工作而实现。在这种情况下，只有除了OS之外的部分可以被存储在介质中用于分发，并且例如可以被下载到计算机上。
适于记录上述程序的示例性记录介质为USB存储器、软盘、CD、DVD、蓝光光盘（注册商标）、MO、SD卡、记忆棒（注册商标）和其他计算机可读记录介质，诸如磁盘、光盘、磁光盘、半导体存储器、或者磁带。此外，在***或设备中通常固定的记录介质同样可适用，诸如硬盘或SSD（固态驱动器）。
在不背离本发明最宽的范围以及精神实质的前提下，本发明允许各种实施例和修改。上面描述的实施例是用来解释本发明，而并非对其范围和精神实质的限制。也就是说，本发明的范围和精神实质是由所附的权利要求限定的，而并非上述实施例来限定。本发明的权利要求及其等同范围内的各种修改同样落入本发明的范围和精神实质之内。
上述实施例的一部分或全部可以被描述为如下的附加注释（note），但是本发明并不局限于下面的附加注释。
（附加注释1）
获取器，所述获取器获取指示显示器或相机与所述相机所摄取的对象之间的距离的信息；
显示控制器，所述显示控制器在所述显示器的显示屏幕中显示操作屏幕，所述操作屏幕具有根据所述获取器所获取的所述信息而设定的大小；以及
确定器，所述确定器基于所述相机所摄取的所述对象的运动及其形状中的至少一项，来确定来自所述对象的操作指令。
（附加注释2）
记载在附加注释1中的输入设备，其中所述显示控制器根据所述相机所摄取的所述对象的运动及其形状中的至少一项，来改变所述操作屏幕。
（附加注释3）
记载在附加注释1或2中的输入设备，其中所述显示控制器随着由所述获取器获取的所述信息所指示的所述距离的增加而增大所述操作屏幕。
（附加注释4）
记载在附加注释1至3中任意一项中的输入设备，其中所述确定器：
基于所述相机所摄取的所述对象的运动及其形状中的至少一项的差异，来确定多个操作指令；以及
随着由所述获取器获取的所述信息所指示的所述距离变短，而确定更大数量的操作指令。
（附加注释5）
记载在附加注释1至4中任意一项中的输入设备，其中所述显示控制器：
在所述操作屏幕中显示图形；以及
与所述相机所摄取的所述对象的运动同步地改变所述图形。
（附加注释6）
记载在附加注释1至5中任意一项中的输入设备，其中：
所述显示控制器检测所述显示器或所述相机与所述相机所摄取的所述对象的手之间的距离；并且
所述确定器基于所述相机所摄取的所述对象的所述手的运动，来确定来自所述对象的所述操作指令。
（附加注释7）
记载在附加注释6中的输入设备，其中所述确定器基于所述相机所摄取的所述对象的所述手的形状，来确定来自所述对象的所述操作指令。
（附加注释8）
一种输入方法，包括：
获取步骤，用于获取指示显示器或相机与所述相机所摄取的对象之间的距离的信息；
显示控制步骤，用于在所述显示器的显示屏幕中显示操作屏幕，所述操作屏幕具有根据通过所述获取步骤获取的所述信息而设定的大小；以及
确定步骤，用于基于所述相机所摄取的所述对象的运动及其形状中的至少一项，来确定来自所述对象的操作指令。
（附加注释9）
一种在其中存储程序的记录介质，其中所述程序允许计算机充当：
获取器，所述获取器获取指示显示器或相机与所述相机所摄取的对象之间的距离的信息；
显示控制器，所述显示控制器在所述显示器的显示屏幕中显示操作屏幕，所述操作屏幕具有根据所述获取器所获取的所述信息而设定的大小；以及
确定器，所述确定器基于所述相机所摄取的所述对象的运动及其形状中的至少一项，来确定来自所述对象的操作指令。
本发明基于2011年4月27日提交的日本专利申请No.2011-100216。日本专利申请2011-100216的整个说明书、权利要求以及附图在此通过引用合并于本说明书中。
工业实用性
本发明可适当地应用于基于用户的手势来输入数据的输入设备、输入方法以及记录介质。
附图标记列表
1 获取器
2 显示控制器
3 确定器
4 执行器
100 输入设备
110 操作设备
120 相机
130 显示器
140 主体
141 图像存储器
142 存储器
143 控制器
142a 操作屏幕信息
142b 命令表
150 声音输出器

Claims (7)

1.一种输入设备，包括：
获取器，所述获取器获取由相机所摄取的图像数据中的用户的脸的眼睛之间的距离，作为指示显示器或所述相机与所述相机所摄取的所述用户之间的距离的信息；
显示控制器，所述显示控制器在所述显示器的显示屏幕中显示操作屏幕并且在所述操作屏幕中显示图形，所述操作屏幕具有根据所述获取器所获取的所述信息而设定的大小；以及
确定器，所述确定器基于所述相机所摄取的所述用户的运动及其形状中的至少一项，来确定来自所述用户的操作指令，
其中所述显示控制器被配置为与所述相机所摄取的所述用户的运动同步地改变所述图形，并且所述图形包括与所述用户的手的运动方向对应的多个箭头。
2.根据权利要求1所述的输入设备，其中所述显示控制器根据所述相机所摄取的所述用户的运动及其形状中的至少一项，来改变所述操作屏幕。
3.根据权利要求1所述的输入设备，其中所述显示控制器随着由所述获取器获取的所述信息所指示的所述距离的增加而增大所述操作屏幕。
4.根据权利要求1所述的输入设备，其中所述确定器：
基于所述相机所摄取的所述用户的运动及其形状中的至少一项的差异，来确定多个操作指令；以及
随着由所述获取器获取的所述信息所指示的所述距离变短，而确定更大数量的操作指令。
5.根据权利要求1所述的输入设备，其中：
所述显示控制器检测所述显示器或所述相机与所述相机所摄取的所述用户的手之间的距离；并且
所述确定器基于所述相机所摄取的所述用户的所述手的运动，来确定来自所述用户的所述操作指令。
6.根据权利要求5所述的输入设备，其中所述确定器基于所述相机所摄取的所述用户的所述手的形状，来确定来自所述用户的所述操作指令。
7.一种输入方法，包括：
获取步骤，用于获取由相机所摄取的图像数据中的用户的脸的眼睛之间的距离，作为指示显示器或所述相机与所述相机所摄取的所述用户之间的距离的信息；
显示控制步骤，用于在所述显示器的显示屏幕中显示操作屏幕并且在所述操作屏幕中显示图形，所述操作屏幕具有根据通过所述获取步骤获取的所述信息而设定的大小；
确定步骤，用于基于所述相机所摄取的所述用户的运动及其形状中的至少一项，来确定来自所述用户的操作指令；以及
改变步骤，用于与所述相机所摄取的所述用户的运动同步地改变所述图形，并且所述图形包括与所述用户的手的运动方向对应的多个箭头。
CN201280020412.0A 2011-04-27 2012-04-27 输入设备、输入方法以及记录介质 Active CN103608761B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011100216 2011-04-27
JP2011-100216 2011-04-27
PCT/JP2012/061469 WO2012147959A1 (ja) 2011-04-27 2012-04-27 入力装置、入力方法及び記録媒体

Publications (2)

Publication Number Publication Date
CN103608761A CN103608761A (zh) 2014-02-26
CN103608761B true CN103608761B (zh) 2018-07-27

Family

ID=47072470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280020412.0A Active CN103608761B (zh) 2011-04-27 2012-04-27 输入设备、输入方法以及记录介质

Country Status (7)

Country Link
US (1) US9323339B2 (zh)
EP (1) EP2703971A4 (zh)
JP (1) JP5769277B2 (zh)
KR (1) KR101514170B1 (zh)
CN (1) CN103608761B (zh)
IL (1) IL229042A (zh)
WO (1) WO2012147959A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5964603B2 (ja) * 2012-02-08 2016-08-03 シャープ株式会社 データ入力装置、及び表示装置
US20150070263A1 (en) * 2013-09-09 2015-03-12 Microsoft Corporation Dynamic Displays Based On User Interaction States
WO2016017956A1 (en) 2014-07-30 2016-02-04 Samsung Electronics Co., Ltd. Wearable device and method of operating the same
KR102397397B1 (ko) * 2014-07-30 2022-05-13 삼성전자주식회사 웨어러블 디바이스 및 웨어러블 디바이스의 동작 방법
JP2016038840A (ja) * 2014-08-11 2016-03-22 シャープ株式会社 通信装置、通信装置の制御方法および通信装置の制御プログラム
KR101636460B1 (ko) * 2014-11-05 2016-07-05 삼성전자주식회사 전자 장치 및 그 제어 방법
JP6409118B2 (ja) * 2015-02-25 2018-10-17 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
CN113253837A (zh) * 2021-04-01 2021-08-13 作业帮教育科技（北京）有限公司 空中书写方法、装置、线上直播***和计算机设备
US20240061496A1 (en) * 2022-08-19 2024-02-22 Mobeus Industries, Inc. Implementing contactless interactions with displayed digital content
US20240201845A1 (en) * 2022-12-14 2024-06-20 Nxp B.V. Contactless human-machine interface for displays

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101523482A (zh) * 2006-10-13 2009-09-02 科乐美数码娱乐株式会社 显示装置、显示方法、信息记录介质及程序

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08123612A (ja) * 1994-10-25 1996-05-17 Hitachi Ltd 位置入力方法およびそれを用いた会議支援システム
US5594469A (en) 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
JP3903968B2 (ja) * 2003-07-30 2007-04-11 日産自動車株式会社 非接触式情報入力装置
JP2004078977A (ja) 2003-09-19 2004-03-11 Matsushita Electric Ind Co Ltd インターフェイス装置
JP2008129775A (ja) * 2006-11-20 2008-06-05 Ntt Docomo Inc 表示制御装置、表示装置、表示制御方法
EP1950957A2 (en) 2007-01-23 2008-07-30 Funai Electric Co., Ltd. Image display system
JP2008282131A (ja) * 2007-05-09 2008-11-20 Victor Co Of Japan Ltd 電子機器の制御装置
JP5430572B2 (ja) * 2007-09-14 2014-03-05 インテレクチュアル ベンチャーズ ホールディング ６７ エルエルシー ジェスチャベースのユーザインタラクションの処理
JP4569613B2 (ja) 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
JP2009265709A (ja) * 2008-04-22 2009-11-12 Hitachi Ltd 入力装置
JP4318056B1 (ja) 2008-06-03 2009-08-19 島根県 画像認識装置および操作判定方法
US8514251B2 (en) * 2008-06-23 2013-08-20 Qualcomm Incorporated Enhanced character input using recognized gestures
JP2010067104A (ja) * 2008-09-12 2010-03-25 Olympus Corp デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体
US20100251171A1 (en) * 2009-03-31 2010-09-30 Parulski Kenneth A Graphical user interface which adapts to viewing distance
JP5256109B2 (ja) 2009-04-23 2013-08-07 株式会社日立製作所 表示装置
JP5423183B2 (ja) * 2009-07-03 2014-02-19 ソニー株式会社 表示制御装置および表示制御方法
JP5614014B2 (ja) * 2009-09-04 2014-10-29 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101523482A (zh) * 2006-10-13 2009-09-02 科乐美数码娱乐株式会社 显示装置、显示方法、信息记录介质及程序

Also Published As

Publication number Publication date
KR20140002009A (ko) 2014-01-07
CN103608761A (zh) 2014-02-26
US20140035813A1 (en) 2014-02-06
US9323339B2 (en) 2016-04-26
IL229042A0 (en) 2013-12-31
IL229042A (en) 2017-03-30
JP5769277B2 (ja) 2015-08-26
JPWO2012147959A1 (ja) 2014-07-28
EP2703971A4 (en) 2014-11-12
KR101514170B1 (ko) 2015-04-21
WO2012147959A1 (ja) 2012-11-01
EP2703971A1 (en) 2014-03-05

Similar Documents

Publication Publication Date Title
CN103608761B (zh) 输入设备、输入方法以及记录介质
US10708506B2 (en) Image processing device, image processing method and program
US9164621B2 (en) Stereoscopic display apparatus and stereoscopic shooting apparatus, dominant eye judging method and dominant eye judging program for use therein, and recording medium
JP5087532B2 (ja) 端末装置、表示制御方法および表示制御プログラム
US8405626B2 (en) Image projection apparatus and control method for same
US20100123772A1 (en) Terminal apparatus, display control method, and display control program
JP5258399B2 (ja) 画像投影装置及びその制御方法
US20070216642A1 (en) System For 3D Rendering Applications Using Hands
JP2013069224A (ja) 動作認識装置、動作認識方法、操作装置、電子機器、及び、プログラム
KR101660576B1 (ko) 시각 장애 사용자들에 의한 이미지 캡처 및 이미지 검토의 촉진
JP4061379B2 (ja) 情報処理装置、携帯端末、情報処理方法、情報処理プログラム、およびコンピュータ読取可能な記録媒体
JP5509227B2 (ja) 移動制御装置、移動制御装置の制御方法、及びプログラム
WO2014140827A2 (en) Systems and methods for proximity sensor and image sensor based gesture detection
JP2011081480A (ja) 画像入力システム
WO2014034031A1 (ja) 情報入力装置及び情報表示方法
US10853966B2 (en) Virtual space moving apparatus and method
JP6021568B2 (ja) 画像処理用プログラム、画像処理装置、画像処理システム、および画像処理方法
JP6514386B1 (ja) プログラム、記録媒体及び画像生成方法
JP2022047832A (ja) 表示制御装置及び表示制御方法並びに表示制御プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: JAPAN ELECTRICAL SCHEME INNOVATION CORPORATION

Free format text: FORMER OWNER: NEC SYSTEM TECHNOLOGIES LTD.

Effective date: 20141106

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20141106

Address after: Tokyo, Japan, Japan

Applicant after: Japan Electrical Scheme Innovation Corporation

Address before: Osaka

Applicant before: NEC System Technologies, Ltd.

GR01 Patent grant
GR01 Patent grant