CN1860429A - 定义内容窗口在显示器上的位置、尺寸和/或内容的姿势 - Google Patents

定义内容窗口在显示器上的位置、尺寸和/或内容的姿势 Download PDF

Info

Publication number
CN1860429A
CN1860429A CNA2004800283128A CN200480028312A CN1860429A CN 1860429 A CN1860429 A CN 1860429A CN A2004800283128 A CNA2004800283128 A CN A2004800283128A CN 200480028312 A CN200480028312 A CN 200480028312A CN 1860429 A CN1860429 A CN 1860429A
Authority
CN
China
Prior art keywords
display
content
window
posture
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2004800283128A
Other languages
English (en)
Inventor
B·M·范德斯卢伊斯
J·B·A·M·霍尔斯滕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1860429A publication Critical patent/CN1860429A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47G—HOUSEHOLD OR TABLE EQUIPMENT
    • A47G1/00—Mirrors; Picture frames or the like, e.g. provided with heating, lighting or ventilating means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种显示器，包括：显示器表面(108，300)，用于向用户显示内容；计算机***(110)，用于向显示器表面(108，300)提供用于显示在显示器表面(108，300)上内容窗口(112，306)内的内容；以及识别***(128)，用于识别用户的姿势并基于所识别的姿势而定义显示器表面(108，300)上内容窗口(112，306)的尺寸、位置、和内容中的至少一个。至少当不显示该内容时，该显示器可以为用于反射用户图像的显示镜(108)。此外，该姿势可以为用户的手势。

Description

定义内容窗口在显示器上的位置、尺寸和/或内容的姿势
本发明通常涉及显示器，更为具体地涉及用于定义显示镜(displaymirror)上内容窗口的位置、尺寸和/或内容的姿势。
在本技术领域中显示镜是已知的，例如在授权给Meine的美国专利号No.6560027内所公开的。显示镜能够在反射镜的特定区域上显示具有信息、通信、或娱乐(ICE)内容的内容窗口。该窗口通常在反射镜显示器上具有固定的位置。可以想象到将反射镜显示器应用于浴室、厨房、电话亭、电梯、大楼休息室等。根据用户的位置(用户-显示器间的距离)和用户活动(例如用户的注意力如何在反射镜和内容窗口之间平衡)，用户可以影响内容窗口的尺寸、其在反射镜显示器上的位置、和/或窗口内的内容中的一个或多个。这会是一个挑战，因为用户可能不清楚用于反射镜显示器的用户界面。诸如键盘和指点装置(例如鼠标和滚动球)的传统输入解决方法在许多情况下不受欢迎或不适用。此外，在某些应用中可能无法使用远程控制。在其它交互显示器中使用的明显解决方案为触摸屏，这种方案的用途受限，这是因为反射镜质量可能受影响，且任何触摸将玷污或者退化反射镜表面。
此外，预计显示器的尺寸和分辨率将在不远的将来出现快速增长，这为能够覆盖墙壁或桌子的大尺寸显示器铺好道路。这种大尺寸显示器还能够显示内容窗口，在某些情形中具有如前所述的相同问题，即与指示在显示器上呈现该内容窗口的尺寸和位置相关的问题。
因此，本发明的目标是提供一种克服和现有技术相关的这些及其它缺点的显示器。
因此提供了一种显示器。该显示器包括：显示器表面，用于向用户显示内容；计算机***，用于向显示器表面提供用于显示在显示器表面上内容窗口内的内容；以及识别***，用于识别用户的姿势并基于所识别的姿势而定义显示器表面上内容窗口的尺寸、位置、和内容中的至少一个。
至少当不显示内容时，该显示器为用于反射用户图像的显示镜。该显示镜可同时显示内容和用户的图像。
该识别***可以包括：可操作地连接到计算机***的一个或多个传感器；以及用于分析来自该一个或多个传感器的数据以识别用户姿势的处理器。该一个或多个传感器可以包括一个或多个照相机，其中该处理器分析来自该一个或多个照相机的图像数据以识别用户姿势。该识别***可以进一步包括用于存储预定义姿势以及相关的内容窗口的尺寸和/或位置的存储器，其中该处理器进一步将所识别的用户姿势和预定义姿势相比较并将在相关位置和/或以相关尺寸呈现内容窗口。该存储器可以进一步包括相关内容，其中该处理器进一步将所识别的用户姿势和预定义姿势相比较并在内容窗口内呈现相关内容。该处理器和存储器可以包括在计算机***内。
该显示器可以进一步包括用于识别用户语音命令并基于所识别的语音命令在内容窗口呈现内容的语音识别***。
该姿势可以进一步定义显示器表面上所显示的应用程序的关闭。
该显示器可以进一步包括用于将命令输入计算机***的触摸屏、紧密接触(close-touch)、无接触***之一。
还提供了一种在显示器上呈现内容窗口的方法。该方法包括：向显示器提供显示在内容窗口内的内容；识别用户的姿势；基于所识别的姿势定义显示器上内容窗口的尺寸、位置、和内容中的至少一个；以及根据所定义的尺寸、位置、和内容中的至少一个在显示器上显示内容窗口。
该姿势可以为手势。
该显示器为显示镜，其中该显示包括同时显示内容和用户的图像。该显示器也可为该显示仅显示该内容的显示镜。
该识别可以包括：捕捉来自一个或多个传感器的姿势数据；以及分析来自该一个或多个传感器的数据以识别用户的姿势。该一个或多个传感器可以为照相机，其中该分析包括分析来自该一个或多个照相机的图像数据以识别用户姿势。该分析可包括：存储预定义的姿势以及内容窗口的相关尺寸和/或位置；将所识别的用户姿势和预定义的姿势相比较；以及以相关的尺寸和/或在相关位置显示该内容窗口。该存储可以进一步包括用于预定义姿势的相关内容，其中该显示进一步包括在内容窗口内显示相关内容。
该方法可以进一步包括识别用户的语音命令，并基于所识别的语音命令在该内容窗口内呈现内容。
该方法可以进一步包括基于所识别的姿势定义显示在该显示器上的应用程序的关闭。
该方法可以进一步包括提供用于将命令输入计算机***的触摸屏、紧密接触、无接触***之一。
还提供了一种在显示器上呈现反射镜显示内容窗口的方法，其中该反射镜显示内容窗口同时显示内容以及用户图像。该方法包括：将内容提供给显示器以显示在反射镜显示内容窗口；识别用户姿势；基于所识别的姿势定义在显示器上的反射镜显示内容窗口的尺寸、位置、和内容中的至少一个；以及根据所定义的尺寸、位置、和内容中的至少一个而在显示器上显示反射镜显示内容窗口。
还提供了用于执行本发明的方法的计算机程序产品以及用于存储该计算机程序产品的程序存储装置。
参考下述描述、附加权利要求书、以及附图，可以更好地理解本发明的设备和方法的这些及其它特征、方面、和优点。附图中：
图1阐述了集成到浴室镜子上的显示镜的实施例。
图2阐述了图1的显示镜的示意图。
图3阐述了用于图1的示意图的备选显示器。
图4阐述了在显示镜上呈现内容窗口的优选方法的流程图。
尽管本发明可应用于许多各种类型的显示器，但已经发现，本发明对于浴室显示镜的环境特别有用。因此，将在这种环境中描述本发明，而不将本发明的用途限制于浴室显示镜。然而，本领域技术人员将了解到，本发明可采用其它类型的显示器，特别是大尺寸显示器，还可采用其它类型的显示镜，例如置于厨房、电话亭、电梯、以及大楼和旅馆休息室内的显示镜。
此外，尽管本发明可应用于许多各种类型的身体姿势，但已经发现，本发明对于手势的情形特别有用。因此，将在这种情形中描述本发明，而不将本发明的用途限制于手势。然而，本领域技术人员将了解到，本发明的设备和方法同样可采用其它类型的姿势，例如涉及诸如手指、手臂、肘部的人体其它部位的姿势，甚至是面部姿势。
本发明涉及一种***和方法，该***和方法包括诸如授权给Meine的美国专利号No.6560027所公开的信息显示面板和形成显示镜的反射镜，该专利公开并入在此作为参考。这种显示镜优选置于浴室中，因为人们会在浴室内花一定的时间梳洗装扮(prepare for the day)。当人们在梳洗装扮时，例如刷牙、修胡须、整理发型、洗漱、化妆、烘干等，该显示镜可让人浏览电子新闻和信息及其日程安排。通过允许和显示镜交互作用，人们可以修改其日程安排，检查电子邮件、并选择他们想收到的新闻和信息。用户可观看这个智能反射镜并浏览新闻标题和/或故事，读取和回复电子邮件和/或查看和编辑约会时间表。
现在参考图1，在浴室100中阐述了用于显示信息、通信、或娱乐内容的显示镜的优选实施例。对于本申请，“内容”指可在窗口内显示给用户的任何事物，包括但不限于电子邮件、网页、软件程序、电视或其它视频内容、以及可由用户执行的功能，例如控制大楼的一个或多个房间内的照明或安全。浴室100含有梳妆台102，该梳妆台将相关的反射镜104置于浴室100的墙壁106上。如前所述，仅以示例的方式采用浴室作为例子进行说明，但不应限制本发明的范围和精神。
显示镜108被并入到反射镜104表面的至少一部分。在图1中用虚线示出了显示镜108的轮廓。尽管显示镜108被示成通常位于反射镜104的中央，但该显示镜可位于反射镜104上的任意位置，例如沿反射镜104的一侧放置，或者置于反射镜104的一个角内。此外，尽管显示镜108被示成覆盖反射镜104的很大一部分，但在不离开本发明范围和精神的情况下，显示镜可以更小或更大。显示镜108向用户显示信息、通信、或娱乐(ICE)内容，也可在至少不显示ICE内容时反射用户的图像。通常，该显示镜具有两种模式。在停用模式中，该智能镜充当标准的反射镜。在启用模式中，该智能镜变成显示装置。可由液晶屏幕形成该显示镜108。在停用模式下，显示镜108充当标准的反射镜。置于镜子前面的任意物体将形成反射的图像。在开启显示装置108时，该镜的反射功能可以被关闭。因此，置于镜子前的物体不会产生反射图像，只向用户呈现显示信息。
备选地，该反射操作可以和显示操作交叠。显示装置所显示的信息在用户看来是来自显示镜108的表面。呈现给用户的用户反射图像看上去是来自镜子104后面的特定距离(该特定距离等于源物体(例如用户)和镜子104表面之间的距离)。因此，用户可以通过改变他们眼睛的聚焦而在他们自己的反射图像以及显示信息之间切换。这使得用户可以在执行诸如修胡须或化妆的视力密集活动时接收信息。因此显示镜108可同时显示ICE内容和用户的图像，或者只显示ICE内容而不反射用户的图像。在图1所示的浴室示例中，优选地，显示镜108同时显示ICE内容和用户的反射像，使得用户可同时浏览ICE内容和执行诸如修胡须或化妆的其它杂事。
如前所述，仅以示例的方式给出显示镜，该显示镜并不限制本发明的范围和精神。该显示器可以为这种类型的显示器，即能够呈现内容窗口并可操作地连接到控制器，该控制器用于调整和/或移动该内容窗口并提供呈现在该内容窗口内的内容。该显示器可以是置于墙壁的很大部分上或者置于桌子上的大尺寸显示器，且这种显示器可以受益于使用姿势定义内容窗口的位置、尺寸、和/或内容的本发明方法。
现在参考图2，显示镜108包括计算机***110，该计算机***用于将ICE内容提供给显示镜108以显示在显示镜108上的内容窗口112内。计算机***110包括处理器114和存储器116，该存储器可以为计算机***110的一个部分或者可操作地连接到该计算机***。该计算机***可以为个人计算机，或者具有可将ICE内容提供给显示镜108的处理器的其它装置，例如电视机、DVD播放器、机顶盒等。计算机***110进一步包括调制解调器118或用于接触远程网络例如互联网120的其它类似工具。该互联网连接可以是本领域中已知的任何方式，例如ISDN、DSL、普通老式电话(plain old telephone)、或者电缆，且该互联网连接可以是有线或无线连接。连接到互联网可允许显示镜108的用户发送/接收电子邮件以及显示网页信息。这将允许用户配置显示镜108以显示来自诸如CNN、UPI、股票公司等的选定来源的例如新闻、股票等的所需要信息。连接到计算机***110还可允许访问存储在存储器116内的用户约会时间表。用户可随后浏览和/或改变时间表或日程表内的约会、任务、和/或注释。用户可随后将该时间表下载到例如Palm Pilot的个人数据助理内，或者打印该时间表以夹在约会书内。用户还可以将该时间表通过电子邮件发送到操作地点或例如行政助理的另一个人。计算机***110可以是显示镜108所专用并通过网络连接到其它计算机，或者计算机***110可通过有线或无线网络连接到显示镜108以用于其它目的。计算机***110还可被设置成操作和控制位于单个位置或多个位置的多个显示镜108。
该显示镜还包括向计算机***110输入指令以执行命令或者输入数据的工具。这种工具可以为键盘、鼠标、滚动球等。然而，显示镜108优选包括触摸屏、紧密接触、以及无接触***(在此统称为触摸屏)之一，用于将命令和/或数据输入到计算机***110并允许直接的用户交互作用。触摸屏技术在本领域中是众所周知的。通常，触摸屏依赖于反射镜显示器108前的红外光栅的中断。触摸屏包括含有一行红外发光二极管(LED)122和光电晶体管124的光电矩阵框架，该发光二极管和光电晶体管分别安装在对立的两侧以形成不可见的红外光线栅格。框架组件126包括印刷线路板，该印刷线路板上安装了光电器件并隐藏在反射镜104后面。反射镜104将该光电器件与工作环境屏蔽，但允许红外光束穿过。处理器114依次脉冲激励LED 122以产生红外光束栅格。当诸如手指的触笔进入该栅格时，该触笔会阻断光束。一个或多个光电晶体管124检测该光线的缺失并发送确认x和y坐标的信号。还可提供语音识别***132以用于识别来自麦克风134的语音命令，该麦克风可操作地连接到计算机***110。该麦克风优选定位在墙壁106内的声音开口之后，在这种位置上水和其它液体损伤麦克风134的可能性更小。
在诸如浴室100的相对恶劣环境内使用显示镜时，则需要附加的元件。例如，显示镜108可使用防雾涂层和/或加热***以防止在显示器上逐渐形成蒸汽/雾气。同样地，应该将计算机***110和反射镜显示器108密封而与湿气(蒸汽和液态水)隔离，该湿气可能引起侵蚀。反射镜显示器108还应能承受快速的温度变化以及极高和极低的温度。类似地，反射镜显示器108应能承受极高和极低的湿度以及快速的湿度变化。
显示镜108还包括识别***128，并包括一个或多个传感器，该一个或多个传感器用于识别用户手势并基于所识别的手势而定义显示镜108上内容窗口112的尺寸、位置和内容中的至少一个。识别***128可以是独立专用模块或者是由处理器114执行的包括在存储器116内的软件指令。在一个实施例中，识别***128为用于识别手势的计算机视觉***，在本领域中这种计算机视觉***是众所周知的，例如在授权给Reichlen的美国专利号No.6396497中所公开的***，该专利公开在此并入作为参考。在计算机视觉***中，该一个或多个传感器为一个或多个图像捕捉装置，例如置于反射镜104之后但能够捕捉反射镜104前的图像的数码摄像机130。优选地，提供了三个这样的摄像机，如图1虚线圆所示，且定位这些照相机使得用户的手势将落在该三个摄像机130中至少两个的视场之内。备选地，一个或多个摄像机130可设有摇晃-缩放-倾斜(pan-zoom-tilt)电机(未示出)，其中识别***128还检测用户的手并命令该摇晃-缩放-倾斜电机跟踪手。
在一个实施例中，和预定义手势模式匹配的图像或视频图形被存储在存储器116内。存储器116还包括用于各个预定义手势的内容窗口112的相关尺寸、位置、和/或内容。因此，处理器114将已识别的用户手势和存储器116内的预定义手势相比较，并使用相关尺寸、位置、和/或内容呈现内容窗口112。该比较可以包括确定和一种模型相比较的已识别手势的分数，如果得到的分数高于预定义阈值，则处理器114根据存储器116内的关联数据呈现内容窗口112。该手势可以进一步定义诸如关闭在显示镜表面上显示的应用程序的命令。
如果使用两个或多个照相机130，还可通过三角测量计算手势的位置。因此，作为根据存储器116内相关数据而呈现内容窗口112的备选，可以从所检测到的手势位置确定手势位置值，并在相应位置呈现该内容窗口112。类似地，可从所检测的手势计算手势尺寸值，并以相应的尺寸呈现内容窗口112。
尽管已经参考计算机视觉***描述了识别***，但本领域技术人员将会了解到，也可以通过其它方法识别预定义手势，例如热成像、超声波、需要在显示器表面上做出动作的触摸屏、或者无接触的交互作用(例如电容性感测)。
现在将参考图4大体上描述反射镜显示器108的操作。在步骤200，计算机***110接收命令以呈现内容窗口112。该命令可以为接触命令、语音命令、或者甚至整合到手势中。例如，一个手势可以同时表达内容窗口112的开启以及在显示镜108上呈现内容窗口112的尺寸和/或位置的信号。在步骤202，识别***128确定是否检测到手势。如果未检测到手势，该方法继续执行到步骤204，其中在该步骤根据预定义的默认设置例如尺寸和/或位置而呈现内容窗口。如果检测到手势，则在步骤206确定该手势是否和存储在存储器116中的预定义手势之一匹配。如果检测到的手势不是“内容窗口手势”(存储于存储器116中的预定义手势之一)，则再次在步骤204根据预定义的默认设置呈现该内容窗口。如果是根据存储器112中表示内容窗口的尺寸、位置、和/或内容的相关数据呈现该内容窗口112，则该方法继续执行到步骤208(用虚线表示)。
备选地，该方法从步骤206-Y执行到步骤210，其中计算出手势位置值。如前所述，可以利用来自三个摄像机130的至少两个摄像机的视频数据采用三角测量方法确定手势的位置。在步骤212，手势位置值随后被转变成内容窗口112位置。例如，如果检测到手势位于显示镜108的右上角，则可在显示镜108的右上角呈现内容窗口112。在步骤214，基于检测到的手势的尺寸计算手势尺寸值。在步骤216，手势尺寸值被随后转变成内容窗口尺寸。例如，当手势是握紧的拳头时，在根据所计算位置值的位置呈现小的内容窗口112。如果检测到的手势为张开的手掌，则可呈现大的内容窗口112。和检测到的手势相对应的内容窗口112的尺寸可以存储在存储器116中，或者基于检测到的手势的真实尺寸。因此，如果握紧的拳头手势导致第一尺寸的内容窗口112，张开的手掌手势导致更大第二尺寸的内容窗口112，则尺寸位于握紧的拳头和张开的手掌之间的手势将导致尺寸位于该第一和第二尺寸之间的内容窗口112。一旦内容窗口112开启，可以通过调整手势的尺寸并可与语音识别***132所识别的语音命令相组合，来调整该内容窗口的尺寸。在步骤218，根据该内容窗口的尺寸和/或位置呈现内容窗口112。尽管同时参照尺寸和位置描述了本方法，但本领域技术人员将会了解到，如果需要，可以只使用尺寸和位置之一。
计算机***通过用户输入或用户编程可了解到在内容窗口112上呈现的内容(例如，具体的网址，用户的电子信箱等)。例如，在做手势以移动或调整内容窗口112的大小之前，用户可使用触摸屏或语音识别***132从菜单指定内容。用户还可预先编程一天不同时间待呈现的特定内容。例如，在早上呈现新闻网站，之后在晚上呈现电子邮件信息和诸如MTV的音乐视频剪辑的清单。识别***128还可用于识别来自家庭或企业的一些个体，并根据各个个体的预设编程或手的尺寸而呈现内容。
在手势过程中还可由用户例如通过与该手势同步地发出声音命令而指定内容窗口112上待呈现的内容。用户在做出手势后还可以指定内容窗口112上待呈现的内容，例如通过在内容窗口提供菜单并要求用户可能使用另一种手势，通过触摸屏或者通过语音命令进一步从该菜单进行选择。除了指示显示镜108上内容窗口112的尺寸和/或位置之外，该手势本身也可用于指定内容窗口内呈现的内容。例如，用户可以在显示镜108的右上角做C形手势，在这种情况下将在显示镜108的右上角的内容窗口112内呈现CNN。此外，手势的C形状可以张大以表示大窗口，C形状可以闭合以表示小窗口。类似地，M形手势可用于指定在内容窗口112内待呈现的音乐内容，或做出R形手势以指定无线电内容。同样地，特定的手势位置和/或尺寸可对应于内容窗口112中待呈现的具体内容。例如，左上方手势可对应于在内容窗口112内呈现的CNN内容，右下方手势可对应于在内容窗口112内呈现的卡通网络。正如前面所简单讨论的，检测到的手势还可用于关闭内容窗口112，例如“X”或擦拭动作。如果打开了一个以上的内容窗口112，则可将关闭的手势应用于和手势位置最靠近的内容窗口112。
前述实施例可用于打开、关闭、调整、移动显示在显示镜108上的内容窗口。然而，如图3所示，可将诸如LCD面板显示器的非镜面显示器300替代在图2中示意性示出的***。该非镜面显示器300能够在显示器表面304上呈现类似反射镜的部分302。因此，使用这种非镜面显示器300的***能够呈现具有和前述显示镜108相似的镜面背景的内容窗口306。然而，内容窗口306的周围区域将不会呈镜面或具有镜面效应。于是可以使用该***与如前所述相似地打开、关闭、调整、和/或移动内容窗口306。
计算机软件程序特别适用于执行本发明的方法，这种计算机软件程序优选包括和该方法的各个步骤相对应的模块。这种软件当然可包括在计算机可读取的介质中，例如集成芯片或***设备。
虽然已经示出并描述了被认为是本发明的优选实施例，但将会了解到，在不离开本发明精神的情况下可以进行各种形式或细节上的修改和改变。因此，本发明不限于所描述和阐述的确切形式，而应当认为本发明覆盖落在所附权利要求书范围内的所有修改。

Claims (24)

1.一种显示器，包括：
显示器表面(108，300)，用于向用户显示内容；
计算机***(110)，用于向显示器表面(108)提供用于显示在显示器表面(108，300)上内容窗口(112，306)内的内容；以及
识别***(128)，用于识别用户的姿势并基于所识别的姿势而定义显示器表面(108)上内容窗口(112，306)的尺寸、位置、和内容中的至少一个。
2.权利要求1的显示器，其中至少当不显示内容时，该显示器为用于反射用户图像的显示镜。
3.权利要求2的显示器，其中该显示镜同时显示内容和用户的图像。
4.权利要求1的显示器，其中该识别***(128)包括：
可操作地连接到计算机***(110)的一个或多个传感器；以及
用于分析来自该一个或多个传感器的数据以识别用户姿势的处理器(114)。
5.权利要求4的显示器，其中该一个或多个传感器包括一个或多个照相机(130)，其中该处理器分析来自该一个或多个照相机(130)的图像数据以识别用户姿势。
6.权利要求4的显示器，其中该识别***(128)进一步包括用于存储预定义姿势以及内容窗口(112，306)的相关尺寸和/或位置的存储器(116)，其中该处理器(114)进一步将所识别的用户姿势和预定义姿势相比较并将以相关尺寸和/或位置呈现内容窗口(112)。
7.权利要求6的显示器，其中存储器(116)进一步包括相关内容，其中处理器(114)进一步将所识别的用户姿势和预定义姿势相比较，并在内容窗口(112，306)内呈现相关内容。
8.权利要求6的显示器，其中处理器(114)和存储器(116)包括在计算机***(110)内。
9.权利要求1的显示器，进一步包括用于识别用户语音命令并基于所识别的语音命令在内容窗口(112，306)呈现内容的语音识别***(132)。
10.权利要求1的显示器，其中该姿势进一步定义显示器表面(108，300)上所显示的应用程序的关闭。
11.权利要求1的显示器，进一步包括用于将命令输入计算机***的触摸屏、紧密接触、无接触***(122，124，126)之一。
12.一种在显示器(108，300)上呈现内容窗口(112，302)的方法，该方法包括：
向显示器(108，300)提供显示在内容窗口(112，306)中的内容；
识别用户的姿势；
基于所识别的姿势定义显示器(108，300)上内容窗口(112，306)的尺寸、位置、和内容中的至少一个；以及
根据所定义的尺寸、位置、和内容中的至少一个在显示器(108，300)上显示内容窗口(112，306)。
13.权利要求12的方法，其中该姿势为手势。
14.权利要求12的方法，其中该显示器(108，300)为显示镜(108)，且该显示包括同时显示内容和用户的图像。
15.权利要求12的方法，其中显示器(108)为显示镜，且该显示包括仅显示内容。
16.权利要求12的方法，其中该识别包括：
捕捉来自一个或多个传感器的姿势数据；以及
分析来自该一个或多个传感器的数据以识别用户的姿势。
17.权利要求16的方法，其中该一个或多个传感器为照相机(130)，该分析包括分析来自该一个或多个照相机(130)的图像数据以识别用户姿势。
18.权利要求16的方法，其中该分析包括：
存储预定义的姿势以及内容窗口的相关尺寸和/或位置；
将所识别的用户姿势和预定义的姿势相比较；以及
以相关尺寸和/或位置显示该内容窗口(112，306)。
19.权利要求18的方法，其中该存储进一步包括用于预定义姿势的相关内容，其中该显示进一步包括在内容窗口(112，306)内显示相关内容。
20.权利要求12的方法，进一步包括识别用户的语音命令，并基于所识别的语音命令在内容窗口(112，306)内呈现内容。
21.权利要求12的方法，进一步包括基于所识别的姿势定义显示在显示器(108，300)上的应用程序的关闭。
22.权利要求12的方法，进一步包括提供用于将命令输入计算机***(110)的触摸屏、紧密接触、无接触***(122，124，126)之一。
23.一种包括在计算机可读取介质中用于在显示器(108，300)上呈现内容窗口(112，306)的计算机程序产品，该计算机程序产品包括：
计算机可读取的程序代码工具，用于将内容提供给显示器(108，300)以在内容窗口(112，306)内进行显示；
计算机可读取的程序代码工具，用于识别用户姿势；
计算机可读取的程序代码工具，用于基于所识别的姿势定义在显示器(108，300)上的内容窗口(112，306)的尺寸、位置、和内容中的至少一个；以及
计算机可读取的程序代码工具，用于根据所定义的尺寸、位置、和内容中的至少一个而在显示器(108，300)上显示内容窗口(112，306)。
24.一种在显示器(300)上呈现反射镜显示内容窗口(306)的方法，该反射镜显示内容窗口(306)同时显示内容和用户的图像，该方法包括：
将内容提供给显示器(300)以显示在反射镜显示内容窗口(306)；
识别用户的姿势；
基于所识别的姿势而定义显示器(300)上的反射镜显示内容窗口(306)的尺寸、位置、和内容中的至少一个；以及
根据所定义的尺寸、位置、和内容中的至少一个在显示器(300)上显示反射镜显示内容窗口(306)。
CNA2004800283128A 2003-09-30 2004-09-27 定义内容窗口在显示器上的位置、尺寸和/或内容的姿势 Pending CN1860429A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US50728703P 2003-09-30 2003-09-30
US60/507,287 2003-09-30

Publications (1)

Publication Number Publication Date
CN1860429A true CN1860429A (zh) 2006-11-08

Family

ID=34393230

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2004800283128A Pending CN1860429A (zh) 2003-09-30 2004-09-27 定义内容窗口在显示器上的位置、尺寸和/或内容的姿势

Country Status (6)

Country Link
US (1) US20070124694A1 (zh)
EP (1) EP1671219A2 (zh)
JP (1) JP2007507782A (zh)
KR (1) KR20060091310A (zh)
CN (1) CN1860429A (zh)
WO (1) WO2005031552A2 (zh)

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081918A (zh) * 2010-09-28 2011-06-01 北京大学深圳研究生院 一种视频图像显示控制方法及视频图像显示器
CN102308185A (zh) * 2009-02-09 2012-01-04 大众汽车有限公司 用于运行具有触屏的机动车的方法
CN101729808B (zh) * 2008-10-14 2012-03-28 Tcl集团股份有限公司 一种电视遥控方法及用该方法遥控操作电视机的***
CN102452591A (zh) * 2010-10-19 2012-05-16 由田新技股份有限公司 电梯操控***
CN102736851A (zh) * 2007-01-07 2012-10-17 苹果公司 用于手势操作的应用编程接口
CN103000054A (zh) * 2012-11-27 2013-03-27 广州中国科学院先进技术研究所 智能厨房烹饪教学机及其控制方法
CN103135883A (zh) * 2011-12-02 2013-06-05 深圳泰山在线科技有限公司 控制窗口的方法及***
CN103479140A (zh) * 2013-09-10 2014-01-01 北京恒华伟业科技股份有限公司 一种智能镜子
CN103895651A (zh) * 2012-12-27 2014-07-02 现代自动车株式会社 使用光学扫描提供用户界面的***和方法
CN104520785A (zh) * 2012-04-26 2015-04-15 高通股份有限公司 基于检测到的输入来更改在显示区域的一部分中提供的内容的属性
US9037995B2 (en) 2007-01-07 2015-05-19 Apple Inc. Application programming interfaces for scrolling operations
CN104951051A (zh) * 2014-03-24 2015-09-30 联想(北京)有限公司 一种信息处理方法和电子设备
CN104951211A (zh) * 2014-03-24 2015-09-30 联想(北京)有限公司 一种信息处理方法和电子设备
US9285908B2 (en) 2009-03-16 2016-03-15 Apple Inc. Event recognition
US9298363B2 (en) 2011-04-11 2016-03-29 Apple Inc. Region activation for touch sensitive surface
US9311112B2 (en) 2009-03-16 2016-04-12 Apple Inc. Event recognition
US9323335B2 (en) 2008-03-04 2016-04-26 Apple Inc. Touch event model programming interface
US9389712B2 (en) 2008-03-04 2016-07-12 Apple Inc. Touch event model
US9483121B2 (en) 2009-03-16 2016-11-01 Apple Inc. Event recognition
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
CN107003827A (zh) * 2014-09-26 2017-08-01 三星电子株式会社 由包括可切换镜子的设备执行的图像显示方法和设备
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
US9798459B2 (en) 2008-03-04 2017-10-24 Apple Inc. Touch event model for web pages
CN107368181A (zh) * 2016-05-12 2017-11-21 株式会社理光 一种手势识别方法及装置
CN108281096A (zh) * 2018-03-01 2018-07-13 安徽省东超科技有限公司 一种互动灯箱装置及其控制方法
CN108784175A (zh) * 2017-04-27 2018-11-13 芜湖美的厨卫电器制造有限公司 浴室镜及其手势控制装置、方法
CN109074770A (zh) * 2016-07-11 2018-12-21 惠普发展公司，有限责任合伙企业 镜子显示设备
US10216408B2 (en) 2010-06-14 2019-02-26 Apple Inc. Devices and methods for identifying user interface objects based on view hierarchy
US10222866B2 (en) 2014-03-24 2019-03-05 Beijing Lenovo Software Ltd. Information processing method and electronic device
US10678403B2 (en) 2008-05-23 2020-06-09 Qualcomm Incorporated Navigating among activities in a computing device
US10963142B2 (en) 2007-01-07 2021-03-30 Apple Inc. Application programming interfaces for scrolling
US11093554B2 (en) 2017-09-15 2021-08-17 Kohler Co. Feedback for water consuming appliance
US11099540B2 (en) 2017-09-15 2021-08-24 Kohler Co. User identity in household appliances
US11314215B2 (en) 2017-09-15 2022-04-26 Kohler Co. Apparatus controlling bathroom appliance lighting based on user identity
US11379098B2 (en) 2008-05-23 2022-07-05 Qualcomm Incorporated Application management in a computing device
US11949533B2 (en) 2017-09-15 2024-04-02 Kohler Co. Sink device

Families Citing this family (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070287541A1 (en) 2001-09-28 2007-12-13 Jeffrey George Tracking display with proximity button activation
US7864159B2 (en) 2005-01-12 2011-01-04 Thinkoptics, Inc. Handheld vision based absolute pointing system
US20060184993A1 (en) * 2005-02-15 2006-08-17 Goldthwaite Flora P Method and system for collecting and using data
WO2007000743A2 (en) * 2005-06-28 2007-01-04 Koninklijke Philips Electronics, N.V. In-zoom gesture control for display mirror
EP2259169B1 (en) * 2005-07-04 2018-10-24 Electrolux Home Products Corporation N.V. Houshold appliance with virtual data interface
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
TW200813806A (en) 2006-06-27 2008-03-16 Ibm Method, program, and data processing system for modifying shape of display object
US8913003B2 (en) 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
EP1914640B1 (en) * 2006-08-23 2011-10-05 Hewlett-Packard Development Company, L.P. Multiple screen size render-engine
US20080104547A1 (en) * 2006-10-25 2008-05-01 General Electric Company Gesture-based communications
US7826906B2 (en) * 2006-11-01 2010-11-02 Intel Corporation Transducer access point
JP4306778B2 (ja) * 2007-01-15 2009-08-05 エプソンイメージングデバイス株式会社 表示装置
US8328691B2 (en) 2007-02-14 2012-12-11 Koninklijke Philips Electronics N.V. Feedback device for guiding and supervising physical excercises
WO2008132546A1 (en) * 2007-04-30 2008-11-06 Sony Ericsson Mobile Communications Ab Method and algorithm for detecting movement of an object
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
JP4625831B2 (ja) * 2007-08-01 2011-02-02 シャープ株式会社 表示装置および表示方法
US9479274B2 (en) 2007-08-24 2016-10-25 Invention Science Fund I, Llc System individualizing a content presentation
US9647780B2 (en) * 2007-08-24 2017-05-09 Invention Science Fund I, Llc Individualizing a content presentation
US20090172606A1 (en) * 2007-12-31 2009-07-02 Motorola, Inc. Method and apparatus for two-handed computer user interface with gesture recognition
US8762892B2 (en) * 2008-01-30 2014-06-24 Microsoft Corporation Controlling an integrated messaging system using gestures
KR101493748B1 (ko) 2008-06-16 2015-03-02 삼성전자주식회사 물품 제공장치, 디스플레이 장치 및 이를 이용한 ｇｕｉ제공방법
US20100146388A1 (en) * 2008-12-05 2010-06-10 Nokia Corporation Method for defining content download parameters with simple gesture
US9652030B2 (en) * 2009-01-30 2017-05-16 Microsoft Technology Licensing, Llc Navigation of a virtual plane using a zone of restriction for canceling noise
USD686637S1 (en) * 2009-03-11 2013-07-23 Apple Inc. Display screen or portion thereof with icon
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US8428368B2 (en) * 2009-07-31 2013-04-23 Echostar Technologies L.L.C. Systems and methods for hand gesture control of an electronic device
US8754856B2 (en) * 2009-09-30 2014-06-17 Ncr Corporation Multi-touch surface interaction
JP5400578B2 (ja) * 2009-11-12 2014-01-29 キヤノン株式会社 表示制御装置、及びその制御方法
WO2012002915A1 (en) * 2010-06-30 2012-01-05 Serdar Rakan Computer integrated presentation device
US9180819B2 (en) * 2010-09-17 2015-11-10 Gentex Corporation Interior rearview mirror assembly with integrated indicator symbol
US8643481B2 (en) * 2010-09-17 2014-02-04 Johnson Controls Technology Company Interior rearview mirror assembly with integrated indicator symbol
US8674965B2 (en) 2010-11-18 2014-03-18 Microsoft Corporation Single camera display device detection
KR101718893B1 (ko) * 2010-12-24 2017-04-05 삼성전자주식회사 터치 인터페이스 제공 방법 및 장치
US20120249595A1 (en) * 2011-03-31 2012-10-04 Feinstein David Y Area selection for hand held devices with display
US8929612B2 (en) 2011-06-06 2015-01-06 Microsoft Corporation System for recognizing an open or closed hand
JP6110857B2 (ja) 2011-09-15 2017-04-05 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ユーザフィードバックを伴うジェスチャベースのユーザインターフェイス
US9922651B1 (en) * 2014-08-13 2018-03-20 Rockwell Collins, Inc. Avionics text entry, cursor control, and display format selection via voice recognition
US9432611B1 (en) 2011-09-29 2016-08-30 Rockwell Collins, Inc. Voice radio tuning
US20150102994A1 (en) * 2013-10-10 2015-04-16 Qualcomm Incorporated System and method for multi-touch gesture detection using ultrasound beamforming
KR20150081840A (ko) 2014-01-07 2015-07-15 삼성전자주식회사 디스플레이장치 및 그 제어방법
US20150277696A1 (en) * 2014-03-27 2015-10-01 International Business Machines Corporation Content placement based on user input
US9619120B1 (en) 2014-06-30 2017-04-11 Google Inc. Picture-in-picture for operating systems
US9990043B2 (en) * 2014-07-09 2018-06-05 Atheer Labs, Inc. Gesture recognition systems and devices for low and no light conditions
DE102014010352A1 (de) 2014-07-10 2016-01-14 Iconmobile Gmbh Interaktiver Spiegel
EP3062195A1 (en) 2015-02-27 2016-08-31 Iconmobile Gmbh Interactive mirror
DE102015104437B4 (de) * 2015-03-24 2019-05-16 Beurer Gmbh Spiegel mit Display
WO2017030255A1 (en) 2015-08-18 2017-02-23 Samsung Electronics Co., Ltd. Large format display apparatus and control method thereof
DE102015226153A1 (de) * 2015-12-21 2017-06-22 Bayerische Motoren Werke Aktiengesellschaft Anzeigevorrichtung und Bedieneinrichtung
US10845511B2 (en) 2016-06-30 2020-11-24 Hewlett-Packard Development Company, L.P. Smart mirror
KR102193036B1 (ko) 2016-07-05 2020-12-18 삼성전자주식회사 디스플레이장치, 디스플레이장치의 구동방법 및 컴퓨터 판독가능 기록매체
KR101881648B1 (ko) * 2016-09-13 2018-08-27 (주)아이리녹스 욕실용 스마트 미러 장치
EP3316186B1 (en) * 2016-10-31 2021-04-28 Nokia Technologies Oy Controlling display of data to a person via a display apparatus
IT201700031537A1 (it) * 2017-03-22 2018-09-22 Tgd Spa Cabina per ascensore e simili con funzionalita' comunicative ed interattive di tipo migliorato.
CN107333055B (zh) * 2017-06-12 2020-04-03 美的集团股份有限公司 控制方法、控制装置、智能镜子和计算机可读存储介质
JP7128457B2 (ja) * 2017-08-30 2022-08-31 クリナップ株式会社 吊戸棚
US10448762B2 (en) * 2017-09-15 2019-10-22 Kohler Co. Mirror
US11205405B2 (en) 2017-10-19 2021-12-21 Hewlett-Packard Development Company, L.P. Content arrangements on mirrored displays
WO2019111515A1 (ja) * 2017-12-08 2019-06-13 パナソニックＩｐマネジメント株式会社 入力装置、及び、入力方法
DE102018116781A1 (de) * 2018-07-11 2020-01-16 Oliver M. Röttcher Spiegel und Verfahren zur Benutzerinteraktion
EP3641319A1 (en) * 2018-10-16 2020-04-22 Koninklijke Philips N.V. Displaying content on a display unit
KR20220129769A (ko) * 2021-03-17 2022-09-26 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
CN113791699A (zh) * 2021-09-17 2021-12-14 联想(北京)有限公司 一种电子设备操纵方法以及电子设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US617678A (en) * 1899-01-10 emery
US5821930A (en) * 1992-08-23 1998-10-13 U S West, Inc. Method and system for generating a working window in a computer system
JP3382276B2 (ja) * 1993-01-07 2003-03-04 キヤノン株式会社 電子機器及びその制御方法
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US6061064A (en) * 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
US5734923A (en) * 1993-09-22 1998-03-31 Hitachi, Ltd. Apparatus for interactively editing and outputting sign language information using graphical user interface
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
US6154723A (en) * 1996-12-06 2000-11-28 The Board Of Trustees Of The University Of Illinois Virtual reality 3D interface system for data creation, viewing and editing
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
EP0905644A3 (en) * 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US6394557B2 (en) * 1998-05-15 2002-05-28 Intel Corporation Method and apparatus for tracking an object using a continuously adapting mean shift
US6681031B2 (en) * 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6222465B1 (en) * 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
SE0000850D0 (sv) * 2000-03-13 2000-03-13 Pink Solution Ab Recognition arrangement
US6643721B1 (en) * 2000-03-22 2003-11-04 Intel Corporation Input device-adaptive human-computer interface
EP1148411A3 (en) * 2000-04-21 2005-09-14 Sony Corporation Information processing apparatus and method for recognising user gesture
US6895589B2 (en) * 2000-06-12 2005-05-17 Microsoft Corporation Manager component for managing input from existing serial devices and added serial and non-serial devices in a similar manner
US6560027B2 (en) * 2000-12-21 2003-05-06 Hewlett-Packard Development Company System and method for displaying information on a mirror
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US6996460B1 (en) * 2002-10-03 2006-02-07 Advanced Interfaces, Inc. Method and apparatus for providing virtual touch interaction in the drive-thru
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures

Cited By (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10817162B2 (en) 2007-01-07 2020-10-27 Apple Inc. Application programming interfaces for scrolling operations
US11954322B2 (en) 2007-01-07 2024-04-09 Apple Inc. Application programming interface for gesture operations
US9448712B2 (en) 2007-01-07 2016-09-20 Apple Inc. Application programming interfaces for scrolling operations
US9760272B2 (en) 2007-01-07 2017-09-12 Apple Inc. Application programming interfaces for scrolling operations
CN102736851A (zh) * 2007-01-07 2012-10-17 苹果公司 用于手势操作的应用编程接口
US9529519B2 (en) 2007-01-07 2016-12-27 Apple Inc. Application programming interfaces for gesture operations
US10481785B2 (en) 2007-01-07 2019-11-19 Apple Inc. Application programming interfaces for scrolling operations
US9575648B2 (en) 2007-01-07 2017-02-21 Apple Inc. Application programming interfaces for gesture operations
US11449217B2 (en) 2007-01-07 2022-09-20 Apple Inc. Application programming interfaces for gesture operations
US9665265B2 (en) 2007-01-07 2017-05-30 Apple Inc. Application programming interfaces for gesture operations
US10175876B2 (en) 2007-01-07 2019-01-08 Apple Inc. Application programming interfaces for gesture operations
US9037995B2 (en) 2007-01-07 2015-05-19 Apple Inc. Application programming interfaces for scrolling operations
US10963142B2 (en) 2007-01-07 2021-03-30 Apple Inc. Application programming interfaces for scrolling
US10613741B2 (en) 2007-01-07 2020-04-07 Apple Inc. Application programming interface for gesture operations
US9690481B2 (en) 2008-03-04 2017-06-27 Apple Inc. Touch event model
US9971502B2 (en) 2008-03-04 2018-05-15 Apple Inc. Touch event model
US11740725B2 (en) 2008-03-04 2023-08-29 Apple Inc. Devices, methods, and user interfaces for processing touch events
US9720594B2 (en) 2008-03-04 2017-08-01 Apple Inc. Touch event model
US10936190B2 (en) 2008-03-04 2021-03-02 Apple Inc. Devices, methods, and user interfaces for processing touch events
US9323335B2 (en) 2008-03-04 2016-04-26 Apple Inc. Touch event model programming interface
US10521109B2 (en) 2008-03-04 2019-12-31 Apple Inc. Touch event model
US9389712B2 (en) 2008-03-04 2016-07-12 Apple Inc. Touch event model
US9798459B2 (en) 2008-03-04 2017-10-24 Apple Inc. Touch event model for web pages
US11379098B2 (en) 2008-05-23 2022-07-05 Qualcomm Incorporated Application management in a computing device
US11650715B2 (en) 2008-05-23 2023-05-16 Qualcomm Incorporated Navigating among activities in a computing device
US10891027B2 (en) 2008-05-23 2021-01-12 Qualcomm Incorporated Navigating among activities in a computing device
US11262889B2 (en) 2008-05-23 2022-03-01 Qualcomm Incorporated Navigating among activities in a computing device
US10678403B2 (en) 2008-05-23 2020-06-09 Qualcomm Incorporated Navigating among activities in a computing device
US11880551B2 (en) 2008-05-23 2024-01-23 Qualcomm Incorporated Navigating among activities in a computing device
CN101729808B (zh) * 2008-10-14 2012-03-28 Tcl集团股份有限公司 一种电视遥控方法及用该方法遥控操作电视机的***
CN105136161A (zh) * 2009-02-09 2015-12-09 大众汽车有限公司 用于运行具有触屏的机动车的方法和相应的机动车
CN102308185A (zh) * 2009-02-09 2012-01-04 大众汽车有限公司 用于运行具有触屏的机动车的方法
US9898083B2 (en) 2009-02-09 2018-02-20 Volkswagen Ag Method for operating a motor vehicle having a touch screen
US9311112B2 (en) 2009-03-16 2016-04-12 Apple Inc. Event recognition
US11755196B2 (en) 2009-03-16 2023-09-12 Apple Inc. Event recognition
US9285908B2 (en) 2009-03-16 2016-03-15 Apple Inc. Event recognition
US9965177B2 (en) 2009-03-16 2018-05-08 Apple Inc. Event recognition
US10719225B2 (en) 2009-03-16 2020-07-21 Apple Inc. Event recognition
US11163440B2 (en) 2009-03-16 2021-11-02 Apple Inc. Event recognition
US9483121B2 (en) 2009-03-16 2016-11-01 Apple Inc. Event recognition
US10732997B2 (en) 2010-01-26 2020-08-04 Apple Inc. Gesture recognizers with delegates for controlling and modifying gesture recognition
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US10216408B2 (en) 2010-06-14 2019-02-26 Apple Inc. Devices and methods for identifying user interface objects based on view hierarchy
CN102081918A (zh) * 2010-09-28 2011-06-01 北京大学深圳研究生院 一种视频图像显示控制方法及视频图像显示器
CN102081918B (zh) * 2010-09-28 2013-02-20 北京大学深圳研究生院 一种视频图像显示控制方法及视频图像显示器
CN102452591A (zh) * 2010-10-19 2012-05-16 由田新技股份有限公司 电梯操控***
US9298363B2 (en) 2011-04-11 2016-03-29 Apple Inc. Region activation for touch sensitive surface
CN103135883A (zh) * 2011-12-02 2013-06-05 深圳泰山在线科技有限公司 控制窗口的方法及***
CN103135883B (zh) * 2011-12-02 2016-07-06 深圳泰山在线科技有限公司 控制窗口的方法及***
CN104520785A (zh) * 2012-04-26 2015-04-15 高通股份有限公司 基于检测到的输入来更改在显示区域的一部分中提供的内容的属性
CN104520785B (zh) * 2012-04-26 2017-08-08 高通股份有限公司 基于检测到的输入来更改在显示区域的一部分中提供的内容的属性
CN103000054A (zh) * 2012-11-27 2013-03-27 广州中国科学院先进技术研究所 智能厨房烹饪教学机及其控制方法
CN103000054B (zh) * 2012-11-27 2015-07-22 广州中国科学院先进技术研究所 智能厨房烹饪教学机及其控制方法
CN103895651A (zh) * 2012-12-27 2014-07-02 现代自动车株式会社 使用光学扫描提供用户界面的***和方法
CN103895651B (zh) * 2012-12-27 2018-03-23 现代自动车株式会社 使用光学扫描提供用户界面的***和方法
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
US11429190B2 (en) 2013-06-09 2022-08-30 Apple Inc. Proxy gesture recognizer
CN103479140A (zh) * 2013-09-10 2014-01-01 北京恒华伟业科技股份有限公司 一种智能镜子
CN104951051A (zh) * 2014-03-24 2015-09-30 联想(北京)有限公司 一种信息处理方法和电子设备
CN104951211A (zh) * 2014-03-24 2015-09-30 联想(北京)有限公司 一种信息处理方法和电子设备
US10222866B2 (en) 2014-03-24 2019-03-05 Beijing Lenovo Software Ltd. Information processing method and electronic device
CN104951211B (zh) * 2014-03-24 2018-12-14 联想(北京)有限公司 一种信息处理方法和电子设备
CN104951051B (zh) * 2014-03-24 2018-07-06 联想(北京)有限公司 一种信息处理方法和电子设备
CN107003827A (zh) * 2014-09-26 2017-08-01 三星电子株式会社 由包括可切换镜子的设备执行的图像显示方法和设备
CN107368181B (zh) * 2016-05-12 2020-01-14 株式会社理光 一种手势识别方法及装置
CN107368181A (zh) * 2016-05-12 2017-11-21 株式会社理光 一种手势识别方法及装置
CN109074770A (zh) * 2016-07-11 2018-12-21 惠普发展公司，有限责任合伙企业 镜子显示设备
US10845513B2 (en) 2016-07-11 2020-11-24 Hewlett-Packard Development Company, L.P. Mirror display devices
CN108784175A (zh) * 2017-04-27 2018-11-13 芜湖美的厨卫电器制造有限公司 浴室镜及其手势控制装置、方法
US11314214B2 (en) 2017-09-15 2022-04-26 Kohler Co. Geographic analysis of water conditions
US11314215B2 (en) 2017-09-15 2022-04-26 Kohler Co. Apparatus controlling bathroom appliance lighting based on user identity
US11099540B2 (en) 2017-09-15 2021-08-24 Kohler Co. User identity in household appliances
US11093554B2 (en) 2017-09-15 2021-08-17 Kohler Co. Feedback for water consuming appliance
US11892811B2 (en) 2017-09-15 2024-02-06 Kohler Co. Geographic analysis of water conditions
US11921794B2 (en) 2017-09-15 2024-03-05 Kohler Co. Feedback for water consuming appliance
US11949533B2 (en) 2017-09-15 2024-04-02 Kohler Co. Sink device
CN108281096A (zh) * 2018-03-01 2018-07-13 安徽省东超科技有限公司 一种互动灯箱装置及其控制方法

Also Published As

Publication number Publication date
JP2007507782A (ja) 2007-03-29
KR20060091310A (ko) 2006-08-18
WO2005031552A3 (en) 2005-06-16
US20070124694A1 (en) 2007-05-31
EP1671219A2 (en) 2006-06-21
WO2005031552A2 (en) 2005-04-07

Similar Documents

Publication Publication Date Title
CN1860429A (zh) 定义内容窗口在显示器上的位置、尺寸和/或内容的姿势
US11392212B2 (en) Systems and methods of creating a realistic displacement of a virtual object in virtual reality/augmented reality environments
US11237625B2 (en) Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US11244513B2 (en) Systems and methods of rerendering image hands to create a realistic grab experience in virtual reality/augmented reality environments
US9911240B2 (en) Systems and method of interacting with a virtual object
US20220083880A1 (en) Interactions with virtual objects for machine control
KR101688355B1 (ko) 다수의 지각 감지 입력의 상호작용
CN107665042B (zh) 增强的虚拟触摸板和触摸屏
US9857868B2 (en) Method and system for ergonomic touch-free interface
US20110298708A1 (en) Virtual Touch Interface
KR20100027976A (ko) 이동 장치에서 제스처 및 움직임 기반 내비게이션 및 3차원 가상 콘텐츠와의 인터랙션
EP4217838A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
KR20100064177A (ko) 전자장치 및 그의 디스플레이방법
US20230342024A1 (en) Systems and Methods of Interacting with a Virtual Grid in a Three-dimensional (3D) Sensory Space
Holman et al. SketchSpace: designing interactive behaviors with passive materials
US12032746B2 (en) Systems and methods of creating a realistic displacement of a virtual object in virtual reality/augmented reality environments
US20240094851A1 (en) Virtual mouse
Kjeldsen Exploiting the flexibility of vision-based user interactions

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication