CN103529935A - 用户界面方法以及用于所述用户界面方法的设备 - Google Patents

用户界面方法以及用于所述用户界面方法的设备 Download PDF

Info

Publication number
CN103529935A
CN103529935A CN201310281949.9A CN201310281949A CN103529935A CN 103529935 A CN103529935 A CN 103529935A CN 201310281949 A CN201310281949 A CN 201310281949A CN 103529935 A CN103529935 A CN 103529935A
Authority
CN
China
Prior art keywords
shooting area
picture signal
output
information
checking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310281949.9A
Other languages
English (en)
Inventor
姜志营
朴美贞
李致勋
吴穗琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103529935A publication Critical patent/CN103529935A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供一种用户界面方法以及用于所述用户界面方法的设备。所述方法包括：将拍摄区域划分为多个部分的拍摄区域，从当根据划分的拍摄区域的部分被分类时输出的各个图像信号获得相应的信息，验证与获得的信息相应的命令，以及根据验证的命令执行操作。

Description

用户界面方法以及用于所述用户界面方法的设备
技术领域
本发明涉及一种用于控制并显示用户界面（UI）的方法和设备。更具体地讲，本发明涉及一种用于控制并显示UI的方法和设备，其中，所述方法和设备在不需要按下按钮的情况下，产生能够代替根据按钮的按下的事件的输入。
背景技术
近来，随着便携式电子装置已经快速地被广泛应用，便携式装置已经成为现代人的生活必需品。这些便携式电子装置已经发展到能够提供各种数据传输服务和各种附加服务以及原本的语音通信服务的多媒体通信装置。随着便携式电子装置的进一步发展，由便携式电子装置提供的服务基于相似的开发努力而相应增加。此外，用于控制便携式电子装置的用户界面（UI）技术也同样正被开发。
便携式电子装置的发展关注于针对用户输入通过应用基于图形用户界面（GUI）的触摸屏改善对于用户的便利性。此外，虽然提高了应用触摸屏的每个便携式电子装置的利用程度，但是用户显示出偏爱更大的触摸屏的趋势。因为大多数用于对便携式电子装置进行输入的按钮被配置在触摸屏中并用软件来实现，所以在这样的便携式电子装置上的硬件类按钮的数量被减少。
然而，根据现有技术，如果用户用用户的正戴着手套或其它覆盖物的手触摸电容式触摸屏，则不产生输入。例如，当便携式电子装置处于用户难以触摸电容式触摸屏的状态下时，没有能够控制根据现有技术的便携式电子装置的操作的输入手段。因此，根据现有技术的便携式电子装置的利用程度降低。
因此，对用于控制并显示UI的方法和设备存在需要，其中，所述方法和设备在不需要按下按钮的情况下，产生能够代替根据按钮的按下的事件的输入。
上述信息仅作为背景信息被提出，以帮助对于本公开的理解。关于任何上述内容是否可作为关于本发明的现有技术而应用，没有做出确定并且没有做出断言。
发明内容
本发明的多个方面在于至少解决上述问题和/或缺点，并且至少提供下面描述的优点。因此，本发明的一方面在于提供一种在没有按下按钮的情况下产生能够代替根据按钮的按下的事件的输入的用户界面（UI）方法以及用于所述方法的设备。
本发明的另一方面在于提供一种即使用户不触摸触摸屏，也产生能够代替触摸事件的输入的UI方法以及用于所述方法的设备。
本发明的另一方面在于提供一种根据对象的运动（例如，点头、面部方向、用户的眼睛等）来控制便携式电子装置的操作的UI方法。
根据本发明的一方面，提供一种方法。所述方法包括：将拍摄区域划分为多个部分的拍摄区域；从当根据划分的拍摄区域的部分被分类时输出的各个图像信号获得相应信息；验证与获得的信息相应的命令；根据验证的命令执行操作。
根据本发明的另一方面，提供一种方法。所述方法包括：将拍摄区域划分为多个部分的拍摄区域；在从自拍摄区域输出的图像信号检测到对象从拍摄区域的第一部分移动到拍摄区域的第二部分时，执行第一操作；并且当从自拍摄区域的第二部分输出的图像信号检测到对象的相应运动时，执行第二操作。
根据本发明的另一方面，提供一种装置。所述装置包括：相机、至少一个处理器、存储器和至少一个模块，其中，所述模块中的每一个被存储在存储器中并被配置为由所述至少一个处理器来执行，其中，所述至少一个模块中的至少一个将相机的拍摄区域划分为多个部分的拍摄区域，从当根据划分的拍摄区域的部分被分类时输出的各个图像信号获得相应信息，验证与获得的信息相应的命令，并根据验证的命令执行操作。
根据本发明的另一方面，提供一种电子装置。所述装置包括：相机、至少一个处理器、存储器和至少一个模块，其中，所述模块中的每一个被存储在存储器中并被配置为由所述至少一个处理器来执行，其中，所述至少一个模块中的至少一个将相机的拍摄区域划分为多个部分的拍摄区域，在从自拍摄区域输出的图像信号检测到对象从拍摄区域的第一部分移动到拍摄区域的第二部分时，执行第一操作，并且当从自拍摄区域的第二部分输出的图像信号检测到对象的相应运动时，执行第二操作。
从下面结合附图公开本发明的示例性实施例的详细描述中，本发明的其它方面、优点和显著特征对于本领域的技术人员而言将变得清楚。
附图说明
通过下面结合附图进行的描述，本发明的特定示例性实施例的上述和其它方面、特征和优点将更加清楚，其中：
图1是示出根据本发明的示例性实施例的电子装置的配置的框图；
图2示出根据本发明的示例性实施例的用户界面（UI）方法；
图3是示出根据本发明的示例性实施例的UI方法的流程图；
图4是示出根据本发明的示例性实施例的从拍摄区域的图像信号获得信息的处理（诸如，例如与图3的步骤301相关描述的从拍摄区域的图像信号获得信息的处理）的流程图；
图5是示出根据本发明的示例性实施例的从拍摄区域的图像信号获得信息的处理（诸如，例如与图3的步骤301相关描述的从拍摄区域的图像信号获得信息的处理）的流程图；
图6是示出根据本发明的示例性实施例的从拍摄区域的图像信号获得信息的处理（诸如，例如与图3的步骤301相关描述的从拍摄区域的图像信号获得信息的处理）的流程图；
图7是示出根据本发明的示例性实施例的验证与从拍摄区域的图像信号获得的信息相应的命令的处理（诸如，例如与图3的步骤303相关描述的验证与获得的信息相应的命令的处理）的流程图；
图8A到图8D示出根据本发明的示例性实施例的UI方法。
在整个附图中，应该注意，相同的参考标号用于描述相同或相似的元件、特征和结构。
具体实施方式
提供下面参照附图的描述以帮助全面理解由权利要求及其等同物所限定的本发明的示例性实施例。因此，本领域的普通技术人员将认识到，在不脱离本发明的范围和精神的情况下，可以对这里所描述的实施例进行各种改变和修改。此外，为了清楚和简明，可省略对公知功能和构造的描述。
下面的描述和权利要求中所使用的术语和词语不局限于书面含义，而仅仅被发明人使用以使本发明得以清楚和一致的理解。因此，本领域的技术人员应该清楚，提供下面对本发明的示例性实施例的描述仅是为了说明的目的，而不是为了限制本发明的目的，其中，本发明由权利要求及其等同物所限定。
应当理解，除非上下文清楚地另有指示，否则单数形式包括复数指示物。因此，例如，提及“组件表面”包括提及一个或多个这样的表面。
图1是示出根据本发明的示例性实施例的电子装置的配置的框图。
电子装置100可以是便携式电子装置。电子装置100可以是诸如便携式终端、移动电话、移动平板、媒体播放器、平板计算机、手持计算机、个人数字助理（PDA）、全球定位***（GPS）装置等的设备。电子装置100也可以是包括上面标识的设备中的组合两个或更多个功能的装置的便携式电子装置。
电子装置100包括主机装置110、外部存储器装置120、相机装置130、传感器装置140、无线通信装置150、音频装置160、外部端口装置170、触摸屏装置180和其它输入/控制装置190。外部存储器装置120和外部端口装置170可分别是多个外部存储器装置和外部端口装置。
主机装置110包括内部存储器111、一个或多个处理器112、和接口113。所述内部存储器111、所述一个或多个处理器112和所述接口113可被单独配置，或者可被配置在一个或多个集成电路（IC）中。
处理器112执行若干软件程序，并执行用于电子装置100的若干功能。例如，处理器112执行用于音频通信、视频通信、数据通信等的处理和控制。除了这些一般功能，处理器112执行存储在内部存储器111和/或外部存储器装置120中的软件模块（命令集），并执行与软件模块相应的若干功能。此外，除了这些一般功能，处理器112在执行存储在内部存储器111和/或外部存储器装置120中的特定软件模块（命令集）和执行与所述特定软件模块相应的若干特定功能的过程中发挥作用。例如，处理器112与存储在内部存储器111和/或外部存储器装置120中的软件模块相互作用，并执行本发明的示例性实施例。此外，处理器112可包括一个或多个数据处理器、图像处理器或编解码器。此外，电子装置100可单独包括数据处理器、图像处理器或编解码器。
接口113将主机装置110与电子装置100的若干组件进行连接。
具体地，根据本发明的示例性实施例，处理器112控制相机装置130。相机装置130可执行相机功能（诸如，照片和视频剪辑记录功能等）。相机装置130包括电荷耦合器件（CCD）、互补金属氧化物半导体（CMOS）和/或类似物。相机装置130根据由处理器112执行的相机模块来调整硬件类配置的变化（例如，镜头移动、光圈的F值等）。
可通过一个或多个通信总线（未被写入参考标号）或流线（stream line）（未被写入参考标号）连接电子装置100的各种组件。
传感器装置140可包括运动传感器、光学传感器、温度传感器等，并且可执行若干功能。例如，运动传感器可检测电子装置100的运动。作为另一示例，光学传感器可检测电子装置100周围的光。
无线通信装置150可执行无线通信。无线通信装置150可包括射频（RF）收发器和光（例如，红外线）收发器。无线通信装置150可被设计为通过一个或多个通信网络（诸如，全球移动通信（GSM）网络、增强型数据GSM环境（EDGE）网络、码分多址（CDMA）网络、W-CDMA网络、长期演进（LTE）网络、正交频分多址（OFDMA）网络、无线保真（Wi-Fi）网络、全球微波互联接入（WiMax）网络、蓝牙网络和/或类似物）来操作。
音频装置160连接到扬声器161和麦克风162，并且负责音频输入和输出功能（诸如，语音识别功能、语音复制功能、数字录音功能、电话呼叫功能等）。例如，音频装置160通过扬声器161和麦克风162与用户通信。此外，音频装置160从主机装置110接收数据信号，将接收到的数据信号转换成电信号，并通过扬声器161输出转换的电信号。扬声器161将电信号的频带转换为可听频带，并输出转换的信号。麦克风162将从人或其它声源发出的声波转换为电信号。此外，音频装置160从麦克风162接收电信号，将接收到的电信号转换为音频数据信号，并将转换的音频数据信号发送到主机装置110。音频装置160可包括耳挂式耳机、头戴式耳机或对电子装置100而言可装并可拆的耳机。
外部端口装置170将电子装置100直接连接到另一电子装置，或通过网络（例如，互联网、内联网、无线局域网（LAN）等）将电子装置100间接连接到另一电子装置。
触摸屏装置180提供电子装置100和用户之间的输入和输出接口。触摸屏装置180应用触摸感测技术，将用户的触摸输入发送到主机装置110，并为用户提供从主机装置110提供的视觉信息（诸如，文本、图形、视频等）。此外，触摸屏装置180可还不仅应用电容、电阻、红外线和表面声波技术，还应用包括其它近距离传感器阵列或其它元件的特定多点触摸感测技术。
其它输入/控制装置190可包括用于音量控制的上/下按钮。另外，其它输入/控制装置190可包括诸如按钮、摇杆按钮、锁定开关、拇指滚轮、转盘、杆、手写笔等的指示装置中的至少一个，其中，所述指示装置中的每一个具有相应的功能。
外部存储器装置120包括高速随机存取存储器（RAM）（诸如，一个或多个磁存储器）、非易失性存储器、一个或多个光学存储器和/或闪存（例如，NAND闪存或NOR闪存）。外部存储器装置120可包括非瞬时性计算机可读存储介质。外部存储器装置120包括软件组件。软件组件包括操作***（OS）模块、通信模块、图形模块、用户界面（UI）模块、编解码器模块、相机模块、一个或多个应用模块等。所述模块可以以一组指令、指令集、程序和/或类似物来表现。
OS模块可与嵌入式OS（诸如，Windows、Linux、Darwin、RTXC、UNIX、OS X、VxWorks和/或类似物）相应。OS模块包括用于控制一般***操作的若干软件组件。例如，这种一般***操作的控制包括存储管理和控制、存储硬件（装置）控制和管理、电源控制与管理等。此外，OS模块还执行用于若干硬件装置和软件组件（模块）之间流畅通信的功能。
通信模块可通过无线通信装置150和/或外部端口装置170与其它电子装置（诸如，计算机、服务器、便携式终端等）通信。
图形模块包括用于在触摸屏装置180上提供并显示图形的若干软件组件。术语“图形”包括文本、网页、图标、数字图像、视频、动画等。
UI模块包括若干与UI相关的软件组件。此外，UI模块包括关于UI的状态是否被改变为任意状态、UI的状态是否在任意条件下被改变等的内容。
编解码器模块可包括与视频文件的编码和解码相关的软件组件。
相机模块包括能够执行相机相关处理和功能的相机相关软件组件。具体地，根据本发明的示例性实施例，相机模块从自相机装置130拍摄对象的区域输出的图像信号获得信息，验证与获得的信息相应的命令，并根据验证的命令执行操作。
相机模块将拍摄区域划分为多个部分的拍摄区域，并从当根据拍摄区域的相应部分被分类时输出的各个图像信号获得各个信息。此外，相机模块从自拍摄区域的先前部分输出的图像信号获得信息，并在阈值时间之后，从自拍摄区域的下一部分输出的图像信号获得信息。
当完成执行根据与从自拍摄区域的先前部分输出的图像信号获得的信息相应的命令的操作时，相机模块可根据与从自拍摄区域的下一部分输出的图像信号获得的信息相应的命令执行操作。另外，当完成执行根据与从自拍摄区域的先前部分输出的图像信号获得的信息相应的命令的操作时，相机模块可验证与完成的操作相关的拍摄区域的下一部分，并可从自验证的拍摄区域的下一部分输出的图像信号获得信息。
另外，相机模块可从自拍摄区域的先前部分输出的图像信号检测对象的移动方向，可验证处于检测到的移动方向的拍摄区域的下一部分，并可从自验证的拍摄区域的下一部分输出的图像信号获得信息。
另外，当与从自拍摄区域的一部分输出的图像信号获得的信息相应的命令与先前指定的命令相同时，相机模块可确定用于操作的命令。
根据本发明的示例性实施例，在相机模块从拍摄区域获得的信息包括对象的运动信息，例如，人的至少一个躯干。另外，相机模块提供用于在相应的操作被执行之前，预先通知操作是任意操作的视觉线索。根据相机模块的操作，与根据电子装置100的按钮的按下的事件和触摸屏的触摸事件相应的输入和控制事件可从自相机装置130接收的图像产生。
另外，相机模块将相机装置130的拍摄区域划分为多个部分的拍摄区域。当相机模块从来自拍摄区域的图像信号检测到对象从拍摄区域的第一部分移动到拍摄区域的第二部分时，相机模块执行第一操作。当相机模块从自第二拍摄区域输出的图像信号检测到对象的相应运动时，相机模块可执行第二操作。这个第一操作可以是用于第二操作的视觉线索。
下面，将给出从相机模块拍摄的图像获得的信息与人相关的描述。然而，显而易见的，可用各种对象（诸如，动物、地方等）替换所述信息。
应用模块包括浏览器功能、电子邮件功能、即时消息功能、文字处理功能、键盘模拟功能、地址簿功能、触摸列表功能、控件功能、数字版权管理（DRM）功能、语音识别功能、语音复制功能、位置确定功能、基于位置的服务功能等。除了上述模块，外部存储器装置120可还包括另外的模块（命令）。
根据本发明的示例性实施例的电子装置100的各种功能可由一个或多个流处理、包括专用集成电路（ASIC）的硬件、软件和/或它们的组合来执行。
图2示出根据本发明的示例性实施例的UI方法。
参照图2，电子装置100包括扬声器2、麦克风3、触摸屏4、前置摄像头5和传感器6。扬声器2被安装在电子装置100的前表面11，并将电信号的频带转换为可听频带，并输出转换后的信号。麦克风3将从人或其它声源发出的声波转换成电信号。触摸屏4输出图像信号，并接收用户20的触摸。前置摄像头5拍摄对象，传感器6检测运动、光、温度等。电子装置100可还包括安装在它的后表面12中的后置摄像头7。后置摄像头7可拍摄对象。
根据本发明的示例性实施例，用户20可将信号输入到电子装置100，并且可通过电子装置100的前置摄像头5，通过拍摄他或她的面部的动作来控制电子装置100。
摄像头5拍摄的区域可被划分成多个部分区域。例如，根据本发明的示例性实施例的相机模块可将摄像头5的拍摄区域划分为拍摄区域的中间部分51、拍摄区域的左侧部分52和拍摄区域的右侧部分53。
相机模块从图像信号获得关于运动（例如，面部运动、点头）、焦距等的信息，并根据与获得的信息相应的命令执行操作，其中，图像信号从关于用户20的面部的拍摄区域的各个部分（例如，拍摄区域的中间部分51、拍摄区域的左侧部分52和/或拍摄区域的右侧部分53）被输出。
具体地，相机模块指定与拍摄区域的各个部分（例如，拍摄区域的中间部分51、拍摄区域的左侧部分52和/或拍摄区域的右侧部分53）相应的电子装置110的各个命令。当从拍摄区域的每个部分验证的命令与先前指定的命令相同时，相机模块根据所述命令执行操作。换句话说，相机模块预先指定与各个拍摄区域51-53相应的操作。例如，当从图像信号中获得了先前定义的信息时，相机模块执行所述操作。
例如，根据本发明的示例性实施例，电子装置100可在不使用按钮的按下事件和/或通过触摸屏的触摸事件的情况下，仅使用通过摄像头5拍摄的图像产生与它的按钮的按下事件和触摸事件相应的输入或控制信号。因此，因为用户20可在不操作电子装置100的按钮和触摸屏的情况下控制电子装置100的操作，所以电子装置100可为用户20提供方便。
电子装置100的操作包括关于视频的操作（例如，GUI操作）、关于音频控制的操作（例如，音量调节操作）。
图3是示出根据本发明的示例性实施例的UI方法的流程图。
参照图1和图3，在步骤301，处理器112从自拍摄区域输出的图像信号获得信息。例如，处理器112可从自拍摄区域输出的关于人的图像信号获得关于面部识别、面部方向、人眼等的信息。
在步骤303中，处理器112验证与获得的信息相应的命令。
在步骤305中，处理器112根据验证的命令执行操作。
图4是示出根据本发明的示例性实施例的从拍摄区域的图像信号获得信息的处理（诸如，例如与图3的步骤301相关描述的从拍摄区域的图像信号获得信息的处理）的流程图。
参照图1和图4，在步骤401中，处理器112将拍摄区域划分为多个部分的拍摄区域。
在步骤403中，处理器112从当根据拍摄区域的相应部分被分类时输出的各个图像信号获得各个信息。
在图4中示出的该处理示出处理器112从当根据部分拍摄区域被分类时连续输出的图像信号获得信息的示例。
图5是示出根据本发明的示例性实施例的从拍摄区域的图像信号获得信息的处理（诸如，例如与图3的步骤301相关描述的从拍摄区域的图像信号获得信息的处理）的流程图。
参照图5，示出的处理与将拍摄区域划分为多个部分的拍摄区域的处理相应。
如图5中所示，在步骤501中，处理器112根据与从自拍摄区域的先前部分输出的图像信号获得的信息相应的命令来完成操作的执行。
在步骤503中，处理器112从来自拍摄区域的下一部分的图像信号获得信息。
如果完成了从自拍摄区域的先前部分输出的图像信号获得信息、验证与获得的信息相应的命令以及根据验证的命令执行操作的特定处理，则在图5中示出的处理示出处理器112还将这个处理同样地应用于其它部分的拍摄区域的示例。
图6是示出根据本发明的示例性实施例的从拍摄区域的图像信号获得信息的处理（诸如，例如与图3的步骤301相关描述的从拍摄区域的图像信号获得信息的处理）的流程图。
参照图6，示出的处理与将拍摄区域划分为多个部分的拍摄区域的处理相应。
如图6中所示，在步骤601中，处理器112根据与从自拍摄区域的先前部分输出的图像信号获得的信息相应的命令完成操作的执行。
在步骤603中，处理器112验证与完成的操作相关的拍摄区域的下一部分。
在步骤605中，处理器112从自验证的拍摄区域的下一部分输出的图像信号获得信息。
如果完成了从自拍摄区域的先前部分输出的图像信号获得信息、验证与获得的信息相应的命令以及根据验证的命令执行操作的特定处理，则在图6中示出的处理示出处理器112还将这个处理应用于与完成的操作有关的拍摄区域的下一部分的示例。
图7是示出根据本发明的示例性实施例的验证与从拍摄区域的图像信号获得的信息相应的命令的处理（诸如，例如与图3的步骤303相关描述的验证与获得的信息相应的命令的处理）的流程图。
参照图7，示出的处理与将拍摄区域划分为多个部分的拍摄区域的处理相应。
如图7中所示，在步骤701中，处理器112验证与从拍摄区域的每个部分获得的信息相应的命令。
在步骤703，当验证的命令与在拍摄区域的每个部分先前指定的命令相同时，处理器112确定所述命令。
图7的处理示出处理器112仅允许根据下述命令的操作，其中，所述命令在根据拍摄区域的相应部分被分类时被预先指定。出于这个原因，从自部分拍摄区域输出的图像信号获得的信息被指定。例如，当先前指定的信息必须从拍摄区域的部分拍摄区域的图像信号获得时，相应的操作可被执行。
图8A到图8D示出根据本发明的示例性实施例的UI方法。
参照图8A到图8D，将给出关于网页屏幕的描述。
如图8A到图8D中所示，相机模块将相机的拍摄区域划分为拍摄区域的中间部分51、拍摄区域的左侧部分52和拍摄区域的右侧部分53。另外，相机模块将与拍摄部分的中间部分51匹配的操作指定为用于提供屏幕改变的视觉线索的操作。相机模块将与拍摄区域的左侧部分52匹配的操作指定为到先前屏幕的改变操作，并且将与拍摄区域的右侧部分53匹配的操作指定为到下一屏幕的改变操作。
另外，相机模块将与拍摄区域的中间部分51匹配的运动信息指定为用户20的面部的左移动或右移动。如果验证面部的左移动，则相机模块提供用于预先通知改变到先前网页的视觉线索。如果验证面部的右运动，则相机模块提供用于预先通知改变到下一网页的视觉线索。所述视觉线索不立即导致到先前网页或下一网页的改变操作的执行。而是，所述视觉线索导致预先对用户20通知改变操作。
另外，相机模块根据从自拍摄区域的中间部分51输出的图像信号验证的命令来提供用于预先通知屏幕改变到先前网页的视觉线索。相机模块根据与从自拍摄区域的左侧部分52输出的图像信号获得的信息相应的命令执行操作，其中，所述拍摄区域的左侧部分52与所述视觉线索相关。另外，相机模块根据从自拍摄区域的中间部分51输出的图像信号验证的命令来提供用于预先通知屏幕改变到下一网页的视觉线索。相机模块根据与从自拍摄区域的右侧部分53输出的图像信号获得的信息相应的命令执行操作，其中，所述拍摄区域的右侧部分53与所述视觉线索相关。
例如，相机模块验证与从自拍摄区域的中间部分51输出的图像信号执行的操作相关的拍摄区域的下一部分，从自验证的拍摄区域的下一部分输出的图像信号获得信息，并根据与获得的信息相应的命令来执行操作。
相机模块可确定与信息（其中，所述信息来自从自拍摄区域的中间部分51输出的图像信号获得的信息）相关的拍摄区域的下一部分，可从自确定的拍摄区域的下一部分输出的图像信号获得信息，并可根据与获得的信息相应的命令来执行操作。例如，相机模块可执行以下特定处理：从自拍摄区域的中间部分51输出的图像信号检测用户的面部的移动方向，提供用于预先通知屏幕改变到先前网页和屏幕改变到下一网页的视觉线索，验证处于检测到的面部的移动方向的拍摄区域的下一部分，从自验证的拍摄区域的下一部分输出的图像信号获得信息，并根据与验证的信息相应的命令来执行操作。
根据本发明的示例性实施例，相机模块将与拍摄区域的左侧部分52匹配的运动信息指定为点头。如果点头被验证，则相机模块执行改变到先前网页的操作。另外，相机模块将与拍摄区域的右侧部分52匹配的运动信息指定为点头。如果点头被验证，则相机模块执行改变到下一网页的操作。
如上所述，当相机模块提供用于通知改变到先前网页的视觉线索时，相机模块从自拍摄区域的左侧部分52输出的图像信号获得信息，其中，拍摄区域的左侧部分52与所述视觉线索相关。当信息是与点头相应的信息时，相机模块执行改变到先前网页的操作。另外，当相机模块提供用于通知到改变到下一网页的视觉线索时，相机模块从自拍摄区域的右侧部分53输出的图像信号获得信息，其中，拍摄区域的右侧部分53与所述视觉线索相关。当信息是与点头相应的信息时，相机模块执行改变到下一网页的操作。
图8A到图8D示出根据本发明的示例性实施例的当用户的面部向右侧移动时用于通知改变到下一网页屏幕的视觉线索55，并且随后示出通过点头改变到下一网页屏幕。
图8A到8D示出（但不限于）根据本发明的示例性实施例的作为示例采用的屏幕改变。例如，本发明的示例性实施例可被应用于与其它电子装置相关的屏幕放大或缩小以及视频或音频相关的操作。
相机模块将相机的拍摄区域划分为多个部分的拍摄区域。当相机模块从来自拍摄区域的图像信号检测到对象从拍摄区域的第一部分移动到拍摄区域的第二部分时，相机模块执行第一操作。当相机模块从自第二拍摄区域输出的图像信号检测到对象的相应运动时，相机模块可执行第二操作。例如，当相机模块从自拍摄区域输出的图像信号检测到用户的面部从拍摄区域的中间部分51移动到拍摄区域的左侧部分52时，相机模块提供用于预先通知改变到先前网页屏幕的视觉线索。当相机模块从自拍摄区域的左侧部分52输出的图像信号检测到点头时，相机模块执行改变到先前网页屏幕。
根据本发明的示例性实施例，其它用于确认或验证期望的操作的视觉线索可包括面部表情、用户20的眼睛的移动等。
这里描述的根据示例性实施例的方法可被实现为硬件、软件或组合类型的硬件和软件。
当通过软件实现所述方法时，可提供用于存储一个或多个程序（软件模块）的非瞬时性计算机可读存储介质。存储在非瞬时性计算机可读存储介质中的一个或多个程序被配置为由电子装置中的一个或多个处理器执行。所述一个或多个程序包括用于允许电子装置执行根据这里描述的示例性实施例的方法的指令。
这些程序（软件模块、软件）可被存储在RAM、非易失性存储器（包括闪存）、只读存储器（ROM）、电可擦除可编程ROM（EEPROM）、磁盘存储装置、紧凑盘-ROM（CD-ROM）、数字通用盘（DVD）或不同类型的光学存储装置以及磁带中。或者，所述程序可被存储在由它们中的一些或全部的组合配置的存储器中。另外，配置的存储器可包括多个存储器。
此外，所述程序可被存储在可附存储装置中，其中，所述可附存储装置能够通过诸如互联网、内联网、局域网（LAN）、无线LAN（WLAN）、存储区域网络（SAN）等的通信网络中的每一个或者由它们的组合配置的通信网络来访问电子装置。该存储装置可通过外部端口连接到电子装置。
另外，通信网络上单独的存储装置可连接到便携式电子装置。
因此，根据本发明的示例性实施例的UI方法以及用于所述UI方法的设备可在不操作便携式电子装置的按钮的情况下，控制便携式电子装置的操作。此外，根据本发明的示例性实施例的UI方法以及用于所述UI方法的设备可通过从用户的运动产生能够代替便携式电子装置的按钮按下事件或触摸事件的输入来提高便携式电子装置的可用性。
虽然已经参照本发明的特定示例性实施例示出并描述了本发明，但是本领域的技术人员将理解，在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，可在其中进行形式和细节上的各种改变。

Claims (20)

1.一种方法包括：
将拍摄区域划分为多个部分的拍摄区域；
从当根据划分的拍摄区域的部分被分类时输出的各个图像信号获得相应的信息；
验证与获得的信息相应的命令；
根据验证的命令执行操作。
2.如权利要求1所述的方法，其中，从当根据划分的拍摄区域的部分被分类时输出的各个图像信号获得相应的信息的步骤包括：
从自划分的拍摄区域的部分中的拍摄区域的先前部分输出的图像信号获得信息；
在阈值时间之后，从自拍摄区域的下一部分输出的图像信号获得信息。
3.如权利要求1所述的方法，其中，从当根据划分的拍摄区域的部分被分类时输出的各个图像信号获得相应的信息的步骤包括：
根据与从自划分的拍摄区域的部分中的拍摄区域的先前部分输出的图像信号获得的信息相应的命令来执行操作；
当完成操作时，从自拍摄区域的下一部分输出的图像信号获得信息。
4.如权利要求1所述的方法，其中，从当根据划分的拍摄区域的部分被分类时输出的各个图像信号获得相应的信息的步骤包括：
根据与从自划分的拍摄区域的部分中的拍摄区域的先前部分输出的图像信号获得的信息相应的命令来执行操作；
验证与所述操作相关的拍摄区域的下一部分；
从自验证的拍摄区域的下一部分输出的图像信号获得信息。
5.如权利要求1所述的方法，其中，从当根据划分的拍摄区域的部分被分类时输出的各个图像信号获得相应的信息的步骤包括：
从自划分的拍摄区域的部分中的拍摄区域的先前部分输出的图像信号检测对象的移动方向；
验证处于检测到的移动方向的拍摄区域的下一部分；
从自验证的拍摄区域的下一部分输出的图像信号获得信息。
6.如权利要求1所述的方法，其中，从当根据划分的拍摄区域的部分被分类时输出的各个图像信号获得相应的信息的步骤包括：获得对象的运动信息。
7.如权利要求1所述的方法，其中，验证与获得的信息相应的命令的步骤包括：当与从自拍摄区域的每个部分输出的图像信号获得的信息相应的命令与在拍摄区域的每个部分先前指定的命令相同时，确定所述命令。
8.如权利要求1所述的方法，其中，根据验证的命令执行操作的步骤包括：提供视觉线索。
9.一种方法包括：
将拍摄区域划分为多个部分的拍摄区域；
在从自拍摄区域输出的图像信号检测到对象从拍摄区域的第一部分移动到拍摄区域的第二部分时，执行第一操作；
当从自拍摄区域的第二部分输出的图像信号检测到对象的相应运动时，执行第二操作。
10.如权利要求9所述的方法，其中，第一操作包括用于第二操作的视觉线索。
11.一种电子装置，包括：
相机；
至少一个处理器；
存储器；
至少一个模块，其中，所述模块中的每一个被存储在存储器中，并被配置为由所述至少一个处理器来执行；
其中，所述至少一个模块中的至少一个将相机的拍摄区域划分为多个部分的拍摄区域，从当根据划分的拍摄区域的部分被分类时输出的各个图像信号获得相应的信息，验证与获得的信息相应的命令，并根据验证的命令执行操作。
12.如权利要求11所述的装置，其中，所述至少一个模块中的至少一个从自划分的拍摄区域的部分中的拍摄区域的先前部分输出的图像信号获得信息，并且在阈值时间之后，从自拍摄区域的下一部分输出的图像信号获得信息。
13.如权利要求11所述的装置，其中，所述至少一个模块中的至少一个根据命令执行操作，并且当完成操作时，从自拍摄区域的下一部分输出的图像信号获得信息，其中，所述命令与从自划分的拍摄区域的部分中的拍摄区域的先前部分输出的图像信号获得的信息相应。
14.如权利要求11所述的装置，其中，所述至少一个模块中的至少一个根据命令执行操作，验证与所述操作相关的拍摄区域的下一部分，并从自验证的拍摄区域的下一部分输出的图像信号获得信息，其中，所述命令与从自划分的拍摄区域的部分中的拍摄区域的先前部分输出的图像信号获得的信息相应。
15.如权利要求11所述的装置，其中，所述至少一个模块中的至少一个从自划分的拍摄区域的部分中的拍摄区域的先前部分输出的图像信号检测对象的移动方向，验证处于检测到的移动方向的拍摄区域的下一部分，并从自验证的拍摄区域的下一部分输出的图像信号获得信息。
16.如权利要求11所述的装置，其中，所述一个或多个模块中的每一个从当根据划分的拍摄区域的部分被分类时输出的各个图像信号获得对象的运动信息。
17.如权利要求11所述的装置，其中，当与从自拍摄区域的每个部分输出的图像信号获得的信息相应的命令与在拍摄区域的每个部分先前指定的命令相同时，所述至少一个模块中的至少一个确定所述命令。
18.如权利要求11所述的装置，其中，所述一个或多个模块中的每一个根据验证的命令提供视觉线索。
19.一种电子装置包括：
相机；
至少一个处理器；
存储器；
至少一个模块，其中，所述模块中的每一个被存储在存储器中，并被配置为由所述至少一个处理器来执行；
其中，所述至少一个模块中的至少一个将相机的拍摄区域划分为多个部分的拍摄区域，在从自拍摄区域输出的图像信号检测到对象从拍摄区域的第一部分移动到拍摄区域的第二部分时，执行第一操作，并当从自拍摄区域的第二部分输出的图像信号检测到对象的相应运动时，执行第二操作。
20.如权利要求19所述的装置，其中，第一操作包括用于第二操作的视觉线索。
CN201310281949.9A 2012-07-06 2013-07-05 用户界面方法以及用于所述用户界面方法的设备 Pending CN103529935A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120073921A KR20140005688A (ko) 2012-07-06 2012-07-06 사용자 인터페이스 방법 및 장치
KR10-2012-0073921 2012-07-06

Publications (1)

Publication Number Publication Date
CN103529935A true CN103529935A (zh) 2014-01-22

Family

ID=48747395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310281949.9A Pending CN103529935A (zh) 2012-07-06 2013-07-05 用户界面方法以及用于所述用户界面方法的设备

Country Status (4)

Country Link
US (1) US20140009388A1 (zh)
EP (1) EP2682842A1 (zh)
KR (1) KR20140005688A (zh)
CN (1) CN103529935A (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100818B (zh) * 2014-04-29 2018-12-11 腾讯科技（北京）有限公司 进行网站视频播放的方法、***及网站服务器
SG11201700146QA (en) * 2014-07-09 2017-02-27 Exosome Diagnostics Inc Methods for isolating microvesicles and extracting nucleic acids from biological samples
US11250281B1 (en) * 2020-10-21 2022-02-15 Daon Enterprises Limited Enhanced liveness detection of facial image data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080141181A1 (en) * 2006-12-07 2008-06-12 Kabushiki Kaisha Toshiba Information processing apparatus, information processing method, and program
CN102193624A (zh) * 2010-02-09 2011-09-21 微软公司 用于基于姿势的用户界面的物理交互区
US20120162409A1 (en) * 2010-12-27 2012-06-28 Bondan Setiawan Image processing device and image display device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1804472A4 (en) * 2004-10-19 2009-10-21 Vodafone Plc FUNCTION CONTROL METHOD AND TERMINAL DEVICE
US8325214B2 (en) * 2007-09-24 2012-12-04 Qualcomm Incorporated Enhanced interface for voice and video communications
TWI382352B (zh) * 2008-10-23 2013-01-11 Univ Tatung 視訊手寫文字輸入裝置及其方法
GB2483168B (en) * 2009-10-13 2013-06-12 Pointgrab Ltd Computer vision gesture based control of a device
US9009594B2 (en) * 2010-06-10 2015-04-14 Microsoft Technology Licensing, Llc Content gestures
US9423878B2 (en) * 2011-01-06 2016-08-23 Blackberry Limited Electronic device and method of displaying information in response to a gesture

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080141181A1 (en) * 2006-12-07 2008-06-12 Kabushiki Kaisha Toshiba Information processing apparatus, information processing method, and program
CN102193624A (zh) * 2010-02-09 2011-09-21 微软公司 用于基于姿势的用户界面的物理交互区
US20120162409A1 (en) * 2010-12-27 2012-06-28 Bondan Setiawan Image processing device and image display device

Also Published As

Publication number Publication date
KR20140005688A (ko) 2014-01-15
US20140009388A1 (en) 2014-01-09
EP2682842A1 (en) 2014-01-08

Similar Documents

Publication Publication Date Title
US11513608B2 (en) Apparatus, method and recording medium for controlling user interface using input image
CN104982041B (zh) 用于控制助听器的便携式终端及其方法
US9582168B2 (en) Apparatus, method and computer readable recording medium for displaying thumbnail image of panoramic photo
US11556182B2 (en) Mobile terminal and control method therefor
CN108495045B (zh) 图像拍摄方法、装置、电子装置以及存储介质
US20150149925A1 (en) Emoticon generation using user images and gestures
KR102015534B1 (ko) 복수의 단말들간의 메시지 싱크 방법, 기계로 읽을 수 있는 저장 매체 및 서버
KR102064973B1 (ko) 듀얼 이미지를 편집하는 전자 장치 및 방법
US9444927B2 (en) Methods for voice management, and related devices
KR20150045637A (ko) 사용자 인터페이스 운용 방법 및 그 전자 장치
CN105786944A (zh) 浏览器自动翻页的处理方法和装置
CN109194810B (zh) 显示控制方法及相关产品
US9633273B2 (en) Method for processing image and electronic device thereof
CN103529935A (zh) 用户界面方法以及用于所述用户界面方法的设备
KR101672215B1 (ko) 휴대 단말기 및 그 동작 방법
CN109669552A (zh) 会话处理方法、装置及存储介质
KR20130107844A (ko) 전자 장치에서 자동 초점 기능을 제어하기 위한 장치 및 방법
KR102031284B1 (ko) 연속 촬영된 이미지를 합성하는 전자 장치 및 방법
CN105094500A (zh) 一种图标摆放方法及装置
KR20150019061A (ko) 무선 연결 방법 및 그 전자 장치
KR20170019248A (ko) 이동단말기 및 그 제어방법
KR20150141084A (ko) 이동단말기 및 그 제어방법
KR102120449B1 (ko) 어플리케이션 운용 방법 및 그 전자 장치
KR20170019247A (ko) 이동단말기 및 그 제어방법
KR20170059684A (ko) 이동 단말기

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140122

WD01 Invention patent application deemed withdrawn after publication