CN107408015B - 用于机器控制的基于手势的开关的方法和*** - Google Patents

用于机器控制的基于手势的开关的方法和*** Download PDF

Info

Publication number
CN107408015B
CN107408015B CN201680012872.7A CN201680012872A CN107408015B CN 107408015 B CN107408015 B CN 107408015B CN 201680012872 A CN201680012872 A CN 201680012872A CN 107408015 B CN107408015 B CN 107408015B
Authority
CN
China
Prior art keywords
machine
location
computing device
touch screen
contact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680012872.7A
Other languages
English (en)
Other versions
CN107408015A (zh
Inventor
A.S.朱尔斯
A.埃德辛格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
X Development LLC
Original Assignee
X Development LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by X Development LLC filed Critical X Development LLC
Publication of CN107408015A publication Critical patent/CN107408015A/zh
Application granted granted Critical
Publication of CN107408015B publication Critical patent/CN107408015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00—Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21—Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2133—Verifying human interaction, e.g., Captcha

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

所描述的示例可以涉及用于机器控制的基于手势的开关的方法和***。一些机器可以由包括触摸屏的计算设备操作，并且提供图形用户界面(GUI)以使能对机器的控制。在示例中，可以将断开开关并入GUI。作为一个示例，为了启动诸如机器人设备的机器的操作，可能需要用户在一个位置处接触触摸屏，然后跟踪图案。为了能够继续操作机器，GUI可能要求用户在“目标”位置保持与触摸屏的接触。如果与触摸屏的接触被中断(例如，以超过阈值的时间量)，则可以停止机器操作，并且可以在触摸屏上再次执行启动操作的过程以使机器恢复操作。

Description

用于机器控制的基于手势的开关的方法和***
技术领域
本申请涉及用于机器控制的基于手势的开关的方法、***及非暂时性计算机可读介质。
背景技术
除非本文另有说明，否则本节中描述的材料不是本申请中权利要求的现有技术，并且不因包含在本节中而被认为是现有技术。
机器人***可以用于各种应用，包括材料处理、焊接、组装和制造等。越来越依赖机器人***完成任务已经导致机器人设备的进一步发展变得更加高效和可靠。已经开发了不同类型的机器人设备，包括双足、四足和夹紧制造配置。随着不同类型的发展，高效机器人***的需求已经有助于开创机器人***开发的创新领域。
发明内容
示例性实施例可以涉及用于机器控制的基于手势的开关的方法和***。示例方法包括：在计算设备的触摸屏上接收输入手势，并且所述输入手势包括在第一位置处的触摸屏上的接触，随后沿着触摸屏上的图案移动到触摸屏上的第二位置。示例方法还包括基于输入手势被认证、并基于检测到触摸屏上的第二位置处的持续接触，启用计算设备对机器的操作的控制；以及基于没有检测到触摸屏上的第二位置处的持续接触，禁用计算设备对机器的操作的控制。
在其他示例中，描述了一种非暂时性计算机可读介质，其上存储有指令，所述指令在由计算设备执行时使得所述计算设备执行功能。所述功能包括：在所述计算设备的触摸屏上接收输入手势，并且所述输入手势包括在所述触摸屏上的第一位置的接触，随后沿着所述触摸屏上的图案移动到所述触摸屏。所述功能还包括基于输入手势被认证、并基于检测到触摸屏上的第二位置处的持续接触，启用对机器的操作的控制；以及基于没有检测到触摸屏上的第二位置处的持续接触，禁用对机器的操作的控制。
在另外的示例中，一种***，包括：触摸屏；一个或多个处理器；以及数据存储器，其包括可由一个或多个处理器执行以使***执行功能的指令。所述功能包括：在所述触摸屏上接收输入手势，并且所述输入手势包括在所述触摸屏上的第一位置的接触，随后沿所述触摸屏上的图案移动到所述触摸屏上的第二位置。所述功能还包括基于输入手势被认证、并基于检测到触摸屏上的第二位置处的持续接触，启用对机器的操作的控制；以及基于没有检测到触摸屏上的第二位置处的持续接触，禁用对机器的操作的控制。
对于本领域普通技术人员，这些以及其他方面、优点和替代方案将通过适当参考附图阅读以下详细描述而变得显而易见。
附图说明
图1是示例计算设备的框图。
图2是示例机器的简化框图。
图3是根据本文所描述的至少一些实施例的用于机器控制的基于手势的开关的示例方法的框图。
图4A-4C示出了示例计算设备和示例输入手势。
图5A示出了示出参与机器人设备的无线控制的计算设备的示例场景。
图5B示出了示出参与机器人设备的直接无线控制的计算设备的示例场景。
图6示出了由计算设备控制的另一示例机器人设备。
具体实施方式
本文描述了示例方法和***。应当理解，这里使用“示例”、“示例性”和“说明性”的词语来意味着“用作示例、实例或说明”。作为“示例”、“示例性”或“说明性”的本文描述的任何实施例或特征不一定被解释为比其他实施例或特征优选或有利。本文所描述的示例实施例不意味着限制。将容易理解，如本文中一般性描述并且在附图中示出的本公开的各方面可以以各种各样的不同配置进行布置、取代、组合、分离和设计，所有这些都被明确地设想于此。
用于机器的机械断开开关（有时称为应急开关（deadman’s switch））是可以被编程为如果操作者手动地断开开关则自动操作的开关。这些开关可用作故障防护的一种形式，其中，如果开关断开，则开关将使机器停止操作。示例断开开关可用于机车、货运电梯、跑步机等。在某些机器上，这种开关将机器操作恢复到已知的安全状态，例如在使机器仍然运行的同时将油门减少至怠速或施加制动，并准备好一旦重新建立控制就恢复操作。
一些机器可以由包括触摸屏的计算设备来操作，并且提供图形用户界面（GUI）以使得能够控制机器。在这里描述的示例中，可以将断开开关并入到GUI中。作为一个示例，为了启动诸如机器人设备的机器的操作，可能需要用户在指定位置接触触摸屏，然后通过遵循特定路径来探寻“迷宫”或其他模式。为了能够继续操作机器，GUI可能要求使用者在迷宫的“目标”位置保持与触摸屏的接触。如果与触摸屏的接触被中断（以超过阈值的时间），则可以中止机器操作，并且可以在触摸屏上再次执行启动操作的过程，以使机器恢复操作（并且重新获得机器的控制）。
作为具体示例，可以使用基于触摸的平板设备来控制机器人设备，并且为了激活机器人设备，可能需要用户接触触摸屏并遵循迷宫，并且在屏幕上的按钮完成迷宫。只要用户在按钮位置接触触摸屏，则机器人设备保持激活。如果发生与触摸屏的接触丢失，则机器人设备中止操作。为重新激活机器人设备，用户将再次执行迷宫以返回到按钮位置。因此，需要触摸屏上的主动运动或移动来启动和维持机器人设备的操作。可以快速中止机器人设备的操作，并且需要用户操作来重新启动。
使用迷宫或特定模式来启动操作可以有助于防止机器人设备的意外或非预期的操作。计算设备可能需要这种多点触摸手势（例如，由持续接触所遵循的模式）来启动和维持操作。可以使用其他手势，或者可能需要其他输入，诸如需要输入密码，然后在屏幕上持续接触。在机器人设备启动后，任何时候如果没有检测到屏幕上的接触，则机器的控制被禁用。这种操作可能需要用户让一只手或手指提供持续的接触、以及用于其他手势的另一只手或手指以控制机器的特定动作。
在任何示例中，在操作期间，如果从目标或开关位置移除接触，则计算设备上的显示可以返回到锁定状态，可以显示指示操作中止的消息和/或计算设备可以提供其他警报，诸如振动或音频警报，以指示机器人设备的操作已暂停。
现在参考附图，图1是示例计算设备100的框图。表示计算设备的许多可能的示例配置中的一个，计算设备100的框图示出了被配置为至少执行本文描述的操作的示例计算设备。因此，计算设备100可以以各种形式存在，包括但不限于移动电话、可穿戴计算设备、运动控制设备或平板计算机。此外，计算设备100还可以在本文被称为计算机、电话、可穿戴计算设备、设备或平板电脑等。
如图1所示，计算设备100包括处理器102、数据存储器104、程序指令106、传感器108、通信接口110和用户接口112。为了说明的目的示出了计算设备100，其具有上面列出的组件，但是在其他示例中可以包括比图1中所示的组件更多或更少的组件。此外，计算设备100的各种组件可以以任何方式连接，包括有线或无线连接等。此外，在一些示例中，计算设备100的组件可以位于多个实体而不是单个实体上。可能存在计算设备100的其他配置。
如所指出的，计算设备100可以包括处理器102。处理器102可以作为通用处理器或专用处理器（例如，数字信号处理器、专用集成电路等）操作。此外，可以存在任何数量的处理器，并且处理器102可以被配置为执行存储在数据存储器104中的计算机可读程序指令106。计算设备100可以包括示例中的一个或多个处理器。
数据存储器104可以作为被配置为保持存储器的任何一种或多种不同类型的存储器存在。例如，数据存储器104可以包括或采取可由处理器102读取或访问的一个或多个非暂时性的计算机可读存储介质的形式。该一个或多个计算机可读存储介质可以包括易失性和/或非易失性存储组件，诸如光学、磁性、有机或其它存储器或盘存储器，其可以与处理器102整体或部分地集成。在一些实现中，数据存储器104可以是单个物理设备（例如，一个光学、磁性、有机或其他存储器或盘存储单元）。在其他示例实现中，可以使用可以经由有线或无线通信进行通信的两个或多个物理设备来实现数据存储器104。此外，除了非暂时性的计算机可读程序指令106之外，数据存储器104可以包括附加数据，诸如诊断数据等。
计算设备100可以包括各种传感器108，诸如力传感器、接近传感器、运动传感器、位置传感器和触摸传感器等。传感器108可被配置成测量运动、朝向和各种环境条件。因此，不同类型的传感器可以被配置为向计算设备100的处理器102和/或其他组件提供高精度和准确度的原始数据。此外，传感器108可被配置为捕获并向一个或多个用户提供信息。
传感器108可以包括能够通过检测显示器上的接触来接收指令的触摸屏显示器。触摸屏显示器可以是通过使用触控笔和/或一个或多个手指与屏幕接触来接收触摸或多点触摸手势的显示器。触摸屏可以通过电阻、表面声波（SAW）或电容感测技术来检测接触。
通信接口110可以包括配置成能够与其他设备通信的一个或多个组件。具体地，通信接口110可以实现与移动电话、计算设备、服务器、控制***和/或机器人设备等的通信。通信接口110可以包括被配置为在设备之间发送/接收数据的相应组件，并且可以进一步维护和管理发送/接收的数据的记录。通信接口110还可以使计算设备100能够建立有线（例如，USB连接）或无线连接。无线连接可以包括使用各种技术中的一种或多种，诸如蓝牙®无线电技术、IEEE 802.11（包括任何IEEE 802.11修订）中描述的通信协议、或蜂窝技术（诸如GSM、CDMA、UMTS、EV-DO、WiMAX或LTE）等。
另外，通信接口110可以包括近场通信（NFC）技术。NFC是一组短距离无线技术，其可以基于阈值距离（例如，2至3英尺）来操作以发起连接。NFC技术可以使得计算设备100能够启动并建立与其他设备、服务器、控制***、机器人设备和/或具有NFC能力的其他实体的通信。NFC可以允许计算设备100与其他计算设备共享数据的小有效载荷。此外，计算设备100可以经由“云”网络与其他设备交互，这使得计算设备能够无线通信。
计算设备100可以包括被配置为使得用户能够操作计算设备100的用户界面112。在可能的示例中，用户界面112可以包括任何类型的图形用户界面（GUI）、按钮、触摸屏界面、麦克风、相机、运动传感器和/或用于接收输入的任何其它元件。在一些示例中，例如，计算设备100可以包括语音识别模块，其包括语音用户接口，诸如搜索、呼叫路由、语音拨号、简单数据输入、文档准备和/或语音到文本处理。此外，计算设备100还可以包括用于向用户和/或其他设备（诸如扬声器、图形界面等）提供输出的各种组件。
图2是示例机器200的简化框图。具体地，机器200的框图可以表示被配置为至少执行本文描述的操作的示例机器人***。在一些示例中，机器200可以被配置为自主地、半自主地和/或通过使用户通过各种接口进行控制来进行操作。图1的计算设备可以用于控制机器200的操作。另外，机器200可以以各种物理形式存在，包括但不限于操纵臂配置、人形机器人或四足机器人配置等可能的示例配置。此外，机器200在本文中还可以被称为其他可能的标签，诸如机器人设备、移动机器人或机器人等。
如图2所示，机器200可以被配置为包括各种子***，诸如机械***202、传感器***204、通信***206、电源***208和控制***210。在其他示例中，机器200可以包括更多或更少的子***，并且每个子***可以包括多个组件。此外，子***和子***内的组件可以经由各种类型的连接（包括无线和/或有线连接）互连。
机械***202可以包括使机器200能够执行操作的各种组件，包括但不限于主体、腿、臂、关节、夹具、轮子、基座、操纵器等。各种机械和/或电气组件可以互连以使机器200能够执行与各种任务有关的操作。例如，夹具可以使用各种类型的关节和连杆连接到臂，所述臂连接到机器200的基座，以使得能够以变化的自由度进行操作。此外，机械***202可以包括一个或多个电动机，以使得机械***202的组件能够执行操作。可以使用允许所需自由度的关节和/或其他类型的连接来互连不同的组件。
传感器***204可以包括被配置为检测关于机器200的机械***202的组件的环境和操作的信息的一个或多个传感器。一个或多个传感器可以连接到机械***202的各个组件。传感器***204可以使用一个或多个安装在主体的传感器，包括二维（2D）传感器和/或三维（3D）深度传感器来获得关于机器200的周围环境的信息。传感器可以耦合到机械***202的其它组件，诸如夹具，以测量与握持操作相关的参数。传感器可以帮助机器200执行任务，包括提供与组件相对于对象或接触传感器的接近度相关的警报。
传感器***204可以包括惯性测量单元（IMU），其可以包括加速度计和/或陀螺仪等。IMU可以被配置为确定机器200的朝向、位置、速度和/或加速度。此外，传感器***204可以包括其他类型的传感器，诸如磁力计和压力传感器等。
通信***206可以包括使得机器200能够与其他设备通信的一个或多个组件。通信***206可以包括不同类型的通信接口，包括诸如NFC技术的无线通信技术。因此，通信***206可以允许机器200与其他设备、服务器通信，包括使通信***206能够发送和接收信息。在一些示例中，通信***206可以包括使得机器200的控制***能够跨越“云”网络与其他设备通信的技术。其他组件可能存在于通信***206内。
电源208可以包括被配置为向机器200的组件提供电力的各种类型的电源。例如，电源208可以包括诸如可再充电锂离子或铅酸电池的电源。电源208可以包括例如液压***、气动***、太阳能发电和/或电池组。其他电源材料和类型也是可能的。另外，在一些示例中，例如，电源208可以包括使得机器200能够向外部设备（诸如计算设备100）提供电力的组件。
控制***210可以是被配置为控制机器200的操作的一个或多个组件。因此，控制***210可以包括配置成控制机器200的不同操作的一个或多个计算设备。控制***210内的一个或多个计算设备可以包括一个或多个处理器、数据存储器和指令（例如，程序逻辑）以及其它可能的计算组件。另外，一个或多个处理器可以包括一个或多个微处理器。
如所指出的，控制***210可以包括各种类型的存储器，其可以包括可由一个或多个处理器执行以执行机器200的各种功能的指令，所述功能包括本文所描述的功能。存储器可以包括附加指令，包括用于发送/接收数据、与机械***202、传感器***204、通信***206和电源208中的一个或多个相互作用和/或控制的指令。
在一些情况下，控制***210可以从传感器***204接收信息以确定用于控制机械***202的组件的操作。控制***210可以位于机器200上和/或机器200中，或者可以是物理上与机器200分离。控制***210可以利用通信***206的一个或多个组件来控制机器200的操作。因此，控制***210可以通过有线或无线通信来控制机器200。
控制***210可以被配置为通过通信***206（包括通过NFC技术）与其他设备通信。例如，控制***210可以通过各种有线和/或无线技术（诸如NFC）与计算设备100进行信令和/或其他形式的通信。
图3是根据本文所描述的至少一些实施例的用于机器控制的基于手势的开关的示例方法的框图。方法300可以包括由块302-308中的一个或多个所示出的一个或多个操作、功能或动作。尽管按顺序示出了块，但是在某些情况下，这些块可以并行地执行，和/或以与本文所描述的顺序不同的顺序执行。而且，根据所期望的实现，各个块可以被组合成更少的块，被分成另外的块，和/或移除。
此外，对于本文公开的方法300和其他过程和方法，该流程图示出了本实施例的一个可能实现的功能和操作。在这方面，每个块可以表示模块、段或程序代码的一部分，其包括可由处理器执行以执行该过程中的特定逻辑功能或步骤的一个或多个指令。程序代码可以存储在任何类型的计算机可读介质上，例如诸如包括盘或硬盘驱动器的存储设备。计算机可读介质可以包括非暂态计算机可读介质，例如诸如寄存器存储器、处理器高速缓存和随机存取存储器（RAM）的短时间存储数据的计算机可读介质。计算机可读介质还可以包括非暂态介质，诸如例如只读存储器（ROM）、光盘或磁盘、压缩盘只读存储器（CD-ROM）等的辅助或持续长期存储。计算机可读介质也可以是任何其它易失性或非易失性存储***。计算机可读介质可以被认为是例如计算机可读存储介质、有形存储设备或其它制造品。
此外，对于本文公开的方法300和其他过程和方法，图3中的每个块可以表示被连接以在该过程中执行特定逻辑功能的电路。
诸如方法300的示例性方法可以全部或部分地由计算设备、云和/或机器人***中的一个或多个组件执行，诸如由图1所示的计算设备100的一个或多个组件或图2所示的机器的一个或多个组件执行。然而，应当理解，诸如方法300的示例方法可以由其他实体或实体的组合（即，由其他计算设备和/或计算设备的组合）执行。
例如，方法300的功能可以完全由计算设备（或诸如一个或多个处理器的计算设备的组件）执行，或者可以跨越计算设备的多个组件、跨越多个计算设备和/或跨越服务器而分布。在一些示例中，计算设备可以从计算设备的传感器接收信息，或者其中计算设备是服务器，可以从收集信息的另一设备接收信息。作为其他示例，方法300可由计算设备、服务器或机器人设备执行。
在块302，方法300包括在计算设备的触摸屏上接收输入手势。计算设备可以能够控制机器、机器人设备或任何其他设备，并且输入手势可以是用于认证以能够控制的第一过程。
输入手势可以包括在第一位置处的触摸屏上的接触，随后沿着触摸屏上的图案移动到触摸屏上的第二位置。沿着触摸屏上的图案的移动包括沿着图案在触摸屏上的不间断的接触。输入手势还可以包括使用滑动运动在触摸屏上输入密码，随后沿着触摸屏上的图案移动到第二位置。
图4A-4C示出了示例性计算设备和示例输入手势。在图4A中，示出了具有触摸屏404的计算设备402。用户可以在触摸屏上输入密码406以解锁或认证设备，诸如字母数字密码。在其他示例中，用户408可以通过在生物学传感器410处提供生物学输入来解锁或认证该设备。
如前所述，诸如计算设备402的示例计算设备可以被配置为检测和/或接收来自用户的各种类型的输入或接触手势。不同类型的手势可以包括密码的输入（诸如在图4A中的计算设备402的图形显示器上显示的字母数字密码406）和/或生物学输入，诸如指纹输入（即，生物学输入408）。可以通过被配置为参与一个或多个机器人设备的无线控制的示例计算设备来检测和/或接收其他类型的手势。例如，可以通过字母数字键盘显示器上的滑动运动来执行密码输入。
例如，图4B示出另一示例输入手势，其可以包括触摸屏上的任何图案。示例图案412被示为跨过屏幕404的Z字形的运动。任何图案可以用作或关联为与输入手势相联系，所述输入手势包括遵循形状（圆形图案）的运动、或定制运动（例如，使用草书签名输入姓名）。因此，用户可以在第一位置414处接触触摸屏404，随后沿着触摸屏404上的图案412移动到第二位置416。沿着触摸屏404上的图案412的移动例如包括沿着图案412在触摸屏404上的不间断的接触，用户没有抬起手指。一些示例图案也可以允许沿着图案412的非不间断的接触，诸如多次点击触摸屏404的多点触摸图案。
例如，输入手势可以需要用户不可能偶然的某些主动运动，以便确定启动机器的控制的意图。
可以解释和认证输入手势以提供机器的各种信息或控制。例如，计算设备可以将输入手势解释为开始与获得机器人设备的控制有关的过程的信号。类似地，输入手势可以向计算设备确认允许用户接收机器人设备的控制。另外，在一些情况下，输入手势可以表示用户希望将一些控制量返回给机器人设备的控制***和/或表示要计算设备返回控制的信号。在其他示例中，手势也可以代表计算设备使用和处理的其他信息。
返回参考图3，在块304，方法300包括基于正在认证的输入手势以及在被检测的触摸屏上的第二位置处的持续接触，由计算设备实现对机器的操作的控制。因此，在示例中，方法300包括通过将触摸屏上接收到的接触与存储的手势进行比较来认证输入手势，以及当所接收的接触基本上与存储的手势相匹配时对输入手势进行认证。基本匹配可能包括不完全匹配，并且允许偏差或变化（包括例如公差、测量误差、测量精度限制以及本领域技术人员已知的其他因素）以不排除效果或大致输入手势的量发生。因此，一些偏差可能允许输入手势在例如触摸屏上的预期区域的大约0.1cm至大约0.5cm之内。根据输入手势的细节，其他偏差可以更小或更大。
一旦输入手势被认证，方法300包括通过检测接触并监视接触是否连续存在来确定在触摸屏上的第二位置是否存在持续接触。持续接触可以包括例如连续地或不间断地存在的触摸屏上的接触。持续接触还可以允许基本上连续的接触或连续接触，使得允许接触的一些偏差或变化，诸如小于阈值时间量（例如小于约1-2秒）的中断（例如，如果手指滑落或者从第二个位置滑落少于约1-2秒）。
一旦检测到持续接触，例如检测到在第二位置处的接触并且没有中断（或基本上没有检测到中断），则可以在计算设备处使能对机器的操作的控制。一旦在第二位置首次检测到接触，就可以使能控制，从而产生在输入手势的认证之后持续的接触。
在一些示例中，为了能够控制操作，计算设备可以与机器通信以交换用于链接到机器的凭证，诸如交换无线通信信息、私有加密密钥或其他链接信息。
在另外的示例中，使得能够通过计算设备对机器的操作进行控制包括：计算设备认证输入手势，检测触摸屏上第二位置处的接触，确定接触是持续的（例如，大于约1秒，然后与机器通信以交换用于将计算设备链接到机器的凭证。
使能机器操作的控制可以包括：激活机器上的开关，对机器通电，激活/解锁计算设备上被编程为控制机器操作的应用等。
计算设备可以在触摸屏上显示图案以通知用户预期的输入手势，然后基于输入手势的认证，计算设备可以在触摸屏上显示通知第二位置是应急（deadman）开关接触区域的图标。
图4C示出了触摸屏404上的示例第二位置区域。例如，可以在第二位置区域418内的任何位置处检测第二位置416。第二位置区域418可以使用虚线框显示在触摸屏404上，以通知用户在第二位置处符合持续接触的接触输入的边界。
返回参考图3，在块306，方法300包括基于没有检测到在触摸屏上的第二位置处的持续接触，禁用计算设备对机器的操作的控制。因此，如果未检测到第二位置的持续接触，则禁用控制。如上所述，持续接触可允许检测的一些变化或偏差大约1-2秒，但是当没有检测到超过任何这样的变化（例如，超过阈值的时间量）的接触时，禁用控制。
实现持续接触以确保存在人类操作者以监视机器的操作。在其他示例中，这还可以由维持“心跳”的计算设备和机器执行，其中计算设备和机器以规则的间隔交换通信。如果来自计算设备的通信间隔超过阈值（例如，超过几秒），则禁用操作控制。计算设备可以被编程为基于在触摸屏设备处接收的输入来交换通信。
禁用计算设备对机器的操作的控制可以包括禁用机器和计算设备之间的通信。此外，基于没有检测到触摸屏上第二位置处的持续接触，计算设备可以向机器发送指令以执行特定功能，诸如暂停机器的操作、将机器置于安全配置中、关机等。
禁用对机器的操作的控制还可以包括解除激活机器上的开关、使机器断电、解除激活/锁定计算设备上被编程为控制机器的操作的应用等。在其他示例中，禁用操作的控制可以包括由计算设备上运行的应用执行特定的程序子例程（回调），其被注册为负责确定第二位置处没有接触。
在块308，方法300包括基于在第二位置处没有检测到持续接触，使一个或多个动作发生，包括将计算设备上的显示改变为锁定状态、显示指示机器的操作暂停的消息、以及在计算设备处提供振动或音频警报以指示机器的操作已暂停。这可以通知用户机器的控制被停止，并且需要用户重新认证计算设备以再次控制机器。
因此，在示例中，为了恢复机器的操作，计算设备可以在计算设备的触摸屏上接收第二输入手势，并且基于第二输入手势被认证、并基于检测到第二位置处的持续接触，恢复机器的操作。第二手势可以与第一手势相同，或者也可以是不同的请求手势。
使用方法300，用于机器控制的模拟的应急开关被利用触摸屏设备提供。用户将手指放在触摸屏上的指定位置，并通过遵循特定路径探寻“迷宫”。然后，例如，用户需要将他们的手指留在迷宫的“目标”位置（或者将手指拉到目标位置而不移除接触），以继续控制机器。如果手指接触中断，则在重新获得机器的控制之前再次执行该处理。这使得能够快速地停止机器控制，而不是使用具有机械按钮的传统物理应急开关来保持在特定位置。利用触摸屏设备，只要在按钮位置施加接触，机器/机器人就将保持激活。这需要用户有一只手或一个手指作为用于应急开关的代理而存在，而另一只手或手指可用于触摸屏上的其他输入。
因此，方法300使能触摸屏设备上的非机械应急开关的功能。
可以在应用级执行用于持续接触和使能操作的触摸屏输入的解释。作为示例，计算设备上的应用可以被配置为确定已经输入了解锁手势，并且触摸屏上的持续接触存在于触摸屏上的预定位置，以使得能够操作机器人设备。该应用还可以被配置为区分用于控制机器人设备的（在触摸屏上的其他区域接收的）触摸输入、与使得能够控制机器人设备所需的屏幕上的持续触摸。为此，应用可以接收触摸屏上的所有触摸，并减去在“开关位置”处检测到的任何触摸，以便利用剩余的触摸输入来控制机器。因此，方法300可以包括在触摸屏上接收多个输入，从多个输入中将某些输入与第二位置处的持续接触区分开，以及使用附加输入使机器执行特定功能。
在其他示例中，可以在计算设备上的操作***（OS）级执行用于持续接触和使能操作的控制的触摸屏输入的解释。作为示例，在解锁手势或代码以及开关位置的持续接触之后，计算设备的OS然后可以将控制传递到计算设备上的应用以操作机器。例如，OS可以监控开关位置处的输入，如果没有检测到接触，那么OS可禁用触摸屏上任何区域的所有触摸事件，或者可锁定屏幕并返回到需要输入输入手势的初始状态。因此，方法300可以包括计算设备的操作***认证输入手势并监视用于持续接触的第二位置处的输入，操作***向计算设备上的应用提供机器的控制，并且基于没有检测到在第二位置处的持续接触，操作***通过锁定触摸屏来禁用计算设备对机器的操作的控制。
图5A示出了示出参与机器人设备的无线控制的计算设备的示例场景。示例场景500包括计算设备502，其通过经由控制***506进行通信来参与和可能地假设对机器人设备504的一定量的控制。诸如在制造环境内使用计算设备502来获得对机器人设备504的控制的用户可以提供输入手势，然后在计算设备502上保持接触，以通过与控制***506的通信来启动对机器人设备504的控制，控制***506被配置为控制机器人设备504的一个或多个操作或其他方面。控制***506被示出为与机器人设备504分离，但是可以与机器人设备504物理地配置在一起，或者可以与机器人设备504进行无线或有线通信。此外，在一些情况下，控制***506可以仅表示机器人设备504的一个或多个内部组件。示例场景500示出了控制***502经由无线连接与控制***506通信，并且可能地接收机器人设备504的一定量的控制。在某些情况下，计算设备502可以经由NFC技术与控制***506通信，其可以作为计算设备502检测到来自用户的一个或多个手势的结果而发生。
图5B示出了示例场景，其示出了在没有任何控制***（或者控制***可以包括在机器人设备504内）的情况下参与机器人设备504的直接无线控制的计算设备502。在其他示例中，在计算设备502和机器人设备504之间的通信或连接也可以是经由USB、以太网等的有线连接。
图6示出了由计算设备602控制的另一示例机器人设备600。计算设备602可以是手持式的并且用于控制机器人设备600。用户可以输入授权、认证或其他输入手势，然后在触摸屏的区域604上接触计算设备602以使得能够控制机器人设备600。机器人设备600也可以包括指示器606，其被配置为向计算设备602提供与通信相关联的视觉反馈。
本公开不限于在本申请中描述的特定实施例，其旨在作为各方面的说明。如对于本领域技术人员将是显而易见的，在不脱离本发明范围的情况下，可以进行许多修改和变化。对于本领域技术人员而言，除了本文列举的那些之外，在本公开的范围内的功能上等同的方法和装置将从前述描述变得显而易见。这样的修改和变化旨在落在所附权利要求的范围内。
上述详细描述参考附图描述所公开的***、设备和方法的各种特征和功能。在附图中，除非另有说明，否则相似的符号通常标识相似的组件。在本文和附图中描述的示例实施例并不意味着限制。在不脱离本文呈现的主题的范围的情况下，可以利用其它实施例，并且可以进行其他改变。将容易理解，如本文中一般性描述并且在附图中示出的本公开的各方面可以以各种各样的不同配置进行布置、取代、组合、分离和设计，所有这些都被明确地设想于此。
附图中所示的特定布置不应被视为限制。应当理解，其它实施例可以包括给定图中所示的每个元件的更多或更少。此外，可以组合或省略一些所示的元件。另外，示例性实施例可以包括图中未示出的元件。
虽然本文已经公开了各种方面和实施例，但是其他方面和实施例对于本领域技术人员将是显而易见的。本文公开的各个方面和实施例是为了说明的目的，而不是旨在限制，范围由所附权利要求书指示。

Claims (20)

1.一种方法，包括：
在计算设备的触摸屏上接收输入手势，其中所述输入手势包括在触摸屏上的第一位置处的接触，随后沿着触摸屏上的图案移动到触摸屏上的第二位置；
基于输入手势被认证、并基于检测到触摸屏上的第二位置处的持续接触，使能计算设备对机器的操作的控制；以及
基于没有检测到触摸屏上的第二位置处的持续接触，禁用计算设备对机器的操作的控制，
其中计算设备的应用被配置为：
区分用于在第二位置处的持续接触的触摸输入与其他触摸输入，其中当所述其他触摸输入发生时，用于在第二位置处的持续接触的触摸输入仍在持续；以及
在检测用于在第二位置处的持续接触的触摸输入的同时将所述其他触摸输入用于控制机器的操作。
2.根据权利要求1所述的方法，其中所述输入手势包括使用滑动运动在所述触摸屏上输入密码，随后沿着所述触摸屏上的图案移动到第二位置。
3.根据权利要求1所述的方法，其中沿着触摸屏上的图案的移动包括沿着所述图案在所述触摸屏上的不间断的接触。
4.根据权利要求1所述的方法，其中使能所述计算设备对所述机器的操作的控制包括：
所述计算设备认证所述输入手势；
所述计算设备检测所述触摸屏上的第二位置处的持续接触；以及
所述计算设备与所述机器通信以交换用于将所述计算设备链接到所述机器的凭证。
5.根据权利要求1所述的方法，其中使能所述计算设备对所述机器的操作的控制包括：
确定检测到在触摸屏上的第二位置处结束的输入手势、以及在触摸屏上的第二位置处的连续接触，而不会在触摸屏上的第二位置处中断接触。
6.根据权利要求1所述的方法，其中禁用所述计算设备对所述机器的操作的控制包括：禁用所述机器和所述计算设备之间的通信。
7.根据权利要求1所述的方法，还包括：基于没有检测到在所述触摸屏的第二位置处的所述持续接触，暂停所述机器的操作。
8.根据权利要求1所述的方法，还包括：
确定在与所述持续接触相对应的第二位置处的触摸输入缺少超过阈值的时间量；以及
响应性地暂停机器的操作。
9.根据权利要求1所述的方法，还包括：为了恢复所述机器的操作：
在所述计算设备的触摸屏上接收第二输入手势；以及
基于第二输入手势被认证、并基于检测到在第二位置处的持续接触，恢复机器的操作。
10.根据权利要求1所述的方法，还包括：
在所述触摸屏上接收多个输入，其中所述多个输入包括指示所述机器执行一个或多个动作的一个或多个指令的一个或多个附加输入、以及所述触摸屏的所述第二位置处的持续接触；
从多个输入中将所述一个或多个附加输入与第二位置处的持续接触区分开；以及
使用所述一个或多个附加输入来使机器执行特定功能。
11.根据权利要求1所述的方法，还包括：
所述计算设备的操作***认证输入手势并对所述持续接触监视所述第二位置处的输入；
所述操作***向所述计算设备上的应用提供所述机器的控制；以及
基于没有检到在第二位置处的持续接触，操作***通过锁定触摸屏来禁用计算设备对机器的操作的控制。
12.根据权利要求1所述的方法，还包括：基于没有检测到在第二位置处的所述持续接触而使得一个或多个动作发生包括，将所述计算设备上的显示改变为锁定状态、显示指示机器的操作暂停的消息、并在计算设备处提供振动或音频警报以指示机器的操作已暂停。
13.一种非暂时性计算机可读介质，其上存储有指令，所述指令在由计算设备执行时使得所述计算设备执行功能，包括：
在所述计算设备的触摸屏上接收输入手势，其中所述输入手势包括在所述触摸屏上的第一位置处的接触，随后沿着所述触摸屏上的图案移动到所述触摸屏上的第二位置；
基于输入手势被认证、并基于检测到触摸屏上的第二位置处的持续接触，使能对机器的操作的控制；以及
基于没有检测到触摸屏上的第二位置处的持续接触，禁用对机器的操作的控制，
其中所述计算设备的应用被配置为：
区分用于在第二位置处的持续接触的触摸输入与其他触摸输入，其中当所述其他触摸输入发生时，用于在第二位置处的持续接触的触摸输入仍在持续；以及
在检测用于在第二位置处的持续接触的触摸输入的同时将所述其他触摸输入用于控制机器的操作。
14.根据权利要求13所述的非暂时性计算机可读介质，其中所述功能还包括：
基于没有检测到在所述触摸屏上的第二位置处的持续接触，向所述机器发送指令以执行特定功能。
15.根据权利要求13所述的非暂时性计算机可读介质，其中所述功能还包括基于没有检测到在所述触摸屏的第二位置处的持续接触，暂停所述机器的操作。
16.根据权利要求13所述的非暂时性计算机可读介质，其中所述功能还包括：
确定在与持续接触相对应的第二位置处的触摸输入缺少超过阈值的时间量；以及
响应性地暂停机器的操作。
17.一种***，包括：
触摸屏；
应用；
一个或多个处理器；以及
数据存储器，包括可由一个或多个处理器执行以使***执行功能的指令，所述功能包括：
在所述触摸屏上接收输入手势，其中所述输入手势包括在所述触摸屏上的第一位置处的接触，随后沿所述触摸屏上的图案移动到所述触摸屏上的第二位置；
基于输入手势被认证、并基于检测到触摸屏上的第二位置处的持续接触，使能对机器的操作的控制；以及
基于没有检测到触摸屏上的第二位置处的持续接触，禁用对机器的操作的控制，
其中***的应用被配置为：
区分用于在第二位置处的持续接触的触摸输入与其他触摸输入，其中当所述其他触摸输入发生时，用于在第二位置处的持续接触的触摸输入仍在持续；以及
在检测用于在第二位置处的持续接触的触摸输入的同时将所述其他触摸输入用于控制机器的操作。
18.根据权利要求17所述的***，其中使能对机器的操作的控制包括：
认证输入手势；
检测触摸屏上的第二位置处的持续接触；以及
与机器通信以交换用于链接到所述机器的凭证。
19.根据权利要求17所述的***，其中所述功能还包括：为恢复所述机器的操作：
在所述触摸屏上接收第二输入手势；以及
基于第二输入手势被认证、并基于检测到在第二位置处的持续接触，恢复所述机器的操作。
20.根据权利要求17所述的***，其中所述功能还包括：
在触摸屏上显示图案；以及
基于所述输入手势的认证，在所述触摸屏上显示通知所述第二位置是应急开关接触区域的图标。
CN201680012872.7A 2015-03-30 2016-02-02 用于机器控制的基于手势的开关的方法和*** Active CN107408015B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/672,750 2015-03-30
US14/672,750 US9965042B2 (en) 2015-03-30 2015-03-30 Methods and systems for gesture based switch for machine control
PCT/US2016/016049 WO2016160118A1 (en) 2015-03-30 2016-02-02 Methods and systems for gesture based switch for machine control

Publications (2)

Publication Number Publication Date
CN107408015A CN107408015A (zh) 2017-11-28
CN107408015B true CN107408015B (zh) 2021-05-11

Family

ID=55359755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680012872.7A Active CN107408015B (zh) 2015-03-30 2016-02-02 用于机器控制的基于手势的开关的方法和***

Country Status (6)

Country Link
US (1) US9965042B2 (zh)
EP (1) EP3278202A1 (zh)
JP (1) JP6405052B2 (zh)
KR (1) KR102014010B1 (zh)
CN (1) CN107408015B (zh)
WO (1) WO2016160118A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965042B2 (en) * 2015-03-30 2018-05-08 X Development Llc Methods and systems for gesture based switch for machine control
US10019566B1 (en) * 2016-04-14 2018-07-10 X Development Llc Authorizing robot use and/or adapting physical control parameters for a robot
US10572141B2 (en) * 2016-06-10 2020-02-25 Cnh Industrial America Llc Autonomous agricultural system user interface interlock
JP6953778B2 (ja) * 2017-04-28 2021-10-27 オムロン株式会社 協調ロボット、コントローラ、および方法
DE112018006732B4 (de) * 2018-01-31 2022-03-10 Mitsubishi Electric Corporation Berührungsbildschirmvorrichtung
US10986087B2 (en) * 2018-07-17 2021-04-20 International Business Machines Corporation Motion based authentication

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102789327A (zh) * 2012-08-07 2012-11-21 北京航空航天大学 一种基于手势的移动机器人控制方法
CN103838369A (zh) * 2012-11-23 2014-06-04 海德堡印刷机械股份公司 用于印刷机的手势控制装置
CN104238909A (zh) * 2013-06-07 2014-12-24 三星电子株式会社 快速执行移动装置的锁定屏幕上的应用的方法及移动装置

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4991227A (en) * 1988-01-11 1991-02-05 Motorola, Inc. Squelch circuit with variable squelch tail and variable hysteresis
US6610917B2 (en) * 1998-05-15 2003-08-26 Lester F. Ludwig Activity indication, external source, and processing loop provisions for driven vibrating-element environments
US6560513B2 (en) 1999-11-19 2003-05-06 Fanuc Robotics North America Robotic system with teach pendant
US7079551B2 (en) * 2000-10-05 2006-07-18 Kiribati Wireless Ventures, Llc Private network link verification procedure in free space optical communication network
US7027389B2 (en) * 2000-12-11 2006-04-11 Cisco Technology, Inc. Fast failure detection using RTT time considerations on a non-retransmit medium
US7170492B2 (en) * 2002-05-28 2007-01-30 Reactrix Systems, Inc. Interactive video display system
JP2004112113A (ja) * 2002-09-13 2004-04-08 Matsushita Electric Ind Co Ltd リアルタイム通信の適応制御方法、受信報告パケットの連続消失に対する対策方法、受信報告パケットの送出間隔の動的決定装置、リアルタイム通信の適応制御装置、データ受信装置およびデータ配信装置
US7034659B2 (en) * 2002-09-23 2006-04-25 Intermec Ip Corp. Method and system for limiting use of electronic equipment
US7222305B2 (en) * 2003-03-13 2007-05-22 Oracle International Corp. Method of sharing a desktop with attendees of a real-time collaboration
US7643907B2 (en) 2005-02-10 2010-01-05 Abb Research Ltd. Method and apparatus for developing a metadata-infused software program for controlling a robot
US7657849B2 (en) * 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US8108092B2 (en) 2006-07-14 2012-01-31 Irobot Corporation Autonomous behaviors for a remote vehicle
US8630768B2 (en) * 2006-05-22 2014-01-14 Inthinc Technology Solutions, Inc. System and method for monitoring vehicle parameters and driver behavior
US7536006B2 (en) * 2006-07-21 2009-05-19 Motorola, Inc. Method and system for near-end detection
US7890778B2 (en) * 2007-01-06 2011-02-15 Apple Inc. Power-off methods for portable electronic devices
US8619041B2 (en) * 2008-10-07 2013-12-31 Blackberry Limited Portable electronic device and method of controlling same
US20110260829A1 (en) * 2010-04-21 2011-10-27 Research In Motion Limited Method of providing security on a portable electronic device having a touch-sensitive display
EP2566552B1 (en) * 2010-05-07 2017-04-05 Maquet Critical Care AB Breathing apparatus with user interface
US9262073B2 (en) * 2010-05-20 2016-02-16 John W. Howard Touch screen with virtual joystick and methods for use therewith
US8800026B2 (en) * 2010-06-18 2014-08-05 Sharp Kabushiki Kaisha Information terminal device and method of personal authentication using the same
KR101669967B1 (ko) * 2010-08-23 2016-10-27 엘지전자 주식회사 이동단말기 및 그 제어방법
KR102017552B1 (ko) * 2011-05-31 2019-09-03 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 검출된 오작동 상태를 제어하는 수술 기구
EP2757452A4 (en) * 2011-09-16 2015-08-05 INFORMATION PROCESSING DEVICE HAVING UNLOCKING FUNCTION
KR20130039586A (ko) * 2011-10-12 2013-04-22 삼성전자주식회사 터치 디바이스의 잠금 기능 제공 방법 및 장치
US8984276B2 (en) 2012-01-10 2015-03-17 Jpmorgan Chase Bank, N.A. System and method for device registration and authentication
KR101894567B1 (ko) * 2012-02-24 2018-09-03 삼성전자 주식회사 락스크린 운용 방법 및 이를 지원하는 단말기
US10281986B2 (en) 2012-05-03 2019-05-07 Georgia Tech Research Corporation Methods, controllers and computer program products for accessibility to computing devices
ITTV20120138A1 (it) * 2012-07-25 2014-01-26 Isis S R L Metodo per il controllo e l'attivazione di una interfaccia utente e dispositivo e impianto con tale metodo e interfaccia
ITTV20120139A1 (it) * 2012-07-25 2014-01-26 Isis S R L Metodo per il controllo e l'attivazione di una interfaccia utente contestuale e dispositivo e impianto con tale metodo e interfaccia
US9179197B2 (en) * 2012-10-10 2015-11-03 Sonos, Inc. Methods and apparatus for multicast optimization
US8694791B1 (en) * 2012-10-15 2014-04-08 Google Inc. Transitioning between access states of a computing device
US8537715B1 (en) * 2012-10-30 2013-09-17 Aruba Networks, Inc. Method and system for network failover and network selection with multi-mode modem in remote access points
EP2958711B1 (en) 2013-02-21 2017-06-07 ABB Schweiz AG An industrial robot system comprising an enabling unit and a plurality of general purpose devices and a method for controlling the robot system
US8621062B1 (en) * 2013-03-15 2013-12-31 Opscode, Inc. Push signaling to run jobs on available servers
US20140336828A1 (en) * 2013-05-09 2014-11-13 Terydon, Inc. Mechanism for remotely controlling water jet equipment
DE102013012394A1 (de) * 2013-07-26 2015-01-29 Daimler Ag Verfahren und Vorrichtung zur Fernsteuerung einer Funktion eines Fahrzeugs
US9177166B2 (en) * 2013-08-21 2015-11-03 Systel Business Equipment Co., Inc. System and method for authentication
US20150089454A1 (en) * 2013-09-25 2015-03-26 Kobo Incorporated Overscroll stretch animation
US9619770B2 (en) * 2014-04-05 2017-04-11 Parsable, Inc. Systems and methods for digital workflow and communication
US10601978B2 (en) * 2014-06-04 2020-03-24 T-Mobile Usa, Inc. Telecommunication device utilization based on heartbeat communication
US9779151B2 (en) * 2014-09-25 2017-10-03 Business Objects Software Ltd. Visualizing relationships in data sets
US9965042B2 (en) * 2015-03-30 2018-05-08 X Development Llc Methods and systems for gesture based switch for machine control

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102789327A (zh) * 2012-08-07 2012-11-21 北京航空航天大学 一种基于手势的移动机器人控制方法
CN103838369A (zh) * 2012-11-23 2014-06-04 海德堡印刷机械股份公司 用于印刷机的手势控制装置
CN104238909A (zh) * 2013-06-07 2014-12-24 三星电子株式会社 快速执行移动装置的锁定屏幕上的应用的方法及移动装置

Also Published As

Publication number Publication date
US20160291697A1 (en) 2016-10-06
CN107408015A (zh) 2017-11-28
EP3278202A1 (en) 2018-02-07
US9965042B2 (en) 2018-05-08
KR20170124580A (ko) 2017-11-10
KR102014010B1 (ko) 2019-08-23
WO2016160118A1 (en) 2016-10-06
JP6405052B2 (ja) 2018-10-17
JP2018507469A (ja) 2018-03-15

Similar Documents

Publication Publication Date Title
CN107408015B (zh) 用于机器控制的基于手势的开关的方法和***
ES2761248T3 (es) Manejo sin contacto de estación de trabajo del instrumento de ablación mediante el uso de sensores de profundidad
US9393699B1 (en) Methods and systems for wireless control of a robotic device
US10616400B2 (en) Method for controlling terminal device, terminal device, and wearable device thereof
CN104969595B (zh) 用于进行安全的进入码输入的方法和终端设备
JP2019005819A (ja) 遠隔操作型移動ロボットおよびロボット制御システム
EP3165974B1 (en) Apparatuses, methods and computer programs for controlling a machine via a mobile communication device
CN103092523A (zh) 一种解锁方法及终端
EP3196738B1 (en) Method for controlling blank screen gesture processing and terminal
US10642373B2 (en) Throttle functionality of haptic controller
WO2017148006A1 (zh) 一种终端控制方法、装置、终端及计算机存储介质
JP6103835B2 (ja) 情報処理装置およびその制御方法
US20160170386A1 (en) Electronic device and control method using electronic device
CN103902396A (zh) 一种信息处理方法及电子设备
JP6773087B2 (ja) ロボット操作装置
CN104898818A (zh) 一种信息处理方法及电子设备
US20180050454A1 (en) Proximity-Based Binding
JP2017052031A (ja) ロボット操作装置、ロボット操作方法
JPWO2018173950A1 (ja) イネーブルスイッチおよび操作部
CN104951378B (zh) 一种控制方法及终端
CN103513881B (zh) 电子设备及电子设备中控制显示界面的方法及装置
CN110216679B (zh) 一种机械臂解锁方法及装置
JP7347500B2 (ja) 移動制御装置及び移動体
US20220339779A1 (en) Robot control system, robot control method, and control program
CN112532791B (zh) 移动终端的解锁方法、装置、存储介质及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant