CN107637066A - 使用可穿戴装置的远程控制方法和装置 - Google Patents

使用可穿戴装置的远程控制方法和装置 Download PDF

Info

Publication number
CN107637066A
CN107637066A CN201680027656.XA CN201680027656A CN107637066A CN 107637066 A CN107637066 A CN 107637066A CN 201680027656 A CN201680027656 A CN 201680027656A CN 107637066 A CN107637066 A CN 107637066A
Authority
CN
China
Prior art keywords
wearable device
control
user
camera
remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680027656.XA
Other languages
English (en)
Inventor
具本铉
安泰源
孔栋建
金英圭
金俊亨
白斗山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107637066A publication Critical patent/CN107637066A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/04Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/10Use of a protocol of communication by packets in interfaces along the display data pipeline
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)

Abstract

对远程控制方法、***和装置进行了描述。一方面,提供了一种使用可穿戴装置的远程控制方法。在所述方法中,通过网络建立与远程相机的通信连接,并且根据检测到的穿戴可穿戴装置的用户的运动来控制远程相机的视场(FoV)。

Description

使用可穿戴装置的远程控制方法和装置
技术领域
本公开总体涉及一种用于远程地控制装置的方法和装置,更具体地,涉及一种使用可穿戴装置的远程控制方法和装置。
背景技术
互联网已经从人类可创造和消费信息的以人为中心的连接网络演变为分布式组件(诸如,电气和电子组件)可交换和处理信息的物联网(IoT)。例如,在万物互联(IoE)中,大数据处理技术通过与云服务器等的连接来与IoT技术相组合。
为了实现IoT,可能需要诸如传感技术、有线/无线通信以及网络基础设施、服务接口技术和安全技术的技术因素。近年来,已经研究出了用于物之间的连接的技术,诸如,传感器网络、机器到机器(M2M)和机器类型通信(MTC)。
在IoT环境中,可提供连接的物可收集和分析其中产生的数据以为人类生活创造新的价值的智能互联网技术(IT)服务。通过现有IT技术与各种行业的融合,IoT被应用于创建智能家居、智能建筑、智能城市、智能汽车或联网汽车、智能电网、智能医疗、智能家电和高科技医疗服务的领域。
由于IoT服务的成熟适应,已提出了用于通过将各种装置链接到单个网络以实现服务的技术。IoT是所有基于网络的装置彼此无缝连接的技术。IoT技术在各种IT服务中都是必需的。为了实现IoT服务,各种可穿戴装置已被引入市场。典型类型的可穿戴装置包括智能手表类型的装置(诸如,苹果iWatchTM和三星Galaxy GearSTM)和头戴显示器(HMD)装置(诸如,谷歌GlassTM和三星GearVRTM)。此外,针对基于IoT技术的移动或可穿戴装置(诸如,智能家居)的各种研究正在进行中。
发明内容
技术问题
根据本公开的各方面,提供了一种用于使用可穿戴装置来远程地控制其它装置的方法和装置。
此外,本公开提供了一种用于使用可穿戴装置来远程地控制相机的方法和装置。
另外,本公开提供了一种用于使用可穿戴装置来远程地控制建筑物***内的至少一个相机的方法和装置。
此外,本公开提供了一种用于使用移动装置来远程地控制相机或其它装置的方法和装置。
技术方案
根据本公开的一方面,提供了一种使用可穿戴装置进行远程控制的方法,所述方法包括:通过网络建立与远程相机的通信连接;根据检测到的穿戴可穿戴装置的用户的运动来控制远程相机的视场。
根据本公开的另一方面,提供了一种可穿戴装置,所述装置包括:通信接口;传感器单元;控制器,被配置为通过网络建立与远程相机的通信连接,并且根据通过由传感器单元检测到的穿戴可穿戴装置的用户的运动来控制远程相机的视场。
根据本公开的另一方面,提供了一种用于使用移动装置进行远程控制的方法,所述方法包括:由移动装置通过网络建立与远程相机的通信连接;根据由传感器检测到的移动装置的运动来控制远程相机的视场,其中,控制远程相机的视场的步骤包括:对检测运动的传感器的噪声数据进行补偿。
根据本公开的另一方面,提供了一种移动装置,所述移动装置包括:显示单元;通信接口;传感器单元;控制器,被配置为经由通信接口通过网络建立与远程相机的通信连接,并且根据由传感器单元检测到的运动来控制远程相机的视场,其中,控制视场的步骤包括:对检测运动的传感器单元的噪声数据进行补偿。
附图说明
从以下结合附图的详细描述中,本公开的以上和其他方面、特征和优点将更加清楚,其中:
图1是示出用于使用诸如智能电话的移动装置对远程网络相机进行平移/倾斜/缩放(P/T/Z)控制的用户界面屏幕的示例的示图;
图2是示出根据本公开的实施例的用于使用可穿戴装置来控制安装在远程站点的至少一个相机的运动的***的示例的示图;
图3a是示出根据本公开的实施例的可穿戴装置和被远程控制的相机的示例的框图;
图3b是示出根据本公开的实施例的用于使用可穿戴装置来控制安装在远程站点的相机和终端装置的远程控制***的示例的示图;
图4是示出根据本公开的实施例的可被使用的通信接口的示例的示图;
图5是示出根据本公开的实施例的用于使用可穿戴装置的相机控制方法的头部运动的示图;
图6a是示出使用根据本公开的另一实施例的用于使用可穿戴装置的相机控制方法的使用一对智能手表的手部运动的示图;
图6b是示出根据本公开的另一实施例的在可穿戴设备上直接输入的触摸的示图;
图7示出根据本公开的实施例的远程相机的平移和倾斜控制操作;
图8是根据本公开的实施例的在可穿戴装置中使用头部追踪进行远程相机控制的传感器数据的曲线图;
图9示出根据本公开的实施例的使用支持增强现实(AR)的可穿戴装置来控制安装在远程站点的终端装置的示例;以及
图10示出根据本公开的实施例的使用支持AR的移动装置来控制安装在远程站点的终端装置的操作的示例。
具体实施方式
在本公开的实施例的以下描述中,省略了对已知功能或配置的详细描述,以避免不必要地模糊本公开的主题。贯穿附图,相同的标号将被理解为表示相同的部件、组件和结构。
随着IoT技术的发展,已经提出了使用可穿戴装置的各种IoT服务。本公开通过经由可穿戴装置控制安装在家庭网络或建筑***中的至少一个相机来提供作为IoT服务的示例的监控服务、访问管理服务或安全监控服务(以下称为远程监控服务),并提出用于控制通过安装在家庭网络或建筑***中的相机识别出其他装置的操作的服务。
以下描述使用家庭网络或建筑***中的相机的远程监控服务。在本实施例中,为了控制远程装置(即,安装在家庭网络或建筑***中的相机),专用应用需要安装在用户终端中,并且为了将用户的控制命令发送到装置,需要用户的手动键输入。在这种情况下,对于装置的远程控制可能存在空间约束。
图1示出用于使用诸如智能电话的移动装置对远程网络相机进行平移/倾斜/缩放(P/T/Z)控制的用户界面屏幕的示例。平移控制用于左/右方向控制,倾斜控制用于上/下方向控制,缩放控制用于放大/缩小控制。
在图1的示例中,用户可通过智能电话100上的用户界面(UI)110输入和发送P/T/Z控制命令以便调整远程网络相机的视野(即,视场(FoV))。如果P/T/Z控制命令被发送到远程网络相机,则根据P/T/Z控制命令调整远程网络相机的FoV,并且用户可通过智能电话100观察安装有远程网络相机的远程站点中的经过调整的图像。
然而,在图1的示例中,对于相机控制,需要使用用户双手的键输入,一只手握住智能电话,另一只手触摸触摸屏上的UI按钮以进行控制。因此,用户便利性低,产生了添加用于支持免手动远程控制的附加功能的需要。
作为装置的远程控制的另一示例,存在通过在眼镜类型可穿戴装置上安装红外(IR)发射器来通过用户的视线控制消费者电子装置的技术。利用该技术,可经由装备有IR发射器的眼镜类型可穿戴装置通过追踪用户的眼睛来远程地控制诸如家用电器的装置。然而,这种技术需要用于IR控制命令的传输的视线,产生空间约束。
作为装置的远程控制另一示例,用户可在智能电话中安装下述应用:通过所述应用,用户可通过安装的该应用的UI来检查远程装置的操作状态。然而,在一些情况下,由于各种变数(诸如,与服务器的连接故障或事件调度错误),该应用的UI可能与远程装置不能准确同步。这可能导致与用户的意图命令不同的命令被发送到控制目标装置。因此,需要用于确保远程装置的更准确的控制的方法。
因此,本公开提供了一种使用可穿戴装置的远程控制方法以进一步改善在远程监控中的用户的便利性,解决远程装置控制的空间约束,并且确保远程装置的更准确的控制。可穿戴装置可以是能够检测用户的头部运动的各种类型的可穿戴装置(诸如,例如,眼镜类型可穿戴装置或头戴显示器(HMD)类型可穿戴装置)中的任意一种。
此外,本公开提供了用于使用智能手表、头部追踪、语音识别和/或触摸界面对家庭网络或建筑***中的装置进行远程控制的方法、***和设备。在一个实施例中,智能手表通过P/T/Z控制和语音识别来控制远程网络相机的运动。本文中可使用术语“相机”来表示远程网络相机。
图2是示出根据本公开的实施例的用于使用可穿戴装置来控制安装在远程站点的至少一个相机的运动的***的示例的示图。
在图2中,眼镜类型可穿戴装置210实时地通过网络21接收由远程站点250处的相机230捕捉的图像,并且用户在可穿戴装置210的显示屏幕上检查接收到的图像P1。穿戴在用户的头部的眼镜类型可穿戴装置210可通过网络21将与用户的头部运动相应的P/T/Z控制命令发送到相机230,并且一旦接收到P/T/Z控制命令,相机230可根据P/T/Z控制命令调整它的FoV。
此外,用户可检查来自相机230的实时图像,并且远程地控制在实时图像的FoV内能够被看到的远程站点250处安装的装置的操作。安装在远程站点250的装置的远程控制可通过在可穿戴装置210上做出的触摸输入或键操作来执行,或者当可穿戴装置210包括用于识别语音命令的装置时通过对语音命令的识别来执行。如根据本公开的各种实施例的图3a和图3b中的示例所示,可穿戴装置210可以以各种方式来实现,。
图3a是示出根据本公开的实施例的可穿戴装置和被远程控制的相机的示例的框图。虽然可设置多个相机,但是为了便于描述,假设仅安装一个相机。
在3a中,可穿戴装置210a包括显示单元211、传感器单元213、通信接口215和控制器217。可穿戴装置210a可以是能够检测用户的头部的运动的各种类型的可穿戴装置(诸如,眼镜类型可穿戴装置或HMD类型可穿戴装置)中的任意一种。然而,在本公开的下述实施例中,为了便于描述,使用眼镜类型可穿戴装置。
在图3a中,显示单元211用于显示实时地从远程相机230发送的图像。传感器单元213检测穿戴可穿戴装置210a的用户的头部运动(例如,上/下/左/右运动),并且输出与检测到的头部运动相应的值。通信接口215包括:有线/无线通信模块,用于通过网络21发送用于控制相机230的运动的控制命令,并且从远程相机230接收图像。控制器217通过通信接口215被连接到远程相机230,进行控制以通过通信接口215从远程相机230接收图像,并且进行控制以在显示单元211上显示接收到的图像。
更具体地,控制器217可产生P/T/Z控制命令,使得可将远程相机230的旋转角度调整为与由将相应的值输出到控制器217的传感器单元213检测到的用户的头部运动相应,并且可通过通信接口215将产生的P/T/Z控制命令发送到相机230。相机230的FoV可沿上/下/左/右方向中的任意一个或更多个来调整。对于传感器单元213,可使用能够检测沿上/下/左/右方向的用户的头部运动的陀螺仪传感器。传感器单元213可被实现为用于精确运动检测的多个传感器。
在图3a中,相机230包括驱动单元231、镜头单元233、通信接口235和控制器237。相机230是可在例如家庭或商业建筑物中使用的用于远程监控的远程网络相机。驱动单元231在控制器237的控制下控制安装有相机镜头的镜头单元233的运动。通信接口235包括:有线/无线通信模块,用于通过网络21接收从可穿戴装置210a发送的远程相机控制命令,并且用于根据发送的控制命令来调整远程相机230。例如,一旦接收到P/T/Z控制命令,控制器237根据接收到的P/T/Z控制指令来通过驱动单元231控制镜头单元233的运动。此外,控制器237可控制处理由镜头单元233捕捉的图像,并且将经过处理的图像发送到可穿戴装置210a的操作。
图3b是示出根据本公开的实施例的用于使用可穿戴装置来控制安装在远程站点的相机和终端装置的远程控制***的示例的示图。
图3b中的***可包括可穿戴装置210b、相机230、网关310和终端装置330。图3b中的可穿戴装置210a包括图3a中的可穿戴装置210a的功能,并且还包括用于识别用户的语音命令并将与语音命令相应的控制命令传送到网关310的功能。语音命令用于控制终端装置330的操作,并且一旦接收到与语音命令相应的控制命令,则网关310响应于所述控制命令来控制终端装置330的操作(诸如,开/关控制)。
图3b中的可穿戴装置210b包括用于识别语音命令的语音识别单元219。任何已知的语音识别模块可被用于语音识别单元219。一旦通过语音识别单元219接收到用户的语音命令,控制器217将与语音命令相应的控制命令发送到网关310。发送的控制命令可以以包括针对作为控制命令的目标的终端装置330的识别信息和控制信息的包的形式来配置。控制信息可以是终端装置330的特定运动控制命令或电源开/关控制命令。
携带控制命令的包可包括可穿戴装置210b的用户认证信息。如果基于用户认证信息将用户识别为合法用户,则网关310响应于接收到的控制命令来控制终端装置330的操作,并且如果用户未被识别为合法用户,则网关310不执行接收到的控制命令。在图3b中的可穿戴装置210b中,除了与语音命令相关的功能之外,其他功能与图3a中的可穿戴装置210a的功能相同,并且相机230的功能也与图3a的示例中那些功能相同,因此省略其详细描述。
在图3b中,网关310从可穿戴装置210b接收控制命令以控制终端装置330的操作。在图3b的***中,相机230、网关310和终端装置330被安装在同一远程站点。使用可穿戴装置210b的用户接收由相机230捕捉的远程图像,并且通过语音命令来控制终端装置330的操作。例如,在建筑物***中,如果在相机230的监控区域中检测到外部人的进入,则可以发送并执行诸如打开所述区域中的灯的远程控制命令。
作为另一示例,在家庭***中,使用可穿戴装置210b的用户通过相机230远程地检查家庭情况,并且随后用户可给出诸如“清洁客厅”的语音命令以便操作家庭终端装置330之中的无线清洁器。然后,可穿戴装置210b分别识别“清洁”和“客厅”,并且读出/确定“清洁”是应当被发送到无线清洁器家庭终端装置330的命令和以及“客厅”是清洁位置。然后,可穿戴装置210b将包括与识别/读出结果相应的控制命令的包(诸如,例如,包括无线清洁器的识别信息、清洁命令、清洁位置信息等的包)发送到网关310。
在图3b中,网关310包括存储单元311、用户接口313、通信接口315和控制器317。
存储单元311被配置为在它的控制器317的控制下存储网关310的操作所需的程序代码、数据和/或信息。例如,存储单元311可存储一个或更多个更多个终端装置330的注册信息、关于能够从可穿戴装置210b发送的各种控制命令的信息以及一个或更多个终端装置330的操作状态信息。此外,根据实施例,存储单元311可存储从外部装置(诸如,例如,***操作员的终端、用户的智能电话等)接收到的数据。用户接口313可包括各种输出模块(诸如,显示器、扬声器和警报灯)以及各种输入模块(诸如,触摸屏、键区和麦克风)中的至少一个,并且可以由用户使用来直接控制网关310,将作为控制目标的终端装置330注册在网关310中或从网关310移除作为控制目标的终端装置330,或者通过网关310来控制终端装置330。
在图3b中,网关310中的通信接口315包括各种有线/无线通信模块,用于例如从可穿戴装置210b接收有关与用户的语音命令相应的控制命令的包,并且响应于所述控制命令发送用于控制终端装置330的操作的控制信号。一旦从可穿戴装置210b接收到控制命令,控制器317响应于接收到的控制命令通过通信接口315将用于控制终端装置330的操作的控制信号发送到终端装置330。接着以上清洁客厅的示例,控制器317可通过通信接口315发送指示无线清洁器终端装置330来“清洁”“客厅”的控制信号。此外,根据用户的要求,控制器317可控制用于接收关于终端装置330的操作状态或(控制命令的)操作结果的信息,并且将接收到的关于操作状态或操作结果的信息发送到可穿戴装置210b的操作。
在图3b中,终端装置330包括存储单元331、用户接口333、通信接口335和控制器337。
存储单元331根据从网关310发送的控制信号存储控制终端装置330的操作所需的各种信息。控制信号可针对开/关操作控制、详细操作控制(例如,操作时间、操作位置等)等而被分类。针对终端装置330和网关310之间的各种操作控制而被预先确定的控制信号可被注册和使用。此外,存储单元331可存储终端装置330的操作状态记录。终端装置330的位置和/或相对位置可使用射频(RF)标签、传感器等来确定。用户接口333可包括各种输出模块(诸如,显示器、扬声器和警报灯)和各种输入模块(诸如,触摸屏、键区和麦克风)中的至少一个,并且可用于控制终端装置330的操作。一旦从网关310接收到控制信号,控制器337根据接收到的控制信号控制终端装置330的操作。此外,控制器337可通过通信接口335将由根据接收到的控制信号的操作而确定的结果或状态信息发送到网关310。通信接口335可包括各种有线/无线通信模块,用于从网关310接收控制信号,并且将操作结果或操作状态信息发送到网关310。
在下文中,“可穿戴装置210”可表示能够检测用户运动的任意可穿戴装置,诸如,例如,眼镜类型可穿戴装置、头戴显示器(HMD)类型可穿戴装置、图3a中的可穿戴装置210a以及图3b中的可穿戴装置210b。
图4是示出根据本公开的实施例的可在可穿戴装置210、远程相机230、网关310和终端装置330中的任意一个中使用的通信接口的示例的示图。在图4中,通信接口400包括各种基于有线/无线通信协议的模块,诸如,WiFi或基于802.xx的无线LAN模块401、ZIGBEETM模块403、蓝牙TM模块405、近场通信(NFC)模块407、Z-波模块409和有线通信模块411。Z-波是用于家庭网络等的射频(RF)技术中的一种。根据实施例,可穿戴装置210、远程相机230、网关310和终端装置330的通信接口可使用图4中示出的模块中的至少一个,并且/或者可使用除了图4所示的那些模块之外的各种公知的有线/无线通信模块。
在本公开的各种实施例中,假设终端装置330使用基于ZIGBEETM的家庭自动规范(HAP)或智能能量规范(SEP)与网关310进行通信,并且相机230使用WiFi网络与可穿戴装置210进行通信。
图5是示出根据本公开的实施例的用于使用可穿戴装置的相机控制方法的头部运动的示图。图7示出作为结果的远程相机的平移和倾斜操作。
在图5中,将可穿戴装置210穿戴在他/她的头部的用户可通过例如语音命令或触摸输入访问远程相机。一旦做出了远程访问,则通过网络(诸如,使用例如实时流传输协议(RTSP)的网络21)将由远程相机捕捉的实时图像发送到可穿戴装置210。用户在可穿戴装置210的显示屏幕上检查接收到的图像。
在下文中,用户可移动他/她的头部以控制远程相机的运动。如果用户的头部沿如图5中的标号507(向左偏)或509(向右偏)所示的向左/向右方向水平地旋转(即,偏头)以控制远程相机的FoV,则远程相机以与如图7中所示的相同的向左/向右运动703进行平移。如果用户的头部沿如图5中的标号503(上仰)和505(下俯)所示的向上/向下方向垂直旋转(即,倾斜或俯仰),则远程相机以与如图7所示的相同的向上/向下运动701倾斜。相机230的角度变化可使用相机230和可穿戴装置210之间的应用编程接口
(API)来控制。
图6a和图6b是分别示出根据本公开的实施例的用于远程相机控制的手势和触摸输入的示图。
图6a示出使用具有与眼镜类型可穿戴装置210的通信连接的一对智能手表通过手部运动进行的相机控制方法。所述智能手表中的每一个检测用户的手腕中的每个手腕的旋转,并将检测结果发送到可穿戴装置210。如果检测到的左手腕603或右手腕601的旋转大于或等于相关联的阈值,则可穿戴装置210分别执行远程相机的平移或倾斜。
图6b示出使用对眼镜类型可穿戴装置210的用户触摸输入进行的相机控制方法。如果用户通过使用他/她的手指沿向上/向下或向左/向右方向摩擦包括在可穿戴装置210中的触摸界面来做出触摸输入,则可穿戴装置210分别执行远程相机的平移或倾斜。
图8是根据本公开的实施例的在可穿戴装置中使用头部追踪进行远程相机控制的传感器数据的曲线图。该曲线图示出了由例如可穿戴装置210中的陀螺仪传感器检测的头部追踪波形的示例。Y轴指示陀螺仪传感器的输出值。参照图8,标号801指示当用户的头部正朝右侧运动时由陀螺仪传感器检测到的两个头部追踪波形,并且标号803指示当用户的头部朝左侧运动时由陀螺仪传感器检测到的两个头部追踪波形。
由陀螺仪传感器检测到的实际头部追踪波形可具有与如图8中的细实线83表示的波形类似的波动。所述波动可能使远程相机的稳定控制变得困难。在本公开的实施例中,可应用卡尔曼滤波器来补偿陀螺传感器的传感器数据中的波动。由图8中粗实线表示的波形81表示波动通过将卡尔曼滤波器应用于传感器数据而得到补偿的波形。可以使用其他已知的滤波器,只要它们能够补偿所述波动。
在眼镜类型可穿戴装置210中,当使用者的头部从一侧移动到另一侧时,Y轴运动可示出图8中的曲线图的波形。
例如,如果用户将他/她的头部向右旋转,并且传感器数据具有在0.00~+1.00之间的值,则与头部旋转同步的远程相机的运动将以在0°~+90°之间的旋转值进行平移。如果用户将他/她的头部向左旋转,并且传感器数据的值具有-1.00~0.00之间的值,则与头部旋转同步的远程相机的运动将以-90°~0°之间的旋转值进行平移。
在这种情况下,用于远程相机的控制的API的控制值如下表1所示。
表1
头部运动 传感器值(Y) 相机角度 API
右路 0.00~+1.00 0°~90° 1,0
左路 -1.00~0.00 -90°~0° -1,0
另一方面,如果用户将他/她的头部向上转动,并且传感器数据具有0.00~+1.00之间的值,则与头部旋转同步的远程相机的运动将以0°~+30°之间的旋转值进行倾斜。如果用户将他/她的头部向下转动,并且传感器数据具有-1.00~0.00之间的值,则与头部旋转同步的远程相机230的运动将以-30°~0°之间的旋转值进行倾斜。
在这种情况下,用于远程相机的控制的API的控制值如下表2所示。
表2
头部运动 传感器值(Y) 相机角度 API
上路 0.00~+1.00 0°~+30° 0,1
下路 -1.00~0.00 -30°~0° 0,-1
此外,本公开提出了以下等式(1)和等式(2)的算法,使得应用了等式(1)和等式(2)的平移控制和倾斜控制以相同的方式执行。对于陀螺仪传感器的传感器数据,当用户的头部旋转时(或者,等同地,当陀螺仪传感器移动时),可能产生多个噪声数据,因此相机可能不能准确地移动。可应用等式(1)和等式(2)的算法来补偿由安装在可穿戴装置上的陀螺仪传感器的运动引起的噪声数据。
根据本公开的实施例,如果应用了如以下等式(1)和等式(2)定义的滤波器,则在用户的头部的旋转期间被控制的相机可具有更平稳的运动。
X=X+(Sensor Valuet-X)×K...(1)
以下表3定义了等式(1)和(2)中的变量。
表3
变量 定义
X (应用了滤波器)经过校正的SensorValuet的值
SensorValuet 在时间t测量的传感器数据的原始数据值
K 在时间t的***测量矢量
P 在时间t的处理噪声值
Q 由算法定义的常数(预定义的值)
R 在时间t的估计噪声值
等式(1)用于执行滤波,使得陀螺仪传感器的实时传感器数据可具有经过调整的值(如图8中的标号81所示),并且等式(2)用于测量等式(1)中的变量。在表3中,P值可以是在时间t被线性计算出的噪声的估计值,并且R值可以被实验地估计为在时间t估计的噪声的值,并且可被用于确定针对所述噪声的补偿值。也就是说,P值是通过使用R值进行线性补偿得到的噪声的估计值。
图9示出根据本公开的实施例的使用支持增强现实(AR)的可穿戴装置来控制安装在远程站点的终端装置的示例。
如图3b的实施例中所述的可穿戴装置、相机、网关和终端装置的配置和功能可在图9的***中被同样地实施。此外,在图9的实施例中,可在可穿戴装置210和网关中另外地实现能够使用AR显示终端装置的操作状态并且控制可穿戴装置210的操作的功能。
在图9中,可穿戴装置210通过通信网络实时地接收由远程站点的相机拍摄的图像P2。接收到的图像P2由用户在可穿戴装置210的显示屏幕上检查。可穿戴装置210通过通信网络将与用户的运动相应的P/T/Z控制命令发送到远程相机,并且一旦接收到P/T/Z控制命令,远程相机根据所述P/T/Z控制命令控制它的运动。如果在可穿戴装置210中运行了AR,则如图9中的标号B1所示,终端装置(诸如,图像P2中的空调)的当前操作状态可被显示在可穿戴装置210的显示屏幕上。
为此,网关(诸如,网关310)控制从终端装置接收关于终端装置的操作状态的信息,并将接收到的信息发送到可穿戴装置210的操作。此外,网关可以作为AR服务器进行操作,以便通过AR将关于终端装置的操作状态的信息提供给可穿戴装置210,并且作为客户端的支持AR的程序可被安装在可穿戴装置210中。
图10示出根据本公开的实施例的使用支持AR的移动装置来控制安装在远程站点的终端装置的操作的示例。图10的实施例图执行与图9的实施例中的操作相同的操作。在该示例中,图9的实施例中的可穿戴装置210的功能在移动装置(即,智能电话100)中被实现。图10的实施例中的操作通过上述实施例(诸如,图1和图9中的实施例)被提供,因此省略其详细描述。
根据以上实施例,可通过网络相机实时捕获诸如家庭或建筑物的远程位置内的图像。根据以上实施例,提供了远程控制方法,其中,通过该方法进一步提高了针对远程相机的FoV控制的用户便利性。此外,根据以上实施例,可使用可穿戴装置从远程相机接收图像信息,并且可使用可穿戴装置、单独的智能手表、触摸输入(诸如,手指滑动)、传感器输入(诸如,头部运动追踪)等远程地控制相机的运动。在一些实施例中,可解决如在例如使用智能电话的远程监控***中用户使用他/她的双手进行相机控制的不便。
此外,根据以上实施例,用户可使用可穿戴装置通过现场相机检查远程站点的情况,并且通过语音命令来控制该远程站点处的远程终端装置的操作。
虽然已经参照本公开的特定实施例示出和描述了本公开,但是本领域技术人员将理解,在不脱离本公开的范围的情况下,可在形式和细节上对其进行各种改变。因此,本公开的范围不应被限定为限于所述实施例,而应当仅由所附权利要求和它们的等同物来限定。

Claims (14)

1.一种使用可穿戴装置进行远程控制的方法,包括:
通过网络建立与远程相机的通信连接;以及
根据检测到的穿戴所述可穿戴装置的用户的运动来控制远程相机的视场。
2.如权利要求1所述的方法,其中,所述可穿戴装置是眼镜类型可穿戴装置。
3.如权利要求1所述的方法,其中,检测到的用户的运动是头部运动。
4.如权利要求1所述的方法,其中,检测到的用户的运动包括穿戴与所述可穿戴装置分离并且与所述可穿戴装置不同的智能手表的用户的手腕运动。
5.如权利要求1所述的方法,其中,检测到的用户的运动包括触摸输入。
6.如权利要求1所述的方法,还包括:
通过识别用户的语音命令来控制远程相机的视场内的远程装置的操作。
7.一种可穿戴装置,包括:
通信接口;
传感器单元;以及
控制器,被配置为通过网络建立与远程相机的通信连接,并且根据由所述传感器单元检测到的穿戴所述可穿戴装置的用户的运动来控制所述远程相机的视场。
8.适合于根据权利要求2至6中的任意一项权利要求进行操作的可穿戴装置。
9.一种用于使用移动装置进行远程控制的方法,包括:
由所述移动装置通过网络建立与远程相机的通信连接;以及
根据由传感器检测到的所述移动装置的运动来控制所述远程相机的视场,
其中,控制所述远程相机的视场的步骤包括:对检测所述运动的传感器的噪声数据进行补偿。
10.如权利要求9所述的方法,其中,所述传感器的噪声数据通过使用噪声的估计值而被线性补偿,其中,所述噪声的估计值是通过在每次应用所述噪声的补偿值而被计算出的。
11.如权利要求9所述的方法,还包括:
接收由所述远程相机捕捉的图像;以及
使用增强现实(AR)显示在捕捉的图像中示出的终端装置的操作状态。
12.如权利要求11所述的方法,还包括:
将用于控制所述终端装置的操作的控制命令发送到能够控制所述终端装置的操作的网关。
13.一种移动装置,包括:
显示单元;
通信接口;
传感器单元;以及
控制器,被配置为经由通信接口通过网络建立与远程相机的通信连接,并且根据由传感器单元检测到的运动来控制所述远程相机的视场,
其中,控制所述远程相机的视场的操作包括:
对检测所述运动的传感器单元的噪声数据进行补偿。
14.适合于根据权利要求10至12中的任意一项权利要求进行操作的移动装置。
CN201680027656.XA 2015-05-12 2016-05-12 使用可穿戴装置的远程控制方法和装置 Pending CN107637066A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020150066288A KR20160133328A (ko) 2015-05-12 2015-05-12 웨어러블 디바이스를 이용한 원격 제어 방법 및 장치
KR10-2015-0066288 2015-05-12
PCT/KR2016/005033 WO2016182374A1 (en) 2015-05-12 2016-05-12 Remote control method and device using wearable device

Publications (1)

Publication Number Publication Date
CN107637066A true CN107637066A (zh) 2018-01-26

Family

ID=57248143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680027656.XA Pending CN107637066A (zh) 2015-05-12 2016-05-12 使用可穿戴装置的远程控制方法和装置

Country Status (5)

Country Link
US (1) US20160335981A1 (zh)
EP (1) EP3295280A4 (zh)
KR (1) KR20160133328A (zh)
CN (1) CN107637066A (zh)
WO (1) WO2016182374A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769535A (zh) * 2018-07-04 2018-11-06 腾讯科技(深圳)有限公司 图像处理方法、装置、存储介质和计算机设备
CN110505401A (zh) * 2019-08-16 2019-11-26 维沃移动通信有限公司 一种摄像头控制方法及电子设备
CN111432120A (zh) * 2020-03-30 2020-07-17 维沃移动通信有限公司 摄像组件的控制方法、可穿戴式设备和介质
WO2022166432A1 (zh) * 2021-02-05 2022-08-11 歌尔科技有限公司 摄像头的控制方法、装置、电子设备及存储介质

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014185146A1 (ja) * 2013-05-15 2014-11-20 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
KR20160138806A (ko) * 2015-05-26 2016-12-06 엘지전자 주식회사 글래스타입 단말기 및 그 제어방법
CN105049813A (zh) * 2015-08-11 2015-11-11 小米科技有限责任公司 控制视频画面的方法、装置及终端
US10097745B2 (en) * 2016-04-27 2018-10-09 Zepp Labs, Inc. Head rotation tracking device for video highlights identification
WO2018043615A1 (ja) * 2016-08-30 2018-03-08 エックスリープ株式会社 情報処理端末
US10122990B2 (en) 2016-12-01 2018-11-06 Varjo Technologies Oy Imaging system and method of producing context and focus images
US11636572B2 (en) * 2016-12-29 2023-04-25 Nokia Technologies Oy Method and apparatus for determining and varying the panning speed of an image based on saliency
JP6815886B2 (ja) * 2017-02-14 2021-01-20 キヤノン株式会社 撮像装置、その制御方法、プログラム
CN106888368A (zh) * 2017-03-21 2017-06-23 广东容祺智能科技有限公司 一种云台实时遥控***
CN106993167A (zh) * 2017-04-28 2017-07-28 深圳前海弘稼科技有限公司 一种植株的监控方法及监控***
CN107147883A (zh) * 2017-06-09 2017-09-08 中国科学院心理研究所 一种基于头动控制的远程摄像***
KR102560689B1 (ko) 2017-09-26 2023-07-28 삼성전자주식회사 Ar 객체를 표시하기 위한 장치 및 방법
US11290518B2 (en) * 2017-09-27 2022-03-29 Qualcomm Incorporated Wireless control of remote devices through intention codes over a wireless connection
CN107832036B (zh) * 2017-11-22 2022-01-18 北京小米移动软件有限公司 语音控制方法、装置及计算机可读存储介质
US11010975B1 (en) * 2018-03-06 2021-05-18 Velan Studios, Inc. Remote camera augmented reality system
CN109067822A (zh) * 2018-06-08 2018-12-21 珠海欧麦斯通信科技有限公司 线上线下融合的实时混合现实城市服务实现方法及***
KR20200090403A (ko) 2019-01-21 2020-07-29 삼성전자주식회사 전자 장치 및 그 제어 방법
CN110121066A (zh) * 2019-01-23 2019-08-13 北京中科戎大科技股份有限公司 一种基于立体视觉的特种车辆辅助驾驶***
US11163434B2 (en) * 2019-01-24 2021-11-02 Ademco Inc. Systems and methods for using augmenting reality to control a connected home system
JP7149215B2 (ja) * 2019-03-27 2022-10-06 富士フイルム株式会社 プリントシステム、プリンタ及び端末
US10965914B2 (en) * 2019-07-08 2021-03-30 Andrae T. D'Acquisto Trail camera
CN112416115B (zh) * 2019-08-23 2023-12-15 亮风台(上海)信息科技有限公司 一种用于控件交互界面中进行人机交互的方法与设备
KR102393869B1 (ko) * 2020-09-01 2022-05-03 이상호 시선 추적 기술을 이용한 ar 방식의 스마트팩토리 모니터링 시스템
US11815687B2 (en) * 2022-03-02 2023-11-14 Google Llc Controlling head-mounted device with gestures into wearable device
JP2023178015A (ja) * 2022-06-03 2023-12-14 三菱ロジスネクスト株式会社 フォークリフトの遠隔操作システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100203933A1 (en) * 2007-05-31 2010-08-12 Sony Computer Entertainment Europe Limited Entertainment system and method
US20120242698A1 (en) * 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
KR20120111330A (ko) * 2011-03-31 2012-10-10 한국과학기술원 동작 인식을 이용한 원격 제어장치, 원격 제어 시스템 및 원격 제어방법
US20140035736A1 (en) * 2012-08-02 2014-02-06 Immersion Corporation Systems and Methods for Haptic Remote Control Gaming
CN103620527A (zh) * 2011-05-10 2014-03-05 寇平公司 使用动作和语音命令来控制信息显示和远程设备的头戴式计算机
CN103843327A (zh) * 2011-09-28 2014-06-04 欧文尤有限公司 摄像机设备及***
CN104423581A (zh) * 2013-08-29 2015-03-18 Lg电子株式会社 移动终端及其控制方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4878409B2 (ja) * 1999-03-23 2012-02-15 キヤノン株式会社 情報制御装置及び情報制御方法及び記憶媒体
US9300921B2 (en) * 1999-07-20 2016-03-29 Comcast Cable Communications, Llc Video security systems and methods
US7262573B2 (en) * 2003-03-06 2007-08-28 Intouch Technologies, Inc. Medical tele-robotic system with a head worn device
US20100321482A1 (en) * 2009-06-17 2010-12-23 Lc Technologies Inc. Eye/head controls for camera pointing
CN102550023A (zh) * 2009-10-23 2012-07-04 上海贝尔股份有限公司 改进的视频监控方法和***
US9557807B2 (en) * 2011-07-26 2017-01-31 Rackspace Us, Inc. Using augmented reality to create an interface for datacenter and systems management
US8813173B2 (en) * 2011-12-22 2014-08-19 Next Level Security Systems, Inc. Mobile communication device surveillance system
KR102058918B1 (ko) * 2012-12-14 2019-12-26 삼성전자주식회사 홈 모니터링 방법 및 장치
US8943558B2 (en) * 2013-03-08 2015-01-27 Next Level Security Systems, Inc. System and method for monitoring a threat
US10288881B2 (en) * 2013-03-14 2019-05-14 Fresenius Medical Care Holdings, Inc. Wearable interface for remote monitoring and control of a medical device
US9609290B2 (en) * 2013-07-10 2017-03-28 Subc Control Limited Telepresence method and system for supporting out of range motion by aligning remote camera with user's head
US20150022674A1 (en) * 2013-07-18 2015-01-22 Koss Corporation Wireless video camera

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100203933A1 (en) * 2007-05-31 2010-08-12 Sony Computer Entertainment Europe Limited Entertainment system and method
US20120242698A1 (en) * 2010-02-28 2012-09-27 Osterhout Group, Inc. See-through near-eye display glasses with a multi-segment processor-controlled optical layer
KR20120111330A (ko) * 2011-03-31 2012-10-10 한국과학기술원 동작 인식을 이용한 원격 제어장치, 원격 제어 시스템 및 원격 제어방법
CN103620527A (zh) * 2011-05-10 2014-03-05 寇平公司 使用动作和语音命令来控制信息显示和远程设备的头戴式计算机
CN103843327A (zh) * 2011-09-28 2014-06-04 欧文尤有限公司 摄像机设备及***
US20140035736A1 (en) * 2012-08-02 2014-02-06 Immersion Corporation Systems and Methods for Haptic Remote Control Gaming
CN104423581A (zh) * 2013-08-29 2015-03-18 Lg电子株式会社 移动终端及其控制方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108769535A (zh) * 2018-07-04 2018-11-06 腾讯科技(深圳)有限公司 图像处理方法、装置、存储介质和计算机设备
CN108769535B (zh) * 2018-07-04 2021-08-10 腾讯科技(深圳)有限公司 图像处理方法、装置、存储介质和计算机设备
CN110505401A (zh) * 2019-08-16 2019-11-26 维沃移动通信有限公司 一种摄像头控制方法及电子设备
CN111432120A (zh) * 2020-03-30 2020-07-17 维沃移动通信有限公司 摄像组件的控制方法、可穿戴式设备和介质
CN111432120B (zh) * 2020-03-30 2021-08-27 维沃移动通信有限公司 摄像组件的控制方法、可穿戴式设备和介质
WO2022166432A1 (zh) * 2021-02-05 2022-08-11 歌尔科技有限公司 摄像头的控制方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2016182374A1 (en) 2016-11-17
KR20160133328A (ko) 2016-11-22
EP3295280A1 (en) 2018-03-21
US20160335981A1 (en) 2016-11-17
EP3295280A4 (en) 2018-03-21

Similar Documents

Publication Publication Date Title
CN107637066A (zh) 使用可穿戴装置的远程控制方法和装置
US10120397B1 (en) Interior climate control utilizing multimodal sensor positioning
CN110168485B (zh) 对物联网装置的增强现实控制
CN108696680A (zh) 用于焦点控制的电子设备和方法
Shih A robust occupancy detection and tracking algorithm for the automatic monitoring and commissioning of a building
CN107660039B (zh) 一种识别动态手势的灯具控制***
CN105116859B (zh) 一种利用无人飞行器实现的智能家居***及方法
KR102484647B1 (ko) 전자 장치의 제어방법 및 컴퓨터 판독 가능 기록매체
US20140176599A1 (en) Display control system and recording medium
CN108205282A (zh) 智能控制面板及其控制方法和控制装置
US20160065828A1 (en) Method for controlling electronic device using ip camera having function of wireless remote controller
US10666768B1 (en) Augmented home network visualization
WO2015083152A2 (en) Apparatus and method for photographing a person using a movable remote device
US20210122495A1 (en) Drone landing ground station
CN107045296A (zh) 智能控制***及方法
EP3398029B1 (en) Intelligent smart room control system
Sankar et al. A way for smart home technology for disabled and elderly people
CN114489070A (zh) 家居巡检方法、非易失性可读存储介质和计算机设备
US11353848B1 (en) Video controlled adjustment of light conditions at a property
CN106875446A (zh) 相机重定位方法及装置
CN109114756A (zh) 空调的控制方法、装置及空调
CN103945122B (zh) 利用云台摄像机和投影机实现虚拟窗户的方法
CN108534295A (zh) 显示数据的方法、装置和***
CN108132607A (zh) 一种智能家居控制***及控制方法
US11328614B1 (en) System and method for returning a drone to a dock after flight

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180126