CN111542420A - 移动家庭机器人及其控制方法 - Google Patents

移动家庭机器人及其控制方法 Download PDF

Info

Publication number
CN111542420A
CN111542420A CN201880085189.5A CN201880085189A CN111542420A CN 111542420 A CN111542420 A CN 111542420A CN 201880085189 A CN201880085189 A CN 201880085189A CN 111542420 A CN111542420 A CN 111542420A
Authority
CN
China
Prior art keywords
information
iot
user
iot devices
map data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880085189.5A
Other languages
English (en)
Other versions
CN111542420B (zh
Inventor
朴赞主
金恩奭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN111542420A publication Critical patent/CN111542420A/zh
Application granted granted Critical
Publication of CN111542420B publication Critical patent/CN111542420B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/026—Acoustical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06—Safety devices
    • B25J19/061—Safety devices with audible signals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Manipulator (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)

Abstract

提供了一种移动家庭机器人。该移动家庭机器人包括被配置为存储家庭内地图数据的存储装置、包括通信接口电路的通信接口、相机、用户接口和处理器，该处理器被配置为基于安装在家中的多个物联网设备(IoT)的设备信息和当移动家庭机器人在家中四处移动时通过相机捕获的图像，生成多个IoT设备中的每一个的位置信息，将生成的位置信息与地图数据进行映射，并且响应于通过用户接口接收到的用户命令，基于映射有位置信息的地图数据来提供基于IoT设备位置的服务。

Description

移动家庭机器人及其控制方法
技术领域
本公开涉及一种移动家庭机器人及其控制方法。例如，本公开涉及用于控制家中的物联网(Internet of things，IoT)设备的移动家庭机器人及其控制方法。
背景技术
由于物联网(IoT)技术的进展，IoT设备(比如，家庭电器、照明设备、音响设备和显示设备等)连接到家中的中枢(hub)设备，以形成IoT网络环境。
在这样的IoT环境中，接收方便且优化的服务的需求已经增加，并且因此，已经开发了用于通过固定的IoT中枢设备提供交互式服务的技术。
为了通过安装在家中的IoT设备为用户提供优化的服务，识别每一个IoT设备的准确位置非常重要。然而，在相关技术的固定类型IoT中枢设备中，不可能自动地识别家中IoT设备的准确位置，因此，提供优化的服务是存在限制的。
即使用户经由中枢设备输入IoT设备的安装位置，用户也在改变移动IoT设备(诸如扬声器、灯具、风扇、吸尘器、空气净化器等)的位置时使用它们，因此，用户每次都必须输入IoT设备的改变的位置是不方便的。
此外，将在家中安装新的IoT设备的情况下，或者即使在由于位置的改变而改变了IoT设备的设置时，用户也必须经由中枢设备一个接一个地执行新的注册或设置改变。
因此，需要一种技术来自动地识别安装在家中的IoT设备的准确位置，并为用户提供优化的服务。
以上信息仅作为背景信息提供，以帮助理解本公开。对于上述任何一项是否可以应用为关于本公开的现有技术，还没有做出确定，也没有做出断言。
发明内容
技术问题
本公开至少解决了上述问题和/或缺点，并且至少提供了下述优点。因此，本公开的方面是提供一种移动家庭机器人及其控制方法，该移动家庭机器人能够自动地识别家中的IoT设备的准确位置，并提供方便且优化的和/或改进的基于IoT设备位置的服务。
解决问题的技术方案
根据本公开的方面，提供了一种移动家庭机器人。该移动家庭机器人包括：被配置为存储家中地图数据的存储装置；包括接口电路、相机、用户接口的通信接口；以及处理器，该处理器被配置为基于安装在家中的多个物联网(IoT)设备的设备信息和当移动家庭机器人在家中四处移动时通过相机捕获的图像来生成多个IoT设备中的每一个的位置信息，将生成的位置信息与地图数据进行映射，并且响应于通过用户接口接收到用户命令，基于映射有位置信息的地图数据提供基于IoT设备位置的服务。
处理器可以基于设备信息从外部服务器获得多个IoT设备中的每一个的图像，通过将获得的图像与捕获的图像进行比较来辨识多个IoT设备中的每一个，并且基于捕获的图像来生成辨识的多个IoT设备中的每一个的位置信息。
相机可以包括三维(3D)相机和立体相机中的至少一个。位置信息可以包括地图数据上的多个IoT设备中的每一个的坐标信息、多个IoT设备中的每一个的尺寸信息和方向信息、以及关于多个IoT设备中的每一个所处的高度的信息中的至少两个。
用户接口可以包括麦克风。处理器可以将关于多个IoT设备中的每一个的位置信息的语义信息与地图数据进行映射，并且基于通过麦克风接收到用户语音命令，使用映射有语义信息的地图数据来执行与用户语音命令相对应的操作。
处理器可以基于当移动家庭机器人在家中四处移动时获得的信息，以预定周期更新地图数据和多个IoT设备中的每一个的位置信息。
处理器可以将位置信息和/或映射有该位置信息的地图数据发送到用户的智能电话和/或多个IoT设备中的至少一个。
处理器可以基于输入用于控制多个IoT设备中的一个IoT设备的用户命令，基于输入该用户命令的用户的位置和该一个IoT设备的位置信息，生成与该用户命令相对应的控制命令，并且将生成的控制命令发送到该一个IoT设备。
处理器可以基于被输入用于控制多个IoT设备中的一个IoT设备的用户命令，基于输入用户命令的用户和一个IoT设备之间的距离确定该一个IoT设备是否适合执行与用户命令相对应的操作，基于确定该一个IoT设备适合执行与用户命令相对应的操作，向该一个IoT设备发送与用户命令相对应的控制命令，并且基于确定该一个IoT设备不适合执行与用户命令相对应的操作，通过用户接口提供通知该一个IoT设备不能执行该用户命令的通知。
处理器可以基于通过相机捕获的用户图像来确定用户的情境信息，并且将用于改变多个IoT设备中的至少一个IoT设备的操作模式的控制命令发送到该至少一个IoT设备。
用户接口可以包括麦克风和扬声器。处理器可以响应于接收到用于新IoT设备的注册的用户语音命令，基于通过相机捕获的新IoT设备的图像，从外部服务器获得新IoT设备的设备信息，并且基于获得的新IoT设备的设备信息，提供用于新IoT设备的注册的交互式服务。
根据本公开的另一方面，提供了一种移动家庭机器人的控制方法。该控制方法包括：基于安装在家中的多个IoT设备的设备信息和当移动家庭机器人在家中四处移动时通过相机捕获的图像，生成多个IoT设备中的每一个的位置信息，将生成的位置信息与地图数据进行映射，以及响应于用户命令，基于映射有位置信息的地图数据提供基于IoT设备位置的服务。
生成位置信息可以包括基于设备信息从外部服务器获得多个IoT设备中的每一个的图像，通过将获得的图像与捕获的图像进行比较来辨识多个IoT设备中的每一个，以及基于捕获的图像生成辨识的多个IoT设备中的每一个的位置信息。
相机可以包括三维(3D)相机和立体相机中的至少一个。位置信息可以包括地图数据上的多个IoT设备中的每一个的坐标信息、多个IoT设备中的每一个的尺寸信息和方向信息、以及关于多个IoT设备中的每一个所处的高度的信息中的至少两个。
该控制方法还可以包括将关于多个IoT设备中的每一个的位置信息的语义信息与地图数据进行映射。提供基于IoT设备位置的服务可以包括，基于接收到用户语音命令，使用映射有语义信息的地图数据来执行与用户语音命令相对应的操作。
该控制方法还可以包括基于当移动家庭机器人在家中四处移动时获得的信息，以预定周期更新地图数据和多个IoT设备中的每一个的位置信息。
该控制方法还可以包括可以将位置信息和/或映射有该位置信息的地图数据发送到用户的智能电话和/或多个IoT设备中的至少一个。
提供基于IoT设备位置的服务可以包括，基于输入用于控制多个IoT设备中的一个IoT设备的用户命令，基于输入该用户命令的用户的位置和该一个IoT设备的位置信息，生成与该用户命令相对应的控制命令，并且将生成的控制命令发送到该一个IoT设备。
提供基于IoT设备位置的服务可以包括，基于被输入用于控制多个IoT设备中的一个IoT设备的用户命令，基于输入用户命令的用户和一个IoT设备之间的距离确定该一个IoT设备是否适合执行与用户命令相对应的操作，基于确定该一个IoT设备适合执行与用户命令相对应的操作，向该一个IoT设备发送与用户命令相对应的控制命令，并且基于确定该一个IoT设备不适合执行与用户命令相对应的操作，通过用户接口提供通知该一个IoT设备不能执行该用户命令的通知。
该控制方法还可以包括基于通过相机捕获的用户图像来确定用户的情境信息，并且将用于改变多个IoT设备中的至少一个IoT设备的操作模式的控制命令发送到该至少一个IoT设备。
该控制方法还可以包括，响应于接收到用于新IoT设备的注册的用户语音命令，基于通过相机捕获的新IoT设备的图像，从外部服务器获得新IoT设备的设备信息，并且基于获得的新IoT设备的设备信息，提供用于新IoT设备的注册的交互式服务。
发明的有益效果
根据上述各种示例实施例，移动家庭机器人可以自动地识别家中IoT设备的准确位置。因此，用户仅通过与移动家庭机器人的交互，就可以被提供方便且优化的基于IoT设备位置的服务。
从以下结合附图公开了本公开的各种实施例的详细描述中，本公开的其他方面、优点和显著特征对于本领域技术人员而言将变得显而易见。
附图说明
结合附图，从下面的详细描述中，本公开的某些实施例的上述和其他方面以及优点将更加明显，其中：
图1是示出根据现有技术的包括IoT中枢设备的示例物联网(IoT)环境的图；
图2是示出示例屋内地图的图；
图3是示出根据示例实施例的IoT环境的图；
图4是示出根据示例实施例的移动家庭机器人的框图；
图5是示出根据示例实施例的移动家庭机器人的示例配置的框图；
图6是示出根据示例实施例的移动家庭机器人的基于IoT设备位置的服务的图；以及
图7是示出根据示例实施例的控制移动家庭机器人的方法的流程图。
在所有附图中，相同的附图标记用于表示相同的元件。
具体实施方式
参考附图更详细地描述本公开的示例实施例。然而，应当理解，本公开不限于下文描述的具体实施例，而是包括本公开的各种示例实施例的各种修改、等同物和/或替代。关于附图的解释，相似的附图标记可以用于相似的元件。
在说明书中，术语“具有”、“可以具有”、“包括”或“可以包括”指示存在相应的特征(例如，数值、功能、操作或组成元素，诸如组件)，但不排除附加特征的存在。
在说明书中，术语“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或多个”可以包括一起枚举的项目的所有可能的组合。例如，术语“A或B”或“A或/和B中的至少一个”可以表示(1)至少一个A，(2)至少一个B，或(3)至少一个A和至少一个B。
如果描述了某个元件(例如，第一元件)与另一元件(例如，第二元件)“可操作地或可通信地耦合到/与…耦合”或“连接到”另一元件(例如，第二元件)，应该理解，该某个元件可以直接地或通过另一元件(例如，第三元件)连接到另一元件。同时，当提到一个元件(例如，第一元件)与另一元件(例如，第二元件)“直接耦合”或“直接连接”时，可以理解在该元件和另一元件之间不存在元件(例如，第三元件)。
在说明书中，术语“配置为”可以与例如“适合于”、“有能力”、“设计为”、“适于”、“用以”或“能够”在某些情况下互换使用。术语“配置为(设置为)”不一定指硬件级的“专门设计为”。在某些情况下，术语“配置为…的设备”可以指“能够…的设备”与另一设备或组件一起做某事。例如，短语“配置为执行A、B和C的处理器”可以表示或指代，例如但不限于，用于执行相应的操作的专用处理器(例如，嵌入式处理器)、能够通过存储在存储器设备中的一个或多个软件程序的执行来执行相应的操作的通用处理器(例如，CPU或应用处理器)等。
在下文中，将参考附图更详细地描述本公开。
图1是示出根据现有技术的包括IoT中枢设备的示例物联网(IoT)环境的图。
如图1所示，在家中，可以存在许多IoT设备，诸如电锅11、温度计12、灯13、智能TV14、音频***15、智能电话16等。IoT是指在各种对象中安装传感器和通信功能并将对象连接到互联网的技术，因此，对家中可能存在的IoT设备的类型没有限制。
同时，家中的IoT环境可以包括IoT中枢设备10。IoT设备11、12、13、14、15、16包括通信功能，因此可以连接到IoT中枢设备10并由IoT中枢设备10控制和管理。
例如，图1所示的IoT中枢设备10可以是能够提供交互式服务的固定类型扬声器设备，该IoT中枢设备10可以接收用户的语音命令并执行相应的操作。例如，当接收到用于控制IoT设备11、12、13、14、15、16的用户语音命令时，IoT中枢设备100可以向要控制的IoT设备发送控制命令，并执行与用户语音命令相对应的操作。
例如，当接收到用户语音命令“播放音乐”时，IoT中枢设备10可以控制音频***播放音乐。当接收到用户问题“现在的温度是多少？”，IoT中枢设备10可以向温度计12请求当前温度信息，并输出类似“现在20摄氏度”的响应。
相关技术的固定类型IoT中枢设备10可以管理连接到其上的IoT设备11、12、13、14、15、16，并控制它们。然而，相关技术的IoT中枢设备10可能无法准确地识别各个IoT设备11、12、13、14、15、16在实际家中位于哪里，并且可能与各个设备11、12、13、14、15、16仅进行发送或接收信息。因此，提供基于IoT设备位置的服务是有限制的。
例如，当接收到用户命令“播放音乐”时，相关技术的IoT中枢设备10可以简单地向音频***15发送音乐回放命令，但是可以不向音频***15发送作为考虑到音频***15的位置、方向、高度等朝向用户方向形成的波束的音频输出命令。此外，关于用户命令“打开空调”，相关技术的IoT中枢设备10可以仅打开空调(未示出)的电源，并参考温度计12上的温度来设置空调温度，但考虑到空调(未示出)的位置、设置空调(未示出)的方向等，可以不控制空调(未示出)向用户方向提供优化的和/或改善的空气。
尽管可以使用直接输入到IoT中枢设备10或通过智能电话16输入的IoT设备11、12、13、14、15、16的位置信息，但是用户直接输入IoT设备11、12、13、14、15、16的位置信息很麻烦，并且当用户改变IoT设备11、12、13、14、15、16的位置时，有必要再次输入位置信息。
此外，可以在固定类型IoT中枢设备10上安装相机，并且使用由该相机捕获的图像来获得IoT设备11、12、13、14、15、16的位置信息，但是存在限制。
在图1中，仅示出了安装在客厅中的IoT设备11、12、13、14、15、16。然而，一般，房屋在空间上分为卧室、客厅、浴室、阳台等，如图2所示的示例家中地图所示。因此，即使使用相机，布置在客厅中的固定类型IoT中枢设备10也难以识别布置在除客厅之外的地方的IoT设备的位置。
因此，根据示例实施例，可以使用移动家庭机器人来获得家中的IoT设备11、12、13、14、15、16的准确位置信息，从而可以提供为用户优化的和/或改进的基于IoT设备位置的服务。
图3是示出根据示例实施例的IoT环境的图。参考图3，代替图1的固定类型中枢设备10，移动家庭机器人100作为IoT中枢设备操作。
移动家庭机器人100可以自己从一个位置移动到另一位置，而不是固定在一个地方使用。因此，移动家庭机器人100可以在房屋内到处移动的同时生成和/或更新家中地图数据，生成安装在家中的IoT设备11、12、13、14、15、16的位置信息，并将生成的位置信息与地图数据进行映射并对其进行管理。即使如图2所示，IoT设备分别安装在各种划分的空间中，移动家庭机器人100也可以在每一个空间中到处移动，并且获得安装在每个空间中的IoT设备的位置信息，并且将获得的位置信息与地图数据进行映射。
此外，移动家庭机器人100可以在房屋中到处移动的同时定期地更新地图数据，并且即使用户改变了IoT设备的安装位置，也可以连同地图数据一起更新IoT设备的位置信息，以管理改变的最新位置信息。
因此，移动家庭机器人100可以使用与地图数据映射的IoT设备的位置信息，从而提供可以为用户定制的最佳和/或改进的基于IoT设备位置的服务。
在图3中，移动家庭机器人100是IoT中枢设备，但是该示例不限于此。例如，即使如图1所示，在固定类型IoT中枢设备10单独存在的情况下，移动家庭机器人100也可以生成和管理映射有IoT设备的位置信息的地图数据，并且使用该映射有IoT设备的位置信息的地图数据来提供基于IoT设备位置的服务。在这种情况下，如果接收到用户命令，移动家庭机器人100可以经由IoT中枢设备10控制IoT设备，或者可以直接控制IoT设备。
图4是示出根据示例实施例的移动机器人的框图。参考图4，移动家庭机器人100可以包括通信接口(例如，包括通信接口电路)110、处理器(例如，包括处理电路)120、存储装置130、相机140和用户接口150。
通信接口110可以包括各种通信接口电路，并由处理器120控制，以根据各种有线或无线通信方法与各种类型的外部设备通信。例如，通信接口110可以经由诸如互联网等的网络与各种服务器通信。此外，通信接口110还可以使用各种近场通信方法与家中IoT设备11、12、13、14、15、16和/或IoT中枢设备10通信。
存储装置130可以存储用于移动家庭机器人100的操作的各种程序和数据。例如，存储装置130可以存储安装在家中的IoT设备(在这种情况下，IoT设备包括固定类型IoT中枢设备)的设备信息(例如，型号名称、类型、序列号、MAC地址、功能、相关URL等)、由处理器120生成的IoT设备的位置信息(例如，IoT设备的坐标信息、尺寸信息、方向信息、安装高度信息等)、映射有IoT设备的位置信息的地图数据、与IoT设备的位置信息相关的语义信息、映射有该语义信息的地图数据等。此外，存储装置130可以存储向用户提供交互式服务所需的各种数据库和语音辨识模块。因此，处理器120可以提供交互式服务。此外，存储装置130可以存储包括用户的情境确定所必需的各种程序元素的程序模块。
相机140可以由处理器120控制以捕获外部图像。例如，当移动家庭机器人100在房屋中四处移动时，相机140可以捕获周围图像。此外，相机140可以由处理器120控制，以跟踪用户并捕获图像。如上所述，可以将捕获的图像数据提供给处理器120。
用户接口150可以是例如使用户能够与移动家庭机器人100交互的元件。用户可以经由该用户接口150向移动家庭机器人100输入命令，并且辨识从移动家庭机器人100输出的信息。为此，用户接口150可以包括各种用户输入/输出接口。
处理器120可以包括各种处理电路，并控制移动家庭机器人100的整体操作。例如，处理器120可以基于安装在家中的多个IoT设备的设备信息和当移动家庭机器人在房屋中四处移动时通过相机140捕获的图像，生成多个IoT设备中的每一个的位置信息。
例如，处理器120可以获得安装在家中的多个IoT设备的设备信息。例如，处理器120可以经由通信接口110从外部IoT中枢设备10接收安装在家中的多个IoT设备的设备信息。一般地，IoT中枢设备10可以存储安装在家中的IoT设备的设备信息，因为IoT中枢设备10管理IoT设备。因此，在存在IoT中枢设备10的情况下，处理器120可以向IoT中枢设备10请求设备信息，并获得安装在家中的IoT设备的设备信息。
此外，在移动家庭机器人100作为IoT中枢设备操作的情况下，IoT设备可以在移动家庭机器人100的安装和注册时向移动家庭机器人100提供设备信息。因此，处理器120可以将从各个IoT设备接收到的设备信息存储在存储装置130中，并且根据需要使用存储在存储装置130中的IoT设备的设备信息。
同时，当移动家庭机器人100在家中四处移动时，处理器120可以通过相机140捕获周围图像。因此，处理器120可以基于获得的IoT设备信息和捕获的图像来生成多个IoT设备中的每一个的位置信息。
例如，处理器120可以基于IoT设备信息从外部服务器获得多个IoT设备中的每一个的图像。IoT设备信息可以例如但不限于包括与相应的IoT设备的型号名称、类型、功能、相关URL等相关的信息。因此，处理器120可以通过访问由相应的IoT设备的供应商或制造商管理的网络服务器和/或通过经由通信接口110的网络搜索，来获得相应的IoT设备的图像。
因此，处理器120可以将获得的图像与通过相机100捕获的图像进行比较，并辨识IoT设备。如上所述，当在捕获的图像中辨识出IoT设备时，处理器120可以分析捕获的图像并生成IoT设备的位置信息，该位置信息包括例如但不限于辨识的IoT设备的家中地图数据上的坐标信息、尺寸信息、方向信息和与辨识的IoT设备所处的高度相关的高度信息中的至少一个。
同时，如上所述，处理器120可以将生成的位置信息与家中地图数据进行映射并对其进行管理。例如，处理器120可以基于移动家庭机器人在家中四处移动时通过各种传感器(未示出；将在图5中描述)或相机110获得的信息，生成家中地图数据。如上所述，可以将生成的地图数据管理为存储在存储装置130中。
如上所述，IoT设备的位置信息包括坐标信息，因此，处理器120可以将IoT设备的位置信息与地图数据上相应的IoT设备所处的坐标进行映射。
此外，处理器120可以基于移动家庭机器人100在家中四处移动时通过各种传感器(未示出；将在图5中描述)和/或相机110获得的信息，以预定周期更新家中地图数据。处理器120可以连同家中地图数据一起更新各个IoT设备的位置。然而，地图数据和IoT设备的位置信息不必一起更新，并且地图数据和IoT设备的位置信息可以分别以单独的周期更新。
如上所述，当定期地更新地图数据或IoT设备信息时，即使移动IoT设备(例如，电锅11、温度计12、智能电话16、扬声器(未示出)等)的位置改变，也有可能为改变的位置提供最佳的基于IoT设备位置的服务。
同时，当通过用户接口150接收到用户命令时，处理器120可以基于映射有位置信息的地图数据来提供基于IoT设备位置的服务。在这点上，基于IoT设备位置的服务可以指代例如使用各个IoT设备的位置信息执行用户命令的移动家庭机器人100。
根据示例实施例，当接收到用于控制多个IoT设备中的一个IoT设备的用户命令时，处理器120可以基于输入该用户命令的用户的位置和该一个IoT设备的位置信息来生成与该用户命令相对应的控制命令，并将生成的控制命令发送给该一个IoT设备。
例如，当通过用户接口150接收到用户语音命令“播放音乐”时，处理器120可以辨识用户语音命令，并确定包括音乐回放功能的音频***150是执行用户命令的IoT设备。此外，处理器120可以在当前家中地图数据上确定发出语音命令的用户的当前位置。处理器120可以通过相机110捕获用户，并分析捕获的图像并且确定用户的位置。然而，该示例不限于此。
因此，处理器120可以生成音乐回放命令，该命令包括设置值，其用于由音频***15执行波束形成以基于确定的用户位置和音频***15的位置信息向用户提供最佳的和/或改善的声音，并且控制通信接口110向音频***15发送生成的音乐回放命令。
根据另一示例实施例，当接收到用于控制多个IoT设备中的一个IoT设备的用户命令时，处理器120可以基于输入用户命令的用户和该一个IoT设备之间的距离来确定该一个IoT设备是否适合执行与该用户命令相对应的操作。
因此，当确定一个IoT设备适合执行与用户命令相对应的操作时，处理器120可以将于用户命令相对应的控制命令发送到该一个IoT设备。当确定一个IoT设备不合适执行与用户命令相对应的操作时，处理器120可以通过用户接口150提供通知该一个IoT设备不可用于执行用户命令的通知。
例如，当接收到用户语音命令“播放音乐”时，处理器120可以辨识用户语音命令，并确定包括音乐回放功能的扬声器是执行用户命令的IoT设备。此外，处理器120可以在当前家中地图数据上确定发出语音命令的用户的当前位置。
因此，处理器120可以确定用户和扬声器之间的距离，并基于确定的距离确定扬声器是否适合执行用户命令“播放音乐”。例如，如果用户和扬声器之间的距离小于预定距离，则处理器120可以确定扬声器适合。如果用户和扬声器之间的距离大于或等于预定距离，则处理器120可以确定扬声器不适合。如果用户和扬声器在同一空间，则处理器可以确定扬声器适合，如果用户和扬声器在不同的空间(例如，浴室和客厅)，则处理器可以确定扬声器不适合。
当确定扬声器适合执行用户命令时，处理器120可以控制通信接口110向扬声器发送音乐回放命令。如果扬声器和用户之间的距离非常远，或者确定扬声器不适合执行用户命令，因为扬声器在卧室而用户在客厅，则处理器120可以控制用户接口150输出(显示或语音输出)通知扬声器当前不能执行音乐回放命令的通知。
通知扬声器当前不能执行音乐回放命令的通知可以包括关于扬声器不能执行音乐回放命令的原因的消息，诸如“扬声器现在在卧室”，或者关于替代方案的消息，诸如“自己播放音乐？”或者“把扬声器带到客厅？”。
根据另一示例实施例，处理器120可以基于通过相机110捕获的用户图像来确定用户的情境信息，并且基于确定的用户情境信息，控制通信接口110将改变多个IoT设备中的至少一个IoT设备的操作模式的控制命令发送给该至少一个IoT设备。
例如，处理器120可以通过捕获用户的图像来确定用户的情境。例如，处理器120可以通过相机110跟踪用户的眼睛，并且当眼睛已经闭上超过预定时间时，确定用户正在睡觉。此外，当用户坐在椅子上并且看着桌子超过预定时间时，可以确定用户正在阅读。
如上所述，当确定用户情境时，处理器120可以基于映射有IoT设备的位置信息的地图数据来改变IoT设备的操作模式。例如，当确定用户正在卧室中睡觉时，处理器120可以降低卧室的照明，并控制安装在另一房间中的所有IoT设备以睡眠模式操作。此外，当确定用户正在客厅中阅读时，处理器120可以控制安装在客厅中的IoT设备以阅读模式操作，并关闭剩余空间中的IoT设备。
同时，根据示例实施例，处理器120可以与IoT设备共享IoT设备的位置信息。例如，处理器120可以控制通信接口110将IoT设备的位置信息和/或如上所述生成的映射有IoT设备的位置信息的地图数据发送到用户的智能电话或IoT设备。在这种情况下，每次更新IoT设备的位置信息时，处理器120可以将位置信息或地图数据发送到IoT设备，但是该示例不限于此。
如上所述，例如，当共享IoT设备的位置信息时，用户可以通过智能电话实时识别IoT设备的位置，并且可以使用其他IoT设备的位置来操作各个IoT设备。
图5是示出根据示例实施例的移动机器人的示例配置的框图。参考图5，移动家庭机器人100’可以包括通信接口(例如，包括通信接口电路)110、处理器(例如，包括处理电路)120、存储装置130、相机140、用户接口150、驱动器160和传感器170。图5所示的所有特征不必都包括在移动家庭机器人100’中，并且根据移动家庭机器人100’的实现方式，可以省略一些特征或者可以进一步包括其他特征。例如，在移动家庭机器人100’实现为移动清洁机器人的情况下，还可以包括用于执行清洁功能的特征，但是该示例不限于此。同时，参考图4，这里将不再重复如上所述相同特征的描述。
通信接口110可以包括各种通信接口电路，并且与各种外部设备通信并且收发各种信息。例如，通信接口110可以与安装在家中的IoT设备或IoT中枢设备通信。此外，通信接口110可以经由网络与各种外部服务器通信。
为此，通信接口110可以包括至少一个通信模块，该通信模块包括各种通信电路，其包括，例如但不限于，近场无线通信模块(未示出)和无线LAN通信模块(未示出)中的一个或多个。例如，近场无线通信模块(未示出)可以指与位于附近的外部设备进行无线数据通信的通信模块，例如，该外部设备可以是蓝牙模块、紫蜂(ZigBee)模块、近场通信(nearfield communication，NFC)模块等。此外，例如，无线LAN通信模块(未示出)可以指根据无线通信协议(诸如，WiFi、IEEE等)连接到外部网络以执行与外部服务器或外部设备的通信的模块。
此外，通信接口110还可以包括移动通信模块，该移动通信模块访问移动通信网络并根据各种移动通信标准(诸如第三代(3rd Generation，3G)、第三代合作伙伴(3rdGeneration Partnership，3GPP)、长期演进(Long Term Evolution，LTE)等)执行通信，并且还可以包括根据通信标准(诸如高清多媒体接口(High-Definition MultimediaInterface，HDMI)、通用串行总线(Universal Serial Bus，USB)、电气和电子工程师协会(Institute of Electrical and Electronics Engineers，IEEE)1394、RS-232、RS-422、RS-485、以太网等)的有线通信模块(未示出)。
存储装置130可以存储各种程序和数据。例如，存储装置130可以存储家中地图数据。此外，存储装置130可以存储操作***(operation system，o/s)和用于执行移动家庭机器人100’的操作的各种程序。为此，存储装置130可以包括随机访问存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、固态盘(Solid State Disk，SSD)、闪存、硬盘或光盘等，但不限于此。在实现方式中，存储装置130也可以实现为云服务器等。
相机140可以捕获外部图像。例如，当移动家庭机器人110在家中四处移动时，相机140可以捕获家中的图像。根据示例实施例，例如，相机140可以，包括但不限于，立体相机141和3D相机142中的至少一个。
深度信息提取在通过立体相机141和/或3D相机142捕获的图像中是可用的。因此，处理器120不仅可以使用地图数据上的IoT设备的二维坐标信息，还可以通过使用立体相机141和3D相机142中的至少一个捕获的图像，使用包括IoT设备的尺寸信息、关于布置IoT设备的方向的信息、关于预安装IoT设备的高度的信息等的三维信息。因此，可以识别IoT设备的准确位置，从而处理器120可以提供最佳的和/或改进的基于IoT设备位置的服务。
用户接口150可以包括各种用户输入/输出接口。例如，如图5所示，例如，用户接口150可以，包括但不限于，麦克风151、扬声器152和显示器153中的一个或多个，但是该示例不限于此。例如，可以包括按钮或触摸屏。
麦克风151可以接收外部声音并将接收到的外部声音转换为电信号。例如，麦克风151可以接收用户语音命令。扬声器152可以将电信号输出为声音。例如，扬声器152可以将通知IoT设备不能执行用户命令的通知或各种消息输出为声音。显示器153可以显示各种图像或内容。例如，图像可以是各种格式，包括静止图像、移动图像、图标、图形用户接口(graphical user interface，GUI)、屏幕显示(screen display，OSD)等。例如，显示器153可以显示通知IoT设备不能执行用户命令的通知或各种消息。为此，显示器130可以以各种形式实现，例如但不限于，液晶显示器(liquid crystal display，LCD)、有机发光二极管(organic light emitting diodes，OLED)、有源矩阵有机发光二极管(active-matrixorganic light-emitting diode，AM-OLED)、等离子体显示面板(plasma display panel，PDP)等。
驱动器160可以包括各种驱动器电路，并驱动移动家庭机器人100’。例如，驱动器160可以由处理器120控制以移动移动家庭机器人100’。在这种情况下，驱动器160可以包括，例如但不限于，至少一对接触地板表面的轮子，向该轮子提供动力的马达，以及控制该马达的驱动器。作为另一示例，驱动器160可以包括用于执行拾取对象的操作等的马达。
传感器170可以包括感测移动家庭机器人100’的周围环境的各种传感器。参考图5，例如，传感器170可以，包括但不限于，超声传感器171、LIDAR传感器172和红外传感器173等中的至少一个。
例如，超声传感器171可以指用于通过将超声波辐射到对象上并感测反射波来感测距该对象的距离的传感器***。例如，LIDAR传感器172可以指能够通过将具有特定频率的高功率脉冲激光辐射到对象上并测量从该对象接收到反射波的时间来获得关于距该对象的距离的信息的传感器***。例如，红外传感器173可以指用于通过将红外线辐射到对象上并感测反射波来感测距该对象的距离的传感器***。
根据示例实施例，处理器120可以通过将同时定位和映射(SimultaneousLocalization and Mapping，SLAM)算法应用于通过超声传感器171和/或LIDAR传感器172感测到的信息来生成家中地图数据，但是该示例不限于此。例如，也可以使用通过相机140捕获的图像来生成地图数据。同时，红外传感器173可以用于移动家庭机器人100’在家中的行进，和/或可以用于接收外部远程设备(未示出)的控制信号，但是该示例不限于此。
尽管在附图中没有示出，但是根据传感器170的示例实施例，还可以包括各种传感器，例如但不限于，加速度计传感器、磁传感器、陀螺仪传感器、条形码传感器、障碍传感器、跌倒(fall)传感器、碰撞传感器、提升(lift)传感器等，并且处理器120可以使用通过各个传感器感测到的信息来操作移动家庭机器人100’。
处理器120可以控制移动家庭机器人100’的整体操作。例如，处理器120可以控制移动家庭机器人100’执行参考图3-4描述的处理器120的操作。
为此，例如，处理器120可以通过驱动操作***或应用程序来控制连接到处理器120的硬件或软件元件，并执行各种数据处理和计算。此外，处理器120可以将从至少一个其他组件接收到的命令或数据加载到易失性存储器并进行处理，并将各种数据存储在该非易失性存储器中。
处理器120可以，例如但不限于，实现为用于执行功能的专用处理器(例如，嵌入式处理器)、用于通过运行存储在存储器设备(例如，CPU或应用处理器)中的一个或多个软件程序来执行功能的通用处理器等。
处理器120可以包括RAM 121、ROM 122、图形处理器单元(GPU)123、主中央处理器单元(CPU)124和第一到第N接口125-1到125-n。RAM 121、ROM 122、GPU 123、主CPU 124和第一到第N接口125-1到125-n可以通过总线126互联。主CPU 124可以访问存储装置130，并使用存储在存储装置130中的操作***(O/S)来执行引导。主CPU 124可以通过使用存储在存储装置130中的各种类型的程序、内容、数据等来执行各种操作。
ROM 122可以存储用于***引导的指令集。如果输入了打开命令并且提供了电力，则主CPU 124根据存储在ROM 122中的命令将存储在存储装置130中的O/S复制到RAM 121中，并且通过执行O/S来引导***。当引导完成时，主CPU 124可以将存储在存储装置130中的各种程序复制到RAM 121中，并且通过实现复制到RAM 121中的程序来执行各种操作。具体地，当移动家庭机器人100’的引导完成时，GPU 123可以生成包括各种对象(诸如图标、图像、文本等)的屏幕。
具体地，根据示例实施例，处理器120可以将关于多个IoT设备中的每一个的位置信息的语义信息与地图数据进行映射。在这点上，关于多个IoT设备中的每一个的位置信息的语义信息可以包括位置相关的信息，例如前面、后面、侧面等。例如，如果IoT设备是TV，移动家庭机器人100’可能不能识别“TV的前面”的含义。因此，处理器120可以基于TV的位置信息在地图数据上映射“TV的前面”。例如，处理器120可以基于TV在地图数据上的位置在前面方向映射1平方米的区域，以对应于语义信息“TV的前面”。以相同的方式，可以将诸如后面和侧面的语义信息与关于各个IoT设备的位置信息的地图数据进行映射。
因此，当通过麦克风151接收到用户语音命令时，处理器120可以使用映射有语义信息的地图数据来执行与用户语音命令相对应的操作。例如，当用户说出“来到TV的前面”时，处理器120可以通过使用映射有语义信息的地图数据迅速地移动到TV的前面。
此外，当用户说出“清洁冰箱的前面”时，处理器120可以使用映射有语义信息的地图数据将与冰箱的前面相对应的坐标信息发送到自动清洁器(未示出)，从而可以迅速执行与用户命令相对应的操作。
同时，处理器120可以将语义信息与地图数据进行映射。例如，参考图2，移动家庭机器人100’可能不能识别家中每一个空间的含义。例如，可能无法识别哪个空间是卧室，哪个是客厅。因此，处理器120可以将语义信息“卧室”与地图数据上对应于具有床的空间的区域进行映射，并且将语义信息“客厅”与地图上对应于具有沙发的空间的区域进行映射。因此，可以更迅速地对用户命令作出响应。
根据另一示例实施例，处理器120可以注册新的IoT设备。例如，根据相关技术，用户安装新的IoT设备，并通过使用智能电话或IoT中枢设备输入相应的IoT设备的设置信息或位置信息来注册新的IoT设备。根据示例实施例，用户可以通过与移动家庭机器人100’的交互来注册新的IoT设备。
例如，当接收到用于新的IoT设备的注册的用户语音命令时，处理器120可以基于通过相机110捕获的新的IoT设备的图像从外部服务器获得新的IoT设备的设备信息，并且基于获得的新的IoT设备的设备信息提供用于新的IoT设备的注册的交互式服务。因此，用户可以更容易地注册新的IoT设备。
例如，在空调将被新注册为IoT设备的情况下，用户可以呼叫家庭机器人100’并说出“注册空调”。因此，处理器120可以捕获空调或空调的型号名称、序列号等的图像，并且基于捕获的空调图像获得相应的空调的设备信息。
空调的设备信息可以包括与空调的功能和各种设置项目相关的信息。因此，处理器120可以基于空调的设备信息向扬声器输出询问各种设置项目的设置值的问题，并且当用户发出对该问题的响应时，辨识发出的响应并且在设置值中反映相应的内容。因此，用户可以更容易地注册空调。同时，可以安装空调并且将空调的位置信息与地图数据进行新映射。
图6是示出根据示例实施例的移动机器人的基于IoT设备位置的服务的图。在图6中，用户1位于客厅中，并且空调20设置在客厅中。移动家庭机器人100和100’可以将IoT设备的设备信息与用户家中的地图数据进行映射，并对其进行管理。在这种情况下，当用户说出“打开空调”时，移动家庭机器人100和100’可以辨识用户的话语，并基于空调20的位置信息提供基于IoT设备位置的服务。
例如，移动家庭机器人100和100’可以拍摄用户，并在地图数据上确定用户的位置和空调20的位置。空调20的位置信息不仅可以包括地图数据上的空调20的坐标信息，还可以包括关于空调20布置的方向的信息、空调的尺寸信息、高度信息等。因此，移动家庭机器人100和100’可以基于用户1的位置和空调20的位置信息生成与“打开空调”相对应的控制命令。
在这方面，要生成的控制命令可以不仅是打开空调20的电源的命令，而且是包括关于空调20的风向或风量的设置信息的控制命令。例如，根据示例实施例，移动家庭机器人100和100’可以识别用户1和空调20之间的位置和方向关系，并且因此可以基于识别的位置和方向关系生成控制命令，并且将生成的控制命令发送到空调20。因此，可以执行针对用户位置优化和/或改进的IoT设备控制。在图6中，描述了IoT设备是空调20。然而，有可能以类似于扬声器、能够进行波束形成的照明等的方式对用户位置执行优化和/或改进的IoT设备控制。
图7是示出根据示例实施例的控制移动机器人的方法的流程图。参考图7，在操作S710，移动家庭机器人100和100’可以基于安装在家中的多个IoT设备的设备信息和/或当移动家庭机器人100和100’在房屋中四处移动时通过相机110捕获的图像，生成多个IoT设备中的每一个的位置信息。
例如，移动家庭机器人100和100’可以获得安装在家中的IoT设备的设备信息。例如，移动家庭机器人100和100’可以向IoT中枢设备请求IoT设备的设备信息，并获得请求的设备信息。此外，在移动家庭机器人100和100’作为中枢设备操作的情况下，可以使用由移动家庭机器人100和100’管理的IoT设备信息。
如上所述，当获得IoT设备的设备信息时，移动家庭机器人100和100’可以基于获得的设备信息从外部服务器获得各个IoT设备的图像，并将获得的图像与捕获的图像进行比较，并辨识各个IoT设备。因此，移动家庭机器人100和100’可以生成基于通过相机110捕获的图像辨识的各个IoT设备的位置信息。
在这方面，根据示例实施例，相机110可以包括，例如但不限于，3D相机和立体相机中的至少一个。位置信息可以包括多个IoT设备中的每一个在地图数据上的坐标信息、多个IoT设备中的每一个的尺寸信息和方向信息、以及关于多个IoT设备中的每一个所处的高度的信息中的至少两个。
同时，在操作S720，移动家庭机器人100和100’可以将如上所述生成的位置信息与地图数据进行映射。在这点上，根据示例实施例，移动家庭机器人100和100’可以将关于多个IoT设备中的每一个的位置信息的语义信息与地图数据进行映射。
此后，在操作S730，当接收到用户命令时，移动家庭机器人100和100’可以基于映射有位置信息的地图数据来提供基于IoT设备位置的服务。
例如，当接收到用于控制多个IoT设备中的一个IoT设备的用户命令时，移动家庭机器人100和100’可以基于输入该用户命令的用户的位置和该一个IoT设备的位置信息来生成与该用户命令相对应的控制命令，并且将生成的控制命令发送到该一个IoT设备。
作为另一示例，当接收到用于控制多个IoT设备中的一个IoT设备的用户命令时，移动家庭机器人100和100’可以基于输入该用户命令的用户和该一个IoT设备之间的距离来确定该一个IoT设备是否适合执行与该用户命令相对应的操作。因此，当确定移动家庭机器人100和100’不适合执行与该用户命令相对应的操作时，处理器100可以将与该用户命令相对应的控制命令发送到该一个IoT设备。当确定该一个IoT设备不适合执行与该用户命令相对应的操作时，处理器120可以通过用户接口150提供通知该一个IoT设备不可用于执行该用户命令的通知。
作为另一示例，移动家庭机器人100和100’可以基于通过相机100捕获的用户图像来确定用户的情境信息，并且基于确定的用户情境信息，将改变多个IoT设备中的至少一个IoT设备的操作模式的控制命令发送给该至少一个IoT设备。
此外，当通过麦克风151接收到用户语音命令时，移动家庭机器人100和100’可以使用映射有语义信息的地图数据来执行与用户语音命令相对应的操作。
此外，移动家庭机器人100和100’可以向用户的智能电话和/或多个IoT设备中的至少一个发送各个IoT设备的位置信息或映射有各个IoT设备的位置信息的地图数据，并共享该地图数据。
根据另一示例实施例，移动家庭机器人100和100’可以基于当移动家庭机器人100和100’在家中四处移动时获得的信息，以预定周期更新多个IoT设备中的每一个的地图数据和位置信息。
此外，当接收到用于新的IoT设备的注册的用户语音命令时，移动家庭机器人100和100’可以基于通过相机110捕获的新的IoT设备的图像从外部服务器获得新的IoT设备的设备信息，并且基于获得的新的IoT设备的设备信息提供用于新的IoT设备的注册的交互式服务。
根据上述各种示例实施例，移动家庭机器人可以自动地识别家中物联网(IoT)设备的准确位置。因此，用户仅通过与移动家庭机器人的交互，就可以被提供方便的、优化的和/或改进的基于IoT设备位置的服务。
同时，上述示例实施例可以实现为包含存储在机器(例如，计算机可读存储介质)上的一个或多个指令的软件程序。该机器是能够从存储介质调用存储的指令并根据调用的指令操作的装置，并且可以包括根据上述示例实施例的移动家庭机器人100和100’。当命令由处理器执行时，处理器可以在处理器的控制下直接或使用其他组件来执行对应于该命令的功能。该命令可以包括由编译器生成的代码或可由解释器执行的代码。可以以非暂时性存储介质的形式提供机器可读存储介质。
根据示例实施例，根据上述各种示例实施例的方法可以被提供为包括在计算机程序产品中。计算机程序产品可以作为销售者和消费者之间的产品进行交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(compact disc read only memory，CD-ROM))的形式或者通过应用商店(例如，Play StoreTM)在线分发。在在线分发的情况下，计算机程序产品的至少部分可以至少暂时存储或暂时生成在制造商的服务器、应用商店的服务器或诸如存储器的存储介质中。
根据各种示例实施例的每个组件(例如，模块或程序)可以包括单个实体或多个实体，并且可以省略上面描述的一些相应的子组件，或者还可以将另一子组件添加到各种示例实施例中。可替代地或附加地，一些组件(例如，模块或程序)可以组合以形成单个实体，该实体在组合之前执行与相应的元件相同或相似的功能。根据各种示例实施例，由模块、程序或其他组件执行的操作可以是顺序的、并行的或两者均可，迭代地或启发式地执行，或者至少一些操作可以以不同的顺序执行、省略，或者可以添加其他操作。
尽管已经示出和描述了本公开的各种示例实施例，但是应当理解，本公开不限于所公开的实施例，并且例如，可以在不脱离在所附权利要求及其等同物中限定的本公开的精神和范围的情况下做出各种改变。

Claims (15)

1.一种移动家庭机器人，包括：
存储装置，被配置为存储家中地图数据；
通信接口，包括通信接口电路；
相机；
用户接口；以及
处理器，被配置为：
基于安装在家中的多个物联网(IoT)设备的设备信息和当所述移动家庭机器人在家中四处移动时通过所述相机捕获的图像，生成所述多个IoT设备中的每一个的位置信息；
将生成的位置信息与所述地图数据进行映射；
响应于通过所述用户接口接收到的用户命令，基于映射有所述位置信息的地图数据来提供基于IoT设备位置的服务。
2.根据权利要求1所述的移动家庭机器人，其中所述处理器被配置为：
基于所述设备信息从外部服务器获得所述多个IoT设备中的每一个的图像；
通过将获得的图像与捕获的图像进行比较来辨识所述多个IoT设备中的每一个；以及
基于所述捕获的图像生成辨识的多个IoT设备中的每一个的位置信息。
3.根据权利要求1所述的移动家庭机器人，其中，所述相机包括三维(3D)相机和立体相机中的至少一个，并且
其中，所述位置信息包括以下信息中的至少两个：所述地图数据上的所述多个IoT设备中的每一个的坐标信息、所述多个IoT设备中的每一个的尺寸信息、所述多个IoT设备中的每一个的方向信息、以及关于所述多个IoT设备中的每一个所处的高度的信息。
4.根据权利要求1所述的移动家庭机器人，其中，所述用户接口包括麦克风，并且
其中所述处理器被配置为：
将关于所述多个IoT设备中的每一个的位置信息的语义信息与所述地图数据进行映射；以及
基于通过所述麦克风接收到的用户语音命令，使用映射有所述语义信息的地图数据来执行与该用户命令相对应的操作。
5.根据权利要求1所述的移动家庭机器人，其中所述处理器被配置为基于当所述移动家庭机器人在家中四处移动时获得的信息，以预定周期更新地图数据和所述多个IoT设备中的每一个的位置信息。
6.根据权利要求1所述的移动家庭机器人，其中，所述处理器被配置为将所述位置信息和/或映射有所述位置信息的地图数据发送到用户的智能电话和/或所述多个IoT设备中的至少一个。
7.根据权利要求1所述的移动家庭机器人，其中所述处理器被配置为：
基于接收到用于控制所述多个IoT设备中的一个IoT设备的用户命令，基于输入用户命令的用户的位置和一个IoT设备的位置信息，生成与所述用户命令相对应的控制命令；以及
将生成的控制命令发送到所述一个IoT设备。
8.根据权利要求1所述的移动家庭机器人，其中所述处理器被配置为：
基于接收到用于控制所述多个IoT设备中的一个IoT设备的用户命令，基于输入所述用户命令的用户和所述一个IoT设备之间的距离，确定所述一个IoT设备是否适合执行与所述用户命令相对应的操作；
基于确定所述一个IoT设备适合执行与所述用户命令相对应的操作，将与所述用户命令相对应的控制命令发送到所述一个IoT设备；以及
基于确定所述一个IoT设备适合执行与用户命令相对应的操作，通过所述用户接口提供所述一个IoT设备不能执行所述用户命令的通知。
9.根据权利要求1所述的移动家庭机器人，其中所述处理器被配置为：
基于通过所述相机捕获的用户图像来确定用户的情境信息；以及
将用于改变所述多个IoT设备中的至少一个IoT设备的操作模式的控制命令发送给所述至少一个IoT设备。
10.根据权利要求1所述的移动家庭机器人，其中，所述用户接口包括麦克风和扬声器，并且
其中所述处理器被配置为：
响应于接收到用于新IoT设备的注册的用户语音命令，基于通过所述相机捕获的所述新IoT设备的图像，从外部服务器获得所述新IoT设备的设备信息；以及
基于获得的所述新IoT设备的设备信息，提供用于所述新IoT设备的注册的交互式服务。
11.一种控制移动家庭机器人的方法，所述方法包括：
基于安装在家中的多个IoT设备的设备信息和当所述移动家庭机器人在家中四处移动时通过相机捕获的图像，生成所述多个IoT设备中的每一个的位置信息；
将生成的位置信息与地图数据进行映射；
响应于用户命令，以及
基于映射有所述位置信息的地图数据，提供基于IoT设备位置的服务。
12.根据权利要求11所述的方法，其中生成所述位置信息包括：
基于所述设备信息从外部服务器获得所述多个IoT设备中的每一个的图像；
通过将获得的图像与捕获的图像进行比较来辨识所述多个IoT设备中的每一个；以及
基于所述捕获的图像生成辨识的多个IoT设备中的每一个的位置信息。
13.根据权利要求11所述的方法，其中所述相机包括三维(3D)相机和立体相机中的至少一个，并且
其中，所述位置信息包括以下信息中的至少两个：所述地图数据上的多个IoT设备中的每一个的坐标信息、所述多个IoT设备中的每一个的尺寸信息、所述多个IoT设备中的每一个的方向信息、以及关于所述多个IoT设备中的每一个所处的高度的信息。
14.根据权利要求11所述的方法，还包括：
将关于所述多个IoT设备中的每一个的位置信息的语义信息与所述地图数据进行映射，
其中，提供基于IoT设备位置的服务包括：基于接收到用户语音命令，使用映射有所述语义信息的地图数据来执行与所述用户语音命令相对应的操作。
15.根据权利要求11所述的方法，还包括：
基于当所述移动家庭机器人在家中四处移动时获得的信息，以预定周期更新地图数据和所述多个IoT设备中的每一个的位置信息。
CN201880085189.5A 2018-01-04 2018-12-19 移动家庭机器人及其控制方法 Active CN111542420B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0001359 2018-01-04
KR1020180001359A KR102385263B1 (ko) 2018-01-04 2018-01-04 이동형 홈 로봇 및 이동형 홈 로봇의 제어 방법
PCT/KR2018/016188 WO2019135514A1 (en) 2018-01-04 2018-12-19 Mobile home robot and controlling method of the mobile home robot

Publications (2)

Publication Number Publication Date
CN111542420A true CN111542420A (zh) 2020-08-14
CN111542420B CN111542420B (zh) 2023-06-06

Family

ID=67059193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880085189.5A Active CN111542420B (zh) 2018-01-04 2018-12-19 移动家庭机器人及其控制方法

Country Status (5)

Country Link
US (1) US11267131B2 (zh)
EP (1) EP3664974B1 (zh)
KR (1) KR102385263B1 (zh)
CN (1) CN111542420B (zh)
WO (1) WO2019135514A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113867165A (zh) * 2021-10-13 2021-12-31 达闼科技（北京）有限公司 机器人优化智能设备服务的方法、装置及电子设备
WO2022156314A1 (zh) * 2021-01-21 2022-07-28 珠海格力电器股份有限公司 一种交互方法、装置、存储介质及电子设备

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI127322B (fi) * 2016-04-22 2018-03-29 Maricare Oy Anturi ja järjestelmä valvontaan
US20190342154A1 (en) * 2018-05-03 2019-11-07 Flex Ltd. Method of connecting and processing new device data without any software code changes on a mobile application or hub
CN109325076B (zh) * 2018-06-07 2020-03-27 北京百度网讯科技有限公司 物联网中的数据管理方法、设备、计算机设备及可读介质
WO2020060267A1 (en) * 2018-09-20 2020-03-26 Samsung Electronics Co., Ltd. Cleaning robot and method for performing task thereof
US11233671B2 (en) * 2018-11-28 2022-01-25 Motorola Mobility Llc Smart internet of things menus with cameras
US11649980B2 (en) * 2019-03-20 2023-05-16 Lg Electronics Inc. Air conditioner communicating with moving agent to sense indoor space
KR20190094128A (ko) * 2019-07-23 2019-08-12 엘지전자 주식회사 IoT 기기 정보 제공 방법, IoT 기기 정보 제공 장치 및 지능형 컴퓨팅 디바이스
TWI735022B (zh) * 2019-08-08 2021-08-01 和碩聯合科技股份有限公司 語意地圖定向裝置、方法及機器人
CN110490931A (zh) * 2019-08-20 2019-11-22 上海秒针网络科技有限公司 轨迹生成方法和装置、存储介质及电子装置
KR102487078B1 (ko) * 2019-11-01 2023-01-11 삼성전자주식회사 허브 디바이스, 허브 디바이스 및 복수의 디바이스를 포함하는 멀티 디바이스 시스템 및 그 동작 방법
US11930230B2 (en) * 2019-11-01 2024-03-12 Samsung Electronics Co., Ltd. Hub device, multi-device system including the hub device and plurality of devices, and operating method of the hub device and multi-device system
WO2021112283A1 (ko) * 2019-12-04 2021-06-10 (주)바램시스템 홈 로봇 및 홈 디바이스 연동을 통한 스마트 홈 안전 모니터링 시스템
KR102328617B1 (ko) * 2020-02-18 2021-11-18 주식회사 에이피씨테크 사물인터넷 기반의 공기청정기 관리시스템
CN111300429A (zh) * 2020-03-25 2020-06-19 深圳市天博智科技有限公司 机器人控制***、方法及可读存储介质
KR20210123859A (ko) 2020-04-06 2021-10-14 삼성전자주식회사 전자 장치 및 그의 제어 방법
CN111600783A (zh) * 2020-05-13 2020-08-28 仲恺农业工程学院 一种基于物联网的家庭智能安全防护***
CN114128314A (zh) * 2020-05-15 2022-03-01 北京小米移动软件有限公司 物联网设备的地图获取方法和装置
US20230230374A1 (en) * 2020-05-15 2023-07-20 Beijing Xiaomi Mobile Software Co., Ltd. Method and device for positioning internet of things devices
WO2022056126A1 (en) * 2020-09-09 2022-03-17 Sonos, Inc. Wearable audio device within a distributed audio playback system
CN112883132B (zh) * 2021-01-15 2024-04-30 北京小米移动软件有限公司 语义地图生成方法、语义地图生成装置、以及电子设备
CN112860826A (zh) * 2021-01-15 2021-05-28 北京小米移动软件有限公司 一种功能控制方法、功能控制装置及存储介质
US11188925B1 (en) * 2021-03-30 2021-11-30 Honda Motor Co., Ltd. Method and system for automated reconfiguration of user interface based on product lifecycle
KR20230105382A (ko) * 2022-01-04 2023-07-11 삼성전자주식회사 등록된 외부 기기를 제어하는 사용자 인터페이스를 제공하는 장치 및 방법
KR102486466B1 (ko) * 2022-08-09 2023-01-12 주식회사 서큘러스 인터랙션 로봇 및 이를 이용한 무선 홈 네트워킹 서비스 제공 방법
KR20240045640A (ko) * 2022-09-30 2024-04-08 삼성전자주식회사 특정 공간을 주행하는 로봇 및 이의 제어 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140316636A1 (en) * 2013-04-23 2014-10-23 Samsung Electronics Co., Ltd. Moving robot, user terminal apparatus and control method thereof
US20140324271A1 (en) * 2013-04-26 2014-10-30 Samsung Electronics Co., Ltd. Cleaning robot, home monitoring apparatus, and method for controlling the cleaning robot
CN104838621A (zh) * 2012-12-14 2015-08-12 三星电子株式会社 用于家庭监视的方法和装置
CN104885406A (zh) * 2012-12-18 2015-09-02 三星电子株式会社 用于在家庭网络***中远程控制家庭设备的方法和设备
US20170187807A1 (en) * 2015-12-28 2017-06-29 Verizon Patent And Licensing Inc. Internet of things provisioning
CN107518830A (zh) * 2016-06-15 2017-12-29 美国iRobot公司 控制自主移动机器人的***和方法

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10511950B2 (en) 2006-05-16 2019-12-17 RedSky Technologies, Inc. Method and system for an emergency location information service (E-LIS) for Internet of Things (IoT) devices
KR101239284B1 (ko) 2011-05-31 2013-03-06 삼성에스디에스 주식회사 증강현실 컨텐츠를 통해 타겟장치를 제어하는 제어단말기 및 서버
US9600645B2 (en) * 2012-09-21 2017-03-21 Google Inc. Smart invitation handling at a smart-home
US9652912B2 (en) * 2012-09-21 2017-05-16 Google Inc. Secure handling of unsupervised package drop off at a smart-home
US9332040B2 (en) * 2013-10-07 2016-05-03 Google Inc. Hazard detection unit facilitating convenient setup of plural instances thereof in the smart home
EP2950510B1 (en) * 2014-05-28 2018-07-11 Samsung Electronics Co., Ltd Apparatus and method for controlling internet of things devices
US20150358777A1 (en) * 2014-06-04 2015-12-10 Qualcomm Incorporated Generating a location profile of an internet of things device based on augmented location information associated with one or more nearby internet of things devices
US20150370272A1 (en) * 2014-06-23 2015-12-24 Google Inc. Intelligent configuration of a smart environment based on arrival time
TWI559966B (en) 2014-11-04 2016-12-01 Mooredoll Inc Method and device of community interaction with toy as the center
KR102332752B1 (ko) * 2014-11-24 2021-11-30 삼성전자주식회사 지도 서비스를 제공하는 전자 장치 및 방법
US9210534B1 (en) * 2015-02-19 2015-12-08 Citrix Systems, Inc. Location assistance in a machine to machine instant messaging system
KR101783788B1 (ko) 2015-02-24 2017-10-11 충북대학교 산학협력단 지능형 로봇 및 그 동작 방법
US9586318B2 (en) * 2015-02-27 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Modular robot with smart device
US10453098B2 (en) * 2015-03-04 2019-10-22 Google Llc Privacy-aware personalized content for the smart home
CN104965426A (zh) 2015-06-24 2015-10-07 百度在线网络技术（北京）有限公司 基于人工智能的智能机器人控制***、方法和装置
US9889559B2 (en) 2015-06-26 2018-02-13 Intel Corporation Robotic system for updating devices
CN105159105B (zh) * 2015-08-13 2019-06-14 小米科技有限责任公司 智能电器工作方法及装置
KR102521493B1 (ko) * 2015-10-27 2023-04-14 삼성전자주식회사 청소 로봇 및 그 제어방법
KR20170061489A (ko) * 2015-11-26 2017-06-05 삼성전자주식회사 전자 기기 및 이의 운송 기기 제어 방법
KR101832569B1 (ko) 2015-12-15 2018-04-04 주식회사 엘지유플러스 홈 디바이스를 모니터링하는 이동식 홈 로봇 및 그 동작 방법
US10486313B2 (en) * 2016-02-09 2019-11-26 Cobalt Robotics Inc. Mobile robot map generation
US9615066B1 (en) * 2016-05-03 2017-04-04 Bao Tran Smart lighting and city sensor
KR20180013570A (ko) * 2016-07-29 2018-02-07 주식회사 두두원 집 안의 사물을 제어하는 가족으로서의 로봇 서비스 시스템 및 방법
KR102640420B1 (ko) * 2016-12-22 2024-02-26 삼성전자주식회사 홈 로봇 장치의 동작 운용 방법 및 이를 지원하는 홈 로봇 장치
US10467509B2 (en) * 2017-02-14 2019-11-05 Microsoft Technology Licensing, Llc Computationally-efficient human-identifying smart assistant computer
KR101773768B1 (ko) 2017-04-24 2017-09-13 (주)지란지교시큐리티 사물인터넷 기기 모니터링 시스템 및 방법
US10664502B2 (en) * 2017-05-05 2020-05-26 Irobot Corporation Methods, systems, and devices for mapping wireless communication signals for mobile robot guidance
US10206081B1 (en) * 2017-10-05 2019-02-12 Hall Labs Llc Deployment of intermediate-range devices using a short-range mobile device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104838621A (zh) * 2012-12-14 2015-08-12 三星电子株式会社 用于家庭监视的方法和装置
CN104885406A (zh) * 2012-12-18 2015-09-02 三星电子株式会社 用于在家庭网络***中远程控制家庭设备的方法和设备
US20140316636A1 (en) * 2013-04-23 2014-10-23 Samsung Electronics Co., Ltd. Moving robot, user terminal apparatus and control method thereof
US20140324271A1 (en) * 2013-04-26 2014-10-30 Samsung Electronics Co., Ltd. Cleaning robot, home monitoring apparatus, and method for controlling the cleaning robot
CN105142482A (zh) * 2013-04-26 2015-12-09 三星电子株式会社 清洁机器人、家居监控装置以及用于控制该清洁机器人的方法
US20170187807A1 (en) * 2015-12-28 2017-06-29 Verizon Patent And Licensing Inc. Internet of things provisioning
CN107518830A (zh) * 2016-06-15 2017-12-29 美国iRobot公司 控制自主移动机器人的***和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022156314A1 (zh) * 2021-01-21 2022-07-28 珠海格力电器股份有限公司 一种交互方法、装置、存储介质及电子设备
CN113867165A (zh) * 2021-10-13 2021-12-31 达闼科技（北京）有限公司 机器人优化智能设备服务的方法、装置及电子设备

Also Published As

Publication number Publication date
KR102385263B1 (ko) 2022-04-12
US11267131B2 (en) 2022-03-08
EP3664974B1 (en) 2022-10-19
US20190202062A1 (en) 2019-07-04
EP3664974A1 (en) 2020-06-17
CN111542420B (zh) 2023-06-06
EP3664974A4 (en) 2020-09-02
KR20190088122A (ko) 2019-07-26
WO2019135514A1 (en) 2019-07-11

Similar Documents

Publication Publication Date Title
CN111542420B (zh) 移动家庭机器人及其控制方法
CN107113544B (zh) 用于物联网设备的3d映射的方法、***及介质
US20220020339A1 (en) Display method and apparatus
CN107703872B (zh) 家电设备的终端控制方法、装置及终端
US9728009B2 (en) Augmented reality based management of a representation of a smart environment
US10551839B2 (en) Mobile electronic device and navigation method thereof
CN109672720B (zh) 用于控制IoT装置的电子装置及其操作方法
CN105100390A (zh) 移动终端和用于控制该移动终端的方法
CN113574846A (zh) IoT装置的位置推断方法、服务器和支持该方法的电子装置
KR20140077489A (ko) 사용자 단말 장치, 네트워크 장치 및 그 제어 방법
CN111915870A (zh) 语音添加遥控器码值的方法、装置、电视和存储介质
US20220374910A1 (en) Property archivist enabled customer service
KR102436536B1 (ko) 전자 장치 및 그 센서 배치 방법
TWI595427B (zh) 設備至制方法和設備控制系統及其儲存媒介
JP2018071797A (ja) ネットワークシステム、サーバ、情報処理方法、空気調和機、およびプログラム
WO2018047458A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JPWO2019239738A1 (ja) 情報処理装置、情報処理方法
US20230119058A1 (en) Operating-system-level setup for multi-ecosystem smart-home devices
US20240160298A1 (en) Point and gesture control of remote devices
JP2017151742A (ja) ネットワークシステム、サーバ、情報処理方法、および電気機器
KR20240076871A (ko) 맵을 이용하여 공간을 주행하는 로봇 및 그의 위치 식별 방법
WO2023069621A1 (en) Operating-system-level setup for multi-ecosystem smart-home devices
JP2024506452A (ja) 実世界デバイスを制御するためのコマンドを有効にする拡張現実方法及びシステム
CN116889014A (zh) 机器人清洁设备及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant