CN107206601A - 客户服务机器人和相关***及方法 - Google Patents

客户服务机器人和相关***及方法 Download PDF

Info

Publication number
CN107206601A
CN107206601A CN201580069534.2A CN201580069534A CN107206601A CN 107206601 A CN107206601 A CN 107206601A CN 201580069534 A CN201580069534 A CN 201580069534A CN 107206601 A CN107206601 A CN 107206601A
Authority
CN
China
Prior art keywords
robot
client
facility
computer
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580069534.2A
Other languages
English (en)
Inventor
马可·O·马斯科罗·梅迪纳
范正钦
他威都·拉纳通加
丹尼尔·T·巴里
乌特卡什·辛哈
西瓦普利亚·卡扎
瓦伦·克里希纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rockwell Co Ltd
Original Assignee
Rockwell Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rockwell Co Ltd filed Critical Rockwell Co Ltd
Publication of CN107206601A publication Critical patent/CN107206601A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G06Q30/016—After-sales
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Manipulator (AREA)

Abstract

用于在设施内提供客户服务的机器人包括移动平台、用于检测机器人的上部视野内的物体的上部传感器、用于检测机器人的下部视野内的物体的下部传感器、显示器和与移动平台、上部传感器和下部传感器通信的机器人计算机。机器人计算机被配置为基于从上部传感器和下部传感器中的至少一个接收的信息来检测设施内的客户的存在，并且机器人计算机进一步被配置为访问存储与设施内的客户可用的产品相关联的信息的一个或多个数据库，并根据所访问的信息向客户提供客户服务。

Description

客户服务机器人和相关***及方法
技术领域
本公开大体涉及机器人装置，并且更特别地涉及客户服务机器人及其相关***和方法。
背景技术
正如过去改善客户服务的努力所证明的那样，创造高质量的个人客户服务不是一件容易的事情。几十年来，大多数零售店的客户体验在很大程度上处于相同的状态。当客户需要询问一些问题时，即使只是一个简单的产品位置问题，他们通常也不得不在商店周围寻找可能正在帮助另一个客户的商店代表，因此客户有时候会需要等待帮助。此外，这样的代表不能提供期望的帮助并不罕见，因为记住和跟踪商店中有时可能成千上万或更多不同的商品几乎是不可能的。部分由于在线或电子商务购物的流行，现在的客户希望能够随时掌握一切，立即可以使用，并且当前物理位置的购物体验状况未能达到这些期望。物理商店还以分散的方式分散在各处，并且尽管当组合起来时，他们或许比电子商务竞争对手拥有更多的人力，但他们在一天的不同时间并不统一并且利用非常不足。有许多类型的已知服务机器人；然而，这样的机器人不太适合于零售或客户服务，因此通常是低效的、没有收益的、没有吸引力的，并且在其他方面不太理想。
因此，迄今为止，行业中存在着解决上述缺陷和不足之处的需求。
发明内容
本公开的实施例提供了用于在设施内提供客户服务的机器人和机器人***。在一个实施例中，提供了用于在设施内提供客户服务的机器人。机器人包括移动平台、用于检测机器人的上部视野内的物体的上部传感器、用于检测机器人的下部视野内的物体的下部传感器、显示器和机器人计算机。机器人计算机与移动平台、上部传感器和下部传感器通信，并且机器人计算机包括处理器和计算机可读存储器。机器人计算机被配置为基于从上部传感器和下部传感器中的至少一个接收的信息来检测设施内的客户的存在，并访问存储有与可用于设施内的客户的产品相关联的信息的一个或多个数据库，以及根据访问的信息向客户提供客户服务。
在另一个实施例中，提供了用于在设施内提供客户服务的机器人***，其包括机器人和支持站。机器人包括移动平台、用于检测机器人的上部视野内的物体的上部传感器、用于检测机器人的下部视野内的物体的下部传感器、显示器和与移动平台、上部传感器和下部传感器通信的机器人计算机。机器人计算机包括处理器和计算机可读存储器。支持站位于机器人远处，并且包括支持站摄像机、支持站显示器和与支持站摄像机和支持站显示器通信的支持站计算机。支持站计算机包括处理器和计算机可读存储器。机器人被配置为通过促进在设施中与机器人交互的客户和位于远程位置的支持站处的运营商之间的双向通信来提供客户服务。
本发明的一个目的是通过定向广告和路线选择来提供改进的客户服务。
本发明的另一目的是提供映射、库存集成、产品定位和客户指导服务。
本发明的又一目的是在设施内提供改进的顾客互动。
本发明的又一目的是提供改进的库存控制。
本发明的另一目的是提供贸易市场监控。
本发明的另一目的是通过与支持运营商的通信来提供改进的客户服务。
在另一实施例中，本公开还可以被视为提供用机器人提供客户服务的方法。其中在这方面，这种方法的一个实施例可以通过以下步骤大致概括：在具有至少一个客户的设施内提供机器人，其中所述机器人具有移动平台、用于检测所述机器人的上部视野内的物体的上部传感器、用于检测所述机器人的下部视野内的物体的下部传感器、显示器和与移动平台、上部传感器和下部传感器通信的机器人计算机；基于从上部传感器和下部传感器中的至少一个接收的信息来检测设施内的至少一个客户的存在；并向所述至少一个客户提供客户服务。
附图说明
通过审查以下附图和详细描述，本公开的其它***、方法、特征和优点将对本领域技术人员而言变得显而易见。所有这些附加***、方法、特征和优点旨在包括在本说明书内、在本公开的范围内，并由所附权利要求书保护。
参考以下附图可以更好地理解本公开的许多方面。附图中的组件不一定按比例绘制，而是将重点放在清楚地说明本公开的原理之上。此外，在附图中，在几个视图中，相同的附图标记表示相应的部分。
图1是根据本公开的第一示例性实施例的用于在设施内提供客户服务的机器人装置的示意图。
图2是根据本公开的第一示例性实施例的用于在图1的设施内提供客户服务的机器人装置的子***的框图。
图3是根据本公开的第一示例性实施例的用于使用图1的机器人装置在设施内提供客户服务的机器人***的示意图。
图4是根据本公开的第一示例性实施例的图1的机器人装置使用的主动路径规划的示意图。
图5是根据本公开的第一示例性实施例的与设施内的物品以及客户交互的机器人装置的示意图。
图6是根据本公开的第一示例性实施例的用于在图1的设施内提供客户服务的机器人装置使用的视觉算法的框图。
具体实施方式
在下面的描述中，参考形成其一部分的附图，并且通过说明的方式示出了本公开的各种实施例。应当理解，在不脱离本公开的范围的情况下，可以利用其他实施例并进行改变。
本发明的许多方面可以采用计算机可执行指令的形式，包括由可编程计算机执行的算法。相关领域的技术人员将理解，本发明也可以用其它计算机***配置来实现。本发明的某些方面可以体现在被具体地编程的专用计算机或数据处理器中，该专用计算机或数据处理器配置或构造成执行下面描述的一种或多种计算机可执行算法。因此，本文通常使用的术语“计算机”是指任何数据处理器，并且包括互联网设备、手持设备(包括掌上电脑、可穿戴计算机、蜂窝或移动电话、多处理器***、基于处理器的或可编程的消费电子产品、网络计算机、小型计算机)等。
本发明的一些方面也可以在分布式计算环境中实施，其中任务或模块由通过通信网络连接的远程处理设备执行。在分布式计算环境中，程序模块或子程序可以位于本地和远程存储设备中。下面描述的本发明的方面可以存储或分布在计算机可读介质上，包括磁性和光学可读和可移动的计算机磁盘、固定磁盘、软盘驱动器、光盘驱动器、磁光盘驱动器、磁带、磁盘驱动器(HDD)、固态驱动器(SSD)、紧凑型闪存或非易失性存储器、以及通过网络电子分发。特定于本发明方面的数据结构和数据的传输也包括在本发明的范围内。
图1是根据本公开的第一示例性实施例的用于在设施内提供客户服务的机器人装置1的示意图。用于提供客户服务的机器人装置1(其在本文中可以被称为客户服务机器人1)可以是机器人、远程机器人(telebot)或完全类似或部分类似的机器人装置中的任何类型，其能够自主地导航，感测或检测某些元素并与远程支持站进行通信。客户服务机器人1可以包括移动平台11、机器人头部23、无线通信设备13、机器人计算机14、下部3D传感器12、上部3D传感器15、多阵列麦克风16、扬声器18、触摸屏设备19和背面显示器20。此外，客户服务机器人1可以包括诸如将移动平台11连接到机器人头部23的框架的结构21。尽管在本文的示例性实施例中描述为“3D”传感器，相关领域的技术人员将容易地理解，上部传感器15和下部传感器12中的一个或两个可以是2D传感器，并且具有2D传感器作为上部传感器15和下部传感器12中的一个或两个的机器人的实施例被认为在本公开的范围内。
移动平台11允许机器人1移动。移动平台11可以具有例如两个或更多个车轮和脚轮30，允许机器人在任何方向上移动。机器人1可以包括任何类型的驱动***以使用移动平台11移动，诸如机电驱动马达。机器人1可以具有各种高度，但是优选地至少为5英尺高以便为客户提供最佳的便利。结构21的高度可以是可调节的，并且机器人头部23可以能够移动和倾斜或以其他方式移动，从而允许机器人1的高度和机器人头部23的角度改变以便提供任何期望的高度并从上部传感器15观察。
机器人计算机14可以是利用任何已知的操作***由各种硬件和软件部件构成的任何计算设备。在一个实施例中，机器人计算机14是使用Ubuntu操作***并包括单个12V电源的微型计算机。机器人计算机14可以具有足够的处理能力来运行各种软件，包括例如机器人操作***(ROS)，具有OpenCV的视频处理等。本领域已知的任何计算组件可以与机器人计算机14一起使用。
可以在客户服务机器人1上设置多个传感器。传感器可以包括任何类型的传感器，包括三维(3D)传感器、二维(2D)传感器或本领域已知的任何其它传感器。由于3D传感器对于大多数用途可能是优选的，因此本公开将传感器描述为3D传感器。上部3D传感器15允许机器人1感知机器人1前面的人和物体，并且附加的上部传感器30、31和32(其可以是2D、3D或其他)允许机器人1感知分别位于机器人1的侧面和后面的人和物体。移动平台上的下部3D传感器12允许机器人1检测机器人前方的地面上的障碍物，并且附加的下部传感器34、35和36(其可以是2D、3D或其它)允许机器人1检测机器人1的侧面和后面的地面上的障碍物。机器人1还可以包括全景3D传感器17，其使得机器人1能够检测位于与机器人1成任意角度的物体。3D传感器12、15、17、30、31、32、34、35和36可以为任何类型的2D或3D摄像机、激光测距仪、2D或3D扫描仪、结构光扫描仪、立体相机、超声波、雷达、激光雷达或用于检测2D或3D静态和/或动态运动的任何其他感测或扫描设备。在一个实施例中，上部传感器是微软(Microsoft)Kinect设备；下部传感器是北阳(Hokuyo)激光雷达设备；以及全景3D传感器是威力登(Velodyne)激光雷达设备。
机器人1可以包括具有触摸屏显示器50、计算机51和眼睛跟踪设备29的触摸屏设备19。触摸屏显示器50可以包括向客户呈现信息并允许客户与触摸屏显示器50交互的任何类型的交互式图形用户界面(GUI)。计算机51包括足够的处理能力以运行各种触摸兼容软件，包括例如Windows 8操作***。背面显示器20可以连接到触摸屏设备计算机51，并且可以包括类似于触摸屏设备19的触摸屏特征。触摸屏设备19和背面显示器20的使用允许机器人1与来自多个方向的客户互动。例如，第一客户可以使用机器人1前方的触摸屏设备19与机器人1进行交互，而第二客户观看显示在背面显示器20上的信息。
多阵列麦克风16连接到触摸屏设备计算机51并且能够使机器人1进行声源定位和环境噪声抑制。使用麦克风16，机器人1能够同时了解多个人的讲话，并且从环境噪声中区分特定人的讲话。一个或多个扬声器18也包括在机器人1上，使得机器人1可以与客户用语音交流。扬声器18连接到计算机51，计算机51将通过麦克风16检测环境噪声，并确定扬声器18的正确的扬声器音量。机器人1交流用的语音可以包括任何语言。
机器人1还可以包括电力***22。电力***22可以包括电池24和充电***25。电池24可以是可再充电铅酸电池或任何其他类型的电池。充电***25可以包括允许机器人1电连接到对接站(未示出)用于充电的接口。电力***22可以包括配电电路和部件，包括调节器、散热装置、熔断器和/或断路器。此外，电力***22可以包括紧急切断电路，其可以在某些情况下自动或手动地切断来自机器人1的电力，例如，如果电池太热，电池低于某一最小阈值电荷，或者如果机器人移动到预定区域之外。根据用户移动机器人的程度，电池寿命可能会有很大的不同。优选地，电池类型、尺寸和容量允许两次充电之间使用八小时。
机器人1还可以包括嵌入式***26，其具有用于机器人1的控制和感测接口的一个或多个处理器27和相关联的电路28。处理器27可以是例如Arduino Mega微控制器，其允许与用于控制平台11的串行输出一起容易地开发，并且可以充当向机器人计算机14提供接口的串行(例如，通过USB)设备。处理器27可以是任何处理器、微处理器或微控制器，并且可以是PIC微控制器，其通常是强大的并且允许用于数据传输的高速USB和以太网连接。处理器27可以包括一些量的计算机可读存储器或与一些量的计算机可读存储器相关联。
机器人1还可以包括机器人位置检测器33。机器人位置检测器33可以利用多种已知位置检测技术中的任何一种用于检测机器人1的位置，包括全球定位***(GPS)、室内定位***(IPS)和惯性导航***(INS)。机器人位置检测器33还可以与任何数量的地图、平面布置图或使用机器人1的设施的布局的类似原理图协调工作。机器人1还可以包括能够接收和发送RFID信号到机器人1和/或从机器人1接收和发送RFID信号的至少一个RFID天线56。
附加的传感器可以包括在机器人1中。这些可以包括以下任何一种：红外摄像机37(例如，用于感测环境热源以及客户的个人血液流量分布)；雷达传感器或多普勒雷达传感器38(用于运动检测和检测客户的个人呼吸和心率)；其可以是可能对触摸、力和/或压力敏感的压阻传感器、压电传感器、电容传感器和/或电阻传感器；悬崖传感器40(用于感测“悬崖”或楼梯或其他地形特征的存在)；碰撞传感器41，其可以是当机器人1碰撞到物体时用于感测的力传感器；湿度传感器42，其可以是用于感测环境空气中的湿度的湿度计；化学传感器43，其可以是用于感测环境的化学组分的电位传感器；振动传感器44，其可以是用于感测振动的压电传感器或加速度计；用于感测紫外线辐射的紫外线传感器45；超声波传感器46，其可以用于检测人、用于检测罐(例如，燃料箱等)中的液体的充满度、用于测量风速和方向，或用于任何其他已知用途；和/或用于感测环境温度和/或用于感测机器人计算机14或任何其它发热或敏感部件温度的温度传感器47。这些附加传感器中的每一个可以与机器人计算机14和触摸屏设备19进行通信。
可以使用任何上述传感器以及包括例如生物识别传感器52的其它传感器和/或感测技术来扩展机器人1的能力以感测观察到的客户的血流、呼吸和心率、视网膜图案，以及体液分布。例如，摄像机39可以检测人的***状扩张和视网膜图案。红外摄像机37或其他热成像设备可以感测人的血流和体液分布。例如，摄像机39可以感测到人的呼吸，并且可以基于人的胸部的可见的扩张和收缩，或者吸气和呼气时人的鼻孔的运动来确定人的呼吸模式。并且，例如，因为心率可以基于皮肤亮度的变化、血流的变化和/或使用电容耦合的位移电流来确定，可以基于由摄像机39、红外摄像机37或电位传感器感测的信息来感测和确定人的心率。这些参数有助于评估观察个体的“心理状态”。
图2是根据本公开的第一示例性实施例的用于在图1的设施内提供客户服务的机器人装置1的子***的框图。因此，图2的每个块/模块表示机器人1的子***。视频输入和输出201子***、音频输入和输出202子***、无线通信203子***，3D传感器204子***和其他输入和输出205子***都与计算、数据存储、命令和控制子***200通信。子***200与微控制器和I/O板210通信，微控制器和I/O板210控制移动平台211和伺服机、致动器和操纵器212，并且连接机电和光学传感器213。当各种子***一齐使用时，机器人1能够向设施内的客户提供客户服务并且以其他方式执行本文所述的各种功能。
图3是根据本公开的第一示例性实施例的用于使用图1的机器人装置1在设施内提供客户服务的机器人***10的示意图。相对于图1和图3，机器人1可以能够与机器人***10的其他部件通信以促进全面的功能。机器人1的无线通信设备13可以通过计算机网络3与计算中心4通信。网络3可以包括任何数量的网络可访问设备，例如第一网络101、服务器100、第二网络102、本地无线通信设备103(其可以是例如本地无线路由器)。计算机网络101和102可以是能够在设备之间进行通信的任何有线或无线计算机网络，包括局域网(LAN)、广域网(WAN)、互联网、无线LAN、Wi-Fi、移动设备网络、IEEE 802.11、GSM、GPRS、UMTS、3G和4G通信协议，或本领域普通技术人员已知的任何其他网络布置和/或协议。
计算中心4可以是任何一种云计算中心、数据中心、超级计算机和其他强大的计算资源。计算中心4可以包括促销数据库140，其包含诸如促销视频、图像、产品描述、促销优先、促销优惠、促销历史、品牌关系和其他信息的各种促销信息和产品材料。计算中心4还可以包括设施的数字库存数据库141，数字库存数据库141可以包含关于产品的三维的扫描的结构信息，并且计算中心4可以与机器人计算机14共享该库存数据库141，例如用于展示给消费者。计算中心4可以将该库存数据库141集成到设施的地图中，并且因此可以以如此高的精度来识别地图中产品的位置，使得在同一货架上的不同产品可以被充分地区分用于库存控制目的。计算中心4还可以包括客户数据库142，其包含客户的匿名信息，诸如购买历史、会员卡信息、机器人交互历史和客户行为模式分析等。
机器人1可以能够通过计算机网络3和操作员网络***5与支持站2进行通信。支持站2可以用于允许操作者80和与机器人1交互的客户70进行通信。支持站可以包括摄像机121、支持站计算机114、触摸屏显示器120、麦克风116、扬声器118和诸如键盘、鼠标或操纵杆的输入设备117。支持站2通常位于远离机器人1的位置，例如位于用于设施的远程客户服务中心。虽然仅示出了一个机器人1和一个支持站2，但是相关领域的普通技术人员将容易理解，***10可以包括多个机器人1和/或多个支持站2。
由支持站2的摄像机121拍摄的视频图像可以被发送到机器人1(例如，通过网络3)，其中它们可以被显示在触摸屏显示器50上。音频信号也可以由支持站麦克风116拾取并发送到机器人1，在那里它们可以由扬声器18广播。类似地，视频信号和音频信号可以由机器人1拾取并被发送到支持站2。因此，在支持站2处的操作者80可以查看远处机器人环境的图像并听到远处机器人环境的音频。
因此，可以在支持站2处的操作者80和与机器人1通信的客户70之间执行具有音频连接的双向视频通信。例如，机器人1的摄像机39可以捕获在摄像机视野内的人的视频数据，并且麦克风16可以捕获来自人的音频信息。该信息被发送到支持站2，在那里它可以被输出到显示器120和/或扬声器118。同时，来自支持站2处的操作者80的视频信息和音频信息可以分别由摄像机121和麦克风116捕获，并且发送到机器人1，在那里它可以被输出到显示器50和/或扬声器18。本发明可以利用与平台无关的双向视频聊天协议，不需要公共IP地址，不需要特殊的隧道(tunneling)或防火墙配置，不需要远程信息技术协助，并且可以同时使用Wi-Fi和4G连接。
操作者80可以通过操作支持站2向机器人1发出命令以导航到位于远离支持站2的某个位置。可以用触摸屏显示器120或与支持站计算机114进行通信的输入设备117来实现机器人1的命令。命令可以由计算机114接收和解释，并且例如通过网络101、服务器100、网络103、无线通信设备103发送到机器人1、机器人计算机14然后到移动平台11。机器人1将响应于所接收的命令根据需要移动。
***10可以与***后端软件131一起操作，***后端软件131可以在任何可商购的计算机操作***(包括Windows，Mac OS，Linux，Android，iOS等)上安装和运行。设施管理者或代理人81可以在设施上的计算机和移动设备(例如智能电话和平板电脑)上安装和使用软件131。该软件可以允许管理者或代理人81定义机器人1的任务的顺序和优先级，并将诸如促销视频、图像、产品描述等的广告材料上传到计算中心4的促销数据库140。软件131可以自动处理由管理者或代理人81输入的信息，并将其转换为机器人1可以理解的格式。
操作示例：
机器人1可以例如使用其全景图、上部3D传感器和下部3D传感器自主地探索设施。可以利用由3D传感器捕获的可视数据以及可由诸如GPS、IPS、INS或其他此类技术的机器人位置检测器确定的对应的位置信息来生成设施的地图。设施的地图可以存储在机器人计算机14或计算机中心4中。机器人1可以使用上部3D传感器来扫描由客户带来的样品，并且在数字库存中找到与样品的结构信息匹配的结构信息，从而在设施中定位该产品。然后，机器人1可以通过在触摸屏设备19或背面显示器20上向客户显示关于产品的信息(例如其在设施内的位置、价格、促销信息等)或通过引导客户到设施内产品的位置来向客户提供进一步的服务。
机器人1可以例如通过使用其移动平台11或其机器人头部23进行小的动作来吸引客户的注意。机器人1还可以通过在触摸屏设备19或背面显示器20上显示静态图形或动态图形(其可以包括头像图形)来吸引客户的注意。机器人1可以通过使用扬声器18产生音频信号来进一步吸引客户的注意。机器人1可以通过监视客户的交流响应率、头部旋转、面部表情模式或以其他方式感测各种参数进一步检测客户70对其的兴趣以确定客户的“心理状态”，如前所述。当兴趣较低时，机器人将跳过此客户，并导航回到其在设施内的原始位置。机器人1的原始位置可以是设施管理者或代理人预先确定的充电站的位置或设施中的任何其他位置。在回到其原始位置的途中，机器人1可以基于捕获的数据选择可能具有更多客户密度的路线，并且使用其上部3D传感器来寻找需要服务的其他客户。机器人1可以通过分析客户的面部表情、行走模式、头部旋转、视觉方向等来确定需要服务的客户。如果机器人1找到可能需要帮助的客户，它将接近客户并使用语音和图形信息来询问客户是否需要帮助。一旦在机器人1和客户之间进行交互，机器人1也可以检测客户是否与其保持接洽。当机器人1发现客户不再参与交互时，它将终止当前任务并恢复返回其原始位置的任务。
计算中心4和计算机14可以各自运行可以使用多种语言包的语音引擎软件。正如相关领域技术人员将容易理解的那样，语音引擎软件可以是或包括任何已知的语音引擎、语音到文本或其他这样的技术。语音引擎软件使得机器人1能够以多种语言与客户在自然语音对话中接洽。机器人1在语音对话中将通过麦克风16接收口语信息。利用已知的信息处理技术，口语信息将被计算机14和计算中心4处理，以便提取关键信息并且了解客户的需要，例如购买兴趣、产品信息、位置查询、咨询请求，并且执行其他的客户服务行动。
客户70可以通过语音或通过操作触摸屏设备19与机器人1交流关于他/她的需求，并且如果设施内没有客户需要的产品，则机器人1可以为客户提供某些替代解决方案。例如，如果客户想要在零售商店购买谷物，机器人1可以通过访问存储在计算中心4中的产品库存来在触摸屏设备19上提供谷物产品的所有选项以及牛奶促销，因为购买谷物的人也很可能买牛奶。同时，机器人1提供了将客户70引导到谷物部分，例如通过说“我可以引导你到10号通道中的谷物部分吗？”如果客户70想要接受服务，他/她可以确认(例如，通过说“是的，请”)，然后机器人1将引导客户70到商店的那个位置。如果商店已经卖完客户70想要的谷物产品，则机器人1可以提供在线订购谷物并将其运送到客户的地址(其可以存储在例如计算中心4中)。
机器人1可以在触摸屏设备19上提供与客户需求相关联的信息和建议，并且还可以提供将客户70引导到可能满足需要的设施的该部分。如果客户70接受指导，则机器人1将在室内地图上找到连接当前位置到所需部分的路径。从当前位置到设施的所需部分可以有多个路径选项。因此，机器人1可以利用路径优化算法来确定选择多个路径选项中的哪一个。例如，机器人可以基于例如显示促销中的产品并有效地到达目的地的考虑来选择最佳路径。机器人1通过访问促销数据库140可以“知道”哪些产品具有高促销优先级。
机器人1旨在以友好和直观的方式与客户和其他人一起工作。在图4中进一步描述，机器人1导航通过在室内设施或其他商业位置中存在的非常动态的环境中时，其也能够动态地与人讲话和交流。例如，机器人1可以在设施周围漫游试图询问随机客户是否需要任何帮助，而不是停在原始位置不动并等待交互。它不会反复询问客户，而只有一部分时间询问客户，以免令人恼火。当客户接近时，它会检测客户的脸部以便知道他们何时在场。机器人1可以通过声音表达自己，还可以通过动作和心情灯的颜色来表达自己，心情灯可以包括位于机器人1上的各种发光二极管(LEDs)。机器人1将在繁忙/拥挤的部分中较慢移动并且将改变其LED颜色以表示其所处的各种状态，例如拥挤、迷失、帮助某人、接洽、正常巡逻或其他状态。除了可听的和基于LED的通信之外，机器人1可以在迎接新客户时仅使用其底座来执行摆动动作以获得他们的注意和/或尝试与他们接洽。
当导航通过室内设施或引导客户通过室内设施时，机器人1可以表达其状态及其对环境的意识，以便看起来与客户相关。为此，当机器人1正在等待正在途中的人，或者经过靠近的人时，机器人将会说出一些礼貌的短语，例如“对不起(Excuse me)”，当机器人的传感器由于许多人在周围而不允许其非常自由地导航时，机器人将提醒它正在引导的客户它感到拥挤，并且当机器人1不能移动时，它会真诚地道歉，并且说它卡住了。当机器人1在目标位置附近并且障碍物阻挡其路线时，机器人1将通知客户、操作者或其他人物品就在前方，而不是改变路线到零售空间周围的非常长的路径。
图4是根据本公开的第一示例性实施例的图1的机器人装置1使用的主动路径规划的示意图。当设施大部分空闲时，为客户寻找设施内的路径通常可能是简单的映射过程。然而，许多设施可能有许多物体在建筑物内移动，这创造了机器人1必须在其中操作的动态环境。例如，在室内商业环境中有很多移动物体(从人到购物车、到移动托盘)，机器人必须导航通过其中。在这些动态环境中，机器人1可以利用在设计路径时考虑移动障碍物的主动路径规划。
考虑客户在移动机器人1前面行走的示例。如图4所示，机器人1可以沿着典型路径164(例如，在检测障碍物166正在移动之前确定的路径)沿着第一方向160朝向目的地162移动。该典型路径164可以由典型的路径规划算法构成，该算法简单地设计朝向障碍物166的右侧的路径，因为在规划时，障碍物166位于机器人1的左侧。然而，当障碍物166开始沿方向168移动时，机器人1必须考虑到障碍物166朝向机器人1的右侧移动，并且因此移动到将与典型路径164截取的位置并引起机器人1和障碍物166碰撞。
为了防止机器人1与移动障碍物166之间的碰撞，机器人1可以创建第二路径或主动路径170，其以取决于障碍物166的移动的方式围绕障碍物166导航。例如，机器人1检测可以包括任何物体(例如，人、推车等)的移动障碍物166，并且跟踪移动障碍物166的移动。基于移动障碍物166的移动，机器人1确定导航通过移动障碍物166或围绕移动障碍物166导航的最佳路径。在如图4所示中，主动路径170可以围绕移动障碍物166的后部。机器人可以通过主动地制动机器人1来快速响应在其视野中突然出现的障碍物。该主动制动可以包括在与机器人的运动相反的方向上给出简短的速度命令。
图5是根据本公开的第一示例性实施例的与设施内的物品以及客户进行交互的图1的机器人装置1的示意图。机器人1可在其中操作的设施可以包括显示结构300，其可以是用于在设施中显示产品或服务的任何结构。常见的显示结构可以包括搁架、桌子、展台或展位。显示结构300可以包括在其上的任何数量的物品301，并且还可以包括一个或多个用于自动识别和数据捕获的无线发射机302。
相对于图1-2和图5，当机器人1引导或伴随客户70并靠近显示结构300移动时，其可以通过其3D传感器中的一个或多个来识别结构300和其上的物品301，并且在背面显示器20上显示与物品301相关的促销信息310。背面显示器20上的促销信息310可以包括物品301的一个或多个图像311、关于物品301的文本313、关于物品301的促销标题312和关于结构300的一般信息314。一般信息314可以包括结构特征、产品类别和子类别、位置等。例如，如果结构300是零售商店中的货架或桌子，当机器人1引导客户通过通道时，显示器20可以显示沿着通道的货架或桌子上的产品的广告。当显示产品的广告时，机器人1可以将促销状态记录在计算中心4的促销数据库中，该数据库可以监视和分析已经为库存中的每个品牌提供了多少促销。机器人1还可以将被引导到某个显示结构300的客户的数量记录到计算中心4的促销数据库中。
机器人1可以作为客户70的个人购物者，并且向客户70提供个性化的服务和建议。机器人1提供这种个性化服务的能力可以由在计算中心4上运行的人工引擎软件来提供支持。例如，当客户70正在寻找诸如衣服的特定物品时，机器人1可以观察客户的头发颜色、眼睛颜色、脸部形状、身高、身体形状等并提出时尚建议。可以包括服装、配饰或其他这样的物品与人的物理或其他特征之间的关联的时尚咨询信息可以存储在计算中心4中并被机器人1访问，以便给出个性化的时尚建议。对于太大或易于偷窃的产品，机器人1可以向客户70提议在收款处接收产品。客户70可以通过语音告知机器人1来选择接收产品，或者可以点击在触摸屏设备上的接收按钮。一旦客户70确认他/她想要在收款处接收产品，机器人1可以打印出一张收据以供客户70带到收款处。
当客户70查看显示结构300时，机器人1可以通过眼睛跟踪装置29跟踪客户的眼睛运动并通过其3D传感器拍摄图像来监视顾客的行为。机器人1可以将数据发送到计算中心4，计算中心4可以分析数据并提取关于客户70的信息，例如客户正在查看的产品、客户对产品的情感、客户花费在产品上的时间等等。
当机器人1在设施内可操作时，它可以通过其3D传感器在一段时间内位于一位置处拍摄客户的图片来监视客户流。例如，在零售商店中，机器人1可以在下午6点(6PM)到下午7点(7PM)之间拍摄走进和走出通道的客户照片，并将这些照片发送到计算中心4，计算中心4可以分析图片并计算出有多少人在这段时间内经过这个通道。计算中心4可以进一步分析和整合客户流数据，并且形成在整个设施中的客户移动图，其可以包括像客户花费大部分时间的部分以及客户最常使用哪条路径的信息。
机器人1可以通过其传感器(例如麦克风、3D传感器、触摸屏、生物识别传感器等)捕捉客户的特征，并将客户特征数据发送到计算中心4。计算中心4将处理该特征数据并找到特定客户70的某些模式(例如语音模式、面部特征、手势模式、生物识别模式等)并将其存储在计算中心4的客户数据库中。当客户70返回到设施中，机器人1可以例如通过访问存储在客户数据库中的信息客户特征数据将客户70识别为返回客户。当机器人1通过上述处理识别到返回客户时，其可以基于当前购买兴趣和该客户的过去购物历史在触摸屏设备19和后面显示器20上显示广告。机器人可以通过访问客户数据库142“知道”返回客户的购买兴趣和购物历史。
机器人1可以监视设施中的设备并报告设备的任何故障或需要清洁或维护。例如，机器人1可以监视零售店中的冰箱和冷冻箱，并且如果该设备存在故障，或者如果存在打开的门，或者如果存在泄漏或其它清理需要，则机器人1向***后端发送报告。机器人1可以进一步监视设施中的产品的价格，并且如果产品的显示价格与数字库存中的价格不匹配，则将向***后端发送报告。
客户70可以通过与机器人1对讲或通过操作触摸屏设备19来请求人类代表或操作者80登录到机器人1。机器人1将访问运营商网络***5，并请求运营商网络***将其连接到可用的操作者之一。运营商网络***5可以使用搜索引擎150来查找所有可用的操作者，并且使用拨号软件151同时拨号到所有可用的操作者。第一响应的操作者将连接到机器人1，并且连接的操作者80可以使用支持站2登录到机器人1。例如，如果客户70想要与绘画专家交谈，他/她可以告诉机器人“我想和绘画专家交谈”，或者点击触摸屏设备19上的绘画专家按钮，然后机器人1将访问运营商网络***5并连接到网络上的可用绘画专家之一。然后连接的绘画专家可以使用支持站上的计算机或智能手机登录机器人1。
当机器人1在结构300附近操作时，其可以通过利用其3D传感器拍摄在显示结构300上产品的图像来辅助设施的显示结构300上的库存。例如，当机器人1在零售商店内沿着通道移动时，其可以拍摄沿着该通道的货架上的产品的图像。机器人1还可以拍摄在篮子、购物车和客户手中的产品的图像。机器人1可以将所有这些图像发送到计算中心4，并且计算中心4可以处理这些图片、识别和区分产品，计算出显示结构300上留下的产品数量，报告不应该放置在结构300上的错位产品，并更新库存数据库中的所有这些信息。当存在错放产品时，或者当某个产品的数量低于库存数据库中预设的警告阈值时，机器人1可向***后端软件发送警告消息，以便设施管理者或代理人81可以进行安排以将错放的产品放回原处和/或将产品重新装入结构300上。
在另一实施例中，机器人1可以使用基于视觉的方法来确定显示结构300上的哪些物品缺货，以及哪些物品是潜在的低库存。在这种基于视觉的方法中，机器人1上的摄像***被优化以在正确的聚焦和照明水平下拍摄图像。通过收集RFID标签信息(如果在商业设施中部署任何这样的信息)则可以进一步扩大基于视觉的数据，以达到甚至更高的准确度。在计算机中心4和机器人计算机14上可以运行高级分析以跟踪、查看和分析数据。此外，基于视觉的方法可以预测库存在将来何时可能出现缺货，提供潜在地提前订购新库存的最佳时间的指示。
基于视觉的方法可以包括用于评估显示结构300上的库存的任何数量的步骤和过程。例如，在一天的特定时间段期间，例如在设施未被占用的清晨，机器人1可以激活并穿过设施。当机器人1通过每个显示结构300时，机器人1使用其摄像***及其任何2D或3D传感器为每个显示结构300拍摄高分辨率图像，注意在为设施生成的地图上的XY位置及其方向(角度)。可以使用高级计算机视觉算法在计算机中心4或在机器人计算机14上处理图像，识别显示结构300上的每个产品并识别哪些物品缺货。存货信息被转移到库存数据库141。
库存数据库141还可以从设施的库存***中获取设施数据。然后可以将机器人1的扫描数据与设施的库存***相关联，识别为人们注意准备的差异。然后，可以是设施中的工作人员的代理人81可以使用软件131查看需要注意的设施中的物品列表以及不需要注意的物品列表，并且在每天工作时处理每个情况。软件131还可以让设施管理者检查员工的工作，以及他们可能需要做的任何操作，例如订购额外的产品库存。软件131还可以让企业/总部工作人员监督设施的状况，并查看库存的分析。软件131可以进一步提出或预测哪些物品在不久的将来可能缺货，设施的管理者和公司人员都可以解决这些建议或预测。
可以使用各种技术和方法来提高机器人1的图像捕获能力的精度。例如，在室内零售空间中，图像捕获需求可以根据几个关键因素而变化，诸如视场和图像尺寸。这些因素可以由定位在通道内的机器人1和需要被识别的物体的物理尺寸确定。因此，可以由图像重叠要求来确定摄像机在机器人1平台上的放置，使得存在足够的重叠以补偿由于避障而引起的机器人路径的变化。重叠的图像提供了安全余量，可以避免由在捕获的集合中缺少数据点而造成的问题。
机器人1使用的另一技术是根据设施的环境来调节摄像机参数。例如，利用从导航数据导出的信息，机器人1有能力自动改变捕获图像的焦距。该能力可以通过知道通道宽度和机器人1在商店内的定位来确定。可以在高度动态的环境中启用自动对焦，其中整体图像清晰度是优先级。在另一实施例中，机器人1的摄像***可以被自动配置为设施内的合适的照明，使得在库存评估期间高清晰度图像可以适当地聚焦在显示结构300上的产品上。摄像机参数的这种调整包括自动使填补照明调整图像传感器灵敏度，这可以在存在阴影或低光的零售空间的区域中提供清晰和一致的成像。填补照明由特定图像捕获区域中的整体照明确定。照明在强度和扩散方面可以是可调节的，以便更好地适应环境需求。
此外，添加填补照明还允许更高的快门速度，使得平台的速度可以增加，从而减少库存管理过程完成所需的时间。为此，拍摄图像的速度对所需的快门速度和照明有直接的影响。更高的平台速度将减少数据组中图像捕获所需的时间，但需要额外的照明来保持图像质量和一致性。较低的平台速度将增加图像捕获时间并减少所需的额外照明量。机器人1可以根据位置要求自动调整平台速度。
图6是根据本公开的第一示例性实施例的用于在图1的设施内提供客户服务的机器人装置使用的视觉算法的框图400。应当注意，流程图中的任何流程描述或块应被理解为表示模块、段、代码部分或包括用于在该过程中实现特定逻辑功能的一个或多个指令的步骤，并且如本公开技术领域的技术人员将理解的，替代的实现被包括在本公开的范围内，其中功能可以从所示出的或讨论的顺序执行，包括基本上同时或以相反的顺序，取决于所涉及的功能。
机器人使用的视觉算法可以使用摄像***和传感器拍摄的图像来识别设施内的显示结构上的产品。在视觉算法的一个实施例中，机器人自主地导航通道并扫描产品的显示(框401)。导航通道和扫描产品的显示可以包括生成街道视图、3D数据或通道的全景视图(框402)。机器人扫描条形码和产品，并根据不存在的物品识别任何缺货物品(方框403)。基于来自机器人的数据捕获，机器人更新其内部数据库或关于外部计算环境的数据库(框404)。然后，设施工作人员可以在计算设备上的库存仪表板上查看物品，该计算设备携带在机器人上或机器人外部(框405)。然后，设施工作人员可以实际地处理显示差异的物品并在机器人的仪表板上标记相应的动作(方框406)。
视觉算法在进行产品的标签提取、产品的条形码检测和提取、确定物品是否缺货或有库存以及提供室内环境的街景方面可以特别有用。相对于标签提取，机器人可以利用颜色阈值和轮廓检测来确定包含标签信息的产品标签的位置。然后将提取的标签用于条形码检测。条形码检测可以利用水平和垂直方向的图像(标签)的梯度大小，其可以使用Scharr算子确定。可以确定具有高水平梯度和低垂直梯度的区域。可以从梯度图像中平滑高频噪声。模糊图像可能需要进行阈值处理，并且在阈值图像上应用形态运算符。使用轮廓检测提取来自标签的条形码区域，其允许识别物品信息、价格、物品的位置以及用于搜索图像中的物品的窗口尺寸。
为了确定哪些物品有库存或缺货(即显示结构上的物品的可用性)，可以将形态运算符应用于结构背景。通常，零售商店的通道分为三种不同的类别：钉子(pegs)、货架和托盘。例如考虑钉子物品，如果一个物品缺货，可以检测通道背景中的圆圈。预定窗口大小内的圆圈密度有助于确定哪个物品是缺货的。为了减少搜索区域，窗口大小可以编码在通道上的条形码中。首先，可以使用不同的形态运算符来提取包含条形码标签的区域，其提供物品的描述、位置(通道和物品)、价格和窗口尺寸。在标签周围，然后可以确定所描述的窗口尺寸内的圆圈密度。如果圆圈密度较高，则可以确定该物品是缺货的。
应当注意，本文所描述的过程可以与编译在一起的多个图像一起使用，所谓的“图像拼接”。可以实现图像拼接以考虑靠近图像边界的图像的区域。需要注意的是，相对于室内街景，在扫描和处理之后，关于物品的可用性的图像和信息可以是可用的。使用图像拼接，还可以从数据中生成室内版本的街景视图，例如连续的图像缝合在一起以形成设施中通道的连续图像。
应当强调，本公开的上述实施例，特别是任何“优选”实施例仅仅是可能的示例实施方式，其仅仅是为了清楚地理解本公开的原理而提出的。在不脱离本公开的精神和原理的情况下，可以对本公开的上述实施例进行许多变化和修改。例如，机器人可以评估其传感器数据的可靠性，包括导航和视觉，以及其对该数据的解释。当机器人确定其不确定情况时，例如，基于协方差矩阵中的值，它可以修改其行为以保持其自身的安全性及其周围的安全性。当机器人不确定时也可以决定寻求帮助。例如，如果机器人不能确定特定物品是否缺货，则机器人可以发送或存储该地点的照片供人解读。类似地，如果机器人在商店移动时被卡住(物理上卡住或者仅仅迷失)，则机器人可以要求人们通过远程接管以使其松开并回到其路上。
所有这些修改和变化旨在被包括在本公开的范围内并由所附权利要求保护。

Claims (15)

1.一种用于在设施内提供客户服务的机器人，包括：
移动平台；
上部传感器，其用于检测机器人的上部视野内的物体；
下部传感器，其用于检测机器人的下部视野内的物体；
显示器；和
机器人计算机，其与移动平台、上部传感器和下部传感器通信，计算机具有处理器和计算机可读存储器，其中机器人计算机被配置为基于从上部传感器和下部传感器中的至少一个接收到的信息来检测设施内客户的存在，并且其中机器人计算机还被配置为访问存储与所述设施内的客户可用的至少一个产品相关联的信息的至少一个数据库，并且基于访问的信息向客户提供客户服务。
2.根据权利要求1所述的机器人，其中所述机器人计算机进一步被配置为从远程位置的支持站处的操作员接收命令，并且基于所接收的命令进行操作，并且其中所述机器人计算机优选地进一步被配置为通过促进在设施中与机器人交互的客户和位于远程位置的支持站处的操作者之间的双向通信来提供客户服务。
3.根据权利要求1或2所述的机器人，其中所述至少一个数据库存储与以下至少一个有关的信息：促销视频、产品图像、产品描述；促销优先信息；促销优惠；促销历史；品牌关系；产品库存；和设施内的产品的位置。
4.根据权利要求1-3中任一项所述的机器人，其中所述机器人计算机进一步被配置为访问存储与所述设施中的客户相关联的信息的客户数据库，并且其中与所述设施中的客户相关联的信息优选地包括以下中的至少一个：购买历史信息；会员卡信息；机器人交互历史；和客户行为模式分析。
5.根据权利要求1-4中任一项所述的机器人，还包括用于检测机器人位置的机器人位置检测器，并且其中所述机器人计算机还被配置为基于从所述上部传感器、下部传感器和机器人位置检测器接收的信息来生成所述设施的地图。
6.根据权利要求1-5中任一项所述的机器人，其中所述机器人计算机还被配置为当客户将产品呈现给所述上部传感器时，基于由所述上部传感器检测到的与产品相关的信息与存储在所述至少一个数据库中的产品信息的比较，在所述设施中定位所述产品。
7.根据权利要求1-6中任一项所述的机器人，其中所述机器人计算机还被配置为一检测到客户的存在便通过执行以下至少一项来吸引客户的注意：使所述机器人移动；在显示屏上显示图形以引起注意；并向机器人扬声器提供音频信号以引起注意。
8.根据权利要求1-7中任一项所述的机器人，其中所述机器人计算机还被配置成基于与所述客户的心理状态相关的感测参数来确定客户的兴趣水平和帮助需要。
9. 根据权利要求10所述的机器人，其特征在于以下特征中的一个或两个：
（a）其中机器人被配置为导航远离被确定为对接收帮助不感兴趣的客户，并且被配置为导航到被确定为有兴趣接受帮助的客户并向感兴趣的客户提供帮助；和
（b）进一步包括麦克风，其中所述机器人计算机还被配置为通过麦克风检测接收来自客户的口语信息并且配置为使用语音引擎来处理所述口语信息，并且基于所接收的口语信息来提供客户服务。
10.根据权利要求1-9中任一项所述的机器人，其中所述机器人计算机还被配置为通过使所述机器人导航到所述产品来引导客户到所述设施内的客户希望定位的产品。
11. 根据权利要求10所述的机器人，其特征在于以下特征中的一个或两个：
（a）其中机器人沿着基于路径效率和促销产品的位置优化的路径导航到产品；和
（b）其中所述机器人计算机还被配置为在客户希望定位的产品在所述设施内不可用的情况下显示所述设施内的类似产品。
12.根据权利要求1-12中任一项所述的机器人，其特征还在于以下特征中的一个或多个：
（a）其中机器人被配置为评估其传感器数据的可靠性，包括导航和视觉及其对该数据的解释；
（b）其中机器人能够修改其行为以保持其自身的安全以及周围的人的安全；和
（c）其中机器人要求帮助，例如，如果不能确定特定物品是否缺货，或者如果它在移动时卡住或迷失。
13. 一种用于在设施内提供客户服务的机器人***，包括：
机器人，其具有移动平台、用于检测机器人的上部视野内的物体的上部传感器、用于检测机器人的下部视野内的物体的下部传感器、显示器和与移动平台、上部传感器和下部传感器通信的机器人计算机，计算机具有处理器和计算机可读存储器；和
支持站，其位置远离机器人，支持站具有支持站摄像机、支持站显示器和与支持站摄像机和支持站显示器通信的支持站计算机，支持站计算机具有处理器和计算机可读存储器；
其中所述机器人被配置为通过促进在所述设施中与所述机器人交互的客户和位于远程位置的支持站处的操作者之间的双向通信来提供客户服务。
14.根据权利要求13所述的***，其中所述机器人计算机被配置为从所述支持站处的操作员接收命令，并且基于所接收的命令来操作所述机器人。
15.一种用机器人提供客户服务的方法，所述方法包括：
向设施内的机器人提供至少一个客户，其中所述机器人具有移动平台、用于检测所述机器人的上部视野内的物体的上部传感器、用于检测机器人的下部视野内的物体的下部传感器、显示器和与移动平台、上部传感器和下部传感器通信的机器人计算机；
基于从上部传感器和下部传感器中的至少一个接收的信息来检测设施内的至少一个客户的存在；和
向所述至少一个客户提供客户服务，以及
可选地进一步包括访问至少一个数据库，所述至少一个数据库存储与所述设施内的所述客户可用的至少一个产品相关联的信息，和/或
可选地进一步包括促进所述至少一个客户与位于远程位置的支持站处的操作者之间使用设施内的机器人的双向通信。
CN201580069534.2A 2014-10-24 2015-10-26 客户服务机器人和相关***及方法 Pending CN107206601A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462068474P 2014-10-24 2014-10-24
US62/068,474 2014-10-24
PCT/US2015/057392 WO2016065362A1 (en) 2014-10-24 2015-10-26 Customer service robot and related systems and methods

Publications (1)

Publication Number Publication Date
CN107206601A true CN107206601A (zh) 2017-09-26

Family

ID=55761689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580069534.2A Pending CN107206601A (zh) 2014-10-24 2015-10-26 客户服务机器人和相关***及方法

Country Status (7)

Country Link
US (2) US9796093B2 (zh)
EP (1) EP3209468A4 (zh)
JP (1) JP6502491B2 (zh)
KR (1) KR20170097017A (zh)
CN (1) CN107206601A (zh)
CA (1) CA2965672A1 (zh)
WO (1) WO2016065362A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107480660A (zh) * 2017-09-30 2017-12-15 深圳市锐曼智能装备有限公司 危险物品识别***及其方法
CN107679573A (zh) * 2017-09-30 2018-02-09 深圳市锐曼智能装备有限公司 智慧货柜的物品识别***及其方法
CN107807652A (zh) * 2017-12-08 2018-03-16 灵动科技（北京）有限公司 物流机器人、用于其的方法和控制器及计算机可读介质
CN108381509A (zh) * 2018-03-19 2018-08-10 京东方科技集团股份有限公司 智能抓取装置及其控制方法、智能抓取控制***
CN109571401A (zh) * 2018-11-20 2019-04-05 深圳玩智商科技有限公司 一种多层激光雷达的移动机器人
CN110065064A (zh) * 2018-01-24 2019-07-30 南京机器人研究院有限公司 一种机器人分拣控制方法
CN111768208A (zh) * 2020-06-23 2020-10-13 北京思特奇信息技术股份有限公司 一种携号转网维系***
CN112659090A (zh) * 2019-10-15 2021-04-16 丰田自动车株式会社 机器人使用***和运输机器人
CN113168602A (zh) * 2018-12-05 2021-07-23 轨迹机器人公司 顾客辅助的机器人拣选
CN113840698A (zh) * 2019-04-09 2021-12-24 Abb瑞士股份有限公司 用于自动零售店环境的机器人补货和安全***
WO2022232367A1 (en) 2021-04-28 2022-11-03 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for providing an advertising content using a robot
EP4207031A4 (en) * 2020-09-28 2024-01-24 Avatarin Inc. INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD AND PROGRAM

Families Citing this family (170)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373116B2 (en) 2014-10-24 2019-08-06 Fellow, Inc. Intelligent inventory management and related systems and methods
US10311400B2 (en) 2014-10-24 2019-06-04 Fellow, Inc. Intelligent service robot and related systems and methods
US9928474B1 (en) 2014-12-12 2018-03-27 Amazon Technologies, Inc. Mobile base utilizing transportation units for delivering items
US20230391592A1 (en) * 2015-03-06 2023-12-07 Walmart Apollo, Llc Shopping facility assistance systems, devices and methods
WO2016142794A1 (en) 2015-03-06 2016-09-15 Wal-Mart Stores, Inc Item monitoring system and method
US9801517B2 (en) 2015-03-06 2017-10-31 Wal-Mart Stores, Inc. Shopping facility assistance object detection systems, devices and methods
US20180099846A1 (en) 2015-03-06 2018-04-12 Wal-Mart Stores, Inc. Method and apparatus for transporting a plurality of stacked motorized transport units
US10846782B2 (en) * 2015-03-12 2020-11-24 Walmart Apollo, Llc Method, system, and computer-readable medium for a carry item wish list
US10032086B2 (en) * 2015-03-19 2018-07-24 Ca, Inc. Method and system for automated datacenter floor volume calculation applied to datacenter thermal management
US9975243B2 (en) * 2015-08-31 2018-05-22 Avaya Inc. Movement and interaction verification
US10410007B2 (en) * 2015-08-31 2019-09-10 Avaya Inc. Selection of robot operation mode from determined compliance with a security criteria
US10471594B2 (en) * 2015-12-01 2019-11-12 Kindred Systems Inc. Systems, devices, and methods for the distribution and collection of multimodal data associated with robots
US10486313B2 (en) 2016-02-09 2019-11-26 Cobalt Robotics Inc. Mobile robot map generation
US11772270B2 (en) * 2016-02-09 2023-10-03 Cobalt Robotics Inc. Inventory management by mobile robot
JP6726388B2 (ja) * 2016-03-16 2020-07-22 富士ゼロックス株式会社 ロボット制御システム
JP6856318B2 (ja) * 2016-03-17 2021-04-07 ヤフー株式会社 購買支援システム、購買支援方法および購買支援プログラム
JP6665927B2 (ja) * 2016-03-23 2020-03-13 日本電気株式会社 行動分析装置、行動分析システム、行動分析方法及びプログラム
CA2961938A1 (en) 2016-04-01 2017-10-01 Wal-Mart Stores, Inc. Systems and methods for moving pallets via unmanned motorized unit-guided forklifts
US11430207B2 (en) 2016-06-13 2022-08-30 Nec Corporation Reception apparatus, reception system, reception method and storage medium
JP6905812B2 (ja) * 2016-06-14 2021-07-21 グローリー株式会社 店舗受付システム
CN109328359A (zh) * 2016-06-30 2019-02-12 波萨诺瓦机器人知识产权有限公司 用于库存跟踪的多摄像机***
CN109414824B (zh) * 2016-07-08 2022-07-26 Groove X 株式会社 穿衣服的行为自主型机器人
US10216188B2 (en) 2016-07-25 2019-02-26 Amazon Technologies, Inc. Autonomous ground vehicles based at delivery locations
CN107731225A (zh) * 2016-08-10 2018-02-23 松下知识产权经营株式会社 待客装置、待客方法以及待客***
MX2017011354A (es) * 2016-09-07 2018-09-21 Walmart Apollo Llc Sistemas, dispositivos y metodos de audio en tienda.
US10248120B1 (en) 2016-09-16 2019-04-02 Amazon Technologies, Inc. Navigable path networks for autonomous vehicles
US10245993B1 (en) 2016-09-29 2019-04-02 Amazon Technologies, Inc. Modular autonomous ground vehicles
US10222798B1 (en) 2016-09-29 2019-03-05 Amazon Technologies, Inc. Autonomous ground vehicles congregating in meeting areas
US10303171B1 (en) 2016-09-29 2019-05-28 Amazon Technologies, Inc. Autonomous ground vehicles providing ordered items in pickup areas
US10241516B1 (en) 2016-09-29 2019-03-26 Amazon Technologies, Inc. Autonomous ground vehicles deployed from facilities
US20180101813A1 (en) * 2016-10-12 2018-04-12 Bossa Nova Robotics Ip, Inc. Method and System for Product Data Review
JP2018067785A (ja) * 2016-10-19 2018-04-26 前川 博文 コミュニケーションロボットシステム
US10987804B2 (en) * 2016-10-19 2021-04-27 Fuji Xerox Co., Ltd. Robot device and non-transitory computer readable medium
US10233021B1 (en) 2016-11-02 2019-03-19 Amazon Technologies, Inc. Autonomous vehicles for delivery and safety
US10346452B2 (en) 2016-11-09 2019-07-09 International Business Machines Corporation Answering of consecutive questions
US10289076B2 (en) 2016-11-15 2019-05-14 Roborus Co., Ltd. Concierge robot system, concierge service method, and concierge robot
US10514690B1 (en) 2016-11-15 2019-12-24 Amazon Technologies, Inc. Cooperative autonomous aerial and ground vehicles for item delivery
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
JP6952453B2 (ja) * 2016-11-24 2021-10-20 田嶋　雅美 接客システム及び接客方法
JP1586017S (zh) * 2016-11-30 2018-09-10
JP1586019S (zh) * 2016-11-30 2018-09-10
JP1586018S (zh) * 2016-11-30 2018-09-10
JP1586014S (zh) * 2016-11-30 2018-09-10
JP1586020S (zh) * 2016-11-30 2018-09-10
JP1586015S (zh) * 2016-11-30 2018-09-10
US11263579B1 (en) 2016-12-05 2022-03-01 Amazon Technologies, Inc. Autonomous vehicle networks
JP2020502649A (ja) * 2016-12-05 2020-01-23 フェロー，インコーポレイテッド インテリジェントサービスロボットおよび関連するシステムおよび方法
US10310499B1 (en) 2016-12-23 2019-06-04 Amazon Technologies, Inc. Distributed production of items from locally sourced materials using autonomous vehicles
US10310500B1 (en) 2016-12-23 2019-06-04 Amazon Technologies, Inc. Automated access to secure facilities using autonomous vehicles
US10308430B1 (en) * 2016-12-23 2019-06-04 Amazon Technologies, Inc. Distribution and retrieval of inventory and materials using autonomous vehicles
US11724399B2 (en) 2017-02-06 2023-08-15 Cobalt Robotics Inc. Mobile robot with arm for elevator interactions
US11055662B2 (en) 2017-03-15 2021-07-06 Walmart Apollo, Llc System and method for perpetual inventory management
US20180268509A1 (en) 2017-03-15 2018-09-20 Walmart Apollo, Llc System and method for management of product movement
US20180268356A1 (en) 2017-03-15 2018-09-20 Walmart Apollo, Llc System and method for perpetual inventory management
US20180268367A1 (en) 2017-03-15 2018-09-20 Walmart Apollo, Llc System and method for management of perpetual inventory values based upon customer product purchases
US10997552B2 (en) 2017-03-15 2021-05-04 Walmart Apollo, Llc System and method for determination and management of root cause for inventory problems
US20180268355A1 (en) 2017-03-15 2018-09-20 Walmart Apollo, Llc System and method for management of perpetual inventory values associated with nil picks
US10384692B2 (en) 2017-03-16 2019-08-20 Amazon Technologies, Inc. Demand-based distribution of items using intermodal carriers and unmanned aerial vehicles
US9718564B1 (en) 2017-03-16 2017-08-01 Amazon Technologies, Inc. Ground-based mobile maintenance facilities for unmanned aerial vehicles
US10421542B2 (en) 2017-03-16 2019-09-24 Amazon Technologies, Inc. Mobile fulfillment centers with intermodal carriers and unmanned aerial vehicles
US10147249B1 (en) 2017-03-22 2018-12-04 Amazon Technologies, Inc. Personal intermediary communication device
US10573106B1 (en) 2017-03-22 2020-02-25 Amazon Technologies, Inc. Personal intermediary access device
CN107223082B (zh) 2017-04-21 2020-05-12 深圳前海达闼云端智能科技有限公司 一种机器人控制方法、机器人装置及机器人设备
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
AU2018261257B2 (en) 2017-05-01 2020-10-08 Symbol Technologies, Llc Method and apparatus for object status detection
WO2018204342A1 (en) 2017-05-01 2018-11-08 Symbol Technologies, Llc Product status detection system
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US11449059B2 (en) * 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
WO2018201423A1 (en) 2017-05-05 2018-11-08 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
JP6830032B2 (ja) * 2017-05-10 2021-02-17 株式会社日立製作所 サービス提供システム
US20180341906A1 (en) 2017-05-26 2018-11-29 Walmart Apollo, Llc System and method for management of perpetual inventory values based upon confidence level
US20180374036A1 (en) * 2017-06-21 2018-12-27 Walmart Apollo, Llc Systems and Methods for Object Replacement
US10565434B2 (en) * 2017-06-30 2020-02-18 Google Llc Compact language-free facial expression embedding and novel triplet training scheme
KR102391322B1 (ko) * 2017-06-30 2022-04-26 엘지전자 주식회사 이동 로봇
KR102391914B1 (ko) * 2017-06-30 2022-04-27 엘지전자 주식회사 이동 로봇의 동작 방법
KR102041435B1 (ko) 2017-07-05 2019-11-06 엘지전자 주식회사 안내 로봇
WO2019018595A1 (en) 2017-07-21 2019-01-24 Walmart Apollo, Llc RADIO FREQUENCY MONITORING OF A RETAIL LOCATION
KR20200040800A (ko) * 2017-08-07 2020-04-20 옴니 컨수머 프로덕츠, 엘엘씨 모니터링 드론용 시스템, 방법 및 장치
US20190057367A1 (en) * 2017-08-17 2019-02-21 Walmart Apollo, Llc Method and apparatus for handling mis-ringing of products
EP3450371B1 (en) * 2017-08-30 2021-04-14 KONE Corporation Elevator system with a mobile robot
US11222299B1 (en) 2017-08-31 2022-01-11 Amazon Technologies, Inc. Indoor deliveries by autonomous vehicles
JP2019072787A (ja) * 2017-10-13 2019-05-16 シャープ株式会社 制御装置、ロボット、制御方法、および制御プログラム
CN107825438A (zh) * 2017-12-06 2018-03-23 山东依鲁光电科技有限公司 城市智能综合服务机器人及其运行方法
US10513037B2 (en) * 2017-12-15 2019-12-24 Ankobot (Shanghai) Smart Technologies Co., Ltd. Control method and system, and mobile robot using the same
CN108015785A (zh) * 2017-12-30 2018-05-11 广州新烨数码科技有限公司 一种仿真人机器人的监控装置
US10612934B2 (en) * 2018-01-12 2020-04-07 General Electric Company System and methods for robotic autonomous motion planning and navigation
KR102350931B1 (ko) * 2018-01-22 2022-01-12 엘지전자 주식회사 이동 로봇
KR101920620B1 (ko) * 2018-02-06 2018-11-21 (주)원익로보틱스 정보 제공용 로봇 및 이를 이용한 정보 제공 방법
CN108445877A (zh) * 2018-02-06 2018-08-24 武汉理工大学 基于移动3g/4g网络环境下的仿生运动控制***与控制方法
KR20190099863A (ko) * 2018-02-20 2019-08-28 (주)원익로보틱스 멀티미디어 서비스를 제공하는 로봇 및 이를 이용한 시스템
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
WO2019198310A1 (ja) * 2018-04-10 2019-10-17 ソニー株式会社 情報処理装置及び情報処理方法、並びにロボット装置
US10817688B1 (en) * 2018-05-29 2020-10-27 Chi Fai Ho Apparatus and method to render services based on a label
FR3082036B1 (fr) * 2018-05-30 2020-06-19 Hease Robotics Borne interactive mobile a positionnement intelligent
KR102566528B1 (ko) * 2018-06-14 2023-08-10 엘지전자 주식회사 모듈형 이동 로봇
KR20190141303A (ko) * 2018-06-14 2019-12-24 엘지전자 주식회사 이동 로봇의 동작 방법
US11082667B2 (en) 2018-08-09 2021-08-03 Cobalt Robotics Inc. Contextual automated surveillance by a mobile robot
JP7180198B2 (ja) * 2018-08-20 2022-11-30 富士フイルムビジネスイノベーション株式会社 自走式移動装置、情報処理装置及びプログラム
US11906968B2 (en) * 2018-09-05 2024-02-20 Sony Group Corporation Mobile device, mobile device control system, method, and program
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
CN109227576A (zh) * 2018-11-28 2019-01-18 西北农林科技大学 一种家庭急救机器人及其工作方法
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US11392130B1 (en) 2018-12-12 2022-07-19 Amazon Technologies, Inc. Selecting delivery modes and delivery areas using autonomous ground vehicles
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
WO2020141639A1 (ko) * 2019-01-03 2020-07-09 엘지전자 주식회사 로봇의 제어 방법
CN109753067A (zh) * 2019-01-08 2019-05-14 四川文理学院 一种用于学校内物品运输的智能车路径规划方法
RU2704048C1 (ru) * 2019-02-28 2019-10-23 Федеральное государственное бюджетное учреждение науки Санкт-Петербургский институт информатики и автоматизации Российской академии наук (СПИИРАН) Мобильная автономная робототехническая платформа с блочной изменяемой структурой
US11660758B2 (en) * 2019-03-12 2023-05-30 Bear Robotics, Inc. Robots for serving food and/or drinks
US11279042B2 (en) 2019-03-12 2022-03-22 Bear Robotics, Inc. Robots for serving food and/or drinks
CN110076769A (zh) * 2019-03-20 2019-08-02 广东工业大学 一种基于磁悬浮球体运动的声控巡逻导航机器人***及其控制方法
US10586082B1 (en) 2019-05-29 2020-03-10 Fellow, Inc. Advanced micro-location of RFID tags in spatial environments
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US20210001487A1 (en) * 2019-07-03 2021-01-07 Ricoh Company, Ltd. Information processing apparatus, information processing method, and storage medium
US11654552B2 (en) * 2019-07-29 2023-05-23 TruPhysics GmbH Backup control based continuous training of robots
KR20190098926A (ko) * 2019-08-05 2019-08-23 엘지전자 주식회사 로봇 및 상기 로봇의 서비스 제공 방법
US11474530B1 (en) 2019-08-15 2022-10-18 Amazon Technologies, Inc. Semantic navigation of autonomous ground vehicles
KR20190104931A (ko) * 2019-08-22 2019-09-11 엘지전자 주식회사 시설 안내 로봇 및 이를 이용한 시설 안내 방법
US11299356B1 (en) 2019-09-18 2022-04-12 Inmar Clearing, Inc. Product purchase system including product retrieval robot of add-on product based upon mobile device and related methods
US11250495B1 (en) 2019-09-18 2022-02-15 Inmar Clearing, Inc. Product purchase system including product retrieval robot of add-on product based upon sensors and related methods
US10796562B1 (en) 2019-09-26 2020-10-06 Amazon Technologies, Inc. Autonomous home security devices
WO2021061810A1 (en) 2019-09-26 2021-04-01 Amazon Technologies, Inc. Autonomous home security devices
US11238554B2 (en) * 2019-11-26 2022-02-01 Ncr Corporation Frictionless security monitoring and management
JP7156242B2 (ja) * 2019-10-18 2022-10-19 トヨタ自動車株式会社 情報処理装置、プログラム及び制御方法
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
KR20210085696A (ko) * 2019-12-31 2021-07-08 삼성전자주식회사 전자 장치의 움직임을 결정하는 방법 및 이를 사용하는 전자 장치
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
US11305964B2 (en) 2020-07-15 2022-04-19 Leandre Adifon Systems and methods for operation of elevators and other devices
US20220073316A1 (en) 2020-07-15 2022-03-10 Leandre Adifon Systems and methods for operation of elevators and other devices
US11319186B2 (en) 2020-07-15 2022-05-03 Leandre Adifon Systems and methods for operation of elevators and other devices
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
CN112109090A (zh) * 2020-09-21 2020-12-22 金陵科技学院 多传感器融合的搜索救援机器人***
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
USD975154S1 (en) * 2020-11-30 2023-01-10 Samsung Electronics Co., Ltd. Service robot
USD974431S1 (en) * 2020-11-30 2023-01-03 Samsung Electronics Co., Ltd. Service robot
USD974434S1 (en) * 2020-11-30 2023-01-03 Samsung Electronics Co., Ltd. Service robot
USD974433S1 (en) * 2020-11-30 2023-01-03 Samsung Electronics Co., Ltd. Service robot
USD974435S1 (en) * 2020-12-01 2023-01-03 Samsung Electronics Co., Ltd. Service robot
USD974432S1 (en) * 2020-12-01 2023-01-03 Samsung Electronics Co., Ltd. Service robot
USD974436S1 (en) * 2020-12-24 2023-01-03 Naver Labs Corporation Goods delivery robot
CN114789455B (zh) * 2021-01-25 2024-06-18 上海松尚网络科技有限公司 一种可精确控制运动轨迹的图书盘点机器人
FI20215100A1 (en) * 2021-01-29 2022-07-30 Elisa Oyj Video-controlled mobile multi-service device
JP2022148263A (ja) * 2021-03-24 2022-10-06 トヨタ自動車株式会社 ロボット、コミュニケーションシステム、コミュニケーション方法及びプログラム
RU2764910C1 (ru) * 2021-05-06 2022-01-24 Общество с ограниченной ответственностью "МСигма" Базовая платформа автономного интеллектуального робототехнического комплекса (АИРТК)
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
KR20230054091A (ko) * 2021-10-15 2023-04-24 엘지전자 주식회사 인공지능 컨시어지 서비스를 제공하는 컨시어지 디바이스 및 그 디바이스의 제어 방법
CN114012746B (zh) * 2021-10-28 2023-07-14 深圳市普渡科技有限公司 一种机器人、信息播放的方法、控制装置以及介质
USD1007552S1 (en) * 2021-11-19 2023-12-12 Samsung Electronics Co., Ltd. Service robot
USD1008329S1 (en) * 2021-11-25 2023-12-19 Samsung Electronics Co., Ltd. Service robot
US20230385875A1 (en) * 2022-05-25 2023-11-30 Maplebear Inc. (Dba Instacart) Smart shopping cart with onboard computing system gathering contextual data and displaying information related to an item based thereon
CN115242510B (zh) * 2022-07-21 2024-04-23 郑深远 一种用于未来社区的综合检测管理***及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008055578A (ja) * 2006-09-01 2008-03-13 Fujitsu Ltd 情報提供ロボットおよびロボットを用いた情報提供方法
KR20100006975A (ko) * 2008-07-11 2010-01-22 서울메트로 이동식 안내로봇 및 그 시스템
US20110288684A1 (en) * 2010-05-20 2011-11-24 Irobot Corporation Mobile Robot System
JP2012161851A (ja) * 2011-02-03 2012-08-30 Advanced Telecommunication Research Institute International ロボットシステムおよびそれに用いる空間陣形認識装置
CN102750274A (zh) * 2011-01-04 2012-10-24 张越峰 一种初具人类思维的现场智能引导服务***及方法
CN103459099A (zh) * 2011-01-28 2013-12-18 英塔茨科技公司 与一个可移动的远程机器人相互交流
US20140009561A1 (en) * 2010-11-12 2014-01-09 Crosswing Inc. Customizable robotic system
CN104019809A (zh) * 2014-06-25 2014-09-03 重庆广建装饰股份有限公司 一种基于商场商品的商场定位导航方法

Family Cites Families (100)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4354252A (en) 1977-09-27 1982-10-12 Motorola, Inc. Programmable digital data terminal for mobile radio transceivers
US4638445A (en) 1984-06-08 1987-01-20 Mattaboni Paul J Autonomous mobile robot
US4890241A (en) 1987-10-26 1989-12-26 Megamation Incorporated Robotic system
US4939728A (en) 1987-11-10 1990-07-03 Echelon Systems Corp. Network and intelligent cell for providing sensing bidirectional communications and control
US5293639A (en) 1991-08-09 1994-03-08 Motorola, Inc. Reduction of power consumption in a portable communication unit
JPH11328266A (ja) * 1998-05-13 1999-11-30 Casio Comput Co Ltd 顧客データ処理装置、顧客データ処理システムおよび記憶媒体
US8527094B2 (en) 1998-11-20 2013-09-03 Intuitive Surgical Operations, Inc. Multi-user medical robotic system for collaboration or training in minimally invasive surgical procedures
US6292713B1 (en) 1999-05-20 2001-09-18 Compaq Computer Corporation Robotic telepresence system
US6347261B1 (en) 1999-08-04 2002-02-12 Yamaha Hatsudoki Kabushiki Kaisha User-machine interface system for enhanced interaction
US7088720B1 (en) 2000-08-07 2006-08-08 Sbc Technology Resources, Inc. Multiservice use of network connection capability under user-to-network interface signaling
EP1199839A1 (en) 2000-10-19 2002-04-24 THOMSON multimedia Method for making bridge aware nodes communicate over hiperlan 2 bridges
WO2002052798A2 (en) 2000-12-22 2002-07-04 Research In Motion Limited Wireless router system and method
US20060047665A1 (en) 2001-01-09 2006-03-02 Tim Neil System and method for simulating an application for subsequent deployment to a device in communication with a transaction server
US6778834B2 (en) 2001-02-27 2004-08-17 Nokia Corporation Push content filtering
JP2003016351A (ja) * 2001-04-24 2003-01-17 Denso Corp 商品購入支援システム、端末装置及びプログラム
US7206753B2 (en) * 2001-05-04 2007-04-17 Axxon Robotics, Llc Methods for facilitating a retail environment
US7801959B1 (en) 2001-05-31 2010-09-21 Palmsource, Inc. Method and system for pushing electronic messages to a wireless portable device using a standard mail server interface
US7082706B1 (en) 2001-06-05 2006-08-01 Skytypers, Inc. Systems and methods for creating aerial messages
US7254614B2 (en) 2001-11-20 2007-08-07 Nokia Corporation Web services push gateway
US7702739B1 (en) 2002-10-01 2010-04-20 Bao Tran Efficient transactional messaging between loosely coupled client and server over multiple intermittent networks with policy based routing
AU2003900861A0 (en) 2003-02-26 2003-03-13 Silverbrook Research Pty Ltd Methods,systems and apparatus (NPS042)
DE10314915A1 (de) 2003-04-01 2004-11-04 T-Mobile Deutschland Gmbh Verfahen zur sofortigen Zustellung von Emails an mobile Telekommunikationsendgeräte
GB0308991D0 (en) 2003-04-17 2003-05-28 Psion Digital Ltd A data access replication or communication system comprising a distributed software application
JP2005172879A (ja) * 2003-12-08 2005-06-30 Oki Electric Ind Co Ltd 広告案内ロボット及びロボットの広告案内表示方法
JP4325407B2 (ja) 2004-01-08 2009-09-02 パナソニック株式会社 産業用ロボット
US7609686B1 (en) 2004-11-01 2009-10-27 At&T Mobility Ii Llc Mass multimedia messaging
US20060105792A1 (en) 2004-11-15 2006-05-18 Armbruster Peter J Method and apparatus for proving push-to-talk services to non-push-to-talk enabled networks
WO2006089385A1 (en) 2005-02-22 2006-08-31 Nextair Corporation Wireless communication device use of application server applications
US20060258287A1 (en) 2005-04-19 2006-11-16 France Telecom Method and a system for automatically activating and deactivating a service
JP2006323708A (ja) * 2005-05-20 2006-11-30 Hitachi Ltd 商品情報検索方法およびこれを実施するサーバ
US7357316B2 (en) 2005-09-29 2008-04-15 International Business Machines Corporation Retail environment
KR100677497B1 (ko) 2005-11-02 2007-02-02 엘지전자 주식회사 단말기의 중복 통보 메시지 처리 방법
US7840207B2 (en) 2005-11-30 2010-11-23 Research In Motion Limited Display of secure messages on a mobile communication device
US8355701B2 (en) 2005-11-30 2013-01-15 Research In Motion Limited Display of secure messages on a mobile communication device
US7827459B1 (en) 2006-01-10 2010-11-02 University Of Maryland, College Park Communications protocol
US7895309B2 (en) 2006-01-11 2011-02-22 Microsoft Corporation Network event notification and delivery
JP5033994B2 (ja) * 2006-01-19 2012-09-26 株式会社国際電気通信基礎技術研究所 コミュニケーションロボット
US7805489B2 (en) 2006-06-27 2010-09-28 Research In Motion Limited Electronic mail communications system with client email internet service provider (ISP) polling application and related methods
US8219920B2 (en) 2006-08-04 2012-07-10 Apple Inc. Methods and systems for managing to do items or notes or electronic messages
US7693757B2 (en) * 2006-09-21 2010-04-06 International Business Machines Corporation System and method for performing inventory using a mobile inventory robot
CA2662425A1 (en) 2006-09-28 2008-04-03 Research In Motion Limited Method and apparatus for buffering packets in a network
GB2435730B (en) 2006-11-02 2008-02-20 Cvon Innovations Ltd Interactive communications system
US8965762B2 (en) 2007-02-16 2015-02-24 Industrial Technology Research Institute Bimodal emotion recognition method and system utilizing a support vector machine
US8041780B2 (en) 2007-03-29 2011-10-18 Alcatel Lucent Method and apparatus for dynamically pushing content over wireless networks
US8046744B1 (en) 2007-04-27 2011-10-25 Sybase, Inc. System and method for measuring latency in a continuous processing system
US8909370B2 (en) 2007-05-08 2014-12-09 Massachusetts Institute Of Technology Interactive systems employing robotic companions
GB2442818B (en) 2007-06-11 2008-11-05 Cvon Innovations Ltd Methodologies and systems for determining mobile device capabilities
US7970381B2 (en) 2007-08-13 2011-06-28 General Motors Llc Method of authenticating a short message service (sms) message
US20090094140A1 (en) * 2007-10-03 2009-04-09 Ncr Corporation Methods and Apparatus for Inventory and Price Information Management
JP4565229B2 (ja) * 2007-12-10 2010-10-20 本田技研工業株式会社 ロボット
US20090281880A1 (en) 2007-12-13 2009-11-12 Noel Lee Method and Apparatus for Measuring Seller's Performance
US8010158B2 (en) 2007-12-21 2011-08-30 Nokia Corporation Synchronization of mobile terminals
US8811196B2 (en) 2008-02-19 2014-08-19 Qualcomm Incorporated Providing remote field testing for mobile devices
US20100070588A1 (en) 2008-09-15 2010-03-18 Yahoo! Inc. Reliability for instant messaging based on end point acknowledgements
DE102008063680A1 (de) 2008-10-10 2010-04-15 Abb Ag Verfahren zum Einlernen (Teachen) eines Industrieroboters sowie ein entsprechend ausgestatteter Industrieroboter
US7958247B2 (en) 2008-10-14 2011-06-07 Hewlett-Packard Development Company, L.P. HTTP push to simulate server-initiated sessions
CA2779957A1 (en) 2008-11-06 2010-05-14 Matt O'malley System and method for providing messages
US8463435B2 (en) 2008-11-25 2013-06-11 Intouch Technologies, Inc. Server connectivity control for tele-presence robot
GB2466208B (en) 2008-12-11 2013-09-11 Skype Controlling packet transmission
US8274544B2 (en) 2009-03-23 2012-09-25 Eastman Kodak Company Automated videography systems
US8237771B2 (en) 2009-03-26 2012-08-07 Eastman Kodak Company Automated videography based communications
CN101867877B (zh) 2009-04-15 2014-11-05 华为技术有限公司 发送推送消息的方法、设备及***
US8289716B2 (en) 2009-06-10 2012-10-16 Leviton Manufacturing Company, Inc. Dual load control device
US8260460B2 (en) 2009-09-22 2012-09-04 GM Global Technology Operations LLC Interactive robot control system and method of use
US8620783B2 (en) 2009-10-12 2013-12-31 Pitney Bowes Inc. System and method for providing redundant customer communications delivery using hybrid delivery channels
US20110125856A1 (en) 2009-11-25 2011-05-26 Lg Electronics Inc. Mobile terminal and method of providing email services in the mobile terminal
JP2011128790A (ja) * 2009-12-16 2011-06-30 Jvc Kenwood Holdings Inc ユーザ情報処理プログラム、ユーザ情報処理装置、及び、ユーザ情報処理方法
TW201123031A (en) 2009-12-24 2011-07-01 Univ Nat Taiwan Science Tech Robot and method for recognizing human faces and gestures thereof
US20110173621A1 (en) 2010-01-13 2011-07-14 Microsoft Corporation Push-based operators for processing of push-based notifications
US8869141B2 (en) 2010-03-09 2014-10-21 Avistar Communications Corp. Scalable high-performance interactive real-time media architectures for virtual desktop environments
US8457830B2 (en) 2010-03-22 2013-06-04 John R. Goulding In-line legged robot vehicle and method for operating
JP2011201002A (ja) 2010-03-26 2011-10-13 Sony Corp ロボット装置、ロボット装置の遠隔制御方法及びプログラム
US9183560B2 (en) 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
US20110307403A1 (en) 2010-06-11 2011-12-15 Arad Rostampour Systems and method for providing monitoring of social networks
CN102377790B (zh) 2010-08-04 2016-02-24 腾讯科技（深圳）有限公司 一种推送数据的方法和装置
KR101637601B1 (ko) 2010-10-15 2016-07-07 삼성전자주식회사 모바일 메시지 수신 장치 및 방법
US8775535B2 (en) 2011-01-18 2014-07-08 Voxilate, Inc. System and method for the transmission and management of short voice messages
US9079313B2 (en) 2011-03-15 2015-07-14 Microsoft Technology Licensing, Llc Natural human to robot remote control
US8594845B1 (en) * 2011-05-06 2013-11-26 Google Inc. Methods and systems for robotic proactive informational retrieval from ambient context
US9205886B1 (en) * 2011-05-06 2015-12-08 Google Inc. Systems and methods for inventorying objects
US8595345B2 (en) 2011-05-26 2013-11-26 Mfluent Llc Enhanced push notification services
US9088624B2 (en) 2011-05-31 2015-07-21 Nokia Technologies Oy Method and apparatus for routing notification messages
US20120315879A1 (en) 2011-06-08 2012-12-13 Alcatel-Lucent Usa Inc. Intelligent presence notification service
DE112012002774T5 (de) 2011-07-01 2014-03-20 Stoneware Inc. Verfahren und Vorrichtung für einen keep-alive Push-Agenten
US8788881B2 (en) 2011-08-17 2014-07-22 Lookout, Inc. System and method for mobile device push communications
US20130050743A1 (en) 2011-08-31 2013-02-28 Forrest Lane Steely System and Method of Print Job Retrieval from the Cloud
US8732810B2 (en) 2011-10-27 2014-05-20 Cellco Partnership IP push platform and connection protocol in a push notification framework
US8619799B1 (en) 2011-11-02 2013-12-31 Wichorus, Inc. Methods and apparatus for improving idle mode performance using deep packet inspection (DPI) idle mode agent
CN104054023B (zh) 2011-11-16 2017-11-17 欧特法斯公司 用于与机器人控制的物体映射的3d投影的***和方法
US9628296B2 (en) 2011-12-28 2017-04-18 Evernote Corporation Fast mobile mail with context indicators
US8880628B2 (en) 2012-01-06 2014-11-04 International Business Machines Corporation Smarter mechanism to implement push email on handheld devices
JP2015513330A (ja) 2012-01-13 2015-05-07 パルス ファンクション エフ６ リミテッド ３ｄ慣性センサ付きテレマティクス・システム
US9463574B2 (en) 2012-03-01 2016-10-11 Irobot Corporation Mobile inspection robot
US8407306B1 (en) 2012-06-25 2013-03-26 Google Inc. Systems and methods for managing message delivery based on message priority
US9191619B2 (en) 2012-08-01 2015-11-17 Google Inc. Using an avatar in a videoconferencing system
US20140095216A1 (en) 2012-09-28 2014-04-03 International Business Machines Corporation Itinerary-based event recommendations
US9801541B2 (en) 2012-12-31 2017-10-31 Dexcom, Inc. Remote monitoring of analyte measurements
US20140270115A1 (en) 2013-03-12 2014-09-18 J. Stephen Burnett Electronic Message Aggregation and Sharing System and Apparatus
US8700722B1 (en) 2013-03-15 2014-04-15 Google Inc. User-aware cloud to device messaging systems and methods
US20140304238A1 (en) 2013-04-05 2014-10-09 Nokia Corporation Method and apparatus for detecting duplicate messages

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008055578A (ja) * 2006-09-01 2008-03-13 Fujitsu Ltd 情報提供ロボットおよびロボットを用いた情報提供方法
KR20100006975A (ko) * 2008-07-11 2010-01-22 서울메트로 이동식 안내로봇 및 그 시스템
US20110288684A1 (en) * 2010-05-20 2011-11-24 Irobot Corporation Mobile Robot System
US20140009561A1 (en) * 2010-11-12 2014-01-09 Crosswing Inc. Customizable robotic system
CN102750274A (zh) * 2011-01-04 2012-10-24 张越峰 一种初具人类思维的现场智能引导服务***及方法
CN103459099A (zh) * 2011-01-28 2013-12-18 英塔茨科技公司 与一个可移动的远程机器人相互交流
JP2012161851A (ja) * 2011-02-03 2012-08-30 Advanced Telecommunication Research Institute International ロボットシステムおよびそれに用いる空間陣形認識装置
CN104019809A (zh) * 2014-06-25 2014-09-03 重庆广建装饰股份有限公司 一种基于商场商品的商场定位导航方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679573A (zh) * 2017-09-30 2018-02-09 深圳市锐曼智能装备有限公司 智慧货柜的物品识别***及其方法
CN107480660A (zh) * 2017-09-30 2017-12-15 深圳市锐曼智能装备有限公司 危险物品识别***及其方法
CN107807652A (zh) * 2017-12-08 2018-03-16 灵动科技（北京）有限公司 物流机器人、用于其的方法和控制器及计算机可读介质
CN110065064A (zh) * 2018-01-24 2019-07-30 南京机器人研究院有限公司 一种机器人分拣控制方法
CN108381509A (zh) * 2018-03-19 2018-08-10 京东方科技集团股份有限公司 智能抓取装置及其控制方法、智能抓取控制***
US11331788B2 (en) 2018-03-19 2022-05-17 Boe Technology Group Co., Ltd. Smart grabbing device and method for controlling the same and terminal
CN109571401A (zh) * 2018-11-20 2019-04-05 深圳玩智商科技有限公司 一种多层激光雷达的移动机器人
CN113168602A (zh) * 2018-12-05 2021-07-23 轨迹机器人公司 顾客辅助的机器人拣选
CN113840698A (zh) * 2019-04-09 2021-12-24 Abb瑞士股份有限公司 用于自动零售店环境的机器人补货和安全***
CN112659090A (zh) * 2019-10-15 2021-04-16 丰田自动车株式会社 机器人使用***和运输机器人
CN111768208A (zh) * 2020-06-23 2020-10-13 北京思特奇信息技术股份有限公司 一种携号转网维系***
EP4207031A4 (en) * 2020-09-28 2024-01-24 Avatarin Inc. INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD AND PROGRAM
WO2022232367A1 (en) 2021-04-28 2022-11-03 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for providing an advertising content using a robot

Also Published As

Publication number Publication date
CA2965672A1 (en) 2016-04-28
JP2017533106A (ja) 2017-11-09
EP3209468A1 (en) 2017-08-30
US9796093B2 (en) 2017-10-24
JP6502491B2 (ja) 2019-04-17
EP3209468A4 (en) 2018-04-18
US20180043542A1 (en) 2018-02-15
WO2016065362A1 (en) 2016-04-28
US20160114488A1 (en) 2016-04-28
KR20170097017A (ko) 2017-08-25

Similar Documents

Publication Publication Date Title
CN107206601A (zh) 客户服务机器人和相关***及方法
US10311400B2 (en) Intelligent service robot and related systems and methods
CN110352116A (zh) 智能服务机器人和相关***及方法
US10867280B1 (en) Interaction system using a wearable device
US11914785B1 (en) Contactless user interface
US10482421B1 (en) System for expediting delivery of items
US7206753B2 (en) Methods for facilitating a retail environment
US6584375B2 (en) System for a retail environment
US10380814B1 (en) System for determining entry of user to an automated facility
US11341355B2 (en) Robot and method of controlling the same
EP3794577B1 (en) Smart platform counter display system and method
US20140363059A1 (en) Retail customer service interaction system and method
JP7352235B2 (ja) 自律走行車両、配送システム、プログラム及びプログラムを記憶した記憶媒体
US20180232799A1 (en) Exhibition device, display control device and exhibition system
CN113126629B (zh) 一种机器人主动搜索目标的方法及智能机器人
US20130321346A1 (en) Interactive Surface
US11448508B2 (en) Systems and methods for autonomous generation of maps
US20200250736A1 (en) Systems, method and apparatus for frictionless shopping
US20120130867A1 (en) Commodity information providing system and commodity information providing method
KR20190104282A (ko) 영상 기반으로 정보를 제공하는 방법 및 이를 위한 이동 단말
EP2859716B1 (en) Photographic stage
US20140214597A1 (en) Method And System For Managing An Electronic Shopping List With Gestures
WO2023034622A1 (en) Facial recognition for age verification in shopping environments
WO2016051183A1 (en) System and method for monitoring display unit compliance
WO2018134854A1 (en) Movement analysis from visual and audio data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170926

WD01 Invention patent application deemed withdrawn after publication