CN111079607A - 具有追踪功能的自动驾驶*** - Google Patents

具有追踪功能的自动驾驶*** Download PDF

Info

Publication number
CN111079607A
CN111079607A CN201911246843.9A CN201911246843A CN111079607A CN 111079607 A CN111079607 A CN 111079607A CN 201911246843 A CN201911246843 A CN 201911246843A CN 111079607 A CN111079607 A CN 111079607A
Authority
CN
China
Prior art keywords
autopilot system
target object
cameras
mode
machine vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911246843.9A
Other languages
English (en)
Inventor
唐文庆
齐欧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lingdong Technology Beijing Co Ltd
Original Assignee
Lingdong Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lingdong Technology Beijing Co Ltd filed Critical Lingdong Technology Beijing Co Ltd
Priority to CN201911246843.9A priority Critical patent/CN111079607A/zh
Priority to US16/714,942 priority patent/US20210173407A1/en
Publication of CN111079607A publication Critical patent/CN111079607A/zh
Priority to PCT/CN2020/130846 priority patent/WO2021109890A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Vascular Medicine (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本说明书实施例涉及一种自动驾驶***，其包括一具有一或多个机动轮的移动基座，移动基座具有第一端和与第一端相对的第二端，一或多个可辨识一目标物体的相机，一或多个可测量目标物体与移动基座间距离的距离传感器，以及一控制器。所述控制器可依据一或多个相机及距离传感器所接收的信息来控制机动轮的移动，以及因应环境条件的变化，将自动驾驶***的操作模式由结合机器视觉的跟随模式切换成纯测距模式以使自动驾驶***自动地且持续地跟随在一特定方向上移动的目标物体，其中在结合机器视觉的跟随模式下，一或多个相机与一或多个距离传感器得到的数据系同时用来跟随目标物体，且其中在纯测距模式下仅使用一或多个距离传感器的数据来跟随目标物体。

Description

具有追踪功能的自动驾驶***
技术领域
本文公开的实施例涉及具有追踪功能的自动驾驶***。
背景技术
自动驾驶***诸如自主移动机器人(Autonomous Mobile Robots)或自动引导车辆(Automatic Guided Vehicle)是能够长距离运送负载，无人驾驶的可编程控制***。自动驾驶***以精确且能控制移动的方式为工作人员、库存物品和设备提供更安全的环境。目前已有结合传感器与自动驾驶***的方式来跟随用户的设计。然而，那些传感器通常都有物理特性的限制，以致在拥挤的场所或当光源昏暗时无法持续追踪用户。因此，业界需要能改进前述问题的自动驾驶***。
发明内容
本说明书的实施例涉及一种自动驾驶***。在一个实施例中，所述自动驾驶***包括一具有一个或多个机动轮的移动基座，所述移动基座具有第一端和与所述第一端相对的第二端，一或多个相机，可操作以辨识一目标物体，一或多个距离传感器，可操作以测量所述目标物体与所述移动基座间的距离，以及一控制器。所述控制器是配置用以依据所述一或多个相机及所述一或多个距离传感器所接收的信息来控制所述机动轮的移动，以及因应环境条件的变化，将所述自动驾驶***的操作模式由结合机器视觉的跟随模式切换成纯测距模式以使所述自动驾驶***自动地且持续地跟随在一特定方向上移动的所述目标物体，其中在结合机器视觉的跟随模式下，所述一或多个相机与所述一或多个距离传感器得到的数据系同时用来跟随所述目标物体，且其中在纯测距模式下仅使用所述一或多个距离传感器的数据来跟随所述目标物体。
在另一个实施例中，提供了一种自动驾驶***。所述自动驾驶***包括一具有一个或多个机动轮的移动基座，所述移动基座具有第一端和与所述第一端相对的第二端，一或多个相机，可操作以辨识一目标物体，一或多个距离传感器，可操作以生成目标物体的数字三维表示图，以及一控制器。所述控制器系配置用以因应环境条件的变化，将所述自动驾驶***的操作模式由结合机器视觉的跟随模式切换成纯测距模式，其中在结合机器视觉的跟随模式下，所述一或多个相机与所述一或多个距离传感器得到的数据系同时用来跟随所述目标物体，且其中在纯测距模式下仅使用所述一或多个距离传感器的数据来跟随所述目标物体，藉由测量所述数字三维表示图中两相邻部份的间距是否落在一预设范围内的方式来辨识所述目标物体的特定部分，藉由计算不同时间条件下所述特定部分与周围环境间的距离差异来决定所述目标物体是否在移动，以及移动所述机动轮以使所述自动驾驶***自动地且持续地跟随在一特定方向上移动的所述目标物体。
在另一个实施例中，提供了一种自动驾驶***。所述自动驾驶***包括一具有一个或多个机动轮的移动基座，所述移动基座具有第一端和与所述第一端相对的第二端，一或多个相机，可操作以辨识一目标物体，一或多个距离传感器，可操作以测量所述目标物体与所述移动基座间的距离，以及一控制器。所述控制器系配置用以在结合机器视觉的跟随模式下利用所述一或多个相机来辨识所述目标物体，利用所述一或多个距离传感器来测量所述目标物体与所述移动基座间的距离，并依据所述距离来控制所述一或多个机动轮去跟随所述目标物体，记录所述目标物体至所述移动基座的相对位置信息，以及因应环境条件的变化，将所述自动驾驶***的操作模式由结合机器视觉的跟随模式切换成纯测距模式，其中在结合机器视觉的跟随模式下，从所述一或多个相机与所述一或多个距离传感器得到的数据系同时用来跟随所述目标物体，且其中在纯测距模式下仅使用所述一或多个距离传感器最近一次相对位置信息的数据来跟随所述目标物体。
在又另一个实施例中，提供了一种非暂时性计算机可读介质，其上储存有程序指令，所述程序指令被一控制器执行时可使所述控制器进行计算器可执行之目标物体的跟随方法，其中所述计算器可执行方法包括操作一或多个设置在一自动驾驶***上的相机，以辨识所述目标物体，操作一或多个设置在所述自动驾驶***上的距离传感器，以测量所述目标物体与所述自动驾驶***间的距离，依据所述一或多个相机及所述一或多个距离传感器的信息来控制所述自动驾驶***之机动轮的移动，以及因应环境条件的变化，将所述自动驾驶***的操作模式由结合机器视觉的跟随模式切换成纯测距模式以使所述自动驾驶***自动地且持续地跟随在一特定方向上移动的所述目标物体，其中所述一或多个相机与所述一或多个距离传感器所得到的信息在结合机器视觉的跟随模式下系同时用来跟随所述目标物体，且其中在纯测距模式下仅使用所述一或多个距离传感器的信息来跟随目标物体。
附图说明
图1是根据本说明书一实施例的自动驾驶***之一立体图。
图2是根据本说明书一实施例的自动驾驶***之另一立体图。
图3是使用距离传感器辨识位于预设区域内的操作员的腿之一范例。
图4是根据本说明书一实施例中以纯测距模式操作的自动驾驶***之一平面图。
图5A绘示一操作员于预设区域内移动。
图5B绘示一移动于操作员与自动驾驶***间的第三人。
图5C绘示第三人离开预设区域。
图6A绘示一自动驾驶***因目标物体移出机器视觉相机的侦测范围时由一般跟随模式暂时切换至纯测距模式。
图6B绘示一自动驾驶***在找到目标物体后恢复成结合机器视觉的跟随模式以持续跟随目标物体。
图7是根据本说明书一实施例的自动驾驶***之一方块图。
图8A是根据本说明书一实施例的自动驾驶***之一后方立体图。
图8B是根据本公开文一实施例的行李之拉杆图。
为了便于理解，附图中相同组件在可能的情况下都是以同样的组件符号来表示。实施例中所揭示的组件皆可用于其他实施例而无需特别说明。
具体实施方式
本说明书的实施例涉及具有先进追踪能力的自动驾驶***。应理解的是，虽然在本说明书中使用“自动驾驶***”一词，但本说明书中的各种实施例的概念均可应用于任何自动驾驶车辆和移动机器人，例如自主导航移动机器人、惯性制导(inertially-guided)机器人、遥控移动机器人和由激光瞄准、视觉***或路线图所引导的机器人。下面图1-8B对各种实施例有更详尽的讨论。
图1是根据本说明书一实施例的自动驾驶***100之一立体图。自动驾驶***可在各种操作***(例如仓库、医院、机场和其他可以使用自动包裹运输的其他环境)中作为包裹运送器。自动驾驶***100通常包括移动基座102和控制面板104。移动基座102具有后端103和与后端103相对的前端105。控制面板104以站立或直立的方式联接到移动基座102的前端105。在一些实施例中，移动基座可以使用移动基座内部的一个或多个致动器进行垂直上下移动。
自动驾驶***100能由内存的命令，地图，或接收远程服务器的指示在设施内的指定区域之间自主移动。远程服务器可以包括仓库管理***。仓库管理***能以无线的方式与自动驾驶***100作沟通。自动驾驶***100通过一或多个机动轮110和多个稳定轮112来进行移动。每一机动轮110均设置能在任何特定方向上旋转和/或滚动以移动所述自动驾驶***100。例如，机动轮110可以绕Z轴旋转，并且沿着任何方向(例如沿着x轴或沿着Y轴)在地面上绕其主轴向前或向后滚动。机动轮110也可以不同的速度滚动。稳定轮112可以是脚轮式(caster-type)轮。在一些实施例中，任一稳定轮或所有稳定轮112都可以是机动的。在本说明书中，前端105是引导端时的移动称之为向前移动，而后端103是引导端时的移动称之为向后移动。
自动驾驶***100有一联接到控制面板104顶部的显示器108。显示器108可用于显示信息。显示器108可以是任何合适的用户输入设备，用于提供与操作任务、设施地图、路径信息、库存信息和库存存储等相关的信息。显示器108也允许操作员手动控制自动驾驶***100的操作。如果需要手动使用自动驾驶***，操作员可以经由显示器108输入更新的命令将自动驾驶***100的自动操作改为手动控制。
自动驾驶***100具有一或多个急停按钮119。按下急停按钮时能够停止正在移动的自动驾驶***。自动驾驶***100也具有一暂停/恢复按钮147。按下暂停/恢复按钮147可暂停或恢复自动驾驶***100的运作。急停按钮119可设置于移动基座102或控制面板104。暂停/恢复按钮147可设置于移动基座102或控制面板104，例如显示器108的前侧。
移动基座102的前端105或后端103处可提供充电垫123，以在自动驾驶***100与充电站(未示出)对接时自动充电自动驾驶***100。
在一些实施例中，控制面板104可整合配置一射频识别(RFID)读取器101。射频识别读取器101可设置在控制面板104处。射频识别读取器101具有面向上的传感器表面117，用以通过无线侦测和读取贴附在每个物品上的射频识别标签来查询物品是否放置在传感器表面117上、上方或正上方。
自动驾驶***100还整合配置一打印机126。打印机126可设置在控制面板104内。打印机可响应射频识别读取器101所扫描到的射频识别标签来打印标签。打印机可以与远程服务器通信以接收和/或打印与物品相关联的附加信息。打印后的标签可于纸张排出口128取出。所述纸张排出口128可设置于控制面板104的前端105处。自动驾驶***100的控制面板104可配有一或多个置物盒125，以帮助操作员存放用来包装的工具，例如剪刀和胶带。
自动驾驶***100包括一联接到控制面板104的定位装置。定位装置145可将自动驾驶***100的位置信息传送到远程服务器。定位设备145可以由一设置在控制面板104中的电路板控制，该电路板至少包括一通信装置。位置信息可以通过互联网无线地、通过有线连接、或使用任何合适的方式由通信装置发送至远程服务器。无线通信的示例可以包括但不限于超宽带(UWB)、射频识别(有源和/或无源)、蓝牙、无线网络技术和/或使用物联网(IoT)技术的任何其他合适形式的通信。
在一实施例中，定位装置145是一基于超宽带技术的装置。本说明书中描述的超宽带指的是使用低能量以在无线电频谱的大部分上进行短距离、高带宽通信的无线电波技术，所述无线电频谱包括3赫兹到3，000千兆赫兹范围内的频率。定位设备145可有三个天线(未图标)接收来自一或多个超宽带标签的信号(例如射频波)，且所述无线收发器可以放置在设施场所的不同位置(例如在仓库的货架或建物柱子上)。信号可以由超宽带标签的发射器传送到定位装置145，以确定自动驾驶***100相对于超宽带标签的位置，藉以判定自动驾驶***100的精确位置。
自动驾驶***100包括多个相机与传感器。相机与传感器可配置以协助自动驾驶***100自动且连续地跟随任何一种物体，例如在一定方向上移动的操作员或车辆。在多个实施例中，可使用一或多个相机以及/或传感器来捕捉及辨识物体的影像或影片，且一或多个传感器可用来计算物体与自动驾驶***100间的距离。相机与传感器收到的信息可用来引导自动驾驶***100的移动。在一实施例中，自动驾驶***100可跟随在操作员后方。在一实施例中，自动驾驶***100可在其可侦测之预定范围内的一定方向上跟随在操作员的一侧。在一实施例中，自动驾驶***100向前移动的方向可以是不同于自动驾驶***的头部方向。在某些实施例中，自动驾驶***100可以一直跟随在操作员的一侧，并在有障碍物时转换成操作员的后方跟随，接着再换回操作员的侧方进行跟随。
在一实施例中，且此实施例可与本说明书其他任一实施例结合，自动驾驶***100可在物体识别模式下操作，并利用一或多个相机识别物体的方式来进行跟随。一或多个相机可以是机器视觉相机，其可用以识别物体、辨认物体的动作/姿势、且可选择性的侦测与物体的距离等。一种可作为范例的机器视觉相机是能生成三维影像(二维平面影像加上深度图影像)的红绿蓝深度(RGB-D)相机。这样的红绿蓝深度相机可具有两组不同的传感器。一组可包括光学接收传感器(例如红绿蓝相机)，用来接收以三原色(红、绿、蓝)强度数值所表示的影像。另一组传感器包括红外线激光或用以侦测所追踪物体距离(或深度)并取得深度图影像的光传感器。其他机器视觉相机诸如单目相机、双目相机、立体相机、使用飞行时间技术(基于光速)以决定距物体距离的相机、或上述任一组合的相机亦可使用。
无论何种实施例，机器视觉相机都可用来至少侦测物体、捕捉物体影像、及辨识物体特征。特征可包括、但不限于操作员的脸部特色、操作员的外形、操作员的骨架结构、操作员的姿势/手势、操作员的衣物、或前述任一组合。机器视觉相机取得的信息可由置于自动驾驶***100内的控制器及/或远程服务器进行计算。计算的信息可用以指挥自动驾驶***100在任一特定方向上跟随物体，同时与该物体保持预定距离。机器视觉相机也可用以扫描物品的标识/二维矩阵码/条形码以确认该物品是订单或任务指示里所载的物品。
此处所述的机器视觉相机可配置于自动驾驶***100的任何适当位置。在某些实施例中，机器视觉相机可接置在控制面板104或移动基座102的四面之一，并朝向自动驾驶***100的外侧。在某些实施例中，一或多个机器视觉相机可设置在控制面板104。例如，自动驾驶***100可有一设置在控制面板104的第一机器视觉相机121。第一机器视觉相机121可以是前置相机。
在某些实施例中，一或多个机器视觉相机可设置在移动基座102上。例如，自动驾驶***100可具有设置在移动基座102前端105的相机160，162，164，其配置为自动驾驶***100的第二机器视觉相机161。第二机器视觉相机161可以是前置相机。自动驾驶***100可具有分别设置在移动基座102两侧的第三机器视觉相机109。自动驾驶***100可具有设置在移动基座102后端103的相机166，168，其设置为自动驾驶***100的第四机器视觉相机165。第四机器视觉相机165可以是后置相机。
在某些实施例中，且这些实施例可与本说明书其他任一实施例结合，一或多个机器视觉相机可设置在显示器108前侧及/或后侧。例如，自动驾驶***100可具有一设置在显示器108前侧的第五机器视觉相机137。
第一、第二及第五机器视觉相机121，161，137可朝向与自动驾驶***100后端103的相反侧。若需要，第一及/或第五机器视觉相机121，137可配置成人员/物体识别相机以辨识操作员及/或具有标识/二维矩阵码/条形码的物品。图1绘示利用第一机器视觉相机121来捕捉操作员171并识别操作员171特征。操作员171位于第一机器视觉相机121的视线173内。第一机器视觉相机121捕捉操作员171的全身影像(或影片)并利用前述特征(诸如面部特征跟骨骼架构)来辨识操作员171以跟随操作员171。
在某些实施例中，且此实施例可与本说明书其他任一实施例结合，图2出示了一可以设置在显示器108背侧的通用相机139。通用相机139可用来读取置放在移动基座102上表面106的物品143标识/二维矩阵码/条形码141。通用相机139可设置用以辨识操作员。或者，通用相机139也可置换成前述机器视觉相机。应理解的是联接至自动驾驶***100的通用相机与机器视觉相机数目均可增减而不应被图标的数目与位置所限置。根据不同应用，任何机器视觉相机皆可替换成通用相机。
除前述实施例外，或者可取代前述实施例，自动驾驶***100可以操作在纯测距模式下并用一或多个距离传感器(Proximity sensor)来跟随物体。一或多个距离传感器可测量物体与一部分自动驾驶***100(例如移动基座102)间的距离以跟随操作员。也可使用一或多个距离传感器来躲避障碍物。自动驾驶***100内的控制器及/或远程服务器可计算一或多个距离传感器所取得的信息。自动驾驶***100可利用算出的信息跟随任一特定方向上的物体，同时并保持与物体的预定距离。一或多个距离传感器可以是光侦测和测距(LiDAR)传感器、声纳传感器、超声传感器、红外传感器、雷达传感器、使用光与激光的传感器，或其任何组合。
此处所述的距离传感器也可放置在自动驾驶***100的任何适当位置。例如，一或多个距离传感器可以设置在移动基座102的切口148处。切口148可绕着移动基座102的周围向内延伸。在图2所示的一实施例中，自动驾驶***100在移动基座102斜对角分别设有第一距离传感器158以及第二距离传感器172。由于每一距离传感器158，172都可以感测超过90度的视野，例如约270度，延伸的切口148可为自动驾驶***100的距离传感器158，172提供更大的感测区域。若需要，移动基座102的四个角落均可设置距离传感器。
自动驾驶***100可进一步包括一朝斜前下方的深度影像感应相机111(例如朝向前下方设置于控制面板的相机)以更有效的捕捉动作路径上可能出现的物体/障碍物，例如操作员的脚、货板或其他高度较低的物体。在一实施例中，深度影像感应相机111是朝着一个方向113，且此方向113与控制面板104的长度方向有一夹角。这夹角可介于约30度至85度，例如约35度至约65，例如约45度。
机器视觉相机109，121，137，161，165以及/或距离传感器158，172所记录、侦测及测量到的信息组合可用于在自动驾驶***100避开附近的障碍物的同时，帮助自动驾驶***100在特定方向上与操作员一起自主地移动，和/或自动地将自动驾驶***100保持在操作员的前、后或侧跟随位置。取决于应用所需，自动驾驶***100的实施例可包括联接到移动基座102和/或控制面板104的机器视觉相机和/或距离传感器的任何组合、数量和/或位置。
在多数情况下，自动驾驶***100是在”结合机器视觉的跟随模式”下操作，即机器视觉相机与距离传感器是同时操作。也就是说在跟随物体时，自动驾驶***100是同时操作在”物体识别模式”与”纯测距模式”下。若一或多个机器视觉相机有部份或全部被遮盖(例如被目标物体与自动驾驶***100间移动的另一物体所遮挡)、或当自动驾驶***100在低光源的情况下跟随物体时，控制器可忽略或不处理一或多个机器视觉相机、或全部的机器视觉相机(如机器视觉相机109，121，137，161，165)的输入数据并将自动驾驶***100由结合机器视觉的跟随模式切换至只利用一或多个距离传感器(如距离传感器158，172)的信息来跟随物体的纯测距模式。
除前述实施例外，或在一些可取代前述的实施例中，若一或多个机器视觉相机、或全部的机器视觉相机(如机器视觉相机109，121，137，161，165)取得的影像/摄像中有单一色块超过所撷取影像面积约60％或以上(例如约80％-100％)时，控制器可忽略或不处理一或多个机器视觉相机的输入数据。在此情况下，自动驾驶***100会由结合机器视觉的跟随模式切换至只利用一或多个距离传感器(如距离传感器158，172)的信息来跟随物体的纯测距模式。
当自动驾驶***100操作在纯测距模式时，可利用距离传感器来辨识物体的特定部份，例如操作员的双腿，以进行物体的跟随。图3出示利用距离传感器(例如距离传感器158)来辨识预设区域301内操作员300的腿。预定距离301是指距离传感器158能测得的范围，且可依所需由操作员300在操作自动驾驶***100前、中、及/或后进行调整。当操作员300双脚行走时，左腿与右腿间自然会存有空隙。这样的空隙可用以协助距离传感器158辨识操作员300的腿。比方说，距离传感器158可利用激光302扫描或照射操作员300，并测量距离传感器158所反射的光来测量与操作员300的距离。激光返回时间的差异可接着用来制作物体的数字立体表示。若两相邻部份间的距离”D1”落在预设范围内，则距离传感器158会把两相邻部份视为是操作员300的腿，并以两个柱状体304，306来表示腿。此说明书所述的预设范围是指从双腿在并拢时的最小间距到双腿张开或分开时最大间距的这个范围。应理解的是，预设范围会因操作员及/或远程服务器所选物体的特定部份而不同。
一旦辨识出腿(亦即柱状体304，306)，距离传感器158便可藉由计算柱状体304，306与周遭物体(如货架308)不同时间时的距离差异而得知腿的移动。例如，操作员300可能会从远离货架308的第一位置走到靠近货架308的第二位置。距离传感器158会因柱状体310，312间的距离“D2”落入预设范围而判定柱状体310，312为操作员300的腿。距离传感器158亦可依据货架308与柱状体304，306及柱状体310，312在不同时间的距离”D3”及”D4”来判别操作员300是否在移动。自动驾驶***100可利用距离传感器158所取得的信息来辨识操作员、决定是否跟随该操作员300及/或保持与该操作员300的预定距离。
图4为自动驾驶***100在纯测距模式下(机器视觉相机可启动或不启动)的俯视图，其显示一实施例中操作员400接近或至少部份落在距离传感器(例如距离传感器158)能测得的预设区域401的边界外。同样的，预设区域401是指距离传感器158能测得的区域，且操作员400可在操作自动驾驶***100之前、期间及/或之后依需求调整该区域(例如调高或调低)。在此实施例中，操作员400的特定部份已被测得，且因柱状体404，406间的距离”D5”落入预设范围而辨识为是需要追踪的腿。当自动驾驶***100测得操作员400靠近或至少部份落在预设区域401外时，自动驾驶***100会提高机动轮(例如机动轮110)速度以与操作员400保持在预设区域401内。同样的，当自动驾驶***100测得操作员400在预设区域401内且太过靠近自动驾驶***100时，自动驾驶***100会减慢机动轮速度以与操作员400保持一个预定距离。
可采用其他技术方案以进一步增进自动驾驶***100在纯测距模式下的追踪准确性。在一实施例中，自动驾驶***100可记录所跟随物体的速度。图5A-5C绘示了自动驾驶***100在预设区域501里有另一物体移动于操作员500与自动驾驶***100间的一系列操作。同样的，预设区域501为距离传感器158可测得的区域，且操作员500可在操作自动驾驶***100之前、期间及/或之后依需求调整该区域(例如调高或调低)。此外，操作员500的特定部份已由数个激光线502扫描过，且因为柱状体504，506间的距离”D6”落在预设范围内而被辨识为欲追踪的腿。自动驾驶***100可在运行期间连续监控并记录操作员500的速度。倘若第三人550进入预设区域501且在操作员500与自动驾驶***100之间移动时，自动驾驶***100会按所记录的操作员500速度来移动，而非第三人550的速度进行跟随。
图5A绘示操作员500以速度S1在预设区域内501移动。自动驾驶***100可持续监控并测量操作员500的速度S1。第三人550以速度S2接近且以操作员500与自动操作***100间的位置进入预设区域501。速度S2与速度S1并不相同(如高于或低于)。
图5B绘示第三人550位于操作员500与自动驾驶***100之间。自动驾驶***100侦测到以速度S2移动的第三人550。当第三人550至少部份的或完全阻碍距离传感器158侦测操作员500时，自动驾驶***100会按先前所测得并记录的操作员500速度S1来继续移动。
图5C绘示第三人550移动离开预设区域501，因此距离传感器158可再次测得以速度S1移动的操作员500。自动驾驶***100持续在特定的方向上移动并与操作员500保持一个预设距离。
在一实施例中，而此实施例可与本说明书其他任一实施例结合，距离传感器(距离传感器158)是设置去追踪离自动驾驶***100最接近、且已利用前述讨论过的技术方案辨识出特定部份(例如操作员的脚)的物体，藉以改善纯测距模式下自动驾驶***100的追踪正确率。
在另一实施例中，而此实施例可与本说明书其他任一实施例结合，距离传感器(距离传感器158)是设置以依据前述讨论过的技术方案所取得最近一次、或最新的相关位置信息去追踪物体，藉以改善纯测距模式下自动驾驶***100的追踪正确率。相关位置信息可利用距离传感器并记录物体至自动驾驶***100的相对位置信息来量测物体与自动驾驶***100间之距离的方式得到。相关位置信息可储存在自动驾驶***100及/或远程服务器中。
在又一实施例中，而此实施例可与本说明书其他任一实施例结合，当自动驾驶***100操作在物体识别模式以及纯测距模式时(统称结合机器视觉的跟随模式)，可利用前述机器视觉相机与距离传感器来监控与物体相关的可辨识特征。辨识后的信息可存在自动驾驶***100及/或远程服务器，并在一或多个机器视觉相机被遮挡时用来持续辨识物体。可识别特征可包括、但不限于一或多个下列特征：两腿间的预设距离范围、皮肤或衣物的反射特性，步行的空间因子，如步长、步幅(步行时同一脚两脚跟间的距离)、和步伐宽度、步行的时间因子(双足支撑时间(双脚同时在地面上时的步幅持续时间))和节奏(步进频率)、或其任意组合。
当一或多个机器视觉相机被遮蔽，无论是部分遮蔽或完全遮蔽(例如因其他物体移动至目标物体与自动驾驶***100之间)、或当自动驾驶***100在低光源状态下跟随物体时，自动驾驶***100可从结合机器视觉的跟随模式切换至纯测距模式，并利用监测得到/先前储存的可识别特征来正确辨识需跟随的标的。在某些情况下，自动驾驶***100也可从结合机器视觉的跟随模式切换至纯测距模式并持续跟随具有最多可识别特征(与自动驾驶***100或远程服务器所存的可识别特征相符)的物体。这样的技术方案可有效正确的辨识需跟随的物体，特别是自动驾驶***100在拥挤环境下操作，例如在相同站台的仓库或动作路径上出现有两位或以上的操作员。
在任一自动驾驶***100是操作在纯测距模式下的实施例中，一或多个机器视觉相机可维持开启以协助物体的辨识。一或多个机器视觉相机可以设定为被部分遮蔽或完全遮蔽超过一预设时间(例如约3秒至40秒，比方约5秒至约20秒)时关闭机器视觉相机。
在某些实施例中，且该等实施例可与本说明书所讨论的其他实施例做结合，在目标物体离开一或多个机器视觉相机的视线、或移出预设区域(即机器视觉相机可侦测到的范围)时，自动驾驶***100可暂时由结合机器视觉的跟随模式切换至纯测距模式。在这样的情况下，距离传感器(例如光侦测和测距传感器(LiDAR))可继续保持开启以持续辨识并跟随目标物体，同时控制器可忽略或不处理机器视觉相机的输入数据以避免自动驾驶***100左右摆动去寻找目标物体。自动驾驶***100左右摆动时可能会导致载货掉落。距离传感器158，172(例如光侦测和测距传感器)及切口148可让自动驾驶***100提供至少或大于270度的感应范围。
在某些实施例中，且该等实施例可与本说明书所讨论的其他实施例做结合，在机器视觉相机无法侦测到目标物体超过一定时间时(例如约1秒至30秒，比方说约2秒至20秒)，自动驾驶***100可暂时从结合机器视觉的跟随模式切换成纯测距模式。
在图6A的某些实施例中，且该等实施例可与本说明书所讨论的其他实施例做结合，若目标物体600移出一或多个机器视觉相机(例如第一机器视觉相机121)的侦测范围时，自动驾驶***100可暂时从结合机器视觉的跟随模式切换至纯测距模式。亦即，若目标物体600从位置A移动至机器视觉相机121预设区域601外的位置B时，自动驾驶***100会暂时切换至纯测距模式。预设区域601是指机器视觉相机121可侦测的区域。自动驾驶***100接着会判断是否又侦测到目标物体600。例如，物体600仍可被距离传感器158侦测到(例如在距离传感器158可侦测到的预设区域603内)、或物体600回到在切换成纯测距模式前所记录到的路径上(例如从位置B返回位置A)。若又侦测到目标物体600，则自动驾驶***100可切换回结合机器视觉的跟随模式，也就是机器视觉相机(如第一机器视觉相机121)与距离传感器(如距离传感器158)两者一起用来跟随目标物体。由于自动驾驶***100利用至少一或多个距离传感器(如距离传感器158)来进行近乎无缝式的监控物体600，自动驾驶***100并不会因机器视觉相机(如第一机器视觉相机121)暂时追踪不到物体600而去摆动寻找物体600。因此，可避免因自动驾驶***100摆动所造成任何可能的载货掉落。
在图6B的某些实施例中，且该等实施例可与本说明书所讨论的其他实施例做结合，当目标物体600由位置C移动至位置D时，自动驾驶***100在下列任一或多种状况发生时才会主动的搜寻目标物体600：(1)距离传感器(如距离传感器158)跟丢了目标物体600；(2)目标物体600在预设区域603外；(3)目标物体600与自动驾驶***100的距离超过一预设距离；或(4)机器视觉相机(如第一机器视觉相机121)与距离传感器(如距离传感器158)跟丢了目标物体600。一旦自动驾驶***100找到目标物体600，自动驾驶***100可恢复成结合机器视觉的跟随模式或任一种合适的跟随方式以持续跟随目标物体600。
图7是根据本说明书的实施例的自动驾驶***100的方块图。自动驾驶***100包括控制器702，该控制器702被配置用于控制自动驾驶***100的各种操作，其可以包括在本说明书中讨论的任何一个或多个实施例或根据需要使用自动驾驶***100任何类型的任务。控制器702可以是可编程中央处理单元(CPU)或可与存储器一起操作的任何合适的处理器，用以执行存放在计算器可读介质713里的程序指令(软件)。计算器可读介质713可存放在储存装置704及/或远程服务器740。计算器可读介质713可以是非暂时性计算机可读介质，例如只读存储器，随机存取存储器，磁盘或光盘或磁带。控制器702与存储装置704通信，所述存储装置包含计算器可读介质713以及用于执行本说明书各种操作的数据，诸如定位信息706、地图信息708、货架/库存信息710、任务信息712、及导航信息714等。
定位信息706包含与自动驾驶***100位置有关的信息，其可利用定位装置(如自动驾驶***100里的定位装置145)来决定。地图信息708包含与设施或仓库有关的信息。货架/库存信息710包含与货架及库存位置有关的信息。任务信息712包含与欲执行任务有关的信息，诸如订单指令及目的地信息(例如运送地址)。导航信息714包含与要提供给自动驾驶***100和/或远程服务器740的路线指示有关的信息。该远程服务器可以是仓库管理***。导航信息714可以从定位信息706，地图信息708，储物架/库存信息710和任务信息712中计算一个或多个信息，以确定用于自动驾驶***的最佳路线。
控制器702可以通过设置在或连接到定位设备(例如，定位设备145)的通信设备726向远程服务器740发送、或从远程服务器740接收信息/指令。控制器702还与几个模块通信以引导自动驾驶***100的运动。示例性模块可以包括驱动模块716和电源分配模块722，驱动模块716控制电动机718和机动轮720，而电源分配模块722控制从电池724到控制器702的电源分配，驱动模块716，存储设备704和自动驾驶***100的各个组件(例如通信装置726，显示器728，相机730、732和传感器734、736、738)。
控制器702可配置从通用相机730(例如，通用相机139)和机器视觉相机732(例如，机器视觉相机109、121、137、161、165)接收用于识别物体的数据、辨识物体的运动/手势、并侦测相对于物体的距离。控制器702还配置来从距离传感器734、超声传感器736和红外传感器738(例如，距离传感器158、172)接收数据，所述数据可用于测量物体与自动驾驶***100之间的距离。控制器702可以分析/计算从存储设备704接收的数据以及任何任务指令(从远程服务器740或者由操作员经显示器728输入的)，以引导自动驾驶***100以前述图3-6B所讨论的正常跟随模式和/或纯测距模式来持续地跟随目标物体。通用相机730和/或机器视觉相机732也可以用于读取标记/二维矩阵码，以帮助确定自动驾驶***100的位置或读取物品的条码。
尽管自动驾驶***的实施例是按自主移动机器人(ARM)来描述和图示，但是以上讨论各种实施例的概念也可以应用于其他类型的自动驾驶***或可携式设备，例如具有多个跟随模式的自动行李箱***。图8A示出了根据一个实施例的自动驾驶***800的示意性等距后视图。自动驾驶***800可以是智能行李箱***。自动驾驶***800包括一件行李箱802形式的主体。行李箱802可以是用来存储物品和运输物品的手提箱或旅行箱。自动驾驶***800包括联接到行李箱802的底部的一个或多个机动轮806。每个机动轮806可在特定方向上旋转和滚动。在一个范例中，行李箱802可由两个、三个、四个或更多个机动轮支撑，且每个机动轮均能使行李箱802沿特定方向移动。
自动驾驶***800包括一个配置在行李箱802上的内建超宽带(UWB)装置。内建超宽带装置840可以与移动超宽带装置844的发射器842持续通信以确定用户相对于行李箱802的位置。移动式超宽带装置844可以是用户可穿戴的表带扣件装置、手机、平板计算机、计算器及/或任何可与行李内建的超宽带装置842通信的装置。
自动驾驶***800包括联接到行李箱802上的手柄810。手柄810设计能让自动驾驶***800的用户移动、推动、拉动和/或提起行李箱802。手柄810位于行李箱802的背面808，但也可以位于行李箱802的任何一侧，例如在与背面808相对的正面804。手柄810包括一个接到连接杆818的拉杆812，连接杆818与行李箱802连接。拉杆812为”T”状外形并可在连接杆818内伸缩。
自动驾驶***800在拉杆812的两端上分别设有照相机820a，820b。相机820a，820b可拍摄行李箱802周围的物体照片和/或视频。在一个示例中，相机820a，820b可拍摄附近目标和/或用户的照片和/或视频。在一些实施例中，拉杆812还可以包括在拉杆812前侧或后侧上的一个或多个照相机820c，820d(图8B中所示)，用以拍摄附近目标的照片和/或视频。相机820a-820d是朝向行李箱802外侧。在一些实施例中，相机820a-820d也可以用来辨识目标。
自动驾驶***800包括一个或多个接近感应相机814a-814d(图8A和8B中示出了四个)。一个或多个接近感应相机814a-814d设置在拉杆812及/或手柄810的连接杆818上。一个或多个接近感应相机814a-814d设置在拉杆812的下端部。在一个示例中，拉杆812的每一侧都设有一个接近感应相机814a-814d。每个接近感应相机814a-814d都可用以拍摄目标的图像，以便自动驾驶***800确定目标用户相对于行李箱802的距离。
自动驾驶***800包含一个或多个配置在拉杆812下部、且在接近感应相机814a-814d之下的激光发射器816a-816d。每一个激光发射器816a-816d都分别对应一个接近感应相机814a-814d。每个激光发射器816a-816d都配置在拉杆812的下部，并与所对应的接近感应相机814a-814d配置在同一侧。每一个激光发射器816a-816d都用以从拉杆812的下部朝一个或多个目标(例如用户)以向外的方向发射光线(例如激光)。激光发射器816a-816d所发射的光线都会从一个或多个目标上反射。激光发射器816a-816d发射的光线为人眼不可见的光线。每一个接近感应相机814a-814d都包含一光学滤波器，用以识别激光发射器816a-816d所发射的光线以及从目标反射回的光线，以助于取得目标相对于行李箱802的位置。接近感应相机814a-814d可用以拍摄目标的影像，其中影像包含分别由激光发射器816a-816d所发射的光线以及由目标所反射回的光线。具有广角镜头的接近感应相机814a-814d所拍摄的影像包含一个或多个目标以及反射回的光线。影像中的反射光线越高，表示目标距离行李箱802以及距离拍摄影像的接近感应相机814a-814d越远。
自动驾驶***800包括耦接至行李箱802的一侧的一个或多个接近传感器870a，870b。接近传感器870a，870b设置来侦测一个或多个物体(例如用户)的接近。在一个范例中，接近传感器870a，870b除了检测用户外，也检测物体的接近度，以在行李箱802跟随用户时协助行李箱802避开物体。接近传感器870a，870b包括一或多个超声传感器、声纳传感器、红外传感器、雷达传感器和/或光侦测和测距传感器。接近传感器870a，870b可与的相机820a，820b，820c，820d，接近感应相机814a-814d和/或激光发射器816a-816d一起工作，以在行李箱802追踪并跟随用户时协助行李箱802避开障碍物(如除了用户外的物体)。当辨识到障碍物时，自动驾驶***800会依据自动驾驶***800组件(例如一个或多个接近传感器870a，870b，相机820a，820b，820c，820d，接近感应相机814a-814d和/或激光发射器816a-816d)接收到的信息来采取纠正措施以移动行李箱802，并避免与障碍物碰撞。
与图3至图6B所讨论的概念类似，自动驾驶***800可以在物体识别模式下操作，并使用一个或多个相机820a-820d来跟随目标(例如用户)。自动驾驶***800也可以在纯测距模式下运行，并使用一个或多个激光发射器816a-816d和接近感应相机814a-814d来跟随目标，且两者可偕同工作以确定目标相对于行李箱802的距离或接近程度。在大多数情况下，自动驾驶***800是在“结合机器视觉的跟随模式”下运行。在结合机器视觉的跟随模式下，一个或多个相机820a-820d和一个或多个激光发射器816a-816d以及接近感应相机814a-814814d都是同时运行。亦即，当跟随用户时，自动驾驶***800是同时在“物体识别模式”和“纯测距模式”下同时操作。如果一个或多个相机820a-820d被部分或完全遮挡(例如，有另一物体在用户和自动驾驶***800间移动)，或当自动驾驶***800在低环境光线下跟随用户时，或者当相机820a-820d暂时无法追踪到用户时，控制器(置于自动驾驶***800内)可忽略或不处理一个或多个相机820a-820d、或所有相机820a-820d的输入数据，以使自动驾驶***800从结合机器视觉的跟随模式切换到纯测距模式用户。在纯测距模式时，自动驾驶***800仅使用一个或多个激光发射器816a-816d以及接近感应相机814a-814d的数据来跟随用户。这样的技术能确保自动驾驶***800连续的监控和跟踪用户。
本说明书所述实施例的优点包括一种即使是在机器视觉相机被遮挡或在低环境光条件下时也能够持续跟随物体(例如操作员)的自动驾驶***。自动驾驶***可以根据环境条件的改变(例如照明条件差或太亮时)在结合机器视觉的跟随模式(即机器视觉相机和距离传感器同时运行)和纯测距模式(即不处理机器视觉相机的数据而只利用距离传感器的数据来进行跟随)之间自动切换。物体的可识别特征(如物体两腿间的距离、皮肤和衣服的反射特征、步长/步宽、或它们的任意组合)可以存储在自动驾驶***中，并在机器视觉相机暂时无法追踪物体时时用这些可识别特征来辨识物体。
虽然前述内容针对本说明书的实施例，但是可以在不脱离本说明书的基本范围的情况下设计本说明书的其他和进一步的实施例，并且本说明书的范围由随附权利要求确定。

Claims (21)

1.一种自动驾驶***，包括：
一具有一个或多个机动轮的移动基座，所述移动基座具有第一端和与所述第一端相对的第二端；
一或多个相机，可操作以辨识一目标物体；
一或多个距离传感器，可操作以测量所述目标物体与所述移动基座间的距离；以及
一控制器，其配置用以：
依据所述一或多个相机及所述一或多个距离传感器所接收的信息来控制所述机动轮的移动；以及
因应环境条件的变化，将所述自动驾驶***的操作模式由结合机器视觉的跟随模式切换成纯测距模式以使所述自动驾驶***自动地且持续地跟随在一特定方向上移动的所述目标物体，其中在结合机器视觉的跟随模式下，所述一或多个相机与所述一或多个距离传感器得到的数据系同时用来跟随所述目标物体，且其中在纯测距模式下仅使用所述一或多个距离传感器的数据来跟随所述目标物体。
2.根据权利要求1所述的自动驾驶***，其中所述自动驾驶***在所述一或多个相机被遮蔽、或当所述自动驾驶***操作在低环境光源的条件下会切换至纯测距模式。
3.根据权利要求1所述的自动驾驶***，其进一步包括：
一控制面板，所述控制面板以直立形式联接到所述移动基座的所述第一端，且其中所述相机是联接至所述控制面板及/或移动基座的四个侧边之至少一侧。
4.根据权利要求3所述的自动驾驶***，其中至少一或多个相机是一红绿蓝深度(RGB-D)相机，且至少一或多个距离传感器是一光侦测和测距(LiDAR)传感器。
5.根据权利要求1所述的自动驾驶***，其中至少一或多个相机可操作以扫描一物品的标识、二维矩阵码或条形码。
6.根据权利要求1所述的自动驾驶***，其中所述一或多个相机，包含第一相机系设置在控制面板的前视相机，第二相机是朝向前下方的设置在控制面板，第三相机设置在移动基座第一侧的前视相机，第四相机设置在移动基座第二侧的后视相机。
7.根据权利要求1所述的自动驾驶***，其中至少一或多个距离传感器是声吶传感器，超声波传感器，红外线传感器，雷达传感器，使用光线激光的传感器，或前述任意组合。
8.根据权利要求7所述的自动驾驶***，其中一或多个距离传感器是设置在移动基座***向内延伸的切口内。
9.根据权利要求8所述的自动驾驶***，其中至少一距离传感器是设置在移动基座角落，且所述距离传感器经操作可感测270度或以上的视野。
10.根据权利要求9所述的自动驾驶***，其中所述控制器还进一步用以：
在目标物体不在一或多个相机视线内或离开一或多个相机可测得的预设区域时，暂时将自动驾驶***的操作模式从结合机器视觉的跟随模式切换至纯测距模式；且
当目标物体再次被一或多个相机测得时，将自动驾驶***的操作模式从纯测距模式切换至结合机器视觉的跟随模式。
11.一种自动驾驶***，包括：
一具有一个或多个机动轮的移动基座，所述移动基座具有第一端和与所述第一端相对的第二端；
一或多个相机，可操作以辨识一目标物体；
一或多个距离传感器，可操作以生成目标物体的数字三维表示图；以及
一控制器，其配置用以：
因应环境条件的变化，将所述自动驾驶***的操作模式由结合机器视觉的跟随模式切换成纯测距模式，其中在结合机器视觉的跟随模式下，所述一或多个相机与所述一或多个距离传感器得到的数据系同时用来跟随所述目标物体，且其中在纯测距模式下仅使用所述一或多个距离传感器的数据来跟随所述目标物体；
藉由测量所述数字三维表示图中两相邻部份的间距是否落在一预设范围内的方式来辨识所述目标物体的特定部分；
藉由计算不同时间条件下所述特定部分与周围环境间的距离差异来决定所述目标物体是否在移动；以及
移动所述机动轮以使所述自动驾驶***自动地且持续地跟随在一特定方向上移动的所述目标物体。
12.根据权利要求11所述的自动驾驶***，其中所述控制器还进一步用以：
测量所述目标物体移动的平均速度，以在另一物体在所述目标物体及所述自动驾驶***间移动、且遮蔽一或多个所述相机时让所述自动驾驶***持续以测量到的平均速度跟随所述目标物体。
13.根据权利要求11所述的自动驾驶***，其中所述控制器还进一步用以：
跟随特定部分已被辨识且最接近所述自动驾驶***的物体。
14.根据权利要求11所述的自动驾驶***，其中所述控制器还进一步用以：
在所述自动驾驶***操作在结合机器视觉的跟随模式时，监控与所述目标物体有关的可辨识特征；且
在一或多个物体出现在所述一或多个距离传感器能侦测的预设区域内时，利用所监控到的可识别特征来辨识所述目标物体。
15.根据权利要求14所述的自动驾驶***，其中所述特定部分是所述目标物体的腿，且所述可识别特征包括两腿间的预设距离范围、皮肤或衣物的反射特性、步长、步幅、和步伐宽度、双足支撑时间、步进频率、或前述任意组合。
16.根据权利要求11所述的自动驾驶***，其进一步包括：
一控制面板，所述控制面板以直立形式联接到所述移动基座的第一端，其中所述相机是联接至所述控制面板及/或移动基座的四个侧边之至少一侧，且至少一或多个相机可操作以扫描一物品的标识、二维矩阵码或条形码。
17.根据权利要求11所述的自动驾驶***，其中至少一或多个相机是一红绿蓝深度(RGB-D)相机，且至少一或多个距离传感器是一光侦测和测距(LiDAR)传感器。
18.根据权利要求11所述的自动驾驶***，其中一或多个距离传感器是设置在移动基座***向内延伸的切口内。
19.根据权利要求11所述的自动驾驶***，其中所述控制器还进一步用以：
在目标物体不在所述一或多个相机视线内或离开所述一或多个相机可测得的预设区域时，暂时将所述自动驾驶***的操作模式从结合机器视觉的跟随模式切换至纯测距模式；且
当目标物体再次被所述一或多个相机测得时，将所述自动驾驶***的操作模式从纯测距模式切换至结合机器视觉的跟随模式。
20.一种自动驾驶***，包括：
一具有一个或多个机动轮的移动基座，所述移动基座具有第一端和与所述第一端相对的第二端；
一或多个相机，可操作以辨识一目标物体；
一或多个距离传感器，可操作以测量所述目标物体与所述移动基座间的距离；以及
一控制器，其配置用以：
在结合机器视觉的跟随模式下利用所述一或多个相机来辨识所述目标物体；
利用所述一或多个距离传感器来测量所述目标物体与所述移动基座间的距离，并依据所述距离来控制所述一或多个机动轮去跟随所述目标物体；
记录所述目标物体至所述移动基座的相对位置信息；以及
因应环境条件的变化，将所述自动驾驶***的操作模式由结合机器视觉的跟随模式切换成纯测距模式，其中在结合机器视觉的跟随模式下，从所述一或多个相机与所述一或多个距离传感器得到的数据系同时用来跟随所述目标物体，且其中在纯测距模式下仅使用所述一或多个距离传感器最近一次的相对位置信息数据来跟随所述目标物体。
21.根据权利要求20所述的自动驾驶***，其中所述自动驾驶***在所述一或多个相机被遮蔽、或当所述自动驾驶***操作在低环境光源的条件下会切换至纯测距模式。
CN201911246843.9A 2019-12-05 2019-12-05 具有追踪功能的自动驾驶*** Pending CN111079607A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911246843.9A CN111079607A (zh) 2019-12-05 2019-12-05 具有追踪功能的自动驾驶***
US16/714,942 US20210173407A1 (en) 2019-12-05 2019-12-16 Self-driving system with tracking capability
PCT/CN2020/130846 WO2021109890A1 (zh) 2019-12-05 2020-11-23 具有追踪功能的自动驾驶***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911246843.9A CN111079607A (zh) 2019-12-05 2019-12-05 具有追踪功能的自动驾驶***

Publications (1)

Publication Number Publication Date
CN111079607A true CN111079607A (zh) 2020-04-28

Family

ID=70313299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911246843.9A Pending CN111079607A (zh) 2019-12-05 2019-12-05 具有追踪功能的自动驾驶***

Country Status (3)

Country Link
US (1) US20210173407A1 (zh)
CN (1) CN111079607A (zh)
WO (1) WO2021109890A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021109890A1 (zh) * 2019-12-05 2021-06-10 灵动科技（北京）有限公司 具有追踪功能的自动驾驶***
CN117825408A (zh) * 2024-03-05 2024-04-05 北京中科蓝图科技有限公司 道路的一体化检测方法、装置及设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11358274B2 (en) * 2019-06-13 2022-06-14 Lingdong Technology (Beijing) Co. Ltd Autonomous mobile robot with adjustable display screen
US20220026930A1 (en) * 2020-07-23 2022-01-27 Autobrains Technologies Ltd Autonomously following a person
CN113253735B (zh) * 2021-06-15 2021-10-08 同方威视技术股份有限公司 跟随目标的方法、装置、机器人及计算机可读存储介质
CN113923592B (zh) * 2021-10-09 2022-07-08 广州宝名机电有限公司 目标跟随方法、装置、设备及***
CN114265354B (zh) * 2021-12-28 2024-03-08 广州小鹏自动驾驶科技有限公司 一种车辆控制方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104482934A (zh) * 2014-12-30 2015-04-01 华中科技大学 一种多传感器融合的超近距离自主导航装置与方法
CN105074602A (zh) * 2013-03-29 2015-11-18 株式会社日立产机*** 位置识别装置和具有该位置识别装置的移动机器人
CN107223275A (zh) * 2016-11-14 2017-09-29 深圳市大疆创新科技有限公司 多路传感数据融合的方法和***
CN108351654A (zh) * 2016-02-26 2018-07-31 深圳市大疆创新科技有限公司 用于视觉目标跟踪的***和方法
US10310506B1 (en) * 2018-07-20 2019-06-04 Lingdong Technology (Beijing) Co. Ltd Smart self-driving systems with side follow and obstacle avoidance

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9751210B2 (en) * 2014-11-26 2017-09-05 Irobot Corporation Systems and methods for performing occlusion detection
CN114627664A (zh) * 2016-08-26 2022-06-14 松下电器（美国）知识产权公司 三维信息处理方法以及三维信息处理装置
CN108535753A (zh) * 2018-03-30 2018-09-14 北京百度网讯科技有限公司 车辆定位方法、装置及设备
CN109895825B (zh) * 2019-03-22 2020-09-04 灵动科技（北京）有限公司 自动运输装置
CN111079607A (zh) * 2019-12-05 2020-04-28 灵动科技（北京）有限公司 具有追踪功能的自动驾驶***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105074602A (zh) * 2013-03-29 2015-11-18 株式会社日立产机*** 位置识别装置和具有该位置识别装置的移动机器人
CN104482934A (zh) * 2014-12-30 2015-04-01 华中科技大学 一种多传感器融合的超近距离自主导航装置与方法
CN108351654A (zh) * 2016-02-26 2018-07-31 深圳市大疆创新科技有限公司 用于视觉目标跟踪的***和方法
CN107223275A (zh) * 2016-11-14 2017-09-29 深圳市大疆创新科技有限公司 多路传感数据融合的方法和***
US10310506B1 (en) * 2018-07-20 2019-06-04 Lingdong Technology (Beijing) Co. Ltd Smart self-driving systems with side follow and obstacle avoidance

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021109890A1 (zh) * 2019-12-05 2021-06-10 灵动科技（北京）有限公司 具有追踪功能的自动驾驶***
CN117825408A (zh) * 2024-03-05 2024-04-05 北京中科蓝图科技有限公司 道路的一体化检测方法、装置及设备

Also Published As

Publication number Publication date
WO2021109890A1 (zh) 2021-06-10
US20210173407A1 (en) 2021-06-10

Similar Documents

Publication Publication Date Title
WO2021109890A1 (zh) 具有追踪功能的自动驾驶***
US11312030B2 (en) Self-driving vehicle system with steerable camera and indicator
US20200000193A1 (en) Smart luggage system
US11625046B2 (en) Self-driving systems
US8890657B2 (en) System and method for operating an RFID system with head tracking
CN113163918A (zh) 具有库存承载台车的自动驾驶***
CN110573980B (zh) 具有rfid读取器和内置打印机的自动驾驶***
JP2022514157A (ja) 人間相互作用無人搬送車
KR20200018217A (ko) 이동 로봇, 이동 로봇 시스템 및 이동 로봇의 충전대 이동 방법
WO2019187816A1 (ja) 移動体および移動体システム
US20210368952A1 (en) Smart luggage system with ultra-wideband based target tracking system
US20210208589A1 (en) Self-driving systems and methods
EP4026666A1 (en) Autonomous moving device and warehouse logistics system
US11537137B2 (en) Marker for space recognition, method of moving and lining up robot based on space recognition and robot of implementing thereof
CN112930503B (zh) 用于自驱动车辆的手动方向控制装置
US11358274B2 (en) Autonomous mobile robot with adjustable display screen
JPWO2019069921A1 (ja) 移動体
WO2022247425A1 (zh) 自主移动叉车及仓库管理***
KR20210008903A (ko) 인공지능 이동 로봇 및 이의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination