CN111966114A - 递送车辆的放下地点规划 - Google Patents
递送车辆的放下地点规划 Download PDFInfo
- Publication number
- CN111966114A CN111966114A CN202010781726.9A CN202010781726A CN111966114A CN 111966114 A CN111966114 A CN 111966114A CN 202010781726 A CN202010781726 A CN 202010781726A CN 111966114 A CN111966114 A CN 111966114A
- Authority
- CN
- China
- Prior art keywords
- drop point
- target drop
- virtual model
- target
- delivery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012384 transportation and delivery Methods 0.000 title claims abstract description 409
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000004044 response Effects 0.000 claims abstract description 12
- 238000013507 mapping Methods 0.000 claims description 72
- 239000003550 marker Substances 0.000 claims description 10
- 238000002379 ultrasonic velocimetry Methods 0.000 description 149
- 238000004891 communication Methods 0.000 description 20
- 230000007246 mechanism Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 230000009466 transformation Effects 0.000 description 11
- 241001522301 Apogonichthyoides nigripinnis Species 0.000 description 9
- 230000001012 protector Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 239000003381 stabilizer Substances 0.000 description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000004807 localization Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000010079 rubber tapping Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/042—Control of altitude or depth specially adapted for aircraft
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/18—Stabilised platforms, e.g. by gyroscope
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/06—Rate of change of altitude or depth
- G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
- G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
- G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
- G05D1/1062—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones specially adapted for avoiding bad weather conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0004—Transmission of traffic-related information to or from an aircraft
- G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
- G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
- G08G5/0026—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located on the ground
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/0047—Navigation or guidance aids for a single aircraft
- G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
- G08G5/02—Automatic approach or landing aids, i.e. systems in which flight data of incoming planes are processed to provide landing data
- G08G5/025—Navigation or guidance aids
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
- B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/25—Fixed-wing aircraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/60—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons
- B64U2101/64—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons for parcel delivery or retrieval
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Economics (AREA)
- Mathematical Optimization (AREA)
- Development Economics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Data Mining & Analysis (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
示例方法可以包括使客户端设备呈现指示递送目的地的物理特征的虚拟模型,该物理特征包括递送目的地的区域中的物体之间的三维关系;从客户端设备接收指定递送目的地的区域的虚拟模型内的物体的目标放下点的数据;至少基于指定目标放下点的数据和虚拟模型,确定递送车辆是否能够将物体递送到目标放下点;以及响应于确定递送车辆能够将物体递送到目标放下点,提供指令以使得递送车辆导航到目标放下点以将物体放置在目标放下点。
Description
本申请是申请日为2017年9月18日、申请号为201780076489.2、发明名称为“递送车辆的放下地点规划”的发明专利申请的分案申请。
技术领域
本公开涉及递送车辆的放下地点规划。
背景技术
无人驾驶车辆(其也可以被称为自主车辆)是能够在没有物理存在的操作人员的情况下行驶的车辆。无人驾驶车辆可以在远程控制模式、自主模式或部分自主模式下操作。
当无人驾驶车辆以遥控模式操作时,位于远程地点的导航员或驾驶员可以通过经由无线链路传送到无人驾驶车辆的命令来控制无人驾驶车辆。当无人驾驶车辆以自主模式操作时,无人驾驶车辆通常基于预编程的导航航路点、动态自动化***、或它们的组合而移动。另外,一些无人驾驶车辆可以既在远程控制模式操作又在自主模式下操作,并且在一些情况下可以同时这样做。例如,远程导航员或驾驶员可能希望在手动执行另一任务(诸如操作机械***以拾取或放下物体,作为示例)时将导航留给自主***。
针对不同的环境存在各种类型的无人驾驶车辆。例如,存在用于在空中、地面、水下和空间中操作的无人驾驶车辆。示例包括四轮直升机和尾随式无人机等。对于有可能进行多环境操作的混合操作,也存在无人驾驶车辆。混合无人驾驶车辆的示例包括能够在陆地上以及在水上操作的两栖飞行器,或者能够着陆在水上以及陆地上的水上飞机。其它示例也是可能的。
发明内容
示例实施例包括用于将物体(例如,包裹)递送到递送目的地内的目标放下点的***和操作。客户端计算设备(例如,电话、平板电脑、或配备有或可连接到传感器的其它计算设备)可以用于收集表示递送目的地的第一区域的传感器数据。可以根据传感器数据构造第一虚拟模型,并且客户端计算设备可以用于通过将目标标记放置在第一虚拟模型中来指定递送目的地内的目标放下点。响应于包裹递送的请求,可以将无人驾驶递送车辆与包裹一起调度到递送目的地。在到达递送目的地的大致附近时,递送车辆可以开始收集传感器数据以定位递送目的地内的目标放下点。特别地,可以根据递送车辆的传感器数据生成递送目的地的第二区域的第二虚拟模型。可以在第一和第二虚拟模型中表示的物理特征之间确定映射,以确定第一和第二虚拟模型之间的重叠区域。重叠区域可以用于使第一模型与第二模型对准,从而确定目标放下点在第二虚拟模型内的位置,如递送车辆所感知的。因而,递送车辆然后可以被导航到目标放下点以将包裹放置在目标放下点。
在一个示例中,提供了一种方法,该方法包括从客户端计算设备接收对于递送目的地的第一区域的第一虚拟模型内物体的目标放下点的指示。第一虚拟模型表示递送目的地的第一区域的第一物理特征。该方法还包括从递送车辆上的一个或多个传感器接收指示递送目的地的第二区域的传感器数据。该方法还包括基于传感器数据确定递送目的地的第二区域的第二虚拟模型。第二虚拟模型表示递送目的地上的第二区域的第二物理特征。该方法还包括确定第一物理特征中的一个或多个与第二物理特征中的一个或多个之间的映射,以确定第一虚拟模型和第二虚拟模型之间的重叠区域。该方法还包括基于重叠区域确定第二虚拟模型内的目标放下点的位置。最后,该方法包括基于第二虚拟模型内目标放下点的位置,提供将递送车辆导航到目标放下点以将物体放置在目标放下点的指令。
在另一示例中,提供了一种***,该***包括递送车辆、连接到递送车辆的一个或多个传感器,以及控制***。控制***被配置为接收对于递送目的地的第一区域的第一虚拟模型内物体的目标放下点的指示。第一虚拟模型表示递送目的地的第一区域的第一物理特征。控制***还被配置为从一个或多个传感器接收指示递送目的地的第二区域的传感器数据。控制***还被配置为基于传感器数据确定递送目的地的第二区域的第二虚拟模型。第二虚拟模型表示递送目的地上的第二区域的第二物理特征。控制***还被配置为确定第一物理特征中的一个或多个与第二物理特征中的一个或多个之间的映射,以确定第一虚拟模型和第二虚拟模型之间的重叠区域。控制***还被配置为基于重叠区域确定第二虚拟模型内的目标放下点的位置。最后,控制***被配置为基于第二虚拟模型内目标放下点的位置,提供将递送车辆导航到目标放下点以将物体放置在目标放下点的指令。
在附加示例中,提供了一种非瞬态计算机可读存储介质,其上存储有指令,当所述指令由计算设备执行时,使计算设备执行操作。操作包括从客户端计算设备接收对于递送目的地的第一区域的第一虚拟模型内物体的目标放下点的指示。第一虚拟模型表示递送目的地的第一区域的第一物理特征。操作还包括从递送车辆上的一个或多个传感器接收指示递送目的地的第二区域的传感器数据。操作还包括基于传感器数据确定递送目的地的第二区域的第二虚拟模型。第二虚拟模型表示递送目的地上的第二区域的第二物理特征。操作还包括确定第一物理特征中的一个或多个与第二物理特征中的一个或多个之间的映射,以确定第一虚拟模型和第二虚拟模型之间的重叠区域。操作还包括基于重叠区域确定第二虚拟模型内的目标放下点的位置。最后,操作包括基于第二虚拟模型内目标放下点的位置,提供将递送车辆导航到目标放下点以将物体放置在目标放下点的指令。
在另一示例中,提供了一种***,该***包括用于从客户端计算设备接收对于递送目的地的第一区域的第一虚拟模型内物体的目标放下点的指示的装置。第一虚拟模型表示递送目的地的第一区域的第一物理特征。该***还包括用于从递送车辆上的一个或多个传感器接收指示递送目的地的第二区域的传感器数据的装置。该***还包括用于基于传感器数据确定递送目的地的第二区域的第二虚拟模型的装置。第二虚拟模型表示递送目的地上的第二区域的第二物理特征。该***还包括用于确定第一物理特征中的一个或多个与第二物理特征中的一个或多个之间的映射以确定第一虚拟模型和第二虚拟模型之间的重叠区域的装置。该***还包括用于基于重叠区域确定第二虚拟模型内的目标放下点的位置的装置。最后,该***包括用于基于第二虚拟模型内的目标放下点的位置,提供将递送车辆导航到目标放下点以将物体放置在目标放下点的指令的装置。
前述发明内容仅仅是说明性的,并不旨在以任何方式进行限制。除了以上描述的说明性方面、实施例和特征之外,通过参考附图和以下详细描述以及附图,其它方面、实施例和特征将变得显而易见。
附图说明
图1A图示了根据示例实施例的无人驾驶飞行器。
图1B图示了根据示例实施例的无人驾驶飞行器。
图1C图示了根据示例实施例的无人驾驶飞行器。
图1D图示了根据示例实施例的无人驾驶飞行器。
图1E图示了根据示例实施例的无人驾驶飞行器。
图2图示了根据示例实施例的无人递送车辆的组件的框图。
图3是图示根据示例实施例的无人递送车辆***的简化框图。
图4图示了根据示例实施例的示例流程图。
图5A、图5B和图5C图示了根据示例实施例的捕获表示递送目的地的传感器数据的客户端计算设备。
图6图示了根据示例实施例的在递送目的地的示例虚拟模型内的目标放下点的示例指定。
图7A图示了根据示例实施例的扫描递送目的地的递送车辆。
图7B图示了根据示例实施例的递送目的地的虚拟模型的另一示例。
图8A图示了根据示例实施例的两个虚拟模型之间的示例映射。
图8B图示了根据示例实施例的通过递送车辆将物体递送到递送目的地内的目标放下点。
图9图示了根据示例实施例的示例虚拟模型。
具体实施方式
以下详细描述参考附图描述所公开的设备、***和方法的各种特征和操作。本文描述的说明性设备、***和方法实施例不意味着是限制性的。应当理解的是,词语“示例性”、“示例”和“说明性”在本文中用于表示“用作示例、实例或说明”。本文中描述为“示例性”、“示例”或“说明性”的任何实现、实施例或特征不必被解释为比其它实现、实施例或特征更优选或更具优势。另外,如本文中一般性描述并在附图中示出的本公开的各方面可以以各种不同的配置来布置、替换、组合、分离和设计。
在以下详细描述中,参考构成其一部分的附图。在附图中,除非上下文另有指示,否则类似的符号通常识别类似的组件。在不脱离本文提出的主题的精神或范围的情况下,可以利用其它实施例,并且可以进行其它改变。另外,除非另有说明,否则附图未按比例绘制并且仅用于说明目的。而且,这些图仅仅是代表性的,并且未示出所有组件。例如,可能未示出附加的结构或约束组件。
I.概述
包裹递送服务当前依赖于人类递送员使用他们的判断和直觉来找到递送目的地(例如,家庭或工作地址)并且在递送目的地处选择在递送时放置包裹的地点(例如,前廊、侧门等)。随着包裹递送服务开始采用无人递送车辆,包裹收件人可以更多地控制何时递送包裹、递送包裹的递送目的地,以及在递送时放置包裹的地点。例如,除了现有的送到家或工作地点的范例之外,可以安排无人递送车辆在用户指定的精确时间将包裹递送到除收件人家以外的地点(例如,当前用户地点,诸如咖啡馆、餐馆、健身房等)。此外,收件人可以能够为包裹指定精确的目标放下点。例如,收件人可以指定包裹不会有被盗风险也不会阻挡门或人行道的地方。
在示例实施例中,客户端计算设备(例如,电话、平板电脑或配备有或可连接到传感器的其它计算设备)可以用于指定递送目的地内的包裹的目标放下点(即,目标点可以是递送目的地的更小子集)。具体而言,包裹收件人可以使用客户端计算设备来捕获将要递送包裹的递送目的地的区域的视频或照片。例如,收件人可以捕获收件人家庭的前廊的视频或一系列照片。每个照片或视频帧可以与来自客户端计算设备上或连接到该客户端计算设备的传感器(诸如陀螺仪、磁力计、加速度计和全球定位***(GPS)模块)的附加传感器数据相关联。
捕获的数据可以用于生成表示包裹将被递送到的递送目的地的区域的虚拟模型。虚拟模型可以包含递送目的地的物理特征的表示(例如,树木、灌木丛、窗户、门、楼梯、邻近家庭等)。可以通过客户端计算设备的用户界面显示虚拟模型,并且可以提示用户指定虚拟模型内的目标放下点。
客户端计算设备可以接收指示选择或指定虚拟模型内的点的的输入。例如,可以通过在虚拟模型内的指定点处显示“靶心”目标标记来可视化该指定。目标标记在虚拟模型内的地点可以指示在递送时用户优选放下包裹的物理地点。标记可以在虚拟模型内移动,并且可以“捕捉”到模型内表示的表面。在一些实施例中,可以在生成模型之前直接在捕获图像或视频帧中的一个或多个内指定目标放下点。基于每个图像内的目标放下点指定,模型生成的操作可以确定虚拟模型内的目标放下点的位置。
在标记放置时,可以执行验证以确定递送车辆是否能够导航到目标放下点以及基于预计的包裹尺寸和形状预期包裹是否适合和/或安全地放在目标放下点。
在一些情况下,虚拟模型可以从之前的包裹递送到所选择的递送目的地得到。因而,可以省略用于生成虚拟模型的操作,并且用户可以继续指定现有模型内的目标放下点或者在模型内选择先前指定的目标放下点。
虚拟模型和模型内的目标放下点的指示可以被发送到服务器设备、递送车辆,和/或可以本地存储在客户端计算设备上。可以调度递送车辆(例如,空中无人机、地面车辆、水基车辆、或其混合动力车)以将所请求的包裹递送到递送目的地。递送车辆可以基于GPS信息导航到递送目的地的大致附近。当递送车辆到达递送目的地的GPS坐标的阈值距离内时,GPS信息可能缺乏允许将车辆导航到递送目的地内的目标放下点的必要准确性。
因而,递送车辆可以开始从递送车辆上的传感器(例如,相机、深度传感器、光检测和测距(LIDAR)设备、加速度计、磁力计、陀螺仪等)捕获传感器数据以生成车辆将用于定位和导航到目标放下点的第二虚拟模型。递送车辆可以包括客户端计算设备上包括的一些或全部传感器。此外,递送车辆可以包括辅助车辆导航并且可以用于生成第二虚拟模型的附加传感器(例如,在飞行器的情况下是高度计)。
可以基于来自递送车辆的传感器数据生成第二虚拟模型。可以确定第一虚拟模型(例如,用户指定的模型)和第二虚拟模型之间的物理特征的表示的映射。该映射可以用于确定第一模型和第二模型之间的重叠区域。换句话说,该映射可以用于在空间上将第二模型与第一模型对准,以识别两个模型共有的递送目的地的区域。在一些实施例中,可以通过直接比较第一模型与第二模型来确定该映射。可替代地,可以通过将第一模型和第二模型中的每一个与表示递送目的地周围的地理区域的主虚拟模型进行比较来确定映射。基于重叠区域,***可以确定第二虚拟模型内的目标放下点的位置。
在一些情况下,在确定完整的第二模型之前,第二模型的初始部分可能尚未表示包含目标放下点的递送目的地的区域。但是,第二模型可以与第一模型的不表示目标放下点的部分重叠。基于这种重叠/对准,递送车辆的控制***可以确定导航车辆以扫描估计包含目标放下点的环境区域。作为响应,可以扩展和更新第二模型以表示包含目标放下点的区域,并且基于模型之间的映射,可以确定第二虚拟模型内的目标放下点的位置。
在一些情况下,由于GPS定位错误,递送车辆可以最初扫描递送目的地旁边的区域,该区域不与由客户端计算设备的用户扫描的递送目的地的区域重叠。因而,***可能无法确定映射并且可能使得递送车辆继续***地扫描递送车辆附近的其它区域,直到发现与用户指定的区域(例如,由第一虚拟模型表示的区域)重叠的区域。
可替代地或附加地,可以使用主虚拟模型或映射来确定第一和第二虚拟模型之间的映射。即,可以确定主模型与第一和第二模型中的每一个之间的映射。所确定的映射可以用于在主模型内定位第一和第二模型中的每一个,从而确定第二模型相对于第一模型的地理定位。因而,代替***地扫描该区域以找到重叠区域,***可以使用主模型来确定沿着其导航递送车辆以在该区域中定位递送目的地和目标放下点的方向或轨迹。在沿着所确定的轨迹导航时,递送车辆可以扫描递送目的地的部分以建立第二虚拟模型来表示第二虚拟模型内的目标放下点。因此,基于第一和第二模型的相对地理定位,***可以定位第二虚拟模型内的目标放下点。
可以基于先前生成的当前递送目的地周围的地理区域内的各个递送目的地的虚拟模型来生成和更新主模型。在一些示例中,当不能在第一和第二虚拟模型之间直接确定映射时,主模型可以用作备份。特别地,当控制***不能将由递送车辆扫描的区域映射到由客户端计算设备扫描的环境时,***可以尝试将这两个区域都映射到围绕递送目的地的地理地点的主模型。成功的映射可以允许***确定由客户端计算设备扫描的区域与由递送车辆扫描的区域之间的相对空间定位。因此,***可以确定导航递送车辆以找到递送目的地的方向。
例如,由于GPS错误,递送车辆可能最初扫描递送目的地以东的房屋。***可能无法将被扫描房屋的物理特征映射到客户端计算设备指定的区域内的物理特征。然而,可以确定被扫描房屋的物理特征与表示被扫描房屋的主模型的一部分之间的映射。因而,***可以确定递送车辆在递送目的地的东边太远并且可以使得递送车辆向西导航。因此,可以成功地扫描递送目的地,并且可以确定第一和第二虚拟模型之间的映射。可替代地,在一些实施例中,主模型可以在映射操作中连续使用。
无论是否采用主模型,第一和第二模型之间的映射和重叠区域都可以用于确定第二虚拟模型内的目标放下点的位置。目标放下点的位置可以用于确定递送车辆与目标放下点之间的相对空间定位。因此,如包裹收件人所请求的,可以将递送车辆导航到目标递送地点以将包裹放置在目标递送点。在一些实施例中,操作人员可以远程控制递送车辆并且可以将车辆导航到目标放下点。可以向操作人员呈现视觉提示,该视觉提示指示***期望递送目的地和目标放下点的位置。因此,本文描述的操作可以用于帮助操作人员在导航递送车辆时做出决策。此外,本文描述的操作可以被本地化或分布在客户端计算设备、远程服务器设备和递送车辆的任何组合之间。
另外,在一些实施例中,递送车辆可以由与递送员相关联的第二客户端计算设备代替。代替导航递送车辆,本文描述的操作可以用于将递送员引导到包裹收件人指定的目标递送点。即,第二客户端计算设备可以显示视觉提示以引导递送员扫描递送目的地以生成第二模型。一旦生成了第二模型,就可以确定目标放下点的位置,并且可以由第二客户端计算设备将其显示为虚拟-实际标记,以向递送员指示放置包裹的位置。例如,第二计算设备可以显示来自设备的相机的实时视频馈送,并且当相机在目标放下点上平移时,可以在视频馈送中显示指示目标放下点的标记。因而,包裹可以由递送员放置在更安全和/或更方便的地点。
II.示例无人驾驶递送车辆***
在本文中,术语“无人驾驶递送车辆”和“UDV”是指能够在没有物理存在的人类导航员的情况下执行一些功能的任何自主或半自主车辆。
UDV可以采取各种形式。UDV可以是地面车辆、飞行器、水上车辆、或多地形混合动力车。例如,地面UDV可以采取地面车辆的形式,其包括适于通过车轮、轨道或支腿进行地面移动的基座。地面UDV可以包括机器人臂以允许UDV将有效载荷移动到UDV和从UDV移动有效载荷。在另一示例中,空中UDV可以采取固定翼飞机、滑翔机、尾翼飞机、喷气式飞机、管道风扇飞机、轻于空气的飞船(诸如飞艇或可操纵的气球)、旋翼飞行器(诸如直升机或多旋翼飞行器),和/或鸟类飞行器等形式,以及其它可能的形式。另外,术语“无人机”、“无人驾驶飞行器”(UAV)、“无人驾驶飞行器***”(UAVS)或“无人驾驶航空***”(UAS)也可以用于指UDV。在另一示例中,水基UDV可以采取船、气垫船或潜水艇的形式,以及其它可能性。
图1A图示了根据示例实施例的UAV的简化俯视图。特别地,图1A示出了固定翼UAV100的示例,其还可以被称为飞机(airplane)、航天飞机(aeroplane)、双翼飞机、滑翔机或飞机(plane)、以及其它可能性。固定翼UAV 100,顾名思义,具有固定翼102,其基于机翼形状和车辆的前空速生成升力。例如,两个翼102可以具有翼型(airfoil)形状的横截面,以在UAV 100上产生空气动力。
如所描绘的,固定翼UAV 100可以包括翼体104而不是明确限定的机身。翼体104可以包含例如控制电子器件,诸如惯性测量单元(IMU)和/或电子速度控制器、电池、其它传感器和/或有效载荷,以及其它可能性。说明性的UAV 100还可以包括起落架(未示出)以辅助受控的起飞和着陆。在其它实施例中,没有起落架的其它类型的UAV也是可能的。
UAV 100还包括推进单元106,推进单元106可以各自包括马达、轴和螺旋桨,用于推进UAV 100。垂直稳定器108(或翅片)也可以附连到翼体104和/或机翼102,以在飞行期间稳定UAV的偏航(即,左转或右转)。在一些实施例中,UAV 100还可以被配置为用作滑翔机。为此,UAV 100可以关闭其马达、推进单元等,并滑翔一段时间。
在飞行期间,UAV 100可以通过控制其俯仰、侧倾、偏航和/或高度来控制其移动的方向和/或速度。例如,垂直稳定器108可以包括用于控制UAV偏航的一个或多个方向舵,并且机翼102可以包括用于控制UAV俯仰的一个或多个升降机和/或用于控制UAV侧倾的一个或多个副翼。作为另一示例,同时增加或减小所有螺旋桨的速度可以导致UAV 100分别增加或减小其高度。
类似地,图1B示出了固定翼UAV 120的另一示例。固定翼UAV 120包括机身122、具有翼型横截面以便为UAV 120提供升力的两个翼124、稳定飞机的偏航(即,左转或右转)的垂直稳定器126(或翅片),稳定俯仰(向上或向下倾斜)的水平稳定器128(也称为升降机或水平尾翼)、起落架130以及推进单元132,推进单元132可以包括马达、轴和螺旋桨。
图1C示出了具有推进器配置的螺旋桨的UAV 140的示例。术语“推进器”是指推进单元142安装在UAV的后部并且“推动”车辆向前的事实,与推进单元安装在UAV的前部相反。类似于针对图1A和图1B提供的描述,图1C描绘了在推进器平面中使用的常见结构,包括机身144、两个翼146、垂直稳定器148和推进单元142,推进单元142可以包括马达、轴和螺旋桨。
图1D示出了尾部保护器UAV 160的示例。在所示的示例中,尾部保护器UAV 160具有固定翼162以提供升力并允许UAV 160水平滑动(例如,沿着x轴,在大致垂直于图1D中所示的位置的位置)。此外,固定翼162还允许尾部保护器UAV 160垂直起飞和着陆。
例如,在发射站点,尾部保护器UAV 160可以垂直定位(如图所示),其翅片164和/或翼162搁置在地面上并使UAV 160稳定在垂直位置。然后,尾部保护器UAV 160可以通过操作其螺旋桨166以生成向上的推力(例如,一般而言沿着y轴的推力)而起飞。一旦处于合适的高度,尾部保护器UAV 160就可以使用其襟翼(flap)168在水平位置重新定向,使得其机身170更靠近与x轴对准而不是与y轴对准。通过水平定位,螺旋桨166可以提供向前的推力,使得尾部保护器UAV 160可以以与典型飞机类似的方式飞行。
所示固定翼UAV的许多变体是可能的。例如,固定翼UAV可以包括更多或更少的螺旋桨,和/或可以使用管道风扇或多个管道风扇用于推进。另外,具有更多机翼(例如,具有四个机翼的“x翼”配置),具有更少机翼或甚至没有机翼的UAV也是可能的。
如上所述,除固定翼UAV之外或作为其替代,一些实施例可以涉及其它类型的UAV。例如,图1E示出了旋翼飞行器的示例,其通常被称为多轴直升机180。多轴直升机180也可以被称为四轴直升机,因为它包括四个转子182。应当理解的是,示例实施例可以涉及具有比多轴直升机180更多或更少转子的旋翼飞行器。例如,直升机通常具有两个转子。具有三个或更多个转子的其它示例也是可能的。在本文中,术语“多轴直升机”是指具有两个以上转子的任何旋翼飞行器,术语“直升机”是指具有两个转子的旋翼飞行器。
更详细地参考多轴直升机180,四个转子182为多轴直升机180提供推进和可操纵性。更具体地,每个转子182包括附接到马达184的叶片。通过如此配置,转子182可以允许多轴直升机180垂直起飞和降落,在任何方向上操纵和/或悬停。另外,叶片的桨距可以作为一组和/或有区别地调整,并且可以允许多轴直升机180控制其俯仰、侧倾、偏航和/或高度。
应当理解的是,本文对“无人驾驶”递送车辆或UDV的引用可以同样适用于自主和半自主车辆。在自主实现中,车辆的所有功能都是自动化的;例如,经由实时计算机功能预编程或控制,该实时计算机功能对来自各种传感器的输入和/或预定信息做出响应。在半自主实施方式中,车辆的一些功能可以由操作人员控制,而其它功能可以自主地执行。另外,在一些实施例中,UDV可以被配置为允许远程操作人员接管否则可以由UDV自主控制的功能。另外,给定类型的功能可以在一个抽象级别远程控制,并在另一个抽象级别自主执行。例如,远程操作人员可以诸如通过指定UDV应当从一个地点行进到另一个地点(例如,从郊区的仓库到附近城市的递送地址)来控制UDV的高级导航决策,而UDV的导航***自主控制更细粒度的导航决策(诸如两个地点之间要采取的具体路线、实现路线的具体飞行控制以及在导航路线时避开障碍物,等等)。
更一般而言,应当理解的是,本文描述的示例性UDV不旨在限制性的。示例实施例可以涉及任何类型的无人驾驶递送车辆、在任何类型的无人驾驶递送车辆中实施,或采取任何类型的无人驾驶递送车辆。
III.示例UDV组件
图2是图示根据示例实施例的无人驾驶递送车辆200的组件的简化框图。
UDV 200可以采取参考图1A-图1E描述的UDV 100、120、140、160、180和
190之一的形式或类似于此的形式。然而,UDV 200也可以采取其它形式。
UDV 200可以包括各种类型的传感器,并且可以包括被配置为提供本文描述的功能的计算***。在所示实施例中,UDV 200的传感器包括惯性测量单元(IMU)202、(一个或多个)超声传感器204和GPS 206,以及其它可能的传感器和感测***。
在所示实施例中,UDV 200还包括一个或多个处理器208。处理器208可以是通用处理器或专用处理器(例如,数字信号处理器、专用集成电路等等)。一个或多个处理器208可以被配置为执行计算机可读程序指令212,其被存储在数据存储装置210中并且可被执行以提供本文描述的UDV的功能。
数据存储装置210可以包括或采取可以由至少一个处理器208读取或访问的一个或多个计算机可读存储介质的形式。一个或多个计算机可读存储介质可以包括易失性和/或非易失性存储组件,诸如光学、磁性、有机或其它存储器或盘存储装置,其可以至少整体或部分地与一个或多个处理器208中的至少一个集成在一起。在一些实施例中,数据存储装置210可以使用单个物理设备(例如,一个光学、磁性、有机或其它存储器或盘存储单元)来实施,而在其它实施例中,数据存储装置210可以使用两个或更多个物理设备。
如所指出的,数据存储装置210可以包括计算机可读程序指令212和可能的附加数据,诸如UDV 200的诊断数据。照此,数据存储装置210可以包括程序指令212,以执行或促进本文描述的UDV功能中的一些或全部功能。例如,在所示实施例中,程序指令212包括导航模块214。
A.传感器
在说明性实施例中,IMU 202可以包括加速度计和陀螺仪两者,它们可以一起用于确定UDV 200的朝向。特别地,加速度计可以测量车辆相对于地球的朝向,而陀螺仪测量围绕轴的旋转速率。IMU 202可以采取小型化微电子机械***(MEMS)或纳米电子机械***(NEMS)的形式或者包括微型电子机械***(MEMS)或纳米电子机械***(NEMS)。也可以使用其它类型的IMU。
除了加速度计和陀螺仪之外,IMU 202还可以包括其它传感器,其可以帮助更好地确定位置和/或帮助增加UDV 200的自主性。这种传感器的两个示例是磁力计和压力传感器。在一些实施例中,UDV可以包括低功率、数字3轴磁力计,其可以用于实现与朝向无关的电子罗盘以获得准确的航向信息。然而,也可以使用其它类型的磁力计。其它示例也是可能的。另外,UDV可以包括一些或全部上述惯性传感器作为与IMU分开的组件。
UDV 200的空中实施例还可以包括压力传感器或气压计,其可以用于确定UDV 200的高度。可替代地,其它传感器(诸如声波测高仪或雷达高度计)可以用于提供高度指示,这可以有助于提高IMU的准确性和/或防止IMU的漂移。
在另一方面,UDV 200可以包括允许UDV感测环境中的物体的一个或多个传感器。例如,在所示实施例中,UDV 200包括(一个或多个)超声传感器204。(一个或多个)超声传感器204可以通过生成声波并确定波的传输和从物体接收对应的回波之间的时间间隔来确定到物体的距离。用于无人驾驶车辆的超声传感器的典型应用是障碍物避让以及,在飞行器的情况下,低水平高度控制。超声传感器也可以用于需要悬停在一定高度或需要能够探测障碍物的车辆。其它***可以用于确定、感测附近物体的存在和/或确定到附近物体的距离,诸如光检测和测距(LIDAR)***、激光检测和测距(LADAR)***、和/或红外或前视红外(FLIR)***,以及其它可能性。
在一些实施例中,UDV 200还可以包括(一个或多个)成像***。例如,UDV 200可以利用一个或多个静物相机和/或摄像机捕获来自UDV环境的图像数据。作为具体示例,电荷耦合器件(CCD)相机或互补金属氧化物半导体(CMOS)相机可以与无人驾驶车辆一起使用。这样的(一个或多个)成像传感器具有许多可能的应用,诸如障碍物避让、定位技术、用于更精确导航的地面跟踪(例如,通过将光流技术应用于图像)、视频反馈和/或图像识别和处理,以及其它可能的应用。
UDV 200还可以包括GPS接收器206。GPS接收器206可以被配置为提供众所周知的GPS***的典型的数据,诸如UDV 200的GPS坐标。UDV200可以将这种GPS数据用于各种功能。照此,UDV可以使用其GPS接收器206来帮助导航到所订购包裹的递送目的地,如至少部分地由与下包裹订单的用户相关联的移动设备提供的GPS坐标所指示的。其它示例也是可能的。
B.导航和地点确定
导航模块214可以提供允许UDV 200在其环境周围移动并到达期望地点(例如,递送目的地)的功能。为此,导航模块214可以控制UDV的机械特征。例如,在空中UDV中,导航模块214可以通过控制影响飞行的UDV的机械特征(例如,其(一个或多个)方向舵、(一个或多个)升降舵、(一个或多个)副翼和/或其(一个或多个)螺旋桨的速度)来控制飞行的高度和/或方向。在地面UDV中,导航模块可以通过控制驱动车轮或轨道的马达以及控制车辆转向的致动器来控制车辆速度和方向。
为了将UDV 200导航到期望的地点,导航模块214可以实施各种导航技术,诸如基于地图的导航和基于定位的导航。利用基于地图的导航,可以向UDV 200提供其环境的地图,然后可以使用该地图导航到地图上的特定地点。利用基于定位的导航,UDV 200能够使用本地化在未知环境中导航。基于定位的导航可以涉及UDV 200建立其自己的环境的地图并计算其在地图内的位置和/或环境中的物体的位置。例如,当UDV 200在其整个环境中移动时,UDV 200可以连续地使用本地化来更新其环境的地图。这种连续测绘处理可以被称为同时定位和测绘(simultaneous localization and mapping,SLAM)。也可以使用其它导航技术。
在一些实施例中,导航模块214可以使用依赖于航路点的技术来导航。特别地,航路点是识别物理空间中的点的坐标集。例如,空中导航航路点可以由某个纬度、经度和高度来定义。因而,导航模块214可以使UDV 200从航路点移动到航路点,以便最终行进到最终目的地(例如,航路点序列中的最终航路点)。
在另一方面,UDV 200的导航模块214和/或其它组件和***可以被配置用于“定位”以更精确地导航到大致目的地内的目标点。更具体地,在某些情况下,可能期望UDV在大致目的地中有效载荷220被UDV递送到的目标点的阈值距离内(例如,在递送目的地内的目标放下点)。为此,UDV可以使用双层方法,其中它使用更一般的地点确定技术来导航到与目标点相关联的大致目的地(例如,递送目的地)(例如,物体目标放下点),然后使用更精细的地点确定技术来识别和/或导航到大致目的地内的目标点。
例如,UDV 200可以导航到递送目的地的大致附近,其中使用航路点和/或基于地图的导航来递送有效载荷220。然后,UDV可以切换到UDV利用定位处理来定位并行进到递送目的地内的目标点的模式。例如,如果UDV 200要将有效载荷递送到用户的家中,那么UDV200可能需要基本上接近有效载荷的目标放下点,以避免将有效载荷递送到不期望的区域(例如,屋顶上、游泳池内、邻居的财产上等等)。然而,由于GPS***的固有准确度限制,GPS信号可以被限制为准确地将UDV 200引导到递送目的地的阈值距离内(例如,在用户家的街区内)。然后可以使用更精确的地点确定技术来找到在递送目的地的大致附近内的具体目标放下点。
一旦UDV 200已导航到递送目的地的大致附近,就可以使用各种类型的地点确定技术来实现目标点的定位。例如,UDV 200可以配备有一个或多个传感***,诸如例如超声传感器204、红外传感器(未示出)和/或其它传感器,这些传感器可以提供导航模块214用来自主或半自主地导航到具体目标点的输入。
作为另一示例,一旦UDV 200到达递送目的地(或者诸如人或其移动设备的移动主体)的大致附近,UDV 200就可以切换到“电控(fly-by-wire)”模式,其中至少部分地由远程操作人员控制,该远程操作人员可以将UDV 200导航到递送目的地内的目标放下点。为此,可以将来自UDV 200的传感数据发送到远程操作人员以辅助他们将UDV 200导航到目标放下点。
作为又一示例,UDV 200可以包括能够向路人发信号以辅助到达具体目标递送地点的模块。例如,UDV 200可以在图形显示器中显示请求这种辅助的可视消息和/或通过扬声器播放音频消息或音调以指示需要这种辅助,以及其它可能性。这种视觉或音频消息可以指示在将UDV 200递送到特定人或特定目的地时需要辅助,并且可能提供信息以辅助路人将UDV 200递送到人或地点(例如,人或地点的描述或图片),以及其它可能性。在UDV不能使用传感功能或另一地点确定技术到达递送目的地内的具体目标点的情况下,这样的特征会是有用的。然而,这个特征不限于此类场景。
在一些实施例中,一旦UDV 200到达递送目的地的大致附近,UDV 200就可以利用来自用户的远程设备(例如,用户的移动电话)的信标来定位该人。这种信标可以采取各种形式。作为示例,考虑这样的场景:远程设备(诸如请求UDV递送的人的移动电话)能够发送定向信号(例如,经由RF信号、光信号和/或音频信号)。在这种情况下,UDV 200可以被配置为通过“寻找这种定向信号的源”来导航-换句话说,通过确定信号最强的位置并相应地导航。作为另一示例,移动设备可以在人类范围内或在人类范围外发射频率,并且UDV 200可以监听那个频率并相应地导航。作为相关示例,如果UDV200正在监听口头命令,那么UDV200可以利用口头语句(诸如“我在这里!”)来寻找请求递送有效载荷的人的具***置的源。
在替代布置中,导航模块可以在远程计算设备处实施,该远程计算设备与UDV 200无线通信。远程计算设备可以接收指示UDV 200的操作状态的数据、来自UDV 200的允许其评估UDV 200正在经历的环境条件的传感器数据,和/或UDV 200的地点信息。通过提供有这样的信息,远程计算设备可以确定应当由UDV 200进行的高度和/或方向调整和/或可以确定UDV 200应当如何调整其机械特征(例如,其(一个或多个)轮子、(一个或多个)轨道、(一个或多个)腿、(一个或多个)舵、(一个或多个)升降舵、(一个或多个)副翼和/或其(一个或多个)螺旋桨的速度)以实现这种移动。然后,远程计算***可以将这种调整通信传达到UDV200,使得它可以以确定的方式移动。
C.通信***
在另一方面,UDV 200包括一个或多个通信***216。通信***216可以包括一个或多个无线接口和/或一个或多个有线接口,这些接口允许UDV200经由一个或多个网络进行通信。此类无线接口可以提供在一个或多个无线通信协议下的通信,诸如蓝牙、WiFi(例如,IEEE 802.11协议)、长期演进(LTE)、WiMAX(例如,IEEE 802.16标准)、射频ID(RFID)协议、近场通信(NFC)和/或其它无线通信协议。此类有线接口可以包括以太网接口、通用串行总线(USB)接口或类似的接口,以经由导线、双绞线、同轴电缆、光链路、光纤链路或到有线网络的其它物理连接进行通信。
在一些实施例中,UDV 200可以包括允许短程通信和远程通信的通信***216。例如,UDV 200可以被配置用于使用蓝牙的短距离通信以及用于CDMA协议下的远程通信。在这样的实施例中,UDV 200可以被配置为用作“热点”,或者换句话说,用作远程支持设备与一个或多个数据网络(诸如蜂窝网络和/或互联网)之间的网关或代理。通过如此配置,UDV200可以促进数据通信,否则远程支持设备将不能靠自己执行该数据通信。
例如,UDV 200可以提供到远程设备的WiFi连接,并且用作蜂窝服务提供商的数据网络的代理或网关,UDV可能在LTE或3G协议下连接到这种数据网络。除其它以外,UDV 200还可以用作尤其高空气球网络、卫星网络或这些网络的组合的代理或网关,远程设备否则可能无法访问这些网络。
D.电力***
在另一方面,UDV 200可以包括(一个或多个)电力***218。电力***218可以包括一个或多个电池,用于向UDV 200提供电力。在一个示例中,一个或多个电池可以是可再充电的,并且每个电池可以经由电池和电源之间的有线连接和/或经由无线充电***(诸如向内部电池应用外部时变磁场的感应充电***)再充电。
E.有效负载
UDV 200可以采用各种***和配置以便运输有效载荷220。在一些实施方式中,给定UDV 200的有效载荷220可以包括或采取被设计为将各种货物运输到目标递送地点的“包裹”的形式。例如,UDV 200可以包括隔间,其中可以运输一个或多个物品。这种包裹可以是一个或多个食品、购买的商品、医疗用品,或具有适于由UDV在两个地点之间运输的尺寸和重量的(一个或多个)任何其它物体。在其它实施例中,有效载荷220可以仅仅是正被递送的一个或多个物品(例如,没有容纳物品的任何包裹)。
在一些实施例中,有效载荷220可以附接到UDV并且在UDV的一些或全部行进路径期间基本上位于UDV外部。例如,在飞行到目标地点期间,包裹可以被栓系或以其它方式可释放地附接在空中UDV下方。在包裹在空中UDV下方携带货物的实施例中,包裹可以包括保护其内容免受环境影响、减少***上的空气动力学阻力、并防止包裹的内容在空中UDV飞行期间移位的各种特征。
例如,当有效负载220采取用于运输物品的包裹的形式时,包裹可以包括由防水纸板、塑料或任何其它轻质和防水材料构成的外壳。另外,为了在通过空中UDV运输时减小空气阻力(drag),包裹可以具有光滑表面,其具有尖锐的前部,这减小了正面横截面积。另外,包裹的侧面可以从宽底部到窄顶部逐渐变细,这允许包裹用作窄的挂架,其减少对UDV的(一个或多个)机翼的干扰影响。这可以使包裹的一些正面区域和体积远离UDV的机翼移动,从而防止由包裹引起的机翼上的升力减小。还有,在一些实施例中,包裹的外壳可以由单片材料构成,以便减少气隙或附加的材料,这两者都可以增加***上的空气阻力。附加地或可替代地,包裹可以包括稳定器以抑制包裹颤动。这种颤动的减少可以允许包裹到UDV的连接刚性较小,并且可以使得包裹的内容在飞行期间移位较少。
为了递送有效载荷,空中UDV可以包括可收缩的递送***,其在UDV悬停在上方时将有效载荷降低到地面。例如,UDV可以包括通过释放机构耦合到有效载荷的系绳。绞盘可以展开并缠绕系绳以降低和升高释放机构。释放机构可以被配置为在通过系绳从UDV降低时确保有效载荷并在到达地平面时释放有效载荷。然后可以通过使用绞盘卷绕系绳将释放机构缩回到UDV。
在一些实施方式中,一旦有效载荷220降低到地面,它就可以被动地释放。例如,被动释放机构可以包括适于缩回到壳体中和从壳体延伸的一个或多个摆臂。延伸的摆臂可以形成钩子,有效载荷220可以附接在该钩子上。在经由系绳将释放机构和有效负载220降低到地面时,重力以及释放机构上的向下惯性力可以使有效负载220从钩子上脱离,从而允许释放机构向上朝着空中UDV升高。释放机构还可以包括弹簧机机构,当摆臂上没有其它外力时,弹簧机构偏置摆臂以缩回到壳体中。例如,弹簧可以在摆臂上施加力,该力将摆臂推向或拉向壳体,使得一旦有效载荷220的重量不再迫使摆臂从壳体伸出,摆臂就缩回到壳体中。将摆臂缩回到壳体中可以降低释放机构在递送有效载荷220时朝着UDV升高释放机构时钩住有效载荷220或其它附近物体的可能性。
有源有效载荷释放机构也是可能的。例如,诸如基于气压的高度计和/或加速度计的传感器可以帮助检测释放机构(和有效载荷)相对于地面的位置。来自传感器的数据可以通过无线链路传送回空中UDV和/或控制***,并且用于帮助确定释放机构何时达到地平面(例如,通过检测利用加速度计的测量,该测量是地面影响的特性)。在其它示例中,空中UDV可以基于在降低有效载荷时重量传感器检测到系绳上的阈值低向下力和/或基于由绞盘汲取的功率的阈值低测量值而确定有效载荷已经到达地面。
除了栓系递送***之外或作为其替代,用于递送有效负载的其它***和技术也是可能的。例如,UDV 200可以包括气囊降落***或降落伞降落***。可替代地,携带有效载荷的UDV 200可以简单地在递送地点处着陆在地面上。其它示例也是可能的。
基于地面的UDV可以包括铰接式机器人臂,其可以用于将有效载荷移出UDV上的储藏室并将物体放置在递送目的地内的目标放下点处。
IV.示例UDV部署***
可以实施UDV***以便提供各种与UDV相关的服务。特别地,UDV可以在许多不同的发射站点提供,这些发射站点可以与区域和/或中央控制***通信。这种分布式UDV***可以允许快速部署UDV以在大的地理区域上提供服务(例如,比任何单个UDV的行进范围大得多)。例如,能够携带有效载荷的UDV可以分布在跨大地理区域(可能甚至遍及整个国家,或者甚至全世界)的多个发射站点,以便提供各种物品到整个地理区域的地点的按需运输。图3是图示根据示例实施例的分布式UDV***300的简化框图。
在说明性UDV***300中,接入***302可以允许与UDV 304的网络交互、控制和/或利用UDV 304的网络。在一些实施例中,接入***302可以是允许人为控制的UDV 304调度的计算***。照此,控制***可以包括或以其它方式提供用户界面,用户可以通过该用户界面访问和/或控制UDV 304。
在一些实施例中,UDV 304的调度可以附加地或替代地经由一个或多个自动化处理来完成。例如,接入***302可以调度UDV 304中的一个以将有效载荷运输到目标地点,并且UDV可以通过利用各种机载传感器(诸如GPS接收器和/或其它各种导航传感器)自主地导航到目标地点。
另外,接入***302可以提供UDV的远程操作。例如,接入***302可以允许操作人员经由其用户界面控制UDV的飞行。作为具体示例,操作人员可以使用接入***302将UDV304调度到递送目的地。然后,UDV 304可以自主地导航到递送目的地的大致附近。此时,操作人员可以使用接入***302来控制UDV 304并将UDV导航到递送目的地内的目标点(例如,用户指定的订购包裹的目标放下点)。UDV的远程操作的其它示例也是可能的。
在说明性实施例中,UDV 304可以采取各种形式。例如,UDV 304中的每一个可以是UDV,诸如图1A-图1E或图2中所示的那些UDV。但是,UDV***300还可以利用其它类型的UDV而不脱离本发明的范围。在一些实施方式中,所有UDV 304可以具有相同或相似的配置。但是,在其它实施方式中,UDV 304可以包括许多不同类型的UDV。例如,UDV 304可以包括多种类型的UDV(例如,地面UDV、空中UDV和水基UDV),其中每种类型的UDV被配置用于一种或多种不同类型的有效载荷递送能力。
UDV***300还可以包括远程设备306,其可以采取各种形式。一般而言,远程设备306可以是通过其可以进行调度UDV的直接或间接请求的任何设备。(要注意的是,间接请求可以涉及通过调度UDV而被响应的任何通信,诸如请求包裹递送)。在示例实施例中,远程设备306可以是移动电话、平板计算机、膝上型计算机、个人计算机或任何网络连接的计算设备。另外,在一些情况下,远程设备306可以不是计算设备。作为示例,允许经由普通老式电话服务(POTS)进行通信的标准电话可以用作远程设备306。其它类型的远程设备也是可能的。
另外,远程设备306可以被配置为经由一种或多种类型的(一个或多个)通信网络308与接入***302通信。例如,远程设备306可以通过POTS网络、蜂窝网络和/或诸如互联网的数据网络进行通信来与接入***302(或接入***302的操作人员)通信。也可以使用其它类型的网络。
在一些实施例中,远程设备306可以被配置为允许用户请求将一个或多个物品递送到期望地点。例如,用户可以经由他们的移动电话、平板电脑或膝上型电脑请求将UDV递送到他们的家中。作为另一示例,用户可以请求动态递送到在递送时他们所在的任何位置。为了提供这种动态传递,UDV***300可以从用户的移动电话或用户的任何其它设备接收地点信息(例如,GPS坐标等),使得UDV可以导航到用户的地点(如用他们的移动电话所指示的)。
在说明性布置中,中央调度***310可以是服务器或服务器组,其被配置为从接入***302接收调度消息请求和/或调度指令。这种调度消息可以请求或指示中央调度***310协调UDV到各种目标地点的部署。中央调度***310还可以被配置为将这种请求或指令路由到一个或多个本地调度***312。为了提供这种功能,中央调度***310可以经由数据网络(诸如互联网或为接入***和自动调度***之间的通信而建立的专用网络)与接入***302通信。
在所示配置中,中央调度***310可以被配置为协调来自多个不同的本地调度***312的UDV 304的调度。照此,中央调度***310可以跟踪哪些UDV 304位于哪些本地调度***312、哪些UDV 304当前可以用于部署,和/或每个UDV 304被配置用于哪些服务或操作(在UDV队包括为不同服务和/或操作配置的多种类型的UDV的情况下)。附加地或可替代地,每个本地调度***312可以被配置为跟踪其相关联的UDV 304中的哪些UDV当前可用于部署和/或当前处于物品运输中。
在一些情况下,当中央调度***310从接入***302接收对UDV相关服务(例如,物品的运输)的请求时,中央调度***310可以选择具体的UDV304来调度。因而,中央调度***310可以指示与所选择的UDV相关联的本地调度***312来调度所选择的UDV。然后,本地调度***312可以操作其相关联的部署***314以启动所选择的UDV。在其它情况下,中央调度***310可以将对UDV相关服务的请求转发到位于请求支持的地点附近的本地调度***312,并将特定UDV 304的选择留给本地调度***312。
在示例配置中,本地调度***312可以被实施为与其控制的(一个或多个)部署***314在相同地点的计算***。例如,本地调度***312可以由安装在建筑物(诸如仓库)的计算***实施,其中与特定的本地调度***312相关联的(一个或多个)部署***314和(一个或多个)UDV 304也位于此处。在其它实施例中,本地调度***312可以在远离其相关联的(一个或多个)部署***314和(一个或多个)UDV 304的地点处实施。
UDV***300的所示配置的许多变化和替代方案是可能的。例如,在一些实施例中,远程设备306的用户可以直接从中央调度***310请求递送包裹。为此,可以在远程设备306上实施应用,该应用允许用户提供关于所请求的递送的信息,并生成和发送请求UDV***300提供递送的数据消息。在这种实施例中,中央调度***310可以包括自动功能,以处理由这种应用生成的请求、评估此类请求,并且如果适当的话,与适当的本地调度***312协调以部署UDV。
另外,在本文中归属于中央调度***310、(一个或多个)本地调度***312、接入***302和/或(一个或多个)部署***314的一些或全部功能可以组合在单个***中、在更复杂的***中实施,和/或以各种方式在中央调度***310、(一个或多个)本地调度***312,接入***302和/或(一个或多个)部署***314之间重新分布。
另外,虽然每个本地调度***312被示为具有两个相关联的部署***314,但是给定的本地调度***312可以可替代地具有更多或更少相关联的部署***314。类似地,虽然中央调度***310被示为与两个本地调度***312通信,但是中央调度***310可以可替代地与更多或更少的本地调度***312通信。
在另一方面,部署***314可以采取各种形式。一般而言,部署***314可以采取用于物理地启动UDV 304中的一个或多个的***的形式或包括用于物理地启动UDV 304中的一个或多个的***。这种启动***可以包括提供自动UDV启动的特征和/或允许人工辅助UDV启动的特征。另外,部署***314每个都可以被配置为启动一个特定UDV 304,或者启动多个UDV 304。
部署***314还可以被配置为提供附加功能,包括例如诊断相关功能,诸如核实UDV的***功能、核实容纳在UDV内的设备(例如,有效载荷递送装置)的功能和/或维护容纳在UDV中的设备或其它物品(例如,通过监控有效载荷的状态,诸如其温度、重量等)。
在一些实施例中,部署***314及其对应的UDV 304(以及可能的相关联的本地调度***312)可以策略性地分布在诸如城市的整个区域中。例如,可以策略性地分布部署***314,使得每个部署***314接近一个或多个有效载荷拾取地点(例如,靠近餐馆、商店或仓库)。然而,取决于特定实施方式,部署***314(以及可能本地调度***312)可以以其它方式分布。作为附加的示例,允许用户经由UDV运输包裹的信息亭(kiosk)可以安装在各种地点。此类信息亭可以包括UDV启动***,并且可以允许用户提供他们的包裹以便装载到UDV上并支付UDV运货服务,以及其它可能性。其它示例也是可能的。
在另一方面,UDV***300可以包括或可访问用户账户数据库316。用户账户数据库316可以包括用于多个用户账户的数据,并且用户账户均与一个或多个人相关联。对于给定的用户账户,用户账户数据库316可以包括与提供UDV相关的服务有关或有用的数据。通常,与每个用户账户相关联的用户数据可选地由相关联的用户提供和/或利用相关联用户的许可收集。
另外,在一些实施例中,如果人们希望UDV 304从UDV***300提供与UDV相关的服务,那么可能需要人们向UDV***300注册用户账户。照此,用户账户数据库316可以包括给定用户账户的授权信息(例如,用户名和密码),和/或可以用于授权访问用户账户的其它信息。
在一些实施例中,人可以将他们的一个或多个设备与他们的用户账户相关联,使得他们可以访问UDV***300的服务。例如,当人使用相关联的移动电话,例如,向接入***302的操作人员发出呼叫或向调度***发送请求UDV相关服务的消息时,可以经由唯一设备标识号识别电话,然后呼叫或消息可以归属于相关联的用户账户。其它示例也是可能的。
V.示例物体递送操作
图4图示了可以由递送***(例如,UDV***)内的一个或多个计算设备执行以将物体(例如,包裹)递送到递送目的地内的目标放下点的操作的流程图400。在一个示例中,流程图400的操作可以由与递送车辆和客户端计算设备通信的服务器设备执行。可替代地,递送车辆的控制***可以被配置为执行流程图400的操作。在一些实施例中,流程图400的操作可以分布在一个或多个服务器设备、一个或多个递送车辆和一个或多个客户端计算设备之间。划分操作的方式可以基于与本文描述的操作相关联的通信带宽。
在示例中,递送目的地可以是请求递送物体的地理地点。递送目的地可以是例如请求递送物体的用户的住所。在其它示例中,递送目的地可以是用户的工作地点、属于用户的亲戚的住所、用户的当前地点、或用户的未来地点,以及其它可能性。此外,在示例中,目标放下点可以是递送目的地内的区域,请求和/或预期在将物体递送到递送目的地时将物体放置在该区域处。目标放下点的区域可以是递送目的地区域的子集。用户可以指定目标放下点以将包裹放置在用户认为安全和/或方便的地方。
在方框402中,可以从客户端计算设备接收物体的目标放下点的指示。该指示可以表示递送目的地的第一区域的第一虚拟模型内的点。第一虚拟模型可以表示递送目的地的第一区域的第一物理特征。在示例中,物理特征可以包括拓扑特征、植被、建筑物、建筑物的建筑和/或结构特征,以及包含在递送目的地的区域中、与其邻近或从其可观察到的其它物体。物体可以包含在盒子或其它包裹中,以由自主递送车辆递送到递送目的地。
可以基于从客户端计算设备上或连接到客户端计算设备的一个或多个传感器接收的传感器数据来生成第一虚拟模型。例如,用户可以使用客户端计算设备上的相机捕获递送目的地的第一区域的多个图像。每个图像可以与来自客户端计算设备上的一个或多个附加传感器(诸如例如GPS模块、磁力计、陀螺仪和加速度计)的附加传感器数据相关联。客户端计算设备可以将图像连同附加传感器数据一起发送到远程服务器,该远程服务器可以基于图像和附加传感器数据生成第一虚拟模型。可替代地,客户端计算设备可以被配置为在本地生成第一虚拟模型。
然后可以通过客户端计算设备的用户界面显示第一虚拟模型。客户端计算设备可以提示在第一虚拟模型内指定目标放下点。可以通过用户界面接收目标放下点的用户指定。具体地,用户可以使用手势(例如,触摸、点击、滚动等)在显示的虚拟模型内放置虚拟“靶心”标记以指定目标放下点。因此,用户可以选择用户认为对于包裹递送适合或安全的点。例如,用户可以指定将包裹放置在用户住所的前门旁边的包裹不会阻挡前门的地方。类似地,用户可以指定将包裹放置在用户住所的后院中、在上锁的门后面,而不是在用户住所的前面。
一旦接收到物体的目标放下点的指示,就可以调度无人驾驶递送车辆将物体递送到递送地点。递送车辆可以基于递送目的地的GPS坐标导航到递送目的地的阈值距离内(例如,在几米内)。为了定位递送目的地,并且更具体而言定位递送目的地内的目标放下点,递送车辆可以在进入递送目的地的阈值距离内之后依赖于附加的非GPS传感器数据。
因而,在方框404中,可以从递送车辆上的一个或多个传感器接收传感器数据。传感器数据可以指示递送目的地的第二区域。传感器可以包括相机、立体相机、深度传感器、LIDAR、加速度计、磁力计和陀螺仪等。在一些实施例中,递送车辆可以包括客户端计算设备上包括的、从中捕获传感器数据以生成第一虚拟模型的所有传感器。因而,可以将跨递送车辆的多个传感器的传感器读数与来自客户端计算设备上的相同类型的传感器的传感器读数进行比较。跨多个传感器比较传感器数据可以允许更高效地扫描递送目的地。例如,基于磁力计读数,递送车辆可以在扫描递送目的地时在针对第一虚拟模型的数据获取时将其自身定向在与客户端计算设备相同的方向上,从而增加扫描递送目的地的同一区域的概率。
在方框406中,可以基于传感器数据确定递送目的地的第二区域的第二虚拟模型。第二虚拟模型可以表示递送目的地的第二区域的第二物理特征。与第一虚拟模型一样,由第二虚拟模型表示的物理特征可以包括拓扑特征、植被、建筑物、以及包含在递送目的地的第二区域中或与其邻近或从其可观察到的其它物体。第二虚拟模型以及第一虚拟模型可以是三维(3D)模型,诸如点云、线框模型、表面模型或实体模型。可替代地,模型可以是二维的并且可以包括深度信息。另外,在一些实施例中,模型可以是表示递送目的地的多个图像的集合。
在方框408中,可以确定第一物理特征中的一个或多个与第二物理特征中的一个或多个之间的映射。特别地,映射可以在两个虚拟模型中表示的物理特征之间。该映射可以用于确定第一虚拟模型和第二虚拟模型之间的重叠区域。换句话说,映射可以在空间上使递送车辆对环境的感知与第一虚拟模型同步,以在第二虚拟模型内定位目标放下点。确定映射可以包括确定第一物理特征中的一个或多个与第二物理特征中的一个或多个之间的几何变换。在一些实施例中,可以迭代方框404、406和408的操作,直到找到重叠区域。具体而言,可以基于附加传感器数据扩展第二虚拟模型,直到在第一和第二虚拟模型之间找到具有足够高置信水平的映射。
在方框410中,可以基于重叠区域确定第二虚拟模型内的目标放下点的位置。特别地,如果包含目标放下点的递送目的地的区域尚未由第二虚拟模型表示,那么递送车辆可以获取表示包含目标放下点的递送目的地的区域的附加传感器数据。可以将确定的几何变换应用于第一虚拟模型内的目标放下点的坐标,以确定第二虚拟模型内的目标放下点的坐标。因此,可以在递送车辆对递送目的地的感知内确定目标放下点的位置。
在方框412中,基于第二虚拟模型内目标放下点的位置,可以提供将递送车辆导航到目标放下点以将物体放置在目标放下点处的指令。在一个示例中,机器学习算法可以用于规划路径,通过该路径将车辆导航到目标放下点以避让递送目的地内的障碍物、危险和/或其它环境特征。
VI.示例目标放下点指定操作
图5A、图5B和图5C图示了用于生成递送目的地的第一区域的第一虚拟模型的示例实施方式。可以基于来自客户端计算设备的传感器数据生成第一虚拟模型,该客户端计算设备用于订购包裹并请求将包裹递送到递送目的地内的目标放下点。可以生成第一虚拟模型以允许通过客户端计算设备的用户界面在递送目的地内指定目标放下点。第一虚拟模型可以附加地用作递送车辆的参考点。即,递送车辆可以将基于由递送车辆捕获的传感器数据生成的第二虚拟模型与第一虚拟模型进行比较,以相对于目标放下点定位递送车辆。
在一个示例中,客户端计算设备500(例如,智能电话)可以通过用户界面提示拍摄用户期望将一个或多个包裹递送和放下的递送目的地的区域(例如,家庭的前院、后院、阳台、露营地等)的图片,如图5A中所示。计算设备500还可以提示要拍摄递送目的地的附加图像,如图5B和图5C中所示,基于该附加图像可以生成更完整的模型。响应于该提示,用户可以平移计算设备的相机以捕获递送目的地内用户期望放下包裹的区域的附加图像。在一些实施例中,客户端计算设备可以捕获连续视频而不是离散图像。因而,计算设备可以提示将相机在递送目的地的期望区域上平移。
当离散地或者从视频流捕获连续图像时,该图像可以用于构建由图像表示的递送目的地的第一区域的第一虚拟模型。在一些实施例中,可以将图像发送到远程计算设备,该远程计算设备被配置为从图像生成虚拟模型。可替代地,客户端计算设备可以被配置为从本地图像生成模型。
每个图像可以与在图像捕获时由客户端计算设备获取的多个附加传感器数据相关联,诸如可以帮助确定位置和朝向的磁力计、陀螺仪和加速度计读数,其中从该位置和朝向捕获相应的图像。图像以及对应的附加传感器数据可以用于生成由图像表示的递送目的地的区域的模型。该模型可以是三维(3D)的,诸如例如点云模型、线框模型、壳模型或实体模型,以及其它可能性。可替代地,在一些实施例中,模型可以是二维(2D)的并且可以包括深度图。另外,模型可以是多个图像的集合,每个图像与对应的附加传感器数据相关联。另外,在一些实施例中,模型可以包括所有上面提到的模型类型。因而,可以通过找到多个映射来减少或最小化每种建模技术的错误和伪影对在第一和第二虚拟模型之间确定的映射的影响,每个映射基于不同的模型类型。
在构建模型时,客户端计算设备可以提示用户在递送目的地的第一区域的一部分上平移相机,对于该部分可能需要附加传感器数据来构建准确的模型。可替代地或附加地,计算设备可以提示用户步行到不同的地点以从不同的视角、位置和/或方向获取传感器数据。提示采取文本和/或箭头的形式,指示在哪个方向上移动或平移客户端计算设备以获取附加传感器数据。在一些实施例中,客户端计算设备可以显示模型生成过程的实时可视化或模拟。例如,随着虚拟模型的建立,在用户界面上(例如,在客户端计算设备的全屏取景器中)显示的物理特征可以由相应特征的虚拟表示代替,以向用户提供反馈。基于反馈,用户可以在环境的未被虚拟表示替换的部分上平移相机。
当递送目的地的第一区域的第一虚拟模型600完成时,可以通过客户端计算设备500的用户界面显示模型,如图6中所示。第一虚拟模型600可以包括在递送目的地的第一区域内的多个物理特征的虚拟表示(例如,递送目的地房屋602、相邻房屋601和604,窗户606、608、610、614、626、628、632、门612和630、植被620和622、大门618、楼梯616和634、走道624和人行道636)。在一些实施例中,虚拟模型可以将物理特征表示为点云、线框、表面和/或实体。可替代地,可以隐藏底层虚拟结构不让用户看到(但是仍然可以形成模型的一部分)。代替地,计算设备可能显示捕获的图像中的一个或多个,以向用户提供模型的更直观的表示。
客户端计算设备可以提示为递送目的地内的物体指定目标放下点。用户可以能够通过在所显示的虚拟模型600的区域上轻击来指示期望的目标放下点,以在那个地点处放置虚拟“靶心”标记640。例如,用户可以轻击区域638以将靶心640放置在区域638中。在递送时,所请求的物体将由递送车辆放置在靶心640的中心。
在一些实施例中,虚拟模型600可以通过用户界面的输入来导航,以允许改变显示模型的视角或朝向。通过虚拟模型600的导航可以允许以更高的准确度选择目标放下点。在一些示例中,靶心640的尺寸可以与订购用于递送的物体的尺寸成比例和/或可以类似于物体的形状(例如,当所请求的物体被打包在矩形盒子中时,靶心可以是矩形的)。动态靶心尺寸和形状可以帮助确定递送目的地内的指定目标放下点是否适合接收所请求的物体。
附加地或可替代地,一旦在虚拟模型内指定了靶心目标,***就可以确定指定的目标放下点是否适合于所请求的物体的尺寸以及递送车辆是否能够到达目标放下点。例如,基于地面的递送车辆可能无法递送到只能通过横穿楼梯到达的目标放下点。飞行器可能无法递送到无法提供足够空中间隙的目标放下点。
在一些情况下,用户可以省略捕获图像以确定递送目的地的一部分的虚拟模型。特别地,虚拟模型可能已经可用于用户请求递送物体的递送目的地的部分。因此,计算设备可以显示可用的虚拟模型以允许指定虚拟模型内的目标放下点或者从一个或多个先前指定的目标放下点中选择目标放下点。另外,在一些实施例中,客户端计算设备可以提示用户指定一个或多个附加的“备份”目标放下地点。当主要目标放下地点已经被包裹或障碍物占据时或者当递送车辆不能定位或到达主要目标放下点时,可以将包裹放置在备用目标放下地点。
Ⅶ.示例递送车辆引导操作
响应于物体/包裹递送的请求,递送服务可以将具有所请求物体的递送车辆(例如,通过UDV***300)调度到递送目的地。递送车辆可以主要基于GPS信息从其当前地点(例如,存储所请求物体的仓库)导航到递送目的地。
在规划到递送目的地的路径或轨迹时,递送车辆的控制***可以考虑由第一虚拟模型表示的信息。例如,当用于生成第一虚拟模型的传感器数据被捕获时,控制***可以确定客户端计算设备指向北方。因而,为了增加或最大化通过递送车辆上的传感器定位和观察由第一虚拟模型表示的区域的概率,递送车辆可以从南方接近递送目的地,在向北的方向上移动。在一些情况下,向北接近可以自然地由物体的始发地点与递送目的地之间的相对地理地点产生(例如,递送目的地位于始发位置的北方)。可替代地,可以规划路径或轨迹以导航车辆经过递送目的地(例如,递送目的地的南方)并且随后从期望的方向(例如,向北接近)接近递送目的地。
在到达递送目的地的阈值距离内(例如,在GPS***的水平和/或垂直准确度限制内)后,控制***可以开始从递送车辆上的传感器捕获数据,用于车辆到物体的目标放下点的定位和导航,如图7A中所示。特别地,图7A图示了捕获表示递送目的地602的一部分的传感器数据的空中UDV 180。空中UDV 180可以在UDV周围盘旋、在其上平移相机或其组合,以在递送目的地上方扫掠传感器视场702以获取表示递送目的地的区域(例如,房屋602的前部)的传感器数据。可以从与用于生成第一虚拟模型的客户端计算设备不同的位置和/或不同的朝向捕获来自递送车辆的传感器数据。例如,空中UDV 180可以从比客户端计算设备更高的高度捕获传感器数据,而地面UDV可以从比客户端计算设备更低的高度捕获传感器数据。同样,由递送车辆捕获的传感器数据的水平透视可以与第一虚拟模型的水平透视不同。
一旦捕获了传感器数据,就可以基于传感器数据生成第二虚拟模型700,如图7B中所示。第二虚拟模型可以反映已经从其捕获传感器数据的透视图。特别地,由于不同的视角,第二虚拟模型可以包括未包括在第一虚拟模型中的窗户642、644和646的表示。此外,由于不同的视角,第二虚拟模型可以缺少窗户606、608、626、628和632、门630以及楼梯634的表示。在一些实施例中,模型可以包括透视畸变。即,从其捕获传感器数据的视角可以反映在虚拟模型中表示的各种物理特征的形状和相对尺寸中(即,更靠近相机的物理特征可能看起来比远离相机的物理特征更大)。用于表示递送目的地的模型的类型(例如,3D相对于2D,以及深度相对于简单图像)可以附加地影响物理特征的虚拟表示反映已经从其观察到物理物体的透视的程度。例如,3D模型可能没有透视畸变。
可以确定第一模型600和第二模型700之间的映射以确定第一模型和第二模型之间的重叠区域,如图8A中所示。在一些示例实施例中,可以通过直接将模型700与模型600进行比较来确定映射。特别地,***可以确定在第一虚拟模型600中表示的一个或多个第一物理特征与在第二虚拟模型700中表示的一个或多个第二物理特征之间的映射。确定映射可以分两步执行。首先,***可以确定第一虚拟模型和第二虚拟模型之间共同的物理特征。例如,房屋601、房屋602、房屋604、植被620和622、窗户610和614以及门612在第一模型600和第二模型700中都被表示。相反,窗户606和608仅在模型600中表示,而窗户644和646仅在模型700中表示。因此,一些物理特征可能仅在一个模型中表示,并且这些特征之间的映射可能是不可能的。
确定映射还可以包括确定在第一模型中表示的特征与在第二模型中表示的特征之间的几何变换,以建立两个模型之间的空间关系。例如,几何变换可以表示为矩阵。在一些实施例中,一个变换可能足以映射两个模型之间的物理特征的表示。可替代地或附加地,每个相应的物理特征可以与将第一模型中的相应特征的表示映射到第二模型中的相应特征的表示的单独变换相关联。
在图8A中,线804、806、808、810、812、814和816指示第一虚拟模型600和第二虚拟模型700之间的物理物体的表示的示例映射。具体而言,线804表示相邻房屋601的屋顶角落的表示之间的映射,线806表示植被620的表示之间的映射,线808表示窗户610的表示之间的映射,线810表示门612的表示之间的映射,线812表示房屋602(例如,与递送目的地相关联或表示递送目的地的房屋)的屋顶高峰的表示之间的映射,线814表示植被622的表示之间的映射,并且线816表示相邻房屋604的屋顶角落的表示之间的映射。线804-816中的每一个可以与特定于指示映射的相应特征的单独变换(例如,变换矩阵)相关联。可替代地或附加地,映射可以由模型600和700之间的单个全局变换来表示。
可以使用算法来执行两个模型之间的映射,诸如例如随机样本共识(RandomSample Consensus,RANSAC)、最小中值平方估计、迭代最近点、鲁棒点匹配、内核相关和/或相干点漂移,以及其它可能性。附加地或可替代地,映射可以利用机器学习算法来提高映射准确度和可靠性。例如,决策树、支持向量机或贝叶斯算法可以用于将虚拟模型内的物理特征的表示分组为类别(例如,植被、门、窗户、楼梯、人行道、道路等)。因而,***可以仅尝试将第二模型内的特定特征映射到第一模型中具有相同类别的特征(例如,尝试将窗户映射到其它窗户但不映射到门或植被)。在确定映射时,***可以考虑由一天中的时间、天气、季节(例如,树叶或雪)、递送地点中的结构的外观改变引起的变化(例如,自第一模型生成以来房屋被涂以不同颜色),以及递送地点附加或丢失的物体(例如,倒下的树枝、重新布置的庭院家具等)。
映射可以用于确定第一和第二模型之间的重叠区域。重叠可以是第二虚拟模型的一部分与第一虚拟模型的对应部分之间的几何交叉。特别地,第二模型700中的物理特征的第二表示与第一模型600中的第一物理特征的表示相对应的程度或第二模型700中的物理特征的第二表示映射到第一模型600中的第一物理特征的表示的程度可以确定第二模型700和第一模型600是否表示递送目的地的任何公共区域。
例如,如果递送车辆由于基于GPS数据的车辆定位的不准确性而最初扫描与错误房屋相邻的区域,那么***可以确定第一模型与第二模型之间的映射是弱的或无法确定的。特别地,可以基于初始传感器数据确定第二虚拟模型的第一部分。第一部分可以表示递送目的地的第二区域的第一子区域的物理特征。***可以通过确定在第二虚拟模型的第一部分中表示的物理特征与第一物理特征之间的映射的置信水平低于阈值置信值来确定第二虚拟模型的第一部分不与第一虚拟模型重叠。换句话说,第一模型内的物理特征在空间上不与第二模型的第一部分内的物理特征对应(例如,相邻房屋可以具有门和窗,但门和窗之间的空间关系与第一虚拟模型不匹配)。
响应于确定映射的置信水平低于阈值置信值,递送车辆可以收集指示递送目的地的第二区域的第二子区域的附加传感器数据。可以基于附加传感器数据确定第二虚拟模型的第二部分。该第二部分可以表示递送目的地的第二区域的第二子区域的物理特征。可以确定第一物理特征中的一个或多个与第二子区域的物理特征中的一个或多个之间的映射,以确定第一虚拟模型和第二虚拟模型的第二部分之间的重叠区域。此外,***可以确定第一物理特征中的一个或多个与第二子区域的物理特征中的一个或多个之间的映射的置信水平大于阈值置信值。
在一些情况下,可以在第一虚拟模型和第二虚拟模型之间确定重叠区域。然而,重叠区域可能不包含目标放下点。因此,确定第二虚拟模型内的目标放下点的位置可以包括:基于重叠区域,确定通过其移动递送车辆的路径,以收集指示递送目的地包含目标放下点的区域的附加传感器数据。作为响应,可以提供指令以沿着确定的路径导航递送车辆并且在沿着确定的路径导航的同时收集附加传感器数据。另外,可以基于附加传感器数据更新第二虚拟模型,以表示目标放下点和递送目的地包含目标放下点的区域的物理特征。
可以重复建立第二虚拟模型并确定第一和第二模型之间的映射的操作,直到递送车辆识别出与第一虚拟模型所表示的区域匹配的递送目的地的区域(即,直到识别出重叠区域)。换句话说,递送车辆可以搜索递送目的地的大致附近,直到找到由客户端计算设备指定的区域。映射操作可以提供用于确定包裹收件人指定的区域是否已被定位的客观度量。传感器数据收集、模型生成和映射的操作可以顺序地或并行地进行,并且可以由递送车辆的控制***在本地执行,或者由服务器设备远程执行。
一旦识别出重叠区域,重叠区域就可以用于确定目标放下点818在第二虚拟模型700中的位置。具体而言,确定映射可以包括确定第一物理特征中的一个或多个的表示与第二物理特征中的一个或多个的表示之间的几何变换。确定第二虚拟模型700中目标放下点818的位置可以包括将确定的几何变换应用于第一虚拟模型内的目标放下点的坐标,以确定第二虚拟模型内目标放下点的坐标。通过确定第二虚拟模型内目标放下点的位置,控制***可以确定递送车辆与递送车辆对递送目的地的感知内(例如,在递送车辆的坐标系内)目标放下点之间的空间关系。
因而,递送车辆可以导航到目标放下点以基于所确定的递送车辆与目标放下地点之间的空间关系将物体放置在目标放下点处,如图8B中所示。特别地,图8B图示了在将包裹820向下放置在目标放下点820之前悬停在目标放下点818上方的空中UDV 180。因此,包裹820被放置在由包裹收件人指定的目标放下点。
在一些示例中,在将物体放置在目标放下点之后,递送车辆可以捕获示出成功放置在目标放下点的物体的图像数据(例如,照片或视频)。表示放置在目标放下点的物体的图像数据可以由递送***内的远程服务器接收和存储,作为递送的证据。可以将递送确认发送到客户端计算设备。递送确认可以包括表示放置在目标放下点的物体的图像数据。另外,在一些实施例中,当递送车辆将物体放置在目标放下点时,递送车辆可以附加地捕获视频。视频可以被发送到远程服务器并由远程服务器存储,并且可以包括在递送确认中。在一些示例中,在递送车辆将物体放置在目标放下点处的同时,视频可以被实时流式传输到客户端计算设备。客户端计算设备可以用于通过轻击或以其它方式指示车辆应该导航到的递送目的地的区域来辅助递送车辆的导航,以找到目标放下点。
在一些实施例中,递送车辆可以包括与客户端计算设备用于收集传感器数据的传感器相同的传感器,其中基于该传感器数据生成第一虚拟模型。例如,客户端计算设备和车辆可以各自包括相机、陀螺仪、加速度计、磁力计和GPS单元,以及其它可能性。因而,第一虚拟模型和第二虚拟模型(即,基于来自递送车辆的传感器数据生成的模型)可以各自基于来自相同传感器类型的传感器数据。因此,当***搜索第一和第二模型之间的重叠时,***不仅可以考虑所确定的模型,还可以考虑从其生成模型的基础原始数据(例如,从其捕获图像数据的方向)。
值得注意的是,本文描述的操作不依赖于任何着陆信标、基准标记或用作递送车辆的定位点的其它物理标记。代替地,将递送车辆导航到目标放下点依赖于检测已经存在于递送目的地的环境内的特征。因此,可以容易地向未配备着陆信标或专用着陆标记的地点请求包裹递送。例如,用户可以在除用户家之外的地点(诸如公园或露营地)请求和接收包裹。特别地,本文描述的***和操作可以将包裹递送服务扩展到由于缺少道路和/或有组织的街道地址等原因而当前未由现有包裹递送服务服务的地理区域。
VIII.附加示例映射操作
在一些示例实施例中,可以通过将分别在图6和图7B中示出的模型600和700与表示递送目的地的地理区域的预定主模型进行比较来确定映射。图9图示了示例主模型900的一部分,其表示围绕递送目的地602的地理区域并且包括房屋601和604以及未包括在模型600中的房屋901、902、904和906。可以在物体的递送请求之前的时间确定主模型900。例如,在到达其它递送目的地的途中的同时,可以基于来自在递送目的地602的地理区域中操作的一个或多个递送车辆的传感器数据来确定主模型900。在另一示例中,可以基于先前确定的虚拟模型来确定和更新主模型900,所述先前确定的虚拟模型在先前物体递送到地理区域内的地点期间生成的并且存储在数据库中(例如,到房屋901、902、904和906的递送)。在另一示例中,可以基于来自包括地理地点的街道级图像的地图服务的图像数据来生成和更新主模型900。
主模型900可以用于定位递送目的地602并且在递送目的地602的大致地理附近区域内定位递送车辆。特别地,在生成第一模型600之后,可以将其与模型900比较或映射到主模型900,以在主模型900内定位第一模型600。此外,模型600到主模型900的映射可以用于确定目标放下点640在主模型900内的位置。
在到达递送目的地602的大致附近时,递送车辆可以开始收集传感器数据,基于该传感器数据可以生成第二虚拟模型700。当生成并更新第二模型700时,可以将模型700或其一部分与主模型900进行比较或映射,以确定在由模型900表示的递送目的地602的大致地理地点内递送车辆的位置和朝向。模型600与700之间的相对地理定位可以基于它们在主模型900内的相应位置来确定。因此,在一些示例中,模型600与700可能不会彼此直接比较。代替地,主模型900可以用作确定模型600和700之间的映射的中介。
递送车辆的控制***可以使用主模型900来确定移动递送车辆以找到并扫描递送目的地602并定位目标放下点640的方向。值得注意的是,与没有主模型900的情况下控制***必须估计或预测模型600与700的相对定位相比,通过使用主模型900,控制***可以更快速且准确地确定移动方向以定位递送目的地602。当模型700的初始部分不与模型600重叠时,模型900可能特别有用。
基于主模型900内的物理特征的不同模式,可以相对于递送目的地602对递送车辆进行定位。例如,房屋901可以包括种植在其左侧的树木914和916,房屋902/904可以形成U形,房屋906可以包括大围栏庭院908、树木910以及灌木912和918。当到达递送目的地602的大致地理附近时,递送车辆首先收集指示房屋906的传感器数据,***可以确定为了到达递送目的地602,递送车辆应当进一步向北前进(即,沿着页面向上)。可替代地,当到达递送目的地602的大致地理附近时,递送车辆首先收集指示房屋902/904的传感器数据,***可以确定为了到达递送目的地602,递送车辆应当向东南前进(即,沿着页面向下和向左)。
在一些实施例中,第二模型的分辨率可以与第一模型的分辨率不同。例如,当递送车辆接近递送目的地并开始收集传感器数据时,车辆可以处于比捕获用于第一模型的数据时客户端计算设备所处的更大的距离。因而,第二虚拟模型可以具有比第一虚拟模型更低的分辨率,并且可以表示比第一模型更大的递送目的地的区域。
在一个示例中,当空中UDV首先开始接近递送目的地602的大致附近时,UDV距离递送目的地的距离可以大于客户端计算设备在收集用于第一虚拟模型的数据时所处的距离。因而,从空中UDV和对应第二模型接收的传感器数据可以表示比第一虚拟模型600大得多的地理区域。例如,第二虚拟模型可以表示由主模型900表示的地理区域。但是,由于空中UDV和传送目的地602之间的距离,第二模型可以具有比模型600更低的分辨率。
因而,映射操作可以基于模型之间的分辨率差异和/或模型的尺寸规模的差异来选择确定映射的适当抽象级别。例如,当模型具有大致相同的分辨率(例如,模型600和700)时,可以在模型之间比较大多数物理特征。然而,当第二模型比第一模型表示更大的地理范围并且分辨率低于第一模型时,一些较小的特征(诸如例如窗户、门和个别楼梯)可能无法在第二虚拟模型中辨别。因而,该***可以关注较大特征(诸如房屋、房屋屋顶、树木和大型植被,以及其它可能性)之间的映射。例如,当空中UDV接近递送目的地602时,***可以基于房屋601、602和604之间的估计间隔,房屋601、602和604的屋顶的形状以及植被620和622相对于房屋602的模式来确定映射。随着递送车辆越来越靠近递送目的地,可以在第二模型内充分地解析更小的特征以将这些特征映射到第一虚拟模型中的对应特征(例如,房屋602周围的区域可以被解析为模型700中所示细节的水平)。
IX.附加的示例实施方式
在一些示例实施方式中,本文描述的***和操作可以适用于依赖递送员的现有递送服务。特别地,可以使用与递送员相关联的第二客户端计算设备来代替递送车辆的硬件。第二客户端计算设备可以实现将递送员引导到由包裹收件人指定的目标递送地点的功能。在带着包裹到达递送目的地之后,递送员可以使用第二客户端计算设备来收集可以基于其生成第二模型的传感器数据。具体地,第二客户端计算设备可以显示视觉提示以引导递送员扫描递送目的地以生成第二模型。如前所述,第二模型可以与第一模型结合使用,以在第二虚拟模型内定位目标放下点。
第二客户端计算设备可以以虚拟现实标记的形式显示目标放下点的指示,以向递送员指示放置包裹的位置。例如,第二计算设备可以显示来自设备的相机的实况视频馈送(例如,第二客户端计算设备的屏幕可以用作取景器),并且当相机在目标放下点上方平移时,可以在视频馈送中显示指示目标放下点的虚拟标记。因而,递送员可以将包裹放置在已经由收件人预先指定的更安全和/或更方便的地点。
虽然本文是以在递送目的地内的目标放下点处的物体放下为背景对操作进行描述的,但是该操作可以同样适于从拾取地点内的目标捡拾点的物体拾取。即,客户端计算设备的用户可以在目标拾取点放置要拾取的物体(例如,用户希望返回或交换的包裹)。用户可以使用客户端计算设备来收集基于其生成第一虚拟模型的传感器数据。用户可以附加地通过轻击、点击或以其它方式选择第一虚拟模型内或基于其生成第一虚拟模型的捕获图像数据内的物体的表示,来提供目标拾取点和放置在其中的物体的表示。客户端计算设备还可以被编程为允许用户指定参数,诸如物体的重量和物体的递送目的地。
可以调度具有适当尺寸和范围的无人驾驶车辆以拾取物体。无人驾驶车辆或其控制***可以执行本文描述的操作以定位目标拾取点、拾取物体,并将物体递送到拾取物体的指定目的地。因而,在示例中,递送目的地在本文中被定义为涵盖拾取地点,在本文定义目标放下点以涵盖目标拾取点,并且在目标放下点处放置物体在本文被定义为涵盖从目标拾取点拾取物体。
X.结论
本公开不限于本申请中描述的特定实施例,其旨在作为各个方面的说明。在不脱离本发明的精神和范围的情况下,可以进行许多修改和变化,这对本领域技术人员来说是显而易见的。除了本文列举的那些之外,本公开范围内的功能等同的方法和装置对于本领域技术人员而言从前面的描述中是显而易见的。这些修改和变化旨在落入所附权利要求的范围内。
以上详细描述参考附图描述了所公开的***、设备和方法的各种特征和功能。在附图中,除非上下文另有指示,否则类似的符号通常识别类似的组件。本文和附图中描述的示例实施例不意味着限制。在不脱离本文提出的主题的精神或范围的情况下,可以利用其它实施例,并且可以进行其它改变。容易理解的是,如本文一般描述并且在附图中示出的本公开的各方面可以以各种不同的配置来布置、替换、组合、分离和设计,所有这些都是本文明确预期的。
表示信息处理的方框可以与可以被配置为执行本文描述的方法或技术的特定逻辑功能的电路***对应。可替代地或附加地,表示信息处理的方框可以与模块、片段或程序代码的一部分(包括相关数据)对应。程序代码可以包括可由处理器执行的一条或多条指令,用于实现所述方法或技术中的特定逻辑功能或动作。程序代码和/或相关数据可以存储在任何类型的计算机可读介质上,诸如包括盘或硬盘驱动器或其它存储介质的存储设备。
计算机可读介质还可以包括非瞬态计算机可读介质,诸如短时间存储数据的计算机可读介质,如寄存器存储器、处理器高速缓存和随机存取存储器(RAM)。计算机可读介质还可以包括较长时间存储程序代码和/或数据的非瞬态计算机可读介质,诸如例如二级或持久长期存储装置,如只读存储器(ROM)、光盘的或磁盘、光盘只读存储器(CD-ROM)。计算机可读介质还可以是任何其它易失性或非易失性存储***。计算机可读介质可以被认为是计算机可读存储介质,例如有形的存储设备。
而且,表示一个或多个信息传输的方框可以与同一物理设备中的软件和/或硬件模块之间的信息传输对应。然而,其它信息传输可以在不同物理设备中的软件模块和/或硬件模块之间。
附图中所示的特定布置不应视为限制。应当理解的是,其它实施例可以包括给定附图中所示的每个元件的更多或更少。另外,可以组合或省略一些所示元件。还有,示例实施例可以包括未在附图中示出的元件。
虽然本文已经公开了各种方面和实施例,但是其它方面和实施例对于本领域技术人员而言是显而易见的。本文公开的各个方面和实施例是出于说明的目的而不是限制性的,真正的范围由以下权利要求指示。
Claims (20)
1.一种方法,包括:
使客户端设备呈现指示递送目的地的物理特征的虚拟模型,该物理特征包括递送目的地的区域中的物体之间的三维关系;
从客户端设备接收指定递送目的地的区域的虚拟模型内的物体的目标放下点的数据;
至少基于指定目标放下点的数据和虚拟模型,确定递送车辆是否能够将物体递送到目标放下点;以及
响应于确定递送车辆能够将物体递送到目标放下点,提供指令以使得递送车辆导航到目标放下点以将物体放置在目标放下点。
2.根据权利要求1所述的方法,其中,指定目标放下点的数据基于选择虚拟模型内的目标放下点的用户输入。
3.根据权利要求1所述的方法,其中,确定递送车辆是否能够将物体递送到目标放下点包括:基于递送车辆的类型以及目标放下点的位置来确定递送车辆是否能够导航到目标放下点。
4.根据权利要求1所述的方法,其中,确定递送车辆是否能够将物体递送到目标放下点包括:基于物体的尺寸和形状来确定物体是否适合目标放下点。
5.根据权利要求1所述的方法,其中,接收指定物体的目标放下点的数据包括:
基于从客户端设备接收的数据,检测虚拟模型内的初始目标放下点的选择;
使客户端设备在虚拟模型内在第一目标放下点处呈现可移动的目标标记;
基于从客户端设备接收的数据,检测可移动的目标标记移动到目标放下点。
6.根据权利要求4所述的方法,其中,所述目标标记的尺寸和形状基于物体或在其中递送物体的包裹的尺寸和形状。
7.根据权利要求5所述的方法,其中,确定递送车辆是否能够将物体递送到目标放下点包括确定目标标记是否适合虚拟模型中的目标放下点处的表示。
8.根据权利要求1所述的方法,还包括响应于确定递送车辆不能将物体递送到目标放下点,使客户端设备提示用户一个或多个备用放下点。
9.根据权利要求1所述的方法,还包括根据客户端设备捕获的多个图像以及与多个图像相对应的第一传感器数据来确定第一虚拟模型。
10.根据权利要求1所述的方法,还包括:
从递送车辆上的一个或多个传感器接收指示递送目的地的第二区域的传感器数据;
基于传感器数据确定递送目的地的第二区域的第二虚拟模型,第二虚拟模型指示包括递送目的地的第二区域中的物体之间的三维关系的第二物理特征,第二虚拟模型是根据由递送车辆捕获的第二传感器数据来确定的;
确定物理特征中的一个或多个与第二物理特征中的一个或多个之间的映射,以确定虚拟模型与第二虚拟模型之间的重叠区域;
基于重叠区域,确定第二虚拟模型内的目标放下点的位置;以及
基于第二虚拟模型内的目标放下点的位置,提供指令以使得递送车辆导航到目标放下点以将物体放置在目标放下点。
11.一种***,包括:
递送车辆;
连接到递送车辆的一个或多个传感器;以及
控制***,被配置为:
使客户端设备呈现指示递送目的地的物理特征的虚拟模型,该物理特征包括递送目的地的区域中的物体之间的三维关系;
从客户端设备接收指定递送目的地的区域的虚拟模型内的物体的目标放下点的数据;
至少基于指定目标放下点的数据和虚拟模型,确定递送车辆是否能够将物体递送到目标放下点;以及
响应于确定递送车辆能够将物体递送到目标放下点,提供指令以使得递送车辆导航到目标放下点以将物体放置在目标放下点。
12.根据权利要求11所述的***,其中,指定目标放下点的数据基于选择虚拟模型内的目标放下点的用户输入。
13.根据权利要求11所述的***,其中,确定递送车辆是否能够将物体递送到目标放下点包括:基于递送车辆的类型以及目标放下点的位置来确定递送车辆是否能够导航到目标放下点。
14.根据权利要求11所述的***,其中,确定递送车辆是否能够将物体递送到目标放下点包括:基于物体的尺寸和形状来确定物体是否适合目标放下点。
15.根据权利要求11所述的***,其中,接收指定物体的目标放下点的数据包括:
基于从客户端设备接收的数据,检测虚拟模型内的初始目标放下点的选择;
使客户端设备在虚拟模型内在第一目标放下点处呈现可移动的目标标记;
基于从客户端设备接收的数据,检测可移动的目标标记移动到目标放下点。
16.根据权利要求11所述的***,其中,所述目标标记的尺寸和形状基于物体或在其中递送物体的包裹的尺寸和形状。
17.根据权利要求11所述的***,其中,确定递送车辆是否能够将物体递送到目标放下点包括确定目标标记是否适合虚拟模型中的目标放下点处的表示。
18.根据权利要求11所述的***,其中,所述控制***被配置为响应于确定递送车辆不能将物体递送到目标放下点,使客户端设备提示用户一个或多个备用放下点。
19.根据权利要求11所述的***,其中,所述控制***被配置为根据客户端设备捕获的多个图像以及与多个图像相对应的第一传感器数据来确定第一虚拟模型。
20.一种非瞬态计算机可读存储介质,其上存储有指令,当所述指令由计算设备执行时,使得计算设备执行包括以下各项的操作:
使客户端设备呈现指示递送目的地的物理特征的虚拟模型,该物理特征包括递送目的地的区域中的物体之间的三维关系;
从客户端设备接收指定递送目的地的区域的虚拟模型内的物体的目标放下点的数据;
至少基于指定目标放下点的数据和虚拟模型,确定递送车辆是否能够将物体递送到目标放下点;以及
响应于确定递送车辆能够将物体递送到目标放下点,提供指令以使得递送车辆导航到目标放下点以将物体放置在目标放下点。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/295,995 US10353388B2 (en) | 2016-10-17 | 2016-10-17 | Drop-off location planning for delivery vehicle |
US15/295,995 | 2016-10-17 | ||
CN201780076489.2A CN110062919B (zh) | 2016-10-17 | 2017-09-18 | 递送车辆的放下地点规划 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780076489.2A Division CN110062919B (zh) | 2016-10-17 | 2017-09-18 | 递送车辆的放下地点规划 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111966114A true CN111966114A (zh) | 2020-11-20 |
Family
ID=60020608
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010781726.9A Pending CN111966114A (zh) | 2016-10-17 | 2017-09-18 | 递送车辆的放下地点规划 |
CN201780076489.2A Active CN110062919B (zh) | 2016-10-17 | 2017-09-18 | 递送车辆的放下地点规划 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780076489.2A Active CN110062919B (zh) | 2016-10-17 | 2017-09-18 | 递送车辆的放下地点规划 |
Country Status (5)
Country | Link |
---|---|
US (3) | US10353388B2 (zh) |
EP (1) | EP3519905B1 (zh) |
CN (2) | CN111966114A (zh) |
AU (2) | AU2017345067B2 (zh) |
WO (1) | WO2018075177A1 (zh) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9573684B2 (en) | 2013-10-26 | 2017-02-21 | Amazon Technologies, Inc. | Unmanned aerial vehicle delivery system |
US9536216B1 (en) | 2014-12-18 | 2017-01-03 | Amazon Technologies, Inc. | Delivery of packages by unmanned aerial vehicles |
EP3345184A1 (en) * | 2015-09-02 | 2018-07-11 | THOMSON Licensing | Method, apparatus and system for facilitating navigation in an extended scene |
US11036946B2 (en) * | 2016-05-07 | 2021-06-15 | Canyon Navigation, LLC | Navigation using self-describing fiducials |
US10417469B2 (en) * | 2016-05-07 | 2019-09-17 | Morgan E. Davidson | Navigation using self-describing fiducials |
US11828859B2 (en) * | 2016-05-07 | 2023-11-28 | Canyon Navigation, LLC | Navigation using self-describing fiducials |
US10353388B2 (en) * | 2016-10-17 | 2019-07-16 | X Development Llc | Drop-off location planning for delivery vehicle |
WO2018118766A1 (en) * | 2016-12-21 | 2018-06-28 | Walmart Apollo, Llc | Systems and methods for delivering products via unmanned aerial vehicles to delivery locations designated by customers |
US10613537B2 (en) * | 2016-12-31 | 2020-04-07 | Lyft Inc. | Autonomous vehicle pickup and drop-off management |
US10380667B2 (en) * | 2017-06-07 | 2019-08-13 | International Business Machines Corporation | Collaborative delivery device |
US10427790B2 (en) * | 2017-06-12 | 2019-10-01 | David A. Verkade | Adaptive aerial vehicle |
DE102017116421A1 (de) * | 2017-07-20 | 2019-01-24 | Deutsche Post Ag | Verfahren und Steuervorrichtung für ein autonomes und/oder teilautonomes Transportfahrzeug |
US10545500B2 (en) * | 2017-08-02 | 2020-01-28 | Wing Aviation Llc | Model for determining drop-off spot at delivery location |
EP3508869B1 (en) * | 2017-12-21 | 2023-10-18 | The Boeing Company | Light-weight radar system |
US11687869B2 (en) * | 2018-02-22 | 2023-06-27 | Flytrex Aviation Ltd. | System and method for securing delivery using an autonomous vehicle |
US11074542B2 (en) * | 2018-09-27 | 2021-07-27 | Intel Corporation | Automated delivery device and method for delivering a package |
US10807712B2 (en) | 2018-10-29 | 2020-10-20 | Ford Global Technologies, Llc | Systems and methods for transferring control of an unmanned aerial vehicle |
US11200810B2 (en) * | 2019-02-19 | 2021-12-14 | Nec Corporation Of America | Drone collision avoidance |
CN113632032A (zh) * | 2019-03-29 | 2021-11-09 | 三菱电机株式会社 | 物流***及无人飞行体 |
US11307575B2 (en) * | 2019-04-16 | 2022-04-19 | The Boeing Company | Autonomous ground attack system |
US11397913B2 (en) * | 2019-05-17 | 2022-07-26 | Ford Global Technologies, Llc | Systems and methods for automated multimodal delivery |
WO2021024450A1 (ja) * | 2019-08-08 | 2021-02-11 | 楽天株式会社 | 管理装置、管理方法及び管理システム |
JP6778847B1 (ja) * | 2019-09-18 | 2020-11-04 | 楽天株式会社 | 貨物ポート管理システム、貨物ポート管理方法、及びプログラム |
US11481720B2 (en) * | 2019-12-04 | 2022-10-25 | Wing Aviation Llc | UAV balcony deliveries to multi-level buildings |
US20210229811A1 (en) * | 2020-01-06 | 2021-07-29 | Marc Gregory Martino | Drone delivery improvements |
US11610320B2 (en) * | 2020-02-19 | 2023-03-21 | Object Video Labs, LLC | Remote camera-assisted robot guidance |
EP3882649B1 (en) * | 2020-03-20 | 2023-10-25 | ABB Schweiz AG | Position estimation for vehicles based on virtual sensor response |
US11797019B2 (en) * | 2020-07-20 | 2023-10-24 | Ford Global Technologies, Llc | Rugged terrain vehicle design and route optimization |
US11928861B1 (en) * | 2020-10-20 | 2024-03-12 | DoorDash, Inc. | Generating mapping information based on image locations |
US11810057B2 (en) * | 2021-02-05 | 2023-11-07 | Here Global B.V. | Method, apparatus, and computer program product for vantage view assistance |
WO2022250605A1 (en) * | 2021-05-24 | 2022-12-01 | Hitachi, Ltd. | Navigation guidance methods and navigation guidance devices |
CN113959444A (zh) * | 2021-09-30 | 2022-01-21 | 达闼机器人有限公司 | 用于无人设备的导航方法、装置、介质及无人设备 |
CN115265548B (zh) * | 2022-09-20 | 2023-01-13 | 北京云迹科技股份有限公司 | 一种机器人位置定位方法、装置、电子设备和介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003060752A1 (en) * | 2002-01-11 | 2003-07-24 | Sap Aktiengesellschaft | Context-aware and real-time item tracking system architecture and scenarios |
US20110010023A1 (en) * | 2005-12-03 | 2011-01-13 | Kunzig Robert S | Method and apparatus for managing and controlling manned and automated utility vehicles |
WO2013036709A1 (en) * | 2011-09-07 | 2013-03-14 | Crown Equipment Limited | Method and apparatus for using pre-positioned objects to localize an industrial vehicle |
CN103108806A (zh) * | 2010-07-02 | 2013-05-15 | 山德尔埃维翁尼克斯有限公司 | 飞机悬停***和方法 |
US20140180914A1 (en) * | 2007-01-12 | 2014-06-26 | Raj Abhyanker | Peer-to-peer neighborhood delivery multi-copter and method |
US20150081343A1 (en) * | 2013-09-18 | 2015-03-19 | Easypost | System and methods for enabling efficient shipping and delivery |
US20150248640A1 (en) * | 2014-02-28 | 2015-09-03 | Nokia Corporation | 3d model and beacon for automatic delivery of goods |
US20150302495A1 (en) * | 2014-02-17 | 2015-10-22 | Bruce E. Stuckman | System, delivery device and methods for use therewith |
US20160027207A1 (en) * | 2014-07-22 | 2016-01-28 | Vorwerk & Co. Interholding Gmbh | Method for cleaning or processing a room by means of an autonomously mobile device |
CN105306500A (zh) * | 2014-06-19 | 2016-02-03 | 赵海 | 一种基于四轴飞行器的快递运输***、快递运输方法及单目避障方法 |
Family Cites Families (155)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9121669B1 (en) * | 1994-09-02 | 2015-09-01 | The Boeing Company | System and method for designating a target for a remote aerial vehicle |
US6694264B2 (en) * | 2001-12-19 | 2004-02-17 | Earth Science Associates, Inc. | Method and system for creating irregular three-dimensional polygonal volume models in a three-dimensional geographic information system |
WO2004106009A1 (ja) | 2003-06-02 | 2004-12-09 | Matsushita Electric Industrial Co., Ltd. | 物品操作システムおよび方法、並びに物品管理システムおよび方法 |
US7666682B2 (en) | 2003-10-21 | 2010-02-23 | Immediate Response Technologies, Inc. | Marking system |
CA2957168C (en) | 2005-06-21 | 2019-10-01 | United Parcel Service Of America, Inc. | Systems and methods for providing personalized delivery services |
US9459622B2 (en) * | 2007-01-12 | 2016-10-04 | Legalforce, Inc. | Driverless vehicle commerce network and community |
US7953526B2 (en) | 2006-01-18 | 2011-05-31 | I-Guide Robotics, Inc. | Robotic vehicle controller |
US20140330456A1 (en) * | 2006-03-17 | 2014-11-06 | Manuel R. Lopez Morales | Landing site designation in an autonomous delivery network |
US9373149B2 (en) * | 2006-03-17 | 2016-06-21 | Fatdoor, Inc. | Autonomous neighborhood vehicle commerce network and community |
US7693617B2 (en) | 2006-09-19 | 2010-04-06 | The Boeing Company | Aircraft precision approach control |
US20140143061A1 (en) * | 2006-11-22 | 2014-05-22 | Raj Abhyanker | Garage sales in a geo-spatial social network |
JP5047709B2 (ja) * | 2007-07-04 | 2012-10-10 | 株式会社日立製作所 | 移動装置、システム、移動方法及び移動プログラム |
US8015023B1 (en) * | 2007-08-29 | 2011-09-06 | Sprint Communications Company L.P. | Package or mail delivery notice and confirmation |
US20090138139A1 (en) * | 2007-11-26 | 2009-05-28 | Tsai Ta C | Technical data navigation system and method |
US8521339B2 (en) * | 2008-09-09 | 2013-08-27 | Aeryon Labs Inc. | Method and system for directing unmanned vehicles |
US20100286859A1 (en) * | 2008-11-18 | 2010-11-11 | Honeywell International Inc. | Methods for generating a flight plan for an unmanned aerial vehicle based on a predicted camera path |
EP2427729A4 (en) | 2009-05-04 | 2014-08-27 | Tomtom North America Inc | METHOD AND SYSTEM FOR REDUCING SHAPE POINTS IN A GEOGRAPHIC DATA COMPUTING SYSTEM |
US10276170B2 (en) * | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
WO2011106787A2 (en) | 2010-02-26 | 2011-09-01 | Duthie Hill Llc | Systems and methods for arranging delivery of a package |
US20130141540A1 (en) * | 2010-06-18 | 2013-06-06 | Saab Ab | Target locating method and a target locating system |
US8527445B2 (en) * | 2010-12-02 | 2013-09-03 | Pukoa Scientific, Llc | Apparatus, system, and method for object detection and identification |
FR2972364B1 (fr) * | 2011-03-08 | 2014-06-06 | Parrot | Procede de pilotage suivant un virage curviligne d'un drone a voilure tournante a rotors multiples. |
US8743244B2 (en) | 2011-03-21 | 2014-06-03 | HJ Laboratories, LLC | Providing augmented reality based on third party information |
EP2527792B1 (de) | 2011-05-27 | 2014-03-12 | EADS Deutschland GmbH | Verfahren zur Pilotenunterstützung für die Landung eines Luftfahrzeugs unter Sichtbehinderungen |
US9158967B2 (en) * | 2012-01-12 | 2015-10-13 | Kofax, Inc. | Systems and methods for mobile image capture and processing |
US8600589B2 (en) | 2012-04-24 | 2013-12-03 | Exelis, Inc. | Point cloud visualization of acceptable helicopter landing zones based on 4D LIDAR |
US9841761B2 (en) * | 2012-05-04 | 2017-12-12 | Aeryon Labs Inc. | System and method for controlling unmanned aerial vehicles |
US9384668B2 (en) | 2012-05-09 | 2016-07-05 | Singularity University | Transportation using network of unmanned aerial vehicles |
US9120568B2 (en) * | 2012-06-11 | 2015-09-01 | Lockheed Martin Corporation | Autonomous resupply system and method |
US9652912B2 (en) * | 2012-09-21 | 2017-05-16 | Google Inc. | Secure handling of unsupervised package drop off at a smart-home |
US20150120598A1 (en) * | 2012-09-21 | 2015-04-30 | Google Inc. | Tracking of a package delivery to a smart-home |
US9960929B2 (en) * | 2012-09-21 | 2018-05-01 | Google Llc | Environmental sensing with a doorbell at a smart-home |
FR2996670B1 (fr) | 2012-10-05 | 2014-12-26 | Dassault Aviat | Systeme de visualisation pour aeronef, et procede de visualisation associe |
US20140108136A1 (en) * | 2012-10-12 | 2014-04-17 | Ebay Inc. | Augmented reality for shipping |
US10387824B2 (en) | 2012-12-21 | 2019-08-20 | United Parcel Service Of America, Inc. | Systems and methods for delivery of an item |
US9051043B1 (en) * | 2012-12-28 | 2015-06-09 | Google Inc. | Providing emergency medical services using unmanned aerial vehicles |
WO2014125719A1 (ja) * | 2013-02-15 | 2014-08-21 | 村田機械株式会社 | 搬送台車、搬送台車の駆動制御方法、及び搬送台車の駆動制御プログラム |
US9333649B1 (en) * | 2013-03-15 | 2016-05-10 | Industrial Perception, Inc. | Object pickup strategies for a robotic device |
US9346547B2 (en) * | 2013-08-26 | 2016-05-24 | Google Inc. | Mechanisms for lowering a payload to the ground from a UAV |
US9573684B2 (en) * | 2013-10-26 | 2017-02-21 | Amazon Technologies, Inc. | Unmanned aerial vehicle delivery system |
US11087268B2 (en) | 2013-12-02 | 2021-08-10 | United Parcel Service Of America, Inc. | Systems and methods for delivering an item to a dynamic location |
US20150158599A1 (en) | 2013-12-10 | 2015-06-11 | Michael Sisko | Robotic aerial vehicle delivery system and method |
US9177481B2 (en) | 2013-12-13 | 2015-11-03 | Sikorsky Aircraft Corporation | Semantics based safe landing area detection for an unmanned vehicle |
US10839336B2 (en) * | 2013-12-26 | 2020-11-17 | Flir Detection, Inc. | Unmanned delivery |
EP3092625B1 (en) * | 2014-01-10 | 2018-06-27 | Pictometry International Corp. | Unmanned aircraft structure evaluation system and method |
US9336506B2 (en) * | 2014-05-02 | 2016-05-10 | Google Inc. | Machine-readable delivery platform for automated package delivery |
US9422139B1 (en) * | 2014-05-19 | 2016-08-23 | Google Inc. | Method of actively controlling winch swing via modulated uptake and release |
US9311820B2 (en) * | 2014-05-20 | 2016-04-12 | Verizon Patent And Licensing Inc. | Configurability options for information, airspace, and property utilized by an unmanned aerial vehicle platform |
US9354296B2 (en) * | 2014-05-20 | 2016-05-31 | Verizon Patent And Licensing Inc. | Dynamic selection of unmanned aerial vehicles |
EP3145811A4 (en) | 2014-05-23 | 2018-05-23 | LR Acquisition, LLC | Unmanned aerial copter for photography and/or videography |
US9817396B1 (en) * | 2014-06-09 | 2017-11-14 | X Development Llc | Supervisory control of an unmanned aerial vehicle |
US9617011B2 (en) * | 2014-06-24 | 2017-04-11 | Sikorsky Aircraft Corporation | Probabilistic safe landing area determination |
US9321531B1 (en) * | 2014-07-08 | 2016-04-26 | Google Inc. | Bystander interaction during delivery from aerial vehicle |
US10163177B2 (en) | 2014-07-31 | 2018-12-25 | Emmett Farris | System and method for controlling drone delivery or pick up during a delivery or pick up phase of drone operation |
US9639088B2 (en) | 2014-08-14 | 2017-05-02 | Sikorsky Aircraft Corporation | Autonomous long-range landing using sensor data |
US10275733B2 (en) * | 2014-08-15 | 2019-04-30 | Paypal, Inc. | Delivery confirmation using a wireless beacon |
US9849981B1 (en) * | 2014-08-28 | 2017-12-26 | X Development Llc | Payload-release device position tracking |
US9174733B1 (en) * | 2014-08-28 | 2015-11-03 | Google Inc. | Payload-release device and operation thereof |
US9580173B1 (en) * | 2014-08-28 | 2017-02-28 | X Development Llc | Translational correction of payload-release device based on tracked position |
US9359074B2 (en) * | 2014-09-08 | 2016-06-07 | Qualcomm Incorporated | Methods, systems and devices for delivery drone security |
US9731821B2 (en) * | 2014-09-10 | 2017-08-15 | International Business Machines Corporation | Package transport by unmanned aerial vehicles |
US9459620B1 (en) | 2014-09-29 | 2016-10-04 | Amazon Technologies, Inc. | Human interaction with unmanned aerial vehicles |
US9868526B2 (en) | 2014-10-15 | 2018-01-16 | W. Morrison Consulting Group, Inc. | Airborne drone delivery network and method of operating same |
US9244147B1 (en) * | 2014-10-22 | 2016-01-26 | Google Inc. | Automated package delivery to a delivery receptacle |
US9348333B1 (en) * | 2014-12-08 | 2016-05-24 | Amazon Technologies, Inc. | Modular air delivery |
US10997544B1 (en) * | 2014-12-11 | 2021-05-04 | Amazon Technologies, Inc. | Delivery location identifiers |
WO2016098050A1 (en) * | 2014-12-17 | 2016-06-23 | Husqvarna Ab | Multi-sensor, autonomous robotic vehicle with mapping capability |
US9536216B1 (en) * | 2014-12-18 | 2017-01-03 | Amazon Technologies, Inc. | Delivery of packages by unmanned aerial vehicles |
US9489852B1 (en) * | 2015-01-22 | 2016-11-08 | Zipline International Inc. | Unmanned aerial vehicle management system |
US20160307447A1 (en) * | 2015-02-13 | 2016-10-20 | Unmanned Innovation, Inc. | Unmanned aerial vehicle remote flight planning system |
US10176447B2 (en) * | 2015-02-16 | 2019-01-08 | International Business Machines Corporation | Autonomous delivery of items |
US9809305B2 (en) * | 2015-03-02 | 2017-11-07 | Amazon Technologies, Inc. | Landing of unmanned aerial vehicles on transportation vehicles for transport |
US9880551B2 (en) * | 2015-03-06 | 2018-01-30 | Robotic Research, Llc | Point-and-click control of unmanned, autonomous vehicle using omni-directional visors |
US10613528B2 (en) * | 2015-03-06 | 2020-04-07 | Alberto Daniel Lacaze | Point-and-click control of unmanned, autonomous vehicle using omni-directional visors |
WO2016154551A1 (en) * | 2015-03-26 | 2016-09-29 | Matternet, Inc. | Route planning for unmanned aerial vehicles |
CN112908042A (zh) * | 2015-03-31 | 2021-06-04 | 深圳市大疆创新科技有限公司 | 用于操作无人飞行器的***和遥控器 |
US9488979B1 (en) | 2015-04-14 | 2016-11-08 | Zipline International Inc. | System and method for human operator intervention in autonomous vehicle operations |
US10406045B2 (en) * | 2015-06-22 | 2019-09-10 | Stryker Corporation | Patient support apparatuses with navigation and guidance systems |
US10600020B2 (en) * | 2015-07-08 | 2020-03-24 | Here Global B.V. | Method and apparatus for generating delivery data models for aerial package delivery |
CN204965489U (zh) * | 2015-08-13 | 2016-01-13 | 杭州若联科技有限公司 | 一种智能快递*** |
CN105046835A (zh) * | 2015-08-26 | 2015-11-11 | 广州极飞电子科技有限公司 | 物品接收方法和装置、物品投递方法及*** |
CN105139178A (zh) * | 2015-09-15 | 2015-12-09 | 余江 | 基于无人飞行器的快递方法和*** |
WO2017053378A1 (en) * | 2015-09-23 | 2017-03-30 | Wal-Mart Stores, Inc. | Portable unmanned delivery aircraft launch systems, and methods of delivering products utilizing aircraft launch systems |
US10088736B2 (en) * | 2015-09-24 | 2018-10-02 | Amazon Technologies, Inc. | Unmanned aerial vehicle descent |
US10071804B1 (en) * | 2015-09-28 | 2018-09-11 | Amazon Technologies, Inc. | Delivery drop rate modulation |
US20170255896A1 (en) * | 2016-03-04 | 2017-09-07 | Jesse Van Dyke | Unattended Delivery Drop Box |
US9743239B1 (en) * | 2015-09-30 | 2017-08-22 | Amazon Technologies, Inc. | Determining routing points and delivery points |
US10008123B2 (en) * | 2015-10-20 | 2018-06-26 | Skycatch, Inc. | Generating a mission plan for capturing aerial images with an unmanned aerial vehicle |
US9818304B2 (en) * | 2015-10-28 | 2017-11-14 | Here Global B.V. | Method and apparatus for representing an aerial delivery path |
JP2019503295A (ja) * | 2015-11-10 | 2019-02-07 | マターネット, インコーポレイテッドMatternet, Inc. | 無人航空機を使用した輸送のための方法及びシステム |
US10665115B2 (en) * | 2016-01-05 | 2020-05-26 | California Institute Of Technology | Controlling unmanned aerial vehicles to avoid obstacle collision |
US20190031346A1 (en) * | 2016-01-29 | 2019-01-31 | Garuda Robotics Pte. Ltd. | System and method for controlling an unmanned vehicle and releasing a payload from the same |
US10291348B2 (en) * | 2016-02-02 | 2019-05-14 | Bao Tran | Systems and methods for control of drones |
US9835709B2 (en) * | 2016-02-02 | 2017-12-05 | Bao Tran | Systems and methods for permission based control of robots |
US20180025649A1 (en) * | 2016-02-08 | 2018-01-25 | Unmanned Innovation Inc. | Unmanned aerial vehicle privacy controls |
US10023311B2 (en) * | 2016-03-10 | 2018-07-17 | International Business Machines Corporation | Automatic painting system with drone, user interface and computer vision |
US9792575B2 (en) * | 2016-03-11 | 2017-10-17 | Route4Me, Inc. | Complex dynamic route sequencing for multi-vehicle fleets using traffic and real-world constraints |
US20180364741A1 (en) * | 2016-03-11 | 2018-12-20 | Raytheon Bbn Technologies Corp. | Human indication of target drone for interception |
US9969495B2 (en) * | 2016-04-29 | 2018-05-15 | United Parcel Service Of America, Inc. | Unmanned aerial vehicle pick-up and delivery systems |
US10538327B2 (en) * | 2016-05-04 | 2020-01-21 | Walmart Apollo, Llc | Systems and methods for transporting products via unmanned aerial vehicles |
US20170323257A1 (en) * | 2016-05-06 | 2017-11-09 | Elwha Llc | Systems and methods for adjusting a pick up schedule for an unmanned aerial vehicle |
US10220964B1 (en) * | 2016-06-21 | 2019-03-05 | Amazon Technologies, Inc. | Unmanned aerial vehicle sensor calibration validation before flight |
US9823089B1 (en) * | 2016-06-21 | 2017-11-21 | Amazon Technologies, Inc. | Unmanned aerial vehicle sensor calibration as part of departure from a materials handling facility |
US10460279B2 (en) * | 2016-06-28 | 2019-10-29 | Wing Aviation Llc | Interactive transport services provided by unmanned aerial vehicles |
US9904901B2 (en) * | 2016-06-30 | 2018-02-27 | International Business Machines Corporation | Delivery location determination |
US10029787B1 (en) * | 2016-06-30 | 2018-07-24 | X Development Llc | Interactive transport services provided by unmanned aerial vehicles |
EP3439799B1 (en) * | 2016-08-12 | 2019-07-24 | Amazon Technologies Inc. | Object sensing and handling system |
US10497129B1 (en) * | 2016-08-31 | 2019-12-03 | Amazon Technologies, Inc. | Image-based weather condition detection |
US11429917B2 (en) * | 2016-09-02 | 2022-08-30 | Home Valet, Inc. | System and method for robotic delivery |
US10121117B1 (en) * | 2016-09-08 | 2018-11-06 | Amazon Technologies, Inc. | Drone location signature filters |
CA3030349A1 (en) * | 2016-09-28 | 2018-05-05 | Federal Express Corporation | Systems and methods for monitoring the internal storage contents of a shipment storage using one or more internal monitor drones |
US9940840B1 (en) * | 2016-10-06 | 2018-04-10 | X Development Llc | Smart platooning of vehicles |
US10789567B1 (en) * | 2016-10-07 | 2020-09-29 | Shmuel Ur Innovation Ltd | Drone based delivery system using vehicles |
US20200286034A1 (en) * | 2017-09-25 | 2020-09-10 | Shmuel Ur Innovation Ltd | Drone based delivery system using vehicles |
US10460280B2 (en) * | 2016-10-11 | 2019-10-29 | International Business Machines Corporation | Methods and systems for multiple drone delivery system |
US10445523B2 (en) * | 2016-10-14 | 2019-10-15 | Google Llc | Information privacy in virtual reality |
US10353388B2 (en) * | 2016-10-17 | 2019-07-16 | X Development Llc | Drop-off location planning for delivery vehicle |
US11627450B2 (en) * | 2016-10-20 | 2023-04-11 | Motional Ad Llc | Identifying stopping place for autonomous vehicle |
US10681513B2 (en) * | 2016-10-20 | 2020-06-09 | nuTonomy Inc. | Identifying a stopping place for an autonomous vehicle |
US10351239B2 (en) * | 2016-10-21 | 2019-07-16 | Drone Delivery Canada Corp. | Unmanned aerial vehicle delivery system |
US20180130159A1 (en) * | 2016-11-10 | 2018-05-10 | Wal-Mart Stores, Inc. | Systems and methods for delivering products via autonomous ground vehicles to restricted areas designated by customers |
US10373097B2 (en) * | 2016-11-16 | 2019-08-06 | Staples, Inc. | Autonomous multimodal logistics |
WO2018111618A1 (en) * | 2016-12-12 | 2018-06-21 | Walmart Apollo, Llc | Systems and methods for delivering products via autonomous ground vehicles to vehicles designated by customers |
WO2018118766A1 (en) * | 2016-12-21 | 2018-06-28 | Walmart Apollo, Llc | Systems and methods for delivering products via unmanned aerial vehicles to delivery locations designated by customers |
KR101756946B1 (ko) * | 2017-01-20 | 2017-07-11 | 장수진 | 경도선/위도선을 기반으로 교통로를 구성하고, 지도 검색을 수행하는 방법 및 장치 |
WO2018156284A1 (en) * | 2017-02-21 | 2018-08-30 | Walmart Apollo, Llc | Systems and methods for delivering merchandise using unmanned aerial vehicles |
US10384690B2 (en) * | 2017-04-03 | 2019-08-20 | nuTonomy Inc. | Processing a request signal regarding operation of an autonomous vehicle |
WO2018193629A1 (ja) * | 2017-04-21 | 2018-10-25 | 楽天株式会社 | バッテリー装着システム、バッテリー装着方法、及びプログラム |
US10102758B1 (en) * | 2017-05-02 | 2018-10-16 | Here Global B.V. | Method and apparatus for privacy-sensitive routing of an aerial drone |
US10775792B2 (en) * | 2017-06-13 | 2020-09-15 | United Parcel Service Of America, Inc. | Autonomously delivering items to corresponding delivery locations proximate a delivery route |
US20180373269A1 (en) * | 2017-06-26 | 2018-12-27 | Walmart Apollo, Llc | Systems and methods using a backup navigational tool for unmanned aerial vehicles delivering merchandise |
JP2020529660A (ja) * | 2017-07-28 | 2020-10-08 | ニューロ・インコーポレーテッドNuro Incorporated | 自律車両および半自律車両による食料および飲料配達システム |
KR101924729B1 (ko) * | 2017-08-02 | 2018-12-03 | 서울대학교산학협력단 | 드론을 활용한 통합 물류 운용 시스템 및 그 방법 |
US10545500B2 (en) * | 2017-08-02 | 2020-01-28 | Wing Aviation Llc | Model for determining drop-off spot at delivery location |
US10621448B2 (en) * | 2017-08-02 | 2020-04-14 | Wing Aviation Llc | Systems and methods for determining path confidence for unmanned vehicles |
US10393528B2 (en) * | 2017-08-02 | 2019-08-27 | Wing Aviation Llc | Systems and methods for navigation path determination for unmanned vehicles |
US9992449B1 (en) * | 2017-08-10 | 2018-06-05 | Everysight Ltd. | System and method for sharing sensed data between remote users |
US11320837B2 (en) * | 2017-09-01 | 2022-05-03 | Intel Corporation | Federated automated interoperation between premises and autonomous resources |
US9947228B1 (en) * | 2017-10-05 | 2018-04-17 | StradVision, Inc. | Method for monitoring blind spot of vehicle and blind spot monitor using the same |
US10671960B2 (en) * | 2017-10-13 | 2020-06-02 | Dash Systems, Inc. | System and method for performing precision guided air to ground package delivery |
US11079757B1 (en) * | 2017-11-20 | 2021-08-03 | Amazon Technologies, Inc. | Unmanned aerial vehicles to survey locations and collect data about different signal sources |
US11004345B2 (en) * | 2018-07-31 | 2021-05-11 | Walmart Apollo, Llc | Systems and methods for generating and monitoring flight routes and buffer zones for unmanned aerial vehicles |
WO2020056309A1 (en) * | 2018-09-14 | 2020-03-19 | Flirtey Holdings, Inc. | Uav facility |
US10535201B1 (en) * | 2019-02-15 | 2020-01-14 | Capital One Services, Llc | Utilizing machine learning to generate augmented reality vehicle information for a scale model of a vehicle |
JP7192631B2 (ja) * | 2019-04-11 | 2022-12-20 | トヨタ自動車株式会社 | 情報処理システム及び情報処理方法 |
GB2588783A (en) * | 2019-11-06 | 2021-05-12 | Ford Global Tech Llc | Manoeuvring items into a boot space |
US11402214B2 (en) * | 2019-12-10 | 2022-08-02 | Here Global B.V. | Method and apparatus for providing aerial route calculation in a three-dimensional space |
US11410560B2 (en) * | 2019-12-10 | 2022-08-09 | Here Global B.V. | Method and apparatus for representing an aerial route in a three-dimensional space |
US11431894B2 (en) * | 2020-02-06 | 2022-08-30 | Palo Alto Research Center Incorporated | System and method for smart-image capturing |
US11185182B2 (en) * | 2020-02-29 | 2021-11-30 | Hall Labs Llc | Package delivery placement system |
US10950076B1 (en) * | 2020-02-29 | 2021-03-16 | Hall Labs Llc | Garage access unit |
US11823372B2 (en) * | 2020-04-12 | 2023-11-21 | International Business Machines Corporation | Delivery package damage detection using photogrammetry models |
US11797019B2 (en) * | 2020-07-20 | 2023-10-24 | Ford Global Technologies, Llc | Rugged terrain vehicle design and route optimization |
US11754414B2 (en) * | 2021-05-13 | 2023-09-12 | Ford Global Technologies, Llc | Systems and methods to provide last mile assistance to a delivery robot |
AU2022476896A1 (en) * | 2021-10-19 | 2024-05-30 | Wing Aviation Llc | Processes for generating and updating flyable airspace for unmanned aerial vehicles |
-
2016
- 2016-10-17 US US15/295,995 patent/US10353388B2/en active Active
-
2017
- 2017-09-18 AU AU2017345067A patent/AU2017345067B2/en active Active
- 2017-09-18 CN CN202010781726.9A patent/CN111966114A/zh active Pending
- 2017-09-18 WO PCT/US2017/051998 patent/WO2018075177A1/en unknown
- 2017-09-18 CN CN201780076489.2A patent/CN110062919B/zh active Active
- 2017-09-18 EP EP17780259.2A patent/EP3519905B1/en active Active
-
2019
- 2019-06-03 US US16/429,842 patent/US11353892B2/en active Active
-
2020
- 2020-12-16 AU AU2020289790A patent/AU2020289790B2/en active Active
-
2022
- 2022-05-26 US US17/825,295 patent/US20220357753A1/en not_active Abandoned
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003060752A1 (en) * | 2002-01-11 | 2003-07-24 | Sap Aktiengesellschaft | Context-aware and real-time item tracking system architecture and scenarios |
US20110010023A1 (en) * | 2005-12-03 | 2011-01-13 | Kunzig Robert S | Method and apparatus for managing and controlling manned and automated utility vehicles |
US20140180914A1 (en) * | 2007-01-12 | 2014-06-26 | Raj Abhyanker | Peer-to-peer neighborhood delivery multi-copter and method |
CN103108806A (zh) * | 2010-07-02 | 2013-05-15 | 山德尔埃维翁尼克斯有限公司 | 飞机悬停***和方法 |
WO2013036709A1 (en) * | 2011-09-07 | 2013-03-14 | Crown Equipment Limited | Method and apparatus for using pre-positioned objects to localize an industrial vehicle |
CN103782247A (zh) * | 2011-09-07 | 2014-05-07 | 克朗设备有限公司 | 用于使用预先安置的物体定位工业车辆的方法和装置 |
US20150081343A1 (en) * | 2013-09-18 | 2015-03-19 | Easypost | System and methods for enabling efficient shipping and delivery |
US20150302495A1 (en) * | 2014-02-17 | 2015-10-22 | Bruce E. Stuckman | System, delivery device and methods for use therewith |
US20150248640A1 (en) * | 2014-02-28 | 2015-09-03 | Nokia Corporation | 3d model and beacon for automatic delivery of goods |
CN105306500A (zh) * | 2014-06-19 | 2016-02-03 | 赵海 | 一种基于四轴飞行器的快递运输***、快递运输方法及单目避障方法 |
US20160027207A1 (en) * | 2014-07-22 | 2016-01-28 | Vorwerk & Co. Interholding Gmbh | Method for cleaning or processing a room by means of an autonomously mobile device |
Also Published As
Publication number | Publication date |
---|---|
EP3519905B1 (en) | 2021-06-16 |
WO2018075177A1 (en) | 2018-04-26 |
CN110062919B (zh) | 2020-09-01 |
CN110062919A (zh) | 2019-07-26 |
AU2017345067A1 (en) | 2019-05-23 |
AU2020289790A1 (en) | 2021-01-21 |
US10353388B2 (en) | 2019-07-16 |
US20180107211A1 (en) | 2018-04-19 |
US20190286124A1 (en) | 2019-09-19 |
US11353892B2 (en) | 2022-06-07 |
EP3519905A1 (en) | 2019-08-07 |
US20220357753A1 (en) | 2022-11-10 |
AU2017345067B2 (en) | 2020-09-17 |
AU2020289790B2 (en) | 2022-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110062919B (zh) | 递送车辆的放下地点规划 | |
US11914369B2 (en) | Multi-sensor environmental mapping | |
JP6487010B2 (ja) | ある環境内で無人航空機を制御する方法、ある環境のマップを生成する方法、システム、プログラムおよび通信端末 | |
US20230122535A1 (en) | Processes for Generating and Updating Flyable Airspace for Unmanned Aerial Vehicles | |
US20230312091A1 (en) | Semantic Adjustment of Unmanned Aerial Vehicle Delivery Points | |
US20230316739A1 (en) | Semantic Abort of Unmanned Aerial Vehicle Deliveries | |
US20240168493A1 (en) | Automatic Selection of Delivery Zones Using Survey Flight 3D Scene Reconstructions | |
AU2022203829B2 (en) | Stereo abort of unmanned aerial vehicle deliveries | |
US12050475B2 (en) | Unmanned aerial vehicle trajectories for nudging and un-nudging | |
AU2022252792B2 (en) | Unmanned aerial vehicle trajectories for nudging and un-nudging | |
US20240194081A1 (en) | Context-Based Navigation of Uncrewed Vehicles Using Relative Position Markers | |
US20240020876A1 (en) | Machine-Learned Monocular Depth Estimation and Semantic Segmentation for 6-DOF Absolute Localization of a Delivery Drone | |
US20230316741A1 (en) | Method for Semantic Localization of an Unmanned Aerial Vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20201120 |
|
WD01 | Invention patent application deemed withdrawn after publication |