TWI784102B - 用於操作機器人式運載工具或用於機器人式運載工具中的方法、處理設備及非暫時性處理器可讀取儲存媒體 - Google Patents

用於操作機器人式運載工具或用於機器人式運載工具中的方法、處理設備及非暫時性處理器可讀取儲存媒體 Download PDF

Info

Publication number
TWI784102B
TWI784102B TW107144455A TW107144455A TWI784102B TW I784102 B TWI784102 B TW I784102B TW 107144455 A TW107144455 A TW 107144455A TW 107144455 A TW107144455 A TW 107144455A TW I784102 B TWI784102 B TW I784102B
Authority
TW
Taiwan
Prior art keywords
robotic vehicle
classification
proximity threshold
processor
objects
Prior art date
Application number
TW107144455A
Other languages
English (en)
Other versions
TW201930918A (zh
Inventor
麥克 塔凡羅
丹尼爾 梅林傑三世
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW201930918A publication Critical patent/TW201930918A/zh
Application granted granted Critical
Publication of TWI784102B publication Critical patent/TWI784102B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/003—Flight plan management
    • G08G5/0039—Modification of a flight plan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • G08G5/045—Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • B64U30/29—Constructional aspects of rotors or rotor supports; Arrangements thereof
    • B64U30/299—Rotor guards

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

各個實施例包括用於基於物件的分類或類型來自動地調整由碰撞避免系統允許機器人式運載工具接近物件的最小距離的方法、和實現此種方法的設備和機器人式運載工具處理設備。

Description

用於操作機器人式運載工具或用於機器人式運載工具中的方 法、處理設備及非暫時性處理器可讀取儲存媒體
本申請案係關於基於偵測到的物件的分類的可調整的物件避開接近度閾值。
諸如空中機器人式運載工具或「無人機」之類的機器人式運載工具通常用於各種應用，諸如監視、攝影及/或貨物遞送。許多機器人式運載工具使用避障系統，其與運載工具控制系統相結合地工作以避免撞擊人、財產和物件。例如，一旦機器人式運載工具偵測到附近物件，在控制器內執行的避障系統就可以防止機器人式運載工具比某個最小距離(其在本文中被稱為「接近度閾值」)更近地接近物件。接近度閾值通常是固定距離。在包括螺旋槳葉片的空中機器人式運載工具的情況下，接近度閾值可以是幾英尺，以避免由於與旋轉的螺旋槳葉片接觸造成的損壞及/或傷害。
各個實施例包括用於利用碰撞避免系統來操作機器人式運載工具的設備、系統和方法，該碰撞避免系 統被配置為避開物件達取決於物件的分類的接近度閾值。在各個實施例中，由機器人式運載工具的處理器實現的方法可以包括：處理來自一或多個感測器的感測器資料，以偵測該機器人式運載工具附近的物件；基於該感測器資料來決定該機器人式運載工具附近的該物件的分類；基於該機器人式運載工具附近的該物件的該分類，來調整碰撞避免系統中的接近度閾值設置；及使用經調整的接近度閾值來控制該機器人式運載工具以用於碰撞避免。
一些實施例亦可以包括：決定該機器人式運載工具附近的該物件是否對該機器人式運載工具造成障礙或潛在障礙。在此種實施例中，決定該機器人式運載工具附近的物件的分類可以包括：回應於決定該物件對該機器人式運載工具造成障礙或潛在障礙，來決定該物件的該分類；及基於該物件的該分類來調整該碰撞避免系統中的該接近度閾值設置可以包括：基於被決定為對該機器人式運載工具造成障礙或潛在障礙的該物件的該分類，來調整該碰撞避免系統中的該接近度閾值設置。
在一些實施例中，基於該機器人式運載工具附近的該物件的該分類來調整該接近度閾值可以包括：將該接近度閾值從預設接近度閾值改變為與該物件的該分類相對應的接近度閾值。
在一些實施例中，決定該機器人式運載工具附近的該物件的該分類可以包括：決定該物件是有生命的物件還是無生命的物件，以及基於該物件的該分類來調整該 碰撞避免系統中的該接近度閾值設置可以包括進行以下各項中的一項或兩項：回應於該物件的該分類是有生命的而增加該接近度閾值，或者回應於該物件的該分類是無生命的而降低該接近度閾值。
在一些實施例中，基於該物件的該分類來調整該碰撞避免系統中的該接近度閾值設置可以包括：決定與該物件的所決定的分類相對應的該接近度閾值。在此種實施例中，決定與該物件的所決定的分類相對應的該接近度閾值可以包括：存取記憶體中的用於與該物件的該分類相關的該接近度閾值的資料結構。
一些實施例亦可以包括：回應於決定該機器人式運載工具附近不存在物件，將該碰撞避免系統中的該接近度閾值設置恢復到預設設置。
在一些實施例中，決定該機器人式運載工具附近的該物件的分類可以包括：決定對該機器人式運載工具造成障礙或潛在障礙的所有物件的分類。在此種實施例中，基於該機器人式運載工具附近的該物件的該分類來調整該碰撞避免系統中的接近度閾值設置可以包括：產生對該機器人式運載工具造成障礙或潛在障礙的所有物件的地圖，在該地圖中，與每個物件相對應的基於該物件的分類的接近度閾值可以被添加作為該物件的體積周圍的排除周界。在此種實施例中，使用經調整的接近度閾值來控制該機器人式運載工具以用於碰撞避免可以包括：決定保持在所有偵測到的障礙物的該排除周界之外的繞行路 徑；及控制該機器人式運載工具以執行該繞行路徑。在此種實施例中，預設接近度閾值可以用於添加在針對其而言未決定分類的任何物件周圍的排除周界。
另外的實施例包括一種具有處理器的機器人式運載工具，該處理器被配置有處理器可執行指令以執行上文概述的方法中的任何方法的操作。另外的實施例包括用於在機器人式運載工具中使用的處理設備，其被配置為執行上文概述的方法中的任何方法的操作。另外的實施例包括一種具有儲存在其上的處理器可執行指令的非暫時性處理器可讀取媒體，該等處理器可執行指令被配置為使得機器人式運載工具的處理器執行上文概述的方法中的任何方法的操作。
10:環境
20:基地台
25:無線通訊鏈路
31:樹
32:樹
33:樹
34:樹
40:人
50:狗
60:接近度閾值
62:接近度閾值
64:接近度閾值
66:半徑
68:半徑
70:路徑/基地台
72:路徑
75:遠端計算設備
80:遠端伺服器
90:通訊網路
120:轉子
125:電動機
200:機器人式運載工具
210:處理設備
215:片上系統(SoC)
220:處理器
222:記憶體
224:通訊介面
225:匯流排
226:輸入單元
230:非揮發性儲存記憶體
232:通訊部件
234:硬體介面
235:匯流排
236:相機
250:螺旋槳防護裝置
300:方法
310:方塊
320:方塊
325:決定方塊
330:方塊
335:決定方塊
340:決定方塊
345:決定方塊
350:方塊
355:方塊
360:方塊
370:方塊
380:方法
400:方法
410:方塊
420:方塊
430:方塊
440:方塊
500:方法
502:方塊
504:方塊
506:方塊
508:方塊
510:決定方塊
512:方塊
514:方塊
516:決定方塊
D1:寬度/徑向長度
被併入本文並且構成本說明書的一部分的附圖示出本發明的示例性實施例，並且連同上文提供的概括描述和下文提供的實施方式一起用於解釋本發明的特徵。
圖1A和圖1B是根據各個實施例的其中機器人式運載工具避開障礙物至少達取決於每個障礙物的分類的接近度閾值的環境的平面圖。
圖1C是根據各個實施例的圖1A的環境的平面圖，在該環境中，機器人式運載工具執行路徑規劃以避開各個障礙物達與每個障礙物的決定分類相對應的排除周界距離。
圖2是示出適合於在各個實施例中使用的機器人式運載工具的部件和地面站的方塊圖。
圖3A是示出根據各個實施例的用於操作機器人式運載工具以避開物件至少達取決於該物件的分類的接近度閾值的方法的過程流程圖。
圖3B是示出根據各個實施例的用於操作機器人式運載工具以避開障礙物至少達取決於每個障礙物的分類的接近度閾值的方法的過程流程圖。
圖4是示出根據各個實施例的用於操作機器人式運載工具(包括進行路徑規劃)以避開每個障礙物至少達取決於該障礙物的分類的排除周界的方法的過程流程圖。
圖5是示出根據各個實施例的將物件進行分類並且基於每個物件的分類來將排除周界距離指派給物件的方法的過程流程圖。
將參照附圖來詳細描述各個實施例。在可能的情況下，將在各附圖中使用相同的元件符號來代表相同或相似的部分。對特定實例和實現方式的參考是出於說明性目的，而不意欲限制申請專利範圍的範圍。
各個實施例包括用於基於障礙物或物件的分類或類型來自動地調整由碰撞避免系統允許機器人式運載工具接近物件的最小距離的方法、和實現此種方法的機器人式運載工具處理設備。基於障礙物或物件的分類或類 型來調整在碰撞避免系統中使用的最小接近距離或接近度閾值使得機器人式運載工具能夠以比使用固定接近度閾值的可行的範圍更大的範圍進行操作，同時與敏感的或有價值的物件保持安全距離。在一些實施例中，分類可以是：物件或障礙物是有生命的還是無生命的。在一些實施例中，分類可以是：物件或障礙物是否是敏感的或有價值的物件，諸如物件或障礙物是否被分類為人、動物、結構體、汽車、藝術品、玻璃器皿等。被指派給物件或障礙物的接近度閾值可以根據物件或障礙物的類型或分類而變化，諸如，與成人相比，為兒童指派更大的接近度閾值。預設接近度閾值可以用於針對其未決定分類的物件。在一些實施例中，機器人式運載工具的處理器可以決定正被接近的物件的分類，並且基於該物件的分類來調整由碰撞避免系統使用的接近度閾值。在一些實施例中，機器人式運載工具的處理器可以對所有偵測到的物件進行分類，基於分類來決定針對每個物件的排除周界，並且決定繞行路徑以保持在所有偵測到的物件的排除周界之外。
如本文中所使用的，術語「機器人式運載工具」和「無人機」代表各種類型的運載工具中的一種運載工具，該等類型的運載工具包括被配置為提供一些自主式或半自主式能力的機載計算設備。機器人式運載工具的實例係包括但不限於：機器人式運載工具(諸如，無人駕駛飛行器(UAV))；地面運載工具(例如，自主式或半自主式汽車、抽真空機器人等)；水基運載工具(亦即，被 配置用於在水面上或在水下操作的運載工具)；天基運載工具(例如，航天器或航天探測器)；及/或其某種組合。在一些實施例中，機器人式運載工具可以是有人駕駛的。在其他實施例中，機器人式運載工具可以是無人駕駛的。在其中機器人式運載工具是自主式的實施例中，機器人式運載工具可以包括機載計算設備，該機載計算設備被配置為在沒有諸如來自操作人員(例如，經由遠端計算設備)的遠端操作指令的情況下(亦即，自主地)操縱及/或導航機器人式運載工具。在其中機器人式運載工具是半自主式的實施例中，機器人式運載工具可以包括機載計算設備，該機載計算設備被配置為接收諸如來自操作人員(例如，經由遠端計算設備)的一些資訊或指令，並且與所接收的資訊或指令一致地來自主地操縱及/或導航機器人式運載工具。在一些實現方式中，機器人式運載工具可以是飛行器(無人駕駛或有人駕駛)，其可以是旋翼飛機或有翼飛機。例如，旋翼飛機(亦被稱為多旋翼飛行器或多旋翼直升機)可以包括複數個推進單元(例如，轉子/螺旋槳)，其可以為機器人式運載工具提供推進力及/或升力。旋翼飛機的具體非限制性實例係包括三旋翼直升機(三個轉子)、四旋翼直升機(四個轉子)、六旋翼直升機(六個轉子)和八旋翼直升機(八個轉子)。然而，旋翼飛機可以包括任意數量的轉子。
術語「障礙物」在本文中用於代表機器人式運載工具必須在其周圍進行操縱以避免碰撞的物件。
術語「接近度閾值」在本文中用於代表碰撞避免系統將在控制機器人式運載工具停止或改變行進方向以遠離物件之前允許的在物件和機器人式運載工具之間的最小距離。類似地，術語「排除周界」在本文中用於代表機器人式運載工具應當避開的以確保機器人式運載工具保持在接近度閾值之外的在物件周圍的距離。
在圖1A和圖1B中示出根據各個實施例的機器人式運載工具200在環境10內的操作，環境10包括各種樹31、32、33、34以及遛狗50的人40。參照圖1A，當機器人式運載工具200接近物件(例如，樹31-34)時，機器人式運載工具200內的處理器可以處理從機載感測器(例如，相機、雷達、雷射雷達等)接收的資料以決定附近物件的類型或分類。在圖1A所示的實例中，機器人式運載工具200的處理器可以將附近物件31-34辨識為樹或非有生命的物件。在一些實施例中，處理器可以決定附近物件31-34沒有被分類為敏感或有價值的物件，特別是若物件不符合給定或預載入的分類的話。在所示的其中附近物件31-34是樹(亦即，不是脆弱或有價值的)的實例中，處理器可以不調整接近度閾值60，並且因此，在處理器中實現的碰撞避免系統可以保持在預設值處。在一些實施例中，接近度閾值60的預設值可以取決於機器人式運載工具200是否配備有螺旋槳防護裝置。在接近度閾值60設置在預設值的情況下，機器人式運載工具200 能夠操縱或遵循使用者控制命令來在所偵測到的物件之間飛行，諸如沿著樹32、33和34之間的路徑。
參照圖1B中所示的實例，在已經經過樹32-34之後，機器人式運載工具200可能接近遛狗50的人40。在偵測到該等物件時，處理器可以處理感測器資料(例如，相機圖像資料)，並且將物件分類為脆弱或有價值的、及/或分類為人和動物。基於該分類，處理器可以調整碰撞避免系統所使用的接近度閾值62、64，以給人40和狗50留出更多距離。進一步地，與碰撞避免系統用於避開狗50的接近度閾值62相比，碰撞避免系統用於避開人40的接近度閾值64可以不同(例如，更大)，這是因為在傷害和責任方面，撞到人的後果可能比撞到動物要嚴重。因此，各個實施例使得機器人式運載工具碰撞避免系統能夠動態地調整機器人式運載工具在環境中操作時能夠接近各個物件的接近程度。
圖1C示出另外的實施例，在該實施例中，可以在規劃路徑時使用針對由機器人式運載工具偵測到的各個物件的接近度閾值，以避免比適當的接近度閾值更近地接近任何物件。參照圖1A-圖1C，沿著路徑70經過的機器人式運載工具200將最終在其路徑中偵測到包括樹31-34、人40和狗50的各物件。在一些實施例中，機器人式運載工具200的處理器可以(諸如，經由視覺處理和圖像辨識方法)評估所偵測到的物件，以決定物件31-34、40、50之每一個物件的類型或分類。隨後，處理器 可以決定應當在碰撞避免系統中實現的針對觀察到的物件31-34、40、50之每一個物件的適當的接近度閾值。因為如所描述的，各個物件具有不同的適當接近度閾值，所以處理器可以將所有經決定的接近度閾值考慮在內，以便繪製在所有偵測到的物件周圍的替代路徑。為了高效地這樣做，處理器可以產生所偵測到的物件之每一個物件的內部地圖，其基於適於該物件的接近度閾值在每個物件周圍添加排除周界。例如，所偵測到的物件之每一個物件的內部地圖可以包括其是超出樹31-34的周界的寬度D1、圍繞人40的半徑66以及圍繞狗50的半徑68的排除周界。在圖1C所示的實例中，圍繞人40的排除周界的範圍(亦即，半徑66)大於圍繞狗50的排除周界(亦即，半徑68)，因為對人造成傷害(以及傷害的後果)的可能性超過對狗造成傷害的可能性。類似地，圍繞樹31-34的排除周界(亦即，額外的徑向長度D1)小於圍繞人40或狗50的排除周界，因為與樹碰撞的後果可能僅限於對機器人式運載工具造成損壞。此種地圖使得處理器能夠隨後決定在所偵測到的物件周圍的繞行或路徑72，這將確保機器人式運載工具200不會比該等物件的對應接近度閾值更近地接近該等物件中的任何物件。
各個實施例可以在被配置為與一或多個通訊網路進行通訊的各種機器人式運載工具內實現，在圖2中示出具有適於與各個實施例一起使用的空中機器人式運載工具200的形式的機器人式運載工具的實例。參照圖 1A-圖2，在任務環境20中操作的空中機器人式運載工具200可以包括複數個轉子120(例如，四個轉子)，每個轉子由對應的電動機125來驅動。空中機器人式運載工具200的主體110可以支撐複數個轉子120和電動機125。在一些情況下，機器人式運載工具110可以包括圍繞轉子120放置的螺旋槳防護裝置250，以減少碰撞可能對物件(諸如人)造成的損害。
空中機器人式運載工具200可以包括一或多個機載感測器，諸如一或多個相機236。空中機器人式運載工具200可以包括處理設備210，其可以進一步包括可以由處理器220用於決定用於控制飛行和導航的運載工具姿態和位置資訊的一或多個姿態感測器，諸如，高度計、陀螺儀、加速度計、電子羅盤、衛星定位系統接收器等。
相機236可以設置在空中機器人式運載工具200上的各個位置上，並且可以包括不同類型的相機。例如，第一組相機236可以面向轉子120之每一個轉子在其旋轉平面中的一側，諸如安裝在空中機器人式運載工具200的中心部分附近。另外或替代地，第二組相機236可以安裝在轉子120下方，諸如在被配置為偵測螺旋槳防護裝置250是否存在的位置上。空中機器人式運載工具200亦可以包括其他類型的感測器，其包括偵測和測距感測器(諸如，雷達、聲納、雷射雷達等等)。
在處理器220中執行的物件避開系統可以使用由相機236產生的圖像資料以及來自一或多個其他類型的感測器(例如，雷達、聲納、雷射雷達等)的資料。在各個實施例中，從相機236接收的圖像和其他感測器資料可以由物件避開系統進行處理，以在操作期間偵測機器人式運載工具200附近的物件或障礙物。
空中機器人式運載工具200可以包括處理設備210，其可以耦合到驅動轉子120的複數個電動機125之每一個電動機。處理設備210可以被配置為監測和控制空中機器人式運載工具200的各種功能、子系統和部件。例如，處理設備210可以被配置為監測和控制與推進、導航、功率管理、感測器管理及/或穩定性管理有關的各個模組、軟體、指令、電路、硬體等。
處理設備210可以容納用於控制空中機器人式運載工具200的操作的各種電路和設備。例如，處理設備210可以包括處理器220，該處理器220導引對空中機器人式運載工具200的控制。處理器220可以包括：一或多個處理器，其被配置為執行處理器可執行指令(例如，應用、常式、腳本、指令集等)以控制空中機器人式運載工具200的飛行、天線使用和其他操作(其包括各個實施例的操作)。在一些實施例中，處理設備210可以包括記憶體222，該記憶體222耦合到處理器220並且被配置為儲存資料(例如，飛行規劃、獲得的感測器資料、接收的訊息/輸入、應用等)。處理器220和記憶體222連同諸 如(但不限於)以下各項之類的額外元件一起可以被配置為片上系統(SoC)215或者被包括在SoC 215內：通訊介面224、一或多個輸入單元226、非揮發性儲存記憶體230和被配置用於將SoC 215與空中機器人式運載工具200的硬體和部件對接的硬體介面234。處理設備210及/或SoC 215內的部件可以藉由各種電路(諸如，匯流排225、235或另一類似電路)耦合在一起。
處理設備210可以包括多於一個的SoC 215，從而增加處理器220和處理器核心的數量。處理設備210亦可以包括與SoC 215不相關聯的處理器220。單個處理器220可以是多核處理器。各處理器220可以均被配置用於與處理設備210或SoC 215的其他處理器220相同或不同的特定目的。具有相同或不同配置的處理器220和處理器核心中的一或多項可以被群組在一起。處理器220或處理器核心的群組可以被稱為多處理器集群。
術語「片上系統」或「SoC」在本文中通常但並非排除性地用於代表一組互連的電子電路，其包括一或多個處理器(例如，220)、記憶體(例如，222)和通訊介面(例如，224)。SoC 215可以包括各種不同類型的處理器220和處理器核心，諸如，通用處理器、中央處理單元(CPU)、數位訊號處理器(DSP)、圖形處理單元(GPU)、加速處理單元(APU)、處理設備的特定部件的子系統處理器(諸如，用於相機子系統的圖像處理器或用於顯示器的顯示處理器)、輔助處理器、單核 處理器和多核處理器。SoC 215可以進一步體現其他硬體和硬體組合，諸如現場可程式設計閘陣列(FPGA)、特殊應用積體電路(ASIC)、其他可程式設計邏輯設備、個別閘門邏輯、電晶體邏輯、效能監測硬體、看門狗硬體和時間參照。積體電路可以被配置為使得積體電路的部件位於單片的半導體材料(諸如，矽)上。
在各個實施例中，處理設備210可以包括或耦合到用於經由無線通訊鏈路25發送和接收無線信號的一或多個通訊部件232，諸如，無線收發機、機載天線等等。一或多個通訊部件232可以耦合到通訊介面224，並且可以被配置為處理與陸基發射器/接收器(例如，基地台、信標、Wi-Fi存取點、藍芽信標、小型細胞(微微細胞、毫微微細胞等)等)相關聯的無線廣域網(WWAN)通訊信號(例如，蜂巢資料網路)及/或無線區域網路(WLAN)通訊信號(例如，Wi-Fi信號、藍芽信號等)。一或多個通訊部件232可以從無線電節點(諸如，導航信標(例如，超高頻(VHF)全向範圍(VOR)信標)、Wi-Fi存取節點、蜂巢網路基地台、無線電站等)接收資料。
使用處理器220、一或多個通訊部件232和天線的處理設備210可以被配置為與各種遠端計算設備進行無線通訊，各種遠端計算設備的實例係包括基地台或細胞塔(例如，基地台20)、信標、伺服器、智慧型電話、平板設備、或空中機器人式運載工具200可以與其進行通 訊的另一計算設備。處理器220可以經由數據機和天線建立無線通訊鏈路25。在一些實施例中，一或多個通訊部件232可以被配置為支援使用不同的無線電存取技術與不同的遠端計算設備進行多個連接。在一些實施例中，一或多個通訊部件232和處理器220可以在安全通訊鏈路上進行通訊。安全通訊鏈路可以使用加密或另一種安全的通訊方式，以便保護一或多個通訊部件232與處理器220之間的通訊。
空中機器人式運載工具200可以在與基地台70進行通訊的任務環境20中進行操作，基地台70可以經由通訊網路90提供至遠端計算設備75及/或遠端伺服器80的通訊鏈路。基地台70可以諸如經由無線信號提供至空中機器人式運載工具200的無線通訊鏈路25。遠端計算設備75可以被配置為控制基地台70、空中機器人式運載工具200，及/或控制廣域網上的無線通訊，諸如，使用基地台70提供無線存取點及/或其他類似的網路存取點。此外，遠端計算設備75及/或通訊網路90可以提供對遠端伺服器80的存取。空中機器人式運載工具200可以被配置為與遠端計算設備75及/或遠端伺服器80進行通訊，以交換各種類型的通訊和資料，其包括位置資訊、導航命令、資料查詢和任務資料。
空中機器人式運載工具可以使用高度計或導航系統(諸如，全球導航衛星系統(GNSS)、全球定位系統(GPS)等)來導航或決定定位。在一些實施例中， 空中機器人式運載工具200可以使用替代的定位信號源(亦即，除了GNSS、GPS等之外)。空中機器人式運載工具200可以使用與替代信號源相關聯的位置資訊以及額外資訊(例如，結合最近可信的GNSS/GPS位置的航位推算、結合空中機器人式運載工具起飛區域的位置的航位推算等)來進行一些應用中的定位和導航。因此，空中機器人式運載工具200可以使用導航技術的組合(包括航位推算、基於相機的對空中機器人式運載工具200之下及周圍的陸地特徵的辨識(例如，辨識道路、地標、高速公路標牌等))進行導航，該導航技術可以代替或結合GNSS/GPS位置決定和基於偵測到的無線存取點的已知位置的三角量測或三邊量測來使用。
在一些實施例中，空中機器人式運載工具200的處理設備210可以使用各個輸入單元226中的一或多個輸入單元來接收來自操作人員或自動/預程式設計控制裝置的控制指令、資料，及/或來收集用於指示與空中機器人式運載工具200相關的各種狀況的資料。例如，輸入單元226可以接收來自各個部件中的一或多個部件的輸入，該等部件諸如相機或其他成像感測器、偵測和測距感測器(例如，雷達、聲納、雷射雷達等)、麥克風、位置資訊功能單元(例如，用於接收全球定位系統(GPS)座標的GPS接收器)、飛行儀器(例如，姿態指示器、陀螺儀、風速計、加速度計、高度計、羅盤等)、鍵盤等。可以針對白天及/或夜間操作來對相機進行最佳化。
空中機器人式運載工具可以是有翼或旋翼飛機種類。例如，空中機器人式運載工具200可以是旋轉推進設計，其利用由對應的電動機驅動的一或多個轉子120來提供離地升空(或者起飛)以及其他空中移動(例如，前向行進、上升、下降、橫向移動、傾斜、旋轉等)。儘管空中機器人式運載工具200被示為可以利用各個實施例的機器人式運載工具的實例，但是並不意欲暗示或者要求各個實施例限於四旋翼飛行器。
圖3A示出根據一些實施例的用於調整由機器人式運載工具的碰撞避免系統使用的接近度閾值的方法300。參照圖1A-圖3A，方法300可以由處理器(諸如，機器人式運載工具(例如，200)的處理設備(例如，210)內的處理器(220))來執行以偵測物件(例如，120)並且執行動作作為回應。
在方塊310中，機器人式運載工具可以正在正常模式下操作，在正常模式下，處理器正在提供控制信號以控制機器人式運載工具的一或多個電動機以執行使用者命令(例如，使用者控制的操作)或預載入的飛行規劃。在此種正常模式下，當接近物件時，碰撞避免系統可能正在使用預設接近度閾值來操作以決定何時應當實現規避操縱。
在方塊320中，處理器可以從被配置為偵測機器人式運載工具附近的一或多個物件的存在性的一或多個感測器獲得資料。此種感測器的實例係包括相機、雷 達、雷射雷達等等。此種感測器可以包括諸如雷達、聲納和雷射雷達之類的測距感測器，其可以用於偵測物件在範圍內的存在性。此種感測器亦可以包括可以用於對物件進行分類(例如，在方塊330中)的成像感測器，諸如相機或一組相機。為了便於說明，在描述各個實施例的操作時參考了處理相機圖像資料。然而，此種操作可以同樣地適用於測距感測器進行的資料處理。在一些實現方式中，處理器可以基於測距感測器(諸如，雷達、聲納及/或雷射雷達的返回)來偵測機器人式運載工具附近的物件。在一些實現方式中，處理器可以從多個相機接收圖像資料，這可以使得處理器能夠決定到物件的距離(例如，經由體視學)以及在廣角上觀察物件。此種感測器資料可以被儲存在本機記憶體(諸如，緩衝器)中，以支援後續操作中的資料處理。
在決定方塊325中，處理器可以決定是否有在機器人式運載工具附近存在的任何物件。例如，處理器可以決定任何偵測到的物件是否在機器人式運載工具的預定距離內。
回應於決定不存在附近的物件(亦即，決定方塊325=「否」)，在方塊310中，處理器可以繼續正常操作，控制電動機執行使用者命令或預載入的飛行規劃。因此，碰撞避免系統可以繼續使用預設接近度閾值。在一些情況下，在可選方塊360中，處理器可以將接近度閾值恢復到預設值(若尚未處於預設水平的話)。
回應於決定存在一或多個障礙物(亦即，決定方塊325=「是」)，在方塊330中，處理器(或被配置為執行此種分析的另一處理器)可以分析從一或多個感測器獲得的資料，以對機器人式運載工具附近的物件進行辨識和分類。在一些實施例中，處理器可以使用圖像辨識方法來區分圖像內的物件並且分析物件的形狀以對物件進行辨識或分類。例如，處理器可以將圖像資料與物件辨識模型進行比較，以決定物件是可以被辨識為特定物件(例如，基於臉孔辨識的使用者)還是被分類為某些類型的物件(例如，人、動物、樹、汽車、建築物等)。作為另一實例，使用相機圖像資料，處理器可以執行圖像處理分析，以偵測視野內的物件特有的邊緣、品質和其他特徵。在一些實施例中，雷達、聲納及/或雷射雷達資料可以用於偵測和定位附近的物件，隨後在圖像處理中使用該資訊以表徵所偵測到的物件。
作為方塊330中的進一步操作，處理器可以分析偵測到的物件以決定針對每個物件的適當分類。例如，處理器可以對圖像資料執行圖像辨識演算法以決定物件是否被辨識為特定類型。此種圖像辨識過程可以將特定物件的圖像與被分類或可分類物件的資料庫進行比較，以決定是否存在匹配的可能性。此種圖像辨識過程可以使用機器學習來開發用於在將分類指派給物件時使用的模型。
在一些實施例中，在方塊330中，處理器可以根據若干種寬泛的分類來對物件進行歸類，諸如物件是有 生命的還是無生命的，或者物件的類型是否已知是脆弱的等等。在一些實施例中，在方塊330中，處理器可以決定物件的特定類別，諸如，將物件辨識並且分類為成人、兒童、狗、貓、樹等。在一些實施例中，在方塊330中，處理器可以決定物件的特定身份，諸如，辨識特定個體(例如，使用臉孔辨識)或特定動物(例如，家養狗)，其中可以(例如，經由初始訓練常式)針對該特定個體或特定動物來訓練處理器並且可以針對其指定特定的(例如，使用者指派的)接近度閾值。在方塊330中進行的分類越具體，處理器就可以將越多不同的接近度閾值指派給各種物件。
作為在方塊330中對物件進行分類的一部分，處理器可以決定一些物件無法被分類，在此種情況下所決定的分類可以是未知或預設分類。在一些實施例中，可以針對機器人式運載工具附近的所有偵測到的物件執行方塊330中對物件進行分類的操作。在一些實施例中，在方塊330中，可以僅對最靠近的物件或最靠近的幾個物件進行分類。
在決定方塊340中，處理器可以基於在方塊330中決定的物件的分類來決定是否應當改變針對所辨識的障礙物中的任何障礙物的接近度閾值。因此，處理器可以決定在方塊330中被分類的任何物件是否具有與接近度閾值的調整相關聯的、或者針對其而言接近度閾值的調整是合適的分類。例如，處理器可以評估物件分類以決 定所辨識的潛在物件中的一或多個物件是否被分類為有生命的與無生命的、脆弱的或有價值的、人、動物等。在一些實施例或情況下，處理器可以僅評估機器人式運載工具正在接近的或其正在接近機器人式運載工具的彼等物件，而忽略該運載工具正在遠離(亦即，分開距離正在增加)的物件。
回應於決定一或多個偵測到的物件具有針對其而言改變接近度閾值是合適的分類(亦即，決定方塊340=「是」)，在方塊350中，處理器可以將用於碰撞避免的接近度閾值調整到與該物件的分類相對應的距離。在一些實施例中，在方塊350中，處理器可以基於最近物件的分類來調整用於碰撞避免的接近度閾值。在一些實施例中，在方塊350中，處理器可以基於與機器人式運載工具附近的物件中的任何物件相對應的最大的接近度閾值，來調整用於碰撞避免的接近度閾值。在一些實施例中，在方塊350中，處理器可以基於與在機器人式運載工具的預定距離內的物件中的任何物件相對應的最大的接近度閾值，來調整用於碰撞避免的接近度閾值。例如，若處理器已經決定障礙物或潛在障礙物是人，則處理器可以將由碰撞避免系統使用的接近度閾值增加到確保人不會因與機器人式運載工具的無意碰撞而受傷的合適距離。對於不同類型的分類，接近度閾值被調整的量(或所使用的接近度閾值)可以是不同的。例如，用於被分類為動物的物件的接近度閾值可以小於用於被分類為人的物件的接 近度閾值。預設接近度閾值可以用於針對其而言未決定分類的物件(亦即，不改變優先順序閾值)。
在決定方塊340或方塊350中的任一方塊中，處理器可以存取記憶體中的資料表或其他資料結構，其將接近度閾值與物件/障礙物分類相關聯。在各個實施例中，被包括在此種資料表或資料結構中的接近度閾值和物件分類可以是(例如，由製造商)預先定義的、(例如，在註冊或軟體更新過程期間)從資料來源上傳到記憶體的、(例如，在使用者配置程序期間)使用者定義的等等。在一些實施例中，被包括在此種資料表或資料結構中的接近度閾值和物件分類可以經由機器學習程序來填充，在機器學習程序中，處理器隨著時間觀察使用者的操作行為並且對物件進行成像，以及利用觀察到的到物件的最近距離與彼等物件的可辨識特性的相關性來填充資料表。
回應於決定偵測到的物件皆不具有與預設閾值不同的接近度閾值(亦即，決定方塊340=「否」)，在可選方塊360中，處理器可以將接近度閾值恢復到預設值(若尚未處於預設水平的話)。在一些實施例中，預設接近度閾值可以用於針對其而言未決定分類的物件(亦即，不改變優先順序閾值)。
在方塊370中，處理器可以控制機器人式運載工具的電動機，以按照將避開所偵測到的物件至少達新的接近度閾值的方式來操縱。在一些實施例中，機器人式運載工具可以繼續正常地操作，執行使用者命令及/或預載 入的飛行規劃，依賴於碰撞避免系統來防止比當前的接近度閾值設置更近地接近物件。在一些實施例中，處理器可以修改對機器人式運載工具的控制，諸如以調整或修改預載入的飛行規劃以確保機器人式運載工具不會比當前的接近度閾值設置更近地接近偵測到的物件。
如所描述的，在方塊320-325中，處理器可以繼續獲得感測器資料、分析感測器資料以決定任何物件是否在機器人式運載工具附近。若機器人式運載工具附近不存在更多物件(亦即，決定方塊325=「否」)，則在可選方塊360中，處理器可以將接近度閾值恢復到預設水平，並且在方塊310中，繼續執行使用者命令及/或預載入的飛行規劃。每當偵測到潛在障礙物時(亦即，決定方塊325=「是」)，如所描述的，在方塊330-370中，處理器可以：決定是否需要進行接近度閾值改變，進行此種調整，以及利用設置有經調整的接近度閾值的碰撞避免系統來控制機器人式運載工具。
並不是可能在機器人式運載工具附近的所有物件皆可能對運載工具操作造成障礙。在一些實施例中，可以僅對彼等對機器人式運載工具造成潛在障礙的物件執行在對物件進行分類時所涉及的處理。圖3B示出根據一些實施例的用於調整由機器人式運載工具的碰撞避免系統使用的接近度閾值以避開被決定為障礙物或潛在障礙物的物件的方法300。參照圖1A-圖3B，方法380可以由處理器(諸如，機器人式運載工具(例如，200)的處 理設備(例如，210)內的處理器(220))來執行以偵測障礙物(例如，120)並且執行動作作為回應。在方法380中，處理器可以執行如所描述的方法300的類似編號的方塊的操作。
在方塊310中，機器人式運載工具可以正在正常模式下操作，在正常模式下，處理器正在提供控制信號以控制機器人式運載工具的一或多個電動機以執行使用者命令(例如，使用者控制的操作)或預載入的飛行規劃。在此種正常模式下，當接近障礙物時，碰撞避免系統可能正在使用預設接近度閾值來操作以決定何時應當實現規避操縱。
在方塊320中，處理器可以從被配置為偵測機器人式運載工具附近的一或多個物件的存在性的一或多個感測器獲得資料。此種感測器可以是諸如雷達、聲納和雷射雷達之類的偵測和測距感測器，其可以偵測並且決定物件的位置。此種感測器亦可以包括與被配置為辨識圖像資料內的物件的圖像處理硬體耦合的成像感測器，諸如相機。為了便於說明，在描述各個實施例的操作時參考了對相機圖像資料的處理。然而，此種操作可以同樣地適用於對雷達、聲納及/或雷射雷達資料的處理。在一些實現方式中，處理器可以基於雷達及/或雷射雷達的返回來偵測機器人式運載工具附近的物件。在一些實現方式中，處理器可以從多個相機接收圖像資料，這可以使得處理器能夠決定到物件的距離(例如，經由體視學)以及在廣角上觀 察物件。此種感測器資料可以被儲存在本機記憶體(諸如，緩衝器)中，以支援後續操作中的資料處理。
在方塊330中，處理器(或被配置為執行此種分析的另一處理器)可以分析從一或多個感測器獲得的資料，以對機器人式運載工具附近的物件進行辨識和分類。在一些實施例中，處理器可以使用圖像辨識方法來區分圖像內的物件並且分析物件的形狀以對物件進行辨識或分類。例如，處理器可以將圖像資料與物件辨識模型進行比較，以決定物件是可以被辨識為特定物件(例如，基於臉孔辨識的使用者)還是被分類為某些類型的物件(例如，人、動物、樹、汽車、建築物等)。作為另一實例，處理器可以使用相機圖像資料執行圖像處理分析，以偵測視野內的物件特有的邊緣、品質和其他特徵。在一些實施例中，雷達及/或雷射雷達資料可以用於偵測和定位附近的物件，隨後在圖像處理中使用該資訊以表徵所偵測到的物件。
作為方塊330中的進一步操作，如所描述的，處理器可以分析偵測到的物件以決定針對每個物件的適當分類。
在一些實施例中，在方塊330中，處理器可以根據幾種寬泛的分類來對物件進行歸類，諸如物件是有生命的還是無生命的，或者物件的類型是否已知是脆弱的等等。在一些實施例中，在方塊330中，處理器可以決定物件的特定類別，諸如，將物件辨識並且分類為成人、兒童、 狗、貓、樹等。在一些實施例中，在方塊330中，處理器可以決定物件的特定身份，諸如，辨識特定個體(例如，使用臉孔辨識)或特定動物(例如，家養狗)，其中可以(例如，經由初始訓練常式)針對該特定個體或特定動物來訓練處理器並且可以針對其指定特定的(例如，使用者指派的)接近度閾值。在方塊330中進行的分類越具體，處理器就可以將越多不同的接近度閾值指派給各種物件。
作為在方塊330中對物件進行分類的一部分，處理器可以決定一些物件無法被分類，在此種情況下所決定的分類可以是未知或預設分類。在一些實施例中，可以針對機器人式運載工具附近的所有偵測到的物件執行方塊330中對物件進行分類的操作。在一些實施例中，在方塊330中，可以僅對最靠近的物件或最靠近的幾個物件進行分類。
在決定方塊335中，處理器可以決定是否有在機器人式運載工具附近存在的將要或可能是移動的障礙的任何物件。例如，若機器人式運載工具正在執行預載入的飛行規劃，則處理器可以決定在方塊330中辨識的任何偵測到的物件是否是接近的或可能干擾飛行規劃。作為另一實例，若機器人式運載工具處於使用者控制下並且因此可能在任何方向上移動，則處理器可以將預定距離內的任何物件辨識為潛在障礙物。在一些實施例中，可以不執行決定方塊335中的操作，在此種情況下，出於指派對應接 近度閾值的目的，所有附近的物件或在閾值距離內偵測到的物件可以被視為障礙物或潛在障礙物。
回應於決定不存在附近的物件(亦即，決定方塊335=「否」)，在方塊310中，處理器可以繼續正常操作，控制電動機執行使用者命令或預載入的飛行規劃。因此，碰撞避免系統可以繼續使用預設接近度閾值。在一些情況下，在可選方塊360中，處理器可以將接近度閾值恢復到預設值(若尚未處於預設水平的話)。
回應於決定存在一或多個障礙物(亦即，決定方塊335=「是」)，處理器可以基於在方塊330中決定的物件的分類來決定是否應當改變針對所辨識的障礙物中的任何障礙物的接近度閾值。因此，處理器可以決定在方塊330中分類的、在決定方塊335中被決定為障礙物或潛在障礙物的任何物件是否具有與接近度閾值的調整相關聯的、或者針對其而言接近度閾值的調整是合適的分類。例如，處理器可以評估物件分類以決定所辨識的潛在障礙物中的一或多個潛在障礙物是否被分類為有生命的與無生命的、脆弱的或有價值的、人、動物等。
回應於決定一或多個偵測到的障礙物具有針對其而言改變接近度閾值是合適的分類(亦即，決定方塊345=「是」)，在方塊355中，處理器可以將用於碰撞避免的接近度閾值調整到與該物件的分類相對應的距離。在一些實施例中，在方塊355中，處理器可以基於最近障礙物的分類來調整用於碰撞避免的接近度閾值。在一 些實施例中，在方塊355中，處理器可以基於與對機器人式運載工具的障礙物中的任何障礙物相對應的最大的接近度閾值，來調整用於碰撞避免的接近度閾值。在一些實施例中，在方塊355中，處理器可以基於與機器人式運載工具的預定距離內的障礙物中的任何障礙物相對應的最大的接近度閾值，來調整用於碰撞避免的接近度閾值。例如，若處理器已經決定障礙物或潛在障礙物是人，則處理器可以將由碰撞避免系統使用的接近度閾值增加到適於確保人不會因與機器人式運載工具的無意碰撞而受傷的距離。對於不同類型的分類，接近度閾值被調整的量(或所使用的接近度閾值)可以是不同的。例如，用於被分類為動物的物件的接近度閾值可以小於用於被分類為人的物件的接近度閾值。預設接近度閾值可以用於針對其而言未決定分類的物件(亦即，不改變優先順序閾值)。
在決定方塊345或方塊355中的任一方塊中，處理器可以存取記憶體中的資料表或其他資料結構，其將接近度閾值與物件/障礙物分類相關聯。在各個實施例中，被包括在此種資料表或資料結構中的接近度閾值和物件/障礙物分類可以是(例如，由製造商)預先定義的、(例如，在註冊或軟體更新過程期間)從資料來源上傳到記憶體的、(例如，在使用者配置程序期間)使用者定義的等等。在一些實施例中，被包括在此種資料表或資料結構中的接近度閾值和物件/障礙物分類可以經由機器學習程序來填充，在機器學習程序中，處理器隨著時間觀察使 用者的操作行為並且對物件進行成像，以及利用觀察到的到物件的最近距離與彼等物件的可辨識特性的相關性來填充資料表。
回應於決定偵測到的障礙物皆不具有與預設閾值不同的接近度閾值(亦即，決定方塊345=「否」)，在可選方塊360中，處理器可以將接近度閾值恢復到預設值(若尚未處於預設水平的話)。在一些實施例中，預設接近度閾值可以用於針對其而言未決定分類的物件(亦即，不改變優先順序閾值)。
在方塊370中，處理器可以控制機器人式運載工具的電動機，以按照將避開所偵測到的障礙物至少達新的接近度閾值的方式來操縱。在一些實施例中，機器人式運載工具可以繼續正常地操作，執行使用者命令及/或預載入的飛行規劃，依賴於碰撞避免系統來防止比當前的接近度閾值設置更近地接近物件。在一些實施例中，處理器可以修改對機器人式運載工具的控制，諸如以調整或修改預載入的飛行規劃以確保機器人式運載工具不會比當前的接近度閾值設置更近地接近偵測到的障礙物。
如所描述的，在方塊320-335中，處理器可以繼續獲得感測器資料、分析資料以對物件進行辨識和分類，並且決定任何物件是否是或者可能是障礙物。若決定不存在更多物件(亦即，決定方塊335=「否」)，則處理器可以將接近度閾值恢復到預設水平，並且在方塊310中，繼續執行使用者命令及/或預載入的飛行規劃。每當 偵測到潛在障礙物時(亦即，決定方塊335=「是」)，如所描述的，在方塊345-370中，處理器可以：決定是否需要進行接近度閾值改變，進行此種調整，以及利用設置有經調整的接近度閾值的碰撞避免系統來控制機器人式運載工具。
圖4示出根據一些實施例的用於操作機器人式運載工具的方法400。參照圖1A-圖4，方法400可以由處理器(諸如，機器人式運載工具(例如，200)的處理設備(例如，210)內的處理器(220))來執行以偵測障礙物(例如，120)並且執行動作作為回應。
在一些實施例中，機器人式運載工具的處理器可以使用物件分類來調整針對各種偵測到的物件的接近度閾值，同時在此種物件周圍執行路徑規劃。藉由評估針對機器人式運載工具附近的每個偵測到的物件的適當的接近度閾值之每一個接近度閾值，處理器可以開發繞行或路徑規劃替代方案，其使得機器人式運載工具能夠以避免比其對應的接近度閾值更近地接近任何物件的方式來在物件周圍操縱。藉由執行此種路徑規劃，與使用碰撞避免系統來避免與獨立障礙物發生碰撞(這可能導致機器人式運載工具必須原路返回或沿著隨機路徑穿過複數個障礙物)相比，機器人式運載工具可以遵循在偵測到的物件周圍或穿過偵測到的物件的高效路徑。用於實現此種路徑規劃的各種方法皆是可能的。圖4中示出的方法400提供了為了此目的可以實現的一種方法的實例。
在方塊410中，機器人式運載工具的處理器可以正在控制機器人式運載工具的一或多個電動機以執行預先規劃的飛行。在方塊320中，處理器可以從被配置為偵測運載工具附近的物件的存在性的一或多個感測器獲得資料。如所描述的，此種感測器可以包括一或多個相機、雷達、聲納、雷射雷達等。來自此種感測器的資料可以被儲存在記憶體(諸如，緩衝記憶體)中，以使得處理器能夠進行分析。
在方塊330中，處理器可以分析所獲得的感測器資料，以對運載工具附近的物件進行辨識和分類。此種分析可以實現如所描述的方法300的類似編號的方塊的操作中的一或多個操作。
在決定方塊335中，處理器可以決定所辨識且分類的物件中的任何物件是否構成機器人式運載工具的障礙物或潛在障礙無。特定而言，處理器可以決定在方塊330中辨識的物件中的任何物件是否接近預先規劃的路徑。
回應於決定在機器人式運載工具附近不存在障礙物或潛在障礙物(亦即，決定方塊335=「否」)，處理器可以繼續控制機器人式運載工具的一或多個電動機以執行方塊410中的預先規劃的路徑。
回應於決定一或多個被分類的物件確實或可能構成機器人式運載工具的障礙物(亦即，決定方塊335=「是」)，在方塊420中，處理器可以產生物件的虛擬地 圖，其加入基於該物件的分類的在每個物件的體積周圍的排除周界。因此，代替調整在碰撞避免系統中使用的針對獨立物件的接近度閾值，處理器可以使用對應的接近度閾值，來擴展如在方塊420中產生的虛擬地圖中表示的物件的邊界。可以使用預設接近度閾值來在針對其而言未決定分類的物件周圍添加排除周界(亦即，沒有改變優先順序閾值)。
在方塊430中，處理器可以使用在方塊420中產生的地圖，來決定在所辨識的障礙物周圍或穿過所辨識的障礙物的繞行路徑，該繞行路徑確保機器人式運載工具保持在針對所有障礙物的相應接近度閾值之外。處理器可以使用各種路徑規劃演算法中的任何演算法來完成此種路徑規劃。在方塊420中使用特定於物件分類的接近度閾值來在物件周圍添加排除周界有助於規劃在物件周圍至少達其相應的接近度閾值來操縱的路徑。
在方塊440中，處理器可以控制機器人式運載工具的一或多個電動機來執行繞行路徑。這樣做時，如所描述的，處理器可以在方塊320中繼續從各個感測器獲得資料，並且在方塊330中分析感測器資料以對附近物件進行辨識、分類。一旦機器人式運載工具已經清除了障礙物(諸如藉由完成繞行路徑)(亦即，決定方塊335=「否」)，處理器就可以返回為在方塊410中控制機器人式運載工具的一或多個電動機以執行預先規劃的路徑，並且重複如所描述的方法400的操作。
圖5示出根據一些實施例的用於在方法400中使用的用於對物件進行偵測和分類的方法500。參照圖1A-圖5，方法500可以由處理器(諸如，機器人式運載工具(例如，200)的處理設備(例如，210)內的處理器(220))來執行以偵測障礙物(例如，120)並且執行動作作為回應。
在方塊502中，處理器可以從圖像感測器(諸如，設置在機器人式運載工具上的一或多個相機)獲得資料。處理器亦可以獲得對於決定物件的相對位置有用的其他感測器資料，諸如雷達或雷射雷達資料。該等資料可以被儲存在本機記憶體中以進行處理，諸如緩衝記憶體。
在方塊504中，處理器可以分析所獲得的圖像和其他資料以辨識所成像的物件的存在性和位置。此種圖像分析可以涉及辨識不同顏色的邊緣區域以及通常用於在圖像內辨識物件的其他類型的過程。在一些實施例中，機器人式運載工具可以被配備有立體相機，其可以使處理器能夠使用體視學來決定到各個物件的距離。在機器人式運載工具僅被配備有單目相機的實施例中，可以基於隨著機器人式運載工具移動到環境而從一訊框到下一訊框的物件的位置的移位來決定到各個物件的距離。在機器人式運載工具被配備有雷達及/或雷射雷達的實施例中，可以使用來自彼等感測器的資料來決定到物件的距離。在決定物件的位置時，處理器可以在記憶體中產生物件座標的檔 或資料庫，其使得處理器能夠在後續操作中產生物件的地圖。
在方塊504中辨識的物件之每一個物件可以使用圖像辨識過程來單獨地分析。為此，處理器可以實現迴路以單獨地調查每個物件。因此，在方塊506中，處理器可以選擇所辨識的物件中的一個物件，並且在方塊508中，對針對所選擇的物件的圖像資料執行物件辨識處理以決定分類。如所描述的，此種圖像辨識處理可以涉及將圖像資料與所分類的物件的資料庫進行比較，以決定是否存在相近匹配。此種圖像辨識過程可以涉及使用機器學習技術。
在決定方塊510中，處理器可以決定分類是否被指派給所選擇的物件。
回應於決定沒有分類被指派給所選擇的物件(亦即，決定方塊510=「否」)，在方塊512中，處理器可以將預設的排除周界距離指派給所選擇的物件。
回應於決定分類被指派給所選擇的物件(亦即，決定方塊510=「是」)，在方塊514中，處理器可以將與所選擇的物件的分類相對應的排除周界距離指派給所選擇的物件。
在決定方塊516中，處理器可以決定在圖像資料內是否存在要被分類的另一物件。若是的話(亦即，決定方塊516=「是」)，則在方塊506中，處理器可以選擇另一被辨識的物件，並且重複如所描述的方塊508- 514的操作。當所有物件皆已被分類時(亦即，決定方塊516=「否」)，在如所描述的方法400的方塊420中，處理器可以繼續產生物件的地圖，該地圖基於每個物件分類添加排除周界。
所示出和描述的各個實施例僅是作為實例來提供的，以說明申請專利範圍的各個特徵。然而，關於任何給定實施例所圖示和描述的特徵未必限於相關聯的實施例，並且可以與圖示和描述的其他實施例一起使用或組合。此外，申請專利範圍不意欲受任何示例實施例限制。例如，可以替換方法300、400及/或500的操作中的一或多個操作或者將其與另一操作組合。
前述方法描述和過程流程圖僅是作為說明性實例來提供的，而並不意欲要求或暗示各個實施例的操作必須以呈現的次序來執行。如本領域技藝人士將明白的是，可以以任何次序來執行前述實施例中的操作的次序。諸如「此後」、「隨後」、「接著」等的詞語並不意欲限制該等操作的次序；該等詞語用於引導讀者瀏覽對該等方法的描述。此外，以單數(例如使用冠詞「一(a)」、「一個(an)」或「該(the)」)對申請專利範圍元素的任何引用不應被解釋為將該元素限制為單數。
結合本文揭示的實施例所描述的各種說明性的邏輯區塊、模組、電路和演算法操作可以實現成電子硬體、電腦軟體、或者兩者的組合。為了清楚地說明硬體和軟體的此種可互換性，上文已經對各種說明性的部件、方 塊、模組、電路以及操作圍繞其功能進行了整體描述。至於此種功能是實現成硬體還是實現成軟體，取決於特定應用和施加在整個系統上的設計約束。本領域技藝人士可以針對每個特定應用，以變通的方式實現所描述的功能，但是此種實施例決策不應被解釋為造成脫離申請專利範圍的範圍。
可以利用被設計為執行本文所描述的功能的通用處理器、數位訊號處理器(DSP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)或其他可程式設計邏輯設備、個別閘門或電晶體邏輯、個別硬體部件、或者其任意組合來實現或執行用於實現結合各個實施例所描述的各種說明性的邏輯、邏輯區塊、模組以及電路的硬體。通用處理器可以是微處理器，但是在替代的方案中，處理器可以是任何習知的處理器、控制器、微控制器或狀態機。處理器亦可以實現為接收器智慧物件的組合，例如，DSP和微處理器的組合、複數個微處理器、一或多個微處理器結合DSP核、或者任何其他此種配置。替代地，一些操作或方法可以由特定於給定功能的電路來執行。
在一或多個態樣中，所述功能可以用硬體、軟體、韌體或其任意組合來實現。若用軟體實現，則可以將該等功能作為一或多個指令或代碼儲存在非暫時性電腦可讀取儲存媒體或者非暫時性處理器可讀取儲存媒體上。本文所揭示的方法或演算法的操作可以體現在處理器 可執行的軟體模組或處理器可執行指令中，其可以常駐在非暫時性電腦可讀取的或處理器可讀取的儲存媒體上。非暫時性電腦可讀取的或處理器可讀取的儲存媒體可以是可以由電腦或處理器存取的任何儲存媒體。藉由舉例而非限制性的方式，此種非暫時性電腦可讀取的或處理器可讀取的儲存媒體可以包括RAM、ROM、EEPROM、快閃記憶體、CD-ROM或其他光碟儲存、磁碟儲存或其他磁儲存智慧物件、或者可以用於以指令或資料結構的形式儲存期望的程式碼並且可以由電腦存取的任何其他媒體。如本文所使用的，磁碟和光碟包括壓縮光碟(CD)、鐳射光碟、光碟、數位多功能光碟(DVD)和藍光光碟，其中磁碟通常磁性地複製資料，而光碟則用鐳射來光學地複製資料。上述的組合亦被包括在非暫時性電腦可讀取和處理器可讀取媒體的範圍之內。此外，方法或演算法的操作可以作為代碼及/或指令中的一個或任何組合、或代碼及/或指令集常駐在非暫時性處理器可讀取儲存媒體及/或電腦可讀取儲存媒體上，其可以併入電腦程式產品中。
提供所揭示的實施例的先前描述，以使得本領域的任何技藝人士能夠實施或使用申請專利範圍。對於本領域技藝人士而言，對該等實施例的各種修改將是顯而易見的，並且在不脫離申請專利範圍的範圍的情況下，可以將本文定義的整體原理應用於其他實施例。因此，本揭示內容並不意欲限於本文所示的實施例，而是被賦予與隨後 的申請專利範圍和本文所揭示的原理和新穎特徵相一致的最寬範圍。
300:方法
310:方塊
320:方塊
325:決定方塊
330:方塊
335:決定方塊
340:決定方塊
345:決定方塊
350:方塊
355:方塊
360:方塊
370:方塊

Claims (15)

  1. 一種用於操作一機器人式運載工具的方法，包括以下步驟：由該機器人式運載工具的一處理器處理來自一或多個感測器的感測器資料，以偵測該機器人式運載工具附近的一物件；由該處理器基於該感測器資料來決定該機器人式運載工具附近的該物件的一分類，其中該物件的該分類包括該物件是有生命的物件還是無生命的物件；由該處理器基於該機器人式運載工具附近的該物件的該分類，來調整一碰撞避免系統中的一接近度閾值，其中調整該接近度閾值包括進行以下各項操作中的一或兩項：回應於該物件的該分類是有生命的而增加該接近度閾值，或者回應於該物件的該分類是無生命的而降低該接近度閾值；及由該處理器使用該經調整的接近度閾值來控制該機器人式運載工具以用於碰撞避免。
  2. 如請求項1所述之方法，進一步包括以下步驟：由該處理器基於該感測器資料來決定該機器人式運載工具附近的該物件是否對該機器人式運載工具造成一障礙，其中決定該機器人式運載工具附近的一物件的一分 類包括以下步驟：由該處理器回應於決定該物件對該機器人式運載工具造成一障礙，來決定該物件的該分類，以及其中基於該物件的該分類來調整該碰撞避免系統中的該接近度閾值包括以下步驟：由該處理器基於被決定對該機器人式運載工具造成一障礙的該物件的該分類，來調整該碰撞避免系統中的該接近度閾值。
  3. 如請求項1所述之方法，其中基於該機器人式運載工具附近的該物件的該分類來調整該接近度閾值包括以下步驟：將該接近度閾值從一預設接近度閾值改變為與該物件的該分類相對應的一接近度閾值。
  4. 如請求項1所述之方法，其中基於該物件的該分類來調整該碰撞避免系統中的該接近度閾值包括以下步驟：決定與該物件的該所決定的分類相對應的該接近度閾值。
  5. 如請求項4所述之方法，其中決定與該物件的該所決定的分類相對應的該接近度閾值包括以下步驟：存取記憶體中的用於與該物件的該分類相關聯的該接近度閾值的一資料結構。
  6. 如請求項1所述之方法，進一步包括以下步驟：回應於決定該機器人式運載工具附近不存在物件， 將該碰撞避免系統中的該接近度閾值恢復到一預設設置。
  7. 如請求項1所述之方法，其中：決定該機器人式運載工具附近的該物件的一分類包括以下步驟：決定在該機器人式運載工具附近對該機器人式運載工具造成一障礙的多數物件的一分類；基於該機器人式運載工具附近的該物件的該分類來調整該碰撞避免系統中的該接近度閾值包括以下步驟：產生對該機器人式運載工具造成一障礙的所有物件的一地圖，在該地圖中，與每個物件相對應的基於該物件的分類的一接近度閾值被添加作為該物件的體積周圍的一排除周界；及使用該經調整的接近度閾值來控制該機器人式運載工具以用於碰撞避免包括以下步驟：由該處理器決定保持在所有偵測到的障礙物的該排除周界之外的一繞行路徑；及由該處理器控制該機器人式運載工具執行該繞行路徑。
  8. 如請求項7所述之方法，其中一預設接近度閾值用於添加在該機器人式運載工具附近未決定一分類的任何物件周圍的一排除周界。
  9. 一種被配置用於在具有一或多個感測器的一 機器人式運載工具中使用的處理設備，該一或多個感測器被配置為偵測該機器人式運載工具附近的一物件，該處理設備被配置為：處理來自該一或多個感測器的感測器資料，以偵測該機器人式運載工具附近的一物件，其中該物件的該分類包括該物件是有生命的物件還是無生命的物件；決定該機器人式運載工具附近的該物件的一分類；基於該機器人式運載工具附近的該物件的該分類，來調整一碰撞避免系統中的一接近度閾值，其中調整該接近度閾值包括進行以下各項操作中的一或兩項：回應於該物件的該分類是有生命的而增加該接近度閾值，或者回應於該物件的該分類是無生命的而降低該接近度閾值；及使用該經調整的接近度閾值來控制該機器人式運載工具以用於碰撞避免。
  10. 如請求項9所述之處理設備，其中該處理設備進一步被配置為：基於該感測器資料來決定該機器人式運載工具附近的該物件是否對該機器人式運載工具造成一障礙，回應於決定該機器人式運載工具附近的一物件對該機器人式運載工具造成一障礙，決定該物件的該分類；及 基於被決定為對該機器人式運載工具造成一障礙的該物件的該分類，來調整該碰撞避免系統中的該接近度閾值。
  11. 如請求項9所述之處理設備，其中該處理設備進一步被配置以藉由以下操作來基於該機器人式運載工具附近的該物件的該分類來調整該接近度閾值：將該接近度閾值從一預設接近度閾值改變為與該物件的該分類相對應的一接近度閾值。
  12. 如請求項9所述之處理設備，其中該處理設備進一步被配置以藉由以下操作來基於該物件的該分類來調整該碰撞避免系統中的該接近度閾值：決定與該物件的該所決定的分類相對應的該接近度閾值。
  13. 如請求項12所述之處理設備，其中該處理設備進一步被配置以藉由以下操作來決定與該物件的該所決定的分類相對應的該接近度閾值：存取記憶體中的用於與該物件的該分類相關聯的該接近度閾值的一資料結構。
  14. 如請求項9所述之處理設備，其中該處理設備進一步被配置為：回應於決定該機器人式運載工具附近不存在物件，將該碰撞避免系統中的該接近度閾值恢復到一預設設置。
  15. 一種具有儲存在其上的處理器可執行指令 的非暫時性處理器可讀取儲存媒體，該等處理器可執行指令被配置為使得一機器人式運載工具的一處理器執行包括請求項1至8中任一項中的步驟。
TW107144455A 2018-01-03 2018-12-11 用於操作機器人式運載工具或用於機器人式運載工具中的方法、處理設備及非暫時性處理器可讀取儲存媒體 TWI784102B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/860,838 US10717435B2 (en) 2018-01-03 2018-01-03 Adjustable object avoidance proximity threshold based on classification of detected objects
US15/860,838 2018-01-03

Publications (2)

Publication Number Publication Date
TW201930918A TW201930918A (zh) 2019-08-01
TWI784102B true TWI784102B (zh) 2022-11-21

Family

ID=64949420

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107144455A TWI784102B (zh) 2018-01-03 2018-12-11 用於操作機器人式運載工具或用於機器人式運載工具中的方法、處理設備及非暫時性處理器可讀取儲存媒體

Country Status (5)

Country Link
US (1) US10717435B2 (zh)
EP (1) EP3735621B1 (zh)
CN (1) CN111566581A (zh)
TW (1) TWI784102B (zh)
WO (1) WO2019135847A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10636314B2 (en) 2018-01-03 2020-04-28 Qualcomm Incorporated Adjusting flight parameters of an aerial robotic vehicle based on presence of propeller guard(s)
US10720070B2 (en) 2018-01-03 2020-07-21 Qualcomm Incorporated Adjustable object avoidance proximity threshold of a robotic vehicle based on presence of detected payload(s)
US10719705B2 (en) 2018-01-03 2020-07-21 Qualcomm Incorporated Adjustable object avoidance proximity threshold based on predictability of the environment
US10803759B2 (en) 2018-01-03 2020-10-13 Qualcomm Incorporated Adjustable object avoidance proximity threshold based on presence of propeller guard(s)
JP2021170149A (ja) * 2018-07-09 2021-10-28 ソニーグループ株式会社 制御装置、制御方法、およびプログラム
KR102629036B1 (ko) * 2018-08-30 2024-01-25 삼성전자주식회사 로봇 및 그의 제어 방법
US11281234B2 (en) * 2018-12-20 2022-03-22 Motorola Mobility Llc Methods and systems for crashing unmanned aircraft
JP7271950B2 (ja) * 2019-01-04 2023-05-12 トヨタ自動車株式会社 車両の制御装置
US11940804B2 (en) * 2019-12-17 2024-03-26 Motional Ad Llc Automated object annotation using fused camera/LiDAR data points
CN112639655A (zh) * 2020-01-21 2021-04-09 深圳市大疆创新科技有限公司 无人机返航的控制方法、设备、可移动平台和存储介质
CN111626334B (zh) * 2020-04-28 2023-07-14 东风汽车集团有限公司 一种车载高级辅助驾驶***的关键控制目标选择方法
CN112046454B (zh) * 2020-09-21 2021-12-07 武汉大学 一种基于车辆环境识别的自动紧急制动方法
EP4080482A1 (en) * 2021-04-22 2022-10-26 Honeywell International Inc. System and method for obstacle detection and database management
DE102021112676A1 (de) * 2021-05-17 2022-11-17 Miele & Cie. Kg Verfahren zur Steuerung eines zur Reinigung oder Pflege einer Bodenfläche geeigneten selbstfahrenden Bodenbearbeitungsgeräts im Raum sowie selbstfahrendes Bodenbearbeitungsgerät zur Reinigung oder Pflege einer Bodenfläche eines Raums

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014027945A1 (en) * 2012-08-14 2014-02-20 Husqvarna Ab Mower with object detection system
US20170031366A1 (en) * 2012-09-21 2017-02-02 Irobot Corporation Proximity Sensing On Mobile Robots
TW201721174A (zh) * 2015-09-23 2017-06-16 英特爾智財公司 用於高準確度距離及定向測量的裝置及方法
CN107209514A (zh) * 2014-12-31 2017-09-26 深圳市大疆创新科技有限公司 传感器数据的选择性处理
CN107430402A (zh) * 2015-03-31 2017-12-01 深圳市大疆创新科技有限公司 用于对地理围栏设备进行标识和认证的***和方法

Family Cites Families (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4809178A (en) 1986-05-22 1989-02-28 Kabushiki Kaisha Toyota Chuo Kenkyusho Obstacle data processing system for unmanned vehicle
JPH07129238A (ja) * 1993-11-01 1995-05-19 Fujitsu Ltd 障害物回避経路生成方式
DE19641261C1 (de) * 1996-10-07 1998-02-12 Siemens Ag Verfahren zur Bewertung der Meßqualität eines Entfernungsmeßsensors an einem autonomen mobilen System
US5979824A (en) 1997-04-04 1999-11-09 Gagliano; Christopher Stabilizer fins-inverted for aircraft
JP3869108B2 (ja) 1998-02-23 2007-01-17 株式会社小松製作所 無人車両の干渉予測装置および無人車両の誘導走行方法
US6270038B1 (en) 1999-04-22 2001-08-07 Sikorsky Aircraft Corporation Unmanned aerial vehicle with counter-rotating ducted rotors and shrouded pusher-prop
US7335071B1 (en) 2001-07-05 2008-02-26 Maruta Electric Boatworks Llc Electronic shut off systems
KR100412674B1 (ko) 2001-09-11 2003-12-31 현대자동차주식회사 적응형 차량 안전 거리 산출을 위한 타이어-노면 마찰계수 추정 방법
US7658346B2 (en) 2005-02-25 2010-02-09 Honeywell International Inc. Double ducted hovering air-vehicle
US7946528B2 (en) 2005-04-15 2011-05-24 Urban Aeronautics, Ltd. Flight control system especially suited for VTOL vehicles
US20070080793A1 (en) 2005-10-11 2007-04-12 Blase Gaynell L Auto brake alert
US8103438B2 (en) 2007-09-26 2012-01-24 Trimble Navigation Limited Method and system for automatically directing traffic on a site
US8322648B2 (en) 2008-05-15 2012-12-04 Aeryon Labs Inc. Hovering aerial vehicle with removable rotor arm assemblies
US9043052B2 (en) 2008-05-27 2015-05-26 Wilfred So System and method for multiple vehicles moving a common payload
KR101048098B1 (ko) 2008-09-03 2011-07-11 한국과학기술원 로봇의 경로계획 장치 및 방법
US8543265B2 (en) 2008-10-20 2013-09-24 Honeywell International Inc. Systems and methods for unmanned aerial vehicle navigation
ATE545924T1 (de) 2008-11-04 2012-03-15 Saab Ab Vermeidungsmanöver-generator für ein flugzeug
WO2010075629A1 (en) 2009-01-05 2010-07-08 Gordon Toll Apparatus and method for defining a safety zone for a vehicle
US8380367B2 (en) * 2009-03-26 2013-02-19 The University Of North Dakota Adaptive surveillance and guidance system for vehicle collision avoidance and interception
US8366037B2 (en) 2009-05-22 2013-02-05 Heliplane, Llc Towable aerovehicle system with automated tow line release
AU2010324768A1 (en) 2009-11-25 2012-06-14 Aerovironment, Inc. Automatic configuration control of a device
US9230419B2 (en) 2010-07-27 2016-01-05 Rite-Hite Holding Corporation Methods and apparatus to detect and warn proximate entities of interest
GB2483881B (en) 2010-09-22 2017-04-26 Irps Thomas A dual-function landing gear and rotor protector for a UAV
US9091762B2 (en) 2011-10-27 2015-07-28 Gulfstream Aerospace Corporation Methods and systems for avoiding a collision between an aircraft on a ground surface and an obstacle
US8761991B1 (en) 2012-04-09 2014-06-24 Google Inc. Use of uncertainty regarding observations of traffic intersections to modify behavior of a vehicle
US9633565B2 (en) * 2012-11-15 2017-04-25 GM Global Technology Operations LLC Active safety system and method for operating the same
US20160247115A1 (en) 2013-07-02 2016-08-25 Jasper Mason PONS Airborne scanning system and method
DE202013006196U1 (de) 2013-07-09 2014-10-13 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Fahrerassistenzsystem für ein Kraftfahrzeug und Kraftfahrzeug
FR3020763B1 (fr) 2014-05-06 2016-06-03 Parrot Drone a voilure tournante de type quadricoptere, pourvu de pare-chocs amovibles de protection des helices
US9875661B2 (en) 2014-05-10 2018-01-23 Aurora Flight Sciences Corporation Dynamic collision-avoidance system and method
US20160016664A1 (en) 2014-07-19 2016-01-21 Umm Al-Qura University Unmanned aerial delivery device
US10561956B2 (en) 2014-07-25 2020-02-18 University Of Kansas Moveable member bearing aerial vehicles and methods of use
US10780988B2 (en) 2014-08-11 2020-09-22 Amazon Technologies, Inc. Propeller safety for automated aerial vehicles
US9613539B1 (en) * 2014-08-19 2017-04-04 Amazon Technologies, Inc. Damage avoidance system for unmanned aerial vehicle
US9925980B2 (en) 2014-09-17 2018-03-27 Magna Electronics Inc. Vehicle collision avoidance system with enhanced pedestrian avoidance
SG10201406357QA (en) 2014-10-03 2016-05-30 Infinium Robotics Pte Ltd System for performing tasks in an operating region and method of controlling autonomous agents for performing tasks in the operating region
JP6126573B2 (ja) 2014-12-25 2017-05-10 本田技研工業株式会社 衝突回避支援装置
US20160200437A1 (en) 2015-01-12 2016-07-14 Mark Andrew Ryan Tethered Flight Control System for Small Unmanned Aircraft
US20160288788A1 (en) * 2015-03-31 2016-10-06 Toyota Motor Engineering & Manufacturing North America, Inc. Gap-based speed control for automated driving system
GB201509509D0 (en) 2015-06-01 2015-07-15 Imp Innovations Ltd Aerial devices capable of controlled flight
CN205989812U (zh) 2015-06-25 2017-03-01 瑞德利斯技术公司 多旋翼无人机
CN204776022U (zh) 2015-07-03 2015-11-18 安徽泽众安全科技有限公司 旋翼飞行器可拆卸防护装置
US9927807B1 (en) 2015-07-13 2018-03-27 ANRA Technologies, LLC Command and control of unmanned vehicles using cellular and IP mesh technologies for data convergence
US10586464B2 (en) * 2015-07-29 2020-03-10 Warren F. LeBlanc Unmanned aerial vehicles
US20170043869A1 (en) 2015-08-11 2017-02-16 Intellitrax, Inc. Protection element and device for camera drone
AU2016314770A1 (en) 2015-09-03 2018-03-29 Commonwealth Scientific And Industrial Research Organisation Unmanned aerial vehicle control techniques
KR101585650B1 (ko) 2015-09-11 2016-01-14 주식회사 나라항공기술 무인 비행체 보호 장치와 그의 장애물 감지 및 회피 방법
US10019907B2 (en) 2015-09-11 2018-07-10 Qualcomm Incorporated Unmanned aerial vehicle obstacle detection and avoidance
WO2017071143A1 (en) 2015-10-30 2017-05-04 SZ DJI Technology Co., Ltd. Systems and methods for uav path planning and control
US20170158320A1 (en) 2015-09-20 2017-06-08 Daniel Bosch Unmanned aerial system
US10139828B2 (en) 2015-09-24 2018-11-27 Uber Technologies, Inc. Autonomous vehicle operated with safety augmentation
US9421869B1 (en) 2015-09-25 2016-08-23 Amazon Technologies, Inc. Deployment and adjustment of airborne unmanned aerial vehicles
US10618655B2 (en) 2015-10-14 2020-04-14 Flirtey Holdings, Inc. Package delivery mechanism in an unmanned aerial vehicle
CA3001734A1 (en) 2015-10-16 2017-04-20 4Front Robotics Ltd. Rotary wing aircraft
US10496766B2 (en) 2015-11-05 2019-12-03 Zoox, Inc. Simulation system and methods for autonomous vehicles
US9914538B2 (en) 2015-11-20 2018-03-13 ZEROTECH (Shenzhen) Intelligence Robot Co., Ltd. Rotor shrouding apparatus, supporting assembly, and unmanned aerial vehicle using the same
WO2017086234A1 (ja) 2015-11-20 2017-05-26 株式会社プロドローン 無人航空機
US10242455B2 (en) 2015-12-18 2019-03-26 Iris Automation, Inc. Systems and methods for generating a 3D world model using velocity data of a vehicle
US9785846B2 (en) * 2015-12-23 2017-10-10 Automotive Research & Test Center Method for quantifying classification confidence of obstructions
US9609288B1 (en) 2015-12-31 2017-03-28 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system
EP3391164B1 (en) 2016-01-08 2021-10-20 Pictometry International Corp. System and method for capturing, processing, retrieving and displaying images from an unmanned aerial vehicle
US9632507B1 (en) 2016-01-29 2017-04-25 Meritor Wabco Vehicle Control Systems System and method for adjusting vehicle platoon distances based on predicted external perturbations
CN107170298A (zh) 2016-03-07 2017-09-15 群光电子股份有限公司 无人飞行器的防碰撞***及其方法
US20170267234A1 (en) 2016-03-18 2017-09-21 Soterea, Inc. Systems and methods for providing collision avoidance or mitigation
IL244838A0 (en) 2016-03-30 2016-07-31 Itai Orr System and method for autonomous driving of vehicles
US9969495B2 (en) 2016-04-29 2018-05-15 United Parcel Service Of America, Inc. Unmanned aerial vehicle pick-up and delivery systems
US20170323256A1 (en) 2016-05-06 2017-11-09 Elwha Llc Systems and methods for adjusting freight charges for an unmanned aerial vehicle
US10362392B2 (en) 2016-05-18 2019-07-23 Georgia Tech Research Corporation Aerial acoustic sensing, acoustic sensing payload and aerial vehicle including the same
CN106240811A (zh) 2016-08-18 2016-12-21 上海未来伙伴机器人有限公司 无人机安全防护装置以及无人机安全防护方法
CN106324619A (zh) * 2016-10-28 2017-01-11 武汉大学 一种变电站巡检机器人自动避障方法
CN106347656A (zh) 2016-10-31 2017-01-25 上海未来伙伴机器人有限公司 一种可拆卸螺旋桨保护罩
US10328934B2 (en) 2017-03-20 2019-06-25 GM Global Technology Operations LLC Temporal data associations for operating autonomous vehicles
US20180290748A1 (en) 2017-04-03 2018-10-11 Versatol, Llc Autonomous in-tunnel intelligence, surveillance, and reconnaissance drone
US10719705B2 (en) 2018-01-03 2020-07-21 Qualcomm Incorporated Adjustable object avoidance proximity threshold based on predictability of the environment
US10803759B2 (en) 2018-01-03 2020-10-13 Qualcomm Incorporated Adjustable object avoidance proximity threshold based on presence of propeller guard(s)
US10720070B2 (en) 2018-01-03 2020-07-21 Qualcomm Incorporated Adjustable object avoidance proximity threshold of a robotic vehicle based on presence of detected payload(s)
US10636314B2 (en) 2018-01-03 2020-04-28 Qualcomm Incorporated Adjusting flight parameters of an aerial robotic vehicle based on presence of propeller guard(s)
US10766610B2 (en) 2018-01-22 2020-09-08 Mattel, Inc. Unmanned aerial vehicle with propeller guard

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014027945A1 (en) * 2012-08-14 2014-02-20 Husqvarna Ab Mower with object detection system
US20170031366A1 (en) * 2012-09-21 2017-02-02 Irobot Corporation Proximity Sensing On Mobile Robots
CN107209514A (zh) * 2014-12-31 2017-09-26 深圳市大疆创新科技有限公司 传感器数据的选择性处理
CN107430402A (zh) * 2015-03-31 2017-12-01 深圳市大疆创新科技有限公司 用于对地理围栏设备进行标识和认证的***和方法
TW201721174A (zh) * 2015-09-23 2017-06-16 英特爾智財公司 用於高準確度距離及定向測量的裝置及方法

Also Published As

Publication number Publication date
CN111566581A (zh) 2020-08-21
TW201930918A (zh) 2019-08-01
US10717435B2 (en) 2020-07-21
WO2019135847A1 (en) 2019-07-11
US20190202449A1 (en) 2019-07-04
EP3735621A1 (en) 2020-11-11
EP3735621B1 (en) 2022-03-23

Similar Documents

Publication Publication Date Title
TWI784102B (zh) 用於操作機器人式運載工具或用於機器人式運載工具中的方法、處理設備及非暫時性處理器可讀取儲存媒體
TWI804538B (zh) 基於偵測到的有效負荷的存在性的、機器人式運載工具的可調整的物件迴避接近度閾值
TWI817962B (zh) 基於環境的可預測性的可調整的物件避開接近度閾值的方法、機器人式運載工具及處理設備
TWI817961B (zh) 具有可調整的物件避開接近度閥值的空中機器人式運載工具及用於其之方法和處理設備
TWI731283B (zh) 空中機器人式運載工具、處理設備及其操作方法
US11294398B2 (en) Personal security robotic vehicle
CN111801717A (zh) 机器人式运载工具的自动探索控制
ES2883847T3 (es) Prevención de colisiones de vehículos
TW201931333A (zh) 機器車輛之碰撞管理
JP6527726B2 (ja) 自律移動ロボット
Naveenkumar et al. Autonomous Drone Using Time-of-Flight Sensor for Collision Avoidance