TWI802115B - 無人機的控制裝置及其控制方法 - Google Patents

無人機的控制裝置及其控制方法 Download PDF

Info

Publication number
TWI802115B
TWI802115B TW110144560A TW110144560A TWI802115B TW I802115 B TWI802115 B TW I802115B TW 110144560 A TW110144560 A TW 110144560A TW 110144560 A TW110144560 A TW 110144560A TW I802115 B TWI802115 B TW I802115B
Authority
TW
Taiwan
Prior art keywords
image
hand
user
control
drone
Prior art date
Application number
TW110144560A
Other languages
English (en)
Other versions
TW202324015A (zh
Inventor
秦允求
蔡岱芸
Original Assignee
仁寶電腦工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 仁寶電腦工業股份有限公司 filed Critical 仁寶電腦工業股份有限公司
Priority to TW110144560A priority Critical patent/TWI802115B/zh
Priority to US17/669,360 priority patent/US11921523B2/en
Priority to JP2022046506A priority patent/JP7482923B2/ja
Application granted granted Critical
Publication of TWI802115B publication Critical patent/TWI802115B/zh
Publication of TW202324015A publication Critical patent/TW202324015A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/20—Control system inputs
    • G05D1/22—Command input arrangements
    • G05D1/228—Command input arrangements located on-board unmanned vehicles
    • G05D1/2285—Command input arrangements located on-board unmanned vehicles using voice or gesture commands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Selective Calling Equipment (AREA)

Abstract

一種無人機的控制裝置及其控制方法。控制裝置包括感測裝置、圖像接收器、控制發射器、顯示螢幕以及處理器。感測裝置用以感測使用者的動作。圖像接收器用以從無人機的第一影像擷取裝置接收包括無人機中至少一部分機身或全部機身的影像。處理器利用顯示螢幕以持續性地呈現所述影像。處理器透過所述感測裝置獲得所述動作，將所述動作轉換為對應所述無人機的所述控制信號，並透過所述控制發射器將所述控制信號傳輸給所述無人機。無人機受控於控制裝置所傳送的控制信號。

Description

無人機的控制裝置及其控制方法
本發明是有關於一種人機互動技術，且特別是有關於一種無人機的控制裝置與其控制方法。
現行無人遙控載具(unmanned aircraft system；UAV)主要是利用無線電遙控設備和相關程式來控制或操縱對應的無人飛行器。低高度視距內的UAV屬於休閒娛樂以及空拍用途。並且，若在UAV上裝設影像擷取設備(如，相機、攝影機)和頭戴式顯示裝置(俗稱，飛行眼鏡(goggle))，影像擷取設備所擷取的畫面可透過無線傳輸方式呈現在頭戴式顯示裝置上，讓使用者得以透過第一人稱視角(first-person view；FPV)操控UAV，此種系統可另外稱為是FPV穿越機。
然而，由於FPV穿越機使用第一視角進行操縱，初學者難以入門，且需熟悉無線電遙控器的操作方式(例如，學會控制油門、翻滾、方向以及俯仰四個動作)，才能順暢地操縱FPV穿越機。因此，是否可透過其他方式降低FPV穿越機的操作，便是可 研究的方向之一。
本發明提供一種無人機的控制裝置與其控制方法，提供更為直覺的方式觀看無人機的情形進而操控無人機，從而降低控制門檻。
本發明提出一種無人機的控制裝置。所述控制裝置包括感測裝置、圖像接收器、控制發射器、顯示螢幕以及處理器。感測裝置用以感測使用者的動作。圖像接收器用以從所述無人機的第一影像擷取裝置接收包括所述無人機中至少一部分機身或全部機身的影像。控制發射器用以將控制信號傳輸給所述無人機。控制發射器用以將控制信號傳輸給所述無人機。處理器耦接所述感測裝置、所述圖像接收器、所述控制發射器以及所述顯示螢幕。處理器利用所述顯示螢幕以持續性地呈現透過所述圖像接收器接收的所述影像。處理器透過所述感測裝置獲得所述動作，將所述動作轉換為對應所述無人機的所述控制信號，並透過所述控制發射器將所述控制信號傳輸給所述無人機。無人機受控於所述控制裝置所傳送的所述控制信號。
本發明提出一種無人機的控制方法，適用於一控制裝置。控制方法包括下列步驟：從所述無人機的第一影像擷取裝置接收包括所述無人機中至少一部分機身或全部機身的影像；於所述控制裝置的顯示螢幕上持續性地呈現所述影像；感測使用者的 動作，並將所述動作轉換為對應所述無人機的控制信號；以及，傳輸所述控制信號至所述無人機，其中所述無人機受控於所述控制信號。
基於上述，本發明的無人機的控制裝置與其控制方法在無人機上設置第三人稱視角的影像擷取裝置，讓使用者可透過前述第三人稱視角的畫面/影像直觀地看到無人機機身，並且偵測使用者的動作(如，手勢、唇形或相應操作手段)對應地控制無人機。藉此，本發明的無人機系統透過提供第三人稱視角且結合使用者的體感操作，藉以提供更為直覺的方式操控無人機，從而降低控制門檻。
100、700、800、1200:無人機系統
105:使用者
107:手部區域
107-A~107-H:預設手勢類型
108:唇部區域
110、710、810、1210:控制裝置
112、712、812、1212:感測裝置
114:圖像接收器
116:控制發射器
118、1218:顯示螢幕
119:處理器
120:無人機
122:第一影像擷取裝置
124:控制接收器
125:馬達模組
126:電池模組
127:電源控制模組
128:飛行控制系統
129:GPS定位模組
140:第一影像擷取裝置的視角方向
210、220、611、612:箭頭
310:虛擬手部影像
320:虛線框
610:無線基地台
910:唇型點狀分布
920:上唇形狀
930:下唇形狀
940:上排牙齒範圍
950:下排牙齒範圍
960:上下排牙齒間距
1005:無人機的位置
1010:顯示螢幕左半部分
A-5:位置
S1110~S1150:無人機的控制方法的各步驟
圖1是依照本發明第一實施例的一種無人機系統的示意圖。
圖2是依照本發明第一實施例的一種無人機系統的裝置方塊圖。
圖3是第一實施例中以頭戴式顯示裝置作為控制裝置的顯示螢幕的介面示意圖。
圖4、圖5與圖6是多種預設手勢類型對應無人機的控制信號的示意圖。
圖7是第二實施例中無人機系統透過無線基地台將無人機中擷取的影像無線傳輸給控制裝置的示意圖。
圖8是依照本發明第三實施例的一種無人機系統的示意圖。
圖9是依照本發明第四實施例的一種無人機系統的示意圖。
圖10是本發明第四實施例中唇形行為辨識模組判斷唇形以獲得話語文字資訊的示意圖。
圖11是本發明第四實施例中以話語文字資訊控制無人機120飛行方向的示意圖。
圖12是依照本發明第五實施例的一種無人機系統的示意圖。
圖13是依照本發明各實施例的一種無人機的控制方法的流程圖。
圖1是依照本發明第一實施例的一種無人機系統100的示意圖。圖2是依照本發明第一實施例的一種無人機系統100的裝置方塊圖。請同時參照圖1與圖2，無人機系統100包括無人機120以及控制裝置110。
控制裝置110主要包括感測裝置112、圖像接收器114、控制發射器116、顯示螢幕118以及處理器119。處理器119耦接感測裝置112、圖像接收器114、控制發射器116以及顯示螢幕118。圖1第一實施例的控制裝置110是以頭戴式顯示裝置作為舉例。應用於無人機系統100的頭戴式顯示裝置亦可稱為是飛行眼鏡(goggle)。
無人機120主要包括第一影像擷取裝置122。第一影像擷 取裝置122主要用於擷取無人機120中至少一部分機身或全部機身的影像。圖1箭頭140用以指示第一影像擷取裝置122擷取影像時的視角方向，從而使影像中可以獲得較多無人機120中的一部分機身。無人機120還包括圖像發射器123、控制接收器124、馬達模組125、電源模組126、電源控制模組127、飛行控制系統128、GPS定位模組129等元件。
第一影像擷取裝置122擷取的影像可稱為是「第三人稱視角」的影像。所謂的第三人稱視角是，使用者以旁觀者視角同時觀察主角(本實施例指代為無人機120)的動作以及四周的場景，從而易於知悉無人機120自身情形以及四周環境。無人機120的飛行控制系統128透過圖像發射器123將第一影像擷取裝置122所擷取的前述影像透過無線通訊技術傳送到控制裝置110的圖像接收器114，如圖2箭頭210所示。
無人機120的飛行控制系統128透過馬達模組125、電源模組126以及電源控制模組127來控制無人機120的起飛、降落、加速、減速等控制。本實施例中，無人機120可在其電源不足時執行返航操作。無人機120的飛行控制系統128透過GPS定位模組129以及相應的感測裝置112判斷自身的位置以及與控制裝置110之間的距離，從而判斷何時進行返航操作，且自動地規劃返航路徑。無人機120上的發光二極體(LED)用以呈現無人機120目前的狀態，讓使用者能夠用目視得知。
控制裝置110的控制發射器116將用於控制無人機120 的控制信號傳輸給無人機120的控制接收器124，如圖2箭頭220所示。無人機120受控於控制裝置110所傳送的控制信號。
控制裝置110的圖像接收器114從無人機120的第一影像擷取裝置122接收包括無人機120中至少一部分機身或全部機身的影像。控制裝置110的處理器119利用顯示螢幕118以持續性地呈現透過圖像接收器114接收的影像。
本發明實施例的無人機系統100除了向使用者105以頭戴式顯示裝置上的顯示螢幕118提供第三人稱視角以外，還會結合使用者105的體感操作來控制無人機120。舉例來說，控制裝置110的感測裝置112用以感測使用者105的動作。第一實施例中的『動作』是以使用者105的手部動作作為舉例，應用本實施例者可以使用者的左手或右手進行無人機105的操縱。處理器119透過感測裝置1102獲得使用者的動作(如，手部動作、唇部動作或由使用者進行的體感動作)，將前述動作轉換為對應無人機105的控制信號，並透過控制發射器116將控制信號傳輸給無人機120的控制接收器124(如箭頭220所示)，從而透過體感動作來操控無人機120。
圖1的感測裝置112主要設置在頭戴式顯示裝置前方，且感測裝置112包括第二影像擷取裝置，其用以擷取包括使用者105的手部的第二影像，並擷取此第二影像中的手部區域107。本實施例除了採用第二影像擷取裝置作為感測裝置112以外，還可綜合性地結合紅外線影像擷取裝置、泛光照明器、點陣投射器等 相應影像、光線等擷取技術的其中之一或其組合來判斷使用者105的手部區域107，從而更為提升手部區域107的感測準確度。
圖3是第一實施例中以頭戴式顯示裝置作為控制裝置110的顯示螢幕118的介面示意圖。請參照圖3，由於第一實施例是以頭戴式顯示裝置作為控制裝置110，因此處理器119會依據手部動作107而產生虛擬手部影像310，並將此虛擬手部影像310疊加於顯示螢幕118所呈現的影像上，讓使用者能夠更為直觀地在顯示螢幕118中看到包括無人機120部分機身以及環境的影像，以及自己的虛擬手部影像310。
為了避免對包含手部的第二影像進行過多處理，本實施例可設定第二影像擷取裝置(感測裝置112)在擷取影像時的手勢範圍(如圖3中虛線框320所示)，並呈現在顯示螢幕118中，讓使用者可直觀地知悉虛擬手部影像310以及手部感測的有效範圍。詳細來說，手勢範圍主要用於提示使用者以方便辨識手部動作的區域，本實施例主要以手勢範圍內的手部動作來判讀使用者的手勢，進而作為識別對應的控制信號。然則，若使用者手勢過大而超出手勢範圍時，本實施例還是會利用手勢範圍以外的影像進行手勢的辨識與判讀，但有可能因為諸多原因而降低了手勢的辨識成功率，例如，手部動作距離感測裝置112過遠、因鏡頭問題導致影像扭曲...等。換句話說，圖3中虛線框320所示的手勢範圍主要用來提供使用者知悉手勢的較佳判讀區域，若手勢不小心超出虛線框320外的話，圖2的處理器119仍有可能會判讀手 勢範圍外的影像。
請同時參考圖1至圖3，以使用者105的操作而言，控制裝置110可設置一個實體按鈕在自身機身上，或在顯示螢幕118呈現的使用者介面中呈現一個虛擬解鎖按鈕。當使用者105按下前述實體按鈕/虛擬解鎖按鈕之後，處理器119便開始透過第二影像擷取裝置(感測裝置112)進行手部動作107的識別，並且手部動作107換為虛擬手部影像310且以疊加方式呈現於顯示螢幕118的影像上。例如，處理器119在前述實體按鈕/虛擬解鎖按鈕按下後，會進入手勢配對模式，請使用者105將手掌朝下並放置於前述畫面有效範圍中，此時虛擬手部影像310將會以手掌朝下的方式位於圖3虛線框320中。然後，處理器119便可依據虛擬手部影像310判斷使用者105是使用左手還是右手進行無人機120的操控。在完成前述手勢配對模式(即，判斷使用者105使用左手或右手進行無人機120的操控)後，處理器藉由第二影像擷取裝置(感測裝置112)獲得手部區域107以感測使用者105的手部動作，將此手部動作識別為多個預設手勢類型的其中之一，並將被識別出的手勢類型轉換為對應的控制信號。
詳細來說，處理器119具備手勢行為辨識模組(gesture activity recognition module)，並透過手勢行為辨識模組將手部區域107對應的手部動作識別為這些預設手勢類型的其中之一。圖4、圖5與圖6是多種預設手勢類型對應無人機120的控制信號的示意圖。
圖4(A)部分至(C)部分繪示，當預設手勢類型107-A為立起手背時，控制信號為『無人機120向後傾斜，向後飛行』，且無人機120在前述手勢之後的連續動作，分別為：圖4(A)部分的無人機120收到前述控制信號後，向上抬高其前進方向的角度而成為圖4(B)部分的無人機120，且圖4(C)部分的無人機120逐漸朝向使用者飛來而在視覺上略有放大。圖4(D)部分至(F)部分繪示，當預設手勢類型107-B為下垂手背時，控制信號為『無人機120向前傾斜，向前飛行』，且無人機120在前述手勢之後的連續動作，分別為：圖4(D)部分的無人機120收到前述控制信號後，向下調整其前進方向的角度而成為圖4(E)部分的無人機120，且圖4(F)部分的無人機120逐漸遠離使用者而在視覺上略有縮小。
圖5(A)部分繪示，當預設手勢類型107-C為手掌向下且手部偏左時，控制信號為『無人機120向左飛行』；圖5(B)部分繪示，當預設手勢類型107-D為手掌向下且手部偏右時，控制信號為『無人機120向右飛行』；圖5(C)部分繪示，當預設手勢類型107-E為手掌向右時，控制信號為『無人機120向右翻滾』；圖5(D)部分繪示，當預設手勢類型107-F為手掌向左時，控制信號為『無人機120向左翻滾』。
圖6繪示，處理器119會判斷預設手勢類型107-G與107-H中虎口的張開角度(亦即，拇指指向方向與食指指向方向之間的夾角)來判斷無人機105的油門幅度。圖6(A)部分繪示，預設手勢類型107-G中拇指指向方向與食指指向方向之間的夾角為 近乎90度，因此無人機120的油門全部關閉，亦即，無人機120的馬達模組不提供動力來飛行。當預設手勢類型中拇指指向方向與食指指向方向之間的夾角為90度至45度之間，無人機120的油門為半開放狀態，亦即，無人機120的馬達模組提供一半的動力來飛行。圖6(B)部分繪示，預設手勢類型107-H中拇指指向方向與食指指向方向之間的夾角為45度至0度之間，因此無人機120的油門全部開放，亦即，無人機120的馬達模組提供全部動力來飛行。手勢行為辨識模組可透過圖5與圖6的預設手勢類型分析出經輸入的手部區域所對應的第一手勢類型，從而將此第一手勢類型轉換為對應的控制信號。應用本實施例者可依其需求調整前述預設手勢類型與無人機的操控之間的關係，例如，用左手操作作為預設手勢類型、採用不同的手勢作為油門的控制...等。
回到圖1至圖3，當處理器119將第一手勢類型轉換為對應的控制信號後，便將控制信號傳輸給無人機120(箭頭220)，使得無人機120控制其馬達模組125以執行相應動作。並且，使用者105可再次觸控前述實體按鈕/虛擬解鎖按鈕以關閉本實施例所述以手勢控制無人機120的相應功能。
圖7是第二實施例中無人機系統600透過無線基地台610將無人機120中擷取的影像無線傳輸給控制裝置110的示意圖。第一實施例的控制裝置110與無人機120是分別使用圖2中圖像接收器114以及圖像發射器123以直接地傳遞影像，相較來說，第二實施例中無人機系統600的無人機120則是使用符合5G無線 網路協定的影像擷取裝置作為第一影像擷取裝置122，將所擷取的影像先行傳遞至符合5G無線網路協定的核心網路以及作為中間站台的無線基地台610(如圖7箭頭611所示)，然後再將影像從無線基地台610傳送至控制裝置110。
圖8是依照本發明第三實施例的一種無人機系統700的示意圖。第三實施例與前述第一實施例的主要差異在於，控制裝置710從頭戴式顯示裝置改為是以電子行動裝置(例如，平板便電腦、智慧型手機或具有前置鏡頭的電子裝置)實現。也就是說，控制裝置710中的感測裝置712設置在行動電子裝置中面向使用者105之方向，且感測裝置712包括第二影像擷取裝置。第二影像擷取裝置(感測裝置712)用以擷取包括使用者105的手部的第二影像，並擷取第二影像中的手部區域107。控制裝置710中的處理器藉由第二影像擷取裝置(感測裝置712)獲得手部區域107以感測使用者的手部動作，將手部動作透過前述手勢行為辨識模組識別為多個預設手勢類型的第一手勢類型，並將使第一手勢類型轉換為對應的控制信號，從而控制無人機120。
圖9是依照本發明第四實施例的一種無人機系統800的示意圖。第四實施例與前述第三實施例中的控制裝置810皆是以電子行動裝置(例如，平板電腦、智慧型手機或具有前置鏡頭的電子裝置)實現。也就是說，控制裝置810中的感測裝置812設置在行動電子裝置中面向使用者105方向，且感測裝置812包括第二影像擷取裝置。第四實施例與前述第三實施例不同之處在 於，控制裝置810的處理器是透過第二影像擷取裝置(感測裝置812)擷取包括使用者105的唇部的第二影像，並擷取此第二影像中的唇部區域108。
控制裝置810的處理器藉由第二影像擷取裝置(感測裝置812)獲得唇部區域108以感測使用者105的唇部動作，並透過唇形行為辨識模組(lip activity recognition module)來識別唇部動作以獲得使用者105的話語文字資訊，並將這些話語文字資訊轉換為對應的控制信號。
圖10是本發明第四實施例中唇形行為辨識模組判斷唇形以獲得話語文字資訊的示意圖。第四實施例使用的唇形行為辨識模組可以透過第二影像擷取裝置(感測裝置812)擷取的唇部區域108來判斷圖10(A)部分的唇型點狀分布910、圖10(B)部分的上唇形狀920以及下唇形狀930以及圖10(C)部分的上排牙齒範圍940、下排牙齒範圍950以及上下排牙齒間距960，從而得知使用者透過唇部說出的話語並將其轉換為文字資訊。
圖11是本發明第四實施例中以話語文字資訊控制無人機120飛行方向的示意圖。圖11中的第四實施例是以地圖模式控制無人機120的飛行方向。例如，圖11中控制裝置的顯示螢幕右半部分呈現無人機120上前述第三人稱視角的畫面/影像，圖11中控制裝置的顯示螢幕左半部分1010則呈現地圖，並以多個直行線條(如，”A”、”B”、”C”、”D”)與橫列線條(如，”1”、”2”...”6”)格子狀分布劃分這些地圖，並將無人機120的位置1005標記於地 圖上。當使用者用唇部依序說出”A”、”5”的文字資訊時，圖11第四實施例的處理器便對無人機120發出控制信號，以使無人機120從目前位置1005移動到地圖上由直行線條”A”與橫列線條”5”交錯的點所呈現的位置”A-5”。
圖12是依照本發明第五實施例的一種無人機系統1200的示意圖。第五實施例與前述第一實施例的主要差異在於，控制裝置1210從頭戴式顯示裝置改為是以頸掛式穿戴裝置實現。也就是說，控制裝置1210中的感測裝置1212設置在頸掛式穿戴裝置的前方，且感測裝置1212包括設置於其面向使用者105之手部方向的第二影像擷取裝置。第二影像擷取裝置(感測裝置1212)用以擷取包括使用者105的手部的第二影像，並擷取第二影像中的手部區域107。控制裝置1210中的處理器藉由第二影像擷取裝置(感測裝置1212)獲得手部區域107以感測使用者的手部動作，將手部動作透過前述手勢行為辨識模組識別為多個預設手勢類型的第一手勢類型，並將使第一手勢類型轉換為對應的控制信號，從而控制無人機120。
另一方面，以頸掛式穿戴裝置實現的控制裝置1210本身不具備顯示螢幕。控制裝置1210可經控制以與外部顯示螢幕1218相互通訊進而加以控制，從而將無人機120上第一影像擷取裝置122所擷取的影像透過圖像發射器123的傳輸而呈現於外部顯示螢幕1218。使用者105可藉由外部顯示螢幕1218看見前述影像以外，控制裝置1210的處理器還會依據手部動作107而在外部顯示 螢幕1218上產生虛擬手部影像，讓使用者可在外部顯示螢幕1218確認操作的手勢。
圖13是依照本發明各實施例的一種無人機的控制方法的流程圖。此無人機的控制方法適用於用以控制無人機的控制裝置(如，頭戴式顯示裝置、行動電子裝置...等)。於步驟S1110中，控制裝置從無人機的第一影像擷取裝置接收包括無人機中至少一部分機身或全部機身的影像。於步驟S1120中，於控制裝置的顯示螢幕上持續性地呈現前述影像。於步驟S1130中，控制裝置透過控制裝置上的感測裝置感測使用者的動作。於步驟S1140中，控制裝置將步驟S1130中所感測的動作轉換為對應無人機的控制信號。於步驟S1150中，控制裝置傳輸此控制信號至無人機，以使無人機受控於此控制信號。圖13中控制方法的詳細實現方式請參照上述各實施例。
綜上所述，本發明的無人機的控制裝置與其控制方法在無人機上設置第三人稱視角的影像擷取裝置，讓使用者可透過前述第三人稱視角的畫面/影像直觀地看到無人機機身，並且偵測使用者的動作(如，手勢、唇形或相應操作手段)對應地控制無人機。藉此，本發明的無人機系統透過提供第三人稱視角且結合使用者的體感操作，藉以提供更為直覺的方式操控無人機，從而降低控制門檻。
100:無人機系統
105:使用者
107:手部區域
110:控制裝置
112:感測裝置
120:無人機
122:第一影像擷取裝置
140:第一影像擷取裝置的視角方向
210:箭頭

Claims (15)

  1. 一種無人機的控制裝置，包括： 一感測裝置，用以感測一使用者的一動作； 一圖像接收器，用以從所述無人機的一第一影像擷取裝置接收包括所述無人機中至少一部分機身或全部機身的一影像； 一控制發射器，用以將一控制信號傳輸給所述無人機；以及 一處理器，耦接所述感測裝置、所述圖像接收器以及所述控制發射器， 其中，所述處理器透過所述感測裝置獲得所述動作，將所述動作轉換為對應所述無人機的所述控制信號，並透過所述控制發射器將所述控制信號傳輸給所述無人機， 其中所述無人機受控於所述控制裝置所傳送的所述控制信號。
  2. 如請求項1所述的控制裝置，其中所述控制裝置是一頭戴式顯示裝置， 其中所述感測裝置設置於所述頭戴顯示裝置前方，且包括一第二影像擷取裝置， 所述第二影像擷取裝置用以擷取包括所述使用者的手部的一第二影像，並擷取所述第二影像中的一手部區域， 其中所述處理器藉由所述第二影像擷取裝置獲得所述手部區域以感測所述使用者的一手部動作，將所述手部動作識別為多個預設手勢類型的一第一手勢類型，並將所述第一手勢類型轉換為對應的所述控制信號。
  3. 如請求項2所述的控制裝置，其中所述處理器還依據所述手部動作而產生一虛擬手部影像，並將所述虛擬手部影像疊加於一顯示螢幕所呈現的所述影像上。
  4. 如請求項3所述的控制裝置，其中所述處理器還在所述顯示螢幕上呈現一手勢範圍，其中所述手勢範圍內的手部動作，將作為識別對應的所述控制信號。
  5. 如請求項1所述的控制裝置，其中所述控制裝置是一行動電子裝置，其中所述感測裝置設置在所述行動電子裝置中面向所述使用者之方向，且包括一第二影像擷取裝置， 所述第二影像擷取裝置用以擷取包括所述使用者的手部的一第二影像，並擷取所述第二影像中的一手部區域， 其中所述處理器藉由所述第二影像擷取裝置獲得所述手部區域以感測所述使用者的一手部動作，將所述手部動作識別為多個預設手勢類型的其中之一第一手勢類型，並將所述第一手勢類型轉換為對應的所述控制信號。
  6. 如請求項1所述的控制裝置，其中所述控制裝置是一行動電子裝置，其中所述感測裝置設置在所述行動電子裝置中面向所述使用者之方向，且包括一第二影像擷取裝置， 所述第二影像擷取裝置用以擷取包括所述使用者的唇部的一第二影像，並擷取所述第二影像中的一唇部區域， 其中所述處理器藉由所述第二影像擷取裝置獲得所述唇部區域以感測所述使用者的一唇部動作，識別所述唇部動作以獲得所述使用者的一話語文字資訊，並將所述話語文字資訊轉換為對應的所述控制信號。
  7. 如請求項1所述的控制裝置，其中所述控制裝置是一頸掛式穿戴裝置， 其中所述感測裝置設置於所述頸掛式穿戴裝置前方，且包括一第二影像擷取裝置， 所述第二影像擷取裝置用以擷取包括所述使用者的手部的一第二影像，並擷取所述第二影像中的一手部區域， 其中所述處理器藉由所述第二影像擷取裝置獲得所述手部區域以感測所述使用者的一手部動作，將所述手部動作識別為多個預設手勢類型的一第一手勢類型，並將所述第一手勢類型轉換為對應的所述控制信號。
  8. 如請求項7所述的控制裝置，其中所述處理器與一顯示螢幕相互通訊進而加以控制，使所述顯示螢幕呈現所述影像，且還依據所述手部動作而產生一虛擬手部影像，並將所述虛擬手部影像疊加於所述顯示螢幕所呈現的所述影像上。
  9. 如請求項1所述的控制裝置，其中所述感測裝置還包括一紅外線影像擷取裝置、一泛光照明器以及一點陣投射器的其中之一或其組合。
  10. 一種無人機的控制方法，適用於一控制裝置以及一顯示螢幕，所述控制方法包括： 從所述無人機的一第一影像擷取裝置接收包括所述無人機中至少一部分機身或全部機身的一影像； 控制所述顯示螢幕持續性地呈現所述影像； 感測一使用者的一動作，並將所述動作轉換為對應所述無人機的一控制信號；以及 傳輸所述控制信號至所述無人機，其中所述無人機受控於所述控制信號。
  11. 如請求項10所述的控制方法，其中控制裝置是一頭戴式顯示裝置，所述頭戴式顯示裝置設置於所述頭戴顯示裝置前方，且包括一第二影像擷取裝置， 所述第二影像擷取裝置用以擷取包括所述使用者的手部的一第二影像，並擷取所述第二影像中的一手部區域， 其中感測所述使用者的所述動作，並將所述動作轉換為對應所述無人機的所述控制信號的步驟包括： 藉由所述第二影像擷取裝置獲得所述手部區域以感測所述使用者的一手部動作； 透過一手勢行為辨識模組以將所述手部動作識別為多個預設手勢類型的一第一手勢類型；以及 將所述第一手勢類型轉換為對應的所述控制信號。
  12. 如請求項11所述的控制方法，還包括： 依據所述手部動作產生一虛擬手部影像；以及 將所述虛擬手部影像疊加於所呈現的所述影像上。
  13. 如請求項10所述的控制方法，其中控制裝置是一行動電子裝置，所述行動電子裝置包括設置於其面向所述使用者之方向的一第二影像擷取裝置， 所述第二影像擷取裝置用以擷取包括所述使用者的手部的一第二影像，並擷取所述第二影像中的一手部區域， 其中感測所述使用者的所述動作，並將所述動作轉換為對應所述無人機的所述控制信號的步驟包括： 藉由所述第二影像擷取裝置獲得所述手部區域以感測所述使用者的一手部動作； 透過一手勢行為辨識模組以將所述手部動作識別為多個預設手勢類型的一第一手勢類型；以及 將所述第一手勢類型轉換為對應的所述控制信號。
  14. 如請求項10所述的控制方法，其中控制裝置是一行動電子裝置，所述行動電子裝置包括設置於其面向所述使用者之方向的一第二影像擷取裝置， 所述第二影像擷取裝置用以擷取包括所述使用者的唇部的一第二影像，並擷取所述第二影像中的一唇部區域， 其中感測所述使用者的所述動作，並將所述動作轉換為對應所述無人機的所述控制信號的步驟包括： 藉由所述第二影像擷取裝置獲得所述唇部區域以感測所述使用者的一唇部動作； 透過一唇形辨識模組識別所述唇部動作以獲得所述使用者的一話語文字資訊；以及 將所述話語文字資訊轉換為對應的所述控制信號。
  15. 如請求項10所述的控制方法，其中控制裝置是一頸掛式穿戴裝置，所述頸掛式穿戴裝置包括設置於其面向所述使用者之手部方向的一第二影像擷取裝置， 所述第二影像擷取裝置用以擷取包括所述使用者的手部的一第二影像，並擷取所述第二影像中的一手部區域， 其中感測所述使用者的所述動作，並將所述動作轉換為對應所述無人機的所述控制信號的步驟包括： 藉由所述第二影像擷取裝置獲得所述手部區域以感測所述使用者的一手部動作； 透過一手勢行為辨識模組以將所述手部動作識別為多個預設手勢類型的一第一手勢類型；以及 將所述第一手勢類型轉換為對應的所述控制信號。
TW110144560A 2021-11-30 2021-11-30 無人機的控制裝置及其控制方法 TWI802115B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW110144560A TWI802115B (zh) 2021-11-30 2021-11-30 無人機的控制裝置及其控制方法
US17/669,360 US11921523B2 (en) 2021-11-30 2022-02-11 Control device for unmanned aerial vehicle and control method therefor
JP2022046506A JP7482923B2 (ja) 2021-11-30 2022-03-23 無人航空機の制御装置およびその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110144560A TWI802115B (zh) 2021-11-30 2021-11-30 無人機的控制裝置及其控制方法

Publications (2)

Publication Number Publication Date
TWI802115B true TWI802115B (zh) 2023-05-11
TW202324015A TW202324015A (zh) 2023-06-16

Family

ID=86499906

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110144560A TWI802115B (zh) 2021-11-30 2021-11-30 無人機的控制裝置及其控制方法

Country Status (3)

Country Link
US (1) US11921523B2 (zh)
JP (1) JP7482923B2 (zh)
TW (1) TWI802115B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020250828A1 (ja) * 2019-06-11 2020-12-17 パナソニックＩｐマネジメント株式会社 発話区間検出装置、発話区間検出方法、および発話区間検出プログラム
CN117389338B (zh) * 2023-12-12 2024-03-08 天津云圣智能科技有限责任公司 无人机的多视角交互方法、装置及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106020234A (zh) * 2016-07-26 2016-10-12 北京奇虎科技有限公司 一种无人机飞行控制的方法、装置及设备
TW201732530A (zh) * 2016-03-04 2017-09-16 德凡特未來股份有限公司 動作判識裝置及其控制方法
CN107924239A (zh) * 2016-02-23 2018-04-17 索尼公司 遥控装置、遥控方法、遥控***和程序
TW202008151A (zh) * 2018-08-08 2020-02-16 緯創資通股份有限公司 控制裝置與無人機控制方法
US20200272144A1 (en) * 2019-02-21 2020-08-27 Hangzhou Zero Zero Technology Co., Ltd. One-handed remote-control device for aerial system
US20200326708A1 (en) * 2013-07-31 2020-10-15 SZ DJI Technology Co., Ltd. Remote control method and terminal
US20200384654A1 (en) * 2018-01-19 2020-12-10 Korea Advanced Institute Of Science And Technology Object control method and object control device

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7606411B2 (en) 2006-10-05 2009-10-20 The United States Of America As Represented By The Secretary Of The Navy Robotic gesture recognition system
JP2014150348A (ja) 2013-01-31 2014-08-21 Sharp Corp 撮影装置
US9798322B2 (en) 2014-06-19 2017-10-24 Skydio, Inc. Virtual camera interface and other user interaction paradigms for a flying digital assistant
CN105223957B (zh) 2015-09-24 2018-10-02 北京零零无限科技有限公司 一种手势操控无人机的方法和装置
EP3368957B1 (en) 2015-10-30 2022-02-09 SZ DJI Technology Co., Ltd. Systems and methods for uav path planning and control
WO2017096547A1 (en) 2015-12-09 2017-06-15 SZ DJI Technology Co., Ltd. Systems and methods for uav flight control
CN105630341A (zh) 2015-12-23 2016-06-01 英华达（上海）科技有限公司 触控显示装置、触控显示方法及无人机
KR20170090603A (ko) 2016-01-29 2017-08-08 아주대학교산학협력단 손의 움직임 인식을 이용한 드론 제어 시스템 및 방법
US10168700B2 (en) 2016-02-11 2019-01-01 International Business Machines Corporation Control of an aerial drone using recognized gestures
US10244211B2 (en) 2016-02-29 2019-03-26 Microsoft Technology Licensing, Llc Immersive interactive telepresence
KR20180075191A (ko) 2016-12-26 2018-07-04 삼성전자주식회사 무인 이동체를 제어하기 위한 방법 및 전자 장치
TWI667054B (zh) 2017-01-24 2019-08-01 大陸商騰訊科技（深圳）有限公司 飛行器飛行控制方法、裝置、飛行器及系統
CA2997077A1 (en) 2017-03-06 2018-09-06 Walmart Apollo, Llc Apparatuses and methods for gesture-controlled unmanned aerial vehicles
JP2018165066A (ja) 2017-03-28 2018-10-25 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法
US11106223B2 (en) 2019-05-09 2021-08-31 GEOSAT Aerospace & Technology Apparatus and methods for landing unmanned aerial vehicle
JP7439639B2 (ja) 2020-05-15 2024-02-28 富士フイルムビジネスイノベーション株式会社 情報提示システム及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200326708A1 (en) * 2013-07-31 2020-10-15 SZ DJI Technology Co., Ltd. Remote control method and terminal
CN107924239A (zh) * 2016-02-23 2018-04-17 索尼公司 遥控装置、遥控方法、遥控***和程序
TW201732530A (zh) * 2016-03-04 2017-09-16 德凡特未來股份有限公司 動作判識裝置及其控制方法
CN106020234A (zh) * 2016-07-26 2016-10-12 北京奇虎科技有限公司 一种无人机飞行控制的方法、装置及设备
US20200384654A1 (en) * 2018-01-19 2020-12-10 Korea Advanced Institute Of Science And Technology Object control method and object control device
TW202008151A (zh) * 2018-08-08 2020-02-16 緯創資通股份有限公司 控制裝置與無人機控制方法
US20200272144A1 (en) * 2019-02-21 2020-08-27 Hangzhou Zero Zero Technology Co., Ltd. One-handed remote-control device for aerial system

Also Published As

Publication number Publication date
JP7482923B2 (ja) 2024-05-14
US11921523B2 (en) 2024-03-05
JP2023081259A (ja) 2023-06-09
US20230168694A1 (en) 2023-06-01
TW202324015A (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
TWI802115B (zh) 無人機的控制裝置及其控制方法
US20180173220A1 (en) System and method for controller-free user drone interaction
KR102067057B1 (ko) 디지털 디바이스 및 제어 방법
CN109600550B (zh) 一种拍摄提示方法及终端设备
US9542958B2 (en) Display device, head-mount type display device, method of controlling display device, and method of controlling head-mount type display device
US10303435B2 (en) Head-mounted display device, method of controlling head-mounted display device, and computer program
JP6572600B2 (ja) 情報処理装置、情報処理装置の制御方法、および、コンピュータープログラム
US10274729B2 (en) Remote control device, remote control product and remote control method
US20160195926A1 (en) Information processing apparatus and information processing method
US20120229509A1 (en) System and method for user interaction
CN108008730A (zh) 无人机飞行控制方法及其***
JP2017091433A (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
WO2018117514A1 (ko) 공항용 로봇 및 그의 동작 방법
WO2012119371A1 (zh) 一种用户交互***和方法
CN108170153A (zh) 无人机飞行控制***及其方法
JP2016126381A (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP2021144260A (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
US11144751B2 (en) Information processing apparatus and non-transitory computer readable medium to allow operation without contact
US11435856B2 (en) Information processing device, information processing method, and program
JP2016130985A (ja) 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
CN111093033B (zh) 一种信息处理方法及设备
WO2023025204A1 (zh) 远程控制方法、装置及第一、第二控制端
KR20240009984A (ko) 전자 안경류 디바이스로부터 맥락에 맞는 시각 및 음성 검색
JP6828235B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム
JP6451222B2 (ja) 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム