CN106200679A - 基于多模态自然交互的单操作员多无人机混合主动控制方法 - Google Patents
基于多模态自然交互的单操作员多无人机混合主动控制方法 Download PDFInfo
- Publication number
- CN106200679A CN106200679A CN201610838445.6A CN201610838445A CN106200679A CN 106200679 A CN106200679 A CN 106200679A CN 201610838445 A CN201610838445 A CN 201610838445A CN 106200679 A CN106200679 A CN 106200679A
- Authority
- CN
- China
- Prior art keywords
- control
- unmanned plane
- task
- mode
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000003993 interaction Effects 0.000 title claims abstract description 19
- 230000033001 locomotion Effects 0.000 claims abstract description 12
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims abstract description 11
- 230000009471 action Effects 0.000 claims abstract description 8
- 238000010276 construction Methods 0.000 claims abstract description 3
- 238000001514 detection method Methods 0.000 claims description 18
- 230000015572 biosynthetic process Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000002265 prevention Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- -1 in-line Chemical compound 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000004899 motility Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供一种基于多模态自然交互的单操作员多无人机混合主动控制方法,无人机操作员可利用语音控制模态、眼动控制模态、手势控制模态、操作杆控制模态以及触摸屏控制模态与无人机进行自然交互与控制。操作员依据环境和任务的复杂程度,操作员能够在最高层的全自主控制、任务层控制、导航层控制以及最底层的运动层控制之间切换,对应无人机运行的控制等级在全自主控制、半自主控制、自主飞行控制以及手动控制之间滑动切换。当一架无人机运行在较高的自主控制等级时,操作员可以将控制权集中到另一架需要干预的无人机上,从而可以保证实现单操作员对多无人机的混合主动控制。
Description
技术领域
本发明涉及无人机***技术领域,具体涉及一种基于多模态自然交互的单操作员多无人机混合主动控制方法。
背景技术
近年来随着无人机***技术的迅猛发展,对无人机任务控制站提出了更高的要求,要求其具备集指挥控制、任务规划、通信管理、情报处理等于一体的综合能力,并且任务控制***不再局限于地面,还可以部署在空中、海面甚至是有人机。未来任务控制站不仅限于控制同型号的单架无人机或无人机群,还将控制不同型号的无人机联合机群,及控制无人机协同有人驾驶飞机完成特定任务,同时向用更少的指挥人员控制更多数量的无人机平台方向发展,达到一人控制多个无人机的目标。
虽然近年来无人机已具有较强的智能化水平和自主控制能力,开始由“人在回路中”(man-in-the-loop)的交互控制向“人在回路上”(man-on-the-loop)的监督控制(Supervisory Control)方向发展,但在执行任务过程中任务站操作员仍然拥有操纵无人机的最终决定权,其作战使用离不开人的指挥控制,海量的显示信息及控制需求使地面站操作员的工作负荷和操作难度增大容易导致误判和误操作。公开号为CN100541370,专利号为200810100893.1的专利文献提供了一种无人机多模态控制与切换方法,其依据遥感操作信号对飞行控制***的作用程度不同,将飞行控制***划分为五种控制模态,然而遥感操作信号简单不易划分。
因此,研究一种基于多模态自主交互的单操作员多无人机混合主动控制方法是非常必要的,这就要求操作员必须以简单、直观的方式与无人机交互,将认知精力集中放在相关的关键活动上(例如:目视检查、精确机动等),同时依靠无人机自主***来完成常规化操作与行为(任务分解、路径规划、航点导航、避障等)。在这种情境下,无人机***架构必须能够管理不同的控制模式:(1)全自主模式,无人机不需要人的介入,对操作员而言处于忽略模式;(2)半自主模式:无人机具备机载任务重规划能力,可以在人给定抽象任务条件下自主完成复杂任务的规划与执行;(3)自主飞控模式:无人机具备离线重规划能力,在人给定导航目标、编队控制指令、飞行路径(由控制站完成重规划)等前提下,进行路径跟踪和飞行控制。(4)手动模式:在手动模式下,人可以直接对各无人机和传感器进行操纵。同时。这四种控制模式是可以动态切换的。
发明内容
本发明提出了一种基于多模态自然交互的单操作员多无人机混合主动控制方法,操作员可利用语音、眼动、手势、操纵杆、触摸屏等模态与无人机进行自然交互与控制。
一种基于多模态自然交互的单操作员多无人机混合主动控制方法,无人机操作员可利用语音控制模态、眼动控制模态、手势控制模态、操作杆控制模态以及触摸屏控制模态与无人机进行自然交互与控制。
所述语音控制模态用于控制无人机执行特定的任务,包括目标打击、区域探测以及区域的搜索任务,属于任务层控制。
所述眼动控制模态用于控制无人机实时跟踪目标,属于任务层控制。
所述手势控制模态用于无人机飞行方向引导、编队避碰、编队变换等,属于导航层控制。
所述操纵杆控制模态用于操纵无人机执行底层控制任务,操作杆是直接接管无人机的控制,包括控制无人机的飞行状态或飞行轨迹,如控制无人机以多少角度向左、右飞行等。
所述触摸屏控制模态是无人机操作员利用触摸屏改变机载传感器视角、焦距,通过触摸屏掌握无人机的状态、当前任务、以文本/图形形式显示的当前环境与操作状态的反馈、路径规划、航点导航以及避障行为。
操作员依据环境和任务的复杂程度,操作员能够在最高层的全自主控制、任务层控制、导航层控制以及最底层的运动层控制之间切换,对应无人机运行的控制等级在全自主控制、半自主控制、自主飞行控制以及手动控制之间滑动切换。当一架无人机运行在较高的自主控制等级时,操作员可以将控制权集中到另一架需要干预的无人机上,从而可以保证实现单操作员对多无人机的混合主动控制。
进一步地,所述语音控制模态是通过对语音进行识别,然后根据语音识别结果对应相应的无人机指令,如目标打击,区域探测,区域的搜索任务,属于任务层控制,搜索任务的方式有区域搜索、平行线搜索、正方形扩大搜索等。
所述眼动控制模态是指无人机实时跟踪眼睛所观测到的目标,其跟踪过程如下,首先检测眼睛相对于眼睛检测设备的坐标为(Xw,Yw,Zw),然后利用眼睛检测设备到触摸屏坐标的转换矩阵R转化到触摸屏坐标(Xp,Yp,1)即(Xw,Yw,Zw)=R*(Xp,Yp,1),最后转换为机载传感器采集的图像中的像素坐标,无人机实时跟踪该像素坐标下的目标。该方法主要是为减少图像目标识别的区域,为后续的图像目标区域模板匹配、直方图匹配、特征点匹配等方法减少模板图像的匹配区域,同时当目标丢失后再次利用眼动检测重新跟踪目标。
所述手势控制模态是通过对单手或者双手姿态的识别,根据识别到的手指向以及手方向信号实现对单架无人机进行飞行导引,对多架无人机的编队进行控制。单一手势命令可以控制单无人机操作,如离开指令,无人机向目标相反方向移动,靠近指令,无人机向目标方向移动等。双手手势可以控制多无人机做出相应的编队飞行控制,如一字形、人字形等指令。
环境的复杂程度是根据机载传感器采集的图像,然后对图像做显著性检测或者边缘检测,根据显著性检测或边缘检测结果判断图像中目标的数目,当环境复杂度提高时,显著性的区域增加或边缘区域明显,则提示操作员向底层控制切换,如采用操纵杆等操作。
任务的复杂程度:操作员将任务分解为一系列子任务,对于每个子任务,根据操作员在处理该子任务时付出的时间,赋予一个数字值表示该子任务的工作量。
设当前包含个N任务,这些任务构成集合I。对于任务i,i∈I依据操作员完全手动处理该任务时付出的时间,赋予任务i的工作量数字值为wi。设在t时刻需要操作员处理的任务集合其中m≤N,则t时刻操作员的工作量为:
利用上式每隔一段时间计算一次操作员的工作量,计算的结果作为这段时间的工作量;当操作员的工作量大时,任务的复杂程度增加,此时无人机任务控制站处于最高层的全自主控制状态。
任务复杂度为w,环境复杂度为ξ,无人机自主控制等级为P,三者的关系如下:
当P>T1时全自主控制,当T2<P≤T1时半自主控制、当T3<P≤T2时自主飞行控制,当P≤T2时手动控制。
本发明通过整合不同控制模态,人与无人机***之间可实现自然、灵活、鲁棒的交互,实现单操作员对多无人机的混合主动控制,为无人机***完成使命任务奠定基础。
附图说明
图1为多模态自然交互的单操作员多无人机混合主动控制示意图;
图2为本发明的流程图;
图3(a)为手位置测量模型的示意图,图3(b)为手势识别实物图;
图4为执行搜索任务的无人机搜索策略示意图,
图5为环境的复杂性检测,其中图5(a)为原始图像,图5(b)为显著性检测的图像。
图6为在不需重规划条件下人为干预路径图;
图7为在不同控制模式下成功探测到目标的概率图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步说明。
本发明旨在设计一种基于多模态自主交互的单操作员多无人机混合主动控制方法,为操作员可更好的利用语音控制模态、眼动控制模态、手势控制模态、操作杆控制模态以及触摸屏控制模态等控制模态与无人机进行交互控制。通过整合不同模态,人与无人机***之间可实现自然、灵活、鲁棒的交互,并且有效实现单操作员控制多无人机的功能。下面根据图1-7说明本方法的具体实施方式。
图1为单操作员多无人机混合主动控制***示意图。操作员可利用语音、手势、眼动、操纵杆、触摸屏等传感器输入模块作为无人机的控制模态与无人机进行交互,用户可以执行部分操作,而自主***则根据相应的指令做出应对的反应或者完成重配置。为此,设计了适合监督和协调无人机群组和单个无人机的活动的模块化架构。操作员必须能够在不同抽象级水平下(全自主、任务、导航、运动等)实施控制,利用不同的控制模态(语音、眼动、操手势、纵杆、触摸屏等),与多无人机***进行交互。
图2为***流程图。操作员可利用语音控制模态、眼动控制模态、手势控制模态、操作杆控制模态以及触摸屏控制模态与无人机进行自然交互与控制。
语音控制模态用于控制无人机执行特定的任务,首先对语音进行识别,然后根据语音识别结果对应相应的无人机指令,如目标打击,区域探测,区域的搜索任务,属于任务层控制,搜索任务的方式有区域搜索、平行线搜索、正方形扩大搜索等。眼动控制模态用于控制无人机实时跟踪目标,属于任务层控制。手势控制模态(例如:手指向、手方向信号等)用于无人机飞行方向引导、编队避碰、编队变换等,属于导航层控制。操纵杆控制模态一般用于操纵无人机执行底层控制任务。
最后,无人机操作员利用触摸屏,可以改变机载传感器视角、焦距等,也可以掌握无人机的状态、当前任务,以及以文本/图形形式显示的当前环境与操作状态的反馈、路径规划、航点导航、避障行为等。
基于无人机***自主能力,环境和任务的复杂程度,或者出现相应的意外事件,操作员可以在最高层的全自主控制、任务层控制、导航层控制,最底层的运动层控制之间切换,对应无人机在全自主控制、半自主控制、自主飞行控制以及手动控制之间滑动切换。通过整合不同控制模态,人与无人机***之间可实现自然、灵活、鲁棒的交互,实现单操作员对多无人机的混合主动控制,为无人机***完成使命任务奠定基础。
手势控制模态(例如:手指向、手方向信号等)用于对单架无人机进行飞行导引,对多架无人机的编队进行控制。单一手势命令可以控制单无人机操作,如离开指令,无人机向目标相反方向移动,靠近指令,无人机向目标方向移动等。双手手势可以控制多无人机做出相应的编队飞行控制,如一字形、人字形等指令。如表1所示为无人机手势识别中单无人机操作的基本命令。针对多无人机采用双手手势识别,如表2所示为多无人机各种编队飞行中的指令集。该指令集可以扩充。
表1 单手势识别中单无人机操作的基本指令
手势命令 | 描述 | 手势命令 | 描述 |
向上 | 起飞或者增加海拔 | 手快速运动 | 增加无人机的速度 |
着陆 | 着陆 | 手慢速运动 | 减慢无人机的速度 |
向下 | 减少海拔 | 朝前 | 向前飞 |
向左 | 向左飞 | 悬停 | 悬停 |
向右 | 向右飞 | 切换 | 是否手势识别操作无人机 |
朝后 | 向后飞 | 远离 | 远离目标 |
表2 双手手势识别中多无人机编队的基本指令
手势命令 | 描述 | 手势命令 | 描述 |
双手闭合 | 人字形编队 | 双手张开 | 一字形编队 |
一前一后 | 前后编队 | 双手向上 | 上下编队 |
手势主要包括手势的动作和手的位置,手势动作可以是手在不同的位置或者不同的移动速度、单一的手势动作也可以是多种手势动作的组合。比如左手向上、向下、向左、向右、手闭合等手势动作或者手在不同位置的测量。单手势识别主要针对单无人机的操作,其中基本的指令包括向上、向下、着陆,悬停,增加无人机的速度等。双手手势识别中多无人机编队指令包括双手闭合、双手张开、一前一后、双手向上等。
手势主要包括手势的动作和手的位置,采用体感传感器如Xtion、Kinect等深度图像传感器中的骨架识别中的手势动作识别。手位置测量模型的示意图如图3(a)所示,该方法采用手在不同的位置建立相应的空间模型,根据人头部所在的位置减去一个固定的值建立零点坐标。头部点的位置Head(x,y,z),手指的位置Hand(x,y,z),零点定位位置为O(x,y,z)=Head(x,y,z)-T0。当Handy>Oy时手势命令为向下,对应的是减少无人机的海拔高度;当(Handz-Oz)/t>T时手势命令为手快速运动,对应的是增加无人机的速度。
语音控制模态用以控制无人机执行特定的任务,首先对语音进行识别,然后根据语音识别结果对应相应的无人机指令,如目标打击,区域探测,区域的搜索任务,属于任务层控制,搜索任务的方式有区域搜索、平行线搜索、正方形扩大搜索等。假定每种模式都可通过分配搜索区域和特定的扩展步骤或者角度(如果采用区域搜索法)来表示。引入了价值函数Ca(a,sp,u)来估计无人机u在搜索区域a的搜索模式sp的价值,用价值函数Cp(p,u)来评估无人机u的搜索路径p的价值。在这种背景下,一旦操作员指定了一组搜索区域A={a1,...,an}和搜索路径P={p1,...,pm},该操作员必须与自主***进行交互,以确保将搜索任务分配给无人机并完成实例化,然后对无人机的任务执行情况进行监督和协调。这些搜索分配可以根据任务和无人机的当前状态,以及无人机的能力重新进行分配如图4所示,区域搜索101、平行线搜索102、正方形扩大搜索103等。
操作员依据环境和任务的复杂程度,环境的复杂度可以采用图像中的物体数目作为依据,或者出现相应的意外事件,当环境的复杂度高或者操作员任务的复杂度不高时,可以从最高层切换到最底层,在全自主控制、半自主控制(机载重规划)、自主飞行控制(离线重规划)、遥控(手动控制)之间滑动切换,当一架无人机运行在较高的自主控制等级时,操作员可以将控制权集中到另一架需要干预的无人机上,从而可以保证实现单操作员对多无人机的混合主动控制。如图5所示为图像显著性检测,根据显著性检测结果可以判断图像中目标的数目,当环境复杂度提高时,显著性的区域增加,***会提示操作员采用向底层控制切换,如采用摇杆等操作。
在路径规划提供给定航点和限制条件(障碍物距离)的条件下,轨迹规划生成规定了位置、速度、加速度和急转的轨迹。在混合主动控制中,人可以通过干预直接对轨迹进行修改,说明人可以随时通过轨迹规划来调整当前的轨迹。事实上,在混合主动模式下,自主性和人通过结合来获取唯一位置指令。通过这种方式,在人的干预下,无人机可以背离规划轨迹。然而,在人停止干预、开启自主模式情况下,无人机则会逐渐回归规划轨迹,而无需重规划。具体而言,假定在混合主动模式下,操作员能够控制无人机的速度。在这种设置下,操作员可生成相对位置指令***由轨迹规划生成的aC=(xt,yt,zt)。hC函数的计算公式为:
其中,human(t)表示操作员(通过操纵杆、手势、语音等)在t时生成的控制参考,Λ(t)是实现hc(t)值增大或减小的线性函数。利用该函数,使hc(t)接近释放操纵杆时自主控制所提供的值。此外,假定操作员可以在以当前规划位置为中心的球形区域内无人机,该球形代表操作员的情境相关工作空间。在操作员将无人机移出该球形区域时,重规划进程开始(与避障重规划相似)。在这种情况下,自主***会生成新的路径和轨迹,以到达下一个航点。需要注意的是,如果当前任务的执行条件不再有效(例如:先决条件、能源、资源、以及时间限制),路径与轨迹重规划也可引发任务重规划,如图6所示。
操作员可以通过多模态的方式(操纵杆、语音、手势等),向***发出这些指令,从而与无人机交互或者直接对无人机进行控制。需要注意的是,这些指令可能比较简单,并且与具体的情境有关。例如,当无人机处于闲置状态时,“向上”则表示起飞,否则表示需要无人机飞至更高高度。导航指令(左、右、前、后)也与无人机有关(例如:当发出指令“左”时,机器人移至摄像头左侧),可能会比较抽象(需要***对实际运动进行实例化),也可能比较具体(例如:向左移动1米)。指令“加快”和“减慢”可以改变无人机执行指令的速度(如果无人机处于闲置状态,则指令无效)。每次启用这些指令都会使实际速度加快/减慢一定的幅度,至多达到极限值。如果收到“去往”指令,无人机则会移至地图坐标或者位置符号(地图上已有的位置符号或者操作员在执行任务的过程中标记的位置符号)所对应的特定位置。
采用多模态的多无人机混合主动控制方法,相对于全自主控制和全手动控制模式如图7展示了3种控制模式下目标发现的概率。正如预期那样,手动控制模式效率很低。事实上,在手动控制模式下,不仅多架无人机平行搜索的方式不可取,而且还因缺乏任务/路径指导,而降低了多无人机***整体的态势感知水平,因而其有效探测次数明显低于其他两种模式。另一方面,由于假定有可靠的人/物体探测***,因此,如果初始假设条件精确,那么自主模式下的工作效率将非常高。在这种情况下,多架无人机可以完成所有区域的扫描,并找到80%的目标。然而,如果初始假设条件并不那么精确,成功率则会迅速下降。事实上,自主***的灵活性并不够,无法在必要时偏离规划好的活动。相反,混合主动模式的效率高于自主模式,当初始假定条件出错时,这种优势尤为明显。
Claims (7)
1.一种基于多模态自然交互的单操作员多无人机混合主动控制方法,其特征在于,无人机操作员可利用语音控制模态、眼动控制模态、手势控制模态、操作杆控制模态以及触摸屏控制模态与无人机进行自然交互与控制;
所述语音控制模态用于控制无人机执行特定的任务,包括目标打击、区域探测以及区域的搜索任务,属于任务层控制;
所述眼动控制模态用于控制无人机实时跟踪目标,属于任务层控制;
所述手势控制模态用于无人机飞行方向引导、编队避碰、编队变换等,属于导航层控制;
所述操纵杆控制模态用于操纵无人机执行底层控制任务,包括控制无人机的飞行状态或飞行轨迹;
所述触摸屏控制模态是无人机操作员利用触摸屏改变机载传感器视角、焦距,通过触摸屏掌握无人机的状态、当前任务、以文本/图形形式显示的当前环境与操作状态的反馈、路径规划、航点导航以及避障行为;
操作员依据环境和任务的复杂程度,操作员能够在最高层的全自主控制、任务层控制、导航层控制以及最底层的运动层控制之间切换,对应无人机运行的控制等级在全自主控制、半自主控制、自主飞行控制以及手动控制之间滑动切换。
2.根据权利要求1所述的基于多模态自然交互的单操作员多无人机混合主动控制方法,其特征在于:所述语音控制模态是通过对语音进行识别,然后根据语音识别结果对应相应的无人机指令。
3.根据权利要求1所述的基于多模态自然交互的单操作员多无人机混合主动控制方法,其特征在于:所述眼动控制模态是指无人机实时跟踪眼睛所观测到的目标,其跟踪过程如下,首先检测眼睛相对于眼睛检测设备的坐标为(Xw,Yw,Zw),然后利用眼睛检测设备到触摸屏坐标的转换矩阵R转化到触摸屏坐标(Xp,Yp,1)即(Xw,Yw,Zw)=R*(Xp,Yp,1),最后转换为机载传感器采集的图像中的像素坐标,无人机实时跟踪该像素坐标下的目标。
4.根据权利要求1所述的基于多模态自然交互的单操作员多无人机混合主动控制方法,其特征在于:所述手势控制模态是通过对单手或者双手姿态的识别,根据识别到的手指向以及手方向信号实现对单架无人机进行飞行导引,对多架无人机的编队进行控制。
5.根据权利要求1所述的基于多模态自然交互的单操作员多无人机混合主动控制方法,其特征在于:环境的复杂程度是根据机载传感器采集的图像,然后对图像做显著性检测或者边缘检测,根据显著性检测或边缘检测结果判断图像中目标的数目,当环境复杂度提高时,显著性的区域增加或边缘区域明显,则提示操作员向底层控制切换。
6.根据权利要求5所述的基于多模态自然交互的单操作员多无人机混合主动控制方法,其特征在于:任务的复杂程度:操作员将任务分解为一系列子任务,对于每个子任务,根据操作员在处理该子任务时付出的时间,赋予一个数字值表示该子任务的工作量;
设当前包含个N任务,这些任务构成集合I。对于任务i,i∈I依据操作员完全手动处理该任务时付出的时间,赋予任务i的工作量数字值为wi。设在t时刻需要操作员处理的任务集合其中m≤N,则t时刻操作员的工作量为:
利用上式每隔一段时间计算一次操作员的工作量,计算的结果作为这段时间的工作量;当操作员的工作量大时,任务的复杂程度增加,此时无人机任务控制站处于最高层的全自主控制状态;
任务复杂度为w,环境复杂度为ξ,无人机自主控制等级为P,三者的关系如下:
当P>T1时全自主控制,当T2<P≤T1时半自主控制、当T3<P≤T2时自主飞行控制,当P≤T2时手动控制。
7.根据权利要求1所述的基于多模态自然交互的单操作员多无人机混合主动控制方法,其特征在于:当一架无人机运行在较高的自主控制等级时,操作员可以将控制权集中到另一架需要干预的无人机上,从而可以保证实现单操作员对多无人机的混合主动控制。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610838445.6A CN106200679B (zh) | 2016-09-21 | 2016-09-21 | 基于多模态自然交互的单操作员多无人机混合主动控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610838445.6A CN106200679B (zh) | 2016-09-21 | 2016-09-21 | 基于多模态自然交互的单操作员多无人机混合主动控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106200679A true CN106200679A (zh) | 2016-12-07 |
CN106200679B CN106200679B (zh) | 2019-01-29 |
Family
ID=58067021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610838445.6A Active CN106200679B (zh) | 2016-09-21 | 2016-09-21 | 基于多模态自然交互的单操作员多无人机混合主动控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106200679B (zh) |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106873621A (zh) * | 2017-02-26 | 2017-06-20 | 南京航空航天大学 | 一种基于拉格朗日方程的无人机编队队形控制算法 |
CN107123422A (zh) * | 2017-05-23 | 2017-09-01 | 成都环磊科技有限公司 | 无人机定位语音分布式控制方法 |
CN107168198A (zh) * | 2017-05-12 | 2017-09-15 | 武汉理工大学 | 一种主动介入式智能轮椅控制方法及装置 |
CN107203215A (zh) * | 2017-05-04 | 2017-09-26 | 西北工业大学 | 一种手势及语音控制四旋翼飞行器方法 |
CN107314772A (zh) * | 2017-07-25 | 2017-11-03 | 哈尔滨工业大学(威海) | 一种无人机自学习航点轨迹飞行方法及其*** |
CN107643695A (zh) * | 2017-09-07 | 2018-01-30 | 天津大学 | 基于脑电的有人/无人机集群编队vr仿真方法及*** |
CN108303994A (zh) * | 2018-02-12 | 2018-07-20 | 华南理工大学 | 面向无人机的群控交互方法 |
CN108375986A (zh) * | 2018-03-30 | 2018-08-07 | 深圳市道通智能航空技术有限公司 | 无人机的控制方法、装置及终端 |
CN108827286A (zh) * | 2018-03-15 | 2018-11-16 | 西北工业大学 | 基于瞳孔跟踪的分布可穿戴式低空目标探测技术 |
CN108873942A (zh) * | 2018-10-10 | 2018-11-23 | 边学静 | 一种基于互联网的无人机编队队形保持的方法 |
CN109710063A (zh) * | 2018-12-11 | 2019-05-03 | 中国航空工业集团公司西安航空计算技术研究所 | 一种智能化作战的多模态人机智能交互框架、方法和装置 |
CN110221620A (zh) * | 2019-05-30 | 2019-09-10 | 中国人民解放军国防科技大学 | 一种基于mas的多无人***监督控制站 |
CN110261880A (zh) * | 2019-06-19 | 2019-09-20 | 深圳市道通智能航空技术有限公司 | 一种搜索无人机的方法、***及无人机 |
CN110383189A (zh) * | 2018-03-30 | 2019-10-25 | 深圳市大疆创新科技有限公司 | 无人机控制方法和控制装置 |
CN110689884A (zh) * | 2019-09-09 | 2020-01-14 | 苏州臻迪智能科技有限公司 | 智能设备控制方法及装置 |
CN110858096A (zh) * | 2018-08-23 | 2020-03-03 | 中瑞福宁机器人(沈阳)有限公司 | 以语义识别为主并辅之以其它方式的机器人人机交互方法 |
CN111026873A (zh) * | 2019-10-24 | 2020-04-17 | 中国人民解放军军事科学院国防科技创新研究院 | 无人车及其导航方法、装置 |
CN111123921A (zh) * | 2019-12-13 | 2020-05-08 | 大连民族大学 | 面向无人船***导航任务确定自主等级的方法 |
TWI696122B (zh) * | 2017-04-17 | 2020-06-11 | 英華達股份有限公司 | 無人機互動拍攝系統方法 |
CN111459161A (zh) * | 2020-04-03 | 2020-07-28 | 北京理工大学 | 一种多机器人***人为干预控制方法 |
US10800039B2 (en) | 2018-01-23 | 2020-10-13 | General Electric Company | Controlling and commanding an unmanned robot using natural interfaces |
CN111966217A (zh) * | 2020-07-20 | 2020-11-20 | 中国人民解放军军事科学院国防科技创新研究院 | 基于手势和眼动的无人机控制方法和*** |
CN112051780A (zh) * | 2020-09-16 | 2020-12-08 | 北京理工大学 | 一种基于脑机接口的移动机器人编队控制***及方法 |
CN112068587A (zh) * | 2020-08-05 | 2020-12-11 | 北京航空航天大学 | 基于欧椋鸟通信机制的有人/无人机共融集***互方法 |
CN112783200A (zh) * | 2020-12-25 | 2021-05-11 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种无人机操控方法 |
CN112975982A (zh) * | 2021-03-16 | 2021-06-18 | 北京理工大学 | 一种基于脑机融合的空地协同多机器人*** |
CN113341692A (zh) * | 2021-05-21 | 2021-09-03 | 浙江大学 | 一种基于摇杆隐喻开发的眼控交互*** |
CN114385099A (zh) * | 2021-11-26 | 2022-04-22 | 中国航空无线电电子研究所 | 基于主动推显的多无人机动态监控界面显示方法和装置 |
CN114578858A (zh) * | 2022-03-16 | 2022-06-03 | 思翼科技(深圳)有限公司 | 一种无人机遥控器遥控*** |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101236434A (zh) * | 2008-02-25 | 2008-08-06 | 北京航空航天大学 | 一种无人机多模态控制与切换方法 |
CN101592955A (zh) * | 2009-04-08 | 2009-12-02 | 孙卓 | 一种全自动无人飞行器控制*** |
CN103782255A (zh) * | 2011-09-09 | 2014-05-07 | 泰利斯航空电子学公司 | 交通工具娱乐***的眼动追踪控制 |
CN104145232A (zh) * | 2012-01-04 | 2014-11-12 | 托比技术股份公司 | 用于注视交互的*** |
CN104321718A (zh) * | 2012-06-29 | 2015-01-28 | 英特尔公司 | 用于人类自然命令控制的多模态行为感知 |
CN104656877A (zh) * | 2013-11-18 | 2015-05-27 | 李君� | 基于手势和语音识别控制的人机交互方法及其设备和应用 |
CN104854537A (zh) * | 2013-01-04 | 2015-08-19 | 英特尔公司 | 与计算设备的多距离、多模态自然用户交互 |
CN104965592A (zh) * | 2015-07-08 | 2015-10-07 | 苏州思必驰信息科技有限公司 | 基于语音和手势识别的多模态非触摸人机交互方法及*** |
US20160162020A1 (en) * | 2014-12-03 | 2016-06-09 | Taylor Lehman | Gaze target application launcher |
CN105912128A (zh) * | 2016-04-29 | 2016-08-31 | 北京光年无限科技有限公司 | 面向智能机器人的多模态交互数据处理方法及装置 |
-
2016
- 2016-09-21 CN CN201610838445.6A patent/CN106200679B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101236434A (zh) * | 2008-02-25 | 2008-08-06 | 北京航空航天大学 | 一种无人机多模态控制与切换方法 |
CN101592955A (zh) * | 2009-04-08 | 2009-12-02 | 孙卓 | 一种全自动无人飞行器控制*** |
CN103782255A (zh) * | 2011-09-09 | 2014-05-07 | 泰利斯航空电子学公司 | 交通工具娱乐***的眼动追踪控制 |
CN104145232A (zh) * | 2012-01-04 | 2014-11-12 | 托比技术股份公司 | 用于注视交互的*** |
CN104321718A (zh) * | 2012-06-29 | 2015-01-28 | 英特尔公司 | 用于人类自然命令控制的多模态行为感知 |
CN104854537A (zh) * | 2013-01-04 | 2015-08-19 | 英特尔公司 | 与计算设备的多距离、多模态自然用户交互 |
CN104656877A (zh) * | 2013-11-18 | 2015-05-27 | 李君� | 基于手势和语音识别控制的人机交互方法及其设备和应用 |
US20160162020A1 (en) * | 2014-12-03 | 2016-06-09 | Taylor Lehman | Gaze target application launcher |
CN104965592A (zh) * | 2015-07-08 | 2015-10-07 | 苏州思必驰信息科技有限公司 | 基于语音和手势识别的多模态非触摸人机交互方法及*** |
CN105912128A (zh) * | 2016-04-29 | 2016-08-31 | 北京光年无限科技有限公司 | 面向智能机器人的多模态交互数据处理方法及装置 |
Cited By (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106873621A (zh) * | 2017-02-26 | 2017-06-20 | 南京航空航天大学 | 一种基于拉格朗日方程的无人机编队队形控制算法 |
TWI696122B (zh) * | 2017-04-17 | 2020-06-11 | 英華達股份有限公司 | 無人機互動拍攝系統方法 |
CN107203215A (zh) * | 2017-05-04 | 2017-09-26 | 西北工业大学 | 一种手势及语音控制四旋翼飞行器方法 |
CN107168198A (zh) * | 2017-05-12 | 2017-09-15 | 武汉理工大学 | 一种主动介入式智能轮椅控制方法及装置 |
CN107123422A (zh) * | 2017-05-23 | 2017-09-01 | 成都环磊科技有限公司 | 无人机定位语音分布式控制方法 |
CN107314772A (zh) * | 2017-07-25 | 2017-11-03 | 哈尔滨工业大学(威海) | 一种无人机自学习航点轨迹飞行方法及其*** |
CN107314772B (zh) * | 2017-07-25 | 2020-05-15 | 哈尔滨工业大学(威海) | 一种无人机自学习航点轨迹飞行方法及其*** |
CN107643695B (zh) * | 2017-09-07 | 2020-11-20 | 天津大学 | 基于脑电的有人/无人机集群编队vr仿真方法及*** |
CN107643695A (zh) * | 2017-09-07 | 2018-01-30 | 天津大学 | 基于脑电的有人/无人机集群编队vr仿真方法及*** |
US10800039B2 (en) | 2018-01-23 | 2020-10-13 | General Electric Company | Controlling and commanding an unmanned robot using natural interfaces |
CN108303994A (zh) * | 2018-02-12 | 2018-07-20 | 华南理工大学 | 面向无人机的群控交互方法 |
CN108827286A (zh) * | 2018-03-15 | 2018-11-16 | 西北工业大学 | 基于瞳孔跟踪的分布可穿戴式低空目标探测技术 |
CN108375986A (zh) * | 2018-03-30 | 2018-08-07 | 深圳市道通智能航空技术有限公司 | 无人机的控制方法、装置及终端 |
CN110383189A (zh) * | 2018-03-30 | 2019-10-25 | 深圳市大疆创新科技有限公司 | 无人机控制方法和控制装置 |
CN110858096A (zh) * | 2018-08-23 | 2020-03-03 | 中瑞福宁机器人(沈阳)有限公司 | 以语义识别为主并辅之以其它方式的机器人人机交互方法 |
CN108873942A (zh) * | 2018-10-10 | 2018-11-23 | 边学静 | 一种基于互联网的无人机编队队形保持的方法 |
CN108873942B (zh) * | 2018-10-10 | 2019-06-28 | 边学静 | 一种基于互联网的无人机编队队形保持的方法 |
CN109710063A (zh) * | 2018-12-11 | 2019-05-03 | 中国航空工业集团公司西安航空计算技术研究所 | 一种智能化作战的多模态人机智能交互框架、方法和装置 |
CN110221620A (zh) * | 2019-05-30 | 2019-09-10 | 中国人民解放军国防科技大学 | 一种基于mas的多无人***监督控制站 |
CN110261880A (zh) * | 2019-06-19 | 2019-09-20 | 深圳市道通智能航空技术有限公司 | 一种搜索无人机的方法、***及无人机 |
CN110689884A (zh) * | 2019-09-09 | 2020-01-14 | 苏州臻迪智能科技有限公司 | 智能设备控制方法及装置 |
CN111026873A (zh) * | 2019-10-24 | 2020-04-17 | 中国人民解放军军事科学院国防科技创新研究院 | 无人车及其导航方法、装置 |
CN111026873B (zh) * | 2019-10-24 | 2023-06-20 | 中国人民解放军军事科学院国防科技创新研究院 | 无人车及其导航方法、装置 |
CN111123921A (zh) * | 2019-12-13 | 2020-05-08 | 大连民族大学 | 面向无人船***导航任务确定自主等级的方法 |
CN111123921B (zh) * | 2019-12-13 | 2023-09-05 | 大连民族大学 | 面向无人船***导航任务确定自主等级的方法 |
CN111459161A (zh) * | 2020-04-03 | 2020-07-28 | 北京理工大学 | 一种多机器人***人为干预控制方法 |
CN111966217B (zh) * | 2020-07-20 | 2023-08-18 | 中国人民解放军军事科学院国防科技创新研究院 | 基于手势和眼动的无人机控制方法和*** |
CN111966217A (zh) * | 2020-07-20 | 2020-11-20 | 中国人民解放军军事科学院国防科技创新研究院 | 基于手势和眼动的无人机控制方法和*** |
CN112068587A (zh) * | 2020-08-05 | 2020-12-11 | 北京航空航天大学 | 基于欧椋鸟通信机制的有人/无人机共融集***互方法 |
CN112051780A (zh) * | 2020-09-16 | 2020-12-08 | 北京理工大学 | 一种基于脑机接口的移动机器人编队控制***及方法 |
CN112783200A (zh) * | 2020-12-25 | 2021-05-11 | 中国航空工业集团公司沈阳飞机设计研究所 | 一种无人机操控方法 |
CN112975982B (zh) * | 2021-03-16 | 2021-11-09 | 北京理工大学 | 一种基于脑机融合的空地协同多机器人*** |
CN112975982A (zh) * | 2021-03-16 | 2021-06-18 | 北京理工大学 | 一种基于脑机融合的空地协同多机器人*** |
CN113341692A (zh) * | 2021-05-21 | 2021-09-03 | 浙江大学 | 一种基于摇杆隐喻开发的眼控交互*** |
CN114385099A (zh) * | 2021-11-26 | 2022-04-22 | 中国航空无线电电子研究所 | 基于主动推显的多无人机动态监控界面显示方法和装置 |
CN114385099B (zh) * | 2021-11-26 | 2023-12-12 | 中国航空无线电电子研究所 | 基于主动推显的多无人机动态监控界面显示方法和装置 |
CN114578858A (zh) * | 2022-03-16 | 2022-06-03 | 思翼科技(深圳)有限公司 | 一种无人机遥控器遥控*** |
CN114578858B (zh) * | 2022-03-16 | 2022-09-20 | 思翼科技(深圳)有限公司 | 一种无人机遥控器遥控*** |
Also Published As
Publication number | Publication date |
---|---|
CN106200679B (zh) | 2019-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106200679A (zh) | 基于多模态自然交互的单操作员多无人机混合主动控制方法 | |
Kaufmann et al. | Deep drone racing: Learning agile flight in dynamic environments | |
Guérin et al. | Towards an autonomous warehouse inventory scheme | |
YongBo et al. | Three-dimensional unmanned aerial vehicle path planning using modified wolf pack search algorithm | |
Mac et al. | Improved potential field method for unknown obstacle avoidance using UAV in indoor environment | |
Mulgaonkar et al. | Robust aerial robot swarms without collision avoidance | |
Bacik et al. | Autonomous flying with quadrocopter using fuzzy control and ArUco markers | |
Hong et al. | Energy-efficient online path planning of multiple drones using reinforcement learning | |
CN101477169B (zh) | 巡检飞行机器人对电力线路的检测方法 | |
García-Aracil et al. | Continuous visual servoing despite the changes of visibility in image features | |
CN106020189A (zh) | 基于邻域约束的空地异构机器人***路径规划方法 | |
Ritz et al. | Quadrocopter performance benchmarking using optimal control | |
Bipin et al. | Autonomous navigation of generic monocular quadcopter in natural environment | |
Hehn et al. | Real-time trajectory generation for interception maneuvers with quadrocopters | |
Cacace et al. | Aerial service vehicles for industrial inspection: task decomposition and plan execution | |
Harik et al. | Fuzzy logic controller for predictive vision-based target tracking with an unmanned aerial vehicle | |
Rochefort et al. | Model predictive control of cooperative vehicles using systematic search approach | |
Farias et al. | A Khepera IV library for robotic control education using V-REP | |
Teixeira et al. | A quadral-fuzzy control approach to flight formation by a fleet of unmanned aerial vehicles | |
Sampedro et al. | A fully-autonomous aerial robotic solution for the 2016 international micro air vehicle competition | |
Mao et al. | Robust active visual perching with quadrotors on inclined surfaces | |
CN104460345B (zh) | 一种智能集群自组织控制仿真***及方法 | |
Lopez et al. | A CNN-based approach for cable-suspended load lifting with an autonomous MAV | |
Edmonds et al. | Optimal trajectories for autonomous human-following carts with gesture-based contactless positioning suggestions | |
Rodriguez-Ramos et al. | Autonomous aerial robot for high-speed search and intercept applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |