CN108107920A - 一种微小型双轴视觉稳定云台目标探测跟踪*** - Google Patents

一种微小型双轴视觉稳定云台目标探测跟踪*** Download PDF

Info

Publication number
CN108107920A
CN108107920A CN201711389272.5A CN201711389272A CN108107920A CN 108107920 A CN108107920 A CN 108107920A CN 201711389272 A CN201711389272 A CN 201711389272A CN 108107920 A CN108107920 A CN 108107920A
Authority
CN
China
Prior art keywords
target
holder
vision
frame
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711389272.5A
Other languages
English (en)
Inventor
郭建川
陈坤晗
刘宝禄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Polytechnic University
Original Assignee
Tianjin Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Polytechnic University filed Critical Tianjin Polytechnic University
Priority to CN201711389272.5A priority Critical patent/CN108107920A/zh
Publication of CN108107920A publication Critical patent/CN108107920A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00Control of position or direction
    • G05D3/12Control of position or direction using feedback

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

一种微小型双轴视觉稳定云台目标探测跟踪***,旋翼无人机可搭载双轴视觉稳定云台实现固定目标或移动目标的探测与跟踪。双轴稳定云台由方位框和俯仰框构成,通过两台伺服舵机分别驱动俯仰框和方位框的旋转,方位框与载体固连,俯仰框搭载相机以及惯性传感器。视觉稳定云台可以有效隔离旋翼无人机飞行过程中的载体扰动,保证机载相机视轴的稳定,进而得到稳定的视频图像,同时保证目标始终在相机光轴上,即目标在图像的中心位置,从而实现固定目标或移动目标的探测与跟踪。本发明提高了旋翼无人机对环境的自主适应能力,稳定云台体积小巧,经济实用,适合载荷重量有限的微小型旋翼无人机搭载各种任务载荷,为旋翼无人机的实用化奠定了基础。

Description

一种微小型双轴视觉稳定云台目标探测跟踪***
技术领域
本发明涉及一种微小型双轴视觉稳定云台,特别是涉及一种微小型双轴视觉稳定云台目标探测跟踪***。
背景技术
无人机是一种装备了必要的数据处理单元、传感器、自动控制器以及通信***的飞行器,能够在无人干预的情况下完成自主飞行任务。随着传感技术、微机电***、智能控制技术以及无线通信等相关领域的飞速发展,无人机在世界范围内受到普遍重视,在军事和民用领域得到广泛的应用。
旋翼无人机是由一对或多对旋翼旋转产生动力,具有固定翼无人机所不具备的独特的悬停、垂直起降、低空低速以及多姿态飞行的能力。空载的旋翼无人机在空中飞行没有实际的应用价值,但是旋翼无人机搭载例如视觉稳定云台等任务载荷之后有效提高了无人机环境感知和交互能力,进而可以执行实际任务了。由于旋翼无人机上述的一系列特点,在军事上可以用于情报获取、侦查监视、电子对抗、通信中继等;在民用上可以用于搜索救援、空中航拍、资源勘探、遥感测绘等应用领域。
无人机低空遥感是当今世界各国研究的热点技术,旋翼无人机在空中为了完成对地面或低空目标的探测和跟踪任务,要保证视觉传感器能够始终获得稳定的高质量的目标图像,只有将摄像设备安装在高度稳定的云台上,因此稳定的机载平台在其中起着关键的作用。视觉稳定云台是利用陀螺特性保持云台台体稳定的装置,其有两方面的功能:一是视轴稳定功能,通过测量载体的姿态变化并做出反应以隔离载体的角运动,稳定平台上的探测设备,保证其视轴方向相对惯性空间始终稳定;二是目标跟踪功能,稳定平台能够快速响应控制器的平台框架转动指令,按期望的角速度旋转,确保探测设备的视轴指向期望的方位,实现对目标的探测和跟踪。稳定云台在机载相机视轴稳定的基础上可以实现稳定的低空拍摄,此外稳定云台技术还应用在目标探测***、无人机自主着陆***、无人炮塔观瞄仪稳定***等。稳定云台技术应用到武器装备以及航空拍摄中,可以使任务载荷受外界因素的影响越来越小,提高工作效率。因此,研究稳定云台技术对我国国防建设和民用航空设备的发展都具有十分重要的意义和价值。
在视轴稳定的基础上,云台上的图像探测设备就可以实现旋翼无人机对特定目标的探测和自主跟踪。飞行中的旋翼无人机对运动目标进行探测跟踪涉及到计算机视觉技术,需要复杂的图像处理和模式识别计算。目标探测的目的是要基于预选目标数据库从图像中自动辨识出感兴趣的目标,即能够在视频序列中把被跟踪的目标物体标记出来。目标跟踪是在连续的图像帧中检测目标并确定其位置,通过云台伺服机构控制机载相机的取向,使目标在成像平面内保持最优位置,从而保证视频序列中目标跟踪的鲁棒性与效率。目标探测与跟踪是一门结合自动控制、人工智能、计算机视觉和模式识别等多学科的高新技术,在军事武器、交通管理、警用安防、反恐防爆等各领域发挥着重要作用。
发明内容
本发明所要解决的技术问题是:以微小型四旋翼无人机为载体,选择CCD摄像头采集视频图像,提供一种既能有效隔离载体和外界扰动,以保证相机视轴稳定,又能快速响应控制信号,使相机视轴跟踪目标视线,实现目标探测跟踪功能的双轴稳定云台。
本发明所采取的技术方案是:一种微小型双轴视觉稳定云台目标探测跟踪***,包括视觉稳定云台,所述的视觉稳定云台安装在四旋翼无人机的机架底部,由机械结构和控制***两部分组成。机械结构部分采用简化的双轴形式,包括方位轴和俯仰轴两个转动自由度,由外框架方位框通过支撑轴Za固定在四旋翼无人机机架底部上,实现云台绕方位轴的转动;内框架俯仰框由支撑轴Xf固定在方位框上,实现云台绕俯仰轴的转动。Za轴和Xf轴相互垂直,机载相机固定在俯仰框平台上,相机视轴方向与Yf轴平行。控制***由惯性测量单元、舵机控制器、伺服舵机、视觉传感器、视频采集卡、蓝牙数据传输模块、视频收发模块等七部分组成。所述的视觉传感器和惯性测量单元装载在相机框平台上,所述的伺服舵机安装在云台方位框和俯仰框上,分别驱动方位框和俯仰框绕方位轴和俯仰轴转动;所述的舵机控制器、蓝牙数据发送模块、图传发射机安装在四旋翼无人机的电子设备舱中;所述的蓝牙数据接收模块、图传接收机、视频采集卡安装在地面工作站上。视频和数据信号均采用无线通信的方式,保证了四旋翼无人机平台与地面工作站物理连接上的相互独立。从伺服控制的角度来看,视觉稳定云台实质是视轴稳定,而目标探测跟踪是在视轴稳定基础之上进行的,控制视轴指向目标位置。控制***采用双闭环控制方式,内环为速度环,控制角速度,保证平台稳定;外环为位置环,控制视轴朝向,从而实现对目标的动态跟踪。因此,该控制***以陀螺为敏感元件,可以有效隔离载体扰动实现云台的稳定,保证视觉传感器得到稳定的视频图像,并能使相机框按指令旋转确保相机视轴指向期望的方位以实现目标的动态跟踪。
本发明的一种微小型双轴视觉稳定云台目标探测跟踪***,通过设计实现视觉稳定云台目标探测跟踪***使旋翼无人机具备一定的环境感知和交互能力,提高了旋翼无人机在军事和民用领域的实际应用价值。本发明所具有的优点和有益效果如下:
1.本发明考虑云台采用双轴形式即可以扫描探测到地面上一定范围内任何固定/移动目标,视轴稳定云台采用简化的双轴形式,包括俯仰轴和方位轴两个转动自由度。视觉稳定云台不仅能够有效隔离载体和外部的扰动,使摄像机视轴相对惯性空间保持稳定,还满足一定的动态性能,实现对目标的探测和跟踪。
2.本发明采用基于主机的控制***(HCS)设计方式,即控制算法通过地面工作站的计算机基于MATLAB软件平台实现,通过MATLAB软件平台提供的与外部设备数据交互的接口实现对被控对象的实时控制,控制算法在MATLAB软件平台实现以便于研究人员实时观测状态数据,设计调试控制算法。
3.本发明依据惯性测量单元数据通信协议,数据帧的解析采用有限状态机的处理机制来实现,有效保证了数据解析的可靠性以及程序的鲁棒性,使***运行稳定可靠。
4.本发明控制***采用双闭环控制方式,内环为速度环,控制角速度,保证平台稳定;外环为位置环,控制视轴朝向,从而实现对目标的动态跟踪。该控制***可以有效隔离载体扰动,保证视觉传感器得到稳定的画质,并能实现一定范围内高精度的动态目标的探测与跟踪。
附图说明
图1是本发明微小型双轴视觉稳定云台目标探测跟踪***的构成示意图;
图2是本发明微小型双轴视觉稳定云台目标探测跟踪***的坐标系示意图;
图3是本发明微小型双轴视觉稳定云台目标探测跟踪***的控制框图;
图4a是图像坐标系下目标参考点与图像中心点的X轴像素差曲线图;
图4b是图像坐标系下目标参考点与图像中心点的Y轴像素差曲线图;
图5a是云台方位轴旋转角速度曲线图;
图5b是云台俯仰轴旋转角速度曲线图;
图6a是方位框伺服舵机标准化控制输入曲线图;
图6b是俯仰框伺服舵机标准化控制输入曲线图。
图中
1:视觉稳定云台 2:视觉传感器
3:四旋翼无人机 4:惯性测量单元
5:舵机控制器 6:伺服舵机
7:地面控制站 8:视频采集卡
9:图传发射机 10:图传接收机
11:蓝牙数据发送模块 12:蓝牙数据接收模块
13:USB串口转换器
具体实施方式
下面结合实施例和附图对本发明的一种微小型双轴视觉稳定云台目标探测跟踪***做出详细说明。
如图1所示,本发明的一种微小型双轴视觉稳定云台目标探测跟踪***,包括视觉稳定云台1和视觉传感器2,所述的视觉稳定云台安装在四旋翼无人机3的机架底部,考虑视觉稳定云台采用双轴形式即可以扫描探测到地面上一定范围内任何固定/移动目标,所述的视觉稳定云台采用简化的双轴形式,包括俯仰轴和方位轴两个转动自由度。所述的视觉稳定云台由机械结构和控制***两部分组成。如图2所示,机械结构部分由内外两个框架组成,外框架为方位框,实现云台绕方位轴的转动;内框架为俯仰框,实现云台绕俯仰轴的转动,视觉传感器2安装在俯仰框平台上。如图3所示,控制***采用双闭环控制方式,内环为速度环,通过视轴稳定控制***控制云台转动角速度,保证平台稳定;外环为位置环,通过目标跟踪控制***控制视轴朝向,从而实现对目标的动态跟踪。视轴稳定控制***主要由惯性测量单元4、舵机控制器5以及伺服舵机6三部分组成。相机框平台上安装了惯性测量单元4,当载体产生三轴角速度扰动时,通过机械结构之间的耦合反应在相机框上,惯性测量单元直接测量相机框俯仰轴和方位轴角速度,反馈信号经过视轴稳定控制算法得到控制量输出给舵机控制器,进而驱动相应轴的舵机转动,以隔离载体的角运动,从而保证云台视轴稳定,为目标探测跟踪提供可靠保证。目标跟踪控制***主要由视觉传感器2、视频采集卡8、图传发射机9和图传接收机10组成,目标跟踪控制***在视轴稳定的基础上,通过控制算法抵消目标的视轴偏差角,使被跟踪目标始终处在相机光轴上,即目标几何中心在图像的中心位置,实现实时探测跟踪目标的功能。控制***不仅可以有效隔离载体扰动实现云台的稳定,保证视觉传感器得到稳定的视频图像,而且能使相机框按指令旋转确保相机视轴指向期望的方位以实现目标的动态跟踪。
本发明的视觉稳定云台1长度为60mm,宽度为38mm,高度为70mm,总重量仅为35g,相比商用云台而言,体积小巧、重量轻、功耗低,适合载荷重量十分有限的微小型四旋翼无人机作为任务载荷。
本发明的惯性测量单元4选用低成本的MiniIMU AHRS,模块集成了三轴加速度计、三轴陀螺仪、三轴磁力计、气压高度计等传感器。模块的主控芯片选用STM32F103T8微控制器,模块选用MPU-6050集成的6轴运动跟踪组件,包括三轴陀螺仪、三轴加速度计以及一个数字运动处理器(DMP),MPU-6050通过I2C接口连接到主控芯片上。模块工作电压为4.0~7.0V,工作电流为50mA,功耗为250mW,外形尺寸为37mm*22mm*5mm,重量仅为4g,很适合载荷重量有限的微小型四旋翼无人机作为惯性传感器。模块集成的三轴陀螺仪最大量程范围为±2000deg/s,分辨率为16.4deg/s,云台控制器可以通过UART异步串行通信接口读取模块输出数据,数据更新速率可达到200Hz。
本发明的视觉传感器2选用SONY CCD模拟摄像头,视频图像为PAL信号制式,有效像素为30万,感光面积为4.8mm*3.6mm,快门速度为1/50~1/100s,自动跟踪白平衡,信噪比大于48db,额定工作电压为DC12V,额定工作电流100mA。视觉传感器2的外形尺寸为38mm*38mm*26mm,重量仅为14g,体积小、重量轻,适合于载荷重量有限的微小型四旋翼无人机作为机载相机。
本发明选用AOMWAY微型图像传输设备,图传发射机9可实现5.8GHz音视频同步传输,支持PAL/NTSC全制式,发射功率200mW,兼容5658~5945MHz频率范围内40个频点,DC7~16V宽电压输入,12V工作电压下工作电流为150mA,图传发射机输出电压为4.9~5.1V,外形尺寸为55mm*25mm*8mm,重量仅为12g。图传接收机10可实现5.8GHz音频/视频同步接收,兼容PAL和NTSC制式,40频道数码管显示,频段和频道的选择可通过按键控制,接收灵敏度高达-95%,具有DVR录像功能,最大支持TF卡64G容量超长时间录像,提供两路独立的视频/音频输出端口,DC7~24V宽电压输入,12V供电电压工作电流为170mA,体积为80mm*70mm*25mm,重量为126g。图传发射机9与视觉传感器2互联作为视频信号的发射装置安装在四旋翼无人机3上,图传接收机10作为视频信号的接收装置通过USB视频采集卡8连接到地面工作站的计算机上,实现机载视觉传感器采集到的视频图像与地面工作站的远距离无线传输。
本发明选用Easier CAP视频采集卡8获取视觉传感器输出的视频图像,视频采集卡支持USB2.0接口,与地面工作站的计算机连接简单方便,视频采集卡可自行调整画面大小,最高分辨率可达720*576真彩色,图像亮度、对比度、饱和度、色度可自定义,可捕捉高品质动态及静态画面,采集视频图像顺畅不间断,支持MPEG1/2等多种实时压缩格式,兼容Windows XP/Win7/Win8/Win10操作***,兼容DirectX8.1、9.0、10.0等多媒体编程接口。视频采集卡的USB接口一端连接到PC机上,另一端有四个端子,分别是视频输入(黄色端子)、视频输出(黑色端子)、左路音频输入(白色端子)、右路音频输入(红色端子),其中视频输入接口与图传接收机10的视频输出接口互联,其他接口均可不用。Easier CAP视频采集卡8免装驱动程序,支持即插即用,完成视觉传感器-图传发射机与计算机-USB视频采集卡-图传接收机的电气连接,计算机即可读取视频图像数据。
本发明选用HC-05蓝牙串口透明传输模块,模块采用蓝牙主从机一体化技术,蓝牙数据发送模块11和蓝牙数据接收模块12配对成功后即可当成固定波特率的串口一样使用,可以直接取代有线串口而不需要修改程序。蓝牙模块外形尺寸为37.3mm*15.5mm,重量仅为3.5g,模块输入电压为3.6V~6V,配对成功后,工作电流约为10mA,空旷地带有效传输距离为10米,进入AT模式可以给蓝牙模块设置参数以及切换主机和从机模式。
本发明的控制算法通过地面控制站7基于MATLAB软件平台实现,以降低四旋翼无人机3的载荷重量,提高视频图像处理速度,而且便于控制算法的设计与调试。视觉传感器2采集到的视频图像通过图传发射机9无线传输到图传接收机10上,通过视频采集卡8将视频图像采集到地面控制站7上,实现视频图像的远距离无线传输。另外,惯性传感器2通过蓝牙串口模块将数据无线传输到地面工作站的计算机上,计算机将控制算法计算得到的控制输入量通过USB串口转换器13经过蓝牙串口模块发送给舵机控制板,保证了四旋翼无人机平台与地面工作站物理连接上的相互独立。软件程序主要包括惯性测量单元数据接收解析处理、视频图像采集预处理、视轴稳定控制算法、目标跟踪控制算法四个模块。
一、所述的惯性测量单元数据接收解析处理模块通过在MATLAB环境下创建串口设备对象并配置串口属性如波特率、数据位、停止位以及校验位等使之与惯性测量单元4的串口属性相一致。在MATLAB环境下以事件驱动的方式进行数据接收解析处理,具体方式为:通过设置回调函数触发事件,即当串口数据接收缓冲区有n字节(根据数据帧的长度确定n值)的数据时,触发中断事件,执行回调函数,数据解析处理在回调函数中进行。为了便于对接收到的数据帧进行解析处理,串口数据读写操作采用二进制方式。依据惯性测量单元数据通信协议,获取陀螺仪输出的三轴角速度数据。数据帧的解析采用有限状态机的处理机制来实现,可以有效保证数据解析的可靠性以及程序的鲁棒性。
二、所述的视频图像采集预处理模块,在MATLAB环境下首先获取视频设备(创建视频输入对象),之后设置视频设备为灰度模式,图像分辨率为320*240,再设置视频设备的触发属性(手动触发),保证视频图像的采集处理能够正常进行。通过创建Timer定时器对象,并设置定时器回调函数触发事件,定时执行视频图像的采集处理程序,进而保证程序以固定的时间间隔执行控制算法。在启动视频图像采集和定时器之后,即可进行视频图像的采集处理。在定时器回调函数中,首先进行图像采集,触发捕获图像,之后进行图像预处理,计算图像的灰度阈值,根据阈值将灰度图像转换为二值图像,删除像素少于50的所有对象,寻找二值图像中的区域外部边界线,计算图像区域的几何属性(面积和中心坐标),基于设定阈值,根据区域的面积和周长等几何参数逐一对每个区域进行筛选,搜索图像中的目标区域,进而实现云台相机对目标的跟踪。
三、所述的视轴稳定控制算法模块,保证云台有效隔离载体扰动,使机载相机平台稳定。图2为双轴视觉稳定云台目标探测跟踪***的坐标系示意图,OnXnYnZn为惯性坐标系,OXbYbZb为机体坐标系,OXaYaZa为方位框坐标系,OXfYfZf为俯仰框坐标系。方位框通过支撑轴Za固定在四旋翼无人机机架底部上,俯仰框由支撑轴Xf固定在方位框上,Za轴和Xf轴相互垂直。OXaYaZa坐标系绕OZa轴的转角θa为方位角,OXfYfZf坐标系绕OXf轴的转角θf为俯仰角。机载相机固定在俯仰框平台上,相机视轴方向与OYf轴平行。
实际应用中,视觉云台***不可避免要受到外界和载体的多种干扰,当四旋翼无人机相对惯性空间有扰动角速度时,通过云台框架传动到相机框,致使视轴不稳定,因此需要设计可靠的云台稳定伺服控制算法,以有效隔离载体的角速度干扰,从而实现视轴稳定,提高整个***的性能。通过双轴视觉云台的方位框和俯仰框引入陀螺角速度信号隔离载体扰动,使摄像机视轴能够稳定在预置角度,并且相对惯性坐标系稳定而与载体的运动无关。如图3所示,以目标跟踪控制器的输出作为视轴稳定控制器的期望角速度信号,与陀螺仪测得的对应轴向角速度信号相比得到角速度误差eω,经过视轴稳定控制算法得到控制量u输出给舵机控制器,进而驱动舵机动作。由于建立视觉云台***动态模型十分复杂,忽略方位轴和俯仰轴之间耦合的影响,本发明方位轴和俯仰轴稳定控制器均采用无模型的位置式PD控制器,控制律表达式为u(k)=KP1eω(k)+KD1Δeω(k),其中KP1、KD1分别为视轴稳定控制器的比例和微分增益。
稳定环作为视觉目标探测跟踪***的内环,不仅要求其能够隔离载体和外部的扰动,使摄像机视轴相对惯性空间保持稳定,还必须满足一定的动态性能,能使云台方位框和俯仰框按照给定角速度转动。通过合理调节控制增益的大小,在控制输入的作用下,有效改善***的稳态和动态性能,为目标跟踪提供可靠的保证。
四、所述的目标跟踪控制算法模块,在视轴稳定的基础上,视觉稳定云台要求被跟踪目标始终处在相机光轴上,即目标几何中心在图像的中心位置。当目标偏离光轴,则产生视轴偏差角,对于双轴云台,视轴偏差角分别为方位偏差角和俯仰偏差角。当目标运动时,与摄像机光轴偏离,目标跟踪控制器将目标参考点在图像像素坐标系与相机成像平面中心点坐标的像素差得到的视轴偏差角eθ作为位置控制环的输入信号,经过目标跟踪控制算法得到期望角速度ωd输出给视轴稳定控制器,通过控制算法抵消偏差,使目标始终在相机成像平面的中心位置附近,实现实时探测跟踪目标的功能。为了得到更好的控制精度并保证***的稳定性,而且兼顾控制器的易实现性,本发明方位轴和俯仰轴目标跟踪控制器均采用解耦的位置式PD控制器,控制律为ωd(k)=KP2eθ(k)+KD2Δeθ(k),其中KP2、KD2分别为目标跟踪控制器的比例和微分增益。位置环作为目标探测跟踪***的外环,通过合理调节控制增益的大小,在控制输入的作用下,可以使跟踪误差趋于0,从而实现对目标的精确跟踪。
下面给出一种微小型双轴视觉稳定云台目标探测跟踪***的仿真实验步骤及实验结果:
一、仿真实验步骤:
1.按照图1分别完成视觉稳定云台目标探测跟踪***与地面工作站的电气连接,将被跟踪目标放置在云台相机视野范围内,之后给***上电。
2.在MATLAB软件平台上运行仿***程序,根据云台运动情况,调整控制参数,直至视觉稳定云台视轴能够快速平稳地指向目标,确定控制参数。
3.控制参数确定后,在MATLAB软件平台上运行仿***程序,视觉稳定云台自动调整视轴方位使被跟踪目标处在图像中心区域,调整载体的飞行姿态,当视觉稳定云台视轴再次指向目标后,移动被跟踪目标,待视觉稳定云台视轴能够始终跟踪目标后,终止仿真程序运行,并断开电源。
4.将MATLAB工作空间的仿真数据保存,离线绘制数据曲线。
二、实验结果:
图4a和图4b分别为图像像素坐标系的目标参考点与图像中心点的X轴像素差和Y轴像素差曲线;图5a和图5b分别为云台方位轴和俯仰轴旋转角速度曲线;图6a和图6b分别为方位框和俯仰框伺服舵机标准化控制输入曲线。可以看出,双轴稳定云台视觉目标探测跟踪***在存在载体扰动和目标运动的实验中,取得了很好的控制效果,同时保证了云台的视轴稳定与目标的动态跟踪。

Claims (7)

1.一种微小型双轴视觉稳定云台,包括视觉稳定云台(1)和视觉传感器(2)。视轴稳定云台(1)特征在于,所述的视觉稳定云台(1)安装在四旋翼无人机(3)的机架底部,考虑云台采用双轴形式即可以探测扫描到地面上一定范围内任何固定/移动目标,所述的视觉稳定云台(1)采用简化的双轴形式,包括俯仰轴和方位轴两个转动自由度。视觉稳定云台(1)以四旋翼无人机(3)为载体,它既是视觉传感器(2)安装承载平台,又是视觉传感器(2)实现视轴稳定和目标跟踪的执行机构,同时还起到相机与载体连接的桥梁作用。
2.根据权利要求书1所述的一种微小型双轴视觉稳定云台,其特征在于,所述的视觉稳定云台(1)由机械结构和控制***两部分组成。机械结构部分由内外两个框架组成,外框架为方位框,内框架为俯仰框,方位框通过支撑轴Za固定在四旋翼无人机机架底部上,俯仰框由支撑轴Xf固定在方位框上,Za轴和Xf轴相互垂直,视觉传感器(2)固定在俯仰框平台上,相机视轴方向与Yf轴平行。控制***采用双闭环控制方式,内环为速度环,通过视轴稳定控制***控制云台转动角速度,保证云台视轴稳定;外环为位置环,通过目标跟踪控制***控制视轴朝向,从而实现对目标的动态跟踪。视轴稳定控制***主要由惯性测量单元(4)、舵机控制器(5)以及伺服舵机(6)三部分组成。相机框平台上安装了惯性测量单元(4),当载体产生三轴角速度扰动时,通过机械结构之间的耦合反应在相机框上,惯性测量单元(4)直接测量相机框俯仰轴和方位轴的旋转角速度,反馈信号经过视轴稳定控制算法得到控制量输出给舵机控制器,进而驱动相应轴的舵机转动,隔离载体的角运动,从而保证云台视轴稳定,为目标探测跟踪提供可靠保证。目标跟踪控制***主要由视觉传感器(2)、视频采集卡(8)、图传发射机(9)和图传接收机(10)组成,目标跟踪控制***在视轴稳定的基础上,通过控制算法抵消目标的视轴偏差角,使被跟踪目标始终处在相机光轴上,即目标几何中心在图像的中心位置,实现实时探测跟踪目标的功能。
3.根据权利要求书1所述的一种微小型双轴视觉稳定云台,其特征在于,所述的视觉稳定云台控制***采用基于主机的控制***(HCS)设计方式,控制算法通过地面控制站(7)基于MATLAB软件平台实现,以便于控制算法的设计与调试。视觉传感器(2)将采集到的视频图像通过图传发射机(9)无线传输到图传接收机(10)上,通过视频采集卡(8)将视频图像采集到地面控制站上,实现视频图像的远距离无线传输。另外,惯性测量单元(4)通过蓝牙数据发送模块(11)、蓝牙数据接收模块(12)以及USB串口转换器(13)将数据无线传输到地面控制站上,地面控制站基于MATLAB软件平台将控制算法计算得到的控制量通过USB串口转换器(13)经过蓝牙串口模块发送给舵机控制板,保证了四旋翼无人机平台与地面工作站物理连接上的相互独立。控制算法包括惯性测量单元数据接收解析处理模块、视频图像采集预处理模块、视轴稳定控制算法模块以及目标跟踪控制算法模块四部分。
4.根据权利要求书3所述的一种微小型双轴视觉稳定云台控制算法,其特征在于,所述的惯性测量单元数据接收解析处理模块通过在MATLAB环境下创建串口设备对象并配置串口属性如波特率、数据位、停止位以及校验位等使之与惯性测量单元(4)串口属性相一致。在MATLAB环境下以事件驱动的方式进行数据接收解析处理,具体方式为:通过设置回调函数触发事件,即当串口数据接收缓冲区有n字节(根据数据帧的长度确定n值)的数据时,触发中断事件,执行回调函数,数据解析处理在回调函数中进行。为了便于对接收到的数据帧进行解析处理,串口数据读写操作采用二进制方式。依据惯性测量单元数据通信协议,获取陀螺仪输出的三轴角速度数据。数据帧的解析采用有限状态机的处理机制来实现,可以有效保证数据解析的可靠性以及程序的鲁棒性。
5.根据权利要求书3所述的一种微小型双轴视觉稳定云台控制算法,其特征在于,所述的视频图像采集预处理模块程序实现上基于MATLAB软件环境首先获取相应的视频输入对象,并设置视频设备的触发属性,之后进行视频图像采集预处理。程序首先触发捕获图像,之后进行图像预处理,计算图像的灰度阈值,根据阈值将灰度图像转换为二值图像,移除小对象,寻找二值图像中的区域外部边界线,计算图像区域的几何属性,基于设定阈值,根据区域的面积和周长等几何参数逐一对每个区域进行筛选,搜索图像中的目标区域,进而实现云台相机对目标的跟踪。
6.根据权利要求书3所述的一种微小型双轴视觉稳定云台控制算法,其特征在于,所述的视轴稳定控制算法通过双轴稳定云台的方位框和俯仰框引入陀螺角速度信号以隔离载体扰动,使摄像机视轴能够稳定在预置角度,并且相对惯性坐标系稳定而与载体的运动无关。以目标跟踪控制器的输出作为稳定控制器的期望角速度信号,与陀螺仪测得的对应轴向角速度信号相比得到角速度误差,经过视轴稳定控制算法得到控制量通过蓝牙串口输出给舵机控制器,进而驱动舵机动作。稳定环作为目标探测跟踪***的内环,不仅要求其能够隔离载体和外部的扰动,使摄像机视轴相对惯性空间保持稳定,还必须满足一定的动态性能,能使云台方位框和俯仰框按照期望角速度转动。由于建立视觉云台***动态模型十分复杂,忽略方位轴和俯仰轴之间耦合的影响,本发明方位轴和俯仰轴稳定控制器均采用无模型的位置式PD控制器实现。
7.根据权利要求书3所述的一种微小型双轴视觉稳定云台控制算法,其特征在于,所述的目标跟踪控制算法在视轴稳定环的基础上,要求被跟踪目标始终处于图像中心,即目标参考点位于光轴上。为了简化控制***设计,本发明采用单目摄像机的二维目标探测跟踪方法。当目标偏离光轴时,目标跟踪控制器将视轴偏差角作为位置控制环的输入信号,经过目标跟踪控制算法实现实时探测跟踪目标的功能。为了得到更好的控制精度并保证***的稳定性,位置控制环作为视觉目标探测跟踪***的外环,兼顾控制器的易实现性,使用解耦的位置式PD控制器实现云台***的视觉伺服控制。
CN201711389272.5A 2017-12-19 2017-12-19 一种微小型双轴视觉稳定云台目标探测跟踪*** Pending CN108107920A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711389272.5A CN108107920A (zh) 2017-12-19 2017-12-19 一种微小型双轴视觉稳定云台目标探测跟踪***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711389272.5A CN108107920A (zh) 2017-12-19 2017-12-19 一种微小型双轴视觉稳定云台目标探测跟踪***

Publications (1)

Publication Number Publication Date
CN108107920A true CN108107920A (zh) 2018-06-01

Family

ID=62210582

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711389272.5A Pending CN108107920A (zh) 2017-12-19 2017-12-19 一种微小型双轴视觉稳定云台目标探测跟踪***

Country Status (1)

Country Link
CN (1) CN108107920A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108513106A (zh) * 2018-06-07 2018-09-07 广州鼎飞科技有限公司 一种动物视频追踪仪及***
CN108803668A (zh) * 2018-06-22 2018-11-13 航天图景(北京)科技有限公司 一种静态目标监测的智能巡检无人机吊舱***
CN108856172A (zh) * 2018-06-16 2018-11-23 南京理工大学 基于视觉的激光除冰装置
CN108897345A (zh) * 2018-07-18 2018-11-27 北京小马智行科技有限公司 一种控制无人车摄像头旋转的方法及***
CN109324638A (zh) * 2018-12-05 2019-02-12 中国计量大学 基于机器视觉的四旋翼无人机目标跟踪***
CN109522891A (zh) * 2018-09-25 2019-03-26 南京云思创智信息科技有限公司 一种基于无人机的自适应车牌快速定位***
CN109538900A (zh) * 2018-09-10 2019-03-29 天津市亚安科技有限公司 基于陀螺仪pid稳像云台控制***及方法、载人飞行器
CN109584701A (zh) * 2018-12-07 2019-04-05 中国科学院长春光学精密机械与物理研究所 一种面向教学的光电稳定云台及其测试方法
CN109754420A (zh) * 2018-12-24 2019-05-14 深圳市道通智能航空技术有限公司 一种目标距离估计方法、装置及无人机
CN109933096A (zh) * 2019-03-15 2019-06-25 山东鲁能智能技术有限公司 一种云台伺服控制方法及***
CN110285723A (zh) * 2019-07-19 2019-09-27 中国人民解放军32181部队 探测跟踪装置及飞行器跟踪测量站
CN110362120A (zh) * 2019-07-24 2019-10-22 中国科学院西安光学精密机械研究所 一种二维扫描宽幅成像平台扫描控制方法
CN111114814A (zh) * 2020-01-16 2020-05-08 四川川测研地科技有限公司 基于无人飞行器对线性工程对象的自适应聚焦云台
CN111880482A (zh) * 2020-06-17 2020-11-03 中国人民解放军陆军军事交通学院镇江校区 一种高精度的传感器视轴伺服控制***及其方法
CN111984036A (zh) * 2020-08-28 2020-11-24 中国人民解放军国防科技大学 一种基于云台相机的固定翼无人机对快速运动目标的跟踪方法
CN114020004A (zh) * 2022-01-06 2022-02-08 普宙科技(深圳)有限公司 飞行器双轴跟踪云台解耦控制方法、***、存储介质
CN115268510A (zh) * 2022-09-23 2022-11-01 天津云圣智能科技有限责任公司 云台控制方法、装置、电子设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105491328A (zh) * 2015-11-18 2016-04-13 天津工业大学 一种基于卫星定位信号的摄像跟踪***及方法
CN205249351U (zh) * 2015-08-20 2016-05-18 天津中翔腾航科技有限公司 视觉稳定云台控制器
CN107140209A (zh) * 2017-04-27 2017-09-08 烟台中飞海装科技有限公司 一种无人机靶向***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN205249351U (zh) * 2015-08-20 2016-05-18 天津中翔腾航科技有限公司 视觉稳定云台控制器
CN105491328A (zh) * 2015-11-18 2016-04-13 天津工业大学 一种基于卫星定位信号的摄像跟踪***及方法
CN107140209A (zh) * 2017-04-27 2017-09-08 烟台中飞海装科技有限公司 一种无人机靶向***

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
孟恭: "无人机视觉稳定云台***设计", 《中国优秀硕士学位论文全文数据库(电子期刊)工程科技II辑》 *
欧阳名三 等: "《DSP原理与技术》", 31 August 2014, 合肥工业大学出版社 *
江哲: "基于STM32的四旋翼飞行器的设计与实现", 《中国优秀硕士学位论文全文数据库(电子期刊)工程科技II辑》 *
英红: "《基于视觉的水泥路面病害检测方法》", 31 October 2014, 电子科技大学出版社 *
郭建川: "小型无人直升机动态分析与非线性控制研究", 《中国博士学位论文全文数据库(电子期刊)工程科技II辑》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108513106A (zh) * 2018-06-07 2018-09-07 广州鼎飞科技有限公司 一种动物视频追踪仪及***
CN108856172A (zh) * 2018-06-16 2018-11-23 南京理工大学 基于视觉的激光除冰装置
CN108803668A (zh) * 2018-06-22 2018-11-13 航天图景(北京)科技有限公司 一种静态目标监测的智能巡检无人机吊舱***
CN108803668B (zh) * 2018-06-22 2021-08-24 中国南方电网有限责任公司超高压输电公司广州局 一种静态目标监测的智能巡检无人机吊舱***
CN108897345A (zh) * 2018-07-18 2018-11-27 北京小马智行科技有限公司 一种控制无人车摄像头旋转的方法及***
CN109538900A (zh) * 2018-09-10 2019-03-29 天津市亚安科技有限公司 基于陀螺仪pid稳像云台控制***及方法、载人飞行器
CN109522891B (zh) * 2018-09-25 2023-06-30 南京云思创智信息科技有限公司 一种基于无人机的自适应车牌快速定位***
CN109522891A (zh) * 2018-09-25 2019-03-26 南京云思创智信息科技有限公司 一种基于无人机的自适应车牌快速定位***
CN109324638A (zh) * 2018-12-05 2019-02-12 中国计量大学 基于机器视觉的四旋翼无人机目标跟踪***
CN109584701A (zh) * 2018-12-07 2019-04-05 中国科学院长春光学精密机械与物理研究所 一种面向教学的光电稳定云台及其测试方法
CN109754420A (zh) * 2018-12-24 2019-05-14 深圳市道通智能航空技术有限公司 一种目标距离估计方法、装置及无人机
US11747833B2 (en) 2018-12-24 2023-09-05 Autel Robotics Co., Ltd. Method and device for estimating distance to target, and unmanned aerial vehicle
CN109933096A (zh) * 2019-03-15 2019-06-25 山东鲁能智能技术有限公司 一种云台伺服控制方法及***
CN110285723A (zh) * 2019-07-19 2019-09-27 中国人民解放军32181部队 探测跟踪装置及飞行器跟踪测量站
CN110285723B (zh) * 2019-07-19 2024-05-24 中国人民解放军32181部队 探测跟踪装置及飞行器跟踪测量站
CN110362120A (zh) * 2019-07-24 2019-10-22 中国科学院西安光学精密机械研究所 一种二维扫描宽幅成像平台扫描控制方法
CN111114814A (zh) * 2020-01-16 2020-05-08 四川川测研地科技有限公司 基于无人飞行器对线性工程对象的自适应聚焦云台
CN111114814B (zh) * 2020-01-16 2022-04-08 四川川测研地科技有限公司 基于无人飞行器对线性工程对象的自适应聚焦云台
CN111880482A (zh) * 2020-06-17 2020-11-03 中国人民解放军陆军军事交通学院镇江校区 一种高精度的传感器视轴伺服控制***及其方法
CN111984036A (zh) * 2020-08-28 2020-11-24 中国人民解放军国防科技大学 一种基于云台相机的固定翼无人机对快速运动目标的跟踪方法
CN114020004B (zh) * 2022-01-06 2022-03-11 普宙科技(深圳)有限公司 飞行器双轴跟踪云台解耦控制方法、***、存储介质
CN114020004A (zh) * 2022-01-06 2022-02-08 普宙科技(深圳)有限公司 飞行器双轴跟踪云台解耦控制方法、***、存储介质
CN115268510A (zh) * 2022-09-23 2022-11-01 天津云圣智能科技有限责任公司 云台控制方法、装置、电子设备及计算机可读存储介质
CN115268510B (zh) * 2022-09-23 2022-12-20 天津云圣智能科技有限责任公司 云台控制方法、装置、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN108107920A (zh) 一种微小型双轴视觉稳定云台目标探测跟踪***
US11233943B2 (en) Multi-gimbal assembly
JP6559677B2 (ja) データ記録および分析するシステム、方法、およびデータレコーダ
WO2018095158A1 (zh) 一种飞行器的飞行控制方法、装置和***
WO2018178756A1 (en) System and method for providing autonomous photography and videography
CN104816829B (zh) 适用于侦查的天眼飞行器
WO2021078002A1 (zh) 无人机航向角初值选取方法、装置及无人机
WO2021031975A1 (zh) 无人机航向确定方法、装置及无人机
CN106370184A (zh) 无人机自动跟踪拍摄的方法、无人机和移动终端设备
WO2021031974A1 (zh) 无人机航向角初值选取方法及无人机
WO2018101592A1 (ko) 무인 비행체 및 그 제어 방법
CN105700546B (zh) 飞行装置及使用其的遥控飞行方法
CN102156481A (zh) 无人飞行器的智能追踪控制方法及***
CN104076817A (zh) 一种高清视频航拍多模传感器自外感知智能导航***及其方法
WO2021127888A1 (zh) 控制方法、智能眼镜、可移动平台、云台、控制***及计算机可读存储介质
CN109254587B (zh) 在无线充电条件下稳定悬停的小型无人机及其控制方法
WO2021088684A1 (zh) 全向避障方法及无人飞行器
KR102122755B1 (ko) 화면 터치 방식을 이용하는 짐벌 제어 방법
WO2021078005A1 (zh) 对地高度校正方法及装置、无人飞行器
CN111824406A (zh) 一种基于机器视觉的公共安全自主巡查四旋翼无人机
CN110498039A (zh) 一种基于仿生扑翼飞行器的智能监控***
CN104386246A (zh) 四旋翼飞行器
CN108170154A (zh) 一种无人机多传感器正向摄影倾斜飞控调试方法
CN203673535U (zh) 电力巡线设备及***
CN112198903A (zh) 一种模块化的多功能机载计算机体系

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination