CN113900443B - 一种基于双目视觉的无人机避障预警方法及装置 - Google Patents
一种基于双目视觉的无人机避障预警方法及装置 Download PDFInfo
- Publication number
- CN113900443B CN113900443B CN202111142544.8A CN202111142544A CN113900443B CN 113900443 B CN113900443 B CN 113900443B CN 202111142544 A CN202111142544 A CN 202111142544A CN 113900443 B CN113900443 B CN 113900443B
- Authority
- CN
- China
- Prior art keywords
- aerial vehicle
- unmanned aerial
- probability
- early warning
- obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000003384 imaging method Methods 0.000 claims abstract description 20
- 230000001131 transforming effect Effects 0.000 claims abstract description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 12
- 238000006073 displacement reaction Methods 0.000 claims description 12
- 238000003786 synthesis reaction Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 230000035484 reaction time Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000000605 extraction Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于双目视觉的无人机避障预警方法及装置。该预警方法包括：先分割出障碍物外轮廓线，并投影变换到正规化成像平面，再选取正规化外轮廓线中像素横、纵坐标最小与最大的四点作为障碍物的四个特征点，最后确定无人机同障碍物之间的相对位置关系；计算出四个特征点原像在无人机的机身坐标系中的位置坐标；先确定航向角真值的取值范围，再确定安全距离，最后根计算出无人机的大概率碰撞区域；判断两条特征线段是否有点落在大概率碰撞区域内且计算圆心距数值，最后计算出预警概率；根据预警概率，对无人机进行预警。本发明可以降低无人机飞行过程中与障碍物碰撞的概率，可以借鉴应用到无人机自动巡航中，弥补了现有技术的空白。
Description
技术领域
本发明涉及视觉测距技术领域的一种视觉测距方法，尤其涉及一种基于双目视觉的无人机避障预警方法，还涉及一种预警装置。
背景技术
目前常见的无人机避障***有距离传感与视觉传感两种方案。距离传感方案选择在前方或四个方向安装距离传感器，工作视角较小，对特殊表面、线杆型物体等不能很好预测与警示。未经简化的双目视觉方案计算耗费大，不宜用于实时性要求高的情形。无人机空间飞行轨迹等状态信息可结合GPS、气压计、陀螺仪、加速器等机载传感器获取，但不能解决周围物体的定位问题。基于卫星图像和轨迹预测的防碰撞预警***则不能处理障碍物高度信息以及地面小型障碍物。
发明内容
为解决现有的无人机避障***不能全面精确地对周围物体的定位的技术问题，本发明提供一种基于双目视觉的无人机避障预警方法及装置。
本发明采用以下技术方案实现：一种基于双目视觉的无人机避障预警方法，其包括以下步骤：
S1：先从无人机拍摄的视频图像中分割出同一障碍物的外轮廓线，并将所述外轮廓线投影变换到一个正规化成像平面，以获得正规化外轮廓线，再选取所述正规化外轮廓线中像素横、纵坐标最小与最大的四点作为所述障碍物的四个特征点，最后根据所述四个特征点，确定所述无人机同所述障碍物之间的相对位置关系、直线制动发生碰撞的概率以及向左/右/上/下偏航绕过所述障碍物的优先级；
S2：通过与视锥在左/右/上/下四个方向的切点作为所述障碍物的结构化表示，将所述四个特征点像点的一维信息代入一个双目视觉模型中，计算出所述四个特征点原像在所述无人机的机身坐标系中的位置坐标；
S3：先确定所述无人机的航向角真值的取值范围，再确定所述无人机的航行安全距离，最后根据所述航向角真值的取值范围以及所述航行安全距离，计算出所述无人机的大概率碰撞区域；
S4：根据所述四个特征点原像在所述机身坐标系中的位置坐标，判断由所述四个特征点构成的两条特征线段是否有点落在所述大概率碰撞区域内，且计算落在所述大概率碰撞区域内并距离所述大概率碰撞区域的圆心最近点的圆心距数值，最后根据所述圆心距数值计算出预警概率；以及
S5：根据所述预警概率，对所述无人机进行预警。
本发明通过简化的双目视觉模型计算移动摄像机所拍摄障碍物相对机身的位置，结合无人机大概率碰撞区域预测碰撞概率和躲避方向，对无人机安全飞行具有避障提示和精确预警功能，解决了无人机避障***不能全面精确地对周围物体的定位的技术问题，得到了可以防止无人机航行过程中，发生碰撞障碍物等现象，降低无人机的损毁概率的技术效果。
作为上述方案的进一步改进，所述步骤S5，先根据所述无人机的实际飞行数据，预设出一个低风险预警概率和一个高风险预警概率，再将所述预警概率分别与所述低风险预警概率、所述高风险预警概率比较，按照一个预设方案获得相应的预警等级。
作为上述方案的进一步改进，所述步骤S1，所述外轮廓线为通过前、背景分离从所述视频图像的第t帧图像中分割出t-1帧中同一障碍物的外轮廓线，所述正规化成像平面为光轴与所述无人机前进方向平行且列方向与所述无人机旋翼转轴方向平行的成像平面。
作为上述方案的进一步改进，定义所述四个特征点分别为特征点l,r,u,d，机身坐标系的三维方向分别为X、Y、Z；所述特征点在t-1时刻与t时刻分别在机载视频帧中成像，其像点像素坐标和无人机在t-1时刻、t时刻的轨迹估计值；所述特征点原像在所述机身坐标系中的位置坐标的关系为：
其中，m，n选取x，y，z中的两项，p表示所述特征点；Δx′t-1,Δyt-1′,Δz′t-1是t-1时刻到t时刻位移的机身坐标系的坐标表示，up1,up2为像素点相对成像面主点的位移，f为摄像机像面距。
作为上述方案的进一步改进，所述步骤S3中，Δθt＝ξ(θt-1测-θt-1计)作为t时刻横摆航向角的估计极限误差值，作为俯仰航向角的估计极限误差值，ξ为误差系数。
作为上述方案的进一步改进，所述步骤S3中，定义所述无人机的最大制动减速度amax，vt为无人机速度；所述无人机的最小航行安全距离Lmin的计算公式为：
定义制动反应时间为T0，则反应距离L0：
L0＝vtT0
所述航行安全距离为：
Ls＝η(L0+Lmin)
其中，Ls为所述航行安全距离，η为安全系数。
作为上述方案的进一步改进，使用t-1时刻所述无人机的陀螺仪给出的直接观测值以及GPS、所述无人机气压计给出的按位移计算值的差值确定所述航向角真值的取值范围；其中，在机身坐标系中，在XZ平面上和YZ平面上分别定义以(0,0)为中心，以Ls为半径，对称于Zt轴，角度范围为2Δθt和的扇形为水平、竖直大概率碰撞区域。
作为上述方案的进一步改进，定义l,r,u,d点原像L,R,U,D在机身坐标系-t中的位置L(xL,yL,zL),R(xR,yR,zR),U(xU,yU,zU),D(xD,yD,zD)；在所述步骤S4中，所述预警概率的计算方法包括以下步骤：
如果所述大概率碰撞区域不与线段LR相交，则所述无人机的碰撞概率为0；
如果大概率碰撞区域与LR相交，则计算相交部分最靠近扇形圆心点N的圆心距Ro：
所述预警概率为：
P为所述预警概率，(xM,zM)为特征线段LR,UD上落在大概率碰撞区域内的点中距扇形区域圆心最近一点的坐标，Ls为所述航行安全距离。
作为上述方案的进一步改进，在所述步骤S5中，定义出一个低风险预警概率P0和一个高风险预警概率P1；
若P≤P0，则不进行碰撞提示，并提示正常飞行；
若P0＜P≤P1，则进行低等级风险碰撞提示，并提示谨慎飞行，建议避障飞行方向：***按当前速度与最大转向加速度模拟飞行绕行轨迹，按照障碍物特征线段与飞行轨迹的接近程度进行提前避障建议；
若P＞P1，则进行高等级风险碰撞提示，并在保护开关关闭的情况下提示紧急制动，在保护开关开启的情况下控制飞行器紧急制动。
本发明还提供一种预警装置，其应用上述任意所述的基于双目视觉的无人机避障预警方法，其包括：
摄像单元，其用于对无人机的正前方范围的连续成像，获得所述无人机的前行驶状态观测数据；
逻辑综合单元，其用于先从无人机拍摄的视频图像中分割出同一障碍物的外轮廓线，并将所述外轮廓线投影变换到一个正规化成像平面，以获得正规化外轮廓线，再选取所述正规化外轮廓线中像素横、纵坐标最小与最大的四点作为所述障碍物的四个特征点，最后根据所述四个特征点，确定所述无人机同所述障碍物之间的相对位置关系、直线制动发生碰撞的概率以及向左/右/上/下偏航绕过所述障碍物的优先级；所述逻辑综合单元还用于通过与视锥在左/右/上/下四个方向的切点作为所述障碍物的结构化表示，将所述四个特征点像点的一维信息代入一个双目视觉模型中，计算出所述四个特征点原像在所述无人机的机身坐标系中的位置坐标；所述逻辑综合单元还用于先确定所述无人机的航向角真值的取值范围，再确定所述无人机的航行安全距离，最后根据所述航向角真值的取值范围以及所述航行安全距离，计算出所述无人机的大概率碰撞区域；述逻辑综合单元还用于根据所述四个特征点原像在所述机身坐标系中的位置坐标，判断由所述四个特征点构成的两条特征线段是否有点落在所述大概率碰撞区域内，且计算落在所述大概率碰撞区域内并距离所述大概率碰撞区域的圆心最近点的圆心距数值，最后根据所述圆心距数值计算出预警概率；以及
预警提示单元，其用于根据所述预警概率，对所述无人机进行预警。
本发明的基于双目视觉的无人机避障预警方法及装置具有以下有益效果：
1、该基于双目视觉的无人机避障预警方法，其结合机载传感器监测的无人机飞行状态参数，通过图像特征提取与投影变换确定小型障碍物位置，分析碰撞发生可能性，对无人机安全行驶具有精确预警功能。
2、该基于双目视觉的无人机避障预警方法，其可以降低无人机飞行过程中与障碍物碰撞的概率，可以借鉴应用到无人机自动巡航中，弥补了现有技术的空白。
3、该基于双目视觉的无人机避障预警方法，其便于对阻碍的相对判定，提高了判定的准确性，通过车辆安全距离、航向角误差预测值计算无人机危险区域，判定准确性强。
4、该预警装置，其有益效果与上述基于双目视觉的无人机避障预警方法的有益效果相同，在此不再做赘述。
附图说明
图1为本发明实施例1中的基于双目视觉的无人机避障预警方法的流程图；
图2为本发明实施例1中的基于双目视觉的无人机避障预警方法中障碍物特征点进行预处理过程示意图；其中，(a)原图(b)轮廓提取(c)正规化投影(d)特征点选择(e)一维化处理；
图3为本发明实施例1中的基于双目视觉的无人机避障预警方法中定高度飞行时摄像机拍摄障碍物过程示意图；
图4为本发明实施例1中的基于双目视觉的无人机避障预警方法中物点投影在XZ平面上的简化图(t-1时刻相机已参考t时刻姿态进行正规化处理)；
图5为本发明实施例1中的基于双目视觉的无人机避障预警方法中物点P及其像点与无人机运动轨迹间关系示意图；
图6为本发明实施例1中的基于双目视觉的无人机避障预警方法中大概率碰撞区域估计和碰撞概率计算的示意图；
图7为本发明实施例1中的基于双目视觉的无人机避障预警方法中沿左/右/上/下避障飞行方向的示意图；
图8本发明实施例2中预警装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
实施例1
请参阅图1-7，本实施例提供了一种基于双目视觉的无人机避障预警方法。该预警方法首先从存储单元中提取飞行状态数据历史值及当前值，确定机身坐标系与大地坐标系的关系。与此同时，从无人机前置视频摄像头对应帧(t)中计算障碍物特征点像素坐标值。然后，结合上一帧(t-1)中的特征点像素坐标，由双目视觉模型计算求解障碍物相对机身的方位。根据当前无人机飞行数据，计算无人机安全距离。根据安全距离、方向角测量值、方向角误差和障碍物位置计算无人机危险区域和碰撞概率，并发布预警信息。在本实施例中，该基于双目视觉的无人机避障预警方法主要从以下几个步骤实现，具体为步骤S1-S5。
步骤S1：先从无人机拍摄的视频图像中分割出同一障碍物的外轮廓线，并将外轮廓线投影变换到一个正规化成像平面，以获得正规化外轮廓线，再选取正规化外轮廓线中像素横、纵坐标最小与最大的四点作为障碍物的四个特征点，最后根据四个特征点，确定无人机同障碍物之间的相对位置关系、直线制动发生碰撞的概率以及向左/右/上/下偏航绕过障碍物的优先级。
上述步骤是对障碍物特征点的定义，为得到代表障碍物空间几何特性的特征点，首先需要通过前、背景分离算法从视频第t帧图像中分割出t-1帧中同一障碍物的外轮廓线，并将之投影变换到光轴与无人机前进方向平行，列方向与无人机旋翼转轴方向平行的正规化成像平面，得到经处理后的外轮廓线。然后为了保证计算实时性对模型进行简化，只选取轮廓中像素横、纵坐标最小与最大的四点l(ul,vl),r(ur,vr),u(uu,vu),d(ud,vd)(左/右/上/下)作为障碍物的特征点，忽略t-Δt时刻和t时刻l,r,u,d的原像点在深度方向和感兴趣方向发生的变化，并且只在两张二维平面(无人机做俯仰运动和横摆运动时所在的平面)内进一步讨论障碍物与无人机之间的相对位置关系、直线制动发生碰撞的概率以及向左/右/上/下偏航绕过障碍物的优先级。图2对上述图像预处理过程进行了解释说明，图3显示了定高飞行时摄像机在运动中前后两次拍摄同一障碍物的二维过程和图像正规化投影的可行性。
步骤S2：通过与视锥在左/右/上/下四个方向的切点作为障碍物的结构化表示，将四个特征点像点的一维信息代入一个双目视觉模型中，计算出四个特征点原像在无人机的机身坐标系中的位置坐标。在本实施例中，利用上、下、左、右四方向平动躲避障碍物，因此选择与视锥在四个方向上的切点作为障碍物的结构化表示，该简化要求障碍物尺寸比深度距离小一个数量级或障碍物满足平面表面假设。定义四个特征点分别为特征点l,r,u,d，机身坐标系的三维方向分别为X、Y、Z。特征点在t-1时刻与t时刻分别在机载视频帧中成像，其像点像素坐标和无人机在t-1时刻、t时刻的轨迹估计值；特征点原像在机身坐标系中的位置坐标的关系为：
其中，m，n选取x，y，z中的两项，p表示特征点；Δx′t-1,Δyt-1′,Δz′t-1是t-1时刻到t时刻位移的机身坐标系的坐标表示，up1,up2为像素点相对成像面主点的位移，f为摄像机像面距。
图4中显示了三维空间投影的简化过程，即仅考虑XZ方向时，物像之间仍然满足中心投影模型，因此只需使用特征点像点的一维信息代入双目视觉模型计算。静止点P在t-1时刻与t时刻分别在机载视频帧中成像，根据其像点像素坐标和无人机在t-1时刻，t时刻的轨迹估计值，就可以计算t时刻P点相对摄像机光心或无人机几何中心的位移及其坐标值(机身坐标系-t)。其中XZ方向的几何位置关系如图5所示(YZ方向同理)。
图5中使用的是t时刻的机身坐标系，图中的Δx′t-1,Δyt-1′,Δz′t-1是t-1时刻到t时刻位移的机身坐标系-t坐标表示，up1,up2为像素点相对成像面主点的位移(单位：像元长度)，f为摄像机像面距(单位：像元长度)。容易得到P点的机身坐标系-t坐标值和像点p1,p2像素系坐标值间的关系如下：
通过上述公式即可求得点P在机身坐标系-t中的x,z坐标，同理在YZ平面上进行相关计算则可得到P的y,z坐标。
将上述计算方法应用到一维化的特征点l,r,u,d中，即可求得l,t,u,f点原像L,T,U,D(亦即障碍物抽象成的两张平面)在机身坐标系-t中的位置L(xL,yL,zL),R(xR,yR,zR),U(xU,yU,zU),D(xD,yD,zD)。
S3：先确定无人机的航向角真值的取值范围，再确定无人机的航行安全距离，最后根据航向角真值的取值范围以及航行安全距离，计算出无人机的大概率碰撞区域。为了计算无人机当前立即施行制动时仍可能发生碰撞的区域，本实施例首先需要确定方向角真值的取值范围。可以考虑使用t-1时刻陀螺仪给出的直接观测值以及GPS、气压计给出的按位移计算值的差值(注：需转换为机身坐标系视角)进行估计，具体来说，用Δθt＝ξ(θt-1测-θt-1计)作为t时刻横摆航向角的估计极限误差值，作为俯仰航向角的估计极限误差值，其中ξ为误差系数，可以依经验取一定数值，如ξ＝3。
其次需要确定安全距离。已知t时刻无人机飞行速度的估计值为vt，根据无人机性能参数，可以获得最大制动减速度amax，vt为无人机速度。则最小安全飞行距离Lmin为：
假定人的制动反应时间为T0，则反应距离L0：
L0＝vtT0
安全距离Ls为：
Ls＝η(L0+Lmin)
其中η为安全系数，依经验选择适当值，例如：η＝1.2。
根据航向角估计极限误差Δθt和安全距离Ls，可以计算大概率碰撞区域：在机身坐标系-t中，在XZ平面上和YZ平面上分别定义以(0,0)为中心，以Ls为半径，对称于Zt轴，角度范围为2Δθt和/>的扇形为水平、竖直大概率碰撞区域，即图6中的扇形区域。
S4：根据四个特征点原像在机身坐标系中的位置坐标，判断由四个特征点构成的两条特征线段是否有点落在大概率碰撞区域内，且计算落在大概率碰撞区域内并距离大概率碰撞区域的圆心最近点的圆心距数值，最后根据圆心距数值计算出预警概率。在本实施例中，根据障碍物特征点机身系-t坐标值L(xL,zL),R(xR,zR),U(yU,zU),V(yV,zV)，可以确定特征线段LR,UD上是否有点落在大概率碰撞区域内，以及距扇形区域圆心最近一点M(xM,zM)或N(yN,zN)的圆心距数值，进而计算碰撞概率。
如果大概率碰撞区域不与线段LR相交，则无人机的碰撞概率为0；
如果大概率碰撞区域与LR相交，则计算相交部分最靠近扇形圆心点N的圆心距Ro：
预警概率为：
P为预警概率。
S5：根据预警概率，对无人机进行预警。在本实施例中，先根据无人机的实际飞行数据，预设出一个低风险预警概率P0和一个高风险预警概率P1，再将预警概率分别与低风险预警概率、高风险预警概率比较，按照一个预设方案获得相应的预警等级。即根据计算预警概率，与预设概率比较，可以得到相应的预警等级。
若P≤P0，则不进行碰撞提示，并提示正常飞行。
若P0＜P≤P1，则进行低等级风险碰撞提示，并提示谨慎飞行，建议如图7所示的避障飞行方向：***按当前速度与最大转向加速度模拟飞行绕行轨迹，按照障碍物特征线段与飞行轨迹的接近程度进行提前避障建议。
若P＞P1，则进行高等级风险碰撞提示，并在保护开关关闭的情况下提示紧急制动，在保护开关开启的情况下控制飞行器紧急制动。
综上，相较于现有的无人机避障预警技术，本实施例的基于双目视觉的无人机避障预警方法具有以下优点：
1、该基于双目视觉的无人机避障预警方法，其结合机载传感器监测的无人机飞行状态参数，通过图像特征提取与投影变换确定小型障碍物位置，分析碰撞发生可能性，对无人机安全行驶具有精确预警功能。
2、该基于双目视觉的无人机避障预警方法，其可以降低无人机飞行过程中与障碍物碰撞的概率，可以借鉴应用到无人机自动巡航中，弥补了现有技术的空白。
3、该基于双目视觉的无人机避障预警方法，其便于对阻碍的相对判定，提高了判定的准确性，通过车辆安全距离、航向角误差预测值计算无人机危险区域，判定准确性强。
实施例2
请参阅图8，本实施例提供了一种预警装置，该装置应用实施例1中的基于双目视觉的无人机避障预警方法，具体包括摄像单元、控制单元、无线通信模块、存储单元、逻辑综合单元、预警提示模块。摄像单元实现对无人机正前方范围的连续成像，控制单元实现控制算法并与各单元交互数据，无线通信模块实现机载警示装置与地面接收站的通信功能，存储单元存储目标变量的历史数据，逻辑综合单元实现飞行状态计算、视频测距计算与无人机飞行预警概率计算，预警提示模块实现对预警进行提示。
摄像单元用于对无人机的正前方范围的连续成像，获得无人机的前行驶状态观测数据。逻辑综合单元用于先从无人机拍摄的视频图像中分割出同一障碍物的外轮廓线，并将外轮廓线投影变换到一个正规化成像平面，以获得正规化外轮廓线，再选取正规化外轮廓线中像素横、纵坐标最小与最大的四点作为障碍物的四个特征点，最后根据四个特征点，确定无人机同障碍物之间的相对位置关系、直线制动发生碰撞的概率以及向左/右/上/下偏航绕过障碍物的优先级。逻辑综合单元还用于通过与视锥在左/右/上/下四个方向的切点作为障碍物的结构化表示，将四个特征点像点的一维信息代入一个双目视觉模型中，计算出四个特征点原像在无人机的机身坐标系中的位置坐标。逻辑综合单元还用于先确定无人机的航向角真值的取值范围，再确定无人机的航行安全距离，最后根据航向角真值的取值范围以及航行安全距离，计算出无人机的大概率碰撞区域。逻辑综合单元还用于根据四个特征点原像在机身坐标系中的位置坐标，判断由四个特征点构成的两条特征线段是否有点落在大概率碰撞区域内，且计算落在大概率碰撞区域内并距离大概率碰撞区域的圆心最近点的圆心距数值，最后根据圆心距数值计算出预警概率。预警提示单元用于根据预警概率，对无人机进行预警。无线通信模块主要用于收发无线信号，可以与交通指挥中心之间进行通信功能，也可以与报警设备、手机等进行信号传送，在此不做赘述。
实施例3
本实施例提供了一种计算机终端，其包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序。处理器执行程序时实现实施例1中基于双目视觉的无人机避障预警方法的步骤。
基于双目视觉的无人机避障预警方法在应用时，可以软件的形式进行应用，如设计成独立运行的程序，安装在计算机终端上，计算机终端可以是电脑、智能手机、控制***以及其他物联网设备等。该基于双目视觉的无人机避障预警方法也可以设计成嵌入式运行的程序，安装在计算机终端上，如安装在单片机上。
实施例4
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序。程序被处理器执行时，实现实施例1中基于双目视觉的无人机避障预警方法的步骤。基于双目视觉的无人机避障预警方法在应用时，可以软件的形式进行应用，如设计成计算机可读存储介质可独立运行的程序，计算机可读存储介质可以是U盘，设计成U盾，通过U盘设计成通过外在触发启动整个方法的程序。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于双目视觉的无人机避障预警方法，其特征在于，其包括以下步骤：
S1：先从无人机拍摄的视频图像中分割出同一障碍物的外轮廓线，并将所述外轮廓线投影变换到一个正规化成像平面，以获得正规化外轮廓线，再选取所述正规化外轮廓线中像素横、纵坐标最小与最大的四点作为所述障碍物的四个特征点，最后根据所述四个特征点，确定所述无人机同所述障碍物之间的相对位置关系、直线制动发生碰撞的概率以及向左/右/上/下偏航绕过所述障碍物的优先级；
S2：通过与视锥在左/右/上/下四个方向的切点作为所述障碍物的结构化表示，将所述四个特征点像点的一维信息代入一个双目视觉模型中，计算出所述四个特征点原像在所述无人机的机身坐标系中的位置坐标；
S3：先确定所述无人机的航向角真值的取值范围，再确定所述无人机的航行安全距离，最后根据所述航向角真值的取值范围以及所述航行安全距离，计算出所述无人机的大概率碰撞区域；
S4：根据所述四个特征点原像在所述机身坐标系中的位置坐标，判断由所述四个特征点构成的两条特征线段是否有点落在所述大概率碰撞区域内，且计算落在所述大概率碰撞区域内并距离所述大概率碰撞区域的圆心最近点的圆心距数值，最后根据所述圆心距数值计算出预警概率；以及
S5：根据所述预警概率，对所述无人机进行预警。
2.如权利要求1所述的基于双目视觉的无人机避障预警方法，其特征在于，所述步骤S5，先根据所述无人机的实际飞行数据，预设出一个低风险预警概率和一个高风险预警概率，再将所述预警概率分别与所述低风险预警概率、所述高风险预警概率比较，按照一个预设方案获得相应的预警等级。
3.如权利要求1所述的基于双目视觉的无人机避障预警方法，其特征在于，所述步骤S1，所述外轮廓线为通过前、背景分离从所述视频图像的第t帧图像中分割出t-1帧中同一障碍物的外轮廓线，所述正规化成像平面为光轴与所述无人机前进方向平行且列方向与所述无人机旋翼转轴方向平行的成像平面。
4.如权利要求3所述的基于双目视觉的无人机避障预警方法，其特征在于，定义所述四个特征点分别为特征点l,r,u,d，机身坐标系的三维方向分别为X、Y、Z；所述特征点在t-1时刻与t时刻分别在机载视频帧中成像，其像点像素坐标和无人机在t-1时刻、t时刻的轨迹估计值；所述特征点原像在所述机身坐标系中的位置坐标的关系为：
其中，m，n选取x，y，z中的两项，p表示所述特征点；Δx′t-1,Δyt-1′,Δz′t-1是t-1时刻到t时刻位移的机身坐标系的坐标表示，up1,up2为像素点相对成像面主点的位移，f为摄像机像面距。
5.如权利要求4所述的基于双目视觉的无人机避障预警方法，其特征在于，所述步骤S3中，Δθt＝ξ(θt-1测-θt-1计)作为t时刻横摆航向角的估计极限误差值，作为俯仰航向角的估计极限误差值，ξ为误差系数。
6.如权利要求5所述的基于双目视觉的无人机避障预警方法，其特征在于，所述步骤S3中，定义所述无人机的最大制动减速度amax，vt为无人机速度；所述无人机的最小航行安全距离Lmin的计算公式为：
定义制动反应时间为T0，则反应距离L0：
L0＝vtT0
所述航行安全距离为：
Ls＝η(L0+Lmin)
其中，Ls为所述航行安全距离，η为安全系数。
7.如权利要求6所述的基于双目视觉的无人机避障预警方法，其特征在于，使用t-1时刻所述无人机的陀螺仪给出的直接观测值以及GPS、所述无人机气压计给出的按位移计算值的差值确定所述航向角真值的取值范围；其中，在机身坐标系中，在XZ平面上和YZ平面上分别定义以(0,0)为中心，以Ls为半径，对称于Zt轴，角度范围为2Δθt和的扇形为水平、竖直大概率碰撞区域。
8.如权利要求1所述的基于双目视觉的无人机避障预警方法，其特征在于，定义l,r,u,d点原像L,R,U,D在机身坐标系-t中的位置L(xL,yL,zL),R(xR,yR,zR),U(xU,yU,zU),D(xD,yD,zD)；在所述步骤S4中，所述预警概率的计算方法包括以下步骤：
如果所述大概率碰撞区域不与线段LR相交，则所述无人机的碰撞概率为0；
如果大概率碰撞区域与LR相交，则计算相交部分最靠近扇形圆心点N的圆心距Ro：
所述预警概率为：
P为所述预警概率，(xM,zM)为特征线段LR,UD上落在大概率碰撞区域内的点中距扇形区域圆心最近一点的坐标，Ls为所述航行安全距离。
9.如权利要求1所述的基于双目视觉的无人机避障预警方法，其特征在于，在所述步骤S5中，定义出一个低风险预警概率P0和一个高风险预警概率P1；
若P≤P0，则不进行碰撞提示，并提示正常飞行；
若P0＜P≤P1，则进行低等级风险碰撞提示，并提示谨慎飞行，建议避障飞行方向：***按当前速度与最大转向加速度模拟飞行绕行轨迹，按照障碍物特征线段与飞行轨迹的接近程度进行提前避障建议；
若P＞P1，则进行高等级风险碰撞提示，并在保护开关关闭的情况下提示紧急制动，在保护开关开启的情况下控制飞行器紧急制动。
10.一种应用如权利要求1-9中任意一项所述的基于双目视觉的无人机避障预警方法的预警装置，其特征在于，其包括：
摄像单元，其用于对无人机的正前方范围的连续成像，获得所述无人机的前行驶状态观测数据；
逻辑综合单元，其用于先从无人机拍摄的视频图像中分割出同一障碍物的外轮廓线，并将所述外轮廓线投影变换到一个正规化成像平面，以获得正规化外轮廓线，再选取所述正规化外轮廓线中像素横、纵坐标最小与最大的四点作为所述障碍物的四个特征点，最后根据所述四个特征点，确定所述无人机同所述障碍物之间的相对位置关系、直线制动发生碰撞的概率以及向左/右/上/下偏航绕过所述障碍物的优先级；所述逻辑综合单元还用于通过与视锥在左/右/上/下四个方向的切点作为所述障碍物的结构化表示，将所述四个特征点像点的一维信息代入一个双目视觉模型中，计算出所述四个特征点原像在所述无人机的机身坐标系中的位置坐标；所述逻辑综合单元还用于先确定所述无人机的航向角真值的取值范围，再确定所述无人机的航行安全距离，最后根据所述航向角真值的取值范围以及所述航行安全距离，计算出所述无人机的大概率碰撞区域；所述逻辑综合单元还用于根据所述四个特征点原像在所述机身坐标系中的位置坐标，判断由所述四个特征点构成的两条特征线段是否有点落在所述大概率碰撞区域内，且计算落在所述大概率碰撞区域内并距离所述大概率碰撞区域的圆心最近点的圆心距数值，最后根据所述圆心距数值计算出预警概率；以及
预警提示单元，其用于根据所述预警概率，对所述无人机进行预警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111142544.8A CN113900443B (zh) | 2021-09-28 | 2021-09-28 | 一种基于双目视觉的无人机避障预警方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111142544.8A CN113900443B (zh) | 2021-09-28 | 2021-09-28 | 一种基于双目视觉的无人机避障预警方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113900443A CN113900443A (zh) | 2022-01-07 |
| CN113900443B true CN113900443B (zh) | 2023-07-18 |
Family
ID=79029620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111142544.8A Active CN113900443B (zh) | 2021-09-28 | 2021-09-28 | 一种基于双目视觉的无人机避障预警方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113900443B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114047788B (zh) * | 2022-01-11 | 2022-04-15 | 南京南机智农农机科技研究院有限公司 | 一种自动避障的系留无人机跟车*** |
| CN115576357B (zh) * | 2022-12-01 | 2023-07-07 | 浙江大有实业有限公司杭州科技发展分公司 | 一种无rtk信号场景下全自动无人机巡检智能路径规划方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018058356A1 (zh) * | 2016-09-28 | 2018-04-05 | 驭势科技（北京）有限公司 | 基于双目立体视觉的汽车防碰撞预警方法和*** |
| CN108844538A (zh) * | 2018-05-07 | 2018-11-20 | 中国人民解放军国防科技大学 | 一种基于视觉/惯导的无人机避障航点生成方法 |
| CN109857133A (zh) * | 2019-03-26 | 2019-06-07 | 台州学院 | 基于双目视觉的多旋翼无人机选择性避障控制方法 |
| CN112508865A (zh) * | 2020-11-23 | 2021-03-16 | 深圳供电局有限公司 | 一种无人机巡检避障方法、装置、计算机设备和存储介质 |
-
2021
- 2021-09-28 CN CN202111142544.8A patent/CN113900443B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018058356A1 (zh) * | 2016-09-28 | 2018-04-05 | 驭势科技（北京）有限公司 | 基于双目立体视觉的汽车防碰撞预警方法和*** |
| CN108844538A (zh) * | 2018-05-07 | 2018-11-20 | 中国人民解放军国防科技大学 | 一种基于视觉/惯导的无人机避障航点生成方法 |
| CN109857133A (zh) * | 2019-03-26 | 2019-06-07 | 台州学院 | 基于双目视觉的多旋翼无人机选择性避障控制方法 |
| CN112508865A (zh) * | 2020-11-23 | 2021-03-16 | 深圳供电局有限公司 | 一种无人机巡检避障方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 无人机视觉定位与避障子***研究;林涛;;机械工程师(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113900443A (zh) | 2022-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109927719B (zh) | 一种基于障碍物轨迹预测的辅助驾驶方法和*** | |
| US11288860B2 (en) | Information processing apparatus, information processing method, program, and movable object | |
| CN113900443B (zh) | 一种基于双目视觉的无人机避障预警方法及装置 | |
| CN110103967B (zh) | 一种车辆自动变道方法及车辆控制***、车辆 | |
| CN110745140B (zh) | 一种基于连续图像约束位姿估计的车辆换道预警方法 | |
| CN111976718B (zh) | 自动泊车的控制方法和*** | |
| CN112154455B (zh) | 数据处理方法、设备和可移动平台 | |
| CN106164998A (zh) | 路径预测装置 | |
| US11370420B2 (en) | Vehicle control device, vehicle control method, and storage medium | |
| US11380110B1 (en) | Three dimensional traffic sign detection | |
| EP3496040A1 (en) | Gradient estimation device, gradient estimation method, computer-readable medium, and controlling system | |
| US20220383749A1 (en) | Signal processing device, signal processing method, program, and mobile device | |
| CN113950612B (zh) | 用于2d路径规划器的道路模型流形 | |
| US20220253065A1 (en) | Information processing apparatus, information processing method, and information processing program | |
| US20240054793A1 (en) | Information processing device, information processing method, and program | |
| US20230260254A1 (en) | Information processing device, information processing method, and program | |
| US11554774B2 (en) | Control apparatus, control method, and program | |
| US20220196424A1 (en) | Vehicle control method and vehicle control device | |
| CN115485723A (zh) | 信息处理装置、信息处理方法和程序 | |
| CN115923839A (zh) | 一种车辆路径规划方法 | |
| US20230215273A1 (en) | Object recognition device, movable body collision prevention device, and object recognition method | |
| JP7278740B2 (ja) | 移動体制御装置 | |
| CN111959482A (zh) | 自主驾驶装置及方法 | |
| US12032066B2 (en) | Recognition device and method | |
| WO2022049880A1 (ja) | 画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240531 Address after: 235000 No. 21 Longxing Road, Longhu High tech Zone, Huaibei Economic Development Zone, Anhui Province Patentee after: Anhui Tian Lu Aerotech Inc. Country or region after: China Address before: Tunxi road in Baohe District of Hefei city of Anhui Province, No. 193 230009 Patentee before: Hefei University of Technology Country or region before: China |
|
| TR01 | Transfer of patent right |