CN115755950A - 一种基于激光雷达和相机数据融合的无人机定点降落方法 - Google Patents
一种基于激光雷达和相机数据融合的无人机定点降落方法 Download PDFInfo
- Publication number
- CN115755950A CN115755950A CN202211156855.4A CN202211156855A CN115755950A CN 115755950 A CN115755950 A CN 115755950A CN 202211156855 A CN202211156855 A CN 202211156855A CN 115755950 A CN115755950 A CN 115755950A
- Authority
- CN
- China
- Prior art keywords
- point
- point cloud
- aerial vehicle
- unmanned aerial
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明涉及无人机定位技术领域,具体涉及一种基于激光雷达和相机数据融合的无人机定点降落方法,包括:相机识别图像获得Aruco码二维点坐标并建立XOY平面;激光雷达扫描无人机下方,获得三维点云、反射强度数据及Aruco码三维点云坐标;计算变换矩阵M,将三维点云投影到XOY平面;计算Aruco码中心位置并将其作为坐标原点在XOY平面建立坐标系;将投影后的三维点云数据映射到坐标系上;识别Aruco码角点,计算无人机与Aruco码角点的相对位置,完成定点降落。本发明的有益技术效果包括:融合激光雷达与相机数据识别Aruco码角点,提高无人机定点降落的环境适应性,扩大测距范围。
Description
技术领域
本发明涉及无人机定位技术领域,具体涉及一种基于激光雷达和相机数据融合的无人机定点降落方法。
背景技术
旋翼无人机具有体积较小、结构简单、控制比较灵活等特点,能够垂直起降、自由悬停,还能够适应各种自然环境,具备自主飞行和自主降落等优点,可以在一些不适合人类进入的复杂和危险环境中进行作业,近年来在科研机构、政府机构、广播媒体、个人应用和军事领域都有着越来越重要的应用。而无人机定点降落是指无人机飞行在高空时,通过配备下视相机采集地面图像,通过人工在地面图像上选择一个降落目标点,无人机自动飞行到目标点上空并精确降落到设定的降落点。无人机定点降落可以应用到抢险救援、自动化物流对接、紧急情况下的无人机迫降等。
传统无人机只搭载相机识别落点参照物,而相机近距离视野窄,强光下过曝,无法接收夜光,因而存在应用场景单一、方法容易失效、夜间无法应用等问题。近几年,激光雷达逐渐发展小型化,成为众多功能无人机需携带的传感器。激光雷达以主动发射及接收激光术原理对三维环境进行感知,具有更大的空间覆盖能力,不受白天、黑夜、光线强度等自然因素影响,为无人机识别落点参照物提供了可靠的选择。
随机抽样一致算法(RANdom SAmple Consensus,RANSAC)在1981年由Fischler和Bolles首次提出,它采用迭代的方式从一组包含离群的被观测数据中估算出数学模型的参数。随机抽样一致算法是一个非确定性算法,在某种意义上说,它会产生一个在一定概率下合理的结果,而更多次的迭代会使这一概率增加,因此该算法常用于处理激光雷达点云,以形成估计平面。随机抽样性算法包括以下步骤:(1)在数据中随机选择几个点设定为内群;(2)计算拟合内群的模型;(3)把其它刚才没选到的点带入刚才建立的模型中,计算是否为内群;(4)记下内群数量;(5)重复以上步骤多做几次,比较哪次计算中内群数量最多,内群最多的那次所建的模型就是所要求的估计平面。
但目前无人机定点降落仍存在识别落点参照物不具有真实可见光色彩、点云密度低、测距范围短等技术问题。如Weimin Wang等人提出的反射强度辅助三维激光雷达和全景相机的印刷棋盘自动精确外部校准的无人机定点降落方法,该方法采用Velodyne激光雷达,但由于远距离点云密度过低,无法从中提取有效特征信息,所作实验的最远测距范围只有2.6米,限制了无人机的使用范围。为此,有必要研究能够提高落点参照物识别效果的无人机定点降落方法。
如中国专利CN113946157A,公开日2022年1月18日,一种基于多功能识别定位的定点降落无人机方法及***。该方法通过无人机接收位于待降落平台上的控制端的自动返航指令,并根据GPS导航返回待降落平台上空的第一预设距离高度处悬停;通过双摄像头实时获取下方图像数据信息,并传输至控制端,控制端通过轮廓提取方法识别锁定待降落平台上的标靶,以引导无人机逐步降低,当无人机位于标靶中心上方第二预设距离高度时,自动降落完成定点降落,实现了落点参照物识别精度较高、降落耗时短的无人机定点降落。但其技术方案并没有解决无人机定点降落易受环境因素影响、测距范围短的技术问题。
发明内容
本发明所要解决的技术问题:目前无人机在实现定点降落时,存在易受环境因素影响、测距范围短的技术问题。提出了一种基于激光雷达和相机数据融合的无人机定点降落方法,能够融合激光雷达与相机数据识别Aruco码角点,提高无人机定点降落的环境适应性,扩大测距范围。
解决上述技术问题,本发明采用如下技术方案:一种基于激光雷达和相机数据融合的无人机定点降落方法,用于采用livox激光雷达的无人机的降落,包括:
相机拍摄无人机下方图像,识别图像中的Aruco码,获得Aruco码的二维点坐标,根据二维点坐标建立XOY平面;
激光雷达扫描无人机下方,获得三维点云及反射强度数据,根据反射强度数据识别Aruco码,获得Aruco码的三维点云坐标;
计算出相机二维点坐标和激光雷达三维点云坐标之间的变换矩阵M,将三维点云投影到XOY平面;
根据投影后的三维点云,计算Aruco码的中心位置;
将中心位置作为坐标原点在XOY平面建立坐标系;
将投影后的三维点云数据映射到所述坐标系上;
识别Aruco码角点,计算无人机与Aruco码角点的相对位置,形成无人机移动数据;
重复上述步骤,直至无人机与Aruco码角点位置对齐,完成定点降落。
作为优选,根据反射强度数据识别Aruco码的方法包括:
RL为黑色图案反射强度的最大值,RH为白色图案反射强度的最小值;
定义一个中间区间[β1,β2],β1=((σ-1)RL+RH)/σ,β2=(RL+(σ-1)RH)/σ,其中σ为预设常量值;
若三维点的反射强度小于β1,则将三维点纳入黑色图案区域,若三维点的反射强度大于β2,则将三维点纳入白色图案区域;
根据黑色图案区域和白色图案区域,识别出Aruco码。
作为优选,反射强度数据与Aruco码的图案颜色之间的成本函数为:
其中,xi表示第i个三维点的反射强度,f1(xi)用于确定三维点反射强度是否在中间区间[β1,β2]的范围内,C表示Aruco码的正方形格子,表示三维点,用于确定正方形格子C是否包含了三维点 Vi表示第i个点对应的格子的四个顶点,ci表示根据反射强度xi估计的颜色值, 表示三维点对应的图案颜色,0表示黑色,1表示白色,f3用以确定三维点云映射错误的三维点位置,f3=min(Δx1,Δx2)+min(Δy1,Δy2)。
作为优选,三维点云映射错误的三维点位置的确定方法为:
当点云错误落入白格时,通过f3=min(Δx1,Δx2)+min(Δy1,Δy2)确定错误落入白格的点云位置,其中Δx1表示点云到Vi确定的正方形格左边的距离,Δx2表示点云到Vi确定的正方形格右边的距离,Δy1表示点云到Vi确定的正方形格上边的距离,Δy2表示点云到Vi确定的正方形格下边的距离;
当点云错误落入Aruco码外时,通过f3=min(Δx1,Δx2)+min(Δy1,Δy2)确定错误落入Aruco码外的点云位置,其中Δx1表示点云到正方形格子C左边的距离,Δx2表示点云到正方形格子C右边的距离,Δy1表示点云到正方形格子C上边的距离,Δy2表示点云到正方形格子C下边的距离。
作为优选,XOY平面点集合为:
其中,Tr(θM,TM,Pi M)为激光雷达矩阵。
作为优选,计算变换矩阵M的方法为:
作为优选,计算Aruco码中心位置的方法为:
将Aruco码的三维点云矩阵沿激光雷达的坐标系Pb=(a1,a2,a3)T中的三个基向量a1、a2及a3进行分解;
两个三维点组合并连接成线段,计算线段与基向量a1、a2及a3的比值,分别记为Δ1、Δ2及Δ3;
通过随机抽样一致性算法处理点云,形成估计平面;
将比值Δ3小于0.01的线段视为在同一平面,并将同一平面的点投影到估计平面上;
作为优选,将中心位置作为坐标原点在XOY平面建立坐标系的方法为:
将中心位置与XOY坐标系的原点重合;
将中心位置的值减去旋转点Pn×3,fc的平均值,得到旋转后XOY坐标原点的坐标系。
本发明的有益技术效果包括:采用一种基于激光雷达和相机数据融合的无人机定点降落方法,融合了相机与激光雷达对落点参照物的识别优势,提出建立真实物体色彩与激光点云反射强度数据之间的成本函数,从而提高了无人机对落点参照物的识别效果,进一步优化了无人机的定点降落;在激光雷达和相机数据融合的基础上,借助激光雷达的反射强度优势,无人机定点降落的最远测距范围可达27米以上,极大的扩充了无人机的使用范围。
本发明的其他特点和优点将会在下面的具体实施方式、附图中详细的揭露。
附图说明
下面结合附图对本发明做进一步的说明:
图1为本发明实施例无人机定点降落方法流程示意图;
图2为本发明实施例Aruco码中心位置的计算方法流程示意图。
具体实施方式
下面结合本发明实施例的附图对本发明实施例的技术方案进行解释和说明,但下述实施例仅为本发明的优选实施例,并非全部。基于实施方式中的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得其他实施例,都属于本发明的保护范围。
在下文描述中,出现诸如术语“内”、“外”、“上”、“下”、“左”、“右”等指示方位或者位置关系仅是为了方便描述实施例和简化描述,而不是指示或暗示所指的装置或者元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
一种基于激光雷达和相机数据融合的无人机定点降落方法,用于采用livox激光雷达的无人机的降落,请参阅附图1,包括:
步骤A01)相机拍摄无人机下方图像,识别图像中的Aruco码,获得Aruco码的二维点坐标,根据二维点坐标建立XOY平面;
步骤A02)激光雷达扫描无人机下方,获得三维点云及反射强度数据,根据反射强度数据识别Aruco码,获得Aruco码的三维点云坐标;
根据反射强度数据识别Aruco码的方法包括:
RL为黑色图案反射强度的最大值,RH为白色图案反射强度的最小值;
定义一个中间区间[β1,β2],β1=((σ-1)RL+RH)/σ,β2=(RL+(σ-1)RH)/σ,其中σ为预设常量值;
若三维点的反射强度小于β1,则将三维点纳入黑色图案区域,若三维点的反射强度大于β2,则将三维点纳入白色图案区域;
根据黑色图案区域和白色图案区域,识别出Aruco码。
反射强度数据与Aruco码的图案颜色之间的成本函数为:
其中,xi表示第i个三维点的反射强度,f1(xi)用于确定三维点反射强度是否在中间区间[β1,β2]的范围内,C表示Aruco码的正方形格子,表示三维点,用于确定正方形格子C是否包含了三维点 Vi表示第i个点对应的格子的四个顶点,ci表示根据反射强度xi估计的颜色值, 表示三维点对应的图案颜色,0表示黑色,1表示白色,f3用以确定三维点云映射错误的三维点位置,f3=min(Δx1,Δx2)+min(Δy1,Δy2)。
根据反射强度数据与Aruco码的图案颜色之间的成本函数可得出XOY平面点集合为:
其中,Tr(θM,TM,Pi M)为激光雷达矩阵。
三维点云映射错误的三维点位置的确定方法为:
当点云错误落入白格时,通过f3=min(Δx1,Δx2)+min(Δy1,Δy2)确定错误落入白格的点云位置,其中Δx1表示点云到Vi确定的正方形格左边的距离,Δx2表示点云到Vi确定的正方形格右边的距离,Δy1表示点云到Vi确定的正方形格上边的距离,Δy2表示点云到Vi确定的正方形格下边的距离;
当点云错误落入Aruco码外时,通过f3=min(Δx1,Δx2)+min(Δy1,Δy2)确定错误落入Aruco码外的点云位置,其中Δx1表示点云到正方形格子C左边的距离,Δx2表示点云到正方形格子C右边的距离,Δy1表示点云到正方形格子C上边的距离,Δy2表示点云到正方形格子C下边的距离。
步骤A03)计算出相机二维点坐标和激光雷达三维点云坐标之间的变换矩阵M,将三维点云投影到XOY平面;
计算变换矩阵M的方法为:
步骤A04)根据投影后的三维点云,计算Aruco码的中心位置;
步骤A05)将中心位置作为坐标原点在XOY平面建立坐标系;
其中,将中心位置作为坐标原点在XOY平面建立坐标系的方法为:
将中心位置与XOY坐标系的原点重合;
将中心位置的值减去旋转点Pn×3,fc的平均值,得到旋转后XOY坐标原点的坐标系。
步骤A06)将投影后的三维点云数据映射到所述坐标系上;
步骤A07)识别Aruco码角点,计算无人机与Aruco码角点的相对位置,形成无人机移动数据;
步骤A08)重复上述步骤,直至无人机与Aruco码角点位置对齐,完成无人机定点降落。
请参阅附图2,计算Aruco码中心位置的方法为:
步骤B01)将Aruco码的三维点云矩阵沿激光雷达的坐标系Pb=(a1,a2,a3)T中的三个基向量a1、a2及a3进行分解;
步骤B02)两个三维点组合并连接成线段,计算线段与基向量a1、a2及a3的比值,分别记为Δ1、Δ2及Δ3;
步骤B03)通过随机抽样一致性算法处理点云,形成估计平面;
步骤B04)将比值Δ3小于0.01的线段视为在同一平面,并将同一平面的点投影到估计平面上;
本实施例的有益技术效果包括:采用一种基于激光雷达和相机数据融合的无人机定点降落方法,融合了相机与激光雷达对落点参照物的识别优势,提出建立真实物体色彩与激光点云反射强度数据之间的成本函数,从而提高了无人机对落点参照物的识别效果,进一步优化了无人机的定点降落;在激光雷达和相机数据融合的基础上,借助激光雷达的反射强度优势,无人机定点降落的最远测距范围可达27米以上,极大的扩充了无人机的使用范围。
本实施例识别的落点参照物为Aruco码,而融合激光雷达点云和相机图像数据识别H型标记、Apriltags图案、自定义特殊图案等落点参照物都与本实施例相似,均应在本发明的保护范围内。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,熟悉该本领域的技术人员应该明白本发明包括但不限于附图和上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。
Claims (8)
1.一种基于激光雷达和相机数据融合的无人机定点降落方法,用于采用livox激光雷达的无人机的降落,其特征在于,包括:
相机拍摄无人机下方图像,识别图像中的Aruco码,获得Aruco码的二维点坐标,根据二维点坐标建立XOY平面;
激光雷达扫描无人机下方,获得三维点云及反射强度数据,根据反射强度数据识别Aruco码,获得Aruco码的三维点云坐标;
计算出相机二维点坐标和激光雷达三维点云坐标之间的变换矩阵M,将三维点云投影到XOY平面;
根据投影后的三维点云,计算Aruco码的中心位置;
将中心位置作为坐标原点在XOY平面建立坐标系;
将投影后的三维点云数据映射到所述坐标系上;
识别Aruco码角点,计算无人机与Aruco码角点的相对位置,形成无人机移动数据;
重复上述步骤,直至无人机与Aruco码角点位置对齐,完成定点降落。
2.根据权利要求1所述的一种基于激光雷达和相机数据融合的无人机定点降落方法,其特征在于,
根据反射强度数据识别Aruco码的方法包括:
RL为黑色图案反射强度的最大值,RH为白色图案反射强度的最小值;
定义一个中间区间[β1,β2],β1=((σ-1)RL+RH)/σ,β2=(RL+(σ-1)RH)/σ,其中σ为预设常量值;
若三维点的反射强度小于β1,则将三维点纳入黑色图案区域,若三维点的反射强度大于β2,则将三维点纳入白色图案区域;
根据黑色图案区域和白色图案区域,识别出Aruco码。
4.根据权利要求3所述的一种基于激光雷达和相机数据融合的无人机定点降落方法,其特征在于,
三维点云映射错误的三维点位置的确定方法为:
当点云错误落入白格时,通过f3=min(Δx1,Δx2)+min(Δy1,Δy2)确定错误落入白格的点云位置,其中Δx1表示点云到Vi确定的正方形格左边的距离,Δx2表示点云到Vi确定的正方形格右边的距离,Δy1表示点云到Vi确定的正方形格上边的距离,Δy2表示点云到Vi确定的正方形格下边的距离;
7.根据权利要求1所述的一种基于激光雷达和相机数据融合的无人机定点降落方法,其特征在于,
计算Aruco码中心位置的方法为:
将Aruco码的三维点云矩阵沿激光雷达的坐标系Pb=(a1,a2,a3)T中的三个基向量a1、a2及a3进行分解;
两个三维点组合并连接成线段,计算线段与基向量a1、a2及a3的比值,分别记为Δ1、Δ2及Δ3;
通过随机抽样一致性算法处理点云,形成估计平面;
将比值Δ3小于0.01的线段视为在同一平面,并将同一平面的点投影到估计平面上;
8.根据权利要求1所述的一种基于激光雷达和相机数据融合的无人机定点降落方法,其特征在于,
将中心位置作为坐标原点在XOY平面建立坐标系的方法为:
将中心位置与XOY坐标系的原点重合;
将中心位置的值减去旋转点Pn×3,fc的平均值,得到旋转后XOY坐标原点的坐标系。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211156855.4A CN115755950A (zh) | 2022-09-21 | 2022-09-21 | 一种基于激光雷达和相机数据融合的无人机定点降落方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211156855.4A CN115755950A (zh) | 2022-09-21 | 2022-09-21 | 一种基于激光雷达和相机数据融合的无人机定点降落方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115755950A true CN115755950A (zh) | 2023-03-07 |
Family
ID=85351821
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211156855.4A Pending CN115755950A (zh) | 2022-09-21 | 2022-09-21 | 一种基于激光雷达和相机数据融合的无人机定点降落方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115755950A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117806336A (zh) * | 2023-12-26 | 2024-04-02 | 珠海翔翼航空技术有限公司 | 基于二维和三维标识的飞机自动泊位方法、***及设备 |
-
2022
- 2022-09-21 CN CN202211156855.4A patent/CN115755950A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117806336A (zh) * | 2023-12-26 | 2024-04-02 | 珠海翔翼航空技术有限公司 | 基于二维和三维标识的飞机自动泊位方法、***及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10885328B2 (en) | Determination of position from images and associated camera positions | |
US10515458B1 (en) | Image-matching navigation method and apparatus for aerial vehicles | |
US11019322B2 (en) | Estimation system and automobile | |
CN110926474B (zh) | 卫星/视觉/激光组合的城市峡谷环境uav定位导航方法 | |
Hebel et al. | Simultaneous calibration of ALS systems and alignment of multiview LiDAR scans of urban areas | |
KR102239562B1 (ko) | 항공 관측 데이터와 지상 관측 데이터 간의 융합 시스템 | |
CN109460046B (zh) | 一种无人机自然地标识别与自主着陆方法 | |
CN109341686B (zh) | 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法 | |
CN107796384B (zh) | 使用地理弧的2d交通工具定位 | |
KR102289752B1 (ko) | Gps 음영 지역에서 경로 비행을 수행하는 드론 및 그 방법 | |
CN107798695B (zh) | 使用地理弧的3d交通工具定位 | |
Xiang et al. | UAV based target tracking and recognition | |
CN115755950A (zh) | 一种基于激光雷达和相机数据融合的无人机定点降落方法 | |
JP2020015416A (ja) | 画像処理装置 | |
CN109341685B (zh) | 一种基于单应变换的固定翼飞机视觉辅助着陆导航方法 | |
CN114544006A (zh) | 一种基于环境光照条件的低空遥感影像校正***及方法 | |
Hamidi et al. | Precise 3D geo-location of UAV images using geo-referenced data | |
WO2020243256A1 (en) | System and method for navigation and geolocation in gps-denied environments | |
CN110906922A (zh) | 无人机位姿信息的确定方法及装置、存储介质、终端 | |
CN113804165A (zh) | 一种无人机模拟gps信号定位方法和装置 | |
Bazin et al. | Dynamic programming and skyline extraction in catadioptric infrared images | |
Funk et al. | A passive cloud detection system for uav: System functions and validation | |
Recker et al. | Autonomous precision landing for the joint tactical aerial resupply vehicle | |
Li et al. | Rapid star identification algorithm for fish-eye camera based on PPP/INS assistance | |
CN114022533A (zh) | 一种航空面阵ccd遥感图像上直立地物高度的提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |