CN106502267B - 一种无人机避让*** - Google Patents
一种无人机避让*** Download PDFInfo
- Publication number
- CN106502267B CN106502267B CN201611108352.4A CN201611108352A CN106502267B CN 106502267 B CN106502267 B CN 106502267B CN 201611108352 A CN201611108352 A CN 201611108352A CN 106502267 B CN106502267 B CN 106502267B
- Authority
- CN
- China
- Prior art keywords
- barrier
- dimensional
- information
- image
- unmanned plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000004888 barrier function Effects 0.000 claims abstract description 45
- 230000003993 interaction Effects 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims description 5
- 238000005259 measurement Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000003287 optical effect Effects 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
一种无人机避让***,包括处理器、深度摄像头、人机交互单元和三维经验库,深度摄像头,用于从不同角度获取障碍物的图像,三维经验库用于保存三维图像信息,通过三维经验库,记录各种障碍物的色彩深度信息、尺寸和安全距离信息,提供处理器获取信息后的查询和匹配功能,处理器用于对图像的深度计算,人机交互单元,用于增加三维数据的属性,通过对设定距离范围内的障碍物进行属性编辑,确定障碍物的安全距离并存入三维经验库,属性记录有物象正面尺寸、颜色深度、像素点数和安全距离。***通过对障碍物的色彩深度计算,获取障碍物的边缘信息,计算出障碍物的三维物理尺寸,通过对图像像素的计算以及三维经验库,获取到障碍物的距离、大小信息。
Description
技术领域
本发明属于无人机技术领域,特别涉及一种无人机避让***。
背景技术
随着无人机技术的不断发展,无人机不仅在工业大量应用,军事、民用、研究等多方面都有涉及。由于任务的复杂性,无人机在飞行过程中不可避免要避让障碍物,无人机避让的方式有很多种,常见的技术有超声波技术、红外技术、激光定位技术。各种技术间都有各自优缺点,如超声波技术,有一定的距离限制,同时对反射物的表面反射能力有一定要求。红外技术接收范围小,障碍物的温度对测量也有一定影响。
发明内容
本发明的目的是提供一种无人机避让***,以解决现有无人机避让***中的缺陷。
本发明的技术方案是,一种无人机避让***,包括处理器、深度摄像头、人机交互单元和三维经验库,
深度摄像头,用于从不同角度获取障碍物的图像,
三维经验库用于保存三维图像信息,通过三维经验库,记录各种障碍物的色彩深度信息、尺寸和安全距离信息,提供处理器获取信息后的查询和匹配功能,
处理器用于对图像的深度计算,
人机交互单元,用于增加三维数据的属性,通过对设定距离范围内的障碍物进行属性编辑,确定障碍物的安全距离并存入三维经验库,属性记录有物象正面尺寸、颜色深度、像素点数和安全距离。
***通过对障碍物的色彩深度计算,获取障碍物的边缘信息,计算出障碍物的三维物理尺寸,通过对图像像素的计算以及三维经验库,获取到障碍物的距离、大小信息。
所述的人机交互单元,使用麦克风作为输入源,通过声音解析,对接收到的目标障碍物进行属性添加,存入三维经验库。
无人机到物体的距离通过公式获取,
公式中S表示到障碍物的距离,H为摄像头的高度,K1和K2表示常数,β表示物点和光轴夹角,h表示成像平面的高度,F表示焦距。
处理器对障碍物的处理包括以下步骤:
步骤1,通过深度摄像头获取图像色域色调以及饱和度;
步骤2,选取可获取范围图像的最大像素区域作为参考色调;
步骤3,根据参考色调分割图像的色域区间;
步骤4,通过阈值判断色域区差值最大区,将差值区域作为障碍物和可通过区的分界区;
步骤5,通过确定障碍物,测量其三维空间中的数据,计算几何中心位置和相关的偏移数据;
步骤6,调用三维经验库,查询得到相似数据,最终获取安全避让空间。
***获取到障碍物的三维信息,以及该障碍物的色彩深度信息,通过三维经验库,首先通过物象中心和关键三维尺寸,查询经验库中是否满足条件的信息,如有相似度超过一定阈值,则认为就是经验模型库中的物体信息,获得距离该物的安全距离,并进行合理避让。
其中的安全距离设置有两种方式进行输入,
一种通过***的人机交互单元,即当无人机靠近某一物体时,通过人机交互获得不能进一步靠近的指令,将此时的距离记录并保存到三维经验库中,
另一种通过预设阈值,即对应于三维经验库中的不同物进行阈值设置,当物距接近该阈值时,无人机进行转向避让操作。
进一步的,无人机对于接近物体的距离测量采用TOF(Time of Flight)红外光电测距,包括一个红外线发射器和一个红外接收器,
这里D表示物体到无人机的距离,fmod表示调制频率,表示发射和返回信号间的相位差,C表示光速。
本发明通过图像采集技术,采用接近人工智能的方法,使得无人机具备了全面的避让障碍物的能力,是无人机技术发展的一次飞跃。
附图说明
图1本发明***的结构图。
图2本发明***软件工作流程图。
具体实施方式
本发明涉及到的是一种基于三维模型的避让***,以下实例通过结合无人飞机的避让***作为实施例,进一步阐述发明内容。
无人机的最新研究已经展示了其自动避让技术,通过多个3D摄像头,可以探测地理环境和位置信息。如图1所示,本发明的基于三维经验模型的避让***包括了2个或以上的色彩深度摄像头,视觉处理单元和人机交互单元。摄像头安装于无人机上,通过导线和视觉处理器连接。
三维经验模型主要记录日常常见物体的三维态信息,包括色彩信息,对应的像素点信息,安全距离信息。当无人机工作时,摄像头记录有效距离内的各种障碍物,通过边缘计算获取物体的三维信息,假设,获取到一物体的三维信息,以及该物的色彩深度信息,通过三维经验库,首先通过物象中心和关键三维尺寸,查询经验库中是否满足条件的信息,如有相似度超过一定阈值,则认为就是经验模型库中的物体信息,获得距离该物的安全距离,并进行合理避让。***工作流程如图2所示。
其中的安全距离设置有两种方式进行输入。一种通过***的人机交互单元。即当无人机靠近某一物体时,通过人机交互获得不能进一步靠近的指令,将此时的距离记录并保存到经验模型库中。另一种通过预设阈值,即对应于经验模型库中的不同物进行阈值设置,当物距接近该阈值时,无人机进行转向避让操作。
其中的视觉处理单元对障碍物的处理主要通过以下方式实现:
步骤1,通过深度摄像头获取图像色域色调以及饱和度。
步骤2,选取可获取范围图像的最大像素区域作为参考色调。
步骤3,根据参考色调分割图像的色域区间。
步骤4,通过阈值判断色域区差值最大区,将差值区域作为障碍物和可通过区的分界区。
步骤5,通过确定障碍物,测量其三维空间中的数据,计算几何中心位置和相关的偏移数据。
步骤6,调用经验库,查询得到相似数据,最终获取安全避让空间。
当安全距离需要修正时,通过人机接口,如声控发出靠近的指令,那么无人机通过距离控制飞行速度,并逐步按照指令靠近障碍物。如声控发出避让指令,那么按指令进行调整飞行方向,并更新经验模型库,在面对相同障碍物时以更新后的安全距离进行避让。
Claims (5)
1.一种无人机避让***,包括处理器、深度摄像头、人机交互单元和三维经验库,
深度摄像头,用于从不同角度获取障碍物的图像,
三维经验库用于保存三维图像信息,通过三维经验库,记录各种障碍物的色彩深度信息、尺寸和安全距离信息,提供处理器获取信息后的查询和匹配功能,
处理器用于对图像的深度计算,
人机交互单元,用于增加三维数据的属性,通过对设定距离范围内的障碍物进行属性编辑,确定障碍物的安全距离并存入三维经验库,属性记录有物象正面尺寸、颜色深度、像素点数和安全距离,
***通过对障碍物的色彩深度计算,获取障碍物的边缘信息,计算出障碍物的三维物理尺寸,通过对图像像素的计算以及三维经验库,获取到障碍物的距离、大小信息,
所述的人机交互单元,使用麦克风作为输入源,通过声音解析,对接收到的目标障碍物进行属性添加,存入三维经验库,
其特征在于,
无人机到物体的距离通过公式获取,
公式中S表示到障碍物的距离,H为摄像头的高度,K1和K2表示常数,β表示物点和光轴夹角,h表示成像平面的高度,F表示焦距。
2.如权利要求1所述的无人机避让***,其特征在于,
处理器对障碍物的处理包括以下步骤:
步骤1,通过深度摄像头获取图像色域色调以及饱和度;
步骤2,选取可获取范围图像的最大像素区域作为参考色调;
步骤3,根据参考色调分割图像的色域区间;
步骤4,通过阈值判断色域区差值最大区,将差值区域作为障碍物和可通过区的分界区;
步骤5,通过确定障碍物,测量其三维空间中的数据,计算几何中心位置和相关的偏移数据;
步骤6,调用三维经验库,查询得到相似数据,最终获取安全避让空间。
3.如权利要求2所述的无人机避让***,其特征在于,
***获取到障碍物的三维信息,以及该障碍物的色彩深度信息,通过三维经验库,首先通过物象中心和关键三维尺寸,查询经验库中是否满足条件的信息,如有相似度超过一定阈值,则认为就是经验模型库中的物体信息,获得距离该物的安全距离,并进行合理避让。
4.如权利要求3所述的无人机避让***,其特征在于,其中的安全距离设置有两种方式进行输入,
一种通过***的人机交互单元,即当无人机靠近某一物体时,通过人机交互获得不能进一步靠近的指令,将此时的距离记录并保存到三维经验库中,
另一种通过预设阈值,即对应于三维经验库中的不同物进行阈值设置,当物距接近该阈值时,无人机进行转向避让操作。
5.如权利要求4所述的无人机避让***,其特征在于,无人机对于接近物体的距离测量采用TOF(Time of Flight)红外光电测距,包括一个红外线发射器和一个红外接收器,
D表示物体到无人机的距离,fmod表示调制频率,表示发射和返回信号间的相位差,C表示光速。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611108352.4A CN106502267B (zh) | 2016-12-06 | 2016-12-06 | 一种无人机避让*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611108352.4A CN106502267B (zh) | 2016-12-06 | 2016-12-06 | 一种无人机避让*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106502267A CN106502267A (zh) | 2017-03-15 |
CN106502267B true CN106502267B (zh) | 2019-03-29 |
Family
ID=58330515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611108352.4A Expired - Fee Related CN106502267B (zh) | 2016-12-06 | 2016-12-06 | 一种无人机避让*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106502267B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6773214B2 (ja) * | 2017-03-31 | 2020-10-21 | 日本電気株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
CN107270890B (zh) * | 2017-04-25 | 2021-06-15 | 深圳大学 | 一种无人机上tof距离传感器的测距方法及*** |
CN108986552A (zh) * | 2017-06-02 | 2018-12-11 | 北京石油化工学院 | 一种无人机避险方法、装置与*** |
CN109116374B (zh) * | 2017-06-23 | 2021-08-17 | 百度在线网络技术(北京)有限公司 | 确定障碍物距离的方法、装置、设备及存储介质 |
CN108045567B (zh) * | 2017-12-13 | 2020-11-27 | 王俊梅 | 一种多旋翼无人机及其低空隐匿飞行方法 |
EP3591490B1 (en) * | 2017-12-15 | 2021-12-01 | Autel Robotics Co., Ltd. | Obstacle avoidance method and device, and unmanned aerial vehicle |
CN109720381A (zh) * | 2018-12-28 | 2019-05-07 | 深圳华侨城卡乐技术有限公司 | 一种轨道车防撞方法及其*** |
CN110149522A (zh) * | 2019-06-14 | 2019-08-20 | 哈尔滨理工大学 | 一种基于人工智能的无人机全方位避让装置 |
CN112605999B (zh) * | 2020-12-22 | 2022-01-18 | 杭州北冥星眸科技有限公司 | 基于红外线深度摄像头技术的机器人障碍检测方法及*** |
CN114489133B (zh) * | 2022-01-26 | 2023-12-26 | 深圳市奥拓电子股份有限公司 | 一种无人机自动校正led显示屏的距离保持方法 |
CN114460078A (zh) * | 2022-02-08 | 2022-05-10 | 赣南师范大学 | 一种脐橙病虫害监测方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103984357A (zh) * | 2014-05-30 | 2014-08-13 | 中国人民解放军理工大学 | 一种基于全景立体成像设备的无人机自动避障飞行*** |
CN105571588A (zh) * | 2016-03-10 | 2016-05-11 | 赛度科技(北京)有限责任公司 | 一种无人机三维空中航路地图构建及其航路显示方法 |
CN105759836A (zh) * | 2016-03-14 | 2016-07-13 | 武汉卓拔科技有限公司 | 一种基于3d摄像头的无人机避障方法及装置 |
CN105807926A (zh) * | 2016-03-08 | 2016-07-27 | 中山大学 | 一种基于三维连续动态手势识别的无人机人机交互方法 |
CN105865454A (zh) * | 2016-05-31 | 2016-08-17 | 西北工业大学 | 一种基于实时在线地图生成的无人机导航方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201339903A (zh) * | 2012-03-26 | 2013-10-01 | Hon Hai Prec Ind Co Ltd | 無人飛行載具控制系統及方法 |
-
2016
- 2016-12-06 CN CN201611108352.4A patent/CN106502267B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103984357A (zh) * | 2014-05-30 | 2014-08-13 | 中国人民解放军理工大学 | 一种基于全景立体成像设备的无人机自动避障飞行*** |
CN105807926A (zh) * | 2016-03-08 | 2016-07-27 | 中山大学 | 一种基于三维连续动态手势识别的无人机人机交互方法 |
CN105571588A (zh) * | 2016-03-10 | 2016-05-11 | 赛度科技(北京)有限责任公司 | 一种无人机三维空中航路地图构建及其航路显示方法 |
CN105759836A (zh) * | 2016-03-14 | 2016-07-13 | 武汉卓拔科技有限公司 | 一种基于3d摄像头的无人机避障方法及装置 |
CN105865454A (zh) * | 2016-05-31 | 2016-08-17 | 西北工业大学 | 一种基于实时在线地图生成的无人机导航方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106502267A (zh) | 2017-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106502267B (zh) | 一种无人机避让*** | |
US20210279444A1 (en) | Systems and methods for depth map sampling | |
CN110246159B (zh) | 基于视觉和雷达信息融合的3d目标运动分析方法 | |
US20240062663A1 (en) | User Interaction With An Autonomous Unmanned Aerial Vehicle | |
US11407116B2 (en) | Robot and operation method therefor | |
CN107329490B (zh) | 无人机避障方法及无人机 | |
EP3131311B1 (en) | Monitoring | |
EP2562688B1 (en) | Method of Separating Object in Three Dimensional Point Cloud | |
US20180188733A1 (en) | Multi-channel sensor simulation for autonomous control systems | |
US20170305546A1 (en) | Autonomous navigation method and system, and map modeling method and system | |
CN108227738A (zh) | 一种无人机避障方法及*** | |
KR20180050823A (ko) | 3차원의 도로 모델을 생성하는 방법 및 장치 | |
US20030055532A1 (en) | Autonomous action robot | |
CN112712129B (zh) | 多传感器融合方法、装置、设备及存储介质 | |
CN108725452B (zh) | 一种基于全声频感知的无人驾驶车辆控制***及控制方法 | |
WO2021078003A1 (zh) | 无人载具的避障方法、避障装置及无人载具 | |
US20230342953A1 (en) | Information processing apparatus, control method, and program | |
JP2019198077A (ja) | 監視 | |
Ivanovas et al. | Block matching based obstacle avoidance for unmanned aerial vehicle | |
WO2019144299A1 (zh) | 移动平台速度限制方法及设备、装置及记录介质 | |
JP2018523231A5 (zh) | ||
WO2021131990A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP7160257B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN111736622B (zh) | 基于双目视觉与imu相结合的无人机避障方法及*** | |
WO2021024685A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190329 |