CN106384382A - 一种基于双目立体视觉的三维重建***及其方法 - Google Patents
一种基于双目立体视觉的三维重建***及其方法 Download PDFInfo
- Publication number
- CN106384382A CN106384382A CN201610802067.6A CN201610802067A CN106384382A CN 106384382 A CN106384382 A CN 106384382A CN 201610802067 A CN201610802067 A CN 201610802067A CN 106384382 A CN106384382 A CN 106384382A
- Authority
- CN
- China
- Prior art keywords
- binocular
- edge
- image
- edge pixel
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
一种基于双目立体视觉的三维重建***和方法,包括:双目摄像头,布置于无人飞行器上,用于拍摄双目图像;飞行控制器,包括接收机和处理器,所述接收机用于经由无线网络直接从无人飞行器接收所述双目摄像头拍摄的双目图像,所述处理器包括边缘获取单元,用于得到第一边缘像素集合和第二边缘像素集合,所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成,所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成,本发明提供的基于双目立体视觉的三维重建***和方法的有益效果为:解决目前应用于小型无人机上的视觉导航方案中障碍物检测方法存在计算量大实时性差的问题。
Description
技术领域
本发明涉及一种基于双目立体视觉的三维重建***,还涉及一种采用该***构建地图的方法。
背景技术
无人机导航主要方法包括全球定位***导航、惯性导航、超声波导航、激光测距导航以及视觉导航等。目前应用最为广泛的无人机自主导航***是使用全球定位***(GPS)导航定位和惯性导航***(IMU)相结合,GPS估计精度受到信号和环境的影响,在遇到建筑物遮挡或者无线电干扰较强的环境时定位精度很低。而IMU位置误差也会随时间累积,需要其他传感器提供位置信息进行修正。因此该种方法更适合高空无人机导航,而对于环境更加复杂,障碍物更多的低空导航该方法无法有效完成避障任务。另一方面,针对消费类别的轻小型无人机对低负载,低功耗的要求,激光测距设备进行导航具有体积重量大的缺点,也不适合作为小型无人机低空避障的导航方法,也有采用超声波测距进行避障的应用,但是该种方法无法精确地得到障碍物所处的方位和角度,因而误差也较大,无法满足对定位精度要求较高的无人机飞行避障的要求。
目前基于视觉的障碍物深度检测方案主要有光流法、利用kinect等深度传感器进行环境三维重建、单目相机深度测距以及基于SURF特征点的双目立体视觉进行环境三维重建的障碍物检测方法。光流法是利用角点处提取光流信息并求解延伸焦点来估计障碍物的位置,存在较大的估计误差。而深度传感器受到红外测距范围的限制,不适合应用于室外环境的深度测量。单目相机进行深度测距需要借助飞机上的传感器返回准确的位姿信息或者通过对相邻帧进行单应性计算获得帧间投影矩阵,再进行立体匹配求取视差,从而精确定位障碍物。而传感器返回位姿精度低会导致投影矩阵误差大,最终影响障碍物定位的精度,单目相机测距方法也可以根据相邻帧特征点匹配求取单应性矩阵,但是该方法计算量大,无法满足避障算法的实时性要求。相对于前面几种方法基于SURF特征点的双目立体视觉的障碍物检测方法精度较高,但是由于全画面像素特征匹配的算法复杂度高,也无法满足高速小型无人机低空飞行过程中复杂频繁的障碍物规避要求。
发明内容
本发明所要解决的技术问题在于克服上述现有技术之不足,提供一种基于双目立体视觉的三维重建***及其方法。
按照本发明提供的一种基于双目立体视觉的三维重建***采用的主要技术方案为:包括:
双目摄像头,布置于无人飞行器上,用于拍摄双目图像;
飞行控制器,包括接收机和处理器,所述接收机用于经由无线网络直接从无人飞行器接收所述双目摄像头拍摄的双目图像,所述处理器包括边缘获取单元,用于得到第一边缘像素集合和第二边缘像素集合,所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成,所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成;
相似评价单元,用于基于下式得到第一边缘像素集合中的每一边缘像素块Pleft与第二边缘像素集合中的每一边缘像素块Pright间的相似评价值S:
式中,p(i)为5×5的像素块的一个像素点,L为拉普拉斯算子,对S设置阈值,满足该阈值的两个像素块即被认为是符合要求的块匹配;
匹配确定单元,用于针对第一边缘像素集合中的每一边缘像素块Pleft、从该边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的匹配像素块,所述候选像素块集合由与该边缘像素块Pleft间的相似评价值S大于评价值阈值的所有边缘像素块Pright组成;
视图重建单元,用于基于匹配的边缘像素块Pleft和Pright及匹配的边缘像素块Pleft和Pright间的视差构建三维立体图像。
本发明提供的基于双目立体视觉的三维重建***还可具有如下附属技术特征:
匹配确定单元在水平方向采用自相似滤波从边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的所述匹配像素块。
该***还包括:
新障碍信息获取单元,用于在所述三维立体图像中在固定距离d所对应视差下进行障碍物检测,以得到新障碍物检测信息;
障碍物分布确定单元,用于基于所述新障碍物检测信息和在无人飞行器飞行里程内的历史障碍物检测信息得到障碍物分布信息。
该***还包括:
图像预处理单元,用于对双目摄像头拍摄得到的双目图像进行预处理,并将预处理后的双目图像传送至所述边缘获取单元,其中,所述图像预处理单元进一步包括用于对图像进行畸变校正的畸变校正子单元和用于对图像进行平行校正的平行校正子单元;
进一步地,所述畸变校正子单元包括校正矩阵获取模块和校正模块,所述校正矩阵获取模块用于采用张正友标定法得到双目摄像头的标定参数、并基于所述标定参数得到畸变校正投影矩阵,所述校正模块用于将所述畸变校正投影矩阵应用于输入所述校正模块的每一帧图像以进行畸变校正。
该***包括多组双目摄像头,所述多组双目摄像头分别布置于无人飞行器的前侧、后侧、左侧、右侧和下方。
按照本发明提供的一种基于双目立体视觉的三维重建方法采用的主要技术方案为:该方法包括:
双目摄像头,布置于无人飞行器上,用于拍摄双目图像;
飞行控制器,包括接收机和处理器,所述接收机用于经由无线网络直接从无人飞行器接收所述双目摄像头拍摄的双目图像,所述处理器包括边缘获取单元,用于得到第一边缘像素集合和第二边缘像素集合,所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成,所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成;
相似评价单元,用于基于下式得到第一边缘像素集合中的每一边缘像素块Pleft与第二边缘像素集合中的每一边缘像素块Pright间的相似评价值S:
式中,p(i)为5×5的像素块的一个像素点,L为拉普拉斯算子,对S设置阈值,满足该阈值的两个像素块即被认为是符合要求的块匹配;
匹配确定单元,用于针对第一边缘像素集合中的每一边缘像素块Pleft、从该边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的匹配像素块,所述候选像素块集合由与该边缘像素块Pleft间的相似评价值S大于评价值阈值的所有边缘像素块Pright组成;
视图重建单元,用于基于匹配的边缘像素块Pleft和Pright及匹配的边缘像素块Pleft和Pright间的视差构建三维立体图像。
本发明提供的基于双目立体视觉的三维重建方法还可具有如下附属技术特征:
每一所述边缘像素块的每一维的长度在3~8之间。
在得到边缘像素集合前,先对双目摄像头拍摄得到的双目图像进行预处理,所述预处理进一步包括对图像进行畸变校正和平行校正;
进一步地,所述畸变校正包括:
采用张正友标定法得到双目摄像头的标定参数;
基于所述标定参数得到畸变校正投影矩阵;
将所述畸变校正投影矩阵应用于输入所述校正模块的每一帧图像以进行畸变校正。
采用本发明提供的基于双目立体视觉的三维重建***及其方法带来的有益效果为:解决目前应用于小型无人机上的视觉导航方案中障碍物检测方法存在计算量大实时性差的问题。本发明提供了一种基于双目立体视觉***的深度递进障碍物检测和障碍物地图构建***。通过立体匹配测距方法获得固定深度层面上的障碍物的分布信息,并利用前后帧障碍物信息的“短期记忆”,实时建立无人机周边障碍物地图用于指导飞行控制器进行飞行规划。基于双目立体视觉的深度递进障碍物检测***具有轻便、体积小、低成本、高速率和抗干扰能力强等优点,对于负载能力较低的小型无人机是一种有效的实现障碍物检测的解决方案。
附图说明
图1是双目立体视觉的标定步骤流程图;
图2是双目立体视觉原理图;
图3是双目立体匹配流程图;
图4是基于双目立体视觉的递进式视差障碍物检测示意图;
图5是本发明基于双目立体视觉的三维重建***的结构框图;
图6是本发明基于双目立体视觉的三维重建方法的结构框图。
具体实施方式
下面结合附图对本发明做进一步的详述。
本发明对于传统基于双目视觉的障碍物检测算法做了以下的改进:
(1)改进了传统的双目立体视觉中的双目立体匹配算法,在确保准确性的基础上,大幅度简化了算法的复杂度。本发明采用对边界进行检测和匹配,而不是传统算法中对区域进行匹配。降低复杂度而牺牲的准确度将通过自相似滤波算法剔除误差点来进行补偿。具体步骤为:首先对于双目立体视觉得到的采用简单高效的拉普拉斯边缘检测算法得到边缘检测图像,然后采用对差的绝对值求和(SAD评价算子)进行对边缘特征的相似性进行特征点匹配。
如图1至图5所示,本发明提供的一种基于双目立体视觉的三维重建***包括:
双目摄像头,布置于无人飞行器上,用于拍摄双目图像;
飞行控制器,包括接收机和处理器,所述接收机用于经由无线网络直接从无人飞行器接收所述双目摄像头拍摄的双目图像,所述处理器包括边缘获取单元,用于得到第一边缘像素集合和第二边缘像素集合,所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成,所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成;
相似评价单元,用于基于下式得到第一边缘像素集合中的每一边缘像素块Pleft与第二边缘像素集合中的每一边缘像素块Pright间的相似评价值S:
式中,p(i)为5×5的像素块的一个像素点,L为拉普拉斯算子,对S设置阈值,满足该阈值的两个像素块即被认为是符合要求的块匹配;
匹配确定单元,用于针对第一边缘像素集合中的每一边缘像素块Pleft、从该边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的匹配像素块,所述候选像素块集合由与该边缘像素块Pleft间的相似评价值S大于评价值阈值的所有边缘像素块Pright组成;
视图重建单元,用于基于匹配的边缘像素块Pleft和Pright及匹配的边缘像素块Pleft和Pright间的视差构建三维立体图像。
匹配确定单元在水平方向采用自相似滤波从边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的所述匹配像素块。
该***还包括:
新障碍信息获取单元,用于在所述三维立体图像中在固定距离d所对应视差下进行障碍物检测,以得到新障碍物检测信息;
障碍物分布确定单元,用于基于所述新障碍物检测信息和在无人飞行器飞行里程内的历史障碍物检测信息得到障碍物分布信息。
该***还包括:
图像预处理单元,用于对双目摄像头拍摄得到的双目图像进行预处理,并将预处理后的双目图像传送至所述边缘获取单元,其中,所述图像预处理单元进一步包括用于对图像进行畸变校正的畸变校正子单元和用于对图像进行平行校正的平行校正子单元;
进一步地,所述畸变校正子单元包括校正矩阵获取模块和校正模块,所述校正矩阵获取模块用于采用张正友标定法得到双目摄像头的标定参数、并基于所述标定参数得到畸变校正投影矩阵,所述校正模块用于将所述畸变校正投影矩阵应用于输入所述校正模块的每一帧图像以进行畸变校正。
该***包括多组双目摄像头,所述多组双目摄像头分别布置于无人飞行器的前侧、后侧、左侧、右侧和下方。
水平自相似现象出现在当一个物体存在自相似,就是它和它本身的一部分完全或是几乎相似。若说一个曲线自我相似,即每部分的曲线有一小块和它相似。自然界中有很多东西有自我相似性质,例如海岸线,建筑物的窗户等。
由于相似评价值算子的局部性,自相似情形的出现会导致匹配算法的准确度会降低。例如无法区分建筑物的格子窗户,物体的横梁类直线结构等这样的自相似的情形,这种情形会混淆视差的准确检测。另一方面由于双目相机是水平左右放置,因此我们只需要设计水平自相似滤波方法,对可能错误的水平自相似造成的错误候选点进行剔除即可。因此该算法对第一步得到的候选点在邻域范围内进行二次检测来剔除水平自相似候选点,进而提高了算法的准确性。
SAD评价算子当遇到环境中的水平连续出现的相似物体时会出现误匹配,水平方向的误匹配点将直接影响到物体三维坐标求取的准确度,因此本发明采取对前面得到的块匹配候选区域进一步进行自相似滤波筛选进而得到最终的匹配像素块。具体操作是在候选匹配点的邻域内进一步检测来剔除水平自相似,提高了匹配的精确度。
综上所述,如图1至图6所示,本发明提供的一种基于双目立体视觉的三维重建方法包括:
双目摄像头,布置于无人飞行器上,用于拍摄双目图像;
飞行控制器,包括接收机和处理器,所述接收机用于经由无线网络直接从无人飞行器接收所述双目摄像头拍摄的双目图像,所述处理器包括边缘获取单元,用于得到第一边缘像素集合和第二边缘像素集合,所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成,所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成;
相似评价单元,用于基于下式得到第一边缘像素集合中的每一边缘像素块Pleft与第二边缘像素集合中的每一边缘像素块Pright间的相似评价值S:
式中,p(i)为5×5的像素块的一个像素点,L为拉普拉斯算子,对S设置阈值,满足该阈值的两个像素块即被认为是符合要求的块匹配;
匹配确定单元,用于针对第一边缘像素集合中的每一边缘像素块Pleft、从该边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的匹配像素块,所述候选像素块集合由与该边缘像素块Pleft间的相似评价值S大于评价值阈值的所有边缘像素块Pright组成;
视图重建单元,用于基于匹配的边缘像素块Pleft和Pright及匹配的边缘像素块Pleft和Pright间的视差构建三维立体图像。
每一所述边缘像素块的每一维的长度在3~8之间。该像素块可以是5*5的像素块,也可以是3*6的像素块。发明人经过深入研究和反复验证,将边缘像素块的大小设置在上述范围内,有利于在计算量和匹配准确度两方面取得良好平衡,有利于实现较高的匹配效率。
在得到边缘像素集合前,先对双目摄像头拍摄得到的双目图像进行预处理,所述预处理进一步包括对图像进行畸变校正和平行校正;
进一步地,所述畸变校正包括:
采用张正友标定法得到双目摄像头的标定参数;
基于所述标定参数得到畸变校正投影矩阵;
将所述畸变校正投影矩阵应用于输入所述校正模块的每一帧图像以进行畸变校正。
本发明提供的基于双目立体视觉的三维重建方法具体包括以下步骤步骤1、双目视觉***立体标定;
步骤2、双目图像的畸变矫正和平行校正;
步骤3、双目立体匹配算法及优化;
步骤4、固定视差障碍物三维坐标信息的获得;
步骤5、累加无人机飞行记录中历史障碍物分布信息建立障碍物分布地图,并指导无人机的避障飞行任务。
在步骤1和2中通过对比双目标定普遍采用的几种方法得出基于张正友标定法的matlab工具箱进行人工辅助标定的结果最准确,在此基础上,离线完成对双目立体相机模块的内外参数标定,并由畸变系数参数计算得到相应的畸变矫正投影矩阵,这样避免了对每一帧的左右图像计算投影畸变矫正后的坐标,有效的提高了算法实时性。立体视觉***标定流程如图1所示。
第二,在步骤3和4中,传统的基于特征点提取和匹配求取视差并进行三维重建的原理如下:摄像头成像模型采用通常的针孔模型描述三维欧式空间到二维图像平面的投影变换,双目立体视觉***一般由左摄像机和右摄像机两个摄像机组成,其成像模型均采用所述的针孔模型。如图2所示,视差为两幅图像中,同一点p的投影的位置差,定义为d;b为左右相机光心的距离,即基线距离;f为两个摄像头的焦距大小;(u1,v1),(u2,v2)分别为p点在左右图像中的像素坐标。根据基于视差的三维重建原理,可以得到在坐标系下的三维坐标(xc,yc,zc)与视差和摄像头焦距的关系如下式(选取世界坐标系与左摄像头坐标系重合):
基于算法原理可以看出求取对应点的视差是双目立体视觉三维重建的关键。传统算法中通常采用SURF等特征提取算法并进行特征点匹配进而得到视差值,一方面特征提取算法复杂度高耗时多,另一方面传统的深度立体视觉是对于由大视差递减到零视差之间的所有视差计算其对应的深度信息,因此要提高基于双目视觉的障碍物检测的实时性,可以从降低特征提取算子复杂度和减少每一帧进行匹配求视差的像素点的数目两方面提高算法的实时性。
本发明的飞行控制器采用基于嵌入式架构的飞行控制结构,所搭建的实验平台包括四旋翼无人机本体、机载飞行控制器、地面站、遥控器等。硬件控制***由NVIDIA的Jetson TK1超级计算机来实现。双目立体视觉模块由两个消费级别的USB摄像头(分辨率为640*480像素)以及摄像头固定架组成,当确定好基线距离之后摄像头相对位置不再发生变化。地面站包括一台装有Linux操作***的笔记本计算机,用于远程监控。该平台可通过遥控器进行手动起飞和降落,并在发生意外时紧急切换为手动模式。
以上所述的实施例,只是本发明较优选的具体实施方式的一种,本领域的技术人员在本发明技术方案范围内进行的通常变化和替换都应包含在本发明的保护范围内。
Claims (8)
1.一种基于双目立体视觉的三维重建***,其特征在于,包括:
双目摄像头,布置于无人飞行器上,用于拍摄双目图像;
飞行控制器,包括接收机和处理器,所述接收机用于经由无线网络直接从无人飞行器接收所述双目摄像头拍摄的双目图像,所述处理器包括边缘获取单元,用于得到第一边缘像素集合和第二边缘像素集合,所述第一边缘像素集合由双目图像中的一目图像经边缘检测得到的所有边缘像素组成,所述第二边缘像素集合由另一目图像经边缘检测得到的所有边缘像素组成;
相似评价单元,用于基于下式得到第一边缘像素集合中的每一边缘像素块Pleft与第二边缘像素集合中的每一边缘像素块Pright间的相似评价值S:
式中,p(i)为5×5的像素块的一个像素点,L为拉普拉斯算子,对S设置阈值,满足该阈值的两个像素块即被认为是符合要求的块匹配;
匹配确定单元,用于针对第一边缘像素集合中的每一边缘像素块Pleft、从该边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的匹配像素块,所述候选像素块集合由与该边缘像素块Pleft间的相似评价值S大于评价值阈值的所有边缘像素块Pright组成;
视图重建单元,用于基于匹配的边缘像素块Pleft和Pright及匹配的边缘像素块Pleft和Pright间的视差构建三维立体图像。
2.根据权利要求1所述的基于双目立体视觉的三维重建***,其特征在于:匹配确定单元在水平方向采用自相似滤波从边缘像素块Pleft的候选像素块集合中确定该边缘像素块Pleft的所述匹配像素块。
3.根据权利要求1所述的基于双目立体视觉的三维重建***,其特征在于,该***还包括:
新障碍信息获取单元,用于在所述三维立体图像中在固定距离d所对应视差下进行障碍物检测,以得到新障碍物检测信息;
障碍物分布确定单元,用于基于所述新障碍物检测信息和在无人飞行器飞行里程内的历史障碍物检测信息得到障碍物分布信息。
4.根据权利要求1所述的基于双目立体视觉的三维重建***,其特征在于,该***还包括:
图像预处理单元,用于对双目摄像头拍摄得到的双目图像进行预处理,并将预处理后的双目图像传送至所述边缘获取单元,其中,所述图像预处理单元进一步包括用于对图像进行畸变校正的畸变校正子单元和用于对图像进行平行校正的平行校正子单元;
所述畸变校正子单元包括校正矩阵获取模块和校正模块,所述校正矩阵获取模块用于采用张正友标定法得到双目摄像头的标定参数、并基于所述标定参数得到畸变校正投影矩阵,所述校正模块用于将所述畸变校正投影矩阵应用于输入所述校正模块的每一帧图像以进行畸变校正。
5.根据权利要求1所述的基于双目立体视觉的三维重建***,其特征在于:该***包括多组双目摄像头,所述多组双目摄像头分别布置于无人飞行器的前侧、后侧、左侧、右侧和下方。
6.一种基于双目立体视觉的三维重建方法,其特征在于,该方法包括采用权利要求1-5任一项所述的基于双目立体视觉的三维重建***构建而成的三维立体图像。
7.根据权利要求6所述的基于双目立体视觉的三维重建方法,其特征在于:每一所述边缘像素块的每一维的长度在3~8之间。
8.根据权利要求6所述的基于双目立体视觉的三维重建方法,其特征在于:在得到边缘像素集合前,先对双目摄像头拍摄得到的双目图像进行预处理,所述预处理进一步包括对图像进行畸变校正和平行校正;
所述畸变校正包括:
采用张正友标定法得到双目摄像头的标定参数;
基于所述标定参数得到畸变校正投影矩阵;
将所述畸变校正投影矩阵应用于输入所述校正模块的每一帧图像以进行畸变校正。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610802067.6A CN106384382A (zh) | 2016-09-05 | 2016-09-05 | 一种基于双目立体视觉的三维重建***及其方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610802067.6A CN106384382A (zh) | 2016-09-05 | 2016-09-05 | 一种基于双目立体视觉的三维重建***及其方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106384382A true CN106384382A (zh) | 2017-02-08 |
Family
ID=57938934
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610802067.6A Pending CN106384382A (zh) | 2016-09-05 | 2016-09-05 | 一种基于双目立体视觉的三维重建***及其方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106384382A (zh) |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107943068A (zh) * | 2017-10-24 | 2018-04-20 | 浙江大学 | 一种借助双鱼眼的无人机视觉自体感知集群***及其控制方法 |
CN108363395A (zh) * | 2018-02-11 | 2018-08-03 | 智久(厦门)机器人科技有限公司 | 一种agv自主避障的方法 |
CN108427438A (zh) * | 2018-04-11 | 2018-08-21 | 北京木业邦科技有限公司 | 飞行环境检测方法、装置、电子设备及存储介质 |
CN108513643A (zh) * | 2017-08-31 | 2018-09-07 | 深圳市大疆创新科技有限公司 | 一种路径规划方法、飞行器、飞行*** |
CN109131067A (zh) * | 2017-06-16 | 2019-01-04 | 鸿富锦精密电子(天津)有限公司 | 三角架自走车及其避障方法 |
CN109493373A (zh) * | 2018-11-07 | 2019-03-19 | 上海为森车载传感技术有限公司 | 一种基于双目立体视觉的立体匹配方法 |
CN109782766A (zh) * | 2019-01-25 | 2019-05-21 | 北京百度网讯科技有限公司 | 用于控制车辆行驶的方法和装置 |
CN109798831A (zh) * | 2018-12-28 | 2019-05-24 | 辽宁红沿河核电有限公司 | 一种用于燃料组件的双目视觉测量方法 |
CN109887087A (zh) * | 2019-02-22 | 2019-06-14 | 广州小鹏汽车科技有限公司 | 一种车辆的slam建图方法及*** |
CN110220500A (zh) * | 2019-05-06 | 2019-09-10 | 深圳市华芯技研科技有限公司 | 一种基于双目相机的无人驾驶用测距方法 |
WO2019205103A1 (zh) * | 2018-04-27 | 2019-10-31 | 深圳市大疆创新科技有限公司 | 云台姿态修正方法、云台姿态修正装置、云台、云台***和无人机 |
CN110493590A (zh) * | 2018-05-15 | 2019-11-22 | 纬创资通股份有限公司 | 产生深度图的方法及其影像处理装置与*** |
CN110672007A (zh) * | 2019-09-24 | 2020-01-10 | 佛山科学技术学院 | 一种基于机器视觉的工件表面质量检测方法及*** |
CN111028350A (zh) * | 2019-11-21 | 2020-04-17 | 大连理工大学 | 一种利用双目立体相机构建栅格地图的方法 |
WO2020135797A1 (zh) * | 2018-12-29 | 2020-07-02 | 深圳市道通智能航空技术有限公司 | 一种深度图处理方法、装置和无人机 |
CN111488837A (zh) * | 2020-04-14 | 2020-08-04 | 广东工业大学 | 一种基于视觉识别的网球拾取方法以及*** |
CN111611913A (zh) * | 2020-05-20 | 2020-09-01 | 北京海月水母科技有限公司 | 一种单目人脸识别探头人形定位技术 |
CN111694370A (zh) * | 2019-03-12 | 2020-09-22 | 顺丰科技有限公司 | 一种无人机多阶段定点定向降落的视觉方法及*** |
CN112052788A (zh) * | 2020-09-03 | 2020-12-08 | 深圳市道通智能航空技术有限公司 | 基于双目视觉的环境感知方法、装置及无人飞行器 |
CN112798020A (zh) * | 2020-12-31 | 2021-05-14 | 中汽研(天津)汽车工程研究院有限公司 | 一种用于评估智能汽车定位精度的***及方法 |
CN113093806A (zh) * | 2021-04-07 | 2021-07-09 | 涵涡智航科技(玉溪)有限公司 | 一种用于飞行器空间全向避障方法及*** |
CN113763562A (zh) * | 2021-08-31 | 2021-12-07 | 哈尔滨工业大学(威海) | 基于双目视觉的立面特征检测及立面特征处理方法 |
CN114562957A (zh) * | 2022-02-28 | 2022-05-31 | 南京理工大学 | 基于双棱镜单摄像机立体视觉工业内窥镜***及三维测量方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102999939A (zh) * | 2012-09-21 | 2013-03-27 | 魏益群 | 坐标获取装置、实时三维重建***和方法、立体交互设备 |
CN104809738A (zh) * | 2015-05-18 | 2015-07-29 | 长春工业大学 | 一种基于双目视觉的安全气囊轮廓尺寸检测方法 |
US20160148427A1 (en) * | 2012-05-17 | 2016-05-26 | Disney Enterprises, Inc. | Techniques for processing reconstructed three-dimensional image data |
CN105844692A (zh) * | 2016-04-27 | 2016-08-10 | 北京博瑞空间科技发展有限公司 | 基于双目立体视觉的三维重建装置、方法、***及无人机 |
-
2016
- 2016-09-05 CN CN201610802067.6A patent/CN106384382A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160148427A1 (en) * | 2012-05-17 | 2016-05-26 | Disney Enterprises, Inc. | Techniques for processing reconstructed three-dimensional image data |
CN102999939A (zh) * | 2012-09-21 | 2013-03-27 | 魏益群 | 坐标获取装置、实时三维重建***和方法、立体交互设备 |
CN104809738A (zh) * | 2015-05-18 | 2015-07-29 | 长春工业大学 | 一种基于双目视觉的安全气囊轮廓尺寸检测方法 |
CN105844692A (zh) * | 2016-04-27 | 2016-08-10 | 北京博瑞空间科技发展有限公司 | 基于双目立体视觉的三维重建装置、方法、***及无人机 |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109131067A (zh) * | 2017-06-16 | 2019-01-04 | 鸿富锦精密电子(天津)有限公司 | 三角架自走车及其避障方法 |
CN109131067B (zh) * | 2017-06-16 | 2021-11-19 | 鸿富锦精密电子(天津)有限公司 | 三角架自走车及其避障方法 |
CN108513643A (zh) * | 2017-08-31 | 2018-09-07 | 深圳市大疆创新科技有限公司 | 一种路径规划方法、飞行器、飞行*** |
CN107943068A (zh) * | 2017-10-24 | 2018-04-20 | 浙江大学 | 一种借助双鱼眼的无人机视觉自体感知集群***及其控制方法 |
CN108363395A (zh) * | 2018-02-11 | 2018-08-03 | 智久(厦门)机器人科技有限公司 | 一种agv自主避障的方法 |
CN108427438A (zh) * | 2018-04-11 | 2018-08-21 | 北京木业邦科技有限公司 | 飞行环境检测方法、装置、电子设备及存储介质 |
WO2019205103A1 (zh) * | 2018-04-27 | 2019-10-31 | 深圳市大疆创新科技有限公司 | 云台姿态修正方法、云台姿态修正装置、云台、云台***和无人机 |
CN110493590B (zh) * | 2018-05-15 | 2021-07-23 | 纬创资通股份有限公司 | 产生深度图的方法及其影像处理装置与*** |
CN110493590A (zh) * | 2018-05-15 | 2019-11-22 | 纬创资通股份有限公司 | 产生深度图的方法及其影像处理装置与*** |
CN109493373A (zh) * | 2018-11-07 | 2019-03-19 | 上海为森车载传感技术有限公司 | 一种基于双目立体视觉的立体匹配方法 |
CN109798831A (zh) * | 2018-12-28 | 2019-05-24 | 辽宁红沿河核电有限公司 | 一种用于燃料组件的双目视觉测量方法 |
WO2020135797A1 (zh) * | 2018-12-29 | 2020-07-02 | 深圳市道通智能航空技术有限公司 | 一种深度图处理方法、装置和无人机 |
CN109782766A (zh) * | 2019-01-25 | 2019-05-21 | 北京百度网讯科技有限公司 | 用于控制车辆行驶的方法和装置 |
CN109887087A (zh) * | 2019-02-22 | 2019-06-14 | 广州小鹏汽车科技有限公司 | 一种车辆的slam建图方法及*** |
CN111694370B (zh) * | 2019-03-12 | 2024-05-24 | 丰翼科技(深圳)有限公司 | 一种无人机多阶段定点定向降落的视觉方法及*** |
CN111694370A (zh) * | 2019-03-12 | 2020-09-22 | 顺丰科技有限公司 | 一种无人机多阶段定点定向降落的视觉方法及*** |
CN110220500A (zh) * | 2019-05-06 | 2019-09-10 | 深圳市华芯技研科技有限公司 | 一种基于双目相机的无人驾驶用测距方法 |
CN110672007A (zh) * | 2019-09-24 | 2020-01-10 | 佛山科学技术学院 | 一种基于机器视觉的工件表面质量检测方法及*** |
CN111028350B (zh) * | 2019-11-21 | 2022-05-20 | 大连理工大学 | 一种利用双目立体相机构建栅格地图的方法 |
CN111028350A (zh) * | 2019-11-21 | 2020-04-17 | 大连理工大学 | 一种利用双目立体相机构建栅格地图的方法 |
CN111488837A (zh) * | 2020-04-14 | 2020-08-04 | 广东工业大学 | 一种基于视觉识别的网球拾取方法以及*** |
CN111488837B (zh) * | 2020-04-14 | 2023-03-21 | 广东工业大学 | 一种基于视觉识别的网球拾取方法以及*** |
CN111611913A (zh) * | 2020-05-20 | 2020-09-01 | 北京海月水母科技有限公司 | 一种单目人脸识别探头人形定位技术 |
CN112052788A (zh) * | 2020-09-03 | 2020-12-08 | 深圳市道通智能航空技术有限公司 | 基于双目视觉的环境感知方法、装置及无人飞行器 |
CN112052788B (zh) * | 2020-09-03 | 2024-04-02 | 深圳市道通智能航空技术股份有限公司 | 基于双目视觉的环境感知方法、装置及无人飞行器 |
CN112798020A (zh) * | 2020-12-31 | 2021-05-14 | 中汽研(天津)汽车工程研究院有限公司 | 一种用于评估智能汽车定位精度的***及方法 |
CN113093806A (zh) * | 2021-04-07 | 2021-07-09 | 涵涡智航科技(玉溪)有限公司 | 一种用于飞行器空间全向避障方法及*** |
CN113093806B (zh) * | 2021-04-07 | 2022-06-14 | 涵涡智航科技(玉溪)有限公司 | 一种用于飞行器空间全向避障方法及*** |
CN113763562B (zh) * | 2021-08-31 | 2023-08-29 | 哈尔滨工业大学(威海) | 基于双目视觉的立面特征检测及立面特征处理方法 |
CN113763562A (zh) * | 2021-08-31 | 2021-12-07 | 哈尔滨工业大学(威海) | 基于双目视觉的立面特征检测及立面特征处理方法 |
CN114562957A (zh) * | 2022-02-28 | 2022-05-31 | 南京理工大学 | 基于双棱镜单摄像机立体视觉工业内窥镜***及三维测量方法 |
CN114562957B (zh) * | 2022-02-28 | 2024-05-17 | 南京理工大学 | 基于双棱镜单摄像机立体视觉工业内窥镜***及三维测量方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106384382A (zh) | 一种基于双目立体视觉的三维重建***及其方法 | |
EP3517997B1 (en) | Method and system for detecting obstacles by autonomous vehicles in real-time | |
CN110926474B (zh) | 卫星/视觉/激光组合的城市峡谷环境uav定位导航方法 | |
CN109470158B (zh) | 影像处理装置及测距装置 | |
CN109631896B (zh) | 一种基于车辆视觉和运动信息的停车场自主泊车定位方法 | |
CN111275750B (zh) | 基于多传感器融合的室内空间全景图像生成方法 | |
Eustice | Large-area visually augmented navigation for autonomous underwater vehicles | |
CN112074875B (zh) | 构造3d特征图的组优化深度信息方法和*** | |
CN110988912A (zh) | 自动驾驶车辆的道路目标与距离检测方法、***、装置 | |
CN108692719B (zh) | 物体检测装置 | |
CN106444837A (zh) | 一种无人机避障方法及*** | |
CN105844692B (zh) | 基于双目立体视觉的三维重建装置、方法、***及无人机 | |
CN106681353A (zh) | 基于双目视觉与光流融合的无人机避障方法及*** | |
CN105203084A (zh) | 一种无人机3d全景视觉装置 | |
CN111435081B (zh) | 海面测量***、海面测量方法以及存储介质 | |
US20240153122A1 (en) | Binocular vision-based environment sensing method and apparatus, and unmanned aerial vehicle | |
CN102577349A (zh) | 基于图像的表面追踪 | |
CN112461210B (zh) | 一种空地协同建筑测绘机器人***及其测绘方法 | |
JP2019011971A (ja) | 推定システムおよび自動車 | |
WO2018227576A1 (zh) | 地面形态检测方法及***、无人机降落方法和无人机 | |
CN106408601A (zh) | 一种基于gps的双目融合定位方法及装置 | |
CN109410234A (zh) | 一种基于双目视觉避障的控制方法及控制*** | |
CN110032211A (zh) | 多旋翼无人机自动避障方法 | |
CN115371673A (zh) | 一种未知环境中基于Bundle Adjustment的双目相机目标定位方法 | |
CN116295340A (zh) | 一种基于全景相机的无人机双目视觉slam方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 266200, Qingdao, Shandong, Qingdao, Qingdao, the core of the blue Silicon Valley, blue Silicon Valley business center, phase one, building No. 1. Applicant after: Inst. of Marine Apparatus & Instruments, Shandong Prov. Academy of Sciences Address before: 266071 Shandong city of Qingdao province Zhejiang City Road No. 28 Applicant before: Inst. of Marine Apparatus & Instruments, Shandong Prov. Academy of Sciences |
|
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170208 |