CN104880154A - 一种物联网双目视觉变焦动态目标跟踪试验***平台与测距方法 - Google Patents
一种物联网双目视觉变焦动态目标跟踪试验***平台与测距方法 Download PDFInfo
- Publication number
- CN104880154A CN104880154A CN201510297393.1A CN201510297393A CN104880154A CN 104880154 A CN104880154 A CN 104880154A CN 201510297393 A CN201510297393 A CN 201510297393A CN 104880154 A CN104880154 A CN 104880154A
- Authority
- CN
- China
- Prior art keywords
- target
- camera
- focal length
- distance
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种物联网双目视觉变焦动态目标跟踪试验***平台与测距方法,能够从获取的视频图像中对已知动态目标进行连续测距,使用两台可自动调焦相机采集图像,将焦距离散为若干固定档位,分别将两相机置于不同档位,保证测量区间有一定重叠,根据测得距离自动调焦及切换相机,使目标在相机视野内保持成像清晰和一定的成像大小;通过多次对双相机在不同已知距离点反推焦距计算平均值的方法进行简易标定;使用改进的Camshift算法完成目标跟踪,本发明提出的方法能够在较大范围内对动态目标进行精确快速的距离测量,并使用无线通信技术用互联网上的主机接收测量结果。
Description
技术领域
本发明属于计算机视觉测量技术领域,特别涉及一种物联网双目视觉变焦动态目标跟踪试验***平台与测距方法。
背景技术
常用的测距方式有激光测距、微波雷达测距、超声波测距以及红外线测距等,可以根据目标的不同完成静态或动态实时测距的目标。
而计算机视觉测距具有结构简单、高精度、非接触、数据采集快、不伤及人眼以及可实现在线测量和动态测量等优点,得到越来越广泛的应用。
目前常用的机器视觉测距方法有双目立体视觉测距方法、结构光法以及几何光学法。其中,最重要的是双目立体视觉测距方法,其方法主要是对平行放置的两台相机采集的图像进行特征点匹配,并根据特征点在左右相机的不同的成像坐标,形成视差图,并通过视差计算得到对应物点的深度信息。
双目视觉方法可以通过提取特征点及其匹配对物体进行测距,具有灵活及测量准确的优点,但也有其固有缺陷:定焦相机的双目测距方法有效测量范围较小,一般在10m以内,随图像分辨率的提升,其范围稍有增大但增加了图像处理工作量,相对牺牲了距离测量的实时性,而变焦相机的双目测距方法在相对较长的调焦的时间内无法对实时距离进行连续测量,不仅如此,在实际应用中由于两台相机内参矩阵及畸变系数的差异,双目测距方法需要对图像进行校正后才能完成距离计算,这就意味着需要对全图的每一个像素进行预处理,在实时性要求较高的实际应用中是不可接受的;同样的问题也存在于单目测距中,由于调焦的时间相对较长而无法保证测量的连续进行,而对于变焦相机的单目测距则还存在焦距范围与视野大小的矛盾,较大的焦距可以保证较高的精度却容易导致较小的视野范围,极有可能导致目标的丢失,而较小的焦距虽保证了目标的跟踪却无法保证较高的测量精度,这些在实时性要求较高的应用中也都是不可接受的。
同时,在实际应用中的测距任务,通常是针对于已知物体的,这种情况下使用小孔成像的原理更为简单快捷易于操作,此时若仍然使用双目相机的立体标定方法,繁琐且没有必要,且目前的自动可变焦相机产品大多是通过调整电机转动时间来调整焦距的,由于电机转动驱动存在一定随机性,即使输出相同的时间调整指令,最终调整焦距也只能落在一个范围内而无法是某个精确值,这就导致了每次测量输出的结果都不同,也就是牺牲了精度来扩大了测量范围,所以采用一种新且简易的标定方法计算离散后的每一个档位的焦距来同时保证一定的精度和测量范围十分必要。
当前,大部分的计算机视觉测距装置都是固定在一定位置对目标进行测距显示,这就导致了使用上的局限性。随着物联网信息时代的来临,信息与通信技术的目标已经发展到实现人与物、物与物之间的连接,所以使双目视觉测距装置可以移动,通过无线通信技术实现测量目标与互联网的连接,进行信息的交换和通信,从而进行智能化的识别、定位、跟踪、监控和管理,可以大大扩展测距装置的使用范围,同时便于数据的访问分析与整理。
发明内容
为了克服上述现有技术的缺点,本发明的目的在于提供一种物联网双目视觉变焦动态目标跟踪试验***平台与测距方法,能够从获取的视频图像中对已知动态目标进行跟踪并对实时距离进行连续检测,用于解决现有技术中有效测量范围较小以及增大有效范围却无法保证测量精度的问题,同时采用物联网技术对测量数据在网络上进行共享,通过无线通信技术传输数据至互联网上的主机进行数据接收显示,并以其作为服务器,以便网络上的其他主机进行访问以及数据分析整理等。
为了实现上述目的,本发明采用的技术方案是:
一种物联网双目视觉变焦动态目标跟踪试验***平台,包括:
用于采集图像的平行放置的焦距均离散为若干固定档位的可自动调焦相机一和可自动调焦相机二;
连接所述可自动调焦相机一和可自动调焦相机二接收二者所采集图像信息的图像采集卡;
连接所述图像采集卡的工控机;
以及连接所述工控机主板的无线通信模块;
其中,在采集图像时,分别将两相机置于不同档位,保证测量区间有一定重叠,根据测得距离由工控机控制自动调焦及切换相机,使目标在相机视野内保持成像清晰和一定的成像大小,工控机根据接收到的图像完成目标跟踪,采用小孔成像原理计算出距离,最终通过无线通信模块将测量数据传输至互联网上的主机。
本发明还提供了一种物联网双目视觉变焦动态目标跟踪测距方法,采用两台平行放置的可自动调焦相机一和可自动调焦相机二采集图像,两相机的焦距均离散为若干固定档位,每个档位固定测量特定距离范围,通过多次调焦距离反推计算平均值的标定方法对不同档位焦距进行标定,采集过程中,两相机置于不同档位,保证测量区间有一定重叠,根据测得距离调焦及切换相机,使目标图像在相机视野中始终保持成像清晰且保持一定范围的成像大小;
进行目标跟踪,并采用小孔成像原理计算距离;
通过无线方式将测量数据传输至互联网上的主机。
所述焦距离散为若干固定档位的过程如下:
对于一个焦距范围[min,max],在这个范围内焦距只使用离散的几个焦距值点f1、f2、...fi、...、fn,n为固定档位的个数,1≤i≤n,min≤f1<...<fi<...<fn≤max,在进行焦距调整时,每次都调整固定的时间以使用固定的几个焦距值点,焦距值点之间的切换由一组计算机控制命令进行控制,当要增大镜头焦距控制时,发送增大焦距命令。
所述对不同档位焦距进行标定的方法是:
对于一个固定档位,将相机调整到该档位,分别在其测量范围内每隔T米读取成像大小,并通过公式:计算一组焦距值,并计算该组焦距值的平均焦距值,若该组焦距之中有与平均焦距值的差的绝对值大于设定阈值的数据,将其剔除,把剩余的焦距值求得的算术平均值作为一个焦距值;若没有,则直接将此平均焦距作为一个焦距值,连续多次调整到该固定档位,以上述方法进行计算,得到多个焦距值,再次平均,将最终结果作为该固定档位的焦距值,将离散化的几个固定档位的焦距均用该方法求出。
所述目标跟踪采用改进的Camshift算法完成,步骤如下:
将两个相机采集到的图像均划分为H、S、V三个通道,保存H通道数据进行处理;
对第一帧图像采用自动遍历的方式,并对每一帧图像采用快速目标检测算法:首先跳跃式遍历寻找目标点,找到之后进行目标边界链码的提取以定位出目标,确定找到目标后再运用Camshift算法对目标跟踪;
到下一帧图像时,根据上一帧图像中目标搜索结果,在预测的目标位置处设置一个比上一帧图像模板稍大的ROI区域,将该ROI区域图像转换到HSV空间,提取H通道图像;
根据H通道图像的颜色直方图计算该区域图像的反向投影图像;
以Meanshift聚类算法迭代寻找该区域内的目标,目标起始搜索框为上一帧图像预测的目标位置,并根据上一帧图像所在位置以及当前Camshift搜索的目标位置,预测下一帧图像中目标的位置。
将检测到的目标的宽高比及检测到的目标大小作为是否丢失的依据,当检测目标的宽高比与已知目标差距大于设定值时,认为目标虽存在但即将丢失,当检测到的目标面积或长宽数据小于设定值时,认为目标丢失,开始进行位置预测,预测方法为根据前两帧图像目标质心移动的距离判断当前帧目标出现的位置,同时向四周各扩大若干像素来增大搜索窗的大小,以在由于目标运动过快导致目标丢失的情况下快速找到目标,确认连续多帧丢失目标后才归零处理,从头开始进行搜索算法。
通过如下方式对已经确定的离散焦距点可测量的有效距离进行测试,以保证每两个相邻的焦距点可测量的有效距离有一定的重叠区域:
确定若干阈值Th1、Th2、...、Th2n,将可自动调焦相机一的调焦档位设置为奇数档,可自动调焦相机二的调焦档位设置为偶数档,用可自动调焦相机一相机保证0~Th1、Th2~Th3、...、Th2n-2~Th2n-1的距离范围,用可自动调焦相机二保证Th1~Th2、Th3~Th4、...、Th2n-1~Th2n的距离范围,以此保证测量连续性,最终根据不同的测量结果判断运行输出逻辑选择最优结果输出,以此保证测量准确性,
输出逻辑为:
1)、若两台相机输出均为0m,表示没有检测到目标,输出0m,将未检测到目标的计数器加1,继续检测下一帧图像,连续8帧未检测到目标时,表示检测错误,将两相机调回最低档位,重新开始检测;
2)、当自动调焦相机一未检测到目标而自动调焦相机二检测到目标时,输出自动调焦相机二的测量值,并根据此测量结果将自动调焦相机一调整到相应档位;同样,若自动调焦相机一检测到目标而自动调焦相机二未检测到目标时,输出自动调焦相机一的测量值,并根据此测量结果将自动调焦相机二调整至相应档位;
3)、当两相机都检测到目标时,先判断是否两相机的测量结果差距过大,若超出可接受范围,即差距在一个档位的范围以上,则判断为检测错误,将两相机分别置最低档,重新检测;若两相机测量结果差距在可接受范围内,则根据测量结果判断两相机是否处于正确的档位:若两相机档位均不正确,则分别调整两相机至正确档位,调整时输出另一个相机的计算结果;若其中有一个相机的档位不正确,则调整该相机,同时输出档位正确相机的计算结果;若两相机均处于正确档位,则计算两相机计算结果的差值,若小于设定阈值,则输出高档位相机的计算结果,否则输出低档位相机的计算结果。
根据所需测量的距离范围以及相机在一个焦距点处能够精确测量的有效区间,将距离范围离散为若干段,使每一段距离范围都略小于相机测量的有效区间,以保证测量准确同时调焦次数尽量少,将离散的若干距离段的端点作为若干阈值Th1、Th2、...、Th2n。
与现有技术相比,本发明采用机器视觉测距技术来检测动态目标的实时距离,算法过程与硬件***结构简单,能够进行连续检测,检测精度较高,无需人为控制,使用两台相机,只增加了相对较小的资源开销便得到更为准确的运算结果,适用于较大范围准确测量距离的过程。
附图说明
图1是本发明物联网双目视觉变焦动态目标跟踪测距方法流程图。
图2是本发明物联网双目视觉变焦动态目标跟踪测距方法的相机多档位标定流程图。
图3是本发明物联网双目视觉变焦动态目标跟踪测距方法的跟踪算法流程图。
图4是本发明物联网双目视觉变焦动态目标跟踪试验***平台的硬件实现***。
具体实施方式
下面结合附图和实施例详细说明本发明的实施方式。
本发明物联网双目视觉变焦动态目标跟踪测距方法通过使用平行设置的可变焦相机一和可变焦相机二采集图像,将两相机焦距离散化为若干固定档位,通过多次调焦距离反推计算平均值的标定方法对不同档位焦距进行标定;将两相机置于不同档位,保证测量区间有一定重叠,根据测得距离自动调焦及切换相机,使目标图像在相机视野中始终保持成像清晰且保持一定范围的成像大小;使用改进的Camshift算法完成目标跟踪,采用小孔成像原理进行距离计算;最终采用物联网技术,自定义数据帧格式,通过无线通信模块将数据传输至互联网上的主机,以便数据的访问分析与整理。
如图1所示,具体的测量过程主要包括如下四个步骤:
(1)焦距离散及相机标定
焦距离散化,指的是对一个焦距范围[min,max]进行离散化处理,即在这个限定的范围内,可变焦相机一和可变焦相机二的焦距均只使用离散的几个点f1、f2、...fi、...、fn,n为固定档位的个数,1≤i≤n,min≤f1<...<fi<...<fn≤max,在进行焦距调整时,每次都使用这几个固定的焦距值点。点与点之间的切换可由一组计算机控制命令进行控制。当要增大镜头焦距控制时,向串口发送增大焦距命令,此时相机的焦距调控电机会一直在转动状态,焦距一直在增大,当向串口发送停止命令时电机停止转动,完成一次焦距调整。
通过计算及实验将自动可调焦相机的焦距范围离散为若干固定档位,每个档位固定测量特定距离范围。
针对已知目标物的距离测量,使用单目测距的原理更为简单快捷易于操作,对于自动可变焦相机在固定档位的焦距调整只能落在一个区间而无法得到某精确值的问题,为得到较为精准的测量结果,可以采用如下简易的标定方法来计算较为准确的焦距值:
根据几何成像物距、相距以及焦距的关系:式中:f为焦距;U为物距,V为像距,可知,当U>>V时,f≈V,而一般相机镜头的焦距在几十毫米到几百毫米不等,相对于所需测量的距离,满足以上条件,所以根据小孔成像原理:就可以在已知距离点反推得到焦距值:
如图2所示,对两台相机进行焦距离散化处理,根据所需测量的距离段确定调焦时间T1、T2、...Tn,以计算其中一档的焦距为例:将相机调至其中一个时间Ti,开始计算第i档焦距fi:在第i档所精确测量的距离范围内每隔1m读取图像中的目标大小,用公式计算一组焦距值,并计算该组焦距值的平均焦距值,若该组焦距之中有与平均焦距值的差的绝对值大于设定阈值的数据,将其剔除,把剩余的焦距值求得的算术平均值作为一个焦距值;若没有,则直接将此平均焦距作为一个焦距值。连续多次调整到该固定档位,以上述方法进行计算,得到多个焦距值,再次平均,将最终结果作为该固定档位的最终焦距值输出。将离散化的几个固定档位的焦距均用这种方法求出。
这种做法的依据是:首先在测量范围内测量一组焦距取平均是由于在焦距不变的情况下,目标在较近距离的地方成像较大而在较远位置处成像较小,那么在不同的距离处1个像素所代表的距离大小就不同,在部分距离处的拟合就会出现细微差别引起误差(例如实际不用整数个像素就能代表的目标必须用整数个像素进行拟合),将这一组焦距值做平均就可以保证在整个距离段都有较高的测量精度,由于不完全拟合或干扰等原因引起的粗大误差需要进行滤除;而多次调整相机到这个焦距点处,测量多组焦距值,再将其平均值再求平均则旨在解决相机每次调焦落在一个焦距范围而非一个具体点值的问题,这样的做法是假定焦距点调整范围服从正态分布,尽量求得准确的值,使自动调焦时的实际焦距与带入计算距离的焦距差值尽量小。
(2)目标跟踪
将两个相机采集到的图像均划分为H、S、V三个通道,主要使用H通道数据进行处理,并通过已知目标特征的三通道特性建立图像掩模,对图像进行滤波操作。采用改进的Camshift算法完成目标跟踪。
如图3所示,改进的Camshift算法整体过程如下:
对于视频流中的一帧图像,根据上一帧图像检测的目标,设置检测ROI区域,若为第一帧图像或已连续N帧没有找到目标,则把ROI区域设置为全图;将搜索区域对应设置为比ROI区域上下左右各扩大50像素的区域,若产生越界则将搜索区域设置为相对应的图像边界;读取一帧图像,对于图像在搜索区域内的部分进行RGB模型到HSV模型的转换,制作掩模图像,并提取其H通道图像计算反向投影图,记录前一帧图像的质心位置,使用快速目标检测算法检查是否找到目标,若没有则重新读取一帧图像,若找到目标则用Camshift算法进行目标跟踪,并计算跟踪框在原图中的位置以及跟踪框的宽高比,根据跟踪框的位置及宽高比数据判断是否正常跟踪到目标,若正常跟踪则预测下一帧目标的位置并继续用改进的Camshift算法完成目标跟踪;否则判断跟踪不正常的帧数是否已达到N帧,若没有,则预测目标位置,扩大搜索框跟踪范围,否则将ROI区域设置为全图,重新对图像进行目标的检测与跟踪。
完成目标跟踪后,可以根据所得到的目标边界信息计算得到目标的图像面积或边长、直径等表征图像中目标大小的信息。
与传统的Camshift算法相比,改进后算法的优越性主要体现在以下三方面:
1、传统Camshift算法采用将每一帧图像转换至HSV空间,然后搜索到目标区域计算其反向投影图,最终完成目标的跟踪;而本算法只是将每一帧中的出现目标的稍大区域转换至HSV空间,计算反向投影并完成目标跟踪,很大程度得减小了图像转换的时间,这种方法的优越性在图像分辨率较大且目标范围较小的情况下尤为明显,对于一般图像也可得到跟踪速度的显著提高。
2、为了提高***稳定性,降低噪声干扰,增加了快速目标检测算法,仅当目标存在时才输出计算结果。快速目标检测算法描述如下:将图像左上角(0,0)点设置为当前点,设置jumpnum,将当前点的横纵坐标分别加上jumpnum并根据色彩或其他特征判断是否该点属于目标点,若不是目标点,则将新点设置为当前点继续搜索;当搜索到目标点后,保持该点y坐标不变,将x坐标递减,判断是否为边界点,如此回溯直到找到边界点为止,根据jumpnum设置,最多回溯jumpnum次,然后对已找到的边界点运用广度优先搜索算法,继续寻找其他边界点,当找到的边界点数大于设定阈值时,认为已找到目标,用Camshift算法完成跟踪
3、相比传统的Camshift算法,改进后的算法增加了目标丢失后的处理,将检测到的目标的宽高比及检测到的目标大小作为是否丢失的依据,当检测目标的宽高比与已知目标差距过大时,认为目标虽存在但即将丢失,当检测到的目标面积或长宽数据过小时,认为目标丢失,开始进行位置预测,预测方法为根据前两帧目标质心移动的距离判断当前帧目标出现的位置,同时向四周各扩大2像素来增大搜索窗的大小,以达到由于目标运动过快导致目标丢失的情况下快速找到目标,确认连续多帧丢失目标后才归零处理,从头开始进行搜索算法。这样的做法能够保证在目标在短暂失去跟踪的情况下,在最快的时间内重新找到目标,即保证了搜索目标的快速性。
(3)档位设置调节及结果输出
对于已经确定的离散焦距点可以测量的有效距离进行测试,保证每两个相邻的焦距点可测量的有效距离有一定的重叠区域,即通过计算以及实验合理确定若干阈值Th1、Th2、...、Th2n(也可为Th1、Th2、...、Th2n+1,根据具体测量范围酌情选择),将可自动调焦相机一的调焦档位设置为奇数档,可自动调焦相机二的调焦档位设置为偶数档,用奇数档相机保证0~Th1、Th2~Th3、...、Th2n-2~Th2n-1的距离范围,用偶数档相机保证Th1~Th2、Th3~Th4、...、Th2n-1~Th2n的距离范围,以此保证测量连续性,最终根据不同的测量结果判断运行输出逻辑选择最优结果输出,以此保证测量准确性。
输出判断逻辑为:
1、若两台相机输出均为0m,表示没有检测到目标,输出0m,将未检测到目标的计数器加1,继续检测下一帧图像,连续8帧未检测到目标时,表示检测错误,将两相机调回最低档位,重新开始检测;
2、当可自动调焦相机一未检测到目标而可自动调焦相机二检测到目标时,输出可自动调焦相机二的测量值,并根据此测量结果将可自动调焦相机一调整到相应档位;同样,若可自动调焦相机一检测到目标而可自动调焦相机二相机未检测到目标时,输出可自动调焦相机一的测量值,并根据此测量结果将可自动调焦相机二调整至相应档位;
3、当两相机都检测到目标时,先判断是否两相机的测量结果差距过大,若超出可接受范围(差距在一个档位的范围以上)则判断为检测错误,将两相机分别置最低档,重新检测;若两相机测量结果差距可以接受,则根据测量结果判断两相机是否处于正确的档位:若两相机档位均不正确,则分别调整两相机至正确档位,调整时输出另一个相机的计算结果;若其中有一个档位不正确,则调整该相机,同时输出档位正确相机的计算结果;若两相机均处于正确档位,则计算两相机计算结果的差值,若小于设定阈值,则输出高档位相机的计算结果,因为采用较大焦距值的测量结果更为准确,否则输出低档位相机的计算结果。
通过以上输出逻辑,即可保证在较大测距范围内有准确的测量结果实时输出,同时减少的因误检测造成的错误计算结果。此外,距离计算方法仍采用传统小孔成像原理,即如(1)中所述的
(4)数据传输以及显示存档分析
在本物联网双目视觉变焦动态目标跟踪试验***平台中,需要传输的数据有动态目标的三个维度的坐标数据,其中最重要的是深度信息。由于所需要传递的数据信息较少且简单,自定义了一种简单数据帧格式保证数据传输实时准确,同时使用RF无线通信模块通过串口完成点对点或一点对多点的数据发送与接收,并将所接收数据进行归档。
根据传输数据的特征,将简单数据帧的格式设置为:开始位设置为字母“f”,将三个数据各取n位数字作为数据位,结束位设置为字母“e”;在接收端,一旦检测到发来数据为“f”表示有效数据即将到达,当接收缓存的数据多于3n+1个时,一次读入3n+1个数字,判断最后一位是否为“e”,若是则将前面的数据每n个数字合并为一个数据,分别存储显示,若不是则放弃当前数据,从头开始判断。由于所需要传输的数据简单,不需要采用过于复杂的帧格式,自定义数据帧能够以最短的传输位数保证数据的有效传输。
该物联网双目视觉变焦动态目标跟踪试验***平台的硬件结构如图4所示,包括可自动调焦相机一、可自动调焦相机二、图像采集卡、工控机主板、两个无线模块、连接在互联网上的服务器主机及其他辅助外设:将可自动调焦相机一和可自动调焦相机二间隔一定距离固定在同一水平线上,并保证其光轴平行;通过图像采集卡将两相机获取的视频图像输入工控机主板根据预先设定好的程序进行图像处理,连续计算目标的实时距离;用无线模块通过串口将测量结果输出。将相机、工控机主板、图像采集卡等用到的上述设备集成在一起,通过蓄电池供电,以保证该测距***可移动。将另一无线模块接入连接在互联网上的服务器主机,以便数据的显示访问整理。
本发明的一个实验应用,在测试过程中,可自动调焦相机一和可自动调焦相机二均选择MicroVision的HC880-1可自动调焦相机,通过实验和计算,对1-30m有效距离的测量将测试相机焦距离散为5个档位,每个档位保证6m距离的精确测量,最小档位f1保证1m-6m测量,f2保证6m-12m测量,依此类推。其中f1为不调整时的初始焦距,f2为调整2000ms焦距值,最大的f5为调整2600ms焦距值,如此的档位设置保证了每个档位的能测范围都在8m以上,相邻档位有重叠区间,且在每个档位的测量范围内都有足够的裕度保证目标不会轻易移动出图像,将一侧相机的调焦档位设置为f1、f3、f5,另一侧相机的调焦档位设置为f2、f4,采取(1)中所述方式计算焦距,将每个档位所测距离的整数点处计算一个焦距值,得到的1组6个值求平均,再10次调整至该档位将10个平均值再算术平均求得最终使用的焦距值,调整次数可根据相机调焦的稳定性和实验条件酌情进行调整;然后用(3)中所述输出判断逻辑选择输出结果,这种设置方式同时保证了测量的连续性与准确性,即一侧相机调焦时由另一侧相机进行输出,且在允许范围内一直输出大焦距相机的测量结果;测试相机的输出视频图像分辨率仅为720*576,较小的图像使计算速度有效提高,每秒可输出30帧图像的测量结果,按照前述方式标定后,在1-30m的范围内误差均可达到1%以内,在近距离处的误差甚至只有几毫米;同时,测试相机的调焦范围实际在5000ms以上,而测量1-30m的距离仅用到了2600ms的调焦范围,所以若充分利用相机的调焦范围,可以较为精确的测量至少1-50m的距离区间,使得测量范围极大提高;而且,随测试相机及工控机主板属性提高,如相机调焦较为稳定、图片分辨率较高以及工控机主板运行速度加快等,测量误差还可以有效减小;改进的Camshift算法在提高跟踪速度的测试数据如下,由于测试平台、图像大小及目标大小的不同,搜索速度提高的程度有所不同,测试中使用720*480的图像在VS2012中运行计算,使用传统Camshift算法的跟踪时间在6ms左右,而使用本改进算法跟踪时间减小到2-3ms左右,速度提升了一倍,而使用更大的图像,如1280*720或1440*1280的图像时,此跟踪速度的提高更为显著;最后,采用自定义数据帧格式,使用RF无线通信模块简单地将发送接收模块通信速率设置为9600bps,便可通过串口自动完成点对点或一点对多点的数据发送与接收,经测试,接收数据实时且无误。
通过以上步骤,就可以最终实现对动态目标进行精确快速的距离测量,且有效的扩大了测量范围,保证了测量的连续性,硬件***简单易实现,可操作性强,并且通过物联网技术使数据得以有效存储访问。
值得注意的是,上述的具体实施方式用于解释说明本发明,仅为本发明的优选实施方案,而不是对本发明进行限制,在本发明的精神和权利要求的保护范围内,对本发明做出的任何修改、等同替换、改进等,都属于本发明的保护范围。
Claims (8)
1.一种物联网双目视觉变焦动态目标跟踪试验***平台,其特征在于,包括:
用于采集图像的平行放置的焦距均离散为若干固定档位的可自动调焦相机一和可自动调焦相机二;
连接所述可自动调焦相机一和可自动调焦相机二接收二者所采集图像信息的图像采集卡;
连接所述图像采集卡的工控机;
以及连接所述工控机主板的无线通信模块;
其中,在采集图像时,分别将两相机置于不同档位,保证测量区间有一定重叠,根据测得距离由工控机控制自动调焦及切换相机,使目标在相机视野内保持成像清晰和一定的成像大小,工控机根据接收到的图像完成目标跟踪,采用小孔成像原理计算出距离,最终通过无线通信模块将测量数据传输至互联网上的主机。
2.一种物联网双目视觉变焦动态目标跟踪测距方法,其特征在于,
采用两台平行放置的可自动调焦相机一和可自动调焦相机二采集图像,两相机的焦距均离散为若干固定档位,每个档位固定测量特定距离范围,通过多次调焦距离反推计算平均值的标定方法对不同档位焦距进行标定,采集过程中,两相机置于不同档位,保证测量区间有一定重叠,根据测得距离调焦及切换相机,使目标图像在相机视野中始终保持成像清晰且保持一定范围的成像大小;
进行目标跟踪,并采用小孔成像原理计算距离;
通过无线方式将测量数据传输至互联网上的主机。
3.根据权利要求2所述物联网双目视觉变焦动态目标跟踪测距方法,其特征在于,所述焦距离散为若干固定档位的过程如下:
对于一个焦距范围[min,max],在这个范围内焦距只使用离散的几个焦距值点f1、f2、...fi、...、fn,n为固定档位的个数,1£i£n,min£f1<...<fi<...<fn£max,在进行焦距调整时,每次都调整固定的时间以使用固定的几个焦距值点,焦距值点之间的切换由一组计算机控制命令进行控制,当要增大镜头焦距控制时,发送增大焦距命令。
4.根据权利要求2所述物联网双目视觉变焦动态目标跟踪测距方法,其特征在于,所述对不同档位焦距进行标定的方法是:
对于一个固定档位,将相机调整到该档位,分别在其测量范围内每隔T米读取成像大小,并通过公式:计算一组焦距值,并计算该组焦距值的平均焦距值,若该组焦距之中有与平均焦距值的差的绝对值大于设定阈值的数据,将其剔除,把剩余的焦距值求得的算术平均值作为一个焦距值;若没有,则直接将此平均焦距作为一个焦距值,连续多次调整到该固定档位,以上述方法进行计算,得到多个焦距值,再次平均,将最终结果作为该固定档位的焦距值,将离散化的几个固定档位的焦距均用该方法求出。
5.根据权利要求2所述物联网双目视觉变焦动态目标跟踪测距方法,其特征在于,所述目标跟踪采用改进的Camshift算法完成,步骤如下:
将两个相机采集到的图像均划分为H、S、V三个通道,保存H通道数据进行处理;
对第一帧图像采用自动遍历的方式,并对每一帧图像采用快速目标检测算法:首先跳跃式遍历寻找目标点,找到之后进行目标边界链码的提取以定位出目标,确定找到目标后再运用Camshift算法对目标跟踪;
到下一帧图像时,根据上一帧图像中目标搜索结果,在预测的目标位置处设置一个比上一帧图像模板稍大的ROI区域,将该ROI区域图像转换到HSV空间,提取H通道图像;
根据H通道图像的颜色直方图计算该区域图像的反向投影图像;
以Meanshift聚类算法迭代寻找该区域内的目标,目标起始搜索框为上一帧图像预测的目标位置,并根据上一帧图像所在位置以及当前Camshift搜索的目标位置,预测下一帧图像中目标的位置。
6.根据权利要求5所述物联网双目视觉变焦动态目标跟踪测距方法,其特征在于,将检测到的目标的宽高比及检测到的目标大小作为是否丢失的依据,当检测目标的宽高比与已知目标差距大于设定值时,认为目标虽存在但即将丢失,当检测到的目标面积或长宽数据小于设定值时,认为目标丢失,开始进行位置预测,预测方法为根据前两帧图像目标质心移动的距离判断当前帧目标出现的位置,同时向四周各扩大若干像素来增大搜索窗的大小,以在由于目标运动过快导致目标丢失的情况下快速找到目标,确认连续多帧丢失目标后才归零处理,从头开始进行搜索算法。
7.根据权利要求2所述物联网双目视觉变焦动态目标跟踪测距方法,其特征在于,通过如下方式对已经确定的离散焦距点可测量的有效距离进行测试,以保证每两个相邻的焦距点可测量的有效距离有一定的重叠区域:
确定若干阈值Th1、Th2、...、Th2n,将可自动调焦相机一的调焦档位设置为奇数档,可自动调焦相机二的调焦档位设置为偶数档,用可自动调焦相机一相机保证0~Th1、Th2~Th3、...、Th2n-2~Th2n-1的距离范围,用可自动调焦相机二保证Th1~Th2、Th3~Th4、...、Th2n-1~Th2n的距离范围,以此保证测量连续性,最终根据不同的测量结果判断运行输出逻辑选择最优结果输出,以此保证测量准确性,
输出逻辑为:
1)、若两台相机输出均为0m,表示没有检测到目标,输出0m,将未检测到目标的计数器加1,继续检测下一帧图像,连续8帧未检测到目标时,表示检测错误,将两相机调回最低档位,重新开始检测;
2)、当自动调焦相机一未检测到目标而自动调焦相机二检测到目标时,输出自动调焦相机二的测量值,并根据此测量结果将自动调焦相机一调整到相应档位;同样,若自动调焦相机一检测到目标而自动调焦相机二未检测到目标时,输出自动调焦相机一的测量值,并根据此测量结果将自动调焦相机二调整至相应档位;
3)、当两相机都检测到目标时,先判断是否两相机的测量结果差距过大,若超出可接受范围,即差距在一个档位的范围以上,则判断为检测错误,将两相机分别置最低档,重新检测;若两相机测量结果差距在可接受范围内,则根据测量结果判断两相机是否处于正确的档位:若两相机档位均不正确,则分别调整两相机至正确档位,调整时输出另一个相机的计算结果;若其中有一个相机的档位不正确,则调整该相机,同时输出档位正确相机的计算结果;若两相机均处于正确档位,则计算两相机计算结果的差值,若小于设定阈值,则输出高档位相机的计算结果,否则输出低档位相机的计算结果。
8.根据权利要求7所述物联网双目视觉变焦动态目标跟踪测距方法,其特征在于,根据所需测量的距离范围以及相机在一个焦距点处能够精确测量的有效区间,将距离范围离散为若干段,使每一段距离范围都略小于相机测量的有效区间,以保证测量准确同时调焦次数尽量少,将离散的若干距离段的端点作为若干阈值Th1、Th2、...、Th2n。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510297393.1A CN104880154B (zh) | 2015-06-03 | 2015-06-03 | 一种物联网双目视觉变焦动态目标跟踪试验***平台与测距方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510297393.1A CN104880154B (zh) | 2015-06-03 | 2015-06-03 | 一种物联网双目视觉变焦动态目标跟踪试验***平台与测距方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104880154A true CN104880154A (zh) | 2015-09-02 |
CN104880154B CN104880154B (zh) | 2016-05-11 |
Family
ID=53947744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510297393.1A Expired - Fee Related CN104880154B (zh) | 2015-06-03 | 2015-06-03 | 一种物联网双目视觉变焦动态目标跟踪试验***平台与测距方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104880154B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106131408A (zh) * | 2016-07-11 | 2016-11-16 | 深圳市金立通信设备有限公司 | 一种图像处理方法及终端 |
CN106161941A (zh) * | 2016-07-29 | 2016-11-23 | 深圳众思科技有限公司 | 双摄像头自动追焦方法、装置及终端 |
CN106384353A (zh) * | 2016-09-12 | 2017-02-08 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于rgbd的目标定位方法 |
CN107306338A (zh) * | 2016-04-19 | 2017-10-31 | 通用汽车环球科技运作有限责任公司 | 用于对象检测和跟踪的全景摄像机*** |
CN107437050A (zh) * | 2016-05-28 | 2017-12-05 | 上海大学 | 小型无人自旋翼机用单目可调焦液态镜头寻找安全着陆区域方法 |
CN107896303A (zh) * | 2017-10-23 | 2018-04-10 | 努比亚技术有限公司 | 一种图像采集方法、***和设备及计算机可读存储介质 |
WO2018077218A1 (zh) * | 2016-10-31 | 2018-05-03 | 杭州海康威视数字技术股份有限公司 | 一种深度测量方法及*** |
CN110290379A (zh) * | 2019-07-02 | 2019-09-27 | 珠海达明科技有限公司 | 一种相机焦距校准平台及校准方法 |
CN110631481A (zh) * | 2019-10-31 | 2019-12-31 | 湖北民族大学 | 一种钢材外形参数测量方法及*** |
CN113658251A (zh) * | 2021-08-25 | 2021-11-16 | 北京市商汤科技开发有限公司 | 测距方法、装置、电子设备、存储介质及*** |
CN113686976A (zh) * | 2021-09-06 | 2021-11-23 | 苏州好捷生智能机电设备有限公司 | 一种基于超声波检测的柱状晶信息处理工艺 |
CN113875219A (zh) * | 2019-08-27 | 2021-12-31 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN114299167A (zh) * | 2022-03-11 | 2022-04-08 | 杭州灵西机器人智能科技有限公司 | 一种变焦镜头的单目标定方法、***、装置和介质 |
CN117741682A (zh) * | 2024-02-19 | 2024-03-22 | 荣耀终端有限公司 | 距离检测方法、测距***、电子设备及可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008082870A (ja) * | 2006-09-27 | 2008-04-10 | Setsunan Univ | 画像処理プログラム及びこれを用いた路面状態計測システム |
CN103278139A (zh) * | 2013-05-06 | 2013-09-04 | 北京航空航天大学 | 一种可变焦单双目视觉传感装置 |
CN104015931A (zh) * | 2014-04-22 | 2014-09-03 | 西安交通大学 | 一种无人机自动加油盲区视觉定位测控方法、***及实验平台 |
CN203861189U (zh) * | 2013-11-11 | 2014-10-08 | 武汉芯印象光电科技有限公司 | 一种基于双目视觉的瞳距及瞳高测量仪 |
CN104123726A (zh) * | 2014-07-15 | 2014-10-29 | 大连理工大学 | 基于消隐点的大锻件测量***标定方法 |
-
2015
- 2015-06-03 CN CN201510297393.1A patent/CN104880154B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008082870A (ja) * | 2006-09-27 | 2008-04-10 | Setsunan Univ | 画像処理プログラム及びこれを用いた路面状態計測システム |
CN103278139A (zh) * | 2013-05-06 | 2013-09-04 | 北京航空航天大学 | 一种可变焦单双目视觉传感装置 |
CN203861189U (zh) * | 2013-11-11 | 2014-10-08 | 武汉芯印象光电科技有限公司 | 一种基于双目视觉的瞳距及瞳高测量仪 |
CN104015931A (zh) * | 2014-04-22 | 2014-09-03 | 西安交通大学 | 一种无人机自动加油盲区视觉定位测控方法、***及实验平台 |
CN104123726A (zh) * | 2014-07-15 | 2014-10-29 | 大连理工大学 | 基于消隐点的大锻件测量***标定方法 |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107306338A (zh) * | 2016-04-19 | 2017-10-31 | 通用汽车环球科技运作有限责任公司 | 用于对象检测和跟踪的全景摄像机*** |
CN107437050B (zh) * | 2016-05-28 | 2021-02-23 | 上海大学 | 小型无人自旋翼机用单目可调焦液态镜头寻找安全着陆区域方法 |
CN107437050A (zh) * | 2016-05-28 | 2017-12-05 | 上海大学 | 小型无人自旋翼机用单目可调焦液态镜头寻找安全着陆区域方法 |
CN106131408A (zh) * | 2016-07-11 | 2016-11-16 | 深圳市金立通信设备有限公司 | 一种图像处理方法及终端 |
CN106161941A (zh) * | 2016-07-29 | 2016-11-23 | 深圳众思科技有限公司 | 双摄像头自动追焦方法、装置及终端 |
CN106161941B (zh) * | 2016-07-29 | 2022-03-11 | 南昌黑鲨科技有限公司 | 双摄像头自动追焦方法、装置及终端 |
CN106384353A (zh) * | 2016-09-12 | 2017-02-08 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于rgbd的目标定位方法 |
WO2018077218A1 (zh) * | 2016-10-31 | 2018-05-03 | 杭州海康威视数字技术股份有限公司 | 一种深度测量方法及*** |
CN108020200A (zh) * | 2016-10-31 | 2018-05-11 | 杭州海康威视数字技术股份有限公司 | 一种深度测量方法及*** |
US11209268B2 (en) | 2016-10-31 | 2021-12-28 | Hangzhou Hikvision Digital Technology Co., Ltd. | Depth measuring method and system |
CN108020200B (zh) * | 2016-10-31 | 2020-02-28 | 杭州海康威视数字技术股份有限公司 | 一种深度测量方法及*** |
CN107896303A (zh) * | 2017-10-23 | 2018-04-10 | 努比亚技术有限公司 | 一种图像采集方法、***和设备及计算机可读存储介质 |
CN110290379A (zh) * | 2019-07-02 | 2019-09-27 | 珠海达明科技有限公司 | 一种相机焦距校准平台及校准方法 |
CN113875219A (zh) * | 2019-08-27 | 2021-12-31 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN113875219B (zh) * | 2019-08-27 | 2023-08-15 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN110631481A (zh) * | 2019-10-31 | 2019-12-31 | 湖北民族大学 | 一种钢材外形参数测量方法及*** |
CN113658251A (zh) * | 2021-08-25 | 2021-11-16 | 北京市商汤科技开发有限公司 | 测距方法、装置、电子设备、存储介质及*** |
CN113686976A (zh) * | 2021-09-06 | 2021-11-23 | 苏州好捷生智能机电设备有限公司 | 一种基于超声波检测的柱状晶信息处理工艺 |
CN114299167A (zh) * | 2022-03-11 | 2022-04-08 | 杭州灵西机器人智能科技有限公司 | 一种变焦镜头的单目标定方法、***、装置和介质 |
CN114299167B (zh) * | 2022-03-11 | 2022-07-26 | 杭州灵西机器人智能科技有限公司 | 一种变焦镜头的单目标定方法、***、装置和介质 |
CN117741682A (zh) * | 2024-02-19 | 2024-03-22 | 荣耀终端有限公司 | 距离检测方法、测距***、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104880154B (zh) | 2016-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104880154A (zh) | 一种物联网双目视觉变焦动态目标跟踪试验***平台与测距方法 | |
US11922643B2 (en) | Vehicle speed intelligent measurement method based on binocular stereo vision system | |
CN108416791B (zh) | 一种基于双目视觉的并联机构动平台位姿监测与跟踪方法 | |
RU2730687C1 (ru) | Стереоскопическая система обнаружения пешеходов с двухпоточной нейронной сетью с глубоким обучением и способы ее применения | |
WO2021004312A1 (zh) | 一种基于双目立体视觉***的车辆智能测轨迹方法 | |
CN104154898B (zh) | 一种主动测距方法及*** | |
CN100487724C (zh) | 一种快速目标识别与定位***及方法 | |
CN109167956A (zh) | 基于动态称重和多视频信息融合的全桥面移动荷载空间分布监测*** | |
CN105627932A (zh) | 一种基于双目视觉的测距方法及装置 | |
CN111753757B (zh) | 一种图像识别处理方法及装置 | |
CN106503605A (zh) | 基于立体视觉技术的人体目标识别方法 | |
CN104173054A (zh) | 基于双目视觉技术的人体身高测量方法及其装置 | |
CN104102069B (zh) | 一种成像***的对焦方法及装置、成像*** | |
CN110084243A (zh) | 一种基于二维码和单目相机的档案识别与定位方法 | |
CN109375211B (zh) | 基于雷达和多光学设备的可移动无人平台目标搜索方法 | |
CN107991665A (zh) | 一种基于定焦相机的对标靶三维坐标连续测量方法 | |
CN104966062A (zh) | 视频监视方法和装置 | |
CN111288910A (zh) | 一种有轨电车梯形道岔变形监测***及方法 | |
Cvišić et al. | Recalibrating the KITTI dataset camera setup for improved odometry accuracy | |
CN109711267A (zh) | 一种行人重识别、行人运动轨迹生成方法及装置 | |
CN106842178A (zh) | 一种光场距离估计方法与光场成像*** | |
CN110136186A (zh) | 一种用于移动机器人目标测距的检测目标匹配方法 | |
CN106504274A (zh) | 一种基于红外摄像头下的视觉跟踪方法及*** | |
CN108805940B (zh) | 一种变倍相机在变倍过程中跟踪定位的方法 | |
CN106412400A (zh) | 基于可见光及近红外的仿生视觉成像***及其调焦方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160511 Termination date: 20190603 |
|
CF01 | Termination of patent right due to non-payment of annual fee |