CN103996049A - 一种基于视频图像的船舶超长超宽检测方法 - Google Patents
一种基于视频图像的船舶超长超宽检测方法 Download PDFInfo
- Publication number
- CN103996049A CN103996049A CN201410187034.6A CN201410187034A CN103996049A CN 103996049 A CN103996049 A CN 103996049A CN 201410187034 A CN201410187034 A CN 201410187034A CN 103996049 A CN103996049 A CN 103996049A
- Authority
- CN
- China
- Prior art keywords
- ships
- boats
- super
- image
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 40
- 238000000034 method Methods 0.000 claims abstract description 20
- 230000002452 interceptive effect Effects 0.000 claims abstract description 11
- 238000006243 chemical reaction Methods 0.000 claims abstract description 7
- 239000000284 extract Substances 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 238000004064 recycling Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 5
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000001788 irregular Effects 0.000 description 4
- 239000013558 reference substance Substances 0.000 description 4
- 235000011293 Brassica napus Nutrition 0.000 description 3
- 240000008100 Brassica rapa Species 0.000 description 3
- 235000000540 Brassica rapa subsp rapa Nutrition 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 239000004575 stone Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
一种基于视频图像的船舶超长超宽检测方法,采集船舶视频,进行像平面坐标系与世界坐标系的变换;提取船舶二值图像区域得到运动船舶区域;对每一帧图像的运动船舶均采用Kalman滤波器跟踪,得到运动船舶的质心位置的叠加,拟合船舶的运动轨迹确定船舶的主轴,利用Canny算子提取二值图像的轮廓,计算船舶主轴与所述轮廓的交点之间连线的长度,得到船舶的长度,所述轮廓垂直到主轴的最长距离为船舶的宽度;判断该船舶是否超长超宽。本发明根据当前的内河监控视频图像,采用图象处理、计算机视觉技术,从中提取运动船舶及像素级的长宽信息,通过交互式网格标定计算出船舶的实际尺寸,根据实际场景的条件,对船舶的长宽进行超限判断。
Description
技术领域
本发明属于机器视觉、视频图像处理领域,特别涉及基于视频图像的内河船舶超长超宽检测方法,主要用于内河船舶超限检测中,为一种基于视频图像的船舶超长超宽检测方法。
背景技术
水路运输在我国综合运输体系中占有重要的组成部分,作为传统的且仍处于快速发展中的交通运输方式,水路运输在促进地区或区域经济和社会发展方面发挥着重要作用,但是近年来随着社会经济的高速发展,船舶的尺寸也在增加,这个与内河的航运环境产生一定程度的冲突,严重影响了航段的安全畅通,需要进行船舶超长超宽检测,并对超限的船舶进行诱导,降低事故发生,尽量保证航道的畅通。
目前,判别航行在航道中的船舶长、宽是否超限,通常是依靠监控人员的人工检测,对检测超限的船舶进行引导,但面对庞大的航道网,光靠监控员每天的人工检测远不能满***通的需求。为了营造快捷、安全、畅通、高效的水上运输环境,降低水上交通安全事故发生的频率,可根据当前的内河监控视频图像,采用图像处理、计算机视觉技术,提取船舶长宽信息。
王珺等人于2006年在硕士论文《小波分析及其在船舶图像尺寸测量中的应用》中利用小波检测船舶边缘,对不规则的船舶边缘形状构造一个图像边缘最小外接矩形,用该矩形的长宽表示船舶的尺寸,其测量的船舶尺寸只限于像素级,没有得到船舶的实际尺寸。
王静等人于2009年在硕士论文《基于图像融合技术的智能检测方法与应用研究》中利用数码相机对船舶进行侧面和俯视拍照,采用神经网络提取船舶的边缘,在侧面边缘图中进行列扫描,得到船舶的像素级长度,在俯视边缘图中进行列扫描,得到船舶的像素级宽度,再根据图像的分辨率换算出边缘图像中以厘米为单位的船舶长度和宽度。该方法只考虑了均静止船舶和单一背景,而对复杂环境和运动船舶不适用。
张学武等人于2011年在中国图象图形学报上发表了《内河水路交通流参数视觉测量***》,采用背景建模提取运动船舶,用外接矩形框标识该船舶,通过透视变换模型计算出船舶的实际尺寸,为船舶超长超宽检测提供了依据,但该方法假设河道平行或者垂直于船体轴线,以河道两边堤岸为矩形的长,以河道宽度为宽设置矩形(不一定是正方形),用矩形的像素长度和实际长度来获取透视变换关系,而实际场景中,河道平行或者垂直于船体轴线的假设未必成立,影响船舶长宽计算的精度。
方秀丽等人于2013年在硕士论文《基于运动船舶视频的背景建模算法研究》中,对水波扰动有一定适应性的经典的混合高斯模型算法、像素灰度归类背景重构算法、码本模型算法、视觉背景建模算法的适用性和有效性进行了比较分析,其中,视觉背景建模算法是一种通用的运动检测算法,实现简单,但是,它在整个检测过程中采用固定的检测阈值,对复杂的动态场景的鲁棒性低。
上述基于图像处理、计算机视觉技术的船舶提取及长宽检测方法,最大的特点是实现简单,易满足实时处理,但是,这些算法有一定的局限性,首先它们仅采用边缘或简单的运动检测方法提取船舶,对复杂的动态场景的适应性低;其次是对缺乏参考物的水面场景,没有考虑适用的摄像机标定,摄像机标定的核心是坐标系转换,常用的摄像机标定需要有一个标定的参考物,而河面缺乏参考物,则借助于参考物的标定方式在该场景下是运作不了的。
发明内容
本发明要解决的问题是:在判别航行船舶长、宽是否超限的现有技术中,人工检测远不能满***通的需求,而计算机检测技术不能适合实际的复杂运动场景,也没有有效的摄像机标定,检测不够精确。
本发明的技术方案为:一种基于视频图像的船舶超长超宽检测方法,通过监控摄像机采集运动船舶视频,设置所采集视频中的有效检测区域,采用交互式网格标定实现摄像机的像平面坐标系与世界坐标系的变换;对当前帧进行图像预处理,包括平滑和去噪,通过视觉背景建模算法,提取视频图像中的船舶二值图像区域,用最小外接矩形来拟合二值图像区域,得到运动船舶区域;对每一帧图像的运动船舶区域均采用Kalman滤波器跟踪,得到各个时刻的运动船舶的质心位置,由船舶的质心位置的叠加,用最小二乘法拟合船舶运动的轨迹,确定船舶的主轴;利用Canny算子对各船舶的二值图像区域提取二值图像的轮廓,船舶的主轴与所述轮廓相交得到交点,取所述交点之间连线的长度为船舶的长度,取所述轮廓垂直到主轴的最长距离为船舶的宽度;将得到的船舶长度、宽度与预设的阈值比较,判断该船舶是否超长超宽。
进一步的,当视频图像中包含多艘船舶时,分别对每艘船舶提取二值图像区域,并确定各自的主轴,由船舶各自的二值图像区域和主轴计算长度和宽度,判断是否超长超宽。
本发明具体包括以下步骤:
1)兴趣区域ROI设置:进行河道监控视频图像的采集,获取运动船舶的视频帧图像,根据实际监控场景在当前帧图像上提取多个点,对所提取的点进行直线拟合计算,合并成多边形,多边形内作为检测的兴趣区域ROI,即有效检测区域;
2)摄像机标定:根据摄像机成像模型,采用交互式网格标定实现摄像机的像平面坐标系与世界坐标系的变换;
3)图像预处理:获取视频帧图像,用中值滤波对图像进行图像预处理,包括平滑和去噪;
4)运动检测:通过视觉背景建模算法构建背景图像,比较当前帧与背景图像的相似度,初步确定船舶区域,再利用形态学操作滤除噪声,采用图像的面积特征消除运动目标区域的虚目标,得到当前帧的船舶二值图像区域;
5)目标跟踪:对当前帧中的每个运动船舶均采用Kalman滤波器预测其在下一帧图像中的位置,并更新Kalman滤波器的状态,作为再下一帧跟踪的初始值,具体为:
51)对每帧图像的船舶二值图像区域,采用最小外接矩形来标定得到运动船舶区域;
52)对于每个需要跟踪的运动船舶区域,设置一个Kalman参数结构,设状态变量的选取为(x,y,l,w),其中,(x,y)为运动船舶区域的最小外接矩形的中心在像平面坐标系的坐标,(l,w)为最小外接矩形的长、宽,由(x,y,l,w)确定运动船舶区域在当前帧的精确位置;开始跟踪时初始化状态变量,设初始中心位置为(x0,y0),初始长宽为(l0,w0);
53)预测运动船舶在下一帧的运动状态以为中心的二值图像区域为搜索区域,获取以(xt,yt)为中心的所有最小外接矩形,并计算其相比初始状态变量(x0,y0,l0,w0)的运动船舶区域的中心移动距离和面积变化大小,其中,中心移动距离和面积变化最小的外接矩形为最佳匹配,以最佳匹配对应的运动状态Z=(xvt,yvt,lvt,wvt)作为测量值;
54)利用Z=(xvt,yvt,lvt,wvt)更新Kalman滤波器的状态,并将更新后的状态作为下一轮预测的初始值,重复步骤53)-54);
6)长宽估算:利用Canny算子提取步骤4)中船舶二值图像区域的轮廓,采用最小二乘法拟合步骤5)跟踪得到的运动船舶区域的矩形中心,得到运动船舶航行轨迹,确定船舶的主轴,计算主轴与运动船舶轮廓的交点连线的长度,所得长度为船舶的长度,取轮廓垂直到主轴的最长距离为船舶的宽度;
7)超长、超宽检测:将步骤6)中估算的船舶长、宽与事先设定好的阈值比较,判断该运动船舶是否超长超宽。
步骤1)中兴趣区域的提取方法具体为:根据实际监控需要,在当前帧上选取不少于3个点,对获取的点集进行直线拟合,并合并成多边形,多边形内即为检测的兴趣区域。步骤2)中根据摄像机的成像模型,构建摄像机的像平面坐标系u-v与世界坐标系Xw-Yw-Zw的变换关系:
其中,f为镜头有效焦距,摄像机立柱高度为H,摄像机的俯仰角为q,偏角为p,s为旋角,在交互式网格标定中,调整标定***中的摄像机高度、焦距、俯仰角和偏角,根据所述参数对应的网格与实际摄像视频的对比确认当前参数是否调整准确。
进一步的,步骤4)中提取船舶二值图像区域的方法为:
41)连续采集视频序列的前N帧图像I1,I2,...,IN,将该N帧图像对应像素值作为初始背景模型B的样本,背景模型B(i,j)为:
B(i,j)={I1(i,j),I2(i,j),...,IN(i,j)} (2)
i,j表示像素坐标;
42)根据背景的动态运动程度设置阈值R(i,j),定义一个最小距离的集合D(i,j):
D(i,j)={D1(i,j),D2(i,j),…,DN(i,j)} (3)
其中,Dk(i,j)=min{dist(Im(i,j),It(i,j))},dist(·)表示欧氏距离,k=1,...,N,m=1,...,N,k≠m;
对D(i,j)内元素进行求和平均,得到dmin(i,j)表征背景的动态运动程度,定义为:
通过dmin(i,j)实现R(i,j)的自适应更新,如下式:
其中,α1、α2和η是控制R(i,j)自适应变化的参数,对于静态背景,dmin(i,j)趋于稳定,R(i,j)慢慢减小最终趋于稳定值dmin(i,j)·η,当出现动态背景扰动时,R(i,j)则根据式(5)慢慢增加来适应这一扰动;
43)计算当前帧图像In(i,j)与背景模型B(i,j)的相似度Un(i,j)
44)如果相似度小于设定的阈值Umin,则该像素为前景像素点,设为“1”,否则为背景像素点,设为“0”,得到当前帧的二值图像Fn(i,j):
45)利用形态学操作滤除噪声,采用图像的面积特征消除运动目标区域的虚目标,得到运动船舶二值图像区域。
本发明提出根据当前的河道监控视频图像,采用图象处理、计算机视觉技术,从中提取运动船舶及像素级的长宽信息,通过交互式网格标定计算出船舶的实际尺寸,根据实际场景的条件,对船舶的长宽进行超限判断,后期可以通过监控网络发布超限的告警信息,或其它操作。
相比于现有技术,本发明的有益效果为:
1)本发明设置检测的感兴趣区域和超长超宽的检测阈值,其大小可由用户根据实际监控场景的需要来改变,增加了本发明对监控场景的适用范围;
2)本发明采用自适应阈值R的视觉背景建模算法提取运动船舶,避免了单个的全局阈值不能适应不同场景的变化问题,提高了运动检测对场景的鲁棒性;
3)针对无标定参考物的河面场景,基于确定的标定物的方法都将无法运作,本发明通过交互式网格进行标定,在标定计算中设置当前监控场景相机的架设高度、焦距、倾角和偏角,根据这四个参数求解像平面和物理平面的转换关系,实现无标定参考物的河面场景下的摄像机标定。
附图说明
图1为本发明超长超宽检测方法流程图。
图2为本发明兴趣区域ROI的设置。
图3为本发明交互网格标定的示意图。
图4为本发明中Kalman滤波器的跟踪流程图。
图5为本发明中运动船舶的最小外界矩形的示意图。
图6为本发明中拟合的运动船舶的航行轨迹图。
图7为本发明实施例无锡市葑溪大桥北段船舶超长的检测示意图。
图8为本发明实施例南通市航宇重工段船舶的超长超宽检测示意图。
具体实施方式
本发明提供一种基于视频图像的船舶超长超宽检测方法,可以准确地对内河航道中航行船舶的长宽是否超过航道可通行标准进行检测,提高了水路运输的安全性。通过监控摄像机采集船舶视频,设置所采集视频中的有效检测区域,采用交互式网格标定实现摄像机的像平面坐标系与世界坐标系的变换;对当前帧图像进行图像预处理,包括平滑和去噪,通过视觉背景建模算法,提取视频图像中的船舶二值图像区域,用最小外界矩形来刻画船舶的基本形状,得到船舶区域;对每一帧图像的运动船舶均采用Kalman滤波器跟踪,得到各个时刻的运动中的船舶的质心位置的叠加,用最小二乘法拟合船舶运动的轨迹,确定船舶的主轴,利用Canny算子对船舶的二值图像区域提取二值图像的轮廓,计算船舶主轴与所述轮廓的交点之间连线的长度,得到船舶的长度,取所述轮廓垂直到主轴的最长距离为船舶的宽度;将得到的船舶长度、宽度与事先设定好的阈值比较,判断该船舶是否超长超宽。
当视频图像中包含多艘船舶时,用背景建模提取图像中所有运动船舶,分别对每艘船舶提取二值图像区域,并确定各自的主轴,由船舶各自的二值图像区域和主轴计算长度和宽度,分别逐一判断是否超长超宽。
本发明方法中的计算流程通过计算机实现,下面结合附图与具体实施方式对本发明进行详细描述。
实施例1
如图1所示,为本发明的实现流程图,其中检测的视频图像为无锡市葑溪大桥北的监控视频,详细实施方式如下:
1.设置兴趣区域。提取当前帧图像,在人机交互的终端界面,用户根据实际监控需要在当前帧图像上点击多个点(点个数不少于3),对获取的点集进行直线拟合,并合并成多边形,多边形内即检测的兴趣区域,如图2所示。
2.摄像机标定。根据摄像机成像模型,构建摄像机的像平面坐标系u–v与世界坐标系Xw–Yw–Zw的变换关系:
其中,f为镜头有效焦距,摄像机立柱高度为H,摄像机的俯仰角(摄像机光轴与地平面夹角)为q,偏角(光轴在地平面上的投影线与车道分割线的夹角)为p,s为旋角,且摄像机高度H、焦距f、俯仰角q、偏角p由人机交互的方式获取,技术人员通过计算机编程实现公式(1),然后用户输入H、f、q、p四个参数并进行调整,根据调整这些参数获取像平面坐标系u-v,得到对应的网格模型,如图3所示,H=12、f=1012、q=0.13、p=0.11,将网格模型与图像帧对应,在网格模型中计算两点的距离,并与实际距离比较,来验证参数的正确性,调整直至参数与实际相对应,将调整得到H、f、q、p用于船舶视频的坐标变换。
3.采用视觉背景建模算法提取运动船舶的二值图像区域。
①连续采集视频序列的前N=20帧图像I1,I2,...,IN,将该N帧图像对应像素值作为初始背景模型B的样本,背景模型B(i,j):
B(i,j)={I1(i,j),I2(i,j),...,IN(i,j)} (2)
i,j表示像素坐标;
②根据背景的动态运动程度设置阈值R(i,j),定义一个最小距离的集合D(i,j):
D(i,j)={D1(i,j),D2(i,j),…,DN(i,j)} (3)
其中,Dk(i,j)=min{dist(Im(i,j),It(i,j))},dist(·)表示欧氏距离,k=1,...,N,m=1,...,N,k≠m:
对D(i,j)内元素进行求和平均,得到dmin(i,j)表征背景的动态运动程度,定义为:
通过dmin(i,j)实现R(i,j)的自适应更新,如下式:
其中,α1=0.5、α2=0.05和η=5是控制R(i,j)自适应变化的参数,对于静态背景,dmin(i,j)趋于稳定,R(i,j)慢慢减小最终趋于稳定值dmin(i,j)·η,当出现动态背景扰动时,R(i,j)则慢慢增加来适应这一扰动;
③计算当前图像In(i,j)与背景模型B(i,j)的相似度Un(i,j)
④如果相似度小则该像素为前景像素点,设为“1”,否则为背景像素点,设为“0”,得到二值图像Ft(i,j):
其中,Umin=2为设定的阈值;
⑤利用形态学操作滤除噪声,采用图像的面积特征消除运动目标区域的虚目标,这里运动目标也就是运动的船舶,得到船舶二值图像区域。
4.采用Kalman滤波器进行目标跟踪,其流程图如图4所示:
①对每个运动船舶的二值图像区域,采用最小外界矩形来标定运动船舶区域,如图5所示;船舶的二值图像区域是不规则的,为了方便后续操作,用最小外接矩形来拟合该不规则的二值图像区域,所以,这两个区域都是表示视频图像中的某运动船舶,只是二值图像是不规则的,由最小外界矩形标定的运动船舶区域是规则的矩形;
②对于每个需要跟踪的运动船舶区域,初始化一个Kalman参数结构,设状态变量的选取为(x,y,l,w),其中,(x,y)为运动船舶的最小外接矩形的中心坐标,(l,w)及为最小外接矩形的长、宽,其确定了运动船舶区域在当前帧的精确位置,初始化状态变量,设初始中心位置为(0,0),初始长宽为(0,0);
③预测运动船舶在下一帧的运动状态以中(xt,yt)为中心的二值图像区域为搜索区域,获取以(xt,yt)为中心的所有最小外接矩形,并计算其与运动船舶初始状态变量对应的最小外接矩形的中心移动距离和面积变化大小,其中,中心移动距离和面积变化小的外接矩形为最佳匹配,以其对应的位置Z=(xvt,yvt,lvt,wvt)作为测量值;
④利用Z=(xvt,yvt,lvt,wvt)更新Kalman滤波器的状态,并将更新后的状态作为下一轮预测的初始值。
5.船舶长宽估算。利用Canny算子提取步骤3中船舶二值图像的轮廓,采用最小二乘法拟合步骤4得到的运动船舶区域的矩形中心,得到运动船舶航行轨迹,如图6所示,根据航行轨迹确定船舶的主轴,计算主轴与运动船舶轮廓的交点连线的长度,其为船舶的长度,取轮廓垂直到主轴的最长距离为船舶的宽。
6.船舶超长超宽检测。用户根据实际的监控场景设置船舶超长超宽的判断阈值,如设置,船舶超长超宽的判断阈值为50m,将步骤5中计算的船舶长、宽分别于其比较,如果船舶的长大于超长阈值,则超长,如果船舶的宽大于设置的超宽阈值,则超宽。
本实施例的实施效果如图7所示。利用本发明方法对江苏省无锡市葑溪大桥北的一段监控视频的船舶进行长宽计算,并对其进行船舶超长超宽判断。设置的超长阈值为50m,超宽阈值为50m,本发明对船舶长宽的计算结果为:船舶的长为31.29m,船舶的宽为11.90m,船舶的实际长为32.8m,实际宽为9.6m。将检测结果与设置的阈值比较,没有出现超长或超宽,所以检测船舶的状态为正常。
经该测试表明,本发明基于视频图像的船舶超长超宽检测方法能够从监控视频中,获得船舶的长度和宽度,且计算船舶的长度精度达到90%以上,宽度达到85%以上,并能准确检测出超长超宽的船舶,提高了水路运输的安全性。
实施例2
本实施例的一种基于视频图像的船舶超长超宽检测方法与实施例1相比,不同之处在于,本实例采用了江苏省南通市蛟龙重工段的监控视频,对2013年09月17日下午的视频进行检测,检测的有效区域如图8所示,摄像机标定的摄像机参数H=34、f=700、q=0.32、p=0.39,船舶超长、超宽的阈值分别为20m、6m,船舶超长超宽的检测结果为长26.36m,宽7.91m,超长超宽。为了进一步量化说明本发明检测精度,选取2013年09月17日下午14:00-16:00时间段的视频为检测对象,将船舶长宽的检测结果例于表1中,并将检测结果与实际的船舶长宽进行比较,统计出检测的长、宽误差率。由表1可以发现,本发明实时获取内河兴趣检测区域内航行船舶的长宽信息,并进行船舶超长超宽检测,对超限的船舶进行诱导,降低事故发生,尽量保证航道的畅通。本发明的长宽检测误差值基本在5-10%以内,平准准确率基本达到90%以上,相对测量效率低下、测量误差较大的人工测量方法,具有长宽测量精确、超长超宽检测及时、自动化程度高等优点,为航道交通秩序管理和应急搜救指挥提供更好的方法和手段。
表1长宽测试结果
序号 | 船名 | 检测长度 | 检测宽度 | 实际长度 | 实际宽度 | 长误差率 | 宽误差率 |
1 | 融航机518 | 42.6 | 7.7 | 43.8 | 7.8 | 2.71% | 1.28% |
2 | 石屏货898 | 41.4 | 7.5 | 42.1 | 7.8 | 1.66% | 3.84% |
3 | 石屏货9958 | 43.7 | 7.9 | 42.8 | 7.8 | 2.10% | 1.28% |
4 | 中港货8988 | 38.3 | 7.0 | 39.0 | 7.3 | 1.79% | 4.11% |
5 | 六航机331 | 40.3 | 7.4 | 38.8 | 7.4 | 3.87% | 0.00% |
6 | 新港货982 | 33.1 | 6.6 | 32.8 | 6.2 | 0.91% | 6.45% |
7 | 如航158 | 33.8 | 6.7 | 34.9 | 6.1 | 3.15% | 9.83% |
8 | 石屏货828 | 41.7 | 7.9 | 39.9 | 7.6 | 4.38% | 3.95% |
9 | 江泰518 | 35 | 6.6 | 35.6 | 6.75 | 1.69% | 2.22% |
10 | 霍邱货0867 | 42.5 | 7.2 | 38.5 | 7.5 | 10.39% | 4.00% |
Claims (6)
1.一种基于视频图像的船舶超长超宽检测方法,其特征是通过监控摄像机采集运动船舶视频,设置所采集视频中的有效检测区域,采用交互式网格标定实现摄像机的像平面坐标系与世界坐标系的变换;对当前帧进行图像预处理,包括平滑和去噪,通过视觉背景建模算法,提取视频图像中的船舶二值图像区域,用最小外接矩形来拟合二值图像区域,得到运动船舶区域;对每一帧图像的运动船舶区域均采用Kalman滤波器跟踪,得到各个时刻的运动船舶的质心位置,由船舶的质心位置的叠加,用最小二乘法拟合船舶运动的轨迹,确定船舶的主轴;利用Canny算子对各船舶的二值图像区域提取二值图像的轮廓,船舶的主轴与所述轮廓相交得到交点,取所述交点之间连线的长度为船舶的长度,取所述轮廓垂直到主轴的最长距离为船舶的宽度;将得到的船舶长度、宽度与预设的阈值比较,判断该船舶是否超长超宽。
2.根据权利要求1所述的一种基于视频图像的船舶超长超宽检测方法,其特征是,当视频图像中包含多艘船舶时,对每艘船舶提取二值图像区域,并确定各自的主轴,由船舶各自的二值图像区域和主轴计算长度和宽度,判断是否超长超宽。
3.根据权利要求1或2所述的一种基于视频图像的船舶超长超宽检测方法,其特征是具体包括以下步骤:
1)兴趣区域ROI设置:进行河道监控视频图像的采集,获取运动船舶的视频帧图像,根据实际监控场景在当前帧图像上提取多个点,对所提取的点进行直线拟合计算,合并成多边形,多边形内作为检测的兴趣区域ROI,即有效检测区域;
2)摄像机标定:根据摄像机成像模型,采用交互式网格标定实现摄像机的像平面坐标系与世界坐标系的变换;
3)图像预处理:获取视频帧图像,用中值滤波对图像进行图像预处理,包括平滑和去噪;
4)运动检测:通过视觉背景建模算法构建背景图像,比较当前帧与背景图像的相似度,初步确定船舶区域,再利用形态学操作滤除噪声,采用图像的面积特征消除运动目标区域的虚目标,得到当前帧的船舶二值图像区域;
5)目标跟踪:对当前帧中的每个运动船舶均采用Kalman滤波器预测其在下一帧图像中的位置,并更新Kalman滤波器的状态,作为再下一帧跟踪的初始值,具体为:
51)对每帧图像的船舶二值图像区域,采用最小外接矩形来标定得到运动船舶区域;
52)对于每个需要跟踪的运动船舶区域,设置一个Kalman参数结构,设状态变量的选取为(x,y,l,w),其中,(x,y)为运动船舶区域的最小外接矩形的中心在像平面坐标系的 坐标,(l,w)为最小外接矩形的长、宽,由(x,y,l,w)确定运动船舶区域在当前帧的精确位置;开始跟踪时初始化状态变量,设初始中心位置为(x0,y0),初始长宽为(l0,w0);
53)预测运动船舶在下一帧的运动状态以中(xt,yt)为中心的二值图像区域为搜索区域,获取以(xt,yt)为中心的所有最小外接矩形,并计算其相比初始状态变量(x0,y0,l0,w0)的运动船舶区域的中心移动距离和面积变化大小,其中,中心移动距离和面积变化最小的外接矩形为最佳匹配,以最佳匹配对应的运动状态Z=(xvt,yvt,lvt,wvt)作为测量值;
54)利用Z=(xvt,yvt,lvt,wvt)更新Kalman滤波器的状态,并将更新后的状态作为下一轮预测的初始值,重复步骤53)-54);
6)长宽估算:利用Canny算子提取步骤4)中船舶二值图像区域的轮廓,采用最小二乘法拟合步骤5)跟踪得到的运动船舶区域的矩形中心,得到运动船舶航行轨迹,确定船舶的主轴,计算主轴与运动船舶轮廓的交点连线的长度,所得长度为船舶的长度,取轮廓垂直到主轴的最长距离为船舶的宽度;
7)超长、超宽检测:将步骤6)中估算的船舶长、宽与事先设定好的阈值比较,判断该运动船舶是否超长超宽。
4.根据权利要求3所述的一种基于视频图像的船舶超长超宽检测方法,其特征是步骤1)中兴趣区域的提取方法具体为:根据实际监控需要,在当前帧上选取不少于3个点,对获取的点集进行直线拟合,并合并成多边形,多边形内即为检测的兴趣区域。
5.根据权利要求3所述的一种基于视频图像的船舶超长超宽检测方法,其特征是步骤2)中根据摄像机的成像模型,构建摄像机的像平面坐标系u–v与世界坐标系Xw–Yw–Zw的变换关系:
(1)
其中,f为镜头有效焦距,摄像机立柱高度为H,摄像机的俯仰角为q,偏角为p,s为旋角,在交互式网格标定中,调整标定***中的摄像机高度、焦距、俯仰角和偏角,根据所述参数对应的网格与实际摄像视频的对比确认当前参数是否调整准确。
6.根据权利要求3所述的一种基于视频图像的船舶超长超宽检测方法,其特征是步骤4)中提取船舶二值图像区域的方法为:
41)连续采集视频序列的前N帧图像I1,I2,...,IN,将该N帧图像对应像素值作为初始背景模型B的样本,背景模型B(i,j)为:
B(i,j)={I1(i,j),I2(i,j),...,IN(i,j)} (2)
i,j表示像素坐标;
42)根据背景的动态运动程度设置阈值R(i,j),定义一个最小距离的集合D(i,j):
D(i,j)={D1(i,j),D2(i,j),…,DN(i,j)} (3)
其中,Dk(i,j)=min{dist(Im(i,j),It(i,j))},dist(·)表示欧氏距离,k=1,…,N,m=1,…,N,k≠m;
对D(i,j)内元素进行求和平均,得到dmin(i,j)表征背景的动态运动程度,定义为:
通过dmin(i,j)实现R(i,j)的自适应更新,如下式:
其中,α1、α2和η是控制R(i,j)自适应变化的参数,对于静态背景,dmin(i,j)趋于稳定,R(i,j)慢慢减小最终趋于稳定值dmin(i,j)·η,当出现动态背景扰动时,R(i,j)则根据式(5)慢慢增加来适应这一扰动;
43)计算当前帧图像In(i,j)与背景模型B(i,j)的相似度Un(i,j)
44)如果相似度小于设定的阈值Umin,则该像素为前景像素点,设为“1”,否则为背景像素点,设为“0”,得到当前帧的二值图像Fn(i,j):
45)利用形态学操作滤除噪声,采用图像的面积特征消除运动目标区域的虚目标,得到运动船舶二值图像区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410187034.6A CN103996049B (zh) | 2014-05-05 | 2014-05-05 | 一种基于视频图像的船舶超长超宽检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410187034.6A CN103996049B (zh) | 2014-05-05 | 2014-05-05 | 一种基于视频图像的船舶超长超宽检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103996049A true CN103996049A (zh) | 2014-08-20 |
CN103996049B CN103996049B (zh) | 2017-02-15 |
Family
ID=51310210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410187034.6A Expired - Fee Related CN103996049B (zh) | 2014-05-05 | 2014-05-05 | 一种基于视频图像的船舶超长超宽检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103996049B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107133973A (zh) * | 2017-05-12 | 2017-09-05 | 暨南大学 | 一种桥梁防撞***中的船舶检测方法 |
CN107886051A (zh) * | 2017-10-19 | 2018-04-06 | 中国电子科技集团公司第二十八研究所 | 基于图像的船舶身份识别方法 |
CN109686104A (zh) * | 2018-12-31 | 2019-04-26 | 武汉静磁栅机电制造有限公司 | 一种车辆超高检测装置 |
CN110435467A (zh) * | 2019-07-02 | 2019-11-12 | 香港中文大学(深圳) | 船舶停泊充电对接定位方法 |
CN110969898A (zh) * | 2018-09-28 | 2020-04-07 | 杭州海康威视***技术有限公司 | 一种船舶高度的检测方法、装置及*** |
CN111327830A (zh) * | 2020-03-27 | 2020-06-23 | 苏州科达科技股份有限公司 | 图像采集组件的架设参数获取***、方法、装置和存储介质 |
CN111986312A (zh) * | 2020-08-14 | 2020-11-24 | 连云港引航站 | 一种船舶轨迹绘制方法、终端设备及存储介质 |
CN112381870A (zh) * | 2020-11-25 | 2021-02-19 | 河海大学常州校区 | 一种基于双目视觉的船舶识别与航速测量***及方法 |
CN113340909A (zh) * | 2021-08-05 | 2021-09-03 | 常州铭赛机器人科技股份有限公司 | 一种基于机器视觉的胶线缺陷检测方法 |
CN113486797A (zh) * | 2018-09-07 | 2021-10-08 | 百度在线网络技术(北京)有限公司 | 无人车位置检测方法、装置、设备、存储介质及车辆 |
CN113808282A (zh) * | 2021-08-26 | 2021-12-17 | 交通运输部水运科学研究所 | 一种多通航要素数据融合方法 |
CN113990108A (zh) * | 2021-10-22 | 2022-01-28 | 苏交科集团股份有限公司 | 一种船舶优化识别和实时跟踪方法及防撞预警*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007145598A1 (en) * | 2006-06-16 | 2007-12-21 | Fleet Automation Services Pte Ltd | Vessel monitoring system |
CN102270394A (zh) * | 2011-07-07 | 2011-12-07 | 王迅 | 基于激光传感器的船舶交通量监测方法 |
CN102620662A (zh) * | 2012-04-20 | 2012-08-01 | 无锡普智联科高新技术有限公司 | 基于光幕的车辆尺寸自动测量***及其测量方法 |
CN103177587A (zh) * | 2013-03-19 | 2013-06-26 | 天津工业大学 | 一种基于机器视觉的夜间车流量检测方法 |
CN103440499A (zh) * | 2013-08-30 | 2013-12-11 | 北京工业大学 | 基于信息融合的交通波实时检测与跟踪方法 |
-
2014
- 2014-05-05 CN CN201410187034.6A patent/CN103996049B/zh not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007145598A1 (en) * | 2006-06-16 | 2007-12-21 | Fleet Automation Services Pte Ltd | Vessel monitoring system |
CN102270394A (zh) * | 2011-07-07 | 2011-12-07 | 王迅 | 基于激光传感器的船舶交通量监测方法 |
CN102620662A (zh) * | 2012-04-20 | 2012-08-01 | 无锡普智联科高新技术有限公司 | 基于光幕的车辆尺寸自动测量***及其测量方法 |
CN103177587A (zh) * | 2013-03-19 | 2013-06-26 | 天津工业大学 | 一种基于机器视觉的夜间车流量检测方法 |
CN103440499A (zh) * | 2013-08-30 | 2013-12-11 | 北京工业大学 | 基于信息融合的交通波实时检测与跟踪方法 |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107133973A (zh) * | 2017-05-12 | 2017-09-05 | 暨南大学 | 一种桥梁防撞***中的船舶检测方法 |
CN107133973B (zh) * | 2017-05-12 | 2019-12-24 | 暨南大学 | 一种桥梁防撞***中的船舶检测方法 |
CN107886051A (zh) * | 2017-10-19 | 2018-04-06 | 中国电子科技集团公司第二十八研究所 | 基于图像的船舶身份识别方法 |
CN113486797B (zh) * | 2018-09-07 | 2023-08-11 | 百度在线网络技术(北京)有限公司 | 无人车位置检测方法、装置、设备、存储介质及车辆 |
CN113486797A (zh) * | 2018-09-07 | 2021-10-08 | 百度在线网络技术(北京)有限公司 | 无人车位置检测方法、装置、设备、存储介质及车辆 |
CN110969898A (zh) * | 2018-09-28 | 2020-04-07 | 杭州海康威视***技术有限公司 | 一种船舶高度的检测方法、装置及*** |
CN109686104B (zh) * | 2018-12-31 | 2020-12-11 | 武汉静磁栅机电制造有限公司 | 一种车辆超高检测方法 |
CN109686104A (zh) * | 2018-12-31 | 2019-04-26 | 武汉静磁栅机电制造有限公司 | 一种车辆超高检测装置 |
CN110435467B (zh) * | 2019-07-02 | 2021-07-06 | 深圳市人工智能与机器人研究院 | 船舶停泊充电对接定位方法 |
CN110435467A (zh) * | 2019-07-02 | 2019-11-12 | 香港中文大学(深圳) | 船舶停泊充电对接定位方法 |
CN111327830A (zh) * | 2020-03-27 | 2020-06-23 | 苏州科达科技股份有限公司 | 图像采集组件的架设参数获取***、方法、装置和存储介质 |
CN111327830B (zh) * | 2020-03-27 | 2021-08-20 | 苏州科达科技股份有限公司 | 图像采集组件的架设参数获取***、方法、装置和存储介质 |
CN111986312A (zh) * | 2020-08-14 | 2020-11-24 | 连云港引航站 | 一种船舶轨迹绘制方法、终端设备及存储介质 |
CN112381870A (zh) * | 2020-11-25 | 2021-02-19 | 河海大学常州校区 | 一种基于双目视觉的船舶识别与航速测量***及方法 |
CN112381870B (zh) * | 2020-11-25 | 2023-05-23 | 河海大学常州校区 | 一种基于双目视觉的船舶识别与航速测量***及方法 |
CN113340909A (zh) * | 2021-08-05 | 2021-09-03 | 常州铭赛机器人科技股份有限公司 | 一种基于机器视觉的胶线缺陷检测方法 |
CN113808282A (zh) * | 2021-08-26 | 2021-12-17 | 交通运输部水运科学研究所 | 一种多通航要素数据融合方法 |
CN113808282B (zh) * | 2021-08-26 | 2023-09-26 | 交通运输部水运科学研究所 | 一种多通航要素数据融合方法 |
CN113990108A (zh) * | 2021-10-22 | 2022-01-28 | 苏交科集团股份有限公司 | 一种船舶优化识别和实时跟踪方法及防撞预警*** |
Also Published As
Publication number | Publication date |
---|---|
CN103996049B (zh) | 2017-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103996049A (zh) | 一种基于视频图像的船舶超长超宽检测方法 | |
Pérez et al. | Jetstream: Probabilistic contour extraction with particles | |
Ke et al. | Real-time bidirectional traffic flow parameter estimation from aerial videos | |
CN103500338B (zh) | 基于车载激光扫描点云的道路斑马线自动提取方法 | |
CN103413444B (zh) | 一种基于无人机高清视频的交通流调查处理方法 | |
CN105608691B (zh) | 一种高分辨率sar影像单体建筑提取方法 | |
Chen et al. | Next generation map making: Geo-referenced ground-level LIDAR point clouds for automatic retro-reflective road feature extraction | |
CN108615358A (zh) | 一种道路拥堵检测方法及装置 | |
CN106681353A (zh) | 基于双目视觉与光流融合的无人机避障方法及*** | |
CN110379168B (zh) | 一种基于Mask R-CNN的交通车辆信息获取方法 | |
CN104361340A (zh) | 基于显著性检测和聚类的sar图像目标快速检测方法 | |
WO2015096507A1 (zh) | 一种利用山体轮廓区域约束识别定位建筑物的方法 | |
CN103247045A (zh) | 一种从多视图中得到人造场景主方向及图像边缘的方法 | |
CN102222346A (zh) | 一种车辆检测和跟踪方法 | |
CN110197173B (zh) | 一种基于双目视觉的路沿检测方法 | |
CN102592454A (zh) | 一种基于车辆侧面与路面交线检测的交叉口车辆运动参数测量方法 | |
CN103577875A (zh) | 一种基于fast的计算机辅助cad人数统计方法 | |
CN113516853B (zh) | 一种针对复杂监控场景的多车道车流量检测方法 | |
CN115015911B (zh) | 一种基于雷达图像的导航地图制作和使用方法及*** | |
CN110147714A (zh) | 基于无人机的煤矿采空区裂缝识别方法及检测*** | |
CN108416798A (zh) | 一种基于光流的车辆距离估计方法 | |
CN109242019A (zh) | 一种水面光学小目标快速检测与跟踪方法 | |
CN112070756A (zh) | 一种基于无人机倾斜摄影的路面立体病害测量方法 | |
CN115761563A (zh) | 一种基于光流测算的河流表面流速的计算方法及*** | |
CN102722894A (zh) | 一种基于摄像机自动标定的智能视频监控方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170215 |
|
CF01 | Termination of patent right due to non-payment of annual fee |