CN110969576A - 一种基于路侧ptz相机的高速公路路面图像拼接方法 - Google Patents

一种基于路侧ptz相机的高速公路路面图像拼接方法 Download PDF

Info

Publication number
CN110969576A
CN110969576A CN201911107925.5A CN201911107925A CN110969576A CN 110969576 A CN110969576 A CN 110969576A CN 201911107925 A CN201911107925 A CN 201911107925A CN 110969576 A CN110969576 A CN 110969576A
Authority
CN
China
Prior art keywords
camera
road surface
image
road
splicing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911107925.5A
Other languages
English (en)
Other versions
CN110969576B (zh
Inventor
邵春艳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN201911107925.5A priority Critical patent/CN110969576B/zh
Publication of CN110969576A publication Critical patent/CN110969576A/zh
Application granted granted Critical
Publication of CN110969576B publication Critical patent/CN110969576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38Registration of image sequences
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于路侧PTZ相机的高速公路路面图像拼接方法,包括以下步骤:步骤S1:采集不同的太阳光辐照度下高速公路的路面图像,对期望灰度值进行校正得到实际灰度值;步骤S2:计算路面图像的像素精度,并计算虚拟投影面的长距与宽距;步骤S3:基于PTZ相机的扫描预置位,根据虚拟投影面与实际成像区域平面间的变换关系,进行完整路面的路面扫描;步骤S4:根据完整路面的图像序列,进行路面图像拼接,实现对应路段的全幅高速公路路面图像无缝拼接;步骤S5:将所有PTZ相机的完成图像无缝拼接的全幅高速公路路面图像再次拼接,得到该高速公路的全路段图像。与现有技术相比,本发明具有拼接图像精度高、拼接质量更好、减少环境干扰的影响等优点。

Description

一种基于路侧PTZ相机的高速公路路面图像拼接方法
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种基于路侧PTZ相机的高速公路路面图像拼接方法。
背景技术
近年来,随着ITS(Intelligent Transportation Systems,智能交通***)的快速发展,高速公路路侧视频监控技术逐渐成为高速公路养护部门进行决策依据的重要手段。截止2018年年底,我国高速公路总里程已达14.3万公里,其中部分主要省份已经实现了视频监控全覆盖,每时每刻将产生大量的高速公路路面图像数据,这些图像数据对于高速公路的监管以及路况分析具有重要意义。现有高速公路路侧视频监控硬件***采用等距离间隔布设摄像机方式生成,受到摄像机分辨率等因素影响,路侧每摄像机的可视距离有限,能够获取的高速公路路面图像大小有限。因此,可以通过图像拼接技术对每摄像机获取的局部路面图像序列拼接,进而生成全局的路段图像,而全幅高速公路路面图像不仅可视化效果更好,且更利于高速公路监管部门及时做出管理决策。
图像拼接主要指通过图像序列间的覆盖区域将多幅图像组合,生成完整的具有大视角与高分辨率图像的图像处理过程。图像拼接过程中的关键步骤在于图像匹配,而图像匹配的准确度直接制约拼接结果图像的可视化精度与效果。目前主要的图像匹配算法可分为基于区域匹配的方法与基于特征匹配的方法。基于区域的方法根据灰度信息评估匹配图像间的相似性,进而实现图像间的匹配,该方法适用于传统CCD相机获取图像或者跨通道遥感图像间的匹配,但该方法在光照变化显著以及像素灰度不一致等情况下会因为图像间重叠区域的不一致性产生不正确的匹配结果;基于特征匹配的方法首先在待匹配的图像序列上提取特征,然后根据图像间的特征建立图像序列间的相关性,进而实现图像间的匹配,虽然基于特征的匹配方法能够更好地适应场景运动,但是在特征提取以及图像关联性计算过程中无法避免要引入计算误差,如场景成像造成的特征提取精度误差以及计算两幅图像单应阵时的解算误差,这些误差将对图像拼接算法精度造成影响。
发明内容
本发明的目的就是为了克服上述现有技术存在的匹配区域不一致、特征匹配解算误差较大的缺陷而提供一种基于路侧PTZ相机的高速公路路面图像拼接方法。
本发明的目的可以通过以下技术方案来实现:
一种基于路侧PTZ相机的高速公路路面图像拼接方法,包括以下步骤:
步骤S1:采集不同的太阳光辐照度下路侧PTZ相机生成的高速公路的路面图像,计算路面图像中像素的期望灰度值,对所述期望灰度值进行校正得到路面图像中像素的实际灰度值;
步骤S2:根据完成校正的路面图像,计算不同视距、不同相机姿态下路面图像的像素精度,并计算与摄像机的与感光板平面平行的虚拟投影面的长距与宽距;
步骤S3:基于PTZ相机的扫描预置位,根据所述虚拟投影面与实际的成像区域平面间对应边长的变换关系,对相应高速公路路段进行完整路面扫描;
步骤S4:根据扫描生成的完整路面的图像序列,进行路面图像拼接,实现单个PTZ相机对应路段的全幅高速公路路面图像无缝拼接;
步骤S5:将相应高速公路路段上所有PTZ相机的完成图像无缝拼接的全幅高速公路路面图像再次拼接,得到该高速公路的全路段图像。
所述太阳光辐照度通过最小二乘法计算出与所述路面图像的灰度值的对应关系,根据所述对应关系对期望灰度值进行校正。
所述步骤S2中像素精度的计算过程具体包括:
步骤S201:对获取的不同视距下的包含车道线的高速公路的路面图像进行直段线提取并细化,得到直线段集;
步骤S202:根据相机成像原理,建立相机姿态参数{αiii}、相机视距参数、图像上直线段像素长度以及对应实际直线段长度间的对应方程,所述对应方程具体如下:
Figure BDA0002271867290000021
其中,{αiii}分别代表相机进行路面扫描时沿车道方向与立柱间夹角、相机相对光轴的旋转角以及沿车道面垂直方向与立柱间夹角,f为进行高速公路路面图像采集时PTZ相机的焦距,di为相机视距参数,lij为路面图像上直线段li的像素长度,olij为lij对应线段到图像中心像素的像素长度,w为直线段li对应实际长度,sij为感光板平行平面的中心位置距离路面的物理距离,wi为路面图像对应的相机姿态角为{αiii}时路面图像上的水平方向线段的倾斜角,h为PTZ相机距离实际路面的高度;
步骤S203:根据所述步骤S201中得到直线段集进行计算,得到路面图像的像素精度,计算公式具体如下:
Figure BDA0002271867290000031
其中,api为路面图像的像素精度,m为直线段集中直线段的数量。
所述倾斜角wi具体为:
Figure BDA0002271867290000032
其中,
Figure BDA0002271867290000033
Figure BDA0002271867290000034
分别为路侧PTZ相机在不同视距下,相机姿态参数中β=0和γ=0时生成的虚拟投影面的长距与宽距。
所述虚拟投影面的长距与宽距的计算方式具有如下关系:
Figure BDA0002271867290000035
其中,Cl和Cw分别为路面图像的长距与宽距。
所述步骤S3具体如下:
步骤S301:根据路侧PTZ相机扫描高速公路的初始位置给出的位置距离信息,调整路侧PTZ相机的预置位对应的相机姿态参数,使所述预置位处于成像平面的中心处,调整后的相机姿态参数具体如下:
Figure BDA0002271867290000036
Figure BDA0002271867290000037
β1=0
其中,Sh为沿车道线方向初始位置距离路侧PTZ相机所在立柱的距离,Sv为沿车道垂直方向初始位置距离路侧PTZ相机所在立柱的距离;
步骤S302:根据调整后的相机姿态参数{α111},计算路侧PTZ相机的初始扫描区域的视场区域面积,具体计算公式如下:
Figure BDA0002271867290000041
其中,
Figure BDA0002271867290000042
Figure BDA0002271867290000043
分别为路侧PTZ相机在不同视距下,相机姿态参数为{α111}时生成的虚拟投影面的长距与宽距;
步骤S303:路侧PTZ相机沿车道垂直方向依次扫描路面,相机姿态参数γj根据扫描情况实时变化,所述相机姿态参数γj满足转动约束条件如下所示:
Figure BDA0002271867290000044
其中,γj为路侧PTZ相机进行路面扫描时沿车道面垂直方向与立柱间夹角;
当γj+1满足第一停止条件时路侧PTZ相机停止扫描,具体第一停止条件如下:
Figure BDA0002271867290000045
其中,Lh为当前高速公路路面宽度;
步骤S304:路侧PTZ相机沿车道方向依次扫描路面,相机姿态参数αi根据扫描情况实时变化,所述相机姿态参数αi满足转动约束条件如下所示:
Figure BDA0002271867290000046
其中,αi为路侧PTZ相机进行路面扫描时沿车道方向扫描时与立柱间夹角;
步骤S305:路侧PTZ相机沿与所述步骤S303相反的车道垂直方向依次扫描路面,相机姿态参数γj根据扫描情况实时变化,所述相机姿态参数γj转动约束条件同步骤S303;
步骤S306:判断αi是否满足第二停止条件,若否将重新执行步骤S303-S305;若是则生成对应高速公路的路面扫描结果的图像序列,所述第二停止条件具体为:
Figure BDA0002271867290000051
其中,Lv为当前高速公路路段上路侧PTZ相机的安装间距。
所述单个PTZ相机对应路段的全幅高速公路路面图像无缝拼接的拼接方法具体如下:
Figure BDA0002271867290000052
其中,Img为当前高速公路路段的全幅高速公路路面图像,ASij{i=1,2,…,n,j=1,2,…,m}为当前高速公路的路面扫描结果的图像序列。
所述所有PTZ相机的完成图像无缝拼接的全幅高速公路路面图像进行再次拼接的方法如下所示:
I=[Img1 Img2 … Imgk]
其中,I为高速公路全路段图像,Imgi{i=1,2,…,k}为完成图像无缝拼接的PTZ相机的全幅高速公路路面图像。
与现有技术相比,本发明具有以下有益效果:
1.现有图像拼接技术属于逆向工程范畴,通过计算相邻图像间的匹配关系进行图像拼接。这种计算方式,不可避免将引入计算误差,如特征提取的计算误差、图像匹配关系的计算误差等,进而导致图像拼接结果精度、拼接质量有限。本发明中的图像拼接方法属于正向工程范畴,通过分析成像原理,计算PTZ相机的控制参数,以固定的扫描方式获取图像,扫描结果图像可直接进行拼接,拼接图像精度高、拼接质量更好。
2.现有高速公路路面图像拼接方法,大部分基于安装视觉传感器的自动巡检车等移动式装置,其图像采集环境受光照、动态场景干扰,图像的稳定性以及拼接结果的精度均有待提高。本发明无需增加额外移动式传感装置,以固定式路侧PTZ相机作为图像采集手段,减少了光照、动态环境干扰。
3.现有高速公路路面图像拼接方法由于精度制约,同时移动式图像采集传感装置进行路面图像扫描时需要耗费较大的高速公路作业量,影响正常的交通状态,从而无法进行大范围工程化实施。本发明可以直接对装有路侧PTZ相机的高速公路路段进行PTZ相机二次开发,提出的图像拼接方法可嵌入其路侧视频监控***,无需增加高速公路工程作业量,满足ITS智能化发展需求。
附图说明
图1为本发明的流程示意图;
图2为本发明图像拼接方法主要原理及应用场景的示意图;
图3为本发明路侧PTZ相机在不同姿态下产生的成像平面在高速公路路面投影变化关系示意图;
图4为本发明高速公路路面沿车道垂直方向进行扫描时引起的光轴变化以及投影平面中心点间变化关系的示意图;
图5为本发明高速公路路面沿车道方向进行扫描时引起的光轴变化以及投影平面中心点间变化关系的示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
如图1所示,一种基于路侧PTZ相机的高速公路路面图像拼接方法,包括以下步骤:
步骤S1:根据高速公路路侧PTZ相机采集的不同太阳光辐照度条件下、不同相机视距下的的高速公路路面图像,进行路面图像像素非均匀校正;
步骤S2:根据完成校正的路面图像,计算不同视距、不同相机姿态下路面图像的像素精度,由像素精度计算得到与摄像机感光板平面平行的虚拟投影面的距离参数;
步骤S3:基于PTZ相机的扫描预置位,根据虚拟投影面与实际的成像区域平面间对应边长的变换关系,对相应高速公路路段进行完整路面扫描;
步骤S4:根据扫描生成的完整路面的图像序列,进行路面图像拼接,实现单个PTZ相机对应路段的全幅高速公路路面图像无缝拼接;
步骤S5:将相应高速公路路段上所有PTZ相机的完成图像无缝拼接的全幅高速公路路面图像再次拼接,得到该高速公路的全路段图像。
如图2所示,步骤S1具体包括:
步骤S101:通过高速公路路侧PTZ相机,采集不同太阳光辐照度(当天不同时刻、不同天气情况等条件)、不同相机视距下的高速公路路面图像,且这些图像包含完整的路面车道线信息;
步骤S102:根据步骤S101中获得的高速公路的路面图像,计算成像感光板所有像素的灰度值,根据公式计算路面图像的像素相应的灰度值的期望Eq,具体公式为:
Figure BDA0002271867290000071
其中,xi={0,1,2…,255}为路面图像的像素灰度值,pi为该灰度值在路面图像中出现的概率;
步骤S103:根据不同的太阳光辐照度以及对应的路面图像的灰度值期望,采用最小二乘法求取太阳辐照度与灰度值期望的参数估计,具体计算公式如下:
Eq=αqE+σq
其中,αq与σq为路侧PTZ相机成像时成像感光板的感光系数参数估计与电荷量参数估计,E为太阳光辐照度;
步骤S104:采用最小二乘法对不同视距下采集的高速公路路面图像上每像素的感光系数参数与电荷电参数估计,得到如下关系:
Eq=αiE+σi
其中,αi与σi为路侧PTZ相机成像时成像感光板每个像素的感光系数参数估计与电荷量参数估计;
步骤S105:将步骤S104的计算结果代入步骤S103中,计算得到路面图像的像素对应的实际灰度估计值,计算公式具体如下:
Figure BDA0002271867290000072
其中,Eqi为路面图像的像素对应的实际灰度估计值。
步骤S2中像素精度的计算过程具体包括:
步骤S201:对获取的不同视距下的包含车道线的高速公路的路面图像进行直段线提取并细化,得到直线段集;
步骤S202:根据相机成像原理,建立相机姿态参数{αiii}、相机视距参数、图像上直线段像素长度以及对应实际直线段长度间的对应方程,对应方程具体如下:
Figure BDA0002271867290000081
其中,{αiii}分别代表相机进行路面扫描时沿车道方向与立柱间夹角、相机相对光轴的旋转角以及沿车道面垂直方向与立柱间夹角,f为进行高速公路路面图像采集时PTZ相机的焦距,di为相机视距参数,lij为路面图像上直线段li的像素长度,olij为lij对应线段到图像中心像素的像素长度,w为直线段li对应实际长度,sij为感光板平行平面的中心位置距离路面的物理距离,wi为路面图像对应的相机姿态角为{αiii}时路面图像上的水平方向线段的倾斜角,h为PTZ相机距离实际路面的高度;
倾斜角wi具体为:
Figure BDA0002271867290000082
其中,
Figure BDA0002271867290000083
Figure BDA0002271867290000084
分别为路侧PTZ相机在不同视距下,相机姿态参数中β=0和γ=0时生成的虚拟投影面的长距与宽距;
虚拟投影面的长距与宽距和镜头焦距以及路面图像的长距与宽距具有如下关系:
Figure BDA0002271867290000085
其中,Cl和Cw分别为路面图像的长距与宽距;
步骤S203:根据步骤S201中得到直线段集进行计算,得到路面图像的像素精度,计算公式具体如下:
Figure BDA0002271867290000086
其中,api为路面图像的像素精度,m为直线段集中直线段的数量;
不同视距下产生的虚拟投影面的长距和宽距可由该视距下的图像像素精度与图像长宽计算得到,具体计算公式如下:
Figure BDA0002271867290000087
步骤S3具体如下:
步骤S301:根据路侧PTZ相机扫描高速公路的初始位置Oi给出的位置距离信息,调整路侧PTZ相机的预置位对应的相机姿态参数,使预置位Oi处于成像平面的中心处,即预置位Oi为路侧PTZ相机光心O在路面的实际投影点,调整后的相机姿态参数具体如下:
Figure BDA0002271867290000091
Figure BDA0002271867290000092
β1=0
其中,Sh为沿车道线方向初始位置距离路侧PTZ相机所在立柱的距离,Sv为沿车道垂直方向初始位置距离路侧PTZ相机所在立柱的距离;
步骤S302:根据调整后的相机姿态参数{α111},计算路侧PTZ相机的初始扫描区域的视场区域面积,具体计算公式如下:
Figure BDA0002271867290000093
其中,
Figure BDA0002271867290000094
Figure BDA0002271867290000095
分别为路侧PTZ相机在不同视距下,相机姿态参数为{α111}时生成的虚拟投影面的长距与宽距;
如图3所示,路侧PTZ相机在高速公路路面虚拟投影面CAiCBiCCiCDi与实际的成像区域平面RAiRBiRCiRDi间对应边长的变换关系如下:
Figure BDA0002271867290000096
Figure BDA0002271867290000097
步骤S303:路侧PTZ相机沿车道垂直方向依次扫描路面,相机姿态参数γj根据扫描情况实时变化,如图4所示,当γj变化时,两相邻两幅扫描图像间的间隔需满足间隔条件来保证其无缝连接,具体间隔条件如下:
Figure BDA0002271867290000098
其中,Oj和Oj+1为路侧PTZ相机沿车道垂直方向扫描时相机光心在路面上的实际投影点,
相机姿态参数γj满足转动约束条件如下所示:
Figure BDA0002271867290000101
其中,γj为路侧PTZ相机进行路面扫描时沿车道面垂直方向与立柱间夹角;
当γj+1满足第一停止条件时路侧PTZ相机停止扫描,具体第一停止条件如下:
Figure BDA0002271867290000102
其中,Lh为当前高速公路路面宽度;
步骤S304:路侧PTZ相机沿车道方向依次扫描路面,相机姿态参数αi根据扫描情况实时变化,如图5所示,当αi变化时,两相邻两幅扫描图像间的间隔需满足间隔条件来保证其无缝连接,具体间隔条件如下:
Figure BDA0002271867290000103
其中,Oi和Oi+1为路侧PTZ相机沿车道方向扫描路面时相机光心在路面实际投影点,
相机姿态参数αi满足转动约束条件如下所示:
Figure BDA0002271867290000104
其中,αi为路侧PTZ相机进行路面扫描时沿车道方向扫描时与立柱间夹角;
步骤S305:路侧PTZ相机沿与步骤S303相反的车道垂直方向依次扫描路面,相机姿态参数γj根据扫描情况实时变化,相机姿态参数γj转动约束条件同步骤S303;
步骤S306:判断αi是否满足第二停止条件,若否将重新执行步骤S303-S305;若是则生成对应高速公路的路面扫描结果的图像序列,第二停止条件具体为:
Figure BDA0002271867290000105
其中,Lv为当前高速公路路段上路侧PTZ相机的安装间距。
单个PTZ相机对应路段的全幅高速公路路面图像无缝拼接的拼接方法具体如下:
Figure BDA0002271867290000111
其中,Img为当前高速公路路段的全幅高速公路路面图像,ASij{i=1,2,…,n,j=1,2,…,m}为当前高速公路的路面扫描结果的图像序列。
所有PTZ相机的完成图像无缝拼接的全幅高速公路路面图像进行再次拼接的方法如下所示:
I=[Img1 Img2 … Imgk]
其中,I为高速公路全路段图像,Imgi{i=1,2,…,k}为完成图像无缝拼接的PTZ相机的全幅高速公路路面图像。
本发明提出的基于路侧PTZ相机控制方法的高速公路路面图像拼接方法,在扫描过程中为保持成像区域间的连接一致性,并未对其成像感光平面进行旋转,即上述实例均在相机姿态参数βi=0时条件下执行得到。当路侧PTZ相机姿态参数βi变化时,图3中生成的成像区域平面RAiRBiRCiRDi的每边长仍具有上述实际关系,但平面上所有点在该平面上产生了βi大小的转动。这部分内容虽不在本发明中进一步阐述,但其仍属本发明保护范围。
此外,需要说明的是,本说明书中所描述的具体实施例,所取名称可以不同,本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等小变化或者简单变化,均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法,只要不偏离本发明的结构或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。

Claims (8)

1.一种基于路侧PTZ相机的高速公路路面图像拼接方法,其特征在于,包括以下步骤:
步骤S1:采集不同的太阳光辐照度下路侧PTZ相机生成的高速公路的路面图像,计算路面图像中像素的期望灰度值,对所述期望灰度值进行校正得到路面图像中像素的实际灰度值;
步骤S2:根据完成校正的路面图像,计算不同视距、不同相机姿态下路面图像的像素精度,并计算与摄像机的与感光板平面平行的虚拟投影面的长距与宽距;
步骤S3:基于PTZ相机的扫描预置位,根据所述虚拟投影面与实际的成像区域平面间对应边长的变换关系,对相应高速公路路段进行完整路面的路面扫描;
步骤S4:根据扫描生成的完整路面的图像序列,进行路面图像拼接,实现单个PTZ相机对应路段的全幅高速公路路面图像无缝拼接;
步骤S5:将相应高速公路路段上所有PTZ相机的完成图像无缝拼接的全幅高速公路路面图像再次拼接,得到该高速公路的全路段图像。
2.根据权利要求1所述的一种基于路侧PTZ相机的高速公路路面图像拼接方法,其特征在于,所述太阳光辐照度通过最小二乘法计算出与所述路面图像的灰度值的对应关系,根据所述对应关系对期望灰度值进行校正。
3.根据权利要求1所述的一种基于路侧PTZ相机的高速公路路面图像拼接方法,其特征在于,所述步骤S2中像素精度的计算过程具体包括:
步骤S201:对获取的不同视距下的包含车道线的高速公路的路面图像进行直段线提取并细化,得到直线段集;
步骤S202:根据相机成像原理,建立相机姿态参数{αiii}、相机视距参数、图像上直线段像素长度以及对应实际直线段长度间的对应方程,所述对应方程具体如下:
Figure FDA0002271867280000011
其中,{αiii}分别代表相机进行路面扫描时沿车道方向与立柱间夹角、相机相对光轴的旋转角以及沿车道面垂直方向与立柱间夹角,f为进行高速公路路面图像采集时PTZ相机的焦距,di为相机视距参数,lij为路面图像上直线段li的像素长度,olij为lij对应线段到图像中心像素的像素长度,w为直线段li对应实际长度,sij为感光板平行平面的中心位置距离路面的物理距离,wi为路面图像对应的相机姿态角为{αiii}时路面图像上的水平方向线段的倾斜角,h为PTZ相机距离实际路面的高度;
步骤S203:根据所述步骤S201中得到直线段集进行计算,得到路面图像的像素精度,计算公式具体如下:
Figure FDA0002271867280000021
其中,api为路面图像的像素精度,m为直线段集中直线段的数量。
4.根据权利要求3所述的一种基于路侧PTZ相机的高速公路路面图像拼接方法,其特征在于,所述倾斜角wi具体为:
Figure FDA0002271867280000022
其中,
Figure FDA0002271867280000023
Figure FDA0002271867280000024
分别为路侧PTZ相机在不同视距下,相机姿态参数中β=0和γ=0时生成的虚拟投影面的长距与宽距。
5.根据权利要求4所述的一种基于路侧PTZ相机的高速公路路面图像拼接方法,其特征在于,所述虚拟投影面的长距与宽距的计算方式具有如下关系:
Figure FDA0002271867280000025
其中,Cl和Cw分别为路面图像的长距与宽距。
6.根据权利要求4所述的一种基于路侧PTZ相机的高速公路路面图像拼接方法,其特征在于,所述步骤S3具体如下:
步骤S301:根据路侧PTZ相机扫描高速公路的初始位置给出的位置距离信息,调整路侧PTZ相机的预置位对应的相机姿态参数,使所述预置位处于成像平面的中心处,调整后的相机姿态参数具体如下:
Figure FDA0002271867280000027
其中,Sh为沿车道线方向初始位置距离路侧PTZ相机所在立柱的距离,Sv为沿车道垂直方向初始位置距离路侧PTZ相机所在立柱的距离;
步骤S302:根据调整后的相机姿态参数{α111},计算路侧PTZ相机的初始扫描区域的视场区域面积,具体计算公式如下:
Figure FDA0002271867280000031
其中,
Figure FDA0002271867280000032
Figure FDA0002271867280000033
分别为路侧PTZ相机在不同视距下,相机姿态参数为{α111}时生成的虚拟投影面的长距与宽距;
步骤S303:路侧PTZ相机沿车道垂直方向依次扫描路面,相机姿态参数γj根据扫描情况实时变化,所述相机姿态参数γj满足转动约束条件如下所示:
Figure FDA0002271867280000034
其中,γj为路侧PTZ相机进行路面扫描时沿车道面垂直方向与立柱间夹角;
当γj+1满足第一停止条件时路侧PTZ相机停止扫描,具体第一停止条件如下:
Figure FDA0002271867280000035
其中,Lh为当前高速公路路面宽度;
步骤S304:路侧PTZ相机沿车道方向依次扫描路面,相机姿态参数αi根据扫描情况实时变化,所述相机姿态参数αi满足转动约束条件如下所示:
Figure FDA0002271867280000036
其中,αi为路侧PTZ相机进行路面扫描时沿车道方向扫描时与立柱间夹角;
步骤S305:路侧PTZ相机沿与所述步骤S303相反的车道垂直方向依次扫描路面,相机姿态参数γj根据扫描情况实时变化,所述相机姿态参数γj转动约束条件同步骤S303;
步骤S306:判断αi是否满足第二停止条件,若否将重新执行步骤S303-S305;若是则生成对应高速公路的路面扫描结果的图像序列,所述第二停止条件具体为:
Figure FDA0002271867280000041
其中,Lv为当前高速公路路段上路侧PTZ相机的安装间距。
7.根据权利要求6所述的一种基于路侧PTZ相机的高速公路路面图像拼接方法,其特征在于,所述单个PTZ相机对应路段的全幅高速公路路面图像无缝拼接的拼接方法具体如下:
Figure FDA0002271867280000042
其中,Img为当前高速公路路段的全幅高速公路路面图像,ASij{i=1,2,…,n,j=1,2,…,m}为当前高速公路的路面扫描结果的图像序列。
8.根据权利要求7所述的一种基于路侧PTZ相机的高速公路路面图像拼接方法,其特征在于,所述所有PTZ相机的完成图像无缝拼接的全幅高速公路路面图像进行再次拼接的方法如下所示:
I=[Img1 Img2…Imgk]
其中,I为高速公路全路段图像,Imgi{i=1,2,…,k}为完成图像无缝拼接的PTZ相机的全幅高速公路路面图像。
CN201911107925.5A 2019-11-13 2019-11-13 一种基于路侧ptz相机的高速公路路面图像拼接方法 Active CN110969576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911107925.5A CN110969576B (zh) 2019-11-13 2019-11-13 一种基于路侧ptz相机的高速公路路面图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911107925.5A CN110969576B (zh) 2019-11-13 2019-11-13 一种基于路侧ptz相机的高速公路路面图像拼接方法

Publications (2)

Publication Number Publication Date
CN110969576A true CN110969576A (zh) 2020-04-07
CN110969576B CN110969576B (zh) 2021-09-03

Family

ID=70030705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911107925.5A Active CN110969576B (zh) 2019-11-13 2019-11-13 一种基于路侧ptz相机的高速公路路面图像拼接方法

Country Status (1)

Country Link
CN (1) CN110969576B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111800576A (zh) * 2020-07-01 2020-10-20 河北中创广电科技有限公司 一种快速定位云台摄像机拍摄画面的方法及装置
CN112991175A (zh) * 2021-03-18 2021-06-18 中国平安人寿保险股份有限公司 一种基于单ptz摄像头的全景图片生成方法及设备

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404726A (zh) * 2008-10-20 2009-04-08 深圳华为通信技术有限公司 一种远端摄像机的控制方法、***和装置
WO2010114117A1 (ja) * 2009-04-03 2010-10-07 株式会社日立ハイテクノロジーズ 合成画像作成方法及び装置
CN102148965A (zh) * 2011-05-09 2011-08-10 上海芯启电子科技有限公司 多目标跟踪特写拍摄视频监控***
WO2012048173A2 (en) * 2010-10-07 2012-04-12 Siemens Corporation Multi-sensor system for high performance and reconfigurable outdoor surveillance
WO2012164542A2 (en) * 2011-06-03 2012-12-06 Nokia Corporation Method, apparatus and computer program product for visualizing whole streets based on imagery generated from panoramic street views
US20120327220A1 (en) * 2011-05-31 2012-12-27 Canon Kabushiki Kaisha Multi-view alignment based on fixed-scale ground plane rectification
CN103714343A (zh) * 2013-12-31 2014-04-09 南京理工大学 线激光器照明条件下双线阵相机采集的路面图像拼接及匀化方法
CN104301674A (zh) * 2014-09-28 2015-01-21 北京正安融翰技术有限公司 一种基于视频特征匹配的全景监控与ptz摄像机联动方法
CN104463886A (zh) * 2014-12-18 2015-03-25 西南交通大学 一种线阵相机拍摄图像的处理方法及装置
CN104639916A (zh) * 2015-03-04 2015-05-20 合肥巨清信息科技有限公司 一种大场景多目标跟踪拍摄视频监控***及其监控方法
CN104992406A (zh) * 2015-06-16 2015-10-21 华南理工大学 一种不封闭交通的公路桥面图像获取方法
CN107992837A (zh) * 2017-12-12 2018-05-04 公安部交通管理科学研究所 基于单个ptz监控摄像机的道路全景建模与车辆检测跟踪方法
CN108171695A (zh) * 2017-12-29 2018-06-15 安徽农业大学 一种基于图像处理的高速公路路面检测方法
CN108280450A (zh) * 2017-12-29 2018-07-13 安徽农业大学 一种基于车道线的高速公路路面检测方法
CN108769530A (zh) * 2018-06-19 2018-11-06 朱炳强 图像采集处理设备和图像采集处理方法
CN109242772A (zh) * 2018-08-23 2019-01-18 上海圭目机器人有限公司 基于智能平台面阵相机采集的机场道面表面图像拼接方法
CN109447901A (zh) * 2018-10-12 2019-03-08 北京双髻鲨科技有限公司 一种全景成像方法和装置
CN109618093A (zh) * 2018-12-14 2019-04-12 深圳市云宙多媒体技术有限公司 一种全景视频直播方法及***
CN109982049A (zh) * 2019-04-04 2019-07-05 郑州和光电子科技有限公司 一种全景融合显控***及显控方法
CN110378879A (zh) * 2019-06-26 2019-10-25 杭州电子科技大学 一种桥梁裂缝检测方法

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101404726A (zh) * 2008-10-20 2009-04-08 深圳华为通信技术有限公司 一种远端摄像机的控制方法、***和装置
WO2010114117A1 (ja) * 2009-04-03 2010-10-07 株式会社日立ハイテクノロジーズ 合成画像作成方法及び装置
WO2012048173A2 (en) * 2010-10-07 2012-04-12 Siemens Corporation Multi-sensor system for high performance and reconfigurable outdoor surveillance
CN102148965A (zh) * 2011-05-09 2011-08-10 上海芯启电子科技有限公司 多目标跟踪特写拍摄视频监控***
US20120327220A1 (en) * 2011-05-31 2012-12-27 Canon Kabushiki Kaisha Multi-view alignment based on fixed-scale ground plane rectification
WO2012164542A2 (en) * 2011-06-03 2012-12-06 Nokia Corporation Method, apparatus and computer program product for visualizing whole streets based on imagery generated from panoramic street views
CN103714343A (zh) * 2013-12-31 2014-04-09 南京理工大学 线激光器照明条件下双线阵相机采集的路面图像拼接及匀化方法
CN104301674A (zh) * 2014-09-28 2015-01-21 北京正安融翰技术有限公司 一种基于视频特征匹配的全景监控与ptz摄像机联动方法
CN104463886A (zh) * 2014-12-18 2015-03-25 西南交通大学 一种线阵相机拍摄图像的处理方法及装置
CN104639916A (zh) * 2015-03-04 2015-05-20 合肥巨清信息科技有限公司 一种大场景多目标跟踪拍摄视频监控***及其监控方法
CN104992406A (zh) * 2015-06-16 2015-10-21 华南理工大学 一种不封闭交通的公路桥面图像获取方法
CN107992837A (zh) * 2017-12-12 2018-05-04 公安部交通管理科学研究所 基于单个ptz监控摄像机的道路全景建模与车辆检测跟踪方法
CN108171695A (zh) * 2017-12-29 2018-06-15 安徽农业大学 一种基于图像处理的高速公路路面检测方法
CN108280450A (zh) * 2017-12-29 2018-07-13 安徽农业大学 一种基于车道线的高速公路路面检测方法
CN108769530A (zh) * 2018-06-19 2018-11-06 朱炳强 图像采集处理设备和图像采集处理方法
CN109242772A (zh) * 2018-08-23 2019-01-18 上海圭目机器人有限公司 基于智能平台面阵相机采集的机场道面表面图像拼接方法
CN109447901A (zh) * 2018-10-12 2019-03-08 北京双髻鲨科技有限公司 一种全景成像方法和装置
CN109618093A (zh) * 2018-12-14 2019-04-12 深圳市云宙多媒体技术有限公司 一种全景视频直播方法及***
CN109982049A (zh) * 2019-04-04 2019-07-05 郑州和光电子科技有限公司 一种全景融合显控***及显控方法
CN110378879A (zh) * 2019-06-26 2019-10-25 杭州电子科技大学 一种桥梁裂缝检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
江铁,等: "全景图像拼接技术研究现状综述", 《重庆工商大学学报(自然科学版)》 *
韩守兵等: "多车道路面图像拼接技术在道路养护中的应用", 《公路交通科技应用技术版》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111800576A (zh) * 2020-07-01 2020-10-20 河北中创广电科技有限公司 一种快速定位云台摄像机拍摄画面的方法及装置
CN112991175A (zh) * 2021-03-18 2021-06-18 中国平安人寿保险股份有限公司 一种基于单ptz摄像头的全景图片生成方法及设备
CN112991175B (zh) * 2021-03-18 2024-04-02 中国平安人寿保险股份有限公司 一种基于单ptz摄像头的全景图片生成方法及设备

Also Published As

Publication number Publication date
CN110969576B (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN113780312B (zh) 一种高速公路路面状况检测***
CN110244766B (zh) 一种光伏电站无人机巡检航线的规划方法及***
CN112800911B (zh) 一种路面损伤快速检测及自然数据集构建方法
CN101118648A (zh) 交通监视环境下的路况摄像机标定方法
CN102867414A (zh) 一种基于ptz摄像机快速标定的车辆排队长度测量方法
CN110969576B (zh) 一种基于路侧ptz相机的高速公路路面图像拼接方法
CN116182805A (zh) 基于遥感图像的国土测绘方法
CN105321342A (zh) 一种基于航拍视频的交叉口车辆排队长度检测方法
CN112348775B (zh) 基于车载环视的路面坑塘检测***及方法
CN110444043B (zh) 一种基于定位技术的停车位巡检***及其方法
CN115937288A (zh) 一种变电站三维场景模型构建方法
CN104180794B (zh) 数字正射影像拉花区域的处理方法
CN104992406A (zh) 一种不封闭交通的公路桥面图像获取方法
CN116129067A (zh) 一种基于多源地理信息耦合的城市实景三维建模方法
US20230177724A1 (en) Vehicle to infrastructure extrinsic calibration system and method
CN114120236A (zh) 对低空目标进行识别定位的方法
CN109509368A (zh) 一种基于车顶模型的停车行为算法
CN110415299B (zh) 一种运动约束下基于设定路牌的车辆位置估计方法
CN116824079A (zh) 基于全信息摄影测量的三维实体模型构建方法和装置
CN115457780B (zh) 一种基于先验知识集合的车流量流速自动测算方法及***
CN110969103B (zh) 一种基于ptz相机的高速公路路面病害长度测量方法
CN101329453A (zh) 一种基于光纤的大视场高分辨率成像装置及其拼接方法
CN116051742A (zh) 一种基于倾斜摄影数据与点云数据融合的建模方法及***
CN110081828B (zh) 机器视觉盾尾间隙检测图像网格特征点可靠性过滤方法
Wang et al. CrackSense: A CrowdSourcing Based urban road crack detection system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant