CN109167956B - 全桥面移动荷载空间分布监测*** - Google Patents
全桥面移动荷载空间分布监测*** Download PDFInfo
- Publication number
- CN109167956B CN109167956B CN201810487110.3A CN201810487110A CN109167956B CN 109167956 B CN109167956 B CN 109167956B CN 201810487110 A CN201810487110 A CN 201810487110A CN 109167956 B CN109167956 B CN 109167956B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- bridge
- dynamic weighing
- full
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 62
- 238000009826 distribution Methods 0.000 title claims abstract description 37
- 238000005303 weighing Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000004927 fusion Effects 0.000 claims abstract description 19
- 230000010365 information processing Effects 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 238000005516 engineering process Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 31
- 230000000007 visual effect Effects 0.000 claims description 22
- 238000005259 measurement Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 8
- 238000012805 post-processing Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 4
- 210000001503 joint Anatomy 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 2
- 239000000203 mixture Substances 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000004891 communication Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于动态称重和多视频信息融合的全桥面移动荷载空间分布监测***，在桥面起始位置布设动态称重***获取移动荷载的车重信息，沿桥布置多个摄像头获取覆盖全桥面的交通流视频信息，相邻两个摄像头的视野存在重叠区域，现场布置信息采集和网络通讯***，并在云端部署信息处理分析总控***，结合卡尔曼滤波技术和视野分界线法对视界内车辆轨迹和位置进行跟踪，并按照车辆跨越动态称重***压电传感器所在线槽的时间将动态称重与监控多视频信息进行融合，实现对全桥面范围内的移动荷载的大小和位置地准确实时识别。本发明的优点是计算速度快，识别精度高，适用于各类桥梁桥面或路面移动车辆荷载在指定区域的全覆盖监测。
Description
技术领域
本发明涉及桥梁健康监测领域，特别涉及一种基于动态称重和多视频信息融合的全桥面移动荷载空间分布监测***及其监测方法。
背景技术
车辆荷载是公路桥梁所承受的主要可变荷载。随着交通产业的快速发展，在交通流量快速增长的同时超载车辆数量也明显增加。车辆超载和交通荷载的反复作用已成为影响桥梁运行安全和缩短桥梁服务寿命的主要原因。因此，准确识别桥面移动荷载的大小和位置变得非常重要。
对于移动车辆荷载的识别，目前主要手段有两种。第一种是利用动态称重***获取车辆的车重、轴重和车速等数据进行直接识别，这种方法仅仅能够获得桥梁单个截面的荷载分布；另一种以梁为基本力学模型，通过第一解析法(IMI)、第二解析法(IMII)、时域法(TDM)和频时域法(FTDM)等间接手段识别，这些方法在理想情况下，或者说在结构足够简单情况下可以有效识别荷载的大小。然而，这两类方法均无法实现荷载在桥面空间分布的识别。
目前，动态称重***和视频监控***广泛应用于桥梁的交通管理和安全监控中，特别是对于大跨度桥梁，顺桥向常常布置多个摄像机进行监控。由于单个摄像头的监控范围有限，所以必须设置多个摄像机以完成全桥面的连续监控。然而，目前的多摄像机监控手段仍然属于多个单摄像机监控的组合，摄像机之间并没有建立有效的联系。
目前，尚未有一种融合动态称重***和多摄像机监控信息的方法，基于以上所述背景，需要发明一种融合动态称重***和多摄像头监控信息的监测***，实现全桥面车辆荷载实时分布的有效监控。
发明内容
本发明所要解决的技术问题是要提供一种识别精度高的基于动态称重和多视频信息融合的全桥面移动荷载空间分布监测***。
为了解决以上的技术问题，本发明提供了一种基于动态称重和多视频信息融合的全桥面移动荷载空间分布监测***，在桥面起始位置布设动态称重***获取移动荷载的车重信息，沿桥布置多个摄像头获取覆盖全桥面的交通流视频信息，相邻两个摄像头的视野存在重叠区域，现场布置信息采集和网络通讯***，并在云端部署信息处理分析总控***，结合卡尔曼滤波技术和视野分界线法对视界内车辆轨迹和位置进行跟踪，并按照车辆跨越动态称重***压电传感器所在线槽的时间将动态称重与监控多视频信息进行融合，实现对全桥面范围内的移动荷载的大小和位置地准确实时识别。
本发明还提供了一种基于动态称重和多视频信息融合的全桥面移动荷载空间分布监测***的监测方法，包括如下的步骤：
步骤1：根据车辆通过动态称重***的时间将首个相机监控视频与动态称重***测量信息进行融合；
步骤2：建立图像坐标和桥面坐标进行转换；
步骤3：单个摄像机移动目标的检测；
步骤4：根据卡尔曼滤波技术实现单摄像机目标的跟踪；
步骤5：根据视野分界线实现不同视野中相同目标的匹配；
步骤6：计算视野分界线。
所述信息处理分析总控***包括初始化模块、单摄像头位置识别与跟踪模块、多摄像头信息融合对接模块和后处理模块。
所述初始化模块中，动态称重***WIM获得的车重信息用于全桥的车辆跟踪，每个车重信息被强制依附于首个摄像头监测视频中检测出的移动目标轨迹，这种依附关系是基于车辆跨越桥面指定横线的时间建立的，确保了匹配关系的正确性，步骤如下：
Step 1：对于通过的每一辆车辆，利用动态称重***WIM获取车重信息，如净重、轴重、速度和通过时间；
Step 2：在同一时刻，用首个摄像头检测同一车辆是否通过桥面动态称重***WIM压电传感器埋设的沟槽线；若是，利用时间线索将首个摄像头监控视频与动态称重***得到的车重信息关联。
所述单摄像头位置识别与跟踪模块中，附带的车重信息和前一帧识别得到的移动目标位置信息被传递到当前图像帧的识别中，通过卡尔曼滤波器，得到当前图像帧的移动车辆位置，并根据图像目标匹配关系，将各目标位置坐标正确匹配，串接形成车辆的运动轨迹。这种传递动作不仅在第一个摄像头内进行，而且还会依次被传递到其余摄像头的识别得到的轨迹中，直到车辆移出桥面监控范围，从而形成全桥的移动荷载识别和跟踪。步骤如下：
Step 1：提取摄像机获取的当前帧图像，由不少于四个的系列参考点图像坐标和桥面坐标估计投影变换矩阵；
Step 2:通过卡尔曼滤波器对当前图像帧中的车辆位置进行识别；
Step 3:利用投影变换矩阵将跟踪所得的车辆位置转换成到桥面坐标中。
所述步骤中，提取摄像机获取的当前帧图像，选取不少于四个图像坐标，利用针孔模型建立坐标转换方程，建立转换方程中系数Zci函数表达式并通过优化算法求解式中各参数。
所述多摄像头信息融合对接模块，除了进行各帧目标位置识别和轨迹形成外，还需要同步进行相邻摄像头得到的图像帧的目标交接工作。运动目标的交接工作被限定在指定的范围内——相邻摄像头视界的重合交接区。步骤如下：
Step 1：依据视频中车辆的图像坐标及其在各视野中的可见性计算视野分界线；
Step 2：通过视野分界线法确定目标对应关系；
Step 3：利用新进入车辆图像坐标和可见性更新视野分界线。
上述步骤中，视频中的每个像素点，其值在图像序列中的变化看作是不断产生像素值的随机过程，对于每个新产生的像素点，将其像素值与已有多个高斯模型比较，判断该像素点是否属于前景。
上述步骤中，用状态向量xk描述车辆在k时刻的运动行为，用移动车辆的重心(uk,vk)代替荷载的位置，利用卡尔曼滤波器估计下一帧画面的车辆位置；用第k帧图像中的第i辆车与第k+1帧图像里的第j辆车质心的距离衡量匹配程度，距离值越小则相邻帧两辆车的匹配程度越高；当找到距离函数的最小值时，用第k+1帧的车辆运动特征更新卡尔曼状态模型，并作为输入用于下一帧；按以上步骤更新模型，直到车辆消失。
上述步骤中，当车辆通过一视野分界线时，或的值发生变化，此时计算相邻视野中所有车辆到此视野分界线的距离，对所有的距离值进行排序，距离最小的即为对应车辆；限定目标交接只在视野重叠区域进行。
上述步骤中，视野中有多辆车辆驶过视野边界线时，若车辆
在第l 帧时在Ci+1中不可见，
在第l+1帧时进入视野在Ci+1可见，
认为车辆
在第l帧和第l+1帧的质心连线的中点位于视野分界线
上，视野分割线由多个这样的点拟合获得。
所述后处理模块是判别监控目标是否移出桥面监测边界。若出界，则删除监控中的移动目标，确保内存不溢出，保持运算的连续性。
本发明的优越功效在于：
1)本发明解决动态称重***和单视频监控***信息融合问题；解决多摄像机监控视频中同一车辆的目标交接问题；解决全桥面移动荷载分布实时监控问题；
2)本发明计算速度快，识别精度高，适用于各类桥梁桥面或路面移动车辆荷载在指定区域的全覆盖监测。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明全桥面移动荷载空间分布监测***的结构示意图；
图2为本发明全桥面移动荷载空间分布监测***信息处理过程示意图；
图3为本发明全桥面移动荷载空间分布监测***信息处理算法流程图；
图4为本发明应用于上海市同济路桥实测数据计算结果；
图5为本发明动画模拟横向坐标识别误差(以四辆车为例)；
图6为本发明动画模拟纵向坐标识别误差(以四辆车为例)。
具体实施方式
以下结合附图对本发明的实施例进行详细说明。
图1示出了本发明实施例的全桥面移动荷载空间分布监测***的结构示意图；图2示出了本发明全桥面移动荷载空间分布监测***信息处理过程示意图；图3示出了本发明全桥面移动荷载空间分布监测***信息处理算法流程图。如图 1所示，本发明提供了一种基于动态称重和多视频信息融合的全桥面移动荷载空间分布监测***，在桥面起始位置布设动态称重***获取移动荷载的车重信息，沿桥布置多个摄像头获取覆盖全桥面的交通流视频信息，相邻两个摄像头的视野存在重叠区域，现场布置信息采集和4G网络通讯设备，并在云端部署信息处理分析总控***，结合卡尔曼滤波技术和视野分界线法对视界内车辆轨迹和位置进行跟踪，并按照车辆跨越动态称重***压电传感器所在线槽的时间将动态称重与监控多视频信息进行融合，实现对全桥面范围内的移动荷载的大小和位置地准确实时识别。
如图2和图3所示，本发明还提供了一种基于动态称重和多视频信息融合的全桥面移动荷载空间分布监测***的监测方法，包括如下的步骤：
步骤1：根据车辆通过动态称重***的时间将首个相机监控视频与动态称重***测量信息进行融合；
步骤2：建立图像坐标和桥面坐标进行转换；
其中，建立坐标转换方程：
通过视频流计算得到的车辆坐标为图像坐标，要根据图像坐标确定车辆在桥面的位置，必须建立图像坐标系与桥面坐标系间的投影变换矩阵。令车辆目标在图像中坐标为(u,v)，在桥面的坐标为(Xw,Yw)。则根据摄影测量学的基本原理, 两者间存在以下关系：
其中M为3×4矩阵，f为相机焦距，dx,dy为单个像素宽和高(mm)，(u0,v0) 为相机光轴与图像平面交点的图像坐标，(Xc,Yc,Zc)为目标在摄像机坐标系中的坐标。当相机的参数未知时，需根据参考点的图像坐标和世界坐标计算矩阵M。将(1)式改写为：
其中，(Xwi,Ywi,Zwi)为空间第i个点的坐标，本发明中指桥面坐标；(ui,vi)为第i个点图像坐标；mij为矩阵M第i行第j列元素。将(2)式展开并化简可得
对于n个参考点，由(3)式可得到2n个线性方程，方程中独立的未知变量个数为11个，因此至少6对参考点坐标即可确定转换矩阵M。就桥面而言，摄像机视野范围内桥面的高程不发生显著的变化，故不妨考虑Zwi为常数，且Zwi＝0。此时需至少4对参考点坐标即可。
然而，求得M矩阵后不能直接实现图像坐标到桥面坐标的转换，坐标换算时系数Zc不可忽略。本发明是将已知图像坐标转至桥面坐标，其中桥面所在平面由参考点唯一地确定。因此，图像上的点与车辆所在位置一一对应，即可令
根据已求得的矩阵M和参考点坐标，不难确定各参考点对应的Zci。然后，运用最小二乘法优化求解式(4)中各参数。优化计算结果并非最精确，如果增加参考点的数目，可得到更精确的结果，参考点数目根据实际情况选取。
步骤3：单个摄像机移动目标的检测；
车辆检测是车辆跟踪的基础。对于视频中的每个像素点，其值在图像序列中的变化看作是不断产生像素值的随机过程。在任意时间t，对于特定的像素点 (x0,y0)，它的观测数据集记为：
{G1,G2,...,Gt}＝{I(x0,y0,i)|1≤i≤t} (5)
其中，Gt表示像素点在R、G、B个通道的像素值，I指图像序列；
对于观测数据集中每一个随机变量Gt均服从混合高斯分布密度函数：
其中J为分布模式数量(一般取3到5)，ωi,t为t时刻第i个高斯分布的权重，μi,t为其均值向量，τi,t为其协方差矩阵，η为高斯概率分布函数：
此外，为了减少矩阵求逆运算，假设像素点在R、G、B三色通道相互独立并具有相同的方差，协方差矩阵表达为：
其中，σi为第i个高斯分布的标准差向量，E是三维单位矩阵；
对于每一个新的像素值Gt，将其于已有的J个分布按下式进行验证，直到找到匹配的分布。如果验证匹配该像素点属于背景，否则属于前景。
|Gt-μi,t-1|≤2.5σi,t-1 (9)
步骤4：根据卡尔曼滤波技术实现单摄像机目标的跟踪；
在卡尔曼滤波中，本发明考虑了车辆的跟踪，即用状态向量xk描述车辆在k 时刻的运动行为，分以下三个步骤描述利用卡尔曼kalman滤波实现车辆跟踪：
1)状态估计模型
假设有线性离散***的过程模型和离散模型如下：
其中A为过程矩阵(transition matrix)，H为测量矩阵(measurement matrix)；gk-1为过程噪声，wk为测量噪声，它们都满足高斯分布，概率密度记为：
其中，Qk,Rk为协方差矩阵；
在(10)式中，由于ck不能直接测量到，因此必须根据测量所得的zk信息确定。先验状态估计
和协方差误差
可由下式确定：
后验状态估计
可由先验状态估计
和新的测量状态zk线性组合得到。如下列表达式所示：
由上式计算的Kk为卡尔曼增益；
本发明的重点是获得移动荷载的分布，只需通过车辆跟踪获得车辆的实时位置。考虑用移动车辆的重心(如轨迹图像坐标uk和vk)代替荷载的位置，卡尔曼***在k时刻的状态向量和测量向量可表达为：
本发明中，过程矩阵和测量矩阵为：
当车辆运动的状态方程和测量方程确定后，卡尔曼滤波器就能用来估计下一帧画面车辆的位置，并能进一步获得车辆运动的轨迹。
2)特征匹配
在视频流中，每一辆车的运动都由其质心的图像坐标描述，记第i辆车在第 k帧图像中的质心坐标为
在第k帧图像中的第i辆车与第k+1帧图像里的第j辆车质心的距离函数定义为：
距离函数的值越小，说明相邻帧两辆车的匹配程度越高。
3)更新模型
当找到距离函数的最小值时，用第k+1帧的车辆运动特征更新卡尔曼状态模型，并作为输入用于下一帧。重复以上步骤更新模型，直到车辆消失在视野中。
步骤5：根据视野分界线实现不同视野中相同目标的匹配；
步骤6：计算视野分界线。
单个摄像机监控的视野范围有限，无法完成桥面的全覆盖监控，设置多个摄像头可以有效克服这个不足。本发明通过视野分割线法实现目标交接，假设桥面设置的所有摄像头的时间戳通过校准的，并且相邻摄像头的监控视野区域有重叠。
记第i个摄像头拍摄的图像(视野)为Ci，桥面为细长条带，记第i个摄像头沿桥方向的两个横向边界为
和
因为视野有重叠，第i个摄像头的视野分界线
在第i+1个摄像头的视野中可见，而第i+1个摄像头的视野分界线
在第i个摄像头的视野中可见。此外，记视野Ci中可见的第m辆车为
记视野Ci+1中可见的第n辆车为
以车辆的质心坐标
和
表示车辆
和
在视野中坐标。关键就是确定形如
的等价关系。如果视野分界线已知，给出如下规定：当视野Ci中车辆未通过视野分界线
时，车辆在视野Ci+1中还不可见，此时规定
当视野Ci中车辆通过视野分界线
时，车辆在视野Ci+1中可见，此时规定
当车辆通过一视野分界线的时，
或
的值会发生变化，此时计算相邻视野中所有车辆到此视野分界线的距离，对所有的距离值进行排序，距离最小的即为对应车辆。此方法表达数学公式为：
其中，l为视野中车辆标记，D(L,O)返回指定视野中车辆质心O到视野分界线L的距离。为避免不必要的计算，本发明只在重叠视野区域进行目标交接，故在式中对i加以了约束。
p为视野Cj中车辆标记，D(L,O)返回车辆质心O到直线L的距离。
此方法可以有效解决任意相邻两个摄像头间车辆标记的匹配问题，避免了当摄像机相距较远难以完成特征匹配的问题。特别地，当i＝0,j＝1时，获得的就是动态称重***处摄像头与下一个摄像头车辆的对应关系。
视野中有多辆车辆驶过视野边界线时，若车辆
在第l帧时在Ci+1中不可见，
在第l+1帧时进入视野在Ci+1可见，
因为通常视频(25FPS以上)的一帧时间内车辆位置改变非常小，可以认为车辆
在第l帧和第l+1帧的质心连线的中点位于视野分界线
上，视野分割线由多个这样的点拟合获得。
所述信息处理分析总控***包括初始化模块、单摄像头位置识别与跟踪模块、多摄像头信息融合对接模块和后处理模块。
所述初始化模块中，动态称重***WIM获得的车重信息用于全桥的车辆跟踪，每个车重信息被强制依附于首个摄像头监测视频中检测出的移动目标轨迹，这种依附关系是基于车辆跨越桥面指定横线的时间建立的，确保了匹配关系的正确性，步骤如下：
Step 1：对于通过的每一辆车辆，利用动态称重***WIM获取车重信息，如净重、轴重、速度和通过时间；
Step 2：在同一时刻，用首个摄像头检测同一车辆是否通过桥面动态称重***WIM压电传感器埋设的沟槽线；若是，利用时间线索将首个摄像头监控视频与动态称重***得到的车重信息关联。
所述单摄像头位置识别与跟踪模块中，附带的车重信息和前一帧识别得到的移动目标位置信息被传递到当前图像帧的识别中，通过卡尔曼滤波器，得到当前图像帧的移动车辆位置，并根据图像目标匹配关系，将各目标位置坐标正确匹配，串接形成车辆的运动轨迹。这种传递动作不仅在第一个摄像头内进行，而且还会依次被传递到其余摄像头的识别得到的轨迹中，直到车辆移出桥面监控范围，从而形成全桥的移动荷载识别和跟踪。步骤如下：
Step 1：提取摄像机获取的当前帧图像，由不少于四个的系列参考点图像坐标和桥面坐标估计投影变换矩阵；
Step 2:通过卡尔曼滤波器对当前图像帧中的车辆位置进行识别；
Step 3:利用投影变换矩阵将跟踪所得的车辆位置转换成到桥面坐标中。
所述步骤中，提取摄像机获取的当前帧图像，选取不少于四个图像坐标，利用针孔模型建立坐标转换方程，建立转换方程中系数Zci函数表达式并通过优化算法求解式中各参数。
所述多摄像头信息融合对接模块，除了进行各帧目标位置识别和轨迹形成外，还需要同步进行相邻摄像头得到的图像帧的目标交接工作。运动目标的交接工作被限定在指定的范围内——相邻摄像头视界的重合交接区。步骤如下：
Step 1：依据视频中车辆的图像坐标及其在各视野中的可见性计算视野分界线；
Step 2：通过视野分界线法确定目标对应关系；
Step 3：利用新进入车辆图像坐标和可见性更新视野分界线。
上述步骤中，视频中的每个像素点，其值在图像序列中的变化看作是不断产生像素值的随机过程，对于每个新产生的像素点，将其像素值与已有多个高斯模型比较，判断该像素点是否属于前景。
上述步骤中，用状态向量xk描述车辆在k时刻的运动行为，用移动车辆的重心(uk,vk)代替荷载的位置，利用卡尔曼滤波器估计下一帧画面的车辆位置；用第k帧图像中的第i辆车与第k+1帧图像里的第j辆车质心的距离衡量匹配程度，距离值越小则相邻帧两辆车的匹配程度越高；当找到距离函数的最小值时，用第k+1帧的车辆运动特征更新卡尔曼状态模型，并作为输入用于下一帧；按以上步骤更新模型，直到车辆消失。
上述步骤中，当车辆通过一视野分界线时，或的值发生变化，此时计算相邻视野中所有车辆到此视野分界线的距离，对所有的距离值进行排序，距离最小的即为对应车辆；限定目标交接只在视野重叠区域进行。
所述后处理模块是判别监控目标是否移出桥面监测边界。若出界，则删除监控中的移动目标，确保内存不溢出，保持运算的连续性。
本发明实际应用于上海市同济路匝道桥现场，对实测数据进行计算，本发明对移动荷载位置和大小的识别和跟踪效果满足工程要求，如图4为2018年1 月14日下午3点至4点的共3个时刻桥面车辆荷载分布。
根据多视角三维模拟动画数据，分析本发明计算的准确性，结果表明，识别车辆位置的横向最大平均误差为0.212米(宽7.8米)，最大纵向平均误差为 3.580米(长100米)，满足工程应用(如图5和图6)。
以上所述仅为本发明的优先实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于动态称重和多视频信息融合的全桥面移动荷载空间分布监测***，在桥面起始位置布设动态称重***获取移动荷载的车重信息，沿桥布置多个摄像头获取覆盖全桥面的交通流视频信息，在云端部署信息处理分析总控***，对全桥面范围内的移动荷载的大小和位置地准确实时识别；其监测方法，包括如下的步骤：
步骤1：根据车辆通过动态称重***的时间将首个相机监控视频与动态称重***测量信息进行融合；
步骤2：建立图像坐标和桥面坐标进行转换；
其中，建立坐标转换方程：通过视频流计算得到的车辆坐标为图像坐标，根据图像坐标确定车辆在桥面的位置，建立图像坐标系与桥面坐标系间的投影变换矩阵；
将图像坐标转至桥面坐标，图像上的点与车辆所在位置一一对应；
步骤3：单个摄像机移动目标的检测；
在任意时间
，对于特定的像素点
，它的观测数据集记为：
其中，
表示像素点在R、G、B个通道的像素值，
指图像序列；
对于观测数据集中每一个随机变量
均服从混合高斯分布密度函数：
其中，J为分布模式数量，
为t时刻第i个高斯分布的权重，
为其均值向量，
为其协方差矩阵，
为高斯概率分布函数：
假设像素点在R、G、B三色通道相互独立并具有相同的方差，协方差矩阵表达为：
其中，
为第i个高斯分布的标准差向量，
是三维单位矩阵；
对于每一个新的像素值
，将其于已有的J个分布按下式进行验证，直到找到匹配的分布；验证匹配该像素点属于背景，否则属于前景；
步骤4：根据卡尔曼滤波技术实现单摄像机目标的跟踪；
用状态向量
描述车辆在k时刻的运动行为，分以下三个步骤描述利用卡尔曼kalman滤波实现车辆跟踪：
1) 状态估计模型：
假设有线性离散***的过程模型和离散模型如下：
其中
为过程矩阵，
为测量矩阵；
为过程噪声，
为测量噪声，概率密度记为：
其中，
为协方差矩阵；
先验状态估计
和协方差误差
由下式确定：
后验状态估计
由先验状态估计
和新的测量状态
线性组合得到，如下列表达式所示：
由上式计算的
为卡尔曼增益；
用移动车辆的重心，即轨迹图像坐标
和
代替荷载的位置，卡尔曼***在k时刻的状态向量和测量向量为：
过程矩阵和测量矩阵为：
卡尔曼滤波器用来估计下一帧画面车辆的位置，并能进一步获得车辆运动的轨迹；
2) 特征匹配：
在第k帧图像中的第i辆车与第k+1帧图像里的第j辆车质心的距离函数定义为：
距离函数的值越小，则相邻帧两辆车的匹配程度越高；
3) 更新模型：
找到距离函数最小值时，用第k+1帧的车辆运动特征更新卡尔曼状态模型，并作为输入用于下一帧；重复以上步骤更新模型，直到车辆消失在视野中；
步骤5：根据视野分界线实现不同视野中相同目标的匹配；
步骤6：计算视野分界线。
2.根据权利要求1所述的基于动态称重和多视频信息融合的全桥面移动荷载空间分布监测***，其特征在于：所述步骤1中，动态称重***获得的车重信息用于全桥的车辆跟踪，每个车重信息被强制依附于首个摄像头监测视频中检测出的移动目标轨迹，这种依附关系是基于车辆跨越桥面指定横线的时间建立的，步骤如下：
Step 1：对于通过的每一辆车辆，利用动态称重***获取车重信息，车重信息包括车辆的净重、轴重、速度和通过时间；
Step 2：在同一时刻，用首个摄像头检测同一车辆是否通过桥面动态称重***压电传感器埋设的沟槽线；若是，利用时间线索将首个摄像头监控视频与动态称重***得到的车重信息关联。
3.根据权利要求1所述的基于动态称重和多视频信息融合的全桥面移动荷载空间分布监测***，其特征在于：所述步骤5中，当车辆通过一视野分界线时，或的值发生变化，此时计算相邻视野中所有车辆到此视野分界线的距离，对所有的距离值进行排序，距离最小的即为对应车辆；限定目标交接只在视野重叠区域进行。
4.根据权利要求1所述的基于动态称重和多视频信息融合的全桥面移动荷载空间分布监测***，其特征在于：所述步骤6中，视野中有多辆车辆驶过视野边界线时，若车辆
在第
帧时在
中不可见，
，在第
帧时进入视野在
可见，
，认为车辆
在第
帧和第
帧的质心连线的中点位于视野分界线
上，视野分割线由多个这样的点拟合获得。
5.根据权利要求1所述的基于动态称重和多视频信息融合的全桥面移动荷载空间分布监测***，其特征在于：所述信息处理分析总控***包括初始化模块、单摄像头位置识别与跟踪模块、多摄像头信息融合对接模块和后处理模块；
所述初始化模块中，动态称重***获得的车重信息用于全桥的车辆跟踪，每个车重信息被强制依附于首个摄像头监测视频中检测出的移动目标轨迹，依附关系是基于车辆跨越桥面指定横线的时间建立的；
所述单摄像头位置识别与跟踪模块，附带的车重信息和前一帧识别得到的移动目标位置信息被传递到当前图像帧的识别中，通过卡尔曼滤波器，得到当前图像帧的移动车辆位置，并根据图像目标匹配关系，将各目标位置坐标正确匹配，串接形成车辆的运动轨迹；
所述多摄像头信息融合对接模块，进行相邻摄像头得到的图像帧的目标交接工作，运动目标的交接工作限定在相邻摄像头视界的重合交接区，依据视频中车辆的图像坐标及其在各视野中的可见性计算视野分界线；
所述后处理模块，判别监控目标是否移出桥面监测边界。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810487110.3A CN109167956B (zh) | 2018-05-21 | 2018-05-21 | 全桥面移动荷载空间分布监测*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810487110.3A CN109167956B (zh) | 2018-05-21 | 2018-05-21 | 全桥面移动荷载空间分布监测*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109167956A CN109167956A (zh) | 2019-01-08 |
| CN109167956B true CN109167956B (zh) | 2021-02-02 |
Family
ID=64897144
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810487110.3A Active CN109167956B (zh) | 2018-05-21 | 2018-05-21 | 全桥面移动荷载空间分布监测*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109167956B (zh) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109816006B (zh) * | 2019-01-18 | 2020-11-13 | 深圳大学 | 一种海天线检测方法、装置及计算机可读存储介质 |
| CN111354035B (zh) * | 2020-03-17 | 2023-09-05 | 陕西高速机械化工程有限公司 | 一种桥梁动态荷载自动检测与反演***及方法 |
| CN113022540B (zh) * | 2020-04-17 | 2022-11-15 | 青岛慧拓智能机器有限公司 | 一种用于多车状态监控的实时远程驾驶***及方法 |
| CN112307888B (zh) * | 2020-09-21 | 2022-04-26 | 中铁第四勘察设计院集团有限公司 | 一种基于机器视觉定位识别桥梁动态荷载方法和*** |
| CN112444311B (zh) * | 2020-11-22 | 2021-11-09 | 同济大学 | 一种桥梁车辆时空荷载监控方法 |
| CN112504414B (zh) * | 2020-11-27 | 2021-11-12 | 湖南大学 | 基于非接触式测量桥梁动挠度的车辆动态称重方法及*** |
| CN112885096A (zh) * | 2021-02-05 | 2021-06-01 | 同济大学 | 依赖桥梁拱肋的桥面交通流全视场感知***及方法 |
| CN112885110A (zh) * | 2021-02-05 | 2021-06-01 | 同济大学 | 依赖邻近高耸结构的桥面交通流全视场感知***及方法 |
| CN112820112A (zh) * | 2021-02-05 | 2021-05-18 | 同济大学 | 依赖桥梁塔柱的桥面交通流全视场感知***及方法 |
| CN112885097B (zh) * | 2021-02-07 | 2023-01-10 | 云控智行(上海)汽车科技有限公司 | 一种基于跨点位的路侧融合管理方法及*** |
| CN113114981B (zh) * | 2021-03-11 | 2022-09-23 | 联想(北京)有限公司 | 一种区域确定方法、电子设备及*** |
| CN113312744B (zh) * | 2021-04-08 | 2022-11-18 | 同济大学 | 一种车辆荷载预测方法和*** |
| CN113112798B9 (zh) * | 2021-04-09 | 2023-04-07 | 苏庆裕 | 一种车辆超载检测方法、***及存储介质 |
| CN113114938B (zh) * | 2021-04-12 | 2022-07-19 | 滁州博格韦尔电气有限公司 | 一种基于电子信息的目标精确监控*** |
| CN113221682B (zh) * | 2021-04-27 | 2022-12-27 | 天津大学 | 基于计算机视觉的桥梁车辆荷载时空分布细粒度识别方法 |
| CN113837007B (zh) * | 2021-08-23 | 2022-04-12 | 哈尔滨工业大学 | 一种基于桥梁监控视频中车辆匹配深度学习的桥梁荷载分布识别方法 |
| CN115909223A (zh) * | 2022-10-14 | 2023-04-04 | 北京科技大学 | 一种wim***信息与监控视频数据匹配的方法和*** |
| CN117197760A (zh) * | 2023-09-06 | 2023-12-08 | 东南大学 | 一种基于视频监控的桥梁车辆荷载分布长期监测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104021676A (zh) * | 2014-06-25 | 2014-09-03 | 上海交通大学 | 基于车辆动态视频特征的车辆定位及车速测量方法 |
| JP2014174280A (ja) * | 2013-03-07 | 2014-09-22 | Hitachi Ltd | マルチカメラ撮影装置 |
| CN104599249A (zh) * | 2015-01-13 | 2015-05-06 | 重庆大学 | 缆索承重桥梁桥面车辆载荷分布实时检测方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9088454B2 (en) * | 2010-11-03 | 2015-07-21 | Broadcom Corporation | Vehicle network node module |
| CN103593678B (zh) * | 2013-10-16 | 2016-09-28 | 长安大学 | 一种大跨度桥梁车辆动态荷载分布检测方法 |
| CN107580199A (zh) * | 2017-09-08 | 2018-01-12 | 深圳市伊码泰珂电子有限公司 | 重叠视域多摄像机协同的目标定位与跟踪*** |
-
2018
- 2018-05-21 CN CN201810487110.3A patent/CN109167956B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014174280A (ja) * | 2013-03-07 | 2014-09-22 | Hitachi Ltd | マルチカメラ撮影装置 |
| CN104021676A (zh) * | 2014-06-25 | 2014-09-03 | 上海交通大学 | 基于车辆动态视频特征的车辆定位及车速测量方法 |
| CN104599249A (zh) * | 2015-01-13 | 2015-05-06 | 重庆大学 | 缆索承重桥梁桥面车辆载荷分布实时检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109167956A (zh) | 2019-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109167956B (zh) | 全桥面移动荷载空间分布监测*** | |
| Dan et al. | Identification of moving loads based on the information fusion of weigh-in-motion system and multiple camera machine vision | |
| Zhang et al. | A methodology for obtaining spatiotemporal information of the vehicles on bridges based on computer vision | |
| Hoogendoorn et al. | Extracting microscopic pedestrian characteristics from video data | |
| CN103473554B (zh) | 人流统计***及方法 | |
| CN112330676B (zh) | 基于红外点云的变电站/换流站缺陷诊断方法及*** | |
| CN113221682B (zh) | 基于计算机视觉的桥梁车辆荷载时空分布细粒度识别方法 | |
| CN106097726A (zh) | 检测区域的确定、交通信息检测方法及装置 | |
| CN112230759A (zh) | 一种动态交互的城市观景视廊识别与规划模拟方法 | |
| CN115797408A (zh) | 融合多视角图像和三维点云的目标跟踪方法及装置 | |
| CN112950717A (zh) | 一种空间标定方法和*** | |
| CN112562005A (zh) | 一种空间标定方法和*** | |
| CN114663473A (zh) | 基于多视角信息融合的人员目标定位与追踪方法及*** | |
| Zhu et al. | Fine-grained identification of vehicle loads on bridges based on computer vision | |
| CN111964599A (zh) | 基于倾斜摄影测量技术的公路高边坡表面变形监测及分析方法 | |
| CN114820793A (zh) | 基于无人机的目标检测及目标点定位方法及*** | |
| KR100994722B1 (ko) | 카메라 핸드오프를 이용한 다중 카메라상의 연속적인 물체추적 방법 | |
| CN116430879A (zh) | 基于合作目标的无人机精准引导降落方法及*** | |
| CN114782496A (zh) | 一种对象的跟踪方法、装置、存储介质及电子装置 | |
| Kye et al. | Feasibility study for the fine crack width estimation of concrete structures based on fiducial markers | |
| CN113724333A (zh) | 一种雷达设备的空间标定方法和*** | |
| CN115148023B (zh) | 路径融合方法、装置及电子设备 | |
| Zheng et al. | An efficient and practical calibration method for roadside camera using two vanishing points | |
| Bubalo et al. | COMPARATIVE ANALYSIS OF THE PARAMETERS OF THE TRAFFIC FLOW USING A VIDEO RECORD OF UNMANNED AERIAL VEHICLES (UAVs). | |
| Wang et al. | Vehicle Micro-Trajectory Automatic Acquisition Method Based on Multi-Sensor Fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |