CN105205785A - 一种可定位的大型车辆运行管理***及其运行方法 - Google Patents
一种可定位的大型车辆运行管理***及其运行方法 Download PDFInfo
- Publication number
- CN105205785A CN105205785A CN201510649808.7A CN201510649808A CN105205785A CN 105205785 A CN105205785 A CN 105205785A CN 201510649808 A CN201510649808 A CN 201510649808A CN 105205785 A CN105205785 A CN 105205785A
- Authority
- CN
- China
- Prior art keywords
- image
- sigma
- vehicle
- camera
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000004891 communication Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 24
- 230000008878 coupling Effects 0.000 claims description 21
- 238000010168 coupling process Methods 0.000 claims description 21
- 238000005859 coupling reaction Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 14
- DMBHHRLKUKUOEG-UHFFFAOYSA-N diphenylamine Chemical compound C=1C=CC=CC=1NC1=CC=CC=C1 DMBHHRLKUKUOEG-UHFFFAOYSA-N 0.000 claims description 13
- 230000004807 localization Effects 0.000 claims description 12
- 230000004888 barrier function Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 6
- 238000013016 damping Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 230000004069 differentiation Effects 0.000 claims description 3
- 235000013399 edible fruits Nutrition 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 230000013011 mating Effects 0.000 claims description 3
- 238000012887 quadratic function Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 101100236764 Caenorhabditis elegans mcu-1 gene Proteins 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 2
- 241000669244 Unaspis euonymi Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种可定位的大型车辆运行管理***及其运行方法,包括通信定位***及视频图像处理***,通信定位***对车辆进行实时定位,获取车辆的位置信息,视频图像处理***对多路摄像头拍摄的图像进行全景拼接,并通过通信定位***将全景拼接后多路摄像头拍摄的图像及其对应的车辆的位置信息周期性上传至后台管理平台,位置信息包括:经度坐标、纬度坐标。本发明对多路摄像头拍摄的图像进行全景拼接,消除了视觉盲区。本发明在实时定位车辆的同时,周期性上传多路摄像头拍摄的图像至后台管理平台,更好的实现车辆运行中的管理工作,实用性较强,同时所需硬件成本较低,易于实现,适合大规模推广。
Description
技术领域
本发明涉及一种可定位的大型车辆运行管理***及其运行方法,属于定位技术领域。
背景技术
近年来随着经济的快速发展,大型车辆应用越来越频繁,而车辆在使用中若出现突发性事件,比如大型车辆或车辆内运送货品出现盗窃或自身发生交通事故等事件,现有车辆都无法取得一手详细的资料数据以证明事件的原由责任,这些都需要对公共道路上运行的大型车辆进行管理跟踪。
现有的车辆运行管理方案,主要是通过设置监控设备进行视频记录来实现,但是,传统的监控设备仍然解决不了视觉盲区等的问题,而且目前并未出现一种完善的大型车辆运行管理***进行统一管理。
发明内容
针对现有技术的不足,本发明提供了一种可定位的大型车辆运行管理***;
本发明还提供了上述大型车辆运行管理***的运行方法;
本发明解决了车辆行驶中的视觉盲区,降低自身发生交通事故风险同时保障货品的安全。
术语解释
1、FPGA,是英文Field-ProgrammableGateArray的缩写,即现场可编程门阵列。
2、全景拼接,即全景图像拼接,指将对同一场景、不同角度之间存在相互重叠的图像序列进行图像配准,再将图像融合成一张包含各图像信息的高清图像的技术。
3、MCU,是英文MicroControlUnit的缩写,中文名称为微控制单元,又称单片微型计算机(SingleChipMicrocomputer)或者单片机。
4、采集控制,是指对摄像头进行图像数据采集并对数据进行分析处理,对于异常数据进行报警。
5、图像识别,是指利用计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对像的技术。
6、障碍物判别,是图像识别的一种。
7、图像配准,是指对两幅或多幅具有重叠区域的图像采取一定的匹配策略,将两幅或多幅图像变换到同一坐标系下的过程。
8、SIFT,即尺度不变特征转换(Scale-invariantfeaturetransform,SIFT)。
9、图像融合:图像拼接中调整配准后图像的像素值的处理过程,它使图像在拼接后看不出拼接的痕迹,同时融合后的图像尽可能保持图像的质量不被改变。
本发明的技术方案为:
一种可定位的大型车辆运行管理***,包括通信定位***及视频图像处理***,所述通信定位***对车辆进行实时定位,获取车辆的位置信息,所述视频图像处理***对多路摄像头拍摄的图像进行全景拼接,并通过通信定位***将全景拼接后多路摄像头拍摄的图像及其对应的车辆的位置信息周期性上传至后台管理平台,所述位置信息包括:经度坐标、纬度坐标。后台管理平台即后台管理信息***,可人机交互,可供管理人员查看、操作。
本发明对多路摄像头拍摄的图像进行全景拼接,消除了视觉盲区,更好的实现车辆运行中的管理工作,实用性较强,成本低,易于实现。
根据本发明优选的,所述通信定位***包括主控MCU及分别与所述主控MCU连接的北斗定位模块、3G/4G通信模块;
根据本发明优选的,所述北斗定位模块用于实时获取车辆的位置信息,所述3G/4G通信模块用于将全景拼接后多路摄像头拍摄的图像及其对应的车辆的位置信息周期性上传至后台管理平台。
根据本发明优选的,所述视频图像处理***包括FPGA视频控制器及与所述FPGA视频控制器分别连接的显示屏、存储模块、多路摄像头及语音警示模块,所述FPGA视频控制器通过VGA/HDMI接口连接所述显示屏,所述FPGA视频控制器通过协议报文与所述主控MCU交互信息。
根据本发明优选的,当车辆行驶速度低于V时,所述多路摄像头周期性拍摄图像,V的取值范围为(3-10)Km/h,周期的取值范围为(20-40)s;否则,所述多路摄像头实时进行视频摄像,实时获取的视频经FPGA视频控制器全景拼接处理输出至显示屏,供驾驶员实时监控车辆内情况;以保证驾驶员安全行驶。
拍摄图像的目的是为了取证,车速太快时很难获取清晰的图像,并且,一般发生偷窃货物或车辆事故时,车辆是低速或停止的,当车辆行驶速度低于V时,所述多路摄像头拍摄图像,节省资源成本的同时可以实现更好的管理;另外,周期性拍摄可以减少工作量和存储量,同时保证正常运行。
所述FPGA视频控制器对所述多路摄像头获取的摄像头数据进行采集控制、全景拼接、图像识别、障碍物判别;所述摄像头数据包括所述多路摄像头拍摄的图像及视频;当检测出有障碍物离车辆距离小于(1.5-2)m时,所述语音警示模块发出警示音。
根据本发明优选的,所述主控MCU的型号为STM32F103,所述北斗定位模块的型号为ATGM336H,所述3G/4G通信模块的型号为ME906E。
根据本发明优选的,所述FPGA视频控制器的型号为EP4CE30F23C6;所述存储模块是指型号为MT47H64M16HR的DDR2内存储器;所述语音警示模块是指型号为NY3P087BS8SOP-8的语音IC。
根据本发明优选的,所述多路摄像头包括前视摄像头、后视摄像头、左视摄像头、右视摄像头、顶视摄像头。
上述大型车辆运行管理***的运行方法,具体步骤包括:
所述北斗定位模块实时获取车辆的位置信息,同时,当车辆行驶速度低于V时,所述多路摄像头周期性拍摄图像,否则,所述多路摄像头实时进行视频摄像,实时获取的视频经FPGA视频控制器全景拼接处理后输出至显示屏,供驾驶员实时监控车辆内情况;所述FPGA视频控制器还对所述多路摄像头拍摄的图像进行采集控制、全景拼接、图像识别及障碍物的判别,检测出有障碍物离车辆距离小于(1.5-2)m时,所述语音警示模块发出警示音;经过所述FPGA视频控制器处理后的所述多路摄像头拍摄的图像及其对应的车辆的位置信息通过所述3G/4G通信模块周期性上传至后台管理平台。
根据本发明优选的,所述全景拼接,具体步骤包括:
(1)图像预处理:对图像依次进行图像去噪、几何校正处理;对失真的图像进行几何校正,把存在几何失真的图像校正为无几何失真的图像;以免影响图像拼接后续环节的精度。
(2)图像配准;
A、SIFT特征提取
a、构造高斯差分尺度空间DOG,检测尺度空间极值点:为了得到多尺度空间内的稳定关键点,利用不同尺度的高斯差分与图像进行卷积,构成高斯差分尺度空间DOG,如式(Ⅰ)所示:
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)(Ⅰ)
式(Ⅰ)中,σ是指图像中任一像素点的尺度坐标,(x,y)是指图像中任一像素点的空间坐标,L(x,y,σ)是指通过所述多路摄像头拍摄的二维图像的尺度空间;D(x,y,σ)为尺度空间函数,G(x,y,kσ)为尺度可变高斯函数,k为相邻两个尺度空间倍数的常数;I(x,y)是指原始图像;
检测式(Ⅰ)得到的高斯差分尺度空间DOG的极值点,将每个检测点和与其同尺度的8个相邻点、上下相邻尺度的点进行比较;确保在尺度空间和二维空间都能检测到极值点。
b、极值点精确定位
通过拟合三维二次函数精确定位极值点的位置和尺度,同时去除低对比度的点和不稳定的边缘相应点,通过式(Ⅱ)、式(Ⅲ)去除不稳定的边缘相应点:
式(Ⅱ)、式(Ⅲ)中,H为Hessian矩阵,r为控制特征值大小的参数,Dxx是指某一尺度的图像在x轴方向求导后又在x轴方向求导后得到的结果;Dyy是指某一尺度的图像在y轴方向求导后又在y轴方向求导后得到的结果;Dxy是指某一尺度的图像在x轴方向求导后又在y轴方向求导后得到的结果;stability是指稳定值;
c、分配关键点方向
为使得SIFT特征点具备局部旋转不变性,利用关键点邻域梯度像素的分布特性为每个关键点分配方向参数,关键点处梯度的幅度和方向如式(Ⅳ)、式(Ⅴ)所示:
式(Ⅳ)、式(Ⅴ)中,m(x,y)是指梯度幅度,θ(x,y)是指梯度方向;
d、生成特征点描述符
首先,将坐标轴旋转为关键点方向,以确保旋转不变性;然后,将以关键点为中心取的窗口均匀的分为16个小块,在每个小块的8个不同方向的梯度直方图上绘制不同方向的累加值,形成一个种子点,则每个种子点含8个方向的信息向量,一个特征点用16个种子点描述;
B、特征点匹配
对需要拼接的图像,按照步骤A所述的SIFT特征提取,分别得到需要拼接的图像的特征点集,记为:
P={pj=(pj1,pj2)T|j=1,2,…m}
Q={qj=(qj1,qj2)T|j=1,2,…m}
P是指需要拼接的图像一的特征点集;Q是指需要拼接的图像二的特征点集;则集合P和Q之间由仿射变换(A,t)关联;A是旋转变量,t是平移变量;
定义匹配矩阵M,其元素mjk满足如下条件:
如果点pj对应于qk,则mjk=1;否则,mjk=0;
求仿射变换(A,t)或匹配矩阵M,使得匹配达到最优,求取公式如式(Ⅵ)所示:
Subjectto1)
2)g(A)=γ(a2+b2+c2)
式(Ⅵ)中,t是平移变量,A被分解成如下形式:A=s(a)R(θ)Sh1(b)Sh2(c),其中 R(θ)是标准的旋转矩阵,a是匹配误差的阈值,按照不同的匹配要求确定,E(M,t,A)为目标函数;
式(Ⅵ)中,对匹配矩阵M的行和列约束不等式,通过引入松弛变量,将不等式约束转化为等式约束,如式(Ⅶ)所示:
引入阻尼项其中T是控制模拟温度,将匹配矩阵的等式约束式和阻尼项加到目标函数式中,得到新的特征匹配问题的目标函数,如式(Ⅷ)所示:
式(Ⅷ)中,mjk是匹配矩阵M的元素,E(M,t,A)为目标函数,μj和νk是Lagrange因子,通过最小化目标函数得到匹配矩阵和点集P和Q之间的变换参数;
(3)图像融合
为了得到过渡区域平滑的拼接图,利用加权平均法进行图像融合,即图像重叠区域中f像素点的灰度值由两幅图像f1和f2中对应点的灰度值加权平均得到,如式(Ⅸ)所示:
式(Ⅸ)中,d1、d2为渐变因子,设定f1和f2重叠区域的最大宽度为dmax,如式(Ⅹ)所示:
本发明的有益效果为:
1、本发明对多路摄像头拍摄的图像进行全景拼接,消除了视觉盲区。
2、本发明在实时定位车辆的同时,周期性上传多路摄像头拍摄的图像至后台管理平台,更好的实现车辆运行中的管理工作,实用性较强,同时所需硬件成本较低,易于实现,适合大规模推广。
附图说明
图1为本发明所述一种可定位的大型车辆运行管理***的结构示意图;
图1中,1、主控MCU,2、北斗定位模块,3、3G/4G通信模块,4、FPGA视频控制器,5、显示屏,6、存储模块,7、摄像头,8、语音警示模块。
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定,但不限于此。
实施例1
一种可定位的大型车辆运行管理***,包括通信定位***及视频图像处理***,所述通信定位***对车辆进行实时定位,获取车辆的位置信息,所述视频图像处理***对多路摄像头7拍摄的图像进行全景拼接,并通过通信定位***将全景拼接后多路摄像头7拍摄的图像及其对应的车辆的位置信息周期性上传至后台管理平台,所述位置信息包括:经度坐标、纬度坐标。后台管理平台即后台管理信息***,可人机交互,可供管理人员查看、操作。
本发明对多路摄像头7拍摄的图像进行全景拼接,消除了视觉盲区,更好的实现车辆运行中的管理工作,实用性较强,成本低,易于实现。
所述通信定位***包括主控MCU1及分别与所述主控MCU1连接的北斗定位模块2、3G/4G通信模块3;
所述北斗定位模块2用于实时获取车辆的位置信息,所述3G/4G通信模块3用于将全景拼接后多路摄像头7拍摄的图像及其对应的车辆的位置信息周期性上传至后台管理平台。
所述视频图像处理***包括FPGA视频控制器4及与所述FPGA视频控制器4分别连接的显示屏5、存储模块6、多路摄像头7及语音警示模块8,所述FPGA视频控制器4通过VGA/HDMI接口连接所述显示屏5,所述FPGA视频控制器4通过协议报文与所述主控MCU1交互信息。
当车辆行驶速度低于V时,所述多路摄像头7周期性拍摄图像,V的取值为5Km/h,周期的取值为30s;否则,所述多路摄像头7实时进行视频摄像,实时获取的视频经FPGA视频控制器4全景拼接处理输出至显示屏5,供驾驶员实时监控车辆内情况;以保证驾驶员安全行驶。
拍摄图像的目的是为了取证,车速太快时很难获取清晰的图像,并且,一般发生偷窃货物或车辆事故时,车辆是低速或停止的,当车辆行驶速度低于V时,所述多路摄像头7拍摄图像,节省资源成本的同时可以实现更好的管理;另外,周期性拍摄可以减少工作量和存储量,同时保证正常运行。
所述FPGA视频控制器4对所述多路摄像头7获取的摄像头数据进行采集控制、全景拼接、图像识别、障碍物判别;所述摄像头数据包括所述多路摄像头7拍摄的图像及视频;当检测出有障碍物离车辆距离小于1.5m时,所述语音警示模块8发出警示音。
所述主控MCU1的型号为STM32F103,所述北斗定位模块2的型号为ATGM336H,所述3G/4G通信模块3的型号为ME906E。
所述FPGA视频控制器4的型号为EP4CE30F23C6;所述存储模块6是指型号为MT47H64M16HR的DDR2内存储器;所述语音警示模块8是指型号为NY3P087BS8SOP-8的语音IC。
所述多路摄像头7包括前视摄像头、后视摄像头、左视摄像头、右视摄像头、顶视摄像头。
实施例1所述一种可定位的大型车辆运行管理***的结构示意图如图1所示。
实施例2
根据实施例1所述的一种可定位的大型车辆运行管理***的运行方法,具体步骤包括:
所述北斗定位模块2实时获取车辆的位置信息,同时,当车辆行驶速度低于V时,所述多路摄像头7周期性拍摄图像,否则,所述多路摄像头7实时进行视频摄像,实时获取的视频经FPGA视频控制器4全景拼接处理后输出至显示屏5,供驾驶员实时监控车辆内情况;所述FPGA视频控制器4还对所述多路摄像头7拍摄的图像进行采集控制、全景拼接、图像识别及障碍物的判别,检测出有障碍物离车辆距离小于1.5m时,所述语音警示模块8发出警示音;经过所述FPGA视频控制器4处理后的所述多路摄像头7拍摄的图像及其对应的车辆的位置信息通过所述3G/4G通信模块3周期性上传至后台管理平台。
所述全景拼接,具体步骤包括:
(1)图像预处理:对图像依次进行图像去噪、几何校正处理;对失真的图像进行几何校正,把存在几何失真的图像校正为无几何失真的图像;以免影响图像拼接后续环节的精度。
(2)图像配准;
A、SIFT特征提取
a、构造高斯差分尺度空间DOG,检测尺度空间极值点:为了得到多尺度空间内的稳定关键点,利用不同尺度的高斯差分与图像进行卷积,构成高斯差分尺度空间DOG,如式(Ⅰ)所示:
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)(Ⅰ)
式(Ⅰ)中,σ是指图像中任一像素点的尺度坐标,(x,y)是指图像中任一像素点的空间坐标,L(x,y,σ)是指通过所述多路摄像头拍摄的二维图像的尺度空间;D(x,y,σ)为尺度空间函数,G(x,y,kσ)为尺度可变高斯函数,k为相邻两个尺度空间倍数的常数;I(x,y)是指原始图像;
检测式(Ⅰ)得到的高斯差分尺度空间DOG的极值点,将每个检测点和与其同尺度的8个相邻点、上下相邻尺度的点进行比较;确保在尺度空间和二维空间都能检测到极值点。
b、极值点精确定位
通过拟合三维二次函数精确定位极值点的位置和尺度,同时去除低对比度的点和不稳定的边缘相应点,通过式(Ⅱ)、式(Ⅲ)去除不稳定的边缘相应点:
式(Ⅱ)、式(Ⅲ)中,H为Hessian矩阵,r为控制特征值大小的参数,Dxx是指某一尺度的图像在x轴方向求导后又在x轴方向求导后得到的结果;Dyy是指某一尺度的图像在y轴方向求导后又在y轴方向求导后得到的结果;Dxy是指某一尺度的图像在x轴方向求导后又在y轴方向求导后得到的结果;stability是指稳定值;
c、分配关键点方向
为使得SIFT特征点具备局部旋转不变性,利用关键点邻域梯度像素的分布特性为每个关键点分配方向参数,关键点处梯度的幅度和方向如式(Ⅳ)、式(Ⅴ)所示:
式(Ⅳ)、式(Ⅴ)中,m(x,y)是指梯度幅度,θ(x,y)是指梯度方向;
d、生成特征点描述符
首先,将坐标轴旋转为关键点方向,以确保旋转不变性;然后,将以关键点为中心取的窗口均匀的分为16个小块,在每个小块的8个不同方向的梯度直方图上绘制不同方向的累加值,形成一个种子点,则每个种子点含8个方向的信息向量,一个特征点用16个种子点描述;
B、特征点匹配
对需要拼接的图像,按照步骤A所述的SIFT特征提取,分别得到需要拼接的图像的特征点集,记为:
P={pj=(pj1,pj2)T|j=1,2,…m}
Q={qj=(qj1,qj2)T|j=1,2,…m}
P是指需要拼接的图像一的特征点集;Q是指需要拼接的图像二的特征点集;则集合P和Q之间由仿射变换(A,t)关联;A是旋转变量,t是平移变量;
定义匹配矩阵M,其元素mjk满足如下条件:
如果点pj对应于qk,则mjk=1;否则,mjk=0;
求仿射变换(A,t)或匹配矩阵M,使得匹配达到最优,求取公式如式(Ⅵ)所示:
Subjectto1)
2)g(A)=γ(a2+b2+c2)
式(Ⅵ)中,t是平移变量,A被分解成如下形式:A=s(a)R(θ)Sh1(b)Sh2(c),其中 R(θ)是标准的旋转矩阵,a是匹配误差的阈值,按照不同的匹配要求确定,E(M,t,A)为目标函数;
式(Ⅵ)中,对匹配矩阵M的行和列约束不等式,通过引入松弛变量,将不等式约束转化为等式约束,如式(Ⅶ)所示:
引入阻尼项其中T是控制模拟温度,将匹配矩阵的等式约束式和阻尼项加到目标函数式中,得到新的特征匹配问题的目标函数,如式(Ⅷ)所示:
式(Ⅷ)中,mjk是匹配矩阵M的元素,E(M,t,A)为目标函数,μj和νk是Lagrange因子,通过最小化目标函数得到匹配矩阵和点集P和Q之间的变换参数;
(3)图像融合
为了得到过渡区域平滑的拼接图,利用加权平均法进行图像融合,即图像重叠区域中f像素点的灰度值由两幅图像f1和f2中对应点的灰度值加权平均得到,如式(Ⅸ)所示:
式(Ⅸ)中,d1、d2为渐变因子,设定f1和f2重叠区域的最大宽度为dmax,如式(Ⅹ)所示:
Claims (10)
1.一种可定位的大型车辆运行管理***,其特征在于,包括通信定位***及视频图像处理***,所述通信定位***对车辆进行实时定位,获取车辆的位置信息,所述视频图像处理***对多路摄像头拍摄的图像进行全景拼接后,并通过通信定位***将全景拼接后多路摄像头拍摄的图像及其对应的车辆的位置信息周期性上传至后台管理平台,所述位置信息包括:经度坐标、纬度坐标。
2.根据权利要求1所述的一种可定位的大型车辆运行管理***,其特征在于,所述通信定位***包括主控MCU及分别与所述主控MCU连接的北斗定位模块、3G/4G通信模块。
3.根据权利要求2所述的一种可定位的大型车辆运行管理***,其特征在于,所述北斗定位模块用于实时获取车辆的位置信息,所述3G/4G通信模块用于将全景拼接后多路摄像头拍摄的图像及其对应的车辆的位置信息周期性上传至后台管理平台。
4.根据权利要求2所述的一种可定位的大型车辆运行管理***,其特征在于,所述视频图像处理***包括FPGA视频控制器及与所述FPGA视频控制器分别连接的显示屏、存储模块、多路摄像头及语音警示模块,所述FPGA视频控制器通过VGA/HDMI接口连接所述显示屏,所述FPGA视频控制器通过协议报文与所述主控MCU交互信息。
5.根据权利要求4所述的一种可定位的大型车辆运行管理***,其特征在于,当车辆行驶速度低于V时,所述多路摄像头周期性拍摄图像,V的取值范围为(3-10)Km/h,周期的取值范围为(20-40)s;否则,所述多路摄像头实时进行视频摄像,实时获取的视频经FPGA视频控制器全景拼接处理输出至显示屏,供驾驶员实时监控车辆内情况;
所述FPGA视频控制器对所述多路摄像头获取的摄像头数据进行采集控制、全景拼接、图像识别、障碍物判别;所述摄像头数据包括所述多路摄像头拍摄的图像及视频;当检测出有障碍物离车辆距离小于(1.5-2)m时,所述语音警示模块发出警示音。
6.根据权利要求2所述的一种可定位的大型车辆运行管理***,其特征在于,所述主控MCU的型号为STM32F103,所述北斗定位模块的型号为ATGM336H,所述3G/4G通信模块的型号为ME906E。
7.根据权利要求4所述的一种可定位的大型车辆运行管理***,其特征在于,所述FPGA视频控制器的型号为EP4CE30F23C6;所述存储模块是指型号为MT47H64M16HR的DDR2内存储器;所述语音警示模块是指型号为NY3P087BS8SOP-8的语音IC。
8.根据权利要求1所述的一种可定位的大型车辆运行管理***,其特征在于,所述多路摄像头包括前视摄像头、后视摄像头、左视摄像头、右视摄像头、顶视摄像头。
9.根据权利要求4所述的一种可定位的大型车辆运行管理***的运行方法,其特征在于,具体步骤包括:
所述北斗定位模块实时获取车辆的位置信息,同时,当车辆行驶速度低于V时,所述多路摄像头周期性拍摄图像,否则,所述多路摄像头实时进行视频摄像,实时获取的视频经FPGA视频控制器全景拼接处理后输出至显示屏,供驾驶员实时监控车辆内情况;所述FPGA视频控制器还对所述多路摄像头拍摄的图像进行采集控制、全景拼接、图像识别及障碍物的判别,检测出有障碍物离车辆距离小于(1.5-2)m时,所述语音警示模块发出警示音;经过所述FPGA视频控制器处理后的所述多路摄像头拍摄的图像及其对应的车辆的位置信息通过所述3G/4G通信模块周期性上传至后台管理平台。
10.根据权利要求9所述的一种可定位的大型车辆运行管理***的运行方法,其特征在于,所述全景拼接,具体步骤包括:
(1)图像预处理:对图像依次进行图像去噪、几何校正处理;对失真的图像进行几何校正,把存在几何失真的图像校正为无几何失真的图像;
(2)图像配准;
A、SIFT特征提取
a、构造高斯差分尺度空间DOG,检测尺度空间极值点:利用不同尺度的高斯差分与图像进行卷积,构成高斯差分尺度空间DOG,如式(Ⅰ)所示:
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ)(Ⅰ)
式(Ⅰ)中,σ是指图像中任一像素点的尺度坐标,(x,y)是指图像中任一像素点的空间坐标,L(x,y,σ)是指通过所述多路摄像头拍摄的二维图像的尺度空间;D(x,y,σ)为尺度空间函数,G(x,y,kσ)为尺度可变高斯函数,k为相邻两个尺度空间倍数的常数;I(x,y)是指原始图像;
检测式(Ⅰ)得到的高斯差分尺度空间DOG的极值点,将每个检测点和与其同尺度的8个相邻点、上下相邻尺度的点进行比较;
b、极值点精确定位
通过拟合三维二次函数精确定位极值点的位置和尺度,同时去除低对比度的点和不稳定的边缘相应点,通过式(Ⅱ)、式(Ⅲ)去除不稳定的边缘相应点:
式(Ⅱ)、式(Ⅲ)中,H为Hessian矩阵,r为控制特征值大小的参数,Dxx是指某一尺度的图像在x轴方向求导后又在x轴方向求导后得到的结果;Dyy是指某一尺度的图像在y轴方向求导后又在y轴方向求导后得到的结果;Dxy是指某一尺度的图像在x轴方向求导后又在y轴方向求导后得到的结果;stability是指稳定值;
c、分配关键点方向
为使得SIFT特征点具备局部旋转不变性,利用关键点邻域梯度像素的分布特性为每个关键点分配方向参数,关键点处梯度的幅度和方向如式(Ⅳ)、式(Ⅴ)所示:
式(Ⅳ)、式(Ⅴ)中,m(x,y)是指梯度幅度,θ(x,y)是指梯度方向;
d、生成特征点描述符
首先,将坐标轴旋转为关键点方向,然后,将以关键点为中心取的窗口均匀的分为16个小块,在每个小块的8个不同方向的梯度直方图上绘制不同方向的累加值,形成一个种子点,则每个种子点含8个方向的信息向量,一个特征点用16个种子点描述;
B、特征点匹配
对需要拼接的图像,按照步骤A所述的SIFT特征提取,分别得到需要拼接的图像的特征点集,记为:
P={pj=(pj1,pj2)T|j=1,2,…m}
Q={qj=(qj1,qj2)T|j=1,2,…m}
P是指需要拼接的图像一的特征点集;Q是指需要拼接的图像二的特征点集;则集合P和Q之间由仿射变换(A,t)关联;A是旋转变量,t是平移变量;
定义匹配矩阵M,其元素mjk满足如下条件:
如果点pj对应于qk,则mjk=1;否则,mjk=0;
求仿射变换(A,t)或匹配矩阵M,使得匹配达到最优,求取公式如式(Ⅵ)所示:
2)g(A)=γ(a2+b2+c2)
式(Ⅵ)中,t是平移变量,A被分解成如下形式:A=s(a)R(θ)Sh1(b)Sh2(c),其中 R(θ)是标准的旋转矩阵,a是匹配误差的阈值,按照不同的匹配要求确定,E(M,t,A)为目标函数;
式(Ⅵ)中,对匹配矩阵M的行和列约束不等式,通过引入松弛变量,将不等式约束转化为等式约束,如式(Ⅶ)所示:
引入阻尼项其中T是控制模拟温度,将匹配矩阵的等式约束式和阻尼项加到目标函数式中,得到新的特征匹配问题的目标函数,如式(Ⅷ)所示:
式(Ⅷ)中,mjk是匹配矩阵M的元素,E(M,t,A)为目标函数,μj和νk是Lagrange因子,通过最小化目标函数得到匹配矩阵和点集P和Q之间的变换参数;
(3)图像融合
利用加权平均法进行图像融合,即图像重叠区域中f像素点的灰度值由两幅图像f1和f2中对应点的灰度值加权平均得到,如式(Ⅸ)所示:
式(Ⅸ)中,d1、d2为渐变因子,设定f1和f2重叠区域的最大宽度为dmax,如式(Ⅹ)所示:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510649808.7A CN105205785B (zh) | 2015-10-09 | 2015-10-09 | 一种可定位的大型车辆运行管理***及其运行方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510649808.7A CN105205785B (zh) | 2015-10-09 | 2015-10-09 | 一种可定位的大型车辆运行管理***及其运行方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105205785A true CN105205785A (zh) | 2015-12-30 |
CN105205785B CN105205785B (zh) | 2019-03-19 |
Family
ID=54953448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510649808.7A Active CN105205785B (zh) | 2015-10-09 | 2015-10-09 | 一种可定位的大型车辆运行管理***及其运行方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105205785B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105631811A (zh) * | 2016-02-25 | 2016-06-01 | 科盾科技股份有限公司 | 一种用于图像拼接的方法及装置 |
CN105774700A (zh) * | 2016-03-25 | 2016-07-20 | 安徽中科新萝智慧城市信息科技有限公司 | 一种用于大型货车的车载行车记录管理*** |
CN106205163A (zh) * | 2016-07-20 | 2016-12-07 | 长安大学 | 基于全景摄像技术的山区公路弯道盲区会车预警*** |
CN107454327A (zh) * | 2017-08-24 | 2017-12-08 | 北京臻迪科技股份有限公司 | 图像处理方法、装置、***和设备 |
CN109476315A (zh) * | 2016-07-11 | 2019-03-15 | Lg电子株式会社 | 驾驶员辅助装置及具有该装置的车辆 |
CN109697696A (zh) * | 2018-12-24 | 2019-04-30 | 北京天睿空间科技股份有限公司 | 用于全景视频的补盲方法 |
CN109886396A (zh) * | 2019-03-18 | 2019-06-14 | 国家电网有限公司 | 一种输电线路舞动在线预测***及方法 |
CN110599109A (zh) * | 2019-10-09 | 2019-12-20 | 深圳市优友互联有限公司 | 物流定位方法和智能设备 |
CN112785835A (zh) * | 2019-11-04 | 2021-05-11 | 阿里巴巴集团控股有限公司 | 一种获取路况信息的方法及装置、车载装置 |
WO2022057077A1 (zh) * | 2020-09-15 | 2022-03-24 | 徐工集团工程机械股份有限公司道路机械分公司 | 铰接式工程机械、全景环视***及其标定方法 |
CN114529808A (zh) * | 2022-04-21 | 2022-05-24 | 南京北控工程检测咨询有限公司 | 一种管道检测全景拍摄处理方法 |
CN113037931B (zh) * | 2021-01-26 | 2024-01-12 | 视昀科技(深圳)有限公司 | 应用环境监测的数据上报***及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6369701B1 (en) * | 2000-06-30 | 2002-04-09 | Matsushita Electric Industrial Co., Ltd. | Rendering device for generating a drive assistant image for drive assistance |
CN101734214A (zh) * | 2010-01-21 | 2010-06-16 | 上海交通大学 | 汽车防撞行人智能装置与方法 |
CN102354449A (zh) * | 2011-10-09 | 2012-02-15 | 昆山市工业技术研究院有限责任公司 | 基于车联网实现图像信息共享的方法、装置和*** |
CN202309974U (zh) * | 2011-10-27 | 2012-07-04 | 上海德致伦电子科技有限公司 | 基于fpga的智能车载360°全景成像*** |
-
2015
- 2015-10-09 CN CN201510649808.7A patent/CN105205785B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6369701B1 (en) * | 2000-06-30 | 2002-04-09 | Matsushita Electric Industrial Co., Ltd. | Rendering device for generating a drive assistant image for drive assistance |
CN101734214A (zh) * | 2010-01-21 | 2010-06-16 | 上海交通大学 | 汽车防撞行人智能装置与方法 |
CN102354449A (zh) * | 2011-10-09 | 2012-02-15 | 昆山市工业技术研究院有限责任公司 | 基于车联网实现图像信息共享的方法、装置和*** |
CN202309974U (zh) * | 2011-10-27 | 2012-07-04 | 上海德致伦电子科技有限公司 | 基于fpga的智能车载360°全景成像*** |
Non-Patent Citations (2)
Title |
---|
LIN-NA LI 等: "Algorithm for Sequence Image Automatic Mosaic based on SIFT Feature", 《2010 WASE INTERNATIONAL CONFERENCE ON INFORMATION ENGINEERING》 * |
张朝伟等: "基于SIFT特征跟踪匹配的视频拼接方法", 《计算机工程与应用》 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105631811A (zh) * | 2016-02-25 | 2016-06-01 | 科盾科技股份有限公司 | 一种用于图像拼接的方法及装置 |
CN105774700A (zh) * | 2016-03-25 | 2016-07-20 | 安徽中科新萝智慧城市信息科技有限公司 | 一种用于大型货车的车载行车记录管理*** |
CN109476315A (zh) * | 2016-07-11 | 2019-03-15 | Lg电子株式会社 | 驾驶员辅助装置及具有该装置的车辆 |
CN109476315B (zh) * | 2016-07-11 | 2021-10-08 | Lg电子株式会社 | 驾驶员辅助装置及具有该装置的车辆 |
CN106205163B (zh) * | 2016-07-20 | 2019-06-07 | 长安大学 | 基于全景摄像技术的山区公路弯道盲区会车预警*** |
CN106205163A (zh) * | 2016-07-20 | 2016-12-07 | 长安大学 | 基于全景摄像技术的山区公路弯道盲区会车预警*** |
CN107454327A (zh) * | 2017-08-24 | 2017-12-08 | 北京臻迪科技股份有限公司 | 图像处理方法、装置、***和设备 |
CN109697696A (zh) * | 2018-12-24 | 2019-04-30 | 北京天睿空间科技股份有限公司 | 用于全景视频的补盲方法 |
CN109886396A (zh) * | 2019-03-18 | 2019-06-14 | 国家电网有限公司 | 一种输电线路舞动在线预测***及方法 |
CN110599109A (zh) * | 2019-10-09 | 2019-12-20 | 深圳市优友互联有限公司 | 物流定位方法和智能设备 |
CN112785835A (zh) * | 2019-11-04 | 2021-05-11 | 阿里巴巴集团控股有限公司 | 一种获取路况信息的方法及装置、车载装置 |
WO2022057077A1 (zh) * | 2020-09-15 | 2022-03-24 | 徐工集团工程机械股份有限公司道路机械分公司 | 铰接式工程机械、全景环视***及其标定方法 |
CN113037931B (zh) * | 2021-01-26 | 2024-01-12 | 视昀科技(深圳)有限公司 | 应用环境监测的数据上报***及方法 |
CN114529808A (zh) * | 2022-04-21 | 2022-05-24 | 南京北控工程检测咨询有限公司 | 一种管道检测全景拍摄处理方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105205785B (zh) | 2019-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105205785A (zh) | 一种可定位的大型车辆运行管理***及其运行方法 | |
CN106205163B (zh) | 基于全景摄像技术的山区公路弯道盲区会车预警*** | |
CN102708356B (zh) | 一种基于复杂背景下的车牌自动定位和识别方法 | |
CN102867417B (zh) | 一种出租车防伪***及方法 | |
CN104902261B (zh) | 用于低清晰度视频流中的路面识别的装置和方法 | |
CN106127107A (zh) | 基于车牌信息和车辆轮廓的多路视频信息融合的车型识别方法 | |
CN104506800A (zh) | 一种多方向电警摄像机场景合成及综合监控方法和装置 | |
CN103034843B (zh) | 一种基于单目视觉的夜间车辆检测方法 | |
CN104378582A (zh) | 一种基于ptz摄像机巡航的智能视频分析***及方法 | |
CN101794515A (zh) | 基于协方差和二叉树支持向量机的目标检测***及方法 | |
CN105488453A (zh) | 一种基于图像处理的驾驶员未系安全带检测识别方法 | |
CN107845264A (zh) | 一种基于视频监控的交通量采集***及方法 | |
CN108638999A (zh) | 一种基于360度环视输入的防碰撞预警***及方法 | |
CN105513349A (zh) | 基于双视角学习的山区高速公路车辆事件检测方法 | |
CN108447303A (zh) | 基于人眼视觉与机器视觉耦合的外周视野危险识别方法 | |
EP2813973B1 (en) | Method and system for processing video image | |
CN106250816A (zh) | 一种基于双摄像头的车道线识别方法及*** | |
CN104574993B (zh) | 一种道路监控的方法及装置 | |
CN104063882A (zh) | 一种基于双目的车辆视频测速方法 | |
Kavitha et al. | Pothole and object detection for an autonomous vehicle using yolo | |
Lim et al. | Lane detection and Kalman-based linear-parabolic lane tracking | |
CN105516661A (zh) | 鱼眼相机与ptz相机相结合的主从目标监控***及方法 | |
CN110443142B (zh) | 一种基于路面提取与分割的深度学习车辆计数方法 | |
CN105913034A (zh) | 车辆识别方法、装置及车辆 | |
CN107918775A (zh) | 一种辅助车辆安全驾驶的斑马线检测方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |