CN112017445B - 一种行人违规行为预测和运动轨迹跟踪***和方法 - Google Patents
一种行人违规行为预测和运动轨迹跟踪***和方法 Download PDFInfo
- Publication number
- CN112017445B CN112017445B CN202010922727.0A CN202010922727A CN112017445B CN 112017445 B CN112017445 B CN 112017445B CN 202010922727 A CN202010922727 A CN 202010922727A CN 112017445 B CN112017445 B CN 112017445B
- Authority
- CN
- China
- Prior art keywords
- target
- violation
- pedestrian
- color
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000033001 locomotion Effects 0.000 title claims abstract description 28
- 230000006399 behavior Effects 0.000 claims abstract description 46
- 241000283070 Equus zebra Species 0.000 claims abstract description 32
- 239000003086 colorant Substances 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000005070 sampling Methods 0.000 claims description 51
- 238000001514 detection method Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 18
- 238000004422 calculation algorithm Methods 0.000 claims description 11
- 238000011161 development Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 2
- 238000005260 corrosion Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 9
- 230000011218 segmentation Effects 0.000 description 7
- 230000018109 developmental process Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003628 erosive effect Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000011410 subtraction method Methods 0.000 description 3
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 241001085205 Prenanthella exigua Species 0.000 description 1
- 235000006629 Prosopis spicigera Nutrition 0.000 description 1
- 240000000037 Prosopis spicigera Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种行人违规行为预测和运动轨迹跟踪***和方法,属于安防监控领域,包括高速相机、后端服务器、客户端和语音***;该方法包括:***开启并开始运行;高速相机采集现场实时信息,并上传至后端服务器;步骤3、后端服务器对接收的图片进行实时处理、分析并追踪感兴趣的目标,目标包括行人与斑马线的位置和交通灯颜色;服务器首先将判定为违规的场景实时反馈至语音***提醒行人返回至安全位置,此外,服务器将违规场景数据发送至客户端;客户端根据路口位置统计违规次数;设定阈值,统计违规次数超过该值时,客户端进行报警通知交警到现场进行实时管制。本发明通有针对性地降低因行人违规而造成的损失,起到防患于未然的功能作用。
Description
技术领域
本发明属于安防监控领域,具体涉及一种行人违规行为预测和运动轨迹跟踪***和方法。
背景技术
随着中国城市化程度不断加深,公共交通在不断变得复杂的同时,也面临着巨大的安全压力,城市交通设备供给与人们出行需求之间的矛盾愈发严重。目前,电子监控和人工管制是我国公共交通常见的两种交通管理方式。现有的电子监控措施的缺点显而易见——对于违章行为不能做到实时地管制,后期的处罚措施也是在违规行为已经造成损失了之后,无法做到防患于未然,在错误发生之前就能提前发出警示;而人工管制方法同样具有非常明显的缺陷,如果对各个路口都安排交警,无疑是对于人力物力的极大浪费。如果能够让电子***既能够做到监控又能够完成实时管制预测行人的违规行为,无疑是对当下城市交通问题的完美解决措施。
针对上述问题,已有学者提出采用基于摄像机的警示控制器对十字路口的违规行人进行警告,该种方法在一定程度上遏制了违规行为的发生并保证了行人的安全,但是这一警示往往是发生在行人正在进行着违规行为的阶段,有的甚至已经造成了损失,不能够把警示工作做到更加的超前,同时这一控制器只能应用于交通路口,不具有普遍性。
目前市场上较多的产品是在行人正在进行着违规行为的阶段进行警示,往往无法对违规行人的下一步动作做出预判,不能够把警示工作做到更加的超前,不能准确及时予以提示,不能防患于未然,导致因行人违规行为带来的损失逐年增加。
因此,本实施例提出一种行人违规行为预测和运动轨迹跟踪***和方法。
发明内容
为了克服上述现有技术存在的不足,本发明提供了一种行人违规行为预测和运动轨迹跟踪***和方法。
为了实现上述目的,本发明提供如下技术方案:
一种行人违规行为预测和运动轨迹跟踪***,包括高速相机、后端服务器、客户端和语音***;
所述高速相机、语音***均与所述后端服务器有线或者无线连接;
后端服务器与客户端通过网络连接;
所述高速相机,用于拍摄斑马线实时路况和交通灯实时颜色,并将照片实时上传至所述后端服务器;
所述后端服务器,用于处理相机拍摄的图片信息,并通过显示屏图片信息,识别其中的违规行为并进行实时反馈操作;反馈操作包括:反馈违规行为到语音***进行语音警告行人,上传违规数据至客户端进行违规次数统计,反馈客户端统计违规次数较多的路口至交通部门以进行驻派交警进行及时管制;
所述客户端,用于存储统计行人的违规数据并按照路口位置对于违规次数进行统计,从而可以按需分配交警至违规行为频发的路口进行交通管制;
所述语音***,对行人违规行为进行警告。
优选地,所述高速相机和语音***均为两组,两组所述高速相机和语音***分别装置于十字路口对角以覆盖十字路口4条斑马线路况的位置。
优选地,所述高速相机采用CMOS数字摄像头,所述后端服务器采用FPGA开发板。
本发明的另一目的在于提供一种行人违规行为预测和运动轨迹跟踪方法,包括以下步骤:
步骤1、***开启并开始运行;
步骤2、高速相机采集现场实时信息,并上传至后端服务器;
步骤3、后端服务器对接收的图片进行实时处理、分析并追踪感兴趣的目标,目标包括行人与斑马线的位置和交通灯颜色;
步骤4、服务器首先将判定存在违规的场景实时反馈至语音***提醒行人返回至安全位置,此外,服务器将违规场景数据发送至客户端;
步骤5、客户端根据路口位置统计违规次数;
步骤6、客户端设定阈值,判断统计的违规次数超过该值时,客户端进行报警通知交警到现场进行实时管制。
7、优选地,所述步骤3具体包括以下操作:
步骤3.1、运动目标检测
采用背景差法进行运动目标检测,通过运动目标的检测处理来获取背景差值二分图,得到运动区域,为行人违规检测提供基础,包括:
步骤3.1.1、通过中值滤波法对图像进行预处理,中值滤波的表达式为:
式中,I(i,j)表示坐标为i和j的像素值;Ifliar为滤波输出后的像素值;
步骤3.1.2、通过背景相减法来获取背景;
步骤3.1.3、背景差分,通过视频当前帧减去背景参考帧,然后对所的图像选择合适的阈值二值化后,即得到完整的运动目标,设当前帧图Ii背景图像为B,背景差分二值图为:
在差分二值图像的灰度值为255的像素点即可视为前景的运动目标点;
步骤3.1.4、形态学处理,包括膨胀、腐蚀和开运算;
步骤3.2、行人检测
采用了RGB颜色匹配模型和模板匹配模型来完成行人检测,包括:
步骤3.2.1、建立RGB颜色匹配模型;
首先选出目标具有颜色特征的区域作为颜色的采样区域,将采样区域内的若干点选定为采样点,并按照目标的结构比例记录其位置:
Pk,j=(cx(j)-αk,jr(j),cy(j)-βk,jr(j)) (3)
其中Pk,j、(cx(j),cy(j))、r(j)分别为目标j的第k个采样点的位置坐标、质心坐标、目标半径;αk,j,βk,j表示该采样点相对质心移动的距离系数;在第一帧中,将各目标的采样点对应的RGB三个维度的颜色值,依次存入颜色模型矩阵ColorMode(K,J,V),K,J,V分别表示采样点总数、目标总数及维度;因此,第j个目标的第k个采样点对应的原RGB图像中的第v维的颜色值为:
ColorMode(K,J,V)=F(Pk,j,v) (4)
其中,k∈(1,K),j∈(1,J),v∈(1,V)
F为输入图像,在此后的各帧中,如第i(i>1)帧,按同样的选取采样点的规则对目标进行颜色采样,再与已有的ColorMode对比;
|Fi(Pk,j,v)-ColorMode(k,j,v)|<T
v=1,2,3(5)
Fi(Pk,j,v)分别表示k目标j的第个采样点在R、G、B维度的颜色值,T为各维度匹配时允许的色差阈值;若满足式(5),则认为该采样点与颜色模型匹配,即实现了简化的颜色匹配;并用第i帧中目标j的各采样点的颜色值Fi(Pk,j,v)替换ColorMode中相应位置的原值,实现颜色模型的更新;若未实现目标匹配,则不更新颜色模型;若检测到新生目标,按照同样方法建立颜色模型,并采用简化的颜色匹配方法在后续帧中进行目标匹配;各帧中每个目标都在相同的特殊点处采样,并将前后帧相同采样处的颜色值进行比对,选取K>>1个采样点,根据具体跟踪情况设定一个匹配数的阈值,若实现匹配的采样点数超过该阈值,则认为该目标实现了匹配;
步骤3.2.2、模版匹配模型
检测匹配区域:图像块从左往右或从上往下一次移动一个像素,在每一个位置,都进行一次度量计算来表明块图像和原图像的特定区域的相似性;
步骤3.2.3、目标轮廓标记
目标提取之后,需要对目标进行轮廓的标记,在FPGA中,具体的的流程包括:
Step1:统计出目标区域的每一个像素点的坐标;
Step2:将坐标的前后左右坐标的最大值和最小值计算出来;
Step3:根据这些最大值和最小值,得到跟踪标记;
步骤3.2.4、对违规行为进行预测和跟踪
在后端服务器内提前设置一条警戒线,***检测的区域包括行人、斑马线的位置和交通灯颜色,警示线会根据斑马线的位置自动调整到适当地预测位置,出现的情况分为两种,包括:
灯为绿,警戒线将不起作用,行人可以自由通过路口;
灯为红,警戒线将起到警示作用,警戒线自动调整到距离斑马线50CM的地方,一旦有行人越过警戒线,判定为违规行为,***做出警示;具体包括:
Step1:通过卷积层对视频中所要提取的信息点进行减少,提取信息之后进行整体判断;
Step2:经过DeeplabV3+模型对视频中的目标进行处理;
Step3:利用KCF算法进行目标跟踪。
优选地,所述步骤3的判断原则包括:
灯为绿,斑马线上无行人,判定为正常行为;
灯为绿,斑马线上有行人,判定为正常行为;
灯为红,斑马线上有行人,判定为违规行为;
灯为红,斑马线上无行人,判定为正常行为。
本发明提供的行人违规行为预测和运动轨迹跟踪***和方法具有以下有益效果:
本发明通过在对行人进行检测追踪的已有技术上增添了对违规行人行为的预测功能,有针对性地降低因行人违规而造成的损失,起到防患于未然的功能作用;利用颜色匹配和模板匹配的方法来分离识别行人,精确度高;
本发明采用视频监控对行人行为进行预测,对于违规的行为本发明能够在错误尚未发生之前及时的做出警示,能够有效地减少因行人违规行为带来的损失
本发明采用FPGA开发板,对实时图像的处理能力更强,更好的保证了能够及时制止行人的违规行为;
本发明的应用范围广,不只局限应用于传统的交通路口管制,还可以应用于需要监管行人违规行为的多种地点;如行人不允许靠近的重要文物保护场所、行人禁止进入的草坪、花圃等场所,相当于一双电子眼在时刻监督着行人。
附图说明
为了更清楚地说明本发明实施例及其设计方案,下面将对本实施例所需的附图作简单地介绍。下面描述中的附图仅仅是本发明的部分实施例,对于本领域普通技术人员来说,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1的行人违规行为预测和运动轨迹跟踪方法的流程图;
图2为背景建模法示意图;
图3为目标跟踪算法流程图;
图4为检测行人轨迹流程图;
图5为现场检测流程图;
图6为现场设备实施示意图。
具体实施方式
为了使本领域技术人员更好的理解本发明的技术方案并能予以实施,下面结合附图和具体实施例对本发明进行详细说明。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
实施例1
本发明提供了一种行人违规行为预测和运动轨迹跟踪***,包括高速相机、后端服务器、客户端和语音***;
高速相机、语音***均与后端服务器有线或者无线连接;
后端服务器与客户端通过网络连接;
高速相机用于拍摄斑马线实时路况和交通灯实时颜色,并将照片实时上传至后端服务器;本实施例中高速相机采用CMOS数字摄像头,又称为电脑相机、电脑眼、电子眼等,是一种视频输入设备,被广泛的运用于视频会议,远程医疗及实时监控等方面。该摄像头主要由镜头、图像传感器、板载电路及下方的信号引脚组成。镜头部件包含一个镜头座和一个可旋转调节距离的凸透镜,通过旋转可以调节焦距,正常使用时,镜头座覆盖在电路板上遮光,光线只能经过镜头传输到正中央的图像传感器,它采集光线信号,然后把采集得的数据通过下方的信号引脚输出数据到外部器件。
后端服务器,用于处理相机拍摄的图片信息,并通过显示屏图片信息,识别其中的违规行为并进行实时反馈操作;反馈操作包括:反馈违规行为到语音***进行语音警告行人,上传违规数据至客户端进行违规次数统计,反馈客户端统计违规次数较多的路口至交通部门以进行驻派交警进行及时管制;本实施例中,后端服务器采用FPGA系列ax545开发板,其内部主要包含了大量的基础逻辑门、触发器和存储器,可以通过硬件语言直接修改器件间的连接方式进而来实现用户所需的特定功能,所以可以通过烧入配置文件的方式来自己定制电路。它在逻辑层面还有一个特点就是,它的计算结果不用临时保存在主存储器中,可以直接送到下一个单元中进行计算。因此存储器带宽要求很低,还可以流水线式处理数据并且响应很快。FPGA芯片集成度高、对于数据并行处理、容量大等特点,在信号处理领域、数据传输领域、视频图像处理领域得到了越来越多的应用。尤其是在实时性要求特别高的动态视频图像处理领域,如公共交通、安全监控等,FPGA可以很快的处理图像数据,满足实时性的要求。本实施例是利用FPGA处理移动目标的图像检测与追踪。因此,本实施例的后端服务器选择ax545开发板。显示屏装置使用的是电脑液晶屏,可以清晰方便的接收画面。
客户端,用于存储统计行人的违规数据并按照路口位置对于违规次数进行统计,从而可以按需分配交警至违规行为频发的路口进行交通管制;
语音***的作用为代替交警对行人违规行为进行警告。本实施例中,语音***采用的是市面上的普通语音提示器,包括中央控制器、电源、功率放大器、扬声器,所述中央控制器与功率放大器电性连接,所述功率放大器与扬声器电性连接,所述电源与中央控制器、功率放大器电性连接。
具体的,如图6所示,本实施例中,高速相机和语音***均为两组,共有四个高速相机和两个语音***,两组高速相机和语音***分别装置于十字路口对角以覆盖十字路口4条斑马线路况的位置。本具体实施例选择将相邻斑马线的相机和语音***集成安装方便装置。
本实施例中的另一目的在于提供一种行人违规行为预测和运动轨迹的跟踪方法,具体如图1所示,包括以下步骤:
S1、***开启并开始运行;
S2、高速相机采集现场实时信息,并上传至后端服务器;
S3、后端服务器对接收的图片进行实时处理、分析并追踪感兴趣的目标,目标包括行人与斑马线的位置和交通灯颜色;判断原则包括:
灯为绿,斑马线上无行人,判定为正常行为;
灯为绿,斑马线上有行人,判定为正常行为;
灯为红,斑马线上有行人,判定为违规行为;
灯为红,斑马线上无行人,判定为正常行为;
具体的,后端服务器对接收的图片进行实时处理、分析包括一下步骤:
步骤3.1、运动目标检测
通过运动目标的检测处理来获取背景差值二分图,主要是为行人违规检测提供基础。运动目标检测是将运动的像素点和静止的像素点分离出来,从而实现将运动目标从背景中提取出来。因为该方法对实时性要求很高,所以本实施例采用的是背景差法。背景差法检测运动目标的几个关键步骤是:预处理、背景建模、背景差分、后处理。
步骤3.1.1、预处理:中值滤波法
在实验过程中,采用OV5640摄像头模块,是一款自动聚焦的摄像头电路,因此采集得到的图像基本直接是高清晰的,因此对于滤波模块,只需要简单的做下平滑处理。
中值滤波法是一种非线性平滑技术,它对脉冲噪声有良好的滤除作用,特别是在滤除噪声的同时,能够保护信号的边缘,使之不被模糊。这些优良特性是线性滤波方法所不具有的。此外,中值滤波的算法比较简单,也易于用硬件实现。所以,中值滤波方法一经提出后,便在数字信号处理领得到重要的应用。
中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替,让周围的像素值接近的真实值,从而消除孤立的噪声点。其表达式为:
通过这个处理方式,可以抑制部分像素点的像素突变情况。I(i,j)表示坐标为i和j的像素值。Ifliar为滤波输出后的像素值。
步骤3.1.2、背景建模
本实施例中要建立真实稳定的背景模型主要受天气、摄像头偏移(主要是日就被风吹偏)、长时间停靠在路边的车辆或其他物体等影响,其中受天气影响最为严重。在这些因素的影响下,背景会不定的发生改变,所以需要不定时的更新背景,以确保运动目标检测的准确性。
常见的背景提取算法有:基于单高斯模型的方法;基于统计的背景相减方法;基于图像序列初始化的方法;基于混合高斯模型的的方法;基于码本的建模方法。基于实际情况的考虑,该模块选择基于统计的背景相减法来获取背景,同时还运用了大津法以最大程度的减小了目标被错认为是背景的概率。
如图2是背景模型法检测运动物体的原理。在当前帧图像中用蓝色箭头表示运动物体,将当前帧图像中每个位置的像素与背景模型进行对比匹配。若是图像中某个像素点与背景模型匹配,则将该像素点分类到背景点,它的像素值设为0,表示黑色。否则该像素点为运动点,将它的像素值设为255,表示白色。在图2中,圆圈区域中的像素经过与背景模型对比之后,其像素值与背景模型不匹配。因此将其分类为前景运动点,将其像素值设为255,表示白色点,为运动物体区域。在检测结果中可以看到,圆圈区域内的检测结果为白色的运动像素点。
步骤3.1.3、背景差分
获取真实有效的背景为运动目标的检测提供了有力的保证。在获取背景的过程中采用背景差法,完全可以解决在路面上运动物体的检测。
背景差分是通过视频当前帧减去背景参考帧,然后对所的图像选择合适的阈值二值化后,即得到完整的运动目标。设当前帧图Ii背景图像为B,背景差分二值图为:
这样,在差分二值图像的灰度值为255的像素点即可视为前景的运动目标点。
步骤3.1.4、形态学处理
(1)膨胀
具体的实现方式就是:如果当前图像像素中的结构元素,能够和前景图像中的像素点进行相接,那么就可以将前者也当成前景点,于是,相应的图像就实现了膨胀。在此处理之下,就可以将分割之后的对象所留下的空区加以缩减。
(2)腐蚀
腐蚀实际上就是膨胀的对偶运算,膨胀可以减小相应的隙缝以及空区,并能将相应的物体进行放大,而腐蚀则正好是缩减物体,并能将图像中的某些小像素块加以去除。将上述两种技术进行综合运用,使得原先对象体量不会产生变化,但是能够去除很多噪声数据,从而更好的辨识相应的目标。
(3)开运算
如果对图像先后进行了膨胀和腐蚀运算,那么得到的结果并非是原图,也就是说,这两种算法并不是互逆关系。而开运算,可以将那些细微像素点进行去除,并能将物体的边界加以平滑处理,对象的面积不会产生明显的变化。
步骤3.2、行人检测
通过对运动物体检测后,得到运动区域。但这个物体有可能是车辆或其他,因此需要对检测的运动物体进行进一步的分类。在本实施例中,采用了RGB颜色匹配模型和模板匹配模型来完成行人检测。与基于HOG特征的SVM分类器相比,模板匹配是一种最原始、最基本的模式识别方法,研究某一特定对象物的图案位于图像的什么地方,进而识别对象物,这就是一个匹配问题。它是图像处理中最基本、最常用的匹配方法。模板匹配具有自身的局限性,主要表现在它只能进行平行移动,若原图像中的匹配目标发生旋转或大小变化,该算法无效。
步骤3.2.1、建立RGB颜色匹配模型
颜色模型指的是某个三维颜色空间中的一个可见光子集,它包含某个色彩域的所有色彩。一般而言,任何一个色彩域都只是可见光的子集,任何一个颜色模型都无法包含所有的可见光。
RGB(Red,Green,Blue)颜色模型通常使用于彩色阴极射线管等彩色光栅图形显示设备中,彩色光栅图形的显示器都使用R、G、B数值来驱动R、G、B电子枪发射电子,并分别激发荧光屏上的R、G、B三种颜色的荧光粉发出不同亮度的光线,并通过相加混合产生各种颜色;扫描仪也是通过吸收原稿经反射或透射而发送来的光线中的R、G、B成分,并用它来表示原稿的颜色。
RGB颜色模型称为与设备相关的颜色模型,RGB颜色模型所覆盖的颜色域取决于显示设备荧光点的颜色特性,是与硬件相关的。它是使用最多,最熟悉的颜色模型。它采用三维直角坐标系,红、绿、蓝原色是加性原色,各个原色混合在一起可以产生复合色。
RGB颜色模型通常采用单位立方体来表示。在正方体的主对角线上,各原色的强度相等,产生由暗到明的白色,也就是不同的灰度值。(0,0,0)为黑色,(1,1,1)为白色。正方体的其他六个角点分别为红、黄、绿、青、蓝和品红。
颜色匹配模型的主要思想为:首先选出目标具有颜色特征的区域作为颜色的采样区域,将采样区域内的若干点选定为采样点,并按照目标的结构比例记录其位置:
Pk,j=(cx(j)-αk,jr(j),cy(j)-βk,jr(j)) (3)
其中Pk,j、(cx(j),cy(j))、r(j)分别为目标j的第k个采样点的位置坐标、质心坐标、目标半径。αk,j,βk,j表示该采样点相对质心移动的距离系数。在第一帧中,将各目标的采样点对应的RGB三个维度的颜色值,依次存入颜色模型矩阵ColorMode(K,J,V),K,J,V分别表示采样点总数、目标总数及维度。因此,第j个目标的第k个采样点对应的原RGB图像中的第v维的颜色值为:
ColorMode(K,J,V)=F(Pk,j,v) (4)
其中,k∈(1,K),j∈(1,J),v∈(1,V)
F为输入图像,在此后的各帧中,如第i(i>1)帧,按同样的选取采样点的规则对目标进行颜色采样,再与已有的ColorMode对比。
|Fi(Pk,j,v)-ColorMode(k,j,v)|<T
v=1,2,3 (5)
Fi(Pk,j,v)分别表示k目标j的第个采样点在R、G、B维度的颜色值,T为各维度匹配时允许的色差阈值。若满足式(5),则认为该采样点与颜色模型匹配,即实现了简化的颜色匹配。并用第i帧中目标j的各采样点的颜色值Fi(Pk,j,v)替换ColorMode中相应位置的原值,实现颜色模型的更新。若未实现目标匹配,则不更新颜色模型。若检测到新生目标,按照同样方法建立颜色模型,并采用简化的颜色匹配方法在后续帧中进行目标匹配。各帧中每个目标都在相同的特殊点处采样,并将前后帧相同采样处的颜色值进行比对,这样可避免目标不同的位置客观存在的颜色误差,但该方法仍可能会因为光线、浪花等产生的白点影响到某个采样点的颜色值而失配,解决方法是选取K>>1个采样点,根据具体跟踪情况设定一个匹配数的阈值,若实现匹配的采样点数超过该阈值,则认为该目标实现了匹配。
步骤3.2.2、模版匹配模型
通过颜色模型计算之后,即有可能出现目标中部分区域的像素值较大,提取的目标中出现丢失的问题。根据这个问题,加入模板匹配的方法。模板匹配是一项在一幅图像中寻找与另一幅模板图像最匹配部分的技术.它通过两幅图像:原图像和模板来实现。
本实施例的目标是检测最匹配的区域:图像块一次移动一个像素(从左往右,从上往下),在每一个位置,都进行一次度量计算来表明块图像和原图像的特定区域有多么相似。即对于图像,选择一个10*10的窗口,将该窗口中的所有像素值的均值作为判决依据。如果该区域的像素均值满足阈值条件,那么认为也是目标区域,通过这个方法,可以进一步弥补颜色模型所存在的缺陷。
步骤3.2.3、目标轮廓标记
目标提取之后,需要对目标进行轮廓的标记,在FPGA中,具体的的流程大概如下:
Step1:统计出目标区域的每一个像素点的坐标;
Step2:将坐标的前后左右坐标的最大值和最小值计算出来;
Step3:根据这些最大值和最小值,得到跟踪标记。
步骤3.2.4、对违规行为进行预测和跟踪
(1)在对行人进行跟踪锁定之后,在后端服务器中增设了对特定区域进行检测的功能,摄像头收集到实时录像信息之后,及时传输给FPGA开发板进行实时分析,利用以上原理,***将自动识别出行人并对其进行追踪。***预测违规行为的依据是在***内提前设置了一条警戒线,交通路口情况较为复杂,以交通路口为例来说明,***检测的区域包括行人、斑马线的位置和交通灯颜色,警示线会根据斑马线的位置自动调整到适当地预测位置,出现的情况分为两种,包括:
灯为绿,警戒线将不起作用,行人可以自由通过路口;
灯为红,警戒线将起到警示作用,警戒线自动调整到距离斑马线50CM的地方,一旦有行人越过警戒线,判定为违规行为,***做出警示;
(2)实施过程:
1.通过卷积层对视频中所要提取的信息点进行减少,提取信息之后进行整体判断。
2.经过DeeplabV3+模型对视频中的目标进行处理。
DeeplabV3+模型结构是一个编码器-解码器结构。编码器旨在获得锐利的物体边界,其结构是由xception模型加空间金字塔池化模块(ASPP)构成。利用Xception模型以少量参数提取丰富的特征。而空间金字塔池化模块(ASPP),通过池化不同分辨率的特征,以捕获丰富的上下文信息。解码器结构:先将编码器特征进行4倍的双线性插值上采样,在低级特征上作用1×1卷积以减少通道数,然后将上采样结果与具有相同空间分辨率的相应低级特征合并,再经过一些3×3的卷积以精炼特征,最后再进行4倍的双线性插值上采样,将分辨率恢复到原图的大小,对视频中的目标进行优化处理。
3.利用KCF算法进行目标跟踪:KCF(Kernel Correlation Filter)全称为核相关滤波算法,属于判别类方法中的相关滤波算法,实现过程如图3所示。在实际应用中,需要处理的数据并非线性的,大多情况下为非线性数据,因此算法利用核函数技巧来处理非线性数据。核函数主要的目的就是把一个线性问题映射到一个非线性核空间,在低维空间线性不可分的数据,应用核函数技巧之后,映射到核空间之后则线性可分。
4.利用全卷积语义分割对视频中的目标进行标框。将物体与真值物体框相切的那些物体边界称为物体边界关键点。边界关键点与物体的种类无关,可以看成是最外侧的物体边缘,能够确定真值物体框的物体边缘的一部分。考虑到语义分割图上不同种类间的物体的边缘已经很明显,再结合包含同种类不同个体间边界信息的底层卷积特征图,对边界关键点的提取效果较好。因此将语义分割图和底层卷积特征图相结合,在此基础上再利用全卷积网络确定边界关键点。用一个全卷积语义分割网络同时进行语义分割和定位关键点预测两个任务,在语义分割图的基础上实现物体边界关键点预测从而实现物体检测。
S4、服务器首先将判定为违规的场景实时反馈至语音***提醒行人返回至安全位置,此外,服务器将违规场景数据发送至客户端;
S5、客户端根据路口位置统计违规次数;
S6、客户端设定阈值,统计违规次数超过该值时,客户端进行报警通知交警到现场进行实时管制。
具体应用时,首先打开总开关,用OV5640摄像头开始拍摄行人运动,如图4(a)和图4(b)所示,再次按下第一开关时,可对行人运动轨迹进行定位跟踪,并在视频中标记出的行人运动轮廓,如图4(c)所示。最后按下第二开关可以实现对行人下一帧的行人行动轮廓微预测,如图4(d)所示。现场检测流程图如图5所示,现场设备实施示意图如图6所示。
本实施例通过在对行人进行检测追踪的已有技术上增添了对违规行人行为的预测功能,有针对性地降低因行人违规而造成的损失,起到防患于未然的功能作用;利用颜色匹配和模板匹配的方法来分离识别行人,精确度高;本发明的应用范围广,不只局限应用于传统的交通路口管制,还可以应用于需要监管行人违规行为的多种地点;如行人不允许靠近的重要文物保护场所、行人禁止进入的草坪、花圃等场所;本发明采用视频监控对行人行为进行预测,一旦发现游客存在违规行为倾向时,及时做出提醒,就会避免各种损失;能够灵活地应用于各种需要监管的场所,相当于一双电子眼在时刻监督着行人。
以上所述实施例仅为本发明较佳的具体实施方式,本发明的保护范围不限于此,任何熟悉本领域的技术人员在本发明披露的技术范围内,可显而易见地得到的技术方案的简单变化或等效替换,均属于本发明的保护范围。
Claims (4)
1.一种行人违规行为预测和运动轨迹跟踪***的跟踪方法,其特征在于,所述***包括高速相机、后端服务器、客户端和语音***;
所述高速相机、语音***均与所述后端服务器有线或者无线连接;
所述后端服务器与客户端通过网络连接;
所述高速相机,用于拍摄斑马线实时路况和交通灯实时颜色,并将照片实时上传至所述后端服务器;
所述后端服务器,用于处理相机拍摄的图片信息,并通过显示屏图片信息,识别其中的违规行为并进行实时反馈操作;反馈操作包括:反馈违规行为到语音***进行语音警告行人,上传违规数据至客户端进行违规次数统计,反馈客户端统计违规次数较多的路口至交通部门以进行驻派交警进行及时管制;
所述客户端,用于存储统计行人的违规数据并按照路口位置对于违规次数进行统计,从而可以按需分配交警至违规行为频发的路口进行交通管制;
所述语音***,对行人违规行为进行警告;
所述跟踪方法包括以下步骤:
步骤1、***开启并开始运行;
步骤2、高速相机采集现场实时信息,并上传至后端服务器;
步骤3、后端服务器对接收的图片进行实时处理、分析并追踪感兴趣的目标,目标包括行人与斑马线的位置和交通灯颜色;
步骤4、服务器首先将判定存在违规的场景实时反馈至语音***提醒行人返回至安全位置,此外,服务器将违规场景数据发送至客户端;
步骤5、客户端根据路口位置统计违规次数;
步骤6、客户端设定阈值,判断统计的违规次数超过该值时,客户端进行报警通知交警到现场进行实时管制;
所述步骤3具体包括以下操作:
步骤3.1、运动目标检测
采用背景差法进行运动目标检测,通过运动目标的检测处理来获取背景差值二分图,得到运动区域,为行人违规检测提供基础,包括:
步骤3.1.1、通过中值滤波法对图像进行预处理,中值滤波的表达式为:
式中,I(i,j)表示坐标为i和j的像素值;Ifliar为滤波输出后的像素值;
步骤3.1.2、通过背景相减法来获取背景;
步骤3.1.3、背景差分,通过视频当前帧减去背景参考帧,然后对所的图像选择合适的阈值二值化后,即得到完整的运动目标,设当前帧图Ii背景图像为B,背景差分二值图为:
在差分二值图像的灰度值为255的像素点即可视为前景的运动目标点;
步骤3.1.4、形态学处理,包括膨胀、腐蚀和开运算;
步骤3.2、行人检测
采用了RGB颜色匹配模型和模板匹配模型来完成行人检测,包括:
步骤3.2.1、建立RGB颜色匹配模型;
首先选出目标具有颜色特征的区域作为颜色的采样区域,将采样区域内的若干点选定为采样点,并按照目标的结构比例记录其位置:
Pk,j=(cx(j)-αk,jr·(j),cy(j)-βk,jr(j)) (3)
其中Pk,j、(cx(j),cy(j))、r(j)分别为目标j的第k个采样点的位置坐标、质心坐标、目标半径;αk,j,βk,j表示该采样点相对质心移动的距离系数;在第一帧中,将各目标的采样点对应的RGB三个维度的颜色值,依次存入颜色模型矩阵ColorMode(K,J,V),K,J,V分别表示采样点总数、目标总数及维度;因此,第j个目标的第k个采样点对应的原RGB图像中的第v维的颜色值为:
colorMode(K,J,V)=F(Pk,j,v) (4)
其中,k∈(1,K),j∈(1,J),v∈(1,V)
F为输入图像,在此后的各帧中,如第i帧,按同样的选取采样点的规则对目标进行颜色采样,再与已有的ColorMode对比;
|Fi(Pk,j,v)-ColorMode(k,j,v)|<T
v=1,2,3 (5)
Fj(Pk,j,v)分别表示k目标j的第个采样点在R、G、B维度的颜色值,T为各维度匹配时允许的色差阈值;若满足式(5),则认为该采样点与颜色模型匹配,即实现了简化的颜色匹配;并用第i帧中目标j的各采样点的颜色值Fj(Pk,j,v)替换ColorMode中相应位置的原值,实现颜色模型的更新;若未实现目标匹配,则不更新颜色模型;若检测到新生目标,按照同样方法建立颜色模型,并采用简化的颜色匹配方法在后续帧中进行目标匹配;各帧中每个目标都在相同的特殊点处采样,并将前后帧相同采样处的颜色值进行比对,选取K>>1个采样点,根据具体跟踪情况设定一个匹配数的阈值,若实现匹配的采样点数超过该阈值,则认为该目标实现了匹配;
步骤3.2.2、模版匹配模型
检测匹配区域:图像块从左往右或从上往下一次移动一个像素,在每一个位置,都进行一次度量计算来表明块图像和原图像的特定区域的相似性;
步骤3.2.3、目标轮廓标记
目标提取之后,需要对目标进行轮廓的标记,在FPGA中,具体的的流程包括:
Step1:统计出目标区域的每一个像素点的坐标;
Step2:将坐标的前后左右坐标的最大值和最小值计算出来;
Step3:根据这些最大值和最小值,得到跟踪标记;
步骤3.2.4、对违规行为进行预测和跟踪
在后端服务器内提前设置一条警戒线,***检测的区域包括行人、斑马线的位置和交通灯颜色,警示线会根据斑马线的位置自动调整到适当地预测位置,出现的情况分为两种,包括:
灯为绿,警戒线将不起作用,行人可以自由通过路口;
灯为红,警戒线将起到警示作用,警戒线自动调整到距离斑马线50CM的地方,一旦有行人越过警戒线,判定为违规行为,***做出警示;具体包括:
Step1:通过卷积层对视频中所要提取的信息点进行减少,提取信息之后进行整体判断;
Step2:经过DeeplabV3+模型对视频中的目标进行处理;
Step3:利用KCF算法进行目标跟踪。
2.根据权利要求1所述的行人违规行为预测和运动轨迹跟踪***的跟踪方法,其特征在于,所述高速相机和语音***均为两组,两组所述高速相机和语音***分别装置于十字路口对角以覆盖十字路口4条斑马线路况的位置。
3.根据权利要求1所述的行人违规行为预测和运动轨迹跟踪***的跟踪方法,其特征在于,所述高速相机采用CMOS数字摄像头,所述后端服务器采用FPGA开发板。
4.根据权利要求1所述的行人违规行为预测和运动轨迹跟踪***的跟踪 方法,其特征在于,所述步骤3的判断原则包括:
灯为绿,斑马线上无行人,判定为正常行为;
灯为绿,斑马线上有行人,判定为正常行为;
灯为红,斑马线上有行人,判定为违规行为;
灯为红,斑马线上无行人,判定为正常行为。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010922727.0A CN112017445B (zh) | 2020-09-04 | 2020-09-04 | 一种行人违规行为预测和运动轨迹跟踪***和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010922727.0A CN112017445B (zh) | 2020-09-04 | 2020-09-04 | 一种行人违规行为预测和运动轨迹跟踪***和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112017445A CN112017445A (zh) | 2020-12-01 |
CN112017445B true CN112017445B (zh) | 2021-10-15 |
Family
ID=73515857
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010922727.0A Expired - Fee Related CN112017445B (zh) | 2020-09-04 | 2020-09-04 | 一种行人违规行为预测和运动轨迹跟踪***和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112017445B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112884806B (zh) * | 2021-01-12 | 2022-09-02 | 昆明理工大学 | 一种基于结合块匹配和密集逆向搜索的视频测流方法及装置 |
CN115100871A (zh) * | 2022-06-20 | 2022-09-23 | 钟孟玲 | 一种行人交通违规识别方法及*** |
CN117115783B (zh) * | 2023-09-06 | 2024-03-26 | 江苏泰坦智慧科技有限公司 | 基于机器视觉的流水线工作行为识别方法 |
CN117689881B (zh) * | 2024-02-02 | 2024-05-28 | 盛视科技股份有限公司 | 基于事件相机和cmos相机的抛洒物追踪方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102168662B1 (ko) * | 2018-11-22 | 2020-10-21 | (주)엘앤케이랩 | 보행자 가이드 모듈, 이의 운영 방법 및 이를 포함하는 안내 시스템 |
CN110211370A (zh) * | 2019-06-10 | 2019-09-06 | 吉林大学 | 一种基于lk光流法人行道智能警示装置 |
CN110223506A (zh) * | 2019-07-11 | 2019-09-10 | 杨子恩 | 一种新型的交通路口行人违规警告***及方法 |
-
2020
- 2020-09-04 CN CN202010922727.0A patent/CN112017445B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN112017445A (zh) | 2020-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112017445B (zh) | 一种行人违规行为预测和运动轨迹跟踪***和方法 | |
CN107622258B (zh) | 一种结合静态底层特征和运动信息的快速行人检测方法 | |
TWI409718B (zh) | 移動中車輛之車牌定位方法 | |
US9704060B2 (en) | Method for detecting traffic violation | |
CN103400150B (zh) | 一种基于移动平台进行道路边缘识别的方法及装置 | |
CN112800860B (zh) | 一种事件相机和视觉相机协同的高速抛撒物检测方法和*** | |
CN105160297B (zh) | 基于肤色特征的蒙面人事件自动检测方法 | |
CN109918971B (zh) | 监控视频中人数检测方法及装置 | |
CN102708378B (zh) | 一种基于图像异常特征的智能交通抓拍设备故障诊断的方法 | |
CN103093249B (zh) | 一种基于高清视频的出租车识别方法及*** | |
CN109255350B (zh) | 一种基于视频监控的新能源车牌检测方法 | |
CN104978567B (zh) | 基于场景分类的车辆检测方法 | |
CN104050450A (zh) | 一种基于视频的车牌识别方法 | |
CN105718870A (zh) | 自动驾驶中基于前向摄像头的道路标线提取方法 | |
CN106934374B (zh) | 一种雾霾场景中交通标识牌的识别方法及*** | |
CN104134222A (zh) | 基于多特征融合的车流监控图像检测和跟踪***及方法 | |
CN103714325A (zh) | 基于嵌入式***的遗留物和遗失物实时检测方法 | |
Huerta et al. | Exploiting multiple cues in motion segmentation based on background subtraction | |
Zhang et al. | Application research of YOLO v2 combined with color identification | |
CN112489055A (zh) | 融合亮度-时序特征的卫星视频动态车辆目标提取方法 | |
CN117294818A (zh) | 一种用于机场施工的工地全景监控方法 | |
CN111695374B (zh) | 监控视角中斑马线区域的分割方法、***、介质及设备 | |
Zhou et al. | Real-time traffic light recognition based on c-hog features | |
Lafuente-Arroyo et al. | Traffic sign classification invariant to rotations using support vector machines | |
CN113221603A (zh) | 一种检测监控设备被异物遮挡的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211015 |
|
CF01 | Termination of patent right due to non-payment of annual fee |