CN113223276B - 一种基于视频识别的行人跨栏行为警报方法及装置 - Google Patents

一种基于视频识别的行人跨栏行为警报方法及装置 Download PDF

Info

Publication number
CN113223276B
CN113223276B CN202110322487.5A CN202110322487A CN113223276B CN 113223276 B CN113223276 B CN 113223276B CN 202110322487 A CN202110322487 A CN 202110322487A CN 113223276 B CN113223276 B CN 113223276B
Authority
CN
China
Prior art keywords
pedestrian
distance
motion
image
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110322487.5A
Other languages
English (en)
Other versions
CN113223276A (zh
Inventor
周旦
顾国斌
苏艳敏
陆梁演
陈斌斌
陈建鹏
程博
罗炜珍
孙家煜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202110322487.5A priority Critical patent/CN113223276B/zh
Publication of CN113223276A publication Critical patent/CN113223276A/zh
Application granted granted Critical
Publication of CN113223276B publication Critical patent/CN113223276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开基于视频识别的行人跨栏行为警报方法及装置，其方法包括：采集多帧连续的视频图像，并生成预处理图像；切割预处理图像，传输至SSD算法模块，提取并识别运动目标的运动特征，并从中分类归纳出行人的运动特征；跟踪行人的运行轨迹，建立帧间图像像素运动的运动速度模型，并计算当前行人距中央隔离栏的距离；判断当前计算的行人距中央隔离栏的距离是否大于警报距离，若所计算的距离小于或等于警报距离，则发出警报并进行下一步，若大于，则不做任何处理；再次计算行人距中央隔离栏距离，若小于极限距离，通过摄像头对跨栏行人进行违规抓拍，否则继续启动扬声器和LED警示灯，发出警报。可提供准确的违规人员图像，有助于交警人员快速捕捉违规跨栏行人，进行罚款和违规教育。

Description

一种基于视频识别的行人跨栏行为警报方法及装置
技术领域
本发明涉及交通安全领域，尤其涉及一种基于视频识别的行人跨栏行为警报方法及装置。
背景技术
无线温度感应对于车流量大且机动车与非机动车混行的路段具有不灵敏性，非机动车单单靠近中央隔离栏也很容易出现处处报警现象，而距离感应则会由于车流量大且机动车与非机动车混行而出现处处遮挡，当有行人想要跨越中央隔离栏时无法准确检测，其检测对象过于广泛且不准确；上述两种检测方法对于行人靠近中央隔离栏的检测皆准确性低且效率不高，且存在车辆遮挡问题。而利用视频识别技术即可以以行人为目标准确识别和检测行人并计算行人到中央隔离栏的距离，其鲁棒性高，检测快速，灵敏度高，排除了非机动车靠近中央隔离栏而存在的检测错误的问题。
发明内容
为了实现上述目的，本发明提供的一种基于视频识别的行人跨栏行为警报方法及装置。
本发明采用了如下技术方案：
一种基于视频识别的行人跨栏行为警报方法，包括如下步骤：
S1.采集多帧连续的视频图像，并生成预处理图像；
S2.切割预处理图像，传输至SSD算法模块，利用SSD算法提取并识别运动目标的运动特征，并从运动目标的运动特征中分类归纳出行人的运动特征；
S3.跟踪行人的运行轨迹，建立帧间图像像素运动的运动-速度模型，并计算当前行人距中央隔离栏的距离；
S4.判断当前计算的行人距中央隔离栏的距离是否大于警报距离，若当前计算的行人距中央隔离栏的距离大于警报距离，不做任何处理，若当前计算的行人距中央隔离栏的距离小于或等于警报距离，则发出警报并进行步骤S5；
S5.再次计算当前行人距中央隔离栏的距离，若小于极限距离，通过摄像头对跨栏行人进行违规抓拍，否则，继续开启扬声器和LED警示灯，发出警报。
进一步的，所述多帧连续的视频图像通过安装在该装置上的摄像头获取，包括行人到达车行道分界线、穿越机动车道的视频图像中的一种或多种；所述运动目标包括行人、机动车、非机动车，所述警报距离为40cm，所述极限距离为10cm。
进一步的，所述步骤S2具体为切割视频图像，并将切割后的预处理图像传输至SSD算法模块，生成基于运动物体的预处理图像块，利用SSD算法提取并识别运动目标的运动特征，并从运动目标的运动特征中分类归纳出行人的运动特征，剔除分类出错的行人运动特征，完成对行人运动特征的提取；
其中，所述SSD算法模块包括如下步骤：
S21.将切割后的预处理图像输入到SSD算法模块，形成位于运动物体区域的图像块，并将切割后的图像块进行卷积操作，设置六个不同的初始先验框，按照真实设置的目标与实际选取的目标互相匹配原则，从相互匹配的目标参数中找到其IOU最大的实际选取的目标与其IOU最大的初始先验框，并把它们进行匹配，在每个运动物体上形成多个规格不同、方向不同的初始先验框，由于特征的相对位置的不变性，则可提取出运动目标的运动特征，生成不同尺度卷积层输出运动目标的特征图；
S22.抽取位于不同卷积块的特定卷积层输出运动目标的特征图，进行多种尺度融合，并对其中的初始先验框进行微调后，在所抽取的特征图的每个点上生成6个不同大小的基于运动目标的预设框，采集运动目标的运动特征样本，识别并检测运动目标的运动特征，输出最终的运动目标的检测结果，其检测结果包含机动车、非机动车、行人的运动状态，并对检测结果进行初步的分类，归纳出初步符合行人运动特征的初始预设框；
S23.将步骤S22中不同卷积层输出行人目标的特征图获得的初始预设框结合起来，从中获取符合行人运动特征的预设框，传输到非极大抑制值中，抑制一些重叠行人检测、归纳错误的非机动车和机动车及检测错误的行人运动特征预设框，剔除非机动车和机动车的干扰，筛选出符合行人运动特征的最佳预设框，并将其集中输出，完成行人运动特征的提取。
进一步的，所述位于不同的卷积块的特定卷积层包括第四个卷积块的第三个卷积层、第七个卷积块的第一个卷积层和第二个卷积层、第八个卷积块的第二个卷积层、第九个卷积块的第二个卷积层、第十个卷积块的第二个卷积层、第十一个卷积块的第二个卷积层。
进一步的，步骤S3跟踪行人的运行轨迹，建立帧间图像像素运动的运动-速度模型，并计算当前行人距中央隔离栏的距离，包括如下步骤：
S31.获取当前视频帧图像中行人的像素运动的瞬时速度；
S32.获取前一视频帧图像中行人的像素运动的瞬时速度；
S33.计算相邻视频帧之间行人的运动速度；
S34.将当前运动递增距离与同向预设道路宽度建立速度-距离模型，求出行人距中央隔离栏的距离。
进一步的，所述步骤S33计算相邻视频帧之间行人的运动速度具体为：
采用深度学习算法建立基于LK光流法的行人穿越机动车道的视频识别算法模型：
从实际拍摄的视频图像数据中获取样本数据，对模型进行训练，训练过程中，根据连续帧图片中运动物体的的光流矢量在图形区域的连续变化性，利用运动物体在运动过程中产生的速度矢量特征，计算运动物体即行人距中央隔离栏的距离：
从行人越过靠近位于人行道旁边的车行道分界线开始计算其运动递增距离，结合步骤S31和S32所获取的两帧图像，选取第i帧图像领域内像素点坐标为(x，y)，经过高斯滤波函数确定其领域内像素点的加权平均灰度，作为该图像帧中心像素点的值，其中设置中心点像素的灰度值为F(x，y，t)，引入泰勒级数计算第一灰度值：
Figure GDA0003603978840000021
逐步计算并使用最小二乘法求得第i帧图像像素点的运动速度分量简式：
Figure GDA0003603978840000022
行人在运动过程中，其相邻像素帧中心点像素将发生变化，根据相邻像素帧的运动轨迹的变化并累加其灰度值可得迭代后的运动速度分量：
Figure GDA0003603978840000023
所述步骤S34具体为：从行人跨过靠近人行道旁的车行道分界线为识别起点，陆续从其所获取的视频图像中获取运动速度进行计算其运动递增距离:
从起点开始计算，相邻图像帧时间间隔时间为Δt，随着运动时间增加，其运动递增距离逐渐增大，其运动递增距离为：
Figure GDA0003603978840000024
随着行人运动路线的增长，其运动递增距离增大，至中央隔离栏的距离缩短，道路宽度一定的前提下可计算行人距中央隔离栏的距离，即为：[Lxi]＝[M]-[Sn]
其中fc为摄像头焦距，β为步长偏移量，M为单向路宽。
一种采用上述方法的基于视频识别的行人跨栏行为警报装置，包括：摄像头、LED警示灯、WiFi模块、扬声器、存储器、处理器、GPS模块、底座，所述摄像头与处理器的输入端电性连接，摄像头通过交换机传输压缩后的视频图像数据至处理器，所述LED警示灯、WiFi模块、存储器、GPS模块与处理器的输出端电性连接。
进一步的，所述装置正面设置有扬声器网罩、LED警示灯孔、摄像头玻璃罩；装置外壳分为两部分，包括装置内嵌外壳、装置外嵌外壳，装置内嵌外壳嵌套在一个装置外嵌外壳内，其中，装置外嵌外壳开口处延长边界至超越装置正面，为一突出的弧形延长边界；装置下方设置有底座，包括第一底座连接件、第二底座连接件、第三底座连接件，其中，第一底座连接件通过螺丝钉嵌套在第三底座连接件上，第二底座连接件用于固定装置于中央隔离栏，包括圆盘固定件和方形固定件，圆盘固定件与第一底座连接件通过螺丝钉固定成嵌套的两个部分，圆盘固定件通过4个螺丝钉固定在方形固定件上，装置通过底座固定在中央隔离栏上。
进一步的，所述LED警示灯为行人距中央隔离栏40cm时启动，行人距离中央隔离栏距离越短闪烁越频繁；所述扬声器接收从处理器传来的警报处理结果后即发出警报和语音提示。
进一步的，所述处理器接收摄像头采集到的视频图像后，对视频图像进行切割预处理，识别并检测行人位置以及计算出当前行人至中央隔离栏的距离，并与警报距离对比判断，位于警报距离内则启动LED警示灯、扬声器发出警报，距中央隔离栏为10cm以内即启动摄像头抓拍功能对跨栏行人进行抓拍，处理器通过WiFi模块传输视频图像和抓拍图像至安装装置附近的岗亭和交警监控中心的后台主机，以便于交警人员监控装置的运行情况和接收警报信息。
有益效果：
本发明为一种基于视频识别的行人跨栏行为警报方法和装置，通过采集视频图像对行人穿越车行道分界线的过程识别与分析，并计算行人距离中央隔离栏的距离，与警报距离的对比分析，判断是否发出警报响应，从而实现对行人预备跨栏的行为的截止，有效减少跨栏行人的数量，同时对跨栏行人进行抓拍，可提供准确的违规人员图像，有助于交警人员快速捕捉违规跨栏行人，进行罚款和违规教育。
附图说明
图1为本发明的流程示意图；
图2为本发明的步骤S2的SSD算法模块的流程示意图；
图3为本发明步骤S3的流程示意图；
图4为本发明装置的***图；
图5为本发明装置的内部细节图；
其中，1装置内嵌外壳、2装置外嵌外壳、3摄像头、4处理器、5LED警示灯、6WiFi模块、7存储器、8第八螺丝钉、9第四内壳螺丝钉、10扬声器网罩、11LED警示灯孔、12第一底座连接件、13第二底座连接件、14圆盘固定件、15方形固定件、16底座、17摄像头玻璃罩、18第一底座螺丝钉、19第二底座螺丝钉、20第三底座螺丝钉、21第四底座螺丝钉、22第五底座螺丝钉、23第六底座螺丝钉、24电源接线处、25第一内壳螺丝钉、26第二内壳螺丝钉、27第三内壳螺丝钉、28第一外壳螺丝钉、29第二外壳螺丝钉、30第三外壳螺丝钉、31第一螺丝钉、32第二螺丝钉、33第三螺丝钉、34第四螺丝钉、35电阻、36电容、37GPS模块、38扬声器、39第三底座连接件、40第五螺丝钉、41第六螺丝钉、42第七螺丝钉。
具体实施方式
为使本发明的实现技术手段、创作特征、达成目的与功效易于明白了解，下面结合图1至图5对具体实施例进行描述与说明。
实施例1：
一种基于视频识别的行人跨栏行为警报方法，包括如下步骤：
S1.采集多帧连续的视频图像，并生成预处理图像；
S2.切割预处理图像，传输至SSD算法模块，利用SSD算法提取并识别运动目标的运动特征，并从运动目标的运动特征中分类归纳出行人的运动特征；
S3.跟踪行人的运行轨迹，建立帧间图像像素运动的运动-速度模型，并计算当前行人距中央隔离栏的距离；
S4.判断当前计算的行人距中央隔离栏的距离是否大于警报距离，若当前计算的行人距中央隔离栏的距离大于警报距离，不做任何处理，若当前计算的行人距中央隔离栏的距离小于或等于警报距离，则发出警报并进行步骤S5；
S5.再次计算当前行人距中央隔离栏的距离，若小于极限距离，通过摄像头3对跨栏行人进行违规抓拍，否则，继续开启扬声器38和LED警示灯5，发出警报。
其中，多帧连续的视频图像通过安装在该装置上的摄像头3获取，包括行人到达车行道分界线、穿越机动车道的视频图像中的一种或多种，警报距离设置为40cm,极限距离设置为10cm。
步骤S2具体为切割视频图像，并将切割后的预处理图像传输至SSD算法模块，生成基于运动物体的预处理图像块，利用SSD算法提取并识别运动目标的运动特征，并从运动目标的运动特征中分类归纳出行人的运动特征，剔除分类出错的行人运动特征，完成对行人运动特征的提取；
其中，SSD算法模块包括如下步骤：
S21.将切割后的预处理图像输入到SSD算法模块，形成位于运动物体区域的图像块，并将切割后的图像块进行卷积操作，设置六个不同的初始先验框，按照真实设置的目标与实际选取的目标互相匹配原则，从相互匹配的目标参数中找到其IOU最大的实际选取的目标与其IOU最大的初始先验框，并把它们进行匹配，在每个运动物体上形成多个规格不同、方向不同的初始先验框，由于特征的相对位置的不变性，则可提取出运动目标的运动特征，生成不同尺度卷积层输出运动目标的特征图；
S22.抽取位于不同卷积块的特定卷积层输出运动目标的特征图，进行多种尺度融合，并对其中的初始先验框进行微调后，在所抽取的特征图的每个点上生成6个不同大小的基于运动目标的预设框，采集运动目标的运动特征样本，识别并检测运动目标的运动特征，输出最终的运动目标的检测结果，其检测结果包含机动车、非机动车、行人的运动状态，并对检测结果进行初步的分类，归纳出初步符合行人运动特征的初始预设框；
S23.将步骤S22中不同卷积层输出行人目标的特征图获得的初始预设框结合起来，从中获取符合行人运动特征的预设框，传输到非极大抑制值中，抑制一些重叠行人检测、归纳错误的非机动车和机动车及检测错误的行人运动特征预设框，剔除非机动车和机动车的干扰，筛选出符合行人运动特征的最佳预设框，并将其集中输出，完成行人运动特征的提取；
其中，位于不同的卷积块的特定卷积层包括第四个卷积块的第三个卷积层、第七个卷积块的第一个卷积层和第二个卷积层、第八个卷积块的第二个卷积层、第九个卷积块的第二个卷积层、第十个卷积块的第二个卷积层、第十一个卷积块的第二个卷积层。
此方法中运动目标包括行人、机动车、非机动车。
步骤S3跟踪行人的运行轨迹，建立帧间图像像素运动的运动速度模型，并计算行人距中央隔离栏的距离，包括如下步骤：
S31.获取当前视频帧图像中行人的像素运动的瞬时速度；
S32.获取前一视频帧图像中行人的像素运动的瞬时速度；
S33.计算相邻视频帧之间行人的运动速度；
S34.将当前运动递增距离与同向预设道路宽度建立速度-距离模型，求出行人距中央隔离栏的距离。
上述提到的步骤S33计算相邻视频帧之间行人的运动速度具体为：
采用深度学习算法建立基于LK光流法的行人穿越机动车道的视频识别算法模型：
从实际拍摄的视频图像数据中获取样本数据，对模型进行训练，训练过程中，根据连续帧图片中运动物体的的光流矢量在图形区域的连续变化性，利用运动物体在运动过程中产生的速度矢量特征，计算运动物体即行人距中央隔离栏的距离：
从行人越过靠近位于人行道旁边的车行道分界线开始计算其运动递增距离，结合步骤S31和S32所获取的两帧图像，选取第i帧图像领域内像素点坐标为(x，y)，经过高斯滤波函数确定其领域内像素点的加权平均灰度，作为该图像帧中心像素点的值，其中设置中心点像素的灰度值为F(x，y，t)，引入泰勒级数计算第一灰度值：
Figure GDA0003603978840000051
逐步计算并使用最小二乘法求得第i帧图像像素点的运动速度分量简式：
Figure GDA0003603978840000052
行人在运动过程中，其相邻像素帧中心点像素将发生变化，根据相邻像素帧的运动轨迹的变化并累加其灰度值可得迭代后的运动速度分量：
Figure GDA0003603978840000053
步骤S34具体为：从行人跨过靠近人行道的边界线为识别起点，陆续从其所获取的视频图像中获取运动速度进行计算其运动递增距离；
从起点开始计算，相邻图像帧时间间隔时间为Δt，随着运动时间增加，其运动递增距离增大，其运动递增距离为：
Figure GDA0003603978840000054
随着行人运动路线的增长，其运动递增距离增大，距中央隔离栏的距离缩短，道路宽度一定的前提下可计算行人距离中央隔离栏的距离，即为：[Lxi]＝[M]-[Sn]
其中fc为摄像头焦距，β为步长偏移量，M为单向路宽。
具体为：
本方法分为五步，第一步通过摄像头3实时拍摄其安装位置所能覆盖的区域，并获取多帧连续的视频图像，以所采集的视频图像形成预处理图像。第二步切割视频图像，并将切割后的预处理图像传输至SSD算法模块，生成基于运动物体的预处理图像块。
将切割后的图像块进行卷积操作，设置六个不同的初始先验框，按照真实设置的目标与实际选取的目标互相匹配原则，从相互匹配的目标参数中找到其IOU最大的实际选取的目标与其IOU最大的初始先验框，并把它们进行匹配，在每个运动物体上形成多个规格不同、方向不同的初始先验框，由于特征的相对位置的不变性，则可提取出运动目标的运动特征，生成不同尺度卷积层输出运动目标的特征图；
抽取位于不同卷积块的特定卷积层输出运动目标的特征图，进行多种尺度融合，并对其中的初始先验框进行微调后，在所抽取的特征图的每个点上生成6个不同大小的基于运动目标的预设框，采集运动目标的运动特征样本，识别并检测运动目标的运动特征，输出最终的运动目标的检测结果，其检测结果包含机动车、非机动车、行人的运动状态，并对检测结果进行初步的分类，归纳出初步符合行人运动特征的初始预设框；
将上述步骤中不同卷积层输出行人目标的特征图所获得的初始预设框结合起来，从中获取符合行人运动特征的预设框，传输到非极大抑制值中，抑制一些重叠行人检测、归纳错误的非机动车和机动车及检测错误的行人运动特征预设框，剔除非机动车和机动车的干扰，筛选出符合行人运动特征的最佳预设框，并将其集中输出，完成行人运动特征的提取。
第三步获取相邻两帧图像中行人像素运动的瞬时速度后，采用深度学习算法建立基于LK光流法的行人穿越机动车道的视频识别算法模型，从实际拍摄的视频图像数据中获取样本数据，对模型进行训练。训练过程中，根据连续帧图片中运动物体的的光流矢量在图形区域的连续变化性，利用运动物体在运动过程中产生的速度矢量特征求得其速度分量，由于行人在运动过程中，其相邻像素帧中心点像素将发生变化，并根据相邻像素帧的运动轨迹的变化并累加其灰度值可得迭代后的运动速度分量。以行人跨过靠近人行道的边界线为识别起点，陆续从其所获取的视频图像中获取运动速度进行计算其运动递增距离，随着行人运动路线的增长，其运动递增距离增大，距中央隔离栏的距离缩短，道路宽度一定的前提下可建立运动-速度模型计算该行人的运动递增距离，获取行人至中央隔离栏的距离。
第四步，随着行人运动路线的增长，其运动递增距离增大。利用相邻帧视频图像中行人像素运动的瞬时速度，计算出累加的运动递增距离与单向路宽进行计算得出当前行人距中央隔离栏的距离，并与警报距离比较，用作判断是否发出警报的依据。若当前计算的行人距中央隔离栏的距离大于警报距离，不做任何处理，若当前计算的行人距中央隔离栏的距离小于或等于警报距离，则发出警报并进行第五步，再次计算当前行人距中央隔离栏的距离，若计算出行人距离中央隔离栏的距离小于极限距离，即启动摄像抓拍功能，完成对跨栏行人跨栏行为的抓拍，若行人距离中央隔离栏的距离大于10cm小于40cm，继续开启LED警示灯5和扬声器38，发出警报，提醒行人距离隔离栏的距离过近，防止行人跨栏。
实施例2：
一种基于视频识别的行人跨栏行为警报装置，包括：
摄像头3：用于实时获取当前道路运动物体的运动状况，通过存储器7储存在装置中；
LED警示灯5：用于对跨栏行为的紧急响应；
WiFi模块6：用于传输装置工作运行所获取的视频图像，以及行为违规跨栏的瞬时抓拍图像；
扬声器38：用于发出行人跨栏违规警报，及时制止行人跨栏行为；
存储器7：用于储存装置工作运行所获取的视频图像，以及行为违规跨栏的瞬时抓拍图像；
处理器4：运行SSD算法和光流法，计算当前行人距中央隔离栏的距离并与警报距离比较，完成对LED警示灯5、扬声器38的警报指令处理，同时发送装置的运行情况和警报信息至位于安装装置所在位置附近的岗亭和交警监控中心的后台主机；
底座16：固定装置于中央隔离栏上；
GPS模块37：定位此装置所在位置，完成存在行人跨栏时的位置锁定。
其中，摄像头3与处理器4的输入端电性连接，摄像头3通过交换机传输压缩后的视频图像数据至处理器4，LED警示灯5、WiFi模块6、存储器7、GPS模块37与处理器4的输出端电性连接。
装置正面设置有扬声器网罩10、LED警示灯孔11、摄像头玻璃罩17；装置外壳分为两部分，包括装置内嵌外壳1、装置外嵌外壳2，装置内嵌外壳1嵌套在一个装置外嵌外壳2内，其中，装置外嵌外壳2开口处延长边界至超越装置正面，为一突出的弧形延长边界；装置下方设置有底座16，包括第一底座连接件12、第二底座连接件13、第三底座连接件39，其中，第一底座连接件12通过螺丝钉嵌套在第三底座连接件39上，第二连接件13用于固定装置于中央隔离栏，包括圆盘固定件14和方形固定件15，圆盘固定件14与第一底座连接件12通过螺丝钉固定成嵌套的两个部分，圆盘固定件14通过4个螺丝钉固定在方形固定件15上，装置通过底座16固定在中央隔离栏上。
处理器4接收摄像头3传来的视频图像后，立即对视频图像进行切割预处理，识别并检测行人位置以及距离中央隔离栏的距离，并与警报距离对比判断，并将处理结果传送至LED警示灯5和扬声器38，同时储存在存储器7中，并将采集的视频图像和处理结果传送至位于中央隔离栏位置附近的交警岗亭和交警监控中心的后台主机。LED警示灯5和扬声器7接收处理指令后随即开始运作。接收处理器4传来的警报指令后，LED警示灯5为行人距中央隔离栏40cm时启动，行人距离中央隔离栏距离越短闪烁越频繁，而扬声器38接收为处理器4传来的警报处理结果后即发出警报和语音提示，用以提示行人已靠近中央隔离栏，请勿有跨栏违规行为。若行人距离中央隔离栏的距离为10cm以内时，即启动摄像头3的抓拍功能，保存跨栏行人的图像，并上传至后台主机，交警人员随即联系当事人，并对当事人进行违规罚款和安全教育，若行人至中央隔离栏的距离大于10cm小于40cm，继续开启LED警示灯5和扬声器38，发出警报，防止行人跨栏。
上述实施例仅用于举例说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (7)

1.一种基于视频识别的行人跨栏行为警报方法，其特征在于，包括如下步骤：
S1.采集多帧连续的视频图像，并生成预处理图像；
S2.切割预处理图像，传输至SSD算法模块，利用SSD算法提取并识别运动目标的运动特征，并从运动目标的运动特征中分类归纳出行人的运动特征；
S3.跟踪行人的运行轨迹，建立帧间图像像素运动的运动-速度模型，并计算当前行人距中央隔离栏的距离；
S4.判断当前计算的行人距中央隔离栏的距离是否大于警报距离，若当前计算的行人距中央隔离栏的距离大于警报距离，不做任何处理，若当前计算的行人距中央隔离栏的距离小于或等于警报距离，则发出警报并进行步骤S5；
S5.再次计算当前行人距中央隔离栏的距离，若小于极限距离，通过摄像头(3)对跨栏行人进行违规抓拍，否则，继续开启扬声器(38)和LED警示灯(5)，发出警报；
其中，所述步骤S2具体为切割视频图像，并将切割后的预处理图像传输至SSD算法模块，生成基于运动物体的预处理图像块，利用SSD算法提取并识别运动目标的运动特征，并从运动目标的运动特征中分类归纳出行人的运动特征，剔除分类出错的行人运动特征，完成对行人运动特征的提取；
其中，所述SSD算法模块包括如下步骤：
S21.将切割后的预处理图像输入到SSD算法模块，形成位于运动物体区域的图像块，并将切割后的图像块进行卷积操作，设置六个不同的初始先验框，按照真实设置的目标与实际选取的目标互相匹配原则，从相互匹配的目标参数中找到其IOU最大的实际选取的目标与其IOU最大的初始先验框，并把它们进行匹配，在每个运动物体上形成多个规格不同、方向不同的初始先验框，由于特征的相对位置的不变性，则可提取出运动目标的运动特征，生成不同尺度卷积层输出运动目标的特征图；
S22.抽取位于不同卷积块的特定卷积层输出运动目标的特征图，进行多种尺度融合，并对其中的初始先验框进行微调后，在所抽取的特征图的每个点上生成6个不同大小的基于运动目标的预设框，采集运动目标的运动特征样本，识别并检测运动目标的运动特征，输出最终的运动目标的检测结果，其检测结果包含机动车、非机动车、行人的运动状态，并对检测结果进行初步的分类，归纳出初步符合行人运动特征的初始预设框；
S23.将步骤S22中不同卷积层输出行人目标的特征图获得的初始预设框结合起来，从中获取符合行人运动特征的预设框，传输到非极大抑制值中，抑制一些重叠行人检测、归纳错误的非机动车和机动车及检测错误的行人运动特征预设框，剔除非机动车和机动车的干扰，筛选出符合行人运动特征的最佳预设框，并将其集中输出，完成行人运动特征的提取；
其中所述位于不同的卷积块的特定卷积层包括第四个卷积块的第三个卷积层、第七个卷积块的第一个卷积层和第二个卷积层、第八个卷积块的第二个卷积层、第九个卷积块的第二个卷积层、第十个卷积块的第二个卷积层、第十一个卷积块的第二个卷积层。
2.根据权利要求1所述一种基于视频识别的行人跨栏行为警报方法，其特征在于，所述多帧连续的视频图像通过摄像头(3)获取，包括行人到达车行道分界线、穿越机动车道的视频图像中的一种或多种；所述运动目标包括行人、机动车、非机动车，所述警报距离为40cm,所述极限距离为10cm。
3.根据权利要求1所述一种基于视频识别的行人跨栏行为警报方法，其特征在于，所述步骤S3具体包括如下步骤：
S31.获取当前视频帧图像中行人的像素运动的瞬时速度；
S32.获取前一视频帧图像中行人的像素运动的瞬时速度；
S33.计算相邻视频帧之间行人的运动速度；
S34.将当前运动递增距离与同向预设道路宽度建立速度-距离模型，求出当前行人距中央隔离栏的距离。
4.根据权利要求3所述一种基于视频识别的行人跨栏行为警报方法，其特征在于，所述S33计算相邻视频帧之间行人的运动速度具体为：
采用深度学习算法建立基于LK光流法的行人穿越机动车道的视频识别算法模型：
从实际拍摄的视频图像数据中获取样本数据，对模型进行训练，训练过程中，根据连续帧图片中运动物体的光流矢量在图形区域的连续变化性，利用运动物体在运动过程中产生的速度矢量特征，计算运动物体即行人距中央隔离栏的距离；
从行人越过靠近位于人行道旁边的车行道分界线开始计算其运动递增距离，结合步骤S31和S32所获取的两帧图像，选取第i帧图像领域内像素点坐标为(x，y)，经过高斯滤波函数确定其领域内像素点的加权平均灰度，作为该图像帧中心像素点的值，其中设置中心点像素的灰度值为F(x，y，t)，引入泰勒级数计算第一灰度值：
Figure FDA0003676107820000021
逐步计算并使用最小二乘法求得第i帧图像像素点的运动速度分量简式：
Figure FDA0003676107820000022
行人在运动过程中，其相邻像素帧中心点像素将发生变化，根据相邻像素帧的运动轨迹的变化并累加其灰度值可得迭代后的运动速度分量：
Figure FDA0003676107820000023
所述步骤S34具体为：从行人跨过靠近人行道旁的车行道分界线为识别起点，陆续从其所获取的视频图像中获取运动速度进行计算其运动递增距离:
从起点开始计算，相邻图像帧时间间隔时间为Δt，随着运动时间增加，其运动递增距离逐渐增大，其运动递增距离为：
Figure FDA0003676107820000024
随着行人运动路线的增长，其运动递增距离增大，距中央隔离栏的距离缩短，道路宽度一定的前提下可计算当前行人距中央隔离栏的距离，即为：
[Lxi]＝[M]-[Sn]
其中fc为摄像头焦距，β为步长偏移量，M为单向路宽。
5.一种基于视频识别的行人跨栏行为警报装置，使用权利要求1-4任意一项所述的方法，其特征在于，该装置包括：摄像头(3)、LED警示灯(5)、WiFi模块(6)、扬声器(38)、存储器(7)、处理器(4)、GPS模块(37)、底座(16)，所述摄像头(3)与处理器(4)的输入端电性连接，摄像头(3)通过交换机传输压缩后的视频图像数据至处理器(4)，所述LED警示灯(5)、WiFi模块(6)、存储器(7)、GPS模块(37)与处理器(4)的输出端电性连接；
其中，装置正面设置有扬声器网罩(10)、LED警示灯孔(11)、摄像头玻璃罩(17)；装置外壳分为两部分，包括装置内嵌外壳(1)、装置外嵌外壳(2)，装置内嵌外壳(1)嵌套在一个装置外嵌外壳(2)内，其中，装置外嵌外壳(2)开口处延长边界至超越装置正面，为一突出的弧形延长边界；装置下方设置有底座(16)，包括第一底座连接件(12)、第二底座连接件(13)、第三底座连接件(39)，其中，第一底座连接件(12)通过螺丝钉嵌套在第三底座连接件(39)上，第二底座连接件(13)用于固定装置于中央隔离栏，包括圆盘固定件(14)和方形固定件(15)，圆盘固定件(14)与第一底座连接件(12)通过螺丝钉固定成嵌套的两个部分，圆盘固定件(14)通过4个螺丝钉固定在方形固定件(15)上，装置通过底座(16)固定在中央隔离栏上。
6.根据权利要求5所述一种基于视频识别的行人跨栏行为警报装置，其特征在于，所述LED警示灯(5)为行人距中央隔离栏40cm时启动，行人距离中央隔离栏距离越短闪烁越频繁；所述扬声器(38)接收从处理器(4)传来的警报处理结果后即发出警报和语音提示。
7.根据权利要求5所述一种基于视频识别的行人跨栏行为警报装置，其特征在于，所述处理器(4)接收摄像头(3)采集到的视频图像后，对视频图像进行切割预处理，识别并检测行人位置以及计算出当前行人至中央隔离栏的距离，并与警报距离对比判断，位于警报距离内则启动LED警示灯(5)、扬声器(38)发出警报，距中央隔离栏为10cm以内即启动摄像头(3)抓拍功能对跨栏行人进行抓拍，处理器(4)通过WiFi模块(6)传输视频图像和抓拍图像至安装装置附近的岗亭和交警监控中心的后台主机，以便于交警人员监控装置的运行情况和接收警报信息。
CN202110322487.5A 2021-03-25 2021-03-25 一种基于视频识别的行人跨栏行为警报方法及装置 Active CN113223276B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110322487.5A CN113223276B (zh) 2021-03-25 2021-03-25 一种基于视频识别的行人跨栏行为警报方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110322487.5A CN113223276B (zh) 2021-03-25 2021-03-25 一种基于视频识别的行人跨栏行为警报方法及装置

Publications (2)

Publication Number Publication Date
CN113223276A CN113223276A (zh) 2021-08-06
CN113223276B true CN113223276B (zh) 2022-07-08

Family

ID=77084155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110322487.5A Active CN113223276B (zh) 2021-03-25 2021-03-25 一种基于视频识别的行人跨栏行为警报方法及装置

Country Status (1)

Country Link
CN (1) CN113223276B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117831253B (zh) * 2024-03-06 2024-05-07 长春汽车工业高等专科学校 一种基于图形识别的自动报警方法及***

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101118648A (zh) * 2007-05-22 2008-02-06 南京大学 交通监视环境下的路况摄像机标定方法
CN103295402A (zh) * 2013-07-01 2013-09-11 广东惠利普路桥信息工程有限公司 智能交通超速抓拍***
CN106023650B (zh) * 2016-07-01 2018-11-30 南京邮电大学 基于交通路口视频及计算机并行处理的实时行人预警方法
CN106652468B (zh) * 2016-12-09 2019-09-10 武汉极目智能技术有限公司 车辆道路前车违规检测和自车违规预警提醒装置及方法
US10255683B1 (en) * 2017-10-31 2019-04-09 Amazon Technologies, Inc. Discontinuity detection in video data
CN110097759A (zh) * 2019-04-28 2019-08-06 南京师范大学 一种基于视频地理围栏的机动车违章行为检测方法
CN111582239A (zh) * 2020-05-28 2020-08-25 中国联合网络通信集团有限公司 一种违章监控方法和装置
CN111681382A (zh) * 2020-05-28 2020-09-18 天津市三源电力设备制造有限公司 一种基于视觉分析检测施工现场跨越临时围栏的方法

Also Published As

Publication number Publication date
CN113223276A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
CN109686109B (zh) 一种基于人工智能的停车场安全监控管理***及方法
CN106652468B (zh) 车辆道路前车违规检测和自车违规预警提醒装置及方法
CN102765365B (zh) 基于机器视觉的行人检测方法及行人防撞预警***
KR101758576B1 (ko) 물체 탐지를 위한 레이더 카메라 복합 검지 장치 및 방법
KR102197946B1 (ko) 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법
TWI430212B (zh) 利用多特徵自動集群法之異常行為偵測系統與方法
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN110738857B (zh) 一种车辆违章取证方法、装置及设备
KR102122859B1 (ko) 교통 영상감시시스템의 멀티 표적 추적 방법
WO2018153211A1 (zh) 获取交通路况信息的方法及装置、计算机存储介质
CN113676702B (zh) 基于视频流的目标追踪监测方法、***、装置及存储介质
CN112509315B (zh) 一种基于视频分析的交通事故检测方法
CN111800507A (zh) 一种交通监控方法及交通监控***
CN110598511A (zh) 一种对闯绿灯事件检测方法、装置、电子设备及***
KR102122850B1 (ko) 딥 러닝 기반의 교통분석 및 차량번호 인식 솔루션
CN112200044B (zh) 异常行为检测方法、装置及电子设备
CN113808418B (zh) 路况信息显示***、方法、车辆、计算机设备和存储介质
KR102434154B1 (ko) 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
CN110852177A (zh) 基于单目相机的障碍物检测方法及***
JP2023104982A (ja) 事故分析装置
CN113223276B (zh) 一种基于视频识别的行人跨栏行为警报方法及装置
CN112581748A (zh) 基于卷积神经网络的车库出车行人安全提示***
KR102499340B1 (ko) 이기종 객체 필터 기반 하이브리드 영상 분석 장치 및 방법
CN113870551B (zh) 一种能够鉴别危险和非危险驾驶行为的路侧监控***
JP2004086417A (ja) 横断歩道等における歩行者検出方法及び同装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210806

Assignee: Guilin Zhitong Transportation Technology Co.,Ltd.

Assignor: GUILIN University OF ELECTRONIC TECHNOLOGY

Contract record no.: X2022450000540

Denomination of invention: A Method and Device of Pedestrian Hurdling Behavior Alarm Based on Video Recognition

Granted publication date: 20220708

License type: Common License

Record date: 20221229

EE01 Entry into force of recordation of patent licensing contract