CN111241343A - 一种道路信息监控与分析检测方法、智慧交通控制*** - Google Patents
一种道路信息监控与分析检测方法、智慧交通控制*** Download PDFInfo
- Publication number
- CN111241343A CN111241343A CN202010012511.0A CN202010012511A CN111241343A CN 111241343 A CN111241343 A CN 111241343A CN 202010012511 A CN202010012511 A CN 202010012511A CN 111241343 A CN111241343 A CN 111241343A
- Authority
- CN
- China
- Prior art keywords
- detection
- video
- video stream
- analyzing
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 119
- 238000012544 monitoring process Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 41
- 238000013135 deep learning Methods 0.000 claims abstract description 26
- 238000004458 analytical method Methods 0.000 claims abstract description 14
- 238000003860 storage Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000012800 visualization Methods 0.000 claims description 7
- 238000012552 review Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 230000002401 inhibitory effect Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 3
- 238000011897 real-time detection Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 13
- 230000008901 benefit Effects 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000009430 construction management Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
- G06F16/7328—Query by example, e.g. a complete video frame or video sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/74—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明属于交通目标检测技术领域，公开了一种道路信息监控与分析检测方法、智慧交通控制***，从外部连接的视频采集设备获取携带交通路况图像的视频数据并转码为带有时间戳的视频流；从获取的视频流中提取关键帧；用深度学***台上进行实时模块化展示；完成检测结果的保存与分析，对带有检测结果的视频、目标截图、区间统计数据等结果进行输出保存。本发明有效的解决了单标签目标检测表示物体不充分的问题，对于实时检测速度慢的问题提出了关键帧提取的方法进行加速，同时深度学习算法YOLOv3具有更好的小目标检测能力，具有更好的精确性与稳定性。
Description
技术领域
本发明属于交通目标检测技术领域，尤其涉及一种道路信息监控与分析检测方法、智慧交通控制***。
背景技术
目前，伴随着现代交通工具的日益普及以及人工智能技术的快速发展，智能化交通管理成为了目前社会急需解决的问题。视频结构化与深度学***，为通畅的公众出行和可持续的经济发展服务。视频结构化是一种基于视频内容信息提取的技术，它对视频内容按照语义关系，采用时空分割、特征提取、对象识别等处理手段，组织成可供计算机和人类理解的结构化信息的技术。从数据处理的流程看，视频结构化描述技术能够将非结构化的视频数据转化为人和机器可理解的结构化或者半结构化情报信息，并进一步转化为公共安全实战所用的情报数据，实现视频数据向信息化、情报化的方向转化，达到视频感知世界的智慧应用。视频结构化描述既是海量视频实现信息化、情报化转化行之有效的技术，也是当前公共安全领域中对视频结构化处理的一个指向性方案。在视频结构化描述的内容方面，智慧交通关注的视频信息主要是车辆。在视频中把车辆作为一个可描述的个体展现出来，其中描述信息包括：车牌、车身颜色、车型、车辆品牌、子品牌、车贴、车饰物信息等多种车辆描述信息。通过视频结构化处理后，可以达到如下目的：首先，视频查找速度得到很大的提升。视频结构化之后，从百万级的目标库中(对应数百到一千小时的高清视频)查找某张截图上的车辆嫌疑目标，数秒即可完成；其次，视频结构化可以盘活视频数据，可作为数据挖掘基础。视频经过结构化处理后，存入相应的结构化数据库和结构化视频图像资源服务器，对各类的结构化数据库可以进行深度的数据挖掘，充分发挥大数据作用，提升视频数据的应用价值；
目前智慧交通领域在视频结构化上的应用需求越来越高，因为视频结构化技术可以帮助交通违法查纠、交通事故逃逸、盗抢机动车辆等案件的及时侦破提供重要的信息和证据。同时智慧交通中卡口类视频监控设备对于车辆的抓拍角度是相对固定的，能够较好的识别提取出相应的车辆特征，是业务需求和技术实现一个很好的匹配点。深度学习是机器学习的一种，而机器学习是实现人工智能的必经路径。深度学习的概念源于人工神经网络的研究，含多个隐藏层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。研究深度学习的动机在于建立模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本等。在传统的图像处理和机器学习算法研发中，很多特征都是人为制定的，比如hog、sift特征，在目标检测和特征匹配中占有重要的地位，安防领域中的很多具体算法所使用的特征大多是这两种特征的变种。人为设计特征和机器学习算法，从以往的经验来看，由于理论分析的难度大，训练方法又需要很多经验和技巧，一般需要5到10年的时间才会有一次突破性的发展，而且对算法工程师的知识要求也一直在提高。深度学习则不然，在进行图像检测和识别时，无需人为设定具体的特征，只需要准备好足够多的图进行训练即可，通过逐层的迭代就可以获得较好的结果。从目前的应用情况来看，只要加入新数据，并且有充足的时间和计算资源，随着深度学习网络层次的增加，识别率就会相应提升，比传统方法表现更好。但是深度学习算法对于小目标的检测仍然面临着一些挑战，同时在检测的实时性与精确性方面也需要进一步提升。但尽管如此，深度学习算法的检测性能仍然远超传统检测算法，为实时精确的目标检测提供了技术支撑。
因而在智能化交通急需的当前，将视频结构化与深度学习算法相结合的智慧交通***是必不可少的环节，可以在管理、监管、调度、决策等多个方面为交通部门提供强有力的协助和支持。
综上所述，现有技术存在的问题是：现有的目标检测领域中存在的精确性低，实时性不强。
解决上述技术问题的难度：多标签分类往往会降低分类器的准确性。由于训练数据的复杂性以及应用场景的多样性，多标签分类往往以损失准确性的代价换取多标签分类的功能。实时目标检测的难度在于深度学习算法耗费大量计算资源。深度学习算法具有多参数、深度高的结构特点，这种结构在提高模型准确率的同时，造成了计算复杂的问题。降低计算复杂度的方法有模型剪枝、简化结构、增加问题假设等做法，但往往是以降低准确性为代价的改进方法。小目标检测的难度在于目标分辨率低，携带的信息量少。由于较低的分辨率，图像浅层的特征常常难以被有效捕捉，且随着网络深度的加深，小目标的特征损失了图像了几何意义，单凭深度特征很难进行目标的分类预测。
解决上述技术问题的意义：在复杂场景中，图像中的目标往往有多个标签，进行多标签分类可以更加精准的统计监控场景中出现的对象，有助于后续高效地进行目标筛查。不仅如此，随着数据的海量增长，传统的单标签图像已经不能满足更加复杂的应用需求，更加全面和具体的标签成为提升算法性能的关键。多标签的分类可以应用于场景识别、疾病诊断、交通预测等个领域。实时性是考量一个技术能否落地的重要指标，在一些特定应用场景下，如无人驾驶、场景监测、异常行为识别，实时性显得尤为重要。缩短算法的计算成本不仅可以使其迅速地投入工业界生产，更加重要的一点是可以及时的发现技术本身的潜能与问题，加快产学转换，迭代出性能更加完善的技术产品。小目标检测可以进一步提升检测算法的准确性，有利于精准的道路目标统计，极大程度避免了误检、漏检等情况的发生。不仅如此，小目标检测的应用前景广阔，诸如鸟类目标检测、无人机侦查检测、遥感图像检测等一系列应用，小目标检测扮演者举足轻重的角色。
发明内容
针对现有技术存在的问题，本发明提供了一种道路信息监控与分析检测方法、智慧交通控制***。
本发明是这样实现的，一种道路信息监控与分析检测方法，所述道路信息监控与分析检测方法的视频流解码过程根据预设的视频格式将视频流进行转码以及添加时间戳，并输出包含时间戳的转码视频流；提取关键帧采取用于相似图片搜索的感知哈希法；视频流检测采取深度学习算法YOLOv3进行视频流检测，并输出带有检测结果的视频、目标截图、时间戳；可视化结果展示采取前端界面实时显示的方式对于检测结果与分类标签进行模块化展示；对于保存的检测结果进行输出保存，用以后期的复查分析。
进一步，所述道路信息监控与分析检测方法包括以下步骤：
步骤一，编码解析器从外部连接设备获取原始视频流，根据预设的视频格式将所属的视频流进行转码并添加时间戳，向关键帧提取模块输出带有时间戳的转码视频流，视频流编码译码解析器具备提供视频点播功能；
步骤二，镜头检测采用感知哈希法，从转码后的视频流中提取关键帧；
步骤三，采取单步检测算法YOLOv3深度学习网络，对提取出的关键帧视频流进行多目标检测，将生成带有检测结果的视频、图像；
步骤四，将当前摄像头获取到的实时视频流经过操作处理之后的视频和图片进行实时展示，包括带有检测结果的视频流、检测结果图片，还有检测结果的类别标签，以及检测数据的动态统计图；
步骤五，对检测结果进行保存与分析，以时间戳为分类依据，将不同时间戳的结果归类到不同的结果集中，用以后期的复查和分析。
进一步，所述步骤二镜头检测算法包括以下步骤：
(1)将图片缩小成8*8尺寸，64像素的图片，摒弃不同尺寸、比例带来的图片差异；
(2)再将缩小后的图片，转为64级灰度；
(3)计算DCT并计算64个值的平均值；
(4)计算哈希值，并组合在一起，构成一个64位的整数；
(5)得到指纹以后，对比不同的图片，得出64位中有多少位是不一样的。
进一步，所述如果不相同的数据位不超过5，说明两张图片很相似；如果大于10，说明这是两张不同的图片；阈值设置为2。
进一步，所述步骤三深度学习算法对关键帧进行检测包括：
(1)输入一张任意大小图片，保持长宽比不变的情况下，缩放至w或h达到416，再覆盖在416*416的新图上，作为网络的输入，网络的输入是一张416*416，3通道的RGB图；
(2)运行网络，YOLO的CNN网络把图片分成S*S个网格，每个单元格检测中心点落在该格子内的目标；。
(3)通过NMS，非极大值抑制，筛选出框boxes，输出框class_boxes和置信度class_box_scores，再生成类别信息classes，生成最终的检测数据框，并返回。
进一步，所述步骤二S*S个网格为yolov3多尺度预测，输出3层，每层S*S个网格，分别为13*13，26*26，52*52。
进一步，所述步骤二的每个单元格需要预测3*(4+1+B)个值，如果将输入图片划分为S*S网格，那么每层最终预测值为S*S*3*(4+1+B)大小的张量；B：类别数，B＝80，3为每层anchorbox数量，4为边界框大小和位置(x，y，w，h)1为置信度。
本发明的另一目的在于提供一种实现所述道路信息监控与分析检测方法的信息数据处理终端。
本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如所述的道路信息监控与分析检测方法。
本发明的另一目的在于提供一种应用所述道路信息监控与分析检测方法的智慧交通控制***。
综上所述，本发明的优点及积极效果为：本发明的视频流解码过程根据预设的视频格式将所述的视频流进行转码以及添加时间戳，并输出包含时间戳的转码视频流。在提取关键帧方面，采取用于相似图片搜索的一种快速算法——感知哈希法。在视频流检测方面，采取深度学习算法YOLOv3进行视频流检测，并输出带有检测结果的视频、目标截图、时间戳等。在可视化结果展示方面，采取前端界面实时显示的方式对于检测结果与分类标签进行模块化展示。最后对于保存的检测结果进行输出保存，用以后期的复查分析。
本发明在类别预测方面的优势在于多标签预测，目前分类网络中的分类层都是假设一张图像或一个目标只属于一个类别，但是在一些复杂场景下，一个目标可能属于多个类，比如你的类别中有woman和person这两个类，那么如果一张图像中有一个woman，那么你检测的结果中类别标签就要同时有woman和person两个类，这就是多标签分类，需要用逻辑回归层来对每个类别做二分类。逻辑回归层主要用到sigmoid函数，该函数可以将输入约束在0到1的范围内，因此当一张图像经过特征提取后的某一类输出经过sigmoid函数约束后如果大于0.5，就表示属于该类。该改进可以有效的提高检测结果的全面性，为查询筛查提供了便利。
本发明在视频流的甄选方面优势在于关键帧提取。这样做的原因是原始视频的帧速率可能达到25帧/秒的速度，但是目标的运动往往是连续的，缓慢的。相邻帧之间的相似度非常的高，如果每一帧都进行检测保存，那么将会出现大量的重复检测，这导致检测的实时性大打折扣，为此甄选出关键帧是目标检测前的预处理操作，本发明采用“感知哈希法”，感知哈希法是用于相似图片搜索的一种快速算法。由于镜头检测算法所面向的对象也是成千上百帧的图像帧，所以将这种算法用于镜头检测。
本发明在目标检测方面的优势在于小目标检测。普通的目标检测算法对于小目标难以进行精确的检测，但是在本算法中，借鉴了“特征金字塔网络”，采用多尺度，对不同大小的目标进行目标检测，越精细的检测框就可以检测到越精细的物体，采取上采样的方式实现这种多尺度的特征图，对于细小的目标也能得到精确的检测结果。在摄像头中远处的目标也能得到精确的标签分类。
附图说明
图1是本发明实施例提供的道路信息监控与分析检测方法的流程图。
图2是本发明实施例提供的道路信息监控与分析检测方法的实现流程图。
图3和图4是本发明实施例提供的所使用深度学习算法YOLOv3得到的视频流的检测结果示意图。
图5、图6、图7是本发明实施例提供的对于检测目标的截取示意图。
图8是本发明实施例提供的实时显示检测结果的可视化平台示意图。
图9是本发明实施例提供的可视化平台对于数据的实时统计以及不同检测目标的捕获示意图。
图10是本发明实施例提供的对于检测结果的保存与分析，对带有检测结果的视频，目标截图等结果进行输出保存示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种道路信息监控与分析检测方法、智慧交通控制***，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的道路信息监控与分析检测方法包括以下步骤：
S101：从外部连接的视频采集设备获取携带交通路况图像的视频数据并转码为带有时间戳的视频流；
S102：从获取的视频流中提取关键帧；
S103：用深度学习算法对关键帧进行检测，用以得到带有检测结果的视频流和图像；
S104：对检测结果在可视化平台上进行实时模块化展示；
S105：完成检测结果的保存与分析，对带有检测结果的视频、目标截图、区间统计数据等结果进行输出保存，用以后期的分析检查。
下面结合附图对本发明的技术方案作进一步的描述。
如图2所示，本发明实施例提供的道路信息监控与分析检测方法交通包括以下步骤：
步骤一，编码解析器从外部连接设备获取原始视频流，根据预设的视频格式将所属的视频流进行转码并添加时间戳，向关键帧提取模块输出带有时间戳的转码视频流，所述的视频流编码译码解析器具备提供视频点播功能。
步骤二，从转码后的视频流中提取关键帧，其特征是感知哈希法，感知哈希法是用于相似图片搜索的一种快速算法。由于镜头检测算法所面向的对象也是成千上百帧的图像帧，所以尝试将这种算法用于镜头检测。算法具体步骤如下：
步骤2a)先将图片缩小成8*8尺寸，64像素的图片，摒弃不同尺寸、比例带来的图片差异。
步骤2b)再将缩小后的图片，转为64级灰度。也就是说，所有像素点总共只有64种颜色。
步骤2c)然后计算DCT并计算64个值的平均值。DCT是把图片分解频率聚集和梯状形。
步骤2d)计算哈希值，并组合在一起，就构成了一个64位的整数，这就是这张图片的指纹。
步骤2e)最后，得到指纹以后，就可以对比不同的图片，看看64位中有多少位是不一样的。如果不相同的数据位不超过5，就说明两张图片很相似；如果大于10，就说明这是两张不同的图片。阈值的选择可以通过自定义调试，一般设置为2。
步骤三，用深度学习算法对关键帧进行检测，其特征是，采取单步检测算法YOLOv3深度学习网络，对提取出的关键帧视频流进行多目标检测，将生成带有检测结果的视频、图像。算法步骤描述如下：
步骤3a)输入一张任意大小图片，保持长宽比不变的情况下，缩放至w或h达到416，再覆盖在416*416的新图上，作为网络的输入。即网络的输入是一张416*416，3通道的RGB图。
步骤3b)运行网络。YOLO的CNN网络把图片分成S*S个网格(yolov3多尺度预测，输出3层，每层S*S个网格，分别为13*13，26*26，52*52)，然后每个单元格负责去检测那些中心点落在该格子内的目标。每个单元格需要预测3*(4+1+B)个值。如果将输入图片划分为S*S网格，那么每层最终预测值为S*S*3*(4+1+B)大小的张量。B：类别数(coco集为80类)，即B＝80。3为每层anchorbox数量，4为边界框大小和位置(x，y，w，h)1为置信度。
步骤3c)通过NMS，非极大值抑制，筛选出框boxes,输出框class_boxes和置信度class_box_scores，再生成类别信息classes，生成最终的检测数据框，并返回。
步骤四，对检测后的视频与图像在可视化平台上进行模块化展示。其特征是，通过软件平台，将当前摄像头获取到的实时视频流经过上述操作处理之后的视频和图片进行实时展示，具体包括带有检测结果的视频流、检测结果图片，还有检测结果的类别标签，以及检测数据的动态统计图。
步骤五，对检测结果进行保存与分析，以时间戳为分类依据，将不同时间戳的结果归类到不同的结果集中，用以后期的复查和分析。
以下结合仿真实验，对本发明的技术效果作进一步说明：
1.仿真条件
本实例在Intel(R)Core(R)[email protected]的CPU、内存16G、显卡GeForceGTX1080Ti的windows配置下完成本发明的仿真实验。
2.仿真实验内容
(1)图3和图4为本发明实施例采集数据经过目标检测算法后的结果。
(2)图5、图6和图7为本发明实施例提供的目标区域的图像截取。
(3)图8是本发明实施例提供的实时显示检测结果的可视化平台示意图。
(4)图9是本发明实施例提供的可视化平台对于数据的实时统计以及不同检测目标的捕获示意图。
(5)图10是本发明实施例提供的对于检测结果的保存与分析，对带有检测结果的视频，目标截图等结果进行输出保存示意图。
本仿真实验的数据是实时采集的视频流数据，其中每帧的图像的大小为2560*1440，视频时长为15分钟。
3.仿真实验结果及其分析
图3和图4为单帧视频图像的检测结果，可以看到本发明算法将大部分图像中的目标都检测出来了，但仍然存在误检和漏检的情况(如图4中将路灯装饰检测为行人)，图5、图6和图7是检测目标的结果截图。可以发现，截图的效果非常不错，可以完整的将目标截取出来。图8和图9是前端平台的实时数据模块化展示，一方面可以实时监视视频中的检测结果，另一方面可以根据监控视频中出现的目标进行实时的监测统计，并将不同类别的目标进行分类展示。最后图10为检测目标的文件夹集合，每个检测目标以类别与时间戳进行命名，方便后续的筛查工作。
为了进行说明本发明的有效性，在相同数据上进行了不同算法的对比实验，对比结果如表1所示：
表1
| FP | FN | Accuarcy | 小目标map | FPS | |
| SSD | 2550 | 3762 | 72.4 | 2.2 | 19 |
| FasterR-CNN | 672 | 532 | 74.4 | 6.7 | 5 |
| RetinaNet-50 | 1375 | 1027 | 71.5 | 4.2 | 14 |
| 本发明方法 | 527 | 763 | 76.8 | 5.4 | 35 |
通过表1的对比结果可以发现，本发明所采用的方法可以在保证准确性的同时，很好的满足实时性的要求(FPS为24以上认为达到了实时要求)，同时在小目标检测准确性方面超过了很多优秀方法。综合来说，本方法具有实时性强，检测准确性高的优势，同时具有小目标检测有效的特点。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行***，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种道路信息监控与分析检测方法，其特征在于，所述道路信息监控与分析检测方法的视频流解码过程根据预设的视频格式将视频流进行转码以及添加时间戳，并输出包含时间戳的转码视频流；提取关键帧采取用于相似图片搜索的感知哈希法；视频流检测采取深度学习算法YOLOv3进行视频流检测，并输出带有检测结果的视频、目标截图、时间戳；可视化结果展示采取前端界面实时显示的方式对于检测结果与分类标签进行模块化展示；对于保存的检测结果进行输出保存，用以后期的复查分析。
2.如权利要求1所述的道路信息监控与分析检测方法，其特征在于，所述道路信息监控与分析检测方法包括以下步骤：
步骤一，编码解析器从外部连接设备获取原始视频流，根据预设的视频格式将所属的视频流进行转码并添加时间戳，向关键帧提取模块输出带有时间戳的转码视频流，视频流编码译码解析器具备提供视频点播功能；
步骤二，关键帧提取采用感知哈希法，从转码后的视频流中提取关键帧；
步骤三，采取单步检测算法YOLOv3深度学习网络，对提取出的关键帧视频流进行多目标检测，将生成带有检测结果的视频、图像；
步骤四，将当前摄像头获取到的实时视频流经过操作处理之后的视频和图片进行实时展示，包括带有检测结果的视频流、检测结果图片，还有检测结果的类别标签，以及检测数据的动态统计图；
步骤五，对检测结果进行保存与分析，以时间戳为分类依据，将不同时间戳的结果归类到不同的结果集中，用以后期的复查和分析。
3.如权利要求2所述的道路信息监控与分析检测方法，其特征在于，所述步骤二关键帧提取算法包括以下步骤：
(1)将图片缩小成8*8尺寸，64像素的图片，摒弃不同尺寸、比例带来的图片差异；
(2)再将缩小后的图片，转为64级灰度；
(3)计算DCT并计算64个值的平均值；
(4)计算哈希值，并组合在一起，构成一个64位的整数；
(5)得到指纹以后，对比不同的图片，得出64位中有多少位是不一样的。
4.如权利要求3所述的道路信息监控与分析检测方法，其特征在于，所述如果不相同的数据位不超过5，说明两张图片很相似；如果大于10，说明这是两张不同的图片；阈值设置为2。
5.如权利要求2所述的道路信息监控与分析检测方法，其特征在于，所述步骤三深度学习算法对关键帧进行检测包括：
(1)输入一张任意大小图片，保持长宽比不变的情况下，缩放至w或h达到416，再覆盖在416*416的新图上，作为网络的输入，网络的输入是一张416*416，3通道的RGB图；
(2)运行网络，YOLO的CNN网络把图片分成S*S个网格，每个单元格检测中心点落在该格子内的目标；
(3)通过NMS，非极大值抑制，筛选出框boxes，输出框class_boxes和置信度class_box_scores，再生成类别信息classes，生成最终的检测数据框，并返回。
6.如权利要求5所述的道路信息监控与分析检测方法，其特征在于，所述步骤二S*S个网格为yolov3多尺度预测，输出3层，每层S*S个网格，分别为13*13，26*26，52*52。
7.如权利要求5所述的道路信息监控与分析检测方法，其特征在于，所述步骤二的每个单元格需要预测3*(4+1+B)个值，如果将输入图片划分为S*S网格，那么每层最终预测值为S*S*3*(4+1+B)大小的张量；B：类别数，B＝80，3为每层anchorbox数量，4为边界框大小和位置(x，y，w，h)1为置信度。
8.一种实现权利要求1～7任意一项所述道路信息监控与分析检测方法的信息数据处理终端。
9.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1～7任意一项所述的道路信息监控与分析检测方法。
10.一种应用权利要求1～7任意一项所述道路信息监控与分析检测方法的智慧交通控制***。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010012511.0A CN111241343A (zh) | 2020-01-07 | 2020-01-07 | 一种道路信息监控与分析检测方法、智慧交通控制*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010012511.0A CN111241343A (zh) | 2020-01-07 | 2020-01-07 | 一种道路信息监控与分析检测方法、智慧交通控制*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111241343A true CN111241343A (zh) | 2020-06-05 |
Family
ID=70874284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010012511.0A Pending CN111241343A (zh) | 2020-01-07 | 2020-01-07 | 一种道路信息监控与分析检测方法、智慧交通控制*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111241343A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111800507A (zh) * | 2020-07-06 | 2020-10-20 | 湖北经济学院 | 一种交通监控方法及交通监控*** |
| CN111813700A (zh) * | 2020-09-03 | 2020-10-23 | 武汉中科通达高新技术股份有限公司 | 监控数据展示方法和装置 |
| CN111930500A (zh) * | 2020-07-16 | 2020-11-13 | 华中科技大学 | 一种监控视频联合分析方法及*** |
| CN111970478A (zh) * | 2020-07-07 | 2020-11-20 | 深圳英飞拓智能技术有限公司 | 基于结构化数据分析的方法及***、设备及存储介质 |
| CN112001225A (zh) * | 2020-07-06 | 2020-11-27 | 西安电子科技大学 | 一种在线多目标跟踪方法、***及应用 |
| CN112050828A (zh) * | 2020-09-13 | 2020-12-08 | 常州沃翌智能科技有限公司 | 一种基于深度学习的视觉里程计及里程方法 |
| CN112184624A (zh) * | 2020-09-01 | 2021-01-05 | 燊赛(上海)智能科技有限公司 | 一种基于深度学习的图片检测方法及*** |
| CN112289022A (zh) * | 2020-09-29 | 2021-01-29 | 西安电子科技大学 | 基于时空背景比对的黑烟车检测判定及*** |
| CN112541531A (zh) * | 2020-12-02 | 2021-03-23 | 武汉光庭信息技术股份有限公司 | 一种道路视频数据的采集处理***及方法 |
| CN113095239A (zh) * | 2021-04-15 | 2021-07-09 | 深圳市英威诺科技有限公司 | 一种关键帧提取方法、终端及计算机可读存储介质 |
| CN113743368A (zh) * | 2021-09-18 | 2021-12-03 | 内蒙古工业大学 | 一种行为监测方法、装置、存储介质及电子设备 |
| CN114781823A (zh) * | 2022-04-01 | 2022-07-22 | 中国科学院地理科学与资源研究所 | 一种基于人类活动反馈的城市生态红线预警方法及装置 |
| TWI816303B (zh) * | 2022-02-17 | 2023-09-21 | 慧友電子股份有限公司 | 智慧型監控系統及其方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110175658A (zh) * | 2019-06-26 | 2019-08-27 | 浙江大学 | 一种基于YOLOv3深度学习的混凝土裂缝识别方法 |
| CN110189317A (zh) * | 2019-05-30 | 2019-08-30 | 上海卡罗网络科技有限公司 | 一种基于深度学习的道路影像智能采集和识别方法 |
| CN110427895A (zh) * | 2019-08-06 | 2019-11-08 | 李震 | 一种基于计算机视觉的视频内容相似度判别方法及*** |
-
2020
- 2020-01-07 CN CN202010012511.0A patent/CN111241343A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110189317A (zh) * | 2019-05-30 | 2019-08-30 | 上海卡罗网络科技有限公司 | 一种基于深度学习的道路影像智能采集和识别方法 |
| CN110175658A (zh) * | 2019-06-26 | 2019-08-27 | 浙江大学 | 一种基于YOLOv3深度学习的混凝土裂缝识别方法 |
| CN110427895A (zh) * | 2019-08-06 | 2019-11-08 | 李震 | 一种基于计算机视觉的视频内容相似度判别方法及*** |
Non-Patent Citations (1)
| Title |
|---|
| 谢琳等: "自然保护区海量视频数据快速分析与检索", 《计算机***应用》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111800507A (zh) * | 2020-07-06 | 2020-10-20 | 湖北经济学院 | 一种交通监控方法及交通监控*** |
| CN112001225B (zh) * | 2020-07-06 | 2023-06-23 | 西安电子科技大学 | 一种在线多目标跟踪方法、***及应用 |
| CN112001225A (zh) * | 2020-07-06 | 2020-11-27 | 西安电子科技大学 | 一种在线多目标跟踪方法、***及应用 |
| CN111970478A (zh) * | 2020-07-07 | 2020-11-20 | 深圳英飞拓智能技术有限公司 | 基于结构化数据分析的方法及***、设备及存储介质 |
| CN111930500A (zh) * | 2020-07-16 | 2020-11-13 | 华中科技大学 | 一种监控视频联合分析方法及*** |
| CN112184624A (zh) * | 2020-09-01 | 2021-01-05 | 燊赛(上海)智能科技有限公司 | 一种基于深度学习的图片检测方法及*** |
| CN111813700A (zh) * | 2020-09-03 | 2020-10-23 | 武汉中科通达高新技术股份有限公司 | 监控数据展示方法和装置 |
| CN112050828A (zh) * | 2020-09-13 | 2020-12-08 | 常州沃翌智能科技有限公司 | 一种基于深度学习的视觉里程计及里程方法 |
| CN112289022A (zh) * | 2020-09-29 | 2021-01-29 | 西安电子科技大学 | 基于时空背景比对的黑烟车检测判定及*** |
| CN112289022B (zh) * | 2020-09-29 | 2022-02-25 | 西安电子科技大学 | 基于时空背景比对的黑烟车检测判定方法及*** |
| CN112541531A (zh) * | 2020-12-02 | 2021-03-23 | 武汉光庭信息技术股份有限公司 | 一种道路视频数据的采集处理***及方法 |
| CN113095239A (zh) * | 2021-04-15 | 2021-07-09 | 深圳市英威诺科技有限公司 | 一种关键帧提取方法、终端及计算机可读存储介质 |
| CN113743368A (zh) * | 2021-09-18 | 2021-12-03 | 内蒙古工业大学 | 一种行为监测方法、装置、存储介质及电子设备 |
| TWI816303B (zh) * | 2022-02-17 | 2023-09-21 | 慧友電子股份有限公司 | 智慧型監控系統及其方法 |
| CN114781823A (zh) * | 2022-04-01 | 2022-07-22 | 中国科学院地理科学与资源研究所 | 一种基于人类活动反馈的城市生态红线预警方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111241343A (zh) | 一种道路信息监控与分析检测方法、智慧交通控制*** | |
| Patrikar et al. | Anomaly detection using edge computing in video surveillance system | |
| Luo et al. | MIO-TCD: A new benchmark dataset for vehicle classification and localization | |
| Franklin | Traffic signal violation detection using artificial intelligence and deep learning | |
| US9251425B2 (en) | Object retrieval in video data using complementary detectors | |
| US8620026B2 (en) | Video-based detection of multiple object types under varying poses | |
| CN107316016A (zh) | 一种基于Hadoop和监控视频流的车辆轨迹统计方法 | |
| Ippalapally et al. | Object detection using thermal imaging | |
| Gong et al. | Local distinguishability aggrandizing network for human anomaly detection | |
| Luo et al. | Traffic analytics with low-frame-rate videos | |
| CN111368636A (zh) | 目标分类方法、装置、计算机设备和存储介质 | |
| Vedhaviyassh et al. | Comparative analysis of easyocr and tesseractocr for automatic license plate recognition using deep learning algorithm | |
| CN112507860A (zh) | 一种视频标注方法、装置、设备及存储介质 | |
| CN111507278A (zh) | 一种检测路障的方法、装置及计算机设备 | |
| Bashir et al. | A deep learning approach to trespassing detection using video surveillance data | |
| Dahirou et al. | Motion Detection and Object Detection: Yolo (You Only Look Once) | |
| Anand et al. | Traffic signal violation detection using artificial intelligence and deep learning | |
| CN113505640A (zh) | 一种基于多尺度特征融合的小尺度行人检测方法 | |
| CN117274868A (zh) | 一种基于大模型对视频进行交通事件识别方法及*** | |
| CN111027482A (zh) | 基于运动向量分段分析的行为分析方法及装置 | |
| Siddiqui et al. | Towards efficient vehicle classification in intelligent transportation systems | |
| Wu et al. | Research on asphalt pavement disease detection based on improved YOLOv5s | |
| EP4332910A1 (en) | Behavior detection method, electronic device, and computer readable storage medium | |
| Negri | Estimating the queue length at street intersections by using a movement feature space approach | |
| Prakash-Borah et al. | Real-Time Helmet Detection and Number Plate Extraction Using Computer Vision |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200605 |
|
| RJ01 | Rejection of invention patent application after publication |