CN115346180B - 一种基于低频数据的道路拥挤情况检测方法和装置 - Google Patents
一种基于低频数据的道路拥挤情况检测方法和装置 Download PDFInfo
- Publication number
- CN115346180B CN115346180B CN202211273150.0A CN202211273150A CN115346180B CN 115346180 B CN115346180 B CN 115346180B CN 202211273150 A CN202211273150 A CN 202211273150A CN 115346180 B CN115346180 B CN 115346180B
- Authority
- CN
- China
- Prior art keywords
- smoothing
- pictures
- picture
- target
- target picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 12
- 238000003062 neural network model Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000009466 transformation Effects 0.000 claims abstract description 26
- 238000009499 grossing Methods 0.000 claims description 98
- 238000006073 displacement reaction Methods 0.000 claims description 62
- 239000013598 vector Substances 0.000 claims description 23
- 238000000354 decomposition reaction Methods 0.000 claims description 18
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 8
- 238000010845 search algorithm Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 abstract description 7
- 230000003068 static effect Effects 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 4
- 229910003460 diamond Inorganic materials 0.000 description 3
- 239000010432 diamond Substances 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/814—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level using belief theory, e.g. Dempster-Shafer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0133—Traffic data processing for classifying traffic situation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Analytical Chemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Chemical & Material Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了一种基于低频数据的道路拥挤情况检测方法和装置，其中，方法包括：通过对拍摄的车辆图片进行小波变换，转换为低频图片，并基于车辆之间的静态距离以及车辆之间的动态距离加入了二次注意力机制识别道路的拥挤情况。本发明的有益效果：实现了对拍摄的车流图片进行低频处理，并进行了二次注意力机制，使神经网络模型可以准确识别处道路的拥挤情况，提高了对道路交通的识别，为道路拥挤情况的识别提供了有力的支持。
Description
技术领域
本发明涉及智能交通领域，特别涉及一种基于低频数据的道路拥挤情况检测方法和装置。
背景技术
在车辆的高速行驶过程中，摄像头拍摄的画面可能会比较模糊，并且拍摄的画面中具有很多不相关的数据，导致拍摄的画面是高频的图片，因此，现有的神经网络模型难以根据拍摄的画面对交通情况进行识别。
发明内容
本发明的主要目的为提供一种基于低频数据的道路拥挤情况检测方法和装置，旨在解决现有的神经网络模型难以根据拍摄的画面对交通情况进行识别的问题。
本发明提供了一种基于低频数据的道路拥挤情况检测方法，包括：
通过摄像头获取高速公路上多帧连续拍摄的车流图片；
对所述拍摄的图片进行小波变换，得到各个车流图片分别对应的目标图片；
按照时间顺序选取第一张目标图片作为第一目标图片，将其余的目标图片记为第二目标图片；
将第一目标图片分割为预设数量且大小相等的分块；
判断所述分块是否在第二目标图片中存在；
若所述分块在第二目标图片中存在，则根据预设的DS搜索算法搜寻每个分块在各个第二目标图片中的位置，并计算各个分块之间的位置差值；
基于各个位置差值的平均值设置各个第二目标图片的第一注意力分值，以及根据搜寻结果计算各个分块之间的位移量，并求取平均值，得到平均位移量；
计算相邻两个平均位移量之间的矢量差值；
基于所述矢量差值并根据softmax函数设置第n+1帧第二目标图片中第二注意力分值，以及将第一帧的第二目标图片中的第二注意力分值设置为常数；
将各个第二目标图片的平均位移量以及对应的第一注意力分值和第二注意力分值进行加权求和，得到各个第二目标图片的加权和；
将各个第二目标图片的平均位移量以及对应的加权和输入至预设的神经网络模型中，得到连续拍摄的车流图片所对应的道路拥挤情况；其中，所述神经网络模型根据多张图片的位移量、对应的加权和以及对应的拥挤情况训练而成。
进一步地，所述将各个第二目标图片的平均位移量以及对应的加权和输入至预设的神经网络模型中，得到连续拍摄的车流图片所对应的道路拥挤情况的步骤之前，还包括：
获取多组训练数据；其中，一组训练数据包括多张图片的位移量、对应的加权和以及对应的拥挤情况；
将各个训练数据中的多张图片的位移量以及对应的加权和作为初始模型的输入，将对应的拥挤情况作为输出对所述初始模型进行初步训练，得到暂时模型；
提取所述暂时模型的卷积核；
对所述卷积核进行多次平滑操作，直至所述暂时模型的满足训练要求，得到所述神经网络模型。
进一步地，所述对所述卷积核进行多次平滑操作，直至所述暂时模型的满足训练要求，得到所述神经网络模型的步骤，包括：
获取卷积核中各个域中的数值；
根据平滑公式
进行多次平滑；其中，
表示第l+1次平滑后的卷积核，
表示第l次平滑后的卷积核，
表示行为h，列为k处的域的数值，
表示域
的空间邻域所对应的域集合，
表示预设的平滑参数；
将第l+1次平滑后的卷积核输入至所述暂时模型中，得到目标模型，并计算损失值
；
判断损失值
是否小于预设值；
若损失值
小于预设值，则将所述目标模型记为神经网络模型。
进一步地，所述根据平滑公式
进行多次平滑的步骤，包括：
获取各组训练数据小波变换的参数值；
根据所述参数值设置所述平滑参数的参数范围；
判断是否具有在所述参数范围内取值的平滑参数满足训练要求；
若具有在所述参数范围内取值的平滑参数满足训练要求，则根据满足训练要求的平滑参数对卷积核进行平滑操作。
进一步地，所述对所述拍摄的图片进行小波变换，得到各个车流图片分别对应的目标图片的步骤，包括：
对所述拍摄的图片进行多次小波分解，得到各个图片对应的第一中间图片和第二中间图片；其中，一次小波分解包括对相邻像素的均值输出以及相邻像素的差值输出；
将所述第一中间图片和第二中间图片进行还原，得到目标图片。
本发明还提供了一种基于低频数据的道路拥挤情况检测装置，包括：
获取模块，用于通过摄像头获取高速公路上多帧连续拍摄的车流图片；
变换模块，用于对所述拍摄的图片进行小波变换，得到各个车流图片分别对应的目标图片；
选取模块，用于按照时间顺序选取第一张目标图片作为第一目标图片，将其余的目标图片记为第二目标图片；
分割模块，用于将第一目标图片分割为预设数量且大小相等的分块；
判断模块，用于判断所述分块是否在第二目标图片中存在；
搜寻模块，用于若所述分块在第二目标图片中存在，则根据预设的DS搜索算法搜寻每个分块在各个第二目标图片中的位置，并计算各个分块之间的位置差值；
第一设置模块，用于基于各个位置差值的平均值设置各个第二目标图片的第一注意力分值，以及根据搜寻结果计算各个分块之间的位移量，并求取平均值，得到平均位移量；
计算模块，用于计算相邻两个平均位移量之间的矢量差值；
第二设置模块，用于基于所述矢量差值并根据softmax函数设置第n+6帧第二目标图片中第二注意力分值，以及将第一帧的第二目标图片中的第二注意力分值设置为常数；
加权求和模块，用于将各个第二目标图片的平均位移量以及对应的第一注意力分值和第二注意力分值进行加权求和，得到各个第二目标图片的加权和；
输入模块，用于将各个第二目标图片的平均位移量以及对应的加权和输入至预设的神经网络模型中，得到连续拍摄的车流图片所对应的道路拥挤情况；其中，所述神经网络模型根据多张图片的位移量、对应的加权和以及对应的拥挤情况训练而成。
进一步地，所述基于低频数据的道路拥挤情况检测装置，还包括：
训练数据获取模块，用于获取多组训练数据；其中，一组训练数据包括多张图片的位移量、对应的加权和以及对应的拥挤情况；
模型训练模块，用于将各个训练数据中的多张图片的位移量以及对应的加权和作为初始模型的输入，将对应的拥挤情况作为输出对所述初始模型进行初步训练，得到暂时模型；
卷积核提取模块，用于提取所述暂时模型的卷积核；
平滑模块，用于对所述卷积核进行多次平滑操作，直至所述暂时模型的满足训练要求，得到所述神经网络模型。
进一步地，所述平滑模块，包括：
数值获取子模块，用于获取卷积核中各个域中的数值；
平滑子模块，用于根据平滑公式
进行多次平滑；其中，
表示第l+1次平滑后的卷积核，
表示第l次平滑后的卷积核，
表示行为h，列为k处的域的数值，
表示域
的空间邻域所对应的域集合，
表示预设的平滑参数；
输入子模块，用于将第l+1次平滑后的卷积核输入至所述暂时模型中，得到目标模型，并计算损失值
；
判断子模块，用于判断损失值
是否小于预设值；
记为子模块，用于若损失值
小于预设值，则将所述目标模型记为神经网络模型。
进一步地，所述平滑子模块，包括：
获取单元，用于获取各组训练数据小波变换的参数值；
设置单元，用于根据所述参数值设置所述平滑参数的参数范围；
判断单元，用于判断是否具有在所述参数范围内取值的平滑参数满足训练要求；
平滑单元，用于若具有在所述参数范围内取值的平滑参数满足训练要求，则根据满足训练要求的平滑参数对卷积核进行平滑操作。
进一步地，所述变换模块，包括：
小波分解子模块，用于对所述拍摄的图片进行多次小波分解，得到各个图片对应的第一中间图片和第二中间图片；其中，一次小波分解包括对相邻像素的均值输出以及相邻像素的差值输出；
还原子模块，用于将所述第一中间图片和第二中间图片进行还原，得到目标图片。
本发明的有益效果：通过对拍摄的车辆图片进行小波变换，转换为低频图片，并基于车辆之间的静态距离以及车辆之间的动态距离加入了二次注意力机制，从而实现了对拍摄的车流图片进行低频处理，并进行了二次注意力机制，使神经网络模型可以准确识别处道路的拥挤情况，提高了对道路交通的识别，为道路拥挤情况的识别提供了有力的支持。
附图说明
图1 是本发明一实施例的一种基于低频数据的道路拥挤情况检测方法的流程示意图；
图2 是本发明一实施例的一种基于低频数据的道路拥挤情况检测方法的结构示意框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后等）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变，所述的连接可以是直接连接，也可以是间接连接。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
参照图1，本发明提出一种基于低频数据的道路拥挤情况检测方法，包括：
S1：通过摄像头获取高速公路上多帧连续拍摄的车流图片；
S2：对所述拍摄的图片进行小波变换，得到各个车流图片分别对应的目标图片；
S3：按照时间顺序选取第一张目标图片作为第一目标图片，将其余的目标图片记为第二目标图片；
S4：将第一目标图片分割为预设数量且大小相等的分块；
S5：判断所述分块是否在第二目标图片中存在；
S6：若所述分块在第二目标图片中存在，则根据预设的DS搜索算法搜寻每个分块在各个第二目标图片中的位置，并计算各个分块之间的位置差值；
S7：基于各个位置差值的平均值设置各个第二目标图片的第一注意力分值，以及根据搜寻结果计算各个分块之间的位移量，并求取平均值，得到平均位移量；
S8：计算相邻两个平均位移量之间的矢量差值；
S9：基于所述矢量差值并根据softmax函数设置第n+1帧第二目标图片中第二注意力分值，以及将第一帧的第二目标图片中的第二注意力分值设置为常数；
S10：将各个第二目标图片的平均位移量以及对应的第一注意力分值和第二注意力分值进行加权求和，得到各个第二目标图片的加权和；
S11：将各个第二目标图片的平均位移量以及对应的加权和输入至预设的神经网络模型中，得到连续拍摄的车流图片所对应的道路拥挤情况；其中，所述神经网络模型根据多张图片的位移量、对应的加权和以及对应的拥挤情况训练而成。
如上述步骤S1所述，通过摄像头获取高速公路上多帧连续拍摄的车流图片，其中，摄像头可以是高速路上的拍摄违规车辆的摄像头，也可以是另外设置的摄像头，多帧连续拍摄的车流图片，可以是在设定时间内进行拍摄的多张图片，例如可以设定摄像头每隔0.2s拍摄一次，采取1s内的拍摄图片，即获取到5帧图片。
如上述步骤S2所述，对所述拍摄的图片进行小波变换，得到各个车流图片分别对应的目标图片。由于小波变换具有局部分解以及大压缩比等特点，因此可以采取小波变换的方式对车流图片进行低频处理，从而得到各个车流图片分别对应的目标图片。其中，本申请中的低频数据，指的是对所述拍摄的图片进行小波变换后的数据。低频数据是相对于高频数据而言的，低频数据是指在原有数据的基础上，对原有数据进行低频处理，使其数据信息量小于原有数据，高频数据是指在原有数据的基础上，对原有数据进行高频处理，使得到的数据信息量大于原有数据，本申请中的低频数据具体指与原有数据相比，更加低频，目前，对于低频数据和高频数据并没有一个明显的定义，仅仅是相对而言。
如上述步骤S3所述，按照时间顺序选取第一张目标图片作为第一目标图片，将其余的目标图片记为第二目标图片，在一个具体的实施例中，由于获取到的道路拥挤情况是实时的，本申请以一次的多帧车流图片为例，实际上，在一个时间跨度较大的时间范围内，其具有多组照片，其中，一组照片包括多帧连续拍摄的车流图片，假设一组照片为5张，获取到的照片为10张，则分别以第一张和第六张图片作为第一目标图片，将其余的图片作为第二目标图片。
如上述步骤S4-S6所述，将第一目标图片分割为预设数量且大小相等的分块；判断所述分块是否在第二目标图片中存在；若所述分块在第二目标图片中存在，则根据预设的DS搜索算法搜寻每个分块在各个第二目标图片中的位置，并计算各个分块之间的位置差值。为了便于区分开车辆以及背景，可以将其分割为数量大小相等的分块，在实际的过程中，由于车辆行驶可能会不在图片中，因此，可以不计入该分块，即若分块不在第二目标图片中，则可以不计算该分块，菱形搜索法（DS搜索法）的具体步骤为在搜索窗口中以九个点的大菱形块为模板，计算邻域内所有点的SAD值；如果SAD最小值点刚好是搜索窗口中心点，进入第三步，否则重复第一步；③以五个点的小菱形块为模板，计算这些点的SAD值，最小值点即为所求点。
如上述步骤S7所述，基于各个位置差值的平均值设置各个第二目标图片的第一注意力分值，以及根据搜寻结果计算各个分块之间的位移量，并求取平均值，得到平均位移量。由于各个位置差值已经得到，故而可以求出平均值，需要说明的是，此处的位置差值是指第二目标图片中各个分块的差值，即一个第二目标图片对应的多个位置差值，设置第一注意力分值的方式可以是通过公式
基于该平均值设定各个所述第二目标图片的第一注意力分值，
表示平均值，
表示第一注意力分值，对于道路的拥挤情况而言，车辆之间的距离与拥挤情况是相关的，因此可以设置第一注意力分值进行计算。
如上述步骤S8-S9所述，计算相邻两个平均位移量之间的矢量差值；基于所述矢量差值并根据softmax函数设置第n+1帧第二目标图片中第二注意力分值，以及将第一帧的第二目标图片中的第二注意力分值设置为常数，对于道路的拥挤情况而言，除了伤处车辆之间的静态信息，还有车辆之间距离变化的动态信息，因此，可以根据向量想个平均位移量之间的矢量差值来计算车流之间的动态信息，softmax函数与上述设置第一注意力分值相同，此处不再赘述。
如上述步骤S10-S11所述，将各个第二目标图片的平均位移量以及对应的第一注意力分值和第二注意力分值进行加权求和，得到各个第二目标图片的加权和；将各个第二目标图片的平均位移量以及对应的加权和输入至预设的神经网络模型中，得到连续拍摄的车流图片所对应的道路拥挤情况；其中，所述神经网络模型根据多张图片的位移量、对应的加权和以及对应的拥挤情况训练而成。由于，第一注意力分值和第二注意力分值中含有的信息比较多，可以根据对应的第一注意力分值和第二注意力分值对第一向量进行加权，加权的方式可以是将各个第一向量的第二注意力分值以及对应的第一注意力分值进行加权求和，然后再与第一向量进行向量相乘，从的得到各个第二目标图片的加权结果。即通过公式
加入了第一注意力分值和第二注意力分值，即第n帧第二目标图片的加权和。其中，
表示第n帧第二目标图片的加权和，
表示第n个第二目标图片的平均位移量，
表示第n个第二目标图片第二注意力分值与第一注意力向量的加权和。从而实现了对拍摄的车流图片进行低频处理，并进行了二次注意力机制，使神经网络模型可以准确识别处道路的拥挤情况，提高了对道路交通的识别，为道路拥挤情况的识别提供了有力的支持。
在一个实施例中，所述将各个第二目标图片的平均位移量以及对应的加权和输入至预设的神经网络模型中，得到连续拍摄的车流图片所对应的道路拥挤情况的步骤S11之前，还包括：
S1001：获取多组训练数据；其中，一组训练数据包括多张图片的位移量、对应的加权和以及对应的拥挤情况；
S1002：将各个训练数据中的多张图片的位移量以及对应的加权和作为初始模型的输入，将对应的拥挤情况作为输出对所述初始模型进行初步训练，得到暂时模型；
S1003：提取所述暂时模型的卷积核；
S1004：对所述卷积核进行多次平滑操作，直至所述暂时模型的满足训练要求，得到所述神经网络模型。
如上述步骤S1001-S1004所述，由于多张图片的位移量和对应的加权和可以反应出对应的拥挤情况，因此，可以将多张图片的位移量和对应的加权和生成对应的趋势向量，生成的方式为将各个多张图片的位移量和对应的加权和按照预设的向量转换方法转换成对应的结果数值，并基于各个结果数值进行排列以生成对应的向量。采用有监督学***滑操作的具体方式后续有详细说明，此处不再赘述，直至所述暂时模型的满足训练要求，得到所述神经网络模型，训练要求具体为当得到的暂时模型的识别误差低于设定值时，即可认为满足了训练要求。
在一个实施例中，所述对所述卷积核进行多次平滑操作，直至所述暂时模型的满足训练要求，得到所述神经网络模型的步骤S1004，包括：
S10041：获取卷积核中各个域中的数值；
S10042：根据平滑公式
进行多次平滑；其中，
表示第l+1次平滑后的卷积核，
表示第l次平滑后的卷积核，
表示行为h，列为k处的域的数值，
表示域
的空间邻域所对应的域集合，
表示预设的平滑参数；
S10043：将第l+1次平滑后的卷积核输入至所述暂时模型中，得到目标模型，并计算损失值
；
S10044：判断损失值
是否小于预设值；
S10045：若损失值
小于预设值，则将所述目标模型记为神经网络模型。
如上述步骤S10041-S10045所述，实现了对卷积核的平滑处理，需要说明的是，公式中的
是一个变量，需要根据训练结果进行不断的调整。计算损失值的方式不作限定，可以是神经网络模型计算损失值的任意计算公式，可以计算到损失值即可。当其小于预设值时，则可以认为模型符合要求。对卷积核进行平滑操作可以有效抑制训练数据中的高频成分，使神经网络模型可以根据更多的低频信息来进行预测，从而提高了识别精度。
在一个实施例中，所述根据平滑公式
进行多次平滑的步骤S10042，包括：
S100421：获取各组训练数据小波变换的参数值；
S100422：根据所述参数值设置所述平滑参数的参数范围；
S100423：判断是否具有在所述参数范围内取值的平滑参数满足训练要求；
S10044：若具有在所述参数范围内取值的平滑参数满足训练要求，则根据满足训练要求的平滑参数对卷积核进行平滑操作。
如上述步骤所述，实现了根据参数值的取值设置平滑参数，进而提高了模型的精度，由于经过平滑后也会损失掉一部分的精度，因此，需要在小波变化的参数与卷积核平滑参数之间进行权衡，具体地，可以预先设置小波变化的参数与平滑操作参数之间的对应关系，因此在获取到小波变化的参数后，可以对参数范围进行设置，当然在一些实施例中，也可以根据小波变化的参数取值进行人工设定第一参数范围，从而减小了因丢失一部分数据信息损失掉一部分的精度后带来的误差。判断是否具有在所述参数范围内进行取值的平滑参数满足训练要求；若具有在所述参数范围内取值的平滑参数满足训练要求，则将根据满足训练要求的平滑参数对卷积核进行平滑操作，并将平滑后的卷积核替换所述暂时模型中的卷积核，得到神经网络模型。
在一个实施例中，所述对所述拍摄的图片进行小波变换，得到各个车流图片分别对应的目标图片的步骤S2，包括：
S201：对所述拍摄的图片进行多次小波分解，得到各个图片对应的第一中间图片和第二中间图片；其中，一次小波分解包括对相邻像素的均值输出以及相邻像素的差值输出；
S202：将所述第一中间图片和第二中间图片进行还原，得到目标图片。
如上述步骤S201-S202所述，实现了对拍摄的图片进行小波分解，即对拍摄的图片进行相邻像素点的均值输出，得到一幅分辨率减半的中间图像，以及对拍摄的图片进行相邻像素点的差值输出，得到一幅分辨率减半的中间图像，经过多次小波分解够，得到第一中间图片和第二中间图片，第一中间图片记录了车辆的轮廓信息，第二中间图片记录了车辆的细节信息，因此可以去掉背景中不重要的细节分量，然后对第一中间图片和第二中间图片进行还原，得到目标图片。
参照图2，本发明还提供了一种基于低频数据的道路拥挤情况检测装置，包括：
获取模块10，用于通过摄像头获取高速公路上多帧连续拍摄的车流图片；
变换模块20，用于对所述拍摄的图片进行小波变换，得到各个车流图片分别对应的目标图片；
选取模块30，用于按照时间顺序选取第一张目标图片作为第一目标图片，将其余的目标图片记为第二目标图片；
分割模块40，用于将第一目标图片分割为预设数量且大小相等的分块；
判断模块50，用于判断所述分块是否在第二目标图片中存在；
搜寻模块60，用于若所述分块在第二目标图片中存在，则根据预设的DS搜索算法搜寻每个分块在各个第二目标图片中的位置，并计算各个分块之间的位置差值；
第一设置模块70，用于基于各个位置差值的平均值设置各个第二目标图片的第一注意力分值，以及根据搜寻结果计算各个分块之间的位移量，并求取平均值，得到平均位移量；
计算模块80，用于计算相邻两个平均位移量之间的矢量差值；
第二设置模块90，用于基于所述矢量差值并根据softmax函数设置第n+6帧第二目标图片中第二注意力分值，以及将第一帧的第二目标图片中的第二注意力分值设置为常数；
加权求和模块100，用于将各个第二目标图片的平均位移量以及对应的第一注意力分值和第二注意力分值进行加权求和，得到各个第二目标图片的加权和；
输入模块110，用于将各个第二目标图片的平均位移量以及对应的加权和输入至预设的神经网络模型中，得到连续拍摄的车流图片所对应的道路拥挤情况；其中，所述神经网络模型根据多张图片的位移量、对应的加权和以及对应的拥挤情况训练而成。
在一个实施例中，所述基于低频数据的道路拥挤情况检测装置，还包括：
训练数据获取模块，用于获取多组训练数据；其中，一组训练数据包括多张图片的位移量、对应的加权和以及对应的拥挤情况；
模型训练模块，用于将各个训练数据中的多张图片的位移量以及对应的加权和作为初始模型的输入，将对应的拥挤情况作为输出对所述初始模型进行初步训练，得到暂时模型；
卷积核提取模块，用于提取所述暂时模型的卷积核；
平滑模块，用于对所述卷积核进行多次平滑操作，直至所述暂时模型的满足训练要求，得到所述神经网络模型。
在一个实施例中，所述平滑模块，包括：
数值获取子模块，用于获取卷积核中各个域中的数值；
平滑子模块，用于根据平滑公式
进行多次平滑；其中，
表示第l+1次平滑后的卷积核，
表示第l次平滑后的卷积核，
表示行为h，列为k处的域的数值，
表示域
的空间邻域所对应的域集合，
表示预设的平滑参数；
输入子模块，用于将第l+1次平滑后的卷积核输入至所述暂时模型中，得到目标模型，并计算损失值
；
判断子模块，用于判断损失值
是否小于预设值；
记为子模块，用于若损失值
小于预设值，则将所述目标模型记为神经网络模型。
在一个实施例中，所述平滑子模块，包括：
获取单元，用于获取各组训练数据小波变换的参数值；
设置单元，用于根据所述参数值设置所述平滑参数的参数范围；
判断单元，用于判断是否具有在所述参数范围内取值的平滑参数满足训练要求；
平滑单元，用于若具有在所述参数范围内取值的平滑参数满足训练要求，则根据满足训练要求的平滑参数对卷积核进行平滑操作。
在一个实施例中，所述变换模块20，包括：
小波分解子模块，用于对所述拍摄的图片进行多次小波分解，得到各个图片对应的第一中间图片和第二中间图片；其中，一次小波分解包括对相邻像素的均值输出以及相邻像素的差值输出；
还原子模块，用于将所述第一中间图片和第二中间图片进行还原，得到目标图片。
本发明的有益效果：通过对拍摄的车辆图片进行小波变换，转换为低频图片，并基于车辆之间的静态距离以及车辆之间的动态距离加入了二次注意力机制，从而实现了对拍摄的车流图片进行低频处理，并进行了二次注意力机制，使神经网络模型可以准确识别处道路的拥挤情况，提高了对道路交通的识别，为道路拥挤情况的识别提供了有力的支持。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM一多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双速据率SDRAM（SSRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink）DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能（Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
Claims (10)
1.一种基于低频数据的道路拥挤情况检测方法，其特征在于，包括：
通过摄像头获取高速公路上多帧连续拍摄的车流图片；
对所述拍摄的图片进行小波变换，得到各个车流图片分别对应的目标图片；其中，所述低频数据指的是对所述拍摄的图片进行小波变换后的数据；
按照时间顺序选取第一张目标图片作为第一目标图片，将其余的目标图片记为第二目标图片；
将第一目标图片分割为预设数量且大小相等的分块；
判断所述分块是否在第二目标图片中存在；
若所述分块在第二目标图片中存在，则根据预设的DS搜索算法搜寻每个分块在各个第二目标图片中的位置，并计算各个分块之间的位置差值；
基于各个位置差值的平均值设置各个第二目标图片的第一注意力分值，以及根据搜寻结果计算各个分块之间的位移量，并求取平均值，得到平均位移量；
计算相邻两个平均位移量之间的矢量差值；
基于所述矢量差值并根据softmax函数设置第n+1帧第二目标图片中第二注意力分值，以及将第一帧的第二目标图片中的第二注意力分值设置为常数；
将各个第二目标图片的平均位移量以及对应的第一注意力分值和第二注意力分值进行加权求和，得到各个第二目标图片的加权和；
将各个第二目标图片的平均位移量以及对应的加权和输入至预设的神经网络模型中，得到连续拍摄的车流图片所对应的道路拥挤情况；其中，所述神经网络模型根据多张图片的位移量、对应的加权和以及对应的拥挤情况训练而成。
2.如权利要求1所述的基于低频数据的道路拥挤情况检测方法，其特征在于，所述将各个第二目标图片的平均位移量以及对应的加权和输入至预设的神经网络模型中，得到连续拍摄的车流图片所对应的道路拥挤情况的步骤之前，还包括：
获取多组训练数据；其中，一组训练数据包括多张图片的位移量、对应的加权和以及对应的拥挤情况；
将各个训练数据中的多张图片的位移量以及对应的加权和作为初始模型的输入，将对应的拥挤情况作为输出对所述初始模型进行初步训练，得到暂时模型；
提取所述暂时模型的卷积核；
对所述卷积核进行多次平滑操作，直至所述暂时模型的满足训练要求，得到所述神经网络模型。
3.如权利要求2所述的基于低频数据的道路拥挤情况检测方法，其特征在于，所述对所述卷积核进行多次平滑操作，直至所述暂时模型的满足训练要求，得到所述神经网络模型的步骤，包括：
获取卷积核中各个域中的数值；
根据平滑公式
进行多次平滑；其中，
表示第l+1次平滑后的卷积核，
表示第l次平滑后的卷积核，
表示行为h，列为k处的域的数值，
表示域
的空间邻域所对应的域集合，
表示预设的平滑参数；
将第l+1次平滑后的卷积核输入至所述暂时模型中，得到目标模型，并计算损失值
；
判断损失值
是否小于预设值；
若损失值
小于预设值，则将所述目标模型记为神经网络模型。
4.如权利要求3所述的基于低频数据的道路拥挤情况检测方法，其特征在于，所述根据平滑公式
进行多次平滑的步骤，包括：
获取各组训练数据小波变换的参数值；
根据所述参数值设置所述平滑参数的参数范围；
判断是否具有在所述参数范围内取值的平滑参数满足训练要求；
若具有在所述参数范围内取值的平滑参数满足训练要求，则根据满足训练要求的平滑参数对卷积核进行平滑操作。
5.如权利要求1所述的基于低频数据的道路拥挤情况检测方法，其特征在于，所述对所述拍摄的图片进行小波变换，得到各个车流图片分别对应的目标图片的步骤，包括：
对所述拍摄的图片进行多次小波分解，得到各个图片对应的第一中间图片和第二中间图片；其中，一次小波分解包括对相邻像素的均值输出以及相邻像素的差值输出；
将所述第一中间图片和第二中间图片进行还原，得到目标图片。
6.一种基于低频数据的道路拥挤情况检测装置，其特征在于，包括：
获取模块，用于通过摄像头获取高速公路上多帧连续拍摄的车流图片；
变换模块，用于对所述拍摄的图片进行小波变换，得到各个车流图片分别对应的目标图片；其中，所述低频数据指的是对所述拍摄的图片进行小波变换后的数据；
选取模块，用于按照时间顺序选取第一张目标图片作为第一目标图片，将其余的目标图片记为第二目标图片；
分割模块，用于将第一目标图片分割为预设数量且大小相等的分块；
判断模块，用于判断所述分块是否在第二目标图片中存在；
搜寻模块，用于若所述分块在第二目标图片中存在，则根据预设的DS搜索算法搜寻每个分块在各个第二目标图片中的位置，并计算各个分块之间的位置差值；
第一设置模块，用于基于各个位置差值的平均值设置各个第二目标图片的第一注意力分值，以及根据搜寻结果计算各个分块之间的位移量，并求取平均值，得到平均位移量；
计算模块，用于计算相邻两个平均位移量之间的矢量差值；
第二设置模块，用于基于所述矢量差值并根据softmax函数设置第n+6帧第二目标图片中第二注意力分值，以及将第一帧的第二目标图片中的第二注意力分值设置为常数；
加权求和模块，用于将各个第二目标图片的平均位移量以及对应的第一注意力分值和第二注意力分值进行加权求和，得到各个第二目标图片的加权和；
输入模块，用于将各个第二目标图片的平均位移量以及对应的加权和输入至预设的神经网络模型中，得到连续拍摄的车流图片所对应的道路拥挤情况；其中，所述神经网络模型根据多张图片的位移量、对应的加权和以及对应的拥挤情况训练而成。
7.如权利要求6所述的基于低频数据的道路拥挤情况检测装置，其特征在于，所述基于低频数据的道路拥挤情况检测装置，还包括：
训练数据获取模块，用于获取多组训练数据；其中，一组训练数据包括多张图片的位移量、对应的加权和以及对应的拥挤情况；
模型训练模块，用于将各个训练数据中的多张图片的位移量以及对应的加权和作为初始模型的输入，将对应的拥挤情况作为输出对所述初始模型进行初步训练，得到暂时模型；
卷积核提取模块，用于提取所述暂时模型的卷积核；
平滑模块，用于对所述卷积核进行多次平滑操作，直至所述暂时模型的满足训练要求，得到所述神经网络模型。
8.如权利要求7所述的基于低频数据的道路拥挤情况检测装置，其特征在于，所述平滑模块，包括：
数值获取子模块，用于获取卷积核中各个域中的数值；
平滑子模块，用于根据平滑公式
进行多次平滑；其中，
表示第l+1次平滑后的卷积核，
表示第l次平滑后的卷积核，
表示行为h，列为k处的域的数值，
表示域
的空间邻域所对应的域集合，
表示预设的平滑参数；
输入子模块，用于将第l+1次平滑后的卷积核输入至所述暂时模型中，得到目标模型，并计算损失值
；
判断子模块，用于判断损失值
是否小于预设值；
记为子模块，用于若损失值
小于预设值，则将所述目标模型记为神经网络模型。
9.如权利要求8所述的基于低频数据的道路拥挤情况检测装置，其特征在于，所述平滑子模块，包括：
获取单元，用于获取各组训练数据小波变换的参数值；
设置单元，用于根据所述参数值设置所述平滑参数的参数范围；
判断单元，用于判断是否具有在所述参数范围内取值的平滑参数满足训练要求；
平滑单元，用于若具有在所述参数范围内取值的平滑参数满足训练要求，则根据满足训练要求的平滑参数对卷积核进行平滑操作。
10.如权利要求6所述的基于低频数据的道路拥挤情况检测装置，其特征在于，所述变换模块，包括：
小波分解子模块，用于对所述拍摄的图片进行多次小波分解，得到各个图片对应的第一中间图片和第二中间图片；其中，一次小波分解包括对相邻像素的均值输出以及相邻像素的差值输出；
还原子模块，用于将所述第一中间图片和第二中间图片进行还原，得到目标图片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211273150.0A CN115346180B (zh) | 2022-10-18 | 2022-10-18 | 一种基于低频数据的道路拥挤情况检测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211273150.0A CN115346180B (zh) | 2022-10-18 | 2022-10-18 | 一种基于低频数据的道路拥挤情况检测方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115346180A CN115346180A (zh) | 2022-11-15 |
| CN115346180B true CN115346180B (zh) | 2023-02-10 |
Family
ID=83957067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211273150.0A Active CN115346180B (zh) | 2022-10-18 | 2022-10-18 | 一种基于低频数据的道路拥挤情况检测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115346180B (zh) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4946896B2 (ja) * | 2008-01-31 | 2012-06-06 | コニカミノルタホールディングス株式会社 | 距離計測装置及び距離計測方法 |
| CN104050685B (zh) * | 2014-06-10 | 2017-05-31 | 西安理工大学 | 基于粒子滤波视觉注意力模型的运动目标检测方法 |
| CN109447008B (zh) * | 2018-11-02 | 2022-02-15 | 中山大学 | 基于注意力机制和可变形卷积神经网络的人群分析方法 |
| CN110969577B (zh) * | 2019-11-29 | 2022-03-11 | 北京交通大学 | 一种基于深度双重注意力网络的视频超分辨率重建方法 |
| CN111860162B (zh) * | 2020-06-17 | 2023-10-31 | 上海交通大学 | 一种视频人群计数***及方法 |
| CN113159061B (zh) * | 2021-03-10 | 2022-02-08 | 哈尔滨工业大学 | 一种基于实例分割的实际隧道围岩碴片识别方法 |
| CN114898284B (zh) * | 2022-04-08 | 2024-03-12 | 西北工业大学 | 一种基于特征金字塔局部差异注意力机制的人群计数方法 |
-
2022
- 2022-10-18 CN CN202211273150.0A patent/CN115346180B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115346180A (zh) | 2022-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110807385B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| CN112862702B (zh) | 图像增强方法、装置、设备及存储介质 | |
| CN111767847B (zh) | 一种集成目标检测和关联的行人多目标跟踪方法 | |
| CN111950394B (zh) | 一种车辆变道的预测方法、装置及计算机存储介质 | |
| CN111160249A (zh) | 基于跨尺度特征融合的光学遥感图像多类目标检测方法 | |
| CN109583483A (zh) | 一种基于卷积神经网络的目标检测方法和*** | |
| CN109800682B (zh) | 驾驶员属性识别方法及相关产品 | |
| CN113095346A (zh) | 数据标注的方法以及数据标注的装置 | |
| CN112861970B (zh) | 一种基于特征融合的细粒度图像分类方法 | |
| CN111814816A (zh) | 一种目标检测方法、装置及其存储介质 | |
| CN110543838A (zh) | 车辆信息检测的方法及装置 | |
| CN111931603B (zh) | 基于竞合网络的双流卷积网络的人体动作识别***及方法 | |
| Suvarnam et al. | Combination of CNN-GRU model to recognize characters of a license plate number without segmentation | |
| CN111091101A (zh) | 基于一步法的高精度行人检测方法、***、装置 | |
| CN112699941A (zh) | 植物病害严重程度图像分类方法、装置、计算机设备和存储介质 | |
| CN115239760A (zh) | 一种目标跟踪方法、***、设备及存储介质 | |
| CN113256683A (zh) | 目标跟踪方法及相关设备 | |
| CN115346180B (zh) | 一种基于低频数据的道路拥挤情况检测方法和装置 | |
| CN117392638A (zh) | 一种服务于机器人场景的开放物体类别感知方法及装置 | |
| CN115953584B (zh) | 一种具有可学习稀疏性的端到端目标检测方法及*** | |
| CN116934820A (zh) | 基于交叉注意力的多尺寸窗口Transformer网络布匹图像配准方法及*** | |
| CN116612272A (zh) | 一种图像处理智能数字化的检测***及其检测方法 | |
| CN114820755A (zh) | 一种深度图估计方法及*** | |
| CN112801020B (zh) | 基于背景灰度化的行人再识别方法及*** | |
| CN112699809B (zh) | 痘痘类别识别方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |