CN113780157A - 一种结合深度学习和高斯混合模型的无监督逆行检测算法 - Google Patents

Abstract

本发明涉及逆向行驶检测技术领域，尤其为一种结合深度学习和高斯混合模型的无监督逆行检测算法，包括目标检测、目标追踪和速度聚类，其采用一阶段目标检测算法，检测出图片中车辆的位置及宽高，然后通过目标追踪，得到车辆速度，进一步初始化若干个记录器，对不同区域的速度进行聚类，通过判断车辆速度是否服从分布从而判断该车辆速度方向是否正常，即完成了逆行检测。本发明通过设计目标检测采用预训练模型，判断逆行采用的是聚类算法，均无需额外标注，且无需人为指定正确方向；同时，算法在单行道、双行道、交叉路口、不可通行区域等各种复杂路段均可使用，泛化性好；此外算法精度高，响应快，在保证精度的同时可达到超实时的处理速率。

Description

一种结合深度学习和高斯混合模型的无监督逆行检测算法

技术领域

本发明涉及逆向行驶检测技术领域，尤其涉及一种结合深度学习和高斯混合模型的无监督逆行检测算法。

背景技术

现存的车辆逆行检测算法，主要有两种：1.基于细粒度分类的方法，通过目标检测识别出车辆，然后对识别的目标框进行细粒度分类，得到车辆的朝向(四方向或者八方向分类)，通过对比车辆朝向和事先设定的道路方向，即可判断出逆行车辆，该方法为二阶段算法，响应慢，细分类数据标注繁琐，且需要人为提供先验知识，应用面较窄；2.基于目标追踪的方法，通过目标检测算法识别出车辆，然后送入追踪算法进行追踪，同步算出该目标的运动方向，结合预先设定的道路方向，即可判断逆行车辆，该方法较前述方法更为简单，无需额外标注数据，但同样的，其也需要人为指定正确行驶方向，具有局限性。

综上所述，本发明通过设计一种结合深度学习和高斯混合模型的无监督逆行检测算法来解决存在的问题。

发明内容

本发明的目的在于提供一种结合深度学习和高斯混合模型的无监督逆行检测算法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种结合深度学习和高斯混合模型的无监督逆行检测算法，包括目标检测、目标追踪和速度聚类，其具体步骤如下：

S1，目标检测：采用一阶段目标检测算法，并且利用coco预训练模型，可以得到车辆检测器，用该检测器可以检测出图片中车辆的位置坐标及宽高；

S2，将S1中得到的目标图片和位置信息送入追踪器，进行追踪计算，将不同时间帧图片中的相同目标找到，同时通过状态转移矩阵得到目标的速度，考虑到单目相机的测距并不准确，此处的速度主要指速度方向，后面相同；

S3，将图片进行网格化得到若干区域，每个区域初始化一个速度记录器，用来记录该区域的过往速度，并判断后续速度是否属于逆行，按照S1和S2，步骤得到车辆的位置和速度后，根据该车辆的位置选择速度记录器，将车辆的速度录入，更新记录器并判断车辆是否逆行。

作为本发明优选的方案，所述S1中一阶段目标检测算法包括但不仅限于yolo，ssd，retinanet,并且其具体步骤如下：

S11,以yolov5为例，将图片变形为640*640的尺寸送入网络，得到包含[x,y,w,h,c,s]的识别结果，其中x，y为目标中心点坐标，w，h为目标框的宽和高，c是目标的类别，s为目标的置信度；

S12,根据x，y，w，h和原图得到一个个具体目标的图片及其在原图中的位置。

作为本发明优选的方案，所述S2中追踪器采用但不仅限于deepsort,其具体步骤如下：

以deepsort为例，得到每一个目标的唯一id，id相同的目标为同一个物体，由于deepsort中的卡尔曼滤波器的转移矩阵如下：

从而在追踪的过程中也得到了目标的速度。

作为本发明优选的方案，所述S3中网格化的具体步骤如下：

由于车辆的行驶方向是否属于逆行与其所处的路段有关，所以对图片进行网格化，假设图片尺寸为W*H，每一个小网格的尺寸为w*h，从而得到一共W//w*H//h个网格，每一个网格都初始化一个速度记录器，目标位置(x，y)和其所属的网格(i，j)之间的对应关系为(i，j)＝(x//w,y//h)；

作为本发明优选的方案，所述S3中速度记录器的具体步骤如下：

每一个速度记录器实质是一个聚类器，采用高斯混合模型，记录该区域内过往行驶车辆的速度,聚类的簇k等于该区域的最大可通行方向，一般设为4即通常最大通行方向发生在交叉路口处，一般不会超过4个，高斯混合模型的参数计算过程一般采用极大似然估计和EM算法，结合实际情况，对EM算法进行简化。

作为本发明优选的方案，所述S3中逆行的检测的具体步骤如下：

对于每一个速度记录器，当速度个数，即样本数量大于一定值时，即可进行逆行判断，对于新来的车辆，计算其速度属于该区域的速度分布的概率，并基于此判断车辆速度是否正常即是否逆行。

作为本发明优选的方案，所述高斯混合模型中高斯分布的概率分布函数如下所示：

其中μ，∑分别为均值和方差，高斯混合模型即为k个高斯分布，其概率分布为：

其中φ代表单高斯分布，α_k表示数据属于第k个模型的概率，且有:

作为本发明优选的方案，所述极大似然估计和EM算法，具体步骤如下:单高斯分布的参数通过极大似然估计来计算，似然函数为:

则最优参数为:

θ＝argmax_θL(θ)

此时，两边取对数得到：

对于高斯混合模型，则有：

与单高斯模型对比，上式是无法通过求导进行直接求解的，其中包含了三个未知数为α_k,μ_k,σ_k；

为了求解上式，有EM算法，此方法为迭代算法，步骤如下：

A.E-step，根据当前的参数计算期望：E(γ_jk|X，θ)

B.M-step，由于此时α_K已知，可以利用极大似然计算出μ_k,σ_k；

重复E-step和M-step，直至参数收敛：||θ_i+1-θ_i||＜ε

作为本发明优选的方案，所述EM算法的简化具体步骤如下：

EM算法在求解的过程中，每次记录新速度，都需要进行一轮迭代，同时每记录一个速度样本也需要开辟内存进行保存，其时间复杂度为O(n²)，空间复杂度为O(n)，结合该问题实际情况，进行了简化，使时间复杂度和空间复杂度均降为O(1)，具体如下：

A.E-step:对α_k进行离散化，同时在计算α_k的时候，利用速度夹角进行分配，即：

式中，K聚类簇，π/K表示了平均的类间距离,本例中，也就是平均夹角；

B.M-step:由于σ_k并非必须参数，为简化计算，忽略σ_k的影响，只保留μ_k，进而在计算过程中采用滑动更新的方式，而非采用极大似然计算。更新方式如下：

式中，L为样本数量，可见样本数量越多，更新速度越慢，模型也越稳定，通过两块部分的简化，将EM的迭代过程简化为O(1)步计算，且变量保存也只有L和μ。

作为本发明优选的方案，所述计算其速度属于该区域的速度分布的概率具体步骤如下：

由于对EM过程的简化，使得概率的计算方式简化：

同时，判断阈值的表达式为：

其中ε>＝1,为调整系数,一般选1～2，比较概率和阈值的大小即可判断逆行。

与现有技术相比，本发明的有益效果是：

1、本发明中，通过设计目标检测采用预训练模型，判断逆行采用的是聚类算法，均无需额外标注，且无需人为指定正确方向；同时，算法在单行道、双行道、交叉路口、不可通行区域等各种复杂路段均可使用，泛化性好；此外算法精度高，响应快，在保证精度的同时可达到超实时的处理速率。

具体实施方式

下面将结合本发明实施例中，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例,基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种技术方案：

一种结合深度学习和高斯混合模型的无监督逆行检测算法，包括目标检测、目标追踪和速度聚类，其具体步骤如下：

S1，目标检测：采用一阶段目标检测算法，并且利用coco预训练模型，可以得到车辆检测器，用该检测器可以检测出图片中车辆的位置坐标及宽高；

S2，将S1中得到的目标图片和位置信息送入追踪器，进行追踪计算，将不同时间帧图片中的相同目标找到，同时通过状态转移矩阵得到目标的速度，考虑到单目相机的测距并不准确，此处的速度主要指速度方向，后面相同；

S3，将图片进行网格化得到若干区域，每个区域初始化一个速度记录器，用来记录该区域的过往速度，并判断后续速度是否属于逆行，按照S1和S2，步骤得到车辆的位置和速度后，根据该车辆的位置选择速度记录器，将车辆的速度录入，更新记录器并判断车辆是否逆行。

作为本发明进一步优选的方案，所述S1中一阶段目标检测算法包括但不仅限于yolo，ssd，retinanet,并且其具体步骤如下：

S11,以yolov5为例，将图片变形为640*640的尺寸送入网络，得到包含[x,y,w,h,c,s]的识别结果，其中x，y为目标中心点坐标，w，h为目标框的宽和高，c是目标的类别，s为目标的置信度；

S12,根据x，y，w，h和原图得到一个个具体目标的图片及其在原图中的位置。

作为本发明进一步优选的方案，所述S2中追踪器采用但不仅限于deepsort,其具体步骤如下：

以deepsort为例，得到每一个目标的唯一id，id相同的目标为同一个物体，由于deepsort中的卡尔曼滤波器的转移矩阵如下：

从而在追踪的过程中也得到了目标的速度。

作为本发明进一步优选的方案，所述S3中网格化的具体步骤如下：

由于车辆的行驶方向是否属于逆行与其所处的路段有关，所以对图片进行网格化，假设图片尺寸为W*H，每一个小网格的尺寸为w*h，从而得到一共W//w*H//h个网格，每一个网格都初始化一个速度记录器，目标位置(x，y)和其所属的网格(i，j)之间的对应关系为(i，j)＝(x//w,y//h)；

作为本发明进一步优选的方案，所述S3中速度记录器的具体步骤如下：

每一个速度记录器实质是一个聚类器，采用高斯混合模型，记录该区域内过往行驶车辆的速度,聚类的簇k等于该区域的最大可通行方向，一般设为4即通常最大通行方向发生在交叉路口处，一般不会超过4个，高斯混合模型的参数计算过程一般采用极大似然估计和EM算法，结合实际情况，对EM算法进行简化。

作为本发明进一步优选的方案，所述S3中逆行的检测的具体步骤如下：

对于每一个速度记录器，当速度个数，即样本数量大于一定值时，即可进行逆行判断，对于新来的车辆，计算其速度属于该区域的速度分布的概率，并基于此判断车辆速度是否正常即是否逆行。

作为本发明进一步优选的方案，所述高斯混合模型中高斯分布的概率分布函数如下所示：

其中μ，∑分别为均值和方差，高斯混合模型即为k个高斯分布，其概率分布为：

其中φ代表单高斯分布，a_k表示数据属于第k个模型的概率，且有:

作为本发明进一步优选的方案，所述极大似然估计和EM算法，具体步骤如下:

单高斯分布的参数通过极大似然估计来计算，似然函数为:

则最优参数为:

θ＝argmax_θL(θ)

为方便计算，两边取对数得到：

对于高斯混合模型，则有：

与单高斯模型对比，上式是无法通过求导进行直接求解的，其中包含了三个未知数为α_k,μ_k,σ_k；

为了求解上式，有EM算法，此方法为迭代算法，步骤如下：

A.E-step，根据当前的参数计算期望：E(γ_jk|X，θ)

B.M-step，由于此时α_k已知，可以利用极大似然计算出μ_k,σ_k；重复E-step和M-step，直至参数收敛：||θ_i+1-θ_i||＜ε

作为本发明进一步优选的方案，所述EM算法的简化具体步骤如下：

EM算法在求解的过程中，每次记录新速度，都需要进行一轮迭代，同时每记录一个速度样本也需要开辟内存进行保存，其时间复杂度为O(n²)，空间复杂度为O(n)，结合该问题实际情况，进行了简化，使时间复杂度和空间复杂度均降为O(1)，具体如下：

A.E-step:对α_k进行离散化，同时在计算α_k的时候，利用速度夹角进行分配，即：

式中，K聚类簇，π/K表示了平均的类间距离,本例中，也就是平均夹角；

B.M-step:由于σ_k并非必须参数，为简化计算，忽略σ_k的影响，只保留μ_k，进而在计算过程中采用滑动更新的方式，而非采用极大似然计算。更新方式如下：

式中，L为样本数量，可见样本数量越多，更新速度越慢，模型也越稳定，通过两块部分的简化，将EM的迭代过程简化为O(1)步计算，且变量保存也只有L和μ，速度和内存占用都得到了大幅度优化。

作为本发明进一步优选的方案，所述计算其速度属于该区域的速度分布的概率具体步骤如下：

由于对EM过程的简化，使得概率的计算方式简化：

同时，判断阈值的表达式为：

其中ε>＝1,为调整系数,一般选1～2，比较概率和阈值的大小即可判断逆行。

具体实施案例：

步骤1，目标检测：以yolov5为例，将图片变形为640*640的尺寸送入网络，得到包含[x,y,w,h,c,s]的识别结果，其中x，y为目标中心点坐标，w，h为目标框的宽和高，c是目标的类别，s为目标的置信度,然后根据x，y，w，h和原图得到一个个具体目标的图片及其在原图中的位置；

步骤2，目标追踪：将步骤1中得到的目标图片和位置信息送入追踪器，这里以deepsort为例，得到每一个目标的唯一id，id相同的目标为同一个物体，由于deepsort中的卡尔曼滤波器的转移矩阵如下：

从而在追踪的过程中也得到了目标的速度。

步骤3，速度聚类:将图片进行网格化得到若干区域，每个区域初始化一个速度记录器，用来记录该区域的过往速度，并判断后续速度是否属于逆行，按照步骤1和步骤2，步骤得到车辆的位置和速度后，根据该车辆的位置选择速度记录器，将车辆的速度录入，更新记录器并判断车辆是否逆行。

其中：

网格化：由于车辆的行驶方向是否属于逆行与其所处的路段有关，所以对图片进行网格化，假设图片尺寸为W*H，每一个小网格的尺寸为w*h，从而得到一共W//w*H//h个网格，每一个网格都初始化一个速度记录器，目标位置(x，y)和其所属的网格(i，j)之间的对应关系为(i，j)＝(x//w,y//h)；

速度记录器：每一个速度记录器实质是一个聚类器，采用高斯混合模型(补充说明1)，记录该区域内过往行驶车辆的速度。聚类的簇k等于该区域的最大可通行方向，一般设为4(通常最大通行方向发生在交叉路口处，一般不会超过4个)，高斯混合模型的参数计算过程一般采用EM方法(补充说明2)，本发明创造结合实际情况，对EM方法进行了一些简化(补充说明3)，大大提升了高斯混合模型计算的速度，且减少了内存消耗。

逆行的检测：对于每一个速度记录器，当速度个数，即样本数量大于一定值时，即可进行逆行判断，对于新来的车辆，计算其速度属于该区域的速度分布的概率(补充说明4)，并基于此判断车辆速度是否正常(即是否逆行)。

补充说明1.高斯混合模型中高斯分布的概率分布函数如下所示：

其中μ，∑分别为均值和方差，高斯混合模型即为k个高斯分布，其概率分布为：

其中φ代表单高斯分布，α_k表示数据属于第k个模型的概率，且有:

补充说明2.极大似然估计和EM算法，具体步骤如下:

单高斯分布的参数通过极大似然估计来计算，似然函数为:

则最优参数为:

θ＝argmax_θL(θ)

此时，两边取对数得到：

对于高斯混合模型，则有：

与单高斯模型对比，上式是无法通过求导进行直接求解的，其中包含了三个未知数为α_k,μ_k,σ_k；

为了求解上式，有EM算法，此方法为迭代算法，步骤如下：

A.E-step，根据当前的参数计算期望：E(γ_jk|X，θ)

B.M-step，由于此时α_k已知，可以利用极大似然计算出μ_k,σ_k；

重复E-step和M-step，直至参数收敛：||θ_i+1-θ_i||＜ε

补充说明3.EM算法的简化具体步骤如下：

EM算法在求解的过程中，每次记录新速度，都需要进行一轮迭代，同时每记录一个速度样本也需要开辟内存进行保存，其时间复杂度为O(n²)，空间复杂度为O(n)，结合该问题实际情况，进行了简化，使时间复杂度和空间复杂度均降为O(1)，具体如下：

A.E-step:对α_k进行离散化，同时在计算α_k的时候，利用速度夹角进行分配，即：

式中，K聚类簇，π/K表示了平均的类间距离,本例中，也就是平均夹角；

B.M-step:由于σ_k并非必须参数，为简化计算，忽略σ_k的影响，只保留μ_k，进而在计算过程中采用滑动更新的方式，而非采用极大似然计算。更新方式如下：

式中，L为样本数量，可见样本数量越多，更新速度越慢，模型也越稳定，通过两块部分的简化，将EM的迭代过程简化为O(1)步计算，且变量保存也只有L和μ，速度和内存占用都得到了大幅度优化。

补充说明4.计算其速度属于该区域的速度分布的概率具体步骤如下：

由于对EM过程的简化，使得概率的计算方式简化：

同时，判断阈值的表达式为：

其中ε>＝1,为调整系数,一般选1～2，比较概率和阈值的大小即可判断逆行。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种结合深度学习和高斯混合模型的无监督逆行检测算法，包括目标检测、目标追踪和速度聚类，其具体步骤如下：

S1，目标检测：采用一阶段目标检测算法，并且利用coco预训练模型，可以得到车辆检测器，用该检测器可以检测出图片中车辆的位置坐标及宽高；

S2，将S1中得到的目标图片和位置信息送入追踪器，进行追踪计算，将不同时间帧图片中的相同目标找到，同时通过状态转移矩阵得到目标的速度，考虑到单目相机的测距并不准确，此处的速度主要指速度方向，后面相同；

S3，将图片进行网格化得到若干区域，每个区域初始化一个速度记录器，用来记录该区域的过往速度，并判断后续速度是否属于逆行，按照S1和S2，步骤得到车辆的位置和速度后，根据该车辆的位置选择速度记录器，将车辆的速度录入，更新记录器并判断车辆是否逆行。

2.根据权利要求1所述的一种结合深度学习和高斯混合模型的无监督逆行检测算法，其特征在于，所述S1中一阶段目标检测算法包括但不仅限于yolo，ssd，retinanet,并且其具体步骤如下：

S11,以yolov5为例，将图片变形为640*640的尺寸送入网络，得到包含[x,y,w,h,c,s]的识别结果，其中x，y为目标中心点坐标，w，h为目标框的宽和高，c是目标的类别，s为目标的置信度；

S12,根据x，y，w，h和原图得到一个个具体目标的图片及其在原图中的位置。

3.根据权利要求2所述的一种结合深度学习和高斯混合模型的无监督逆行检测算法，其特征在于，所述S2中追踪器采用但不仅限于deepsort,其具体步骤如下：

以deepsort为例，得到每一个目标的唯一id，id相同的目标为同一个物体，由于deepsort中的卡尔曼滤波器的转移矩阵如下：

从而在追踪的过程中也得到了目标的速度。

4.根据权利要求3所述的一种结合深度学习和高斯混合模型的无监督逆行检测算法，其特征在于，所述S3中网格化的具体步骤如下：

由于车辆的行驶方向是否属于逆行与其所处的路段有关，所以对图片进行网格化，假设图片尺寸为W*H，每一个小网格的尺寸为w*h，从而得到一共W//w*H//h个网格，每一个网格都初始化一个速度记录器，目标位置(x，y)和其所属的网格(i，j)之间的对应关系为(i，j)＝(x//w,y//h)。

5.根据权利要求4所述的一种结合深度学习和高斯混合模型的无监督逆行检测算法，其特征在于，所述S3中速度记录器的具体步骤如下：

每一个速度记录器实质是一个聚类器，采用高斯混合模型，记录该区域内过往行驶车辆的速度,聚类的簇k等于该区域的最大可通行方向，一般设为4即通常最大通行方向发生在交叉路口处，一般不会超过4个，高斯混合模型的参数计算过程一般采用极大似然估计和EM算法，结合实际情况，对EM算法进行简化。

6.根据权利要求5所述的一种结合深度学习和高斯混合模型的无监督逆行检测算法，其特征在于，所述S3中逆行的检测的具体步骤如下：

对于每一个速度记录器，当速度个数，即样本数量大于一定值时，即可进行逆行判断，对于新来的车辆，计算其速度属于该区域的速度分布的概率，并基于此判断车辆速度是否正常即是否逆行。

7.根据权利要求6所述的一种结合深度学习和高斯混合模型的无监督逆行检测算法，其特征在于，所述高斯混合模型中高斯分布的概率分布函数如下所示：

其中μ，∑分别为均值和方差，高斯混合模型即为k个高斯分布，其概率分布为：

其中φ代表单高斯分布，a_k表示数据属于第k个模型的概率，且有:

8.根据权利要求7所述的一种结合深度学习和高斯混合模型的无监督逆行检测算法，其特征在于，所述极大似然估计和EM算法，具体步骤如下:

单高斯分布的参数通过极大似然估计来计算，似然函数为:

则最优参数为:

θ＝argmax_θL(θ)

此时，两边取对数得到：

对于高斯混合模型，则有:

与单高斯模型对比，上式是无法通过求导进行直接求解的，其中包含了三个未知数为α_k,μ_k,σ_k；

为了求解上式，有EM算法，此方法为迭代算法，步骤如下：

A.E-step，根据当前的参数计算期望：E(γ_jk|X，θ)

B.M-step，由于此时α_k已知，可以利用极大似然计算出μ_k,σ_k；重复E-step和M-step，直至参数收敛：||θ_i+1-θ_i||＜ε。

9.根据权利要求8所述的一种结合深度学习和高斯混合模型的无监督逆行检测算法，其特征在于，所述EM算法的简化具体步骤如下：

EM算法在求解的过程中，每次记录新速度，都需要进行一轮迭代，同时每记录一个速度样本也需要开辟内存进行保存，其时间复杂度为O(n²)，空间复杂度为O(n)，结合该问题实际情况，进行了简化，使时间复杂度和空间复杂度均降为O(1)，具体如下：

A.E-step:对α_k进行离散化，同时在计算α_k的时候，利用速度夹角进行分配，即：

式中，K为聚类簇，π/K表示了平均的类间距离,本例中，也就是平均夹角；

B.M-step:由于σ_k并非必须参数，为简化计算，忽略σ_k的影响，只保留μ_k，进而在计算过程中采用滑动更新的方式，而非采用极大似然计算。更新方式如下：

式中，L为样本数量，可见样本数量越多，更新速度越慢，模型也越稳定，通过两块部分的简化，将EM的迭代过程简化为O(1)步计算，且变量保存也只有L和μ。

10.根据权利要求9所述的一种结合深度学习和高斯混合模型的无监督逆行检测算法，其特征在于，所述计算其速度属于该区域的速度分布的概率具体步骤如下：

由于对EM过程的简化，使得概率的计算方式简化：

同时，判断阈值的表达式为：

其中ε>＝1,为调整系数,一般选1～2，比较概率和阈值的大小即可判断逆行。