CN106023605B - 一种基于深度卷积神经网络的交通信号灯控制方法 - Google Patents

Abstract

本发明公开一种基于深度卷积神经网络的交通信号灯控制方法，主要包括用于获取整个路口的全景视频图像的无死角的全方位视觉传感器；对视频图像进行分割、用深度卷积神经网络分析关键处车辆拥堵的状态，并将处理结果及控制命令发给信号灯控制器的计算机；用于接收所述计算机的控制命令并对路口信号灯进行控制的信号灯控制器。本发明能有效地解决交叉路口处车辆拥堵的状态情况下出现与“绿灯行、红灯停”的交通规则相桲的窘境，能有效防止由于闯绿灯行为所导致的大面积交通拥堵的发生，极大减轻交警的执法难度和执法强度。

Description

一种基于深度卷积神经网络的交通信号灯控制方法

技术领域

本发明涉及计算机技术、模式识别、人工智能、应用数学以及生物视觉技术在智能交通领域的应用，尤其涉及一种基于深度卷积神经网络的交通信号灯控制方法。

背景技术

目前我国各城市道路中设有红黄绿指示信号灯、“箭头”信号灯、多相位信号灯等；随着车辆保有量急剧增加，交通高峰期期间时常会出现清空不畅的拥堵和下游排队溢出的拥堵问题；按照新交通法规机动车遇有前方交叉路***通阻塞时，应停在路口以外等候，目前道路路口的信号灯上方会有一些相应的警示牌告知驾驶员。对于未依次停在路口以外等候，在绿灯时进入路口并滞留的被认为是一种交通违法行为。

“闯绿灯”是指虽然信号灯为绿灯时，但在交通拥堵的情况下驶入交叉路口，这样可能会造成更加堵塞交通的行为。《中华人民共和国道路交通安全法实施条例》第五十三条规定：机动车遇前方交叉路***通阻塞时，应当依次停在路口以外等候，不得进入路口。如果出现类似情况将可能被处以罚款100元、记2分的处罚。

但是在许多人看来，“闯绿灯”可能并不算是违法行为，但是危害并不小。车辆在绿灯时进入路口并滞留，而当该行车方向变为红灯，相交叉方向变为绿灯时，交叉方向车辆无法顺利驶过路口，造成路***叉拥堵，影响周边路段交通。出现上述情况是与我们原来“绿灯行、红灯停”的交通规则相桲的，也对交通执法带来了极大地难度；目前的状况，如果在交通高峰期期间没有交警在现场，许多车辆在高峰时间会有“闯绿灯”行为，从而导致路口堵塞，继而影响周边路口的车辆行驶，严重时可辐射至主干道的交通，进而对整个市区某个区域的交通产生影响。

为了在交通法规上不造成容易混淆现象，在路口出口相位出现清空不畅的拥堵和下游排队溢出的拥堵情况时，理想的信号灯控制方式是强制将信号灯的状态设置为红灯；这样就不会出现所谓的“闯绿灯”行为，同时也极大地降低了交警的执法强度和执法难度。要实现上述目标，需要有一种对路口清空不畅的拥堵和下游排队溢出的拥堵检测技术以及相对应的信号灯控制技术。

近年来，视频检测技术己成为智能交通领域最重要的信息采集手段，综合评比，将视频检测技术应用于高速公路和城市道路具有极大的实际应用价值，基于视频车辆及路况识别***，将全面提升城市道路的信息采集和安全管理的水平，在智能交通***中会发挥越来越重要的作用。

车辆的视觉识别，国内外很多学者进行了相关研究。论文“Robert T.Collins,Alan J.Lipton,Hironobu Fujiyoshi,and Takeo Kanade.Algorith rns Forcooperative multisensor surveillanee.In Proceedings of the IEEE”披露了一个路上移动目标的检测、跟踪、识别***，用训练过的神经网络来识别运动目标是人、人群、车辆还是干扰，网络的输入特性量有目标的分散性度量、目标大小目标表面大小与摄影机监视区域大小的相对值。上述技术基本上还需要人工来完成特征抽取，更大的问题是：1)受具体应用环境的影响太大，各类检测算法要求的条件太苛刻；2)受自然环境影响太大，特别是光照影响；3)检测算法十分耗时。

申请号为201510012867.3的中国专利申请公开了一种能提示并防止机动车绿灯跟进阻塞路口以及闯红灯的***和方法，检测越过停止线的机动车的速度；计算以该机动车速度通过路口所需要的通行时间，实时监测当前该放行方向绿灯的剩余时间，如果所需的通行时间大于绿灯的剩余时间，则通过提示单元提示机动车不要进入路口。通过该方式，可以在路口即将发生拥堵时，就能通过提示的方式，提示车辆不要进入路口，因此可以有效的防止路口即将发生拥堵时，机动车看到绿灯继续跟进现象的发生，保证了路口不拥堵方向的畅通。在此基础上，该方案还提供了对闯红灯违法行为的监控，对于非绿灯时进入路口的车辆进行拍照，有效对闯红灯行为进行了监管。

路口清空不畅的拥堵和下游排队溢出的拥堵视觉检测技术，可以简单理解为是一种路况视觉识别技术，即通过摄像机获取路口及下游入口的视频图像，通过计算机视觉的方式分析视频图像中是否存在着大量的车辆，如果车辆在路口及下游入口处所占道路的面积比超过一个阈值并持续时间超过一个阈值就将进入该下游入口处的上游出口处的信号灯强制设置为红灯。

综上所述，采用计算机视觉的路况识别，目前尚存在着如下若干个棘手的问题：1)如何从复杂的背景中准确定位分割出被测车辆的整体图像并在每帧图像中准确地框出其大小；2)如何降低天气光照等条件的影响，增加***的自适应性和鲁棒性；3)如何兼顾好识别精度和检测效率，同时尽可能减少训练和学习时间。

发明内容

为了克服已有的路况视觉识别技术中的自动化和智能化水平低、缺乏深度学***、能较好适应环境天气变化具有广泛的自适应性、能保证在较好的检测识别精度基础上有实时检测识别能力、能较好解决车辆与路况识别的复杂性和推广性的矛盾具有较佳的普适性。在交通法规方面能有效避免出现闯绿灯行为等容易混淆现象出现。

要实现上述发明内容，必须要解决几个核心问题：(1)设计一种车辆对象的快速视觉定位识别算法；(2)研发一种快速检测出交叉路口及下游入口处车辆拥堵的状态的算法；(3)设计一种根据交叉路口及下游入口处车辆拥堵状态的信号灯自动控制方法。

本发明解决其技术问题所采用的技术方案是：

首先，对四岔路口的下游入口处的发生拥堵及溢出的情况有一个全局的了解，如图1所示，图中的西向方向上车辆已发生拥堵，按照目前的交通法规就不允许其他相位中的车辆再驶入西向方向上的下游入口处，如图1中的朝东的E₂、朝北的N₀和朝南的S₁，由于目前技术上的问题，只是在信号灯上面用相应的警示牌进行了提示，而信号灯的状态并未设置成红灯，这种“绿灯行、红灯停”的交通规则相桲的窘境给交警执法带来了很多困难；理想的情况是当检测到上述状态出现时，将如图1中的朝东的E₂、朝北的N₀和朝南的S₁的信号灯强制的设置为红色。

同样道理，对于在四岔路口内发生拥堵的情况，就应该强制地将路口的信号灯全部设置成红灯，避免闯绿灯行为发生，只有在四岔路口内发生拥堵解除的情况才恢复常态的周期性信号灯控制。

本发明中将下游入口处和岔口内区域部分称为关键处，视觉检测路况的关注区域只限于关键处，以四岔路口为例，本发明只关注四个方向的下游入口处和岔口内区域部分；

一种基于深度卷积神经网络的交通信号灯控制方法的***硬件包括用于获取整个路口的全景视频图像的无死角的全方位视觉传感器；对整个路口的全景视频图像进行分割、用深度卷积神经网络分析路口及下游入口处车辆拥堵的状态，并将处理结果及控制命令发给信号灯控制器的计算机；用于接收所述计算机的控制命令并对路口信号灯进行控制的信号灯控制器；用于路口的交通状态进行管理和控制输出的交通信号灯；所述的无死角的全方位视觉传感器通过视频线与所述的计算机连接，所述的计算机通过控制总线与所述的信号灯控制器连接，所述的信号灯控制器主要分为常态的周期信号灯控制和拥堵情况时的非常态信号灯强制控制模式，直接驱动所述的交通信号灯；在所述的非常态信号灯强制控制模式下，强制地将路口的信号灯全部设置成红灯，避免人员或车辆继续进入拥堵的路口内，从而防止闯绿灯行为发生。

为了获取与图1所示的路口及所有下游入口处的视频图像，本发明采用了一种无死角的全方位视觉传感器，详细见中国发明专利申请号为200710066757.0，成像原理如图5所示；无死角的全方位视觉传感器安装在交叉路口中间的正上方，如图3所示；通过计算机对全景图像进行图像分割和展开等处理得到交叉路口及各下游入口处的视频图像；对于四岔路口，图2所示是四岔路口从上游出口处到下游入口处的车流指向，本发明将全景图像分割成1幅交叉路口和4幅不同下游入口处的视频图像，即分割成关键处图像；

图4所示的是一幅某下游入口处的视频图像，首先是对该视频图像进行处理，定位识别出在该区域内的所有车辆；本发明采用深度卷积神经网络来实现车辆的识别与定位，并在视频图像中框出车辆的位置与大小，为统计交叉路口及下游入口处车辆拥堵的状态做好数据准备；其次，根据被测图像中框出的各车辆位置与大小统计出车辆所占面积；然后计算车辆所占面积与下游入口处的道路面积的比，得到拥堵指数；接着进行判断，如果拥堵指数超过某一阈值，就对拥堵时间进行计时；如果连续拥堵超过时间阈值就强制设置相关相位的信号灯为红灯，图3所示的是一种基于深度卷积神经网络的交通信号灯控制方法的***框图，用无死角的全方位视觉传感器来获取整个路口的全景视频图像，用计算机对全景视频图像进行分割、用深度卷积神经网络分析路口及下游入口处车辆拥堵的状态，并将处理结果及控制命令发给信号灯控制器；信号灯控制器根据控制命令对路口的信号灯进行控制，信号灯控制器中的控制主要分为常态的周期信号灯控制和拥堵情况时的非常态信号灯强制控制模式，图7所示为本发明中交通信号灯控制方法的***控制流程框图；

在图7所示的框图中主要分为车辆的视觉检测、识别与定位和基于深度卷积神经网络的交通信号灯控制算法两个重要部分；

(1)车辆的视觉检测、识别与定位；本发明采用深度卷积神经网络技术对交叉路口及下游入口处的视频图像进行处理，具体实现如下：

在深度卷积神经网络中，有以下几种最主要的层：

1)卷积运算层，每个神经元会和上一层的若干小区域连接，计算权重和小区域像素的内积；2)池化层，理解成一个下采样，得到的结果维度就变少；3)激活层，是神经元激励层，本发明中采用的是ReLU，计算的是max(0,x)；4)全连接层，全连接层一般用于最后计算类别得分，这一层的所有神经元会和上一层的所有神经元有连接。卷积层和全连接层包含权重和偏移的；而激活层和池化层只是一个固定的函数运算，是不包含权重和偏移参数的。卷积层、全连接层和池化层包含超参数，激活层没有超参数。

卷积层的参数由一系列的可训练/学***面内的部分特征，当出现它学习到的特征的时候，就会呈现激活状态。

局部感受野。这是卷积神经网络的独特之处其中之一，在高维数据中，用全连接的神经网络，实际工程中基本是不可行的。卷积神经网络中每一层的神经元只会和上一层的一些局部区域相连，这就是所谓的局部感受野。上一层的数据区，有一个滑动的窗口，只有这个窗口内的数据会和下一层神经元有关联，这样就要求设定一个超参数，即窗口大小。这里将窗口的宽和高设定相等，我们把宽×高的窗口称为局部感受野。实际的计算中，这个窗口是以一定的步长来滑动，从而覆盖图片的所有小区域。每个局部感受野的权值共享。

从输入的数据到输出数据，有三个超参数决定了输出数据的维度，分别是深度，步长和填充值：所谓深度指的是卷积层中和上一层同一个输入区域连接的神经元个数。所谓步长指的是窗口从当前位置到下一个位置，跳过的中间数据个数。所谓填充值指的是在原始图像数据的周边补上0值的圈数。

一个完整的深度卷积神经网络就是由上述几种基本层叠加组成的，如图6所示。本发明采用24个卷积层和2个全连接层叠加的深度卷积神经网络，最终的输出是对7×7个网格的预测，每个网格预测3类对象的概率和坐标。

第一层卷积层，填充值是3，64个过滤器，窗口大小为7×7，步长为2，输出特征为224×224×64，然后进行leaky ReLU激活层1处理，经过池化层1进行最大池化2×2的核，步长为1，得到[(224-1+1)/2]+1＝112特征，总的特征为112×112×64，然后进行正则化处理；

第二层卷积层，填充值是1，窗口大小为3×3，3个过滤器，步长为1，输出为112×112×192，然后进行leaky ReLU激活层2处理，经过池化层2进行最大池化2×2的核，步长为2，输出为56×56×256，然后进行***分成四个支线；

第三层卷积层，开始时起始模块，这个的思想受到使用不同尺度的Gabor过滤器来处理多尺度问题，起始模块采用不同尺度的卷积核来处理问题，分为四个支线：

1：1×1的卷积核输出28×28×128；

2：3×3的卷积核输出28×28×256；

3：1×1的卷积核输出28×28×256；

4：3×3的卷积核输出28×28×512；

将四个结果进行连接，经过池化层3进行最大池化2×2的核，步长为2，输出为28×28×512；

第四层卷积层，思想与第三层雷同，将上述的结果又分成四条支线：

1～2：4个1×1的卷积核和4个3×3卷积核输出14×14×512；

3：1×1的卷积核输出14×14×512；

4：3×3卷积核输出14×14×1024；

将四个结果进行连接，经过池化层4进行最大池化2×2的核，步长为2，输出为14×14×1024；

第五层卷积层，思想与第三层雷同，将上述的结果又分成四条支线：

1～2：2个1×1×512的卷积核和2个3×3×1024卷积核输出7×7×1024；

3：1×1×1024的卷积核输出7×7×1024；

4：3×3×1024卷积核，步长为2，输出为7×7×1024；

将四个结果进行连接，输出为7×7×1024；

第六层卷积层，思想与第三层雷同，将上述的结果又分成二条支线：

1：3×3×1024的卷积核输出为7×7×1024；

2：3×3×1024的卷积核输出为7×7×1024；

将二个结果进行连接，输出为7×7×1024；

第七层全连接层，输出为1×4092；

第八层全连接层，输出为7×7×30，最后预测类的概率和包围框，使用逻辑激活函数；

卷积层和全连接层包含训练参数，leaky ReLU激活层和池化层不包含训练参数；从第三层开始到第六层为止每个层中都有分支，这样增加了深度卷积神经网络的宽度，能有效提升深度卷积神经网络的检测精度；

深度卷积神经网络训练时，网络前20层加一个最大池化层及两个全连接层进行训练；深度卷积神经网络的最后一层使用逻辑激活函数，其他层使用leaky ReLU，如公式(1)所示；

式中，x为输入，φ(x)为输出；为了避免过拟合，这里使用dropout和数据增加技术，使得深度卷积神经网络具有较好的稀疏性；

进一步，说明深度卷积神经网络的视觉检测、定位及分类原理；首先将一幅图像分成S×S个网格，如图4所示，如果某个对象的中心落在这个网格中，则这个网格就负责预测这个对象；每个网格要预测B个边缘框，每个边缘框除了要回归自身的位置之外，还要附带预测一个信任值；这个信任值代表了所预测的框中含有对象的置信度和这个框预测的有多准两重信息，用公式(2)进行计算；

式中，Pr(object)表示对象落在网格中的概率，如果有对象落在一个网格里，Pr(object)＝1，否则Pr(object)＝0；是预测的边缘框和实际的ground truth之间的IoU值，IoU，即intersection over union表示预测的边缘框和实际的ground truth之间的交集；

每一个边缘框由X，Y，W，H和信任值5个预测值构成，(X，Y)坐标代表边缘框的中心坐标值，W、H代表边缘框的宽度和高度，信任值是预测的边缘框和实际的ground truth之间的IoU值；

每个网格还要预测一个类别信息，记为C类。则S×S个网格，每个网格要预测B个边缘框还要预测C个类。输出就是S×S×(5×B+C)的一个张量；这里，类信息是针对每个网格的，信任值信息是针对每个边缘框的；由于本发明运用于道路上的对象视觉检测，因此这里只关心车辆、行人和骑车的3类对象，即C＝3。

每个网格还预测C类的条件概率，Pr(class|Object)，这个概率是在包含一个对象的网格单元上的条件概率，这样我们可以只预测每一个网格单元中的一组类的概率，而不需要考虑边缘框的数量B；在测试的时候，每个网格预测的类信息和边缘框预测的信任值信息相乘，就得到每个边缘框的类特殊置信度，公式(3)所示，

式中，Pr(object)表示对象落在网格中的概率，是预测的边缘框和实际的ground truth之间的IoU值，Pr(class_i|Object)表示对象中出现某种类的条件概率，Pr(class_i)表示某种类的出现概率；公式(3)左边第一项就是每个网格预测的类别信息，第二、三项就是每个边缘框预测的信任值。这个乘积编码了预测的属于某一类的概率和该边缘框准确度的信息；

这里我们选择S＝7，B＝2，这样预测结果中共有7×7×(5×2+20)＝1470张量；

得到每个边缘框的类特殊置信度以后，设置一个阈值，滤掉得分低的边缘框，对保留的边缘框进行非极大值抑制处理，就得到最终的检测结果。

每个网格中共有30维信息，在这30维信息中，2个边缘框的8维信息是回归边缘框的坐标，2个边缘框的2维信息是边缘框的信任值，还有20维信息是类别。其中坐标的x、y用对应网格的偏移归一化到0～1之间，边缘框的w、h用被测图像的宽和高归一化到0～1之间。

在实现中，如何设计一个好的损失函数，使得边缘框的坐标、边缘框的信任值和类别这三个方面得到很好的平衡；8维的定位误差和20维的分类误差应该有所区分轻重；另外，如果在一个网格中没有对象，那么就会将这些网格中的边缘框的信任值设定为0，相比于较少的有对象的网格，这种做法会导致网络不稳定甚至发散；

为了解决上述问题，在本发明中，深度卷积神经网络输出使用平方和误差，并引入尺度因子λ对类概率和包围框的误差进行加权，同时为了反映出偏离在大的包围框中的影响比较小，使用包围框的宽和高的平方根，最终的损失函数用公式(4)表示；

式中，λ_coord为在网格中对象坐标预测的尺度因子，λ_noobj为在网格中没有对象的边缘框的尺度因子，表示第i个网格中第j个边缘框中有对象存在，表示第i个网格中第j个边缘框中没有对象存在，表示第i个网格中有对象存在，S²表示被测图像中分割的网格数目，B表示网格中的边缘框的个数，x_i、分别表示第i个网格中对象在x轴上的实际坐标值和预测坐标值，y_i、分别表示第i个网格中对象在y轴上的实际坐标值和预测坐标值，w_i、分别表示第i个网格中对象的实际宽度值和预测宽度值，h_i、分别表示第i个网格中对象的实际高度值和预测高度值，C_i、分别表示第i个网格中的实际信任值和预测信任值，p_i(c)、分别表示第i个网格中的实际出现对象的概率和预测出现对象的概率；公式(4)中的第一项用于对坐标的预测，第二项用于对含对象的边缘框的信任值进行预测，第三项用于对不包含对象的边缘框的信任值进行预测，第四项是对对象中的类别进行预测；

具体做法是：1)这里更为重视8维的坐标预测，给这些损失前面赋予更大的损失比重，记λ_coord为在网格中对象坐标预测的尺度因子，在本发明的数据集训练中取值为5；2)对没有对象的边缘框的信任值损失，赋予小的损失比重，记λ_noobj为在网格中没有对象的边缘框的尺度因子，在本发明的数据集训练中取值为0.5；3)在网格中有对象的边缘框的信任值损失和类别的损失比重，取值为1；

另外，在对不同大小的边缘框位置预测中，相比于大的边缘框位置预测偏一点，小的边缘框的预测位置稍偏一点肯定也是不能被接受的，这是因为平方和误差损失中对同样的偏移损失将一视同仁处理。为了缓和这个问题，这里将边缘框的宽和高取平方根计算来代替原来直接的宽和高的计算，使得小的边缘框的预测位置更敏感；用图8说明就很容易理解，小的边缘框的横轴x值较小，在发生偏移时，反应到y轴上相比要比大的边缘框更敏感。

49个网格单元，每个网格单元包含20个概率预测值，一共就有980个预测值，有时候只有少数网格有对象物体存在，这样严重的稀疏可能会导致最终所有的概率都为0，导致训练过程发散；

针对这一问题，在每个网格单元引入额外变量，用于表示在此网格存在物体的概率。这样在某一位置的车辆的类别概率就可以计算出来，即：

Pr(Car)＝Pr(Object)×Pr(Car|Object) (5)

公式(5)中的车辆存在概率在每个网格处都更新，而条件概率只在那些含有车辆的网格处才更新，这样就能避免概率为0的问题；

通过上述计算，得到了每个关键处的图像中各车辆位置与大小信息。

(2)基于深度卷积神经网络的交通信号灯控制算法

基于深度卷积神经网络的交通信号灯控制算法如下；

STEP1：首先根据路口的各关键处被测图像中框出的各车辆位置与大小统计出车辆所占面积，面积计算方式如公式(6)所示；

式中，w_I,i为某关键处图像中在第i个网格中有车辆对象的宽度值，h_I,i为某关键处图像中在第i个网格中有车辆对象的高度值；A_I,car为路口的某关键处的被测图像中框出的各车辆所占的面积；A_o,car、A_E,car、A_S,car、A_W,car和A_N,car分别表示交叉口中间、东向、南向、西向和北向下游入口处的车辆所占的面积，关键处I∈{o,E,S,W,N}；

STEP2：然后计算关键处车辆所占面积与关键处的道路面积的比，用公式(7)计算得到拥堵指数，

式中，A_I,road为关键处的道路面积，A_I,car为被测图像的关键处各车辆所占的面积，Index_I,con为某关键处的拥堵指数，关键处I∈{o,E,S,W,N}；

STEP3：判断所有关键处的拥堵指数Index_I,con＞T_c是否成立；T_c为拥堵指数阈值，如果都不成立跳转到STEP1；

STEP4：记录那个拥堵指数Index_I,con＞T_c的关键处的I，开始对拥堵时间进行计时；T_I表示某关键处的计时时间；

STEP5：判断所有关键处的拥堵时间T_I＞T_L是否成立，T_L为拥堵时间阈值，如果都不成立跳转到STEP1；

STEP6：将拥堵时间超过阈值关键处的非常态标识F_I,c＝1，发送命令给信号灯控制器，通知该关键处发生了拥堵，信号控制转入非常态信号灯强制控制模式；

STEP7：判断所有关键处的Index_I,con≤0.7×T_c是否成立，如果成立将非常态标识F_I,c＝0，T_I＝0，跳转到STEP1。

关键处的道路面积A_I,road是在安装好摄像机后，用户在图像中框定出图像中关键处的道路部分后，如图9所示，然后通过统计计算图像中被框的像素方式得到的；所谓关键处是指道路岔口的下游入口处和道路岔口的中间部分，对于四岔路口有四个下游入口处和一个道路岔口的中间部分的五个关键处。

本发明的有益效果主要表现在：

1)实现了一种基于深度学习的深度卷积神经网络视觉检测方法，能全自动的检测、定位和识别道路上的车辆对象；

2)实现了一个真正意义上的使用一个基于深度卷积神经网络实现端到端的车辆检测、定位和识别的框架，并具有适用于车辆目标的形态多样性，光照变化多样性，背景多样性等环境下快速、高精度和鲁棒性的车辆和路况识别；

3)提供了一种基于深度卷积神经网络的交通信号灯控制算法，有效地解决了在下游入口处车辆拥堵的状态情况下出现与“绿灯行、红灯停”的交通规则相桲的窘境；

4)有效的防止了由于闯绿灯行为所导致的大面积交通拥堵的发生，极大的减轻了交警的执法难度和执法强度。

附图说明

图1为道路岔口发生下游入口处拥堵的情况说明图；

图2为交通信号灯相位控制说明图；

图3为一种基于深度卷积神经网络的交通信号灯控制算法的***框图；

图4为下游入口处的被测图像划分为S×S个网格说明图；

图5为一种无死角的全景摄像机成像原理图；

图6为深度卷积神经网络图；

图7为基于深度卷积神经网络的交通信号灯控制***的流程框图；

图8为对小的边缘框的预测位置更敏感的处理方法说明图；

图9为在四岔路口定制道路关键处说明图。

具体实施方式

下面结合附图对本发明作进一步描述。

实施例1

参照图1～9，本发明解决其技术问题所采用的技术方案是：

首先，对四岔路口的下游入口处的发生拥堵及溢出的情况有一个全局的了解，如图1所示，图中的西向方向上车辆已发生拥堵，按照目前的交通法规就不允许其他相位中的车辆再驶入西向方向上的下游入口处，如图1中的朝东的E₂、朝北的N₀和朝南的S₁，由于目前技术上的问题，只是在信号灯上面用相应的警示牌进行了提示，而信号灯的状态并未设置成红灯，这种“绿灯行、红灯停”的交通规则相桲的窘境给交警执法带来了很多困难；理想的情况是当检测到上述状态出现时，将如图1中的朝东的E₂、朝北的N₀和朝南的S₁的信号灯强制的设置为红色。

同样道理，对于在四岔路口内发生拥堵的情况，就应该强制地将路口的信号灯全部设置成红灯，只有在四岔路口内发生拥堵解除的情况才恢复正常的周期性信号灯控制。

为了获取与图1所示的路口及所有下游入口处的视频图像，本发明采用了一种无死角的全方位视觉传感器，详细见中国发明专利申请号为200710066757.0，成像原理如图5所示；无死角的全方位视觉传感器安装在交叉路口中间的正上方，如图3所示；通过计算机对全景图像进行图像分割和展开等处理得到交叉路口及各下游入口处的视频图像；对于四岔路口，图2所示是四岔路口从上游出口处到下游入口处的车流指向，本发明将全景图像分割成1幅交叉路口和4幅不同下游入口处的视频图像；

图4所示的是一幅某下游入口处的视频图像，首先是对该视频图像进行处理，定位识别出在该区域内的所有车辆；本发明采用深度卷积神经网络来实现车辆的识别与定位，并在视频图像中框出车辆的位置与大小，为统计交叉路口及下游入口处车辆拥堵的状态做好数据准备；其次，根据被测图像中框出的各车辆位置与大小统计出车辆所占面积；然后计算车辆所占面积与下游入口处的道路面积的比，得到拥堵指数；接着进行判断，如果拥堵指数超过某一阈值，就对拥堵时间进行计时；如果连续拥堵超过时间阈值就强制设置相关相位的信号灯为红灯，图3所示的***框图，用无死角的全方位视觉传感器来获取整个路口的全景视频图像，用计算机对全景视频图像进行分割、用深度卷积神经网络分析路口及下游入口处车辆拥堵的状态，并将处理结果及控制命令发给信号灯控制器；信号灯控制器根据控制命令对路口的信号灯进行控制，信号灯控制器中的控制主要分为常态的周期信号灯控制和拥堵情况时的非常态信号灯强制控制模式，图7所示的是基于深度卷积神经网络的交通信号灯控制***的流程框图；

在图7所示的框图中主要分为车辆的视觉检测、识别与定位和基于深度卷积神经网络的交通信号灯控制相关算法两个重要部分；

(1)车辆的视觉检测、识别与定位；本发明采用深度卷积神经网络技术对交叉路口及下游入口处的视频图像进行处理，具体实现如下：

在深度卷积神经网络中，有以下几种最主要的层：

1)卷积运算层，每个神经元会和上一层的若干小区域连接，计算权重和小区域像素的内积；2)池化层，理解成一个下采样，得到的结果维度就变少；3)激活层，是神经元激励层，本发明中采用的是ReLU，计算的是max(0,x)；4)全连接层，全连接层一般用于最后计算类别得分，这一层的所有神经元会和上一层的所有神经元有连接。卷积层和全连接层包含权重和偏移的；而激活层和池化层只是一个固定的函数运算，是不包含权重和偏移参数的。卷积层、全连接层和池化层包含超参数，激活层没有超参数。

卷积层的参数由一系列的可训练/学***面内的部分特征，当出现它学习到的特征的时候，就会呈现激活状态。

局部感受野。这是卷积神经网络的独特之处其中之一，在高维数据中，用全连接的神经网络，实际工程中基本是不可行的。卷积神经网络中每一层的神经元只会和上一层的一些局部区域相连，这就是所谓的局部感受野。上一层的数据区，有一个滑动的窗口，只有这个窗口内的数据会和下一层神经元有关联，这样就要求设定一个超参数，即窗口大小。这里将窗口的宽和高设定相等，我们把宽×高的窗口称为局部感受野。实际的计算中，这个窗口是以一定的步长来滑动，从而覆盖图片的所有小区域。每个局部感受野的权值共享。

从输入的数据到输出数据，有三个超参数决定了输出数据的维度，分别是深度、步长和填充值：所谓深度指的是卷积层中和上一层同一个输入区域连接的神经元个数。所谓步长指的是窗口从当前位置到下一个位置，跳过的中间数据个数。所谓填充值指的是在原始图像数据的周边补上0值的圈数。

一个完整的深度卷积神经网络就是由上述几种基本层叠加组成的，如图6所示。本发明采用24个卷积层和2个全连接层叠加的深度卷积神经网络，最终的输出是对7×7个网格的预测，每个网格预测3类对象的概率和坐标。

第一层卷积层，填充值是3，64个过滤器，窗口大小为7×7，步长为2，输出特征为224×224×64，然后进行leaky ReLU激活层1处理，经过池化层1进行最大池化2×2的核，步长为1，得到[(224-1+1)/2]+1＝112特征，总的特征为112×112×64，然后进行正则化处理；

第二层卷积层，填充值是1，窗口大小为3×3，3个过滤器，步长为1，输出为112×112×192，然后进行leaky ReLU激活层2处理，经过池化层2进行最大池化2×2的核，步长为2，输出为56×56×256，然后进行***分成四个支线；

第三层卷积层，开始时起始模块，这个的思想受到使用不同尺度的Gabor过滤器来处理多尺度问题，起始模块采用不同尺度的卷积核来处理问题，分为四个支线：

1：1×1的卷积核输出28×28×128；

2：3×3的卷积核输出28×28×256；

3：1×1的卷积核输出28×28×256；

4：3×3的卷积核输出28×28×512；

将四个结果进行连接，经过池化层3进行最大池化2×2的核，步长为2，输出为28×28×512；

第四层卷积层，思想与第三层雷同，将上述的结果又分成四条支线：

1～2：4个1×1的卷积核和4个3×3卷积核输出14×14×512；

3：1×1的卷积核输出14×14×512；

4：3×3卷积核输出14×14×1024；

将四个结果进行连接，经过池化层4进行最大池化2×2的核，步长为2，输出为14×14×1024；

第五层卷积层，思想与第三层雷同，将上述的结果又分成四条支线：

1～2：2个1×1×512的卷积核和2个3×3×1024卷积核输出7×7×1024；

3：1×1×1024的卷积核输出7×7×1024；

4：3×3×1024卷积核，步长为2，输出为7×7×1024；

将四个结果进行连接，输出为7×7×1024；

第六层卷积层，思想与第三层雷同，将上述的结果又分成二条支线：

1：3×3×1024的卷积核输出为7×7×1024；

2：3×3×1024的卷积核输出为7×7×1024；

将二个结果进行连接，输出为7×7×1024；

第七层全连接层，输出为1×4092；

第八层全连接层，输出为7×7×30，最后预测类的概率和包围框，使用逻辑激活函数；

卷积层和全连接层包含训练参数，leaky ReLU激活层和池化层不包含训练参数；从第三层开始到第六层为止每个层中都有分支，这样增加了深度卷积神经网络的宽度，能有效提升深度卷积神经网络的检测精度；

深度卷积神经网络训练时，网络前20层加一个最大池化层及两个全连接层进行训练；深度卷积神经网络的最后一层使用逻辑激活函数，其他层使用leaky ReLU，如公式(1)所示；

式中，x为输入，φ(x)为输出；为了避免过拟合，这里使用dropout和数据增加技术，使得深度卷积神经网络具有较好的稀疏性；

进一步，说明深度卷积神经网络的视觉检测、定位及分类原理；首先将一幅图像分成S×S个网格，如图4所示，如果某个对象的中心落在这个网格中，则这个网格就负责预测这个对象；每个网格要预测B个边缘框，每个边缘框除了要回归自身的位置之外，还要附带预测一个信任值；这个信任值代表了所预测的框中含有对象的置信度和这个框预测的有多准两重信息，用公式(2)进行计算；

式中，Pr(object)表示对象落在网格中的概率，如果有对象落在一个网格里，Pr(object)＝1，否则Pr(object)＝0；是预测的边缘框和实际的ground truth之间的IoU值，IoU，即intersection over union表示预测的边缘框和实际的ground truth之间的交集；

每一个边缘框由X、Y、W、H和信任值5个预测值构成，(X，Y)坐标代表边缘框的中心坐标值，W、H代表边缘框的宽度和高度，信任值是预测的边缘框和实际的ground truth之间的IoU值；

每个网格还要预测一个类别信息，记为C类。则S×S个网格，每个网格要预测B个边缘框还要预测C个类。输出就是S×S×(5×B+C)的一个张量；这里，类信息是针对每个网格的，信任值信息是针对每个边缘框的；由于本发明运用于道路上的对象视觉检测，因此这里只关心车辆、行人和骑车的3类对象，即C＝3。

每个网格还预测C类的条件概率，Pr(class|Object)，这个概率是在包含一个对象的网格单元上的条件概率，这样我们可以只预测每一个网格单元中的一组类的概率，而不需要考虑边缘框的数量B；在测试的时候，每个网格预测的类信息和边缘框预测的信任值信息相乘，就得到每个边缘框的类特殊置信度，公式(3)所示，

式中，Pr(object)表示对象落在网格中的概率，是预测的边缘框和实际的ground truth之间的IoU值，Pr(class_i|Object)表示对象中出现某种类的条件概率，Pr(class_i)表示某种类的出现概率；公式(3)左边第一项就是每个网格预测的类别信息，第二、三项就是每个边缘框预测的信任值。这个乘积编码了预测的属于某一类的概率和该边缘框准确度的信息；

这里我们选择S＝7，B＝2，这样预测结果中共有7×7×(5×2+20)＝1470张量；

得到每个边缘框的类特殊置信度以后，设置一个阈值，滤掉得分低的边缘框，对保留的边缘框进行非极大值抑制处理，就得到最终的检测结果。

每个网格中共有30维信息，在这30维信息中，2个边缘框的8维信息是回归边缘框的坐标，2个边缘框的2维信息是边缘框的信任值，还有20维信息是类别。其中坐标的x、y用对应网格的偏移归一化到0～1之间，边缘框的w、h用被测图像的宽和高归一化到0～1之间。

在实现中，如何设计一个好的损失函数，使得边缘框的坐标、边缘框的信任值和类别这三个方面得到很好的平衡；8维的定位误差和20维的分类误差应该有所区分轻重；另外，如果在一个网格中没有对象，那么就会将这些网格中的边缘框的信任值设定为0，相比于较少的有对象的网格，这种做法会导致网络不稳定甚至发散；

为了解决上述问题，在本发明中，深度卷积神经网络输出使用平方和误差，并引入尺度因子λ对类概率和包围框的误差进行加权，同时为了反映出偏离在大的包围框中的影响比较小，使用包围框的宽和高的平方根，最终的损失函数用公式(4)表示；

式中，λ_coord为在网格中对象坐标预测的尺度因子，λ_noobj为在网格中没有对象的边缘框的尺度因子，表示第i个网格中第j个边缘框中有对象存在，表示第i个网格中第j个边缘框中没有对象存在，表示第i个网格中有对象存在，S²表示被测图像中分割的网格数目，B表示网格中的边缘框的个数，x_i、分别表示第i个网格中对象在x轴上的实际坐标值和预测坐标值，y_i、分别表示第i个网格中对象在y轴上的实际坐标值和预测坐标值，w_i、分别表示第i个网格中对象的实际宽度值和预测宽度值，h_i、分别表示第i个网格中对象的实际高度值和预测高度值，C_i、分别表示第i个网格中的实际信任值和预测信任值，p_i(c)、分别表示第i个网格中的实际出现对象的概率和预测出现对象的概率；公式(4)中的第一项用于对坐标的预测，第二项用于对含对象的边缘框的信任值进行预测，第三项用于对不包含对象的边缘框的信任值进行预测，第四项是对对象中的类别进行预测；

具体做法是：1)这里更为重视8维的坐标预测，给这些损失前面赋予更大的损失比重，记λ_coord为在网格中对象坐标预测的尺度因子，在本发明的数据集训练中取值为5；2)对没有对象的边缘框的信任值损失，赋予小的损失比重，记λ_noobj为在网格中没有对象的边缘框的尺度因子，在本发明的数据集训练中取值为0.5；3)在网格中有对象的边缘框的信任值损失和类别的损失比重，取值为1；

另外，在对不同大小的边缘框位置预测中，相比于大的边缘框位置预测偏一点，小的边缘框的预测位置稍偏一点肯定也是不能被接受的，这是因为平方和误差损失中对同样的偏移损失将一视同仁处理。为了缓和这个问题，这里将边缘框的宽和高取平方根计算来代替原来直接的宽和高的计算，使得小的边缘框的预测位置更敏感；用图8说明就很容易理解，小的边缘框的横轴x值较小，在发生偏移时，反应到y轴上相比要比大的边缘框更敏感。

49个网格单元，每个网格单元包含20个概率预测值，一共就有980个预测值，有时候只有少数网格有对象物体存在，这样严重的稀疏可能会导致最终所有的概率都为0，导致训练过程发散；

针对这一问题，在每个网格单元引入额外变量，用于表示在此网格存在物体的概率。这样在某一位置的车辆的类别概率就可以计算出来，即：

Pr(Car)＝Pr(Object)×Pr(Car|Object) (5)

公式(5)中的车辆存在概率在每个网格处都更新，而条件概率只在那些含有车辆的网格处才更新，这样就能避免概率为0的问题；

(2)基于深度卷积神经网络的交通信号灯控制算法

通过深度卷积神经网络将一帧视频图像中框出车辆的位置与大小，为统计交叉路口及下游入口处车辆拥堵的状态做好了数据准备；这里首先根据路口的各关键处被测图像中框出的各车辆位置与大小统计出车辆所占面积，面积计算方式如公式(6)所示；

式中，w_I,i为某关键处图像中在第i个网格中有车辆对象的宽度值，h_I,i为某关键处图像中在第i个网格中有车辆对象的高度值；A_I,car为路口的某关键处的被测图像中框出的各车辆所占的面积；A_o,car、A_E,car、A_S,car、A_W,car和A_N,car分别表示交叉口中间、东向、南向、西向和北向下游入口处的车辆所占的面积，关键处I∈{o,E,S,W,N}；

关键处的道路面积A_I,road是在安装好摄像机后，用户在图像中框定出图像中下游入口处的道路部分后，通过统计计算图像中被框的像素方式得到的；然后计算车辆所占面积与下游入口处的道路面积的比，用公式(7)计算得到拥堵指数，

式中，A_I，road为关键处的道路面积，A_I，car为被测图像的关键处各车辆所占的面积，Index_I,con为某关键处的拥堵指数，关键处I∈{o,E,S,W,N}；

考虑四岔路口的情况，本发明分别定义Index_E,con、Index_S,con、Index_W,con和Index_N,con为东向、南向、西向和北向下游入口处的拥堵指数；定义Index_o,con为交叉口中间部分的拥堵指数；

如果某朝向的拥堵指数Index_I,con＞T_c，即拥堵指数超过某一阈值T_c，就开始对拥堵时间进行计时；如果连续拥堵超过时间阈值T_L，即T_I＞T_L，设置一个某朝向的非常态标识F_I,c＝1；如果当某朝向的拥堵指数Index_I,con≤0.7×T_c就设置一个某朝向的非常态标识F_I,c＝0；当非常态标识F_I,c＝1时就强制设置相关相位的信号灯为红灯；如图1所示的情况，在西向的下游入口处发生了拥堵，即当F_W,c＝1时，就将朝东的信号灯E₂、朝北的信号灯N₀和朝南的信号灯S₁均设置为红灯；

对于交叉路口内发生拥堵的情况，检测方法与下游入口处的检测雷同，一旦检测到拥堵指数Index_o,con＞T_c，即拥堵指数超过某一阈值T_c，就开始对拥堵时间进行计时；如果连续拥堵超过时间阈值T_L，即T_I＞T_L，设置岔口的非常态标识F_o,c＝1；如果当岔口的拥堵指数Index_o,con≤0.7×T_c就设置岔口的非常态标识F_o,c＝0；当F_o,c＝1条件情况下，将岔口所有的信号灯都强制设置为红灯，禁止所有车辆进入岔口内，以避免发生更大规模的拥堵。

实施例2

其余与实施例1相同，所不同的是在每个下游入口处前方及岔口上方安装摄像机分别来获取各下游入口处和岔口上方的视频图像。

实施例3

在岔口附近有高层建筑物和岔口附近及各下游入口处没有发生遮挡的情况下，其余与实施例1相同，所不同的是在高层建筑物的10米以上高处安装摄像机以获取各下游入口处和岔口上方的视频图像。

实施例4

其余与实施例1相同，对于不同的岔路口情况，检测原理和信号灯控制方法相同，只要通过设置检测下游入口处和控制信号灯的对应关系。

以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度卷积神经网络的交通信号灯控制方法，其特征在于，所述交通信号灯控制方法的***硬件包括：

全方位视觉传感器，用于获取整个路口的全景视频图像；

交通信号灯，用于对路口的交通状态进行管理和控制输出；

计算机，用于对整个路口的全景视频图像进行分割、用深度卷积神经网络分析路口及下游入口处车辆拥堵的状态，并输出处理结果及控制命令；

以及信号灯控制器，用于接收所述计算机的控制命令并对路口信号灯进行控制；

其中，所述的全方位视觉传感器通过视频线与所述的计算机连接，所述的计算机通过控制总线与所述的信号灯控制器连接，所述的信号灯控制器主要分为常态的周期信号灯控制和拥堵情况时的非常态信号灯强制控制模式，直接驱动所述的交通信号灯；

所述的计算机还包括车辆的视觉检测、识别与定位和基于深度卷积神经网络的交通信号灯控制算法；

所述的深度卷积神经网络，在深度卷积神经网络训练时，网络前20层加一个最大池化层及两个全连接层进行训练；深度卷积神经网络的最后一层使用逻辑激活函数，其他层使用leaky ReLU，如公式(1)所示；

式中，x为输入，φ(x)为输出。

2.如权利要求1所述的交通信号灯控制方法，其特征在于：所述的深度卷积神经网络采用24个卷积层和2个全连接层叠加的深度卷积神经网络，最终的输出是对7×7个网格的预测，每个网格预测3类对象的概率和坐标；

第一层卷积层，填充值是3，64个过滤器，窗口大小为7×7，步长为2，输出特征为224×224×64，然后进行leaky ReLU激活层1处理，经过池化层1进行最大池化2×2的核，步长为1，得到[(224-1+1)/2]+1＝112个特征，总的特征数为112×112×64，然后进行正则化处理；

第二层卷积层，填充值是1，窗口大小为3×3，3个过滤器，步长为1，输出为112×112×192，然后进行leaky ReLU激活层2处理，经过池化层2进行最大池化2×2的核，步长为2，输出为56×56×256，然后进行***分成四个支线；

第三层卷积层，开始时起始模块，这个的思想受到使用不同尺度的Gabor过滤器来处理多尺度问题，起始模块采用不同尺度的卷积核来处理问题，分为四个支线：

1：1×1的卷积核输出28×28×128；

2：3×3的卷积核输出28×28×256；

3：1×1的卷积核输出28×28×256；

4：3×3的卷积核输出28×28×512；

将四个结果进行连接，经过池化层3进行最大池化2×2的核，步长为2，输出为28×28×512；

第四层卷积层，思想与第三层雷同，将上述的结果又分成四条支线：

1～2：4个1×1的卷积核和4个3×3卷积核输出14×14×512；

3：1×1的卷积核输出14×14×512；

4：3×3卷积核输出14×14×1024；

将四个结果进行连接，经过池化层4进行最大池化2×2的核，步长为2，输出为14×14×1024；

第五层卷积层，思想与第三层雷同，将上述的结果又分成四条支线：

1～2：2个1×1×512的卷积核和2个3×3×1024卷积核输出7×7×1024；

3：1×1×1024的卷积核输出7×7×1024；

4：3×3×1024卷积核，步长为2，输出为7×7×1024；

将四个结果进行连接，输出为7×7×1024；

第六层卷积层，思想与第三层雷同，将上述的结果又分成二条支线：

1：3×3×1024的卷积核输出为7×7×1024；

2：3×3×1024的卷积核输出为7×7×1024；

将二个结果进行连接，输出为7×7×1024；

第七层全连接层，输出为1×4092；

第八层全连接层，输出为7×7×30，最后预测类的概率和包围框，使用逻辑激活函数。

3.如权利要求1或2所述的交通信号灯控制方法，其特征在于：所述的深度卷积神经网络，深度卷积神经网络输出使用平方和误差，并引入尺度因子λ对类概率和包围框的误差进行加权，同时为了反映出偏离在大的包围框中的影响比较小，使用包围框的宽和高的平方根，最终的损失函数用公式(4)表示；

式中，λ_coord为在网格中对象坐标预测的尺度因子，λ_noobj为在网格中没有对象的边缘框的尺度因子，表示第i个网格中第j个边缘框中有对象存在，表示第i个网格中第j个边缘框中没有对象存在，表示第i个网格中有对象存在，S²表示被测图像中分割的网格数目，B表示网格中的边缘框的个数，x_i、分别表示第i个网格中对象在x轴上的实际坐标值和预测坐标值，y_i、分别表示第i个网格中对象在y轴上的实际坐标值和预测坐标值，w_i、分别表示第i个网格中对象的实际宽度值和预测宽度值，h_i、分别表示第i个网格中对象的实际高度值和预测高度值，C_i、分别表示第i个网格中的实际信任值和预测信任值，p_i(c)、分别表示第i个网格中的实际出现对象的概率和预测出现对象的概率；公式(4)中的第一项用于对坐标的预测，第二项用于对含对象的边缘框的信任值进行预测，第三项用于对不包含对象的边缘框的信任值进行预测，第四项是对对象中的类别进行预测。

4.如权利要求3所述的交通信号灯控制方法，其特征在于：所述的深度卷积神经网络，在每个网格单元引入额外变量，用于表示在此网格存在物体的概率；这样在某一位置的车辆的类别概率就可以计算出来，即：

Pr(Car)＝Pr(Object)×Pr(Car|Object) (5)

其中，Pr(Object)表示对象落在网格中的概率，Pr(Car|Object)表示对象中出现车辆的条件概率，Pr(Car)表示车辆的出现概率；

公式(5)中的车辆存在概率在每个网格处都更新，而条件概率只在那些含有车辆的网格处才更新，这样就能避免概率为0的问题。

5.如权利要求3所述的交通信号灯控制方法，其特征在于：所述的深度卷积神经网络，在得到每个边缘框的类特殊置信度以后，设置一个阈值T_class，滤掉得分低的边缘框，对保留的边缘框进行非极大值抑制处理，得到最终的检测结果。

6.如权利要求1所述的交通信号灯控制方法，其特征在于：所述交通信号灯控制算法的具体步骤如下：

STEP1：首先根据路口的各关键处被测图像中框出的各车辆位置与大小统计出车辆所占面积，面积计算方式如公式(6)所示；

式中，w_I,i为某关键处图像中在第i个网格中有车辆对象的宽度值，h_I,i为某关键处图像中在第i个网格中有车辆对象的高度值；A_I,car为路口的某关键处的被测图像中框出的各车辆所占的面积；A_o,car、A_E,car、A_S,car、A_W,car和A_N,car分别表示交叉口中间、东向、南向、西向和北向下游入口处的车辆所占的面积，关键处I∈{o,E,S,W,N}；

STEP2：然后计算关键处车辆所占面积与关键处的道路面积的比，用公式(7)计算得到拥堵指数，

式中，A_I,road为关键处的道路面积，A_I,car为路口的某关键处的被测图像中框出的各车辆所占的面积，Index_I,con为某关键处的拥堵指数，关键处I∈{o,E,S,W,N}；

STEP3：判断所有关键处的拥堵指数Index_I,con＞T_c是否成立；T_c为拥堵指数阈值，如果都不成立跳转到STEP1；

STEP4：记录那个拥堵指数Index_I,con＞T_c的关键处的I，开始对拥堵时间进行计时；T_I表示某关键处的计时时间；

STEP5：判断所有关键处的拥堵时间T_I＞T_L是否成立，T_L为拥堵时间阈值，如果都不成立跳转到STEP1；

STEP6：将拥堵时间超过阈值关键处的非常态标识F_I,c＝1，发送命令给信号灯控制器，通知该关键处发生了拥堵，信号控制转入非常态信号灯强制控制模式；

STEP7：判断所有关键处的Index_I,con≤0.7×T_c是否成立，如果成立将非常态标识F_I,c＝0，T_I＝0，跳转到STEP1。

7.如权利要求6所述的交通信号灯控制方法，其特征在于：关键处的道路面积A_I,road，是在安装好摄像机后，用户在图像中框定出图像中关键处的道路部分后，通过统计计算图像中被框的像素方式得到的。

8.如权利要求7所述的交通信号灯控制方法，其特征在于：关键处的图像，包括了交叉口中间、东向、南向、西向和北向下游入口处的5幅透视图像，关键处I∈{o,E,S,W,N}，在使用透视相机获取图像时分别覆盖交叉口中间、东向、南向、西向和北向下游入口处。

9.如权利要求8所述的交通信号灯控制方法，其特征在于：关键处的图像，包括了交叉口中间、东向、南向、西向和北向下游入口处的5幅透视图像，关键处I∈{o,E,S,W,N}，在使用无死角的全方位视觉传感器或者利用安装高度来获取全景图像时，将全景图像分割并展开成交叉口中间、东向、南向、西向和北向下游入口处5幅透视图像。