CN111723704A - 基于树莓派的厢式货车厢门开度监控方法 - Google Patents

Abstract

本发明公开了基于树莓派的厢式货车厢门开度监控方法，基于距离传感单元获取货车行驶速度，采集货车尾部图像，通过图像时差特点或深度学习网络提取厢门区域，对截取出来的厢门图像进行边缘提取和形态学处理，基于所获取的二值化图像采用霍夫变换提取直线集合，根据提取的启发式规则筛选出两侧厢门的上缘并据此计算厢门的开度。基于车速和厢门开度对货车状态进行评估并在有潜在风险时进行告警反馈，在出口处对未关严厢门的货车进行拦阻管理。本发明能对货车厢门的打开角度进行量化监测，通过启发式规则对直线集进行筛选，可以准确获取厢门的棱线，通过建立深度学习网络能同时识别车型和厢门ROI区域，提高了***的鲁棒性且减小了计算量。

Description

基于树莓派的厢式货车厢门开度监控方法

技术领域

本发明专利属于物流运输领域，具体涉及基于树莓派的厢式货车厢门开度监控方法。

背景技术

现代经济社会中，面对市场和客户进行快速响应与供应链建立的能力，业已成为企业间竞争的最重要因素之一。因此，企业物流能力的培养与提高成为现代物流发展的重要推动力量。由于物流园区在经济规模、地理分布、建设运作方式等方面具有明显的规模优势与聚集效应。我国目前基本形成了全国从南到北、从东到西的物流园区建设发展局面。物流园区的占地规模较大，一般以仓储、运输、加工等用地为主，同时还包括一定的与之配套的信息、咨询、维修、综合服务等设施用地。物流园区出现以后，减轻了物流对城市交通的压力，提高了物流经营的规模效益，满足了仓库建设大型化发展趋势和货物联运发展的需求。作为世界物流大国，我国各类物流园区超过2000个，物流基础设施建设取得积极成果。

虽然我国物流园区取得了明显成效，但是在发展中也产生了很多新的技术需求。如物流园区服务能力不充分，信息化、网络化水平不高。在物流运输的各环节中数据采集与交互的手段还不够丰富，监控措施不足。其中，货车在物流园区的出入、通行管理的监控与规范需求，表现得越来越突出。

相比其它普通货车，厢式货车具有机动灵活、工作高效、运输量大及安全、可靠等优点。因此，厢式货车被广泛应用于物流运输中。厢式货车是全天候的，既可以在市际各种公路上，也可在城市市区内完成运输任务，其比普通货车更加安全、整洁，且下雨不会淋湿货物。厢式货车都必须设置后门，门的设置为装卸货物提供了条件，且门的开启角必须达到一定的设计要求，才能完全完成货物的安全装卸和充分发挥厢式货车的使用功能。按照ZBT52006《厢式货车通用技术条件》的规定，厢式货车的后门开启角为270度。

物流运输中的厢式货车如果在高速行车时厢门未关好，则可能导致货物掉落造成经济损失；而左右摇晃的厢门还可能伤及行人，引发交通事故。关于这类事故的报道很多，如在宁波，一辆重型厢式货车由于厢门没有关牢，厢门打开把收费站的限高杆给撞坏；在温州一辆货车因未关上车厢门，导致车门撞上了一名散步的老人；还有在山西，车的后厢门没关好，行驶过程中甩来甩去，吓得过往车辆纷纷避让，差点引发严重的交通事故。

目前，已经有一些厢门检测相关的技术方案，如申请号为2018102987891的中国专利申请，通过接触块的通断来判断车箱门是否关闭，申请号为2016200489718的中国专利申请则通过触点式机械门锁来采集车箱门的开关信息，而申请号为2017109280143的中国专利申请则通过光电发射、接收模块来实现开度检测的传感从而实现对私家车非法开门的监测。以上方案均为从车内部对车门状态进行检测，无法实现外部监督。

货车由于厢门未关好而将为公路运输带来很大的安全隐患，为此，在物流园的出入管理中，急需能自动识别货车厢门是否关好的设备和***，通过对厢式货车厢门状态的自动检测和提醒及控制，能及时预防货物损失、人员伤害事故的发生。

树莓派作为一款单板计算机已经推出多年了，虽然一开始是针对教育领域推出的，但由于它的开源硬件特性，得到了开源社区的大量支持，其相关的软件资源很丰富，开发新应用的速度可以更快。目前应用较广的树莓派3B具有多个摄像头接口。只有***大小的树莓派，具有较强的处理能力和丰富的接口，已被广泛用于各种移动式或嵌入式解决方案中，其性价比很高。

发明专利内容

针对以上需求，本发明的目的是提供一种基于树莓派的厢式货车厢门开度监控方法和***，在货场内装卸口、道路及出入口等位置对货车进行厢门状态的监测并对不合理的状态进行出行限制，及时发出警示。又由于货车在园区内经常需要进行整车货物的多点装卸，为方便操作允许在场内低速移动时厢门可以通过链锁固定而不必全部关合。因此，相应于物流园区的该作业特点，本发明还要对厢式货车的厢门开度即打开的程度进行有效的监测。

本发明所提供的货车厢门开度监控方法，以树莓派为处理平台，通过从外部对货车进行图像采集并经图像处理获得厢门特征来获取厢门的开度，且配合距离传感器对货车的速度检测来判断货车的状态并在有潜在风险时进行告警反馈，在出口处对未关严厢门的货车进行拦阻管理，要求及时整改和消除隐患。其中，为了能从信息丰富复杂的图像中提取厢门轮廓线，需要先截取厢门区域的特征，本发明根据应用场合的特点采用两幅差分图像来分别获取厢门区域的上、下界线，并根据车厢的特点提取厢顶的两条长棱线，从而获取厢门上框。针对所截取的厢门图像，通过图像处理获得二值化的边缘图像，基于霍夫变换根据从图像特点中归纳出来的启发式规则筛选出两侧厢门的上缘并据此计算厢门的开度。为了获取世界坐标系中准确的厢门打开角度，在获取差分图像前或之后通过透视变换将图像转换到世界坐标系中。

为了能通过调整相机的俯仰来使各型货车的厢门区域都能尽可能利用图像的尺寸，优化存档厢门图像的质量并提高检测处理的鲁棒性、准确性和精度，在监测控制器中建立基于yolo-v3-tiny改进后的深度学习网络模型，通过采集的货车侧前方主体图像与侧面图像所融合图像的训练样本对该网络进行训练，在线应用时基于该网络模型所识别的货车车型，调整对货车尾部进行图像采集的角度。同时，基于该网络，还能将厢门区域的上述获取方法替换，具体地，通过在训练样本中增加标注了厢门区域的货车尾部图像，在线应用时基于该网络能获得输入货车尾部图像中厢门区域的锚框。

本发明的技术解决方案是，提供一种基于树莓派的厢式货车厢门开度监控方法，其包括以下步骤：

S1、基于距离传感单元中第一、第二检测模块的触发间隔，计算货车行驶速度V；

S2、通过扫描货车中的ID卡来获取货车编号，基于第三检测模块的触发，连续采集货车的第一尾部图像、第二尾部图像；

S3、对所述第一、第二尾部图像进行差分运算获得第一差分图像，以路面图像为背景对所述第二尾部图像差分后获得第二差分图像；

S4、基于所述第一、第二差分图像，对其横向的连续非0元素长度超过设定值的纵向位置进行行标记，同时对其纵向的连续非0元素长度超过设定值的纵向位置进行列标记，以所述行、列标记的最小公共外接矩形为基准对所述第二尾部图像进行截取，获得货车厢门图像；

S5、基于透视逆变换矩阵将所述货车厢门图像变换为世界坐标系下的第一厢门图像，对所述第一厢门图像进行灰度化处理后获得第二厢门图像，对所述第二厢门图像进行二值化处理后获得第三厢门图像，对所述第三厢门图像进行边缘提取后获得第四厢门图像；

S6、基于霍夫变换对所述第四厢门图像中的直线进行检测，并经所述直线与所述行标记中首行横线方位关系的启发式规则筛选来获取厢门上门框及厢门上边缘线，并据此计算厢门的开度；

S7、根据货车的当前车速和厢门开度对其运行状态进行评估并根据评估结果对货车和/或道闸控制器进行管控。

可选地，所述步骤S4中包括以下处理：搜索所述第一差分图像中长度超过设定值且行号最小的第一横线，搜索所述第二差分图像中长度超过设定值且行号最大的第二横线，搜索所述第二差分图像中长度超过设定值且列号分别最小、最大的第一、第二列线；以所述第一、第二横线和第一、第二列线的最小公共外接矩形为基准，向外扩大一定范围后作为货车尾部图像的ROI区域；

所述步骤S7中包括以下处理：当所述速度V大于设定值且所述厢门开度α大于设定值时，通过输出模块向车载告警器及声光单元发出告警信号，和/或向道闸控制器发出落闸指令。

可选地，所述步骤S1中包括以下处理：记录车辆被所述第一、第二检测模块检测到的时间的间隔为△t1，车辆离开所述第一、第二检测模块的时间的间隔为△t2，则所述速度V的计算式为：

其中，L为所述第一、第二检测模块之间的距离。

可选地，所述步骤S5中的透视逆变换矩阵通过以下处理获取：

令透视逆变换矩阵为：

则其将图像平面坐标系中的像素点坐标(u,v,1)转换为世界坐标系中的点坐标(x,y,1)：

(x,y,1)＝(u,v,1)*T，

通过在道路上已知的呈矩形分布的四个参考物在图像中成像点的检测，获取四个像素点的两种坐标，将所述坐标代入所述转换式中，得到八个线性方程，由所述线性方程以及方程a₁₃+a₂₃+a₃₃＝1构成的方程组约束，求解得到所述透视逆变换矩阵；

且，通过下式将所述货车厢门图像变换为世界坐标系下的第一厢门图像：

可选地，所述步骤S5中包括以下处理：

采用对R、G、B分量进行加权平均的方式进行灰度化处理，在二值化处理中采用大津阈值法并在阈值分割后经多次腐蚀、膨胀与腐蚀后获得所述第三厢门图像，采用Canny算子进行边缘检测。

可选地，所述步骤S6中包括以下处理：

以所述行标记中首行横线为第一横线，分别以所述列标记中首尾列线为第一、第二列线，标记所述第二差分图像中第一横线分别与第一、第二列线的交点，并相应地在所述第一厢门图像中分别标记该左右两个交点为PHL、PHR，

然后，进行直线的检测与筛选：

首先，对第四厢门图像I₀中每一前景像素点进行霍夫变换后经累加获得图像对应的θ-r第一平面矩阵，其中r代表直线离原点的垂线距离，θ是该垂线对横轴的角度，

然后，对所述第一平面矩阵进行清理，去除其中值小于设定阈值T_hough的元素，获得第二平面矩阵

其每个非0元素l_i,j(r_i,j,θ_i,j)对应一根直线；对图像I₀进行遍历清理，仅留下与所述第二平面矩阵中直线元素所对应的像素点并标识各像素点对应的直线元素l_i,j(r_i,j,θ_i,j)，获得清理后的图像I₁；通过对所述图像I₁进行遍历，为所述矩阵

中的每个非0值的直线元素，分别用一个链表C_i,j来记录该直线对应的图像I₁中的所有像素点，且链表中的节点按像素点横坐标从小到大排列，同时，建立数组L并用其第一列元素L_i,j来记录链表C_i,j的长度，用第二列元素来记录对应链表的索引i和j；对所述数组L按第一列元素值进行从大到小的排序，排序结果记为数组PL，

第三，搜索平行于所述第一横线的厢门上框、与厢门上框相连的厢门侧棱所对应的直线及元素，对数组PL的前N行元素，去除其中与所述厢门上框、侧棱相对应的元素，并相应在链表集中去除其对应的链表，

对更新后的数组和链表，k从1到数组PL的行数，循环进行以下处理：

针对数组PL的第k行元素，根据其第二列元素值，获得索引i和j，遍历所述元素对应的链表C_i,j，求得其节点中最小横坐标像素点PL与所述第一横线距离dL、及最大横坐标像素点PR与所述第一横线距离dR，若min(dL,dR)<ds，则该元素对应的链表C_i,j作为厢门上框候选链表；

最后，对所述每个候选链表，进行所述厢门开度计算：

若其对应的直线l_i,j的θ_i,j在π/2一设定邻域内即满足|θ_i,j-π/2|＜θ_s，则根据所述点PL的横坐标与所述厢门上框端点PHL、PHR中哪个点的横坐标更为接近而分别确定为左厢门、右厢门的开度为π/2，

否则，若θ_i,j＞π/2，则定义厢门开度的计算式为，

否则若θ_i,j＜π/2，则定义厢门开度的计算式为，

否则，定义厢门开度为0；

最后，当厢门开度不为0时，根据所述第一横线的角度θ_U来修正所述开度，

可选地，所述步骤S6中包括以下处理：

像素点(u,v)与直线元素l_i,j(r_i,j,θ_i,j)对应的判断方式为：

在所述直线上取一支点H(r_i,j·cosθ_i,j,r_i,j·sinθ_i,j)，记为H(u′,v′)，

计算J＝r²-(u·u′+v·v′)，若|J|≤ε，则判定所述像素点与所述直线对应，否则不对应，其中，ε为预设的一个小正数；

对点M(x_M,y_M)到直线l_i,j(r_i,j,θ_i,j)的距离d，用下式计算：

d＝|y_M·sinθ_i,j+x_M·cosθ_i,j-r_i,j|。

可选地，所述步骤S6中包括以下处理：

在直线筛选前先用第二透视变换将图像旋转一预设角度如20～50度，经直线筛选获取到厢门特征线后再用第二透视逆变换转换到世界坐标系中，然后再求取厢门开度。

可选地，所述步骤S6中包括以下处理：

首先，对第四厢门图像I₀中的前景点，从最左上端选择一个像素点作为种子点，建立一个包括该点的链表C_k，按从左到右、从上到下的方向搜索其领域中阈值ds范围内的下一个点并将其位置(u,v)记录链表中，直至搜索点为空；重复上述处理，直至每个前景点都属于一个链表为止；对链表集合进行筛选，去除长度小于一设定值的链表；

第二，为筛选后的每个链表C_k生成一个以其节点位置(u,v)对应为前景点的二值化图像，对该图像进行霍夫变换后仅保留值最大的θ-r元素，记为l_k(r_k,θ_k)；

第三，对每条直线l_k，根据其对应的链表C_k，求得其节点中最小横坐标像素点CL与所述第一横线距离dL、及最大横坐标像素点CR与所述第一横线距离dR，若min(dL,dR)<ds，则该元素对应的链表C_k作为厢门上框候选链表；

最后，对所述每个候选链表，进行厢门开度计算。

在本发明的另一个实施例中，还提供一种基于树莓派的厢式货车厢门开度监控方法，其包括以下步骤：

P1、建立图像识别模块：所述图像识别模块采用基于yolo-v3-tiny改进后的网络模型，以832×832图像作为输入，在yolo-v3-tiny网络的第0层之前依次***一个卷积核为3×3的卷积层、一个2×2的池化层，且所述两层的滤波器个数均为8个；

P2、获取训练样本：在通道的预设位置对车辆进行图像采集，以标注了厢门区域的货车尾部图像作为图像样本，形成训练数据集；

P3、离线训练所述网络模型：对网络训练进行参数配置，以获取的所述数据集对所述网络模型进行离线训练，获得图像识别模型；

P4、货车厢门开度在线监控：

SP1、基于第一、第二检测模块的触发间隔，计算货车行驶速度V；通过扫描货车中的ID卡来获取货车编号；

SP2、基于第三检测模块的触发，采集货车的当前尾部图像，经所述图像识别模型处理后获得厢门区域锚框，以所述锚框为基准对所述当前尾部图像进行截取，获得货车厢门图像；

SP3、对所述货车厢门图像进行边缘提取，然后经霍夫变换提取直线集，从所述直线集中搜索到两条最长且角度在π/2邻域内的货厢厢顶棱线，在货车厢门图像中对该棱线与所述锚框上边的交点进行标注；

SP4、基于透视逆变换矩阵将所述货车厢门图像变换为世界坐标系下的第一厢门图像，对所述第一厢门图像进行灰度化处理后获得第二厢门图像，对所述第二厢门图像进行二值化处理后获得第三厢门图像，对所述第三厢门图像进行边缘提取后获得第四厢门图像；

SP5、基于霍夫变换对所述第四厢门图像中的直线进行检测，并经所述直线与标注的所述交点的方位关系的启发式规则筛选来获取厢门上门框及厢门上边缘线，并据此计算厢门的开度；

SP6、根据货车的当前车速和厢门开度对其运行状态进行评估并根据评估结果对货车和/或道闸控制器进行管控。

作为优选，所述步骤P2中还包括如下处理：

以侧视相机及位于车辆侧前方的主相机所采集的两幅图片以上下排列的方式融合为一幅样本图片，在所述训练数据集中加入标注了车型的所述样本；

所述步骤SP2中还包括如下处理：

图像预处理模块将主相机、侧视相机所采集车辆图片以列排列方式融合成待测图片后输入到所述图像识别模型，获得车辆的车型信息；根据所识别出的车型调整俯瞰相机云台的俯仰角和/或相机的焦距，采集货车的当前尾部图像；

所述步骤SP4中还包括如下处理：

根据所述俯仰角与透视逆变换预设的关系确定所述透视逆变换矩阵。

作为优选，通过通信接口将该货车运输信息与服务器的数据库进行交互，并将厢门图像、货车编号及厢门开度等信息存储到数据库中。

作为优选，基于照度传感单元对环境的检测，监测控制器控制照明单元进行补光。

采用本发明方案，与现有技术相比，具有以下优点：本发明对物流园区行驶中货车的尾部图像进行采集，基于应用场合特点的分析研究开发了货车厢门特征的提取流程及开度计算方法，能准确获取货车厢门的开度，从而提高了厢式货车运输的安全性。同时，开度的量化还为货场内多点装卸的效率优化提供了基础。相比于传统的依靠车载传感检测的方法，本发明能提供外部监管，确保物流园区出场前厢门处于关严状态，提高了园区的服务水平。针对货车厢门设置ROI区域的处理方式，以及像素点与霍夫变换后直线元素的对应判断处理过程，都减少了计算量，提高了处理效率。启发式规则在厢门边缘筛选中的运用，可以准确获取厢门的棱线。而基于yolo-v3-tiny改进后的深度学***台的装置能有效处理物流园区货车运输的自动管理。

附图说明

图1为基于树莓派的厢式货车厢门开度监控装置、***的组成结构图；

图2为基于树莓派的厢式货车厢门开度监测控制器的组成框图；

图3为厢式货车厢门区域示意图；

图4为物流园区道路示意图；图5为货车运输通道局部示意图；

图6为道闸前运输通道局部示意图；图7为装卸货口局部示意图；

图8为图像识别模块深度学习网络结构图；图9为货车尾部图像；

图10为转换视角后世界坐标系下的货车尾部图像；

图11为货车尾部图像ROI区域示意图；图12为厢门灰度化图像；

图13为厢门二值化图像；图14为形态学处理后的二值化图像；

图15为经筛选后的厢门边缘二值化图像。

其中：

10000厢式货车厢门开度监控***；1000厢式货车厢门开度监控装置，2000服务器，3000车载告警器，4000道闸控制器；

100监测控制器，200用户接口单元，300声光单元，400照度传感单元，500照明单元，600距离传感单元，700图像采集单元，800通信接口，900扫描识别单元；

910扫描终端；710切换阵列，720相机，721主相机，722俯瞰相机，723侧视相机；601第一检测模块，602第二检测模块，603第三检测模块；

110输入模块，120主处理模块，130图像预处理模块，140图像识别模块，150开度计算模块，160输出模块，170存储模块；

10厢式货车，11车辆通道，12人行通道，13装卸货口(作业口)；

21立柱，22起放转轴，23闸杆；31路标。

具体实施方式

以下结合附图对本发明的优选实施例进行详细描述，但本发明并不仅仅限于这些实施例。本发明涵盖任何在本发明的精神和范围上做的替代、修改、等效方法以及方案。

为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。

在下列段落中参照附图以举例方式更具体地描述本发明。需说明的是，附图均采用较为简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。本发明的“前”、“后”均相对而言，按照车辆前进的方向。

实施例1

目前，我国物流园区发展很快，因此也催生了很多技术需求，如物流园区管理与服务能力、信息化水平等都有待提高。为了完善物流运输各环节上的数据采集与自动管理能力，针对物流园区厢式货车车厢门状态目前缺乏监控的问题，结合物流运输服务的需求与树莓派处理平台的特点，本实施例提供基于树莓派的厢式货车厢门开度监控***及装置。

如图1所示，本发明方法采用基于树莓派的厢式货车运输管理控制***10000，所述***包括监测控制器100、用户接口单元200、声光单元300、距离传感单元600、图像采集单元700、扫描识别单元900和通信接口800，通信接口800还连接有道闸控制器4000和服务器2000。

其中，声光单元300通过声音和/或灯光对货车驾驶员、操作者进行信息提示，如以不同颜色灯光及闪烁来表示正常/异常状态，以语音信息来进行状态提示；用户接口单元200包括操作面板和显示屏，用来键入参数、发起操作和进行信息交互；根据距离传感单元600对车辆的检测，图像采集单元700被触发后对车辆进行分时多角度图像采集，扫描识别单元900通过扫描货车中的ID卡来获取货车编号等信息。

在物流运输中，厢式货车具有全天候的优势，因此被大量采用。参见图3所示，厢式货车都设置有后厢门，货车厢门的设置为装卸货物提供了方便。但货车的装卸时段往往是遍布全天的，作业劳动强度大，特别是夜间员工容易犯困，而且驾驶员和装卸工经常是岗位分开的，这导致装卸作业完后交接不畅，容易造成货车厢门是否关严的检查缺乏主体责任者，因此在新闻报道中常有货车厢门打开引起人员伤害和物资损失的事故。为此，在物流园区的管理中，需要能从外部对出入和移动货车的厢门进行状态自动监测的方法与***。而且，对于物流园区，货车常需要进行货物拼装，近距离的多点装卸地之间，为方便操作允许在场内低速移动时厢门可以通过链锁固定。为此，结合物流园区的作业特点，本发明对厢式货车的厢门打开程度即开度进行监测，及时发现异常并进行告警。

参见图1所示，在所述监控***中，作为主体的基于树莓派的厢式货车厢门开度监控装置1000，以嵌入式处理器树莓派为主控处理平台，其包括所述的监测控制器100、用户接口单元200、声光单元300、距离传感单元600、图像采集单元700、扫描识别单元900和通信接口800。

图像采集单元700又包括切换阵列710和多个相机720，监测控制器通过切换阵列710来实现从多个相机中的一个或多个中获取车辆的图像信息。结合图5、图6所示，相机720包括位于通道侧前方对车辆进行图像采集的主相机721、对车辆后厢门进行图像采集的俯瞰相机722、对车辆侧面进行图像采集的侧视相机723。通过在装卸货口及道闸区域设置的这些相机，对货车进行分时、多角度的图像采集，图像的分时采集通过距离传感单元600的差分检测来进行触发，即在捕捉到车辆移动到预设位置时才获取特定方位的图像。

基于所采集的图像信息，基于树莓派的厢式货车厢门开度监测控制器对货车厢门的图像特征进行提取。结合图1和图2所示，在监测控制器100中设有输入模块110、主处理模块120、图像预处理模块130、图像识别模块140、开度计算模块150、输出模块160和存储模块170。其中，输入模块110通过用户接口单元200、距离传感单元600、扫描识别单元900，分别获取设置参数与用户操作指令、各车辆检测模块采集的车辆位置信号、车载射频卡ID信息。存储模块170用于保存各模块信息处理过程中的中间数据及存档文件等；输出模块160将主处理模块的控制信息通过外部的通信接口800传送给道闸控制器4000、车载告警器3000等单元，输入、输出模块还共同通过通信接口与外部的及服务器2000进行信息交互。

如图4所示，在物流园区，货车入园后，通过车辆通道11穿行于各仓库或货物装卸点A、B等处，为了提高道路安全性，有些园区对人、车通道进行分流，行人和非机动车而通过人行通道12移动。结合图4、图5、图6及图7所示，为实现对货车厢门的监测，本发明通过一个俯瞰相机722来获取货车尾部图像，然后通过对所获取图像的处理提取感兴趣的特征，进而获得货车厢门的开度。为了在监测到异常状态时能及时向货车进行告警，还通过位于倒L行杆上的扫描识别单元中的扫描终端910来获取货车编号，并通过无线通信接口向该货车上的车载告警器3000发出警讯。

具体地，结合图1、图5及图6所示，车辆从图5所示的道路继续前行将到达图6所示的道闸区域，将图像采集单元中的多个相机分别部署于车辆行驶通道的不同位置，距离传感单元600包括沿车辆前进方向依次布置于道路侧方的第一检测模块601和第二检测模块602，以及在第二检测模块602前方的位于道路中央上方的第三检测模块603；其中，第三检测模块603与俯瞰相机722、以及扫描终端910一起固定在支撑于立柱21的倒L杆上。

图像采集单元中的俯瞰相机触发于车辆离开第三检测模块之后一预设距离。参见图5所示，作为优选，在运输道路或道闸前，俯瞰相机726触发于车辆离开第三检测模块603之后一预设时间长度，如离开后3秒进行货车尾部图像采集。而对于图7所示的装卸货口，则可以将第三检测模块固定于车行前方一定距离之处。图7示意的是冷藏货物装卸区，对于普通货物装卸采用的广场分区方式，则可以将俯瞰相机按图5、图6所示的方式安装在装卸点前方。

位于道路旁的第一检测模块和第二检测模块，还用于对货车行驶速度进行检测。监测控制器中的主处理模块，通过记录车辆被第一、第二检测模块检测到的时间的间隔△t1，以及车辆离开第一、第二检测模块的时间的间隔△t2，来计算其行驶速度V：

其中，L为所述第一、第二检测模块之间的距离。

对于图4所示的多点装卸，在检测到车速大于设定值且厢门开度大于设定值时，通过输出模块经通信接口以无线通信形式向车载告警器及声光单元发出告警信号。

要从货车尾部图像中提取厢门特征，为了减少计算量，本发明从该图像中截取厢门区域部分进行处理。具体地，采用俯瞰相机先后连续两次进行图像采集，分别获得货车的第一尾部图像、第二尾部图像，可选地，二者均以灰度图像表示。将第一尾部图像与第二尾部图像进行差分运算，获得第一差分图像；以该俯瞰相机所采集的路面图像作为背景图像，将该第二尾部图像与此背景图像进行差分运算，获得第二差分图像。

针对该第一差分图像，在行方向上从上到下，按连通关系搜索该图像中非0元素个数超过设定值如10像素且行号最小的第一横线；针对第二差分图像，在行方向上从下往上，搜索该图像中非0元素个数超过设定值且行号最大的第二横线。类似地，从左往右搜索该第二差分图像中非0元素个数即长度超过设定值且列号最小的第一列线，从右往左搜索到长度超过设定值且列号最大第二列线。如图11所示，以所述第一、第二横线和第一、第二列线的最小公共外接矩形为基准，向外扩大一定范围如横纵向各外扩10～20像素后作为货车尾部图像的ROI区域，并从所述第二尾部图像中截取该ROI区域作为货车厢门图像。

作为优选，上述各设定值可根据图像分辨率的宽度按比例选取，如优选为横向宽度或纵向高度的1/40～1/20。作为优选，所述背景图像可以周期性地获取，并以所述尾部图像采集触发前的最后一幅作为基准背景图像。

作为优选，在进行所述搜索之前，将所述第一、第二差分图像中的非0元素以1替换，然后分别用一个水平算子、垂直算子对所述第一、第二差分图像进行平均滤波，并对滤波后的值进行四舍五入。所述水平算子、垂直算子为一定长度、且元素和为1的向量。通过所述滤波处理，可以去除因图像采集参数的变化所引起的车顶等非厢门区域的毛刺信号。

为了获取世界坐标系中的厢门位置、尺寸特征及厢门开度，要用透视逆变换矩阵将俯瞰相机采集的货车厢门图像变换为世界坐标系下的图像。令透视逆变换矩阵为：

其将图像平面坐标系中的像素点坐标(u,v,1)转换为世界坐标系中的点坐标(x,y,1)：(x,y,1)＝(u,v,1)*T。

当俯瞰相机图像采集时拍摄角度保持不变时，可在离线状态下通过标准参照物来获得该矩阵并做预设，在线应用时可直接调用此预设的矩阵参数。作为优选，参见图5所示，还可以在道路上设置作为参照物的路标31，该路标包括呈矩形分布的四个参考点。对所述四个参考点在图像中的成像点进行检测，获取四个像素点的两种坐标，将所述坐标代入上述转换式中，得到八个线性方程，由所述线性方程以及方程a₁₃+a₂₃+a₃₃＝1构成的共九个线性方程组约束，求解得到所述透视逆变换矩阵。则，可以通过下式将所述货车厢门图像变换为世界坐标系下的第一厢门图像：

作为优选，该四个参考点在世界坐标系下的坐标按矩形的长宽比例以相对值表示。作为优选，该四个参考点以区别于背景路面不同的反光色做矩形块涂标，且在图像中的成像点通过对灰度图进行边缘采集后以所搜索到的各矩形块的重心作为其对应参考点的图像坐标。

基于透视逆变换矩阵将货车厢门图像变换为世界坐标系下的第一厢门图像，然后对此图像提取厢门开度特征，还能通过在世界坐标系下的角度测量对其进行有效性验证。作为优选，所述透视逆变换、及灰度化处理可以在截取ROI区域之前进行，如图10所示。

结合12、图13所示，对第一厢门图像进行灰度化处理后获得第二厢门图像，对第二厢门图像进行二值化处理后获得第三厢门图像。所述灰度化处理采用对R、G、B分量进行加权平均的方式，所述二值化处理采用大津阈值法。从图13可以看出，直接得到的二值化图像中，包括了很多对厢门特征提取无关的前景细节特征，如门锁、锁扣、车牌号和反光条等。但，由于照度的明显梯度变化，车厢门内外的透视图像截然不同。如图14所示，基于这些特征的观察与分析，本发明通过对二值化图像经多次腐蚀、膨胀与腐蚀后的数学形态学处理，得到厢门核心区域的二值化图像，作为第三厢门图像。在图14中，黑色部分为厢门打开的区域，其周边还有一些小块的黑色干扰信息，但是厢门这个目标区域与背景基本上区分开了，该形态学处理大大简化了后续厢门特征提取的计算。

参考图15所示，对第三厢门图像进行边缘检测后获得第四厢门图像，然后，基于霍夫变换对所述第四厢门图像中的直线进行检测，并经这些直线与第一横线方位关系的启发式规则筛选后获得厢门上门框及厢门上边缘线，并据此计算厢门的开度。作为优选，所述边缘检测采用Canny算子，其中图15中为方便观察，对图像做了反色处理。

根据行列特征标记所述第二差分图像中第一横线分别与第一、第二列线的交点，并相应地在所述各厢门图像中分别标记该左右两个交点为厢门上框端点PHL、PHR。具体地，厢门边缘直线的检测与筛选按如下处理进行：

首先，对第四厢门图像I₀中每一前景像素点进行霍夫变换后经累加获得图像对应的θ-r第一平面矩阵，其中r代表直线离原点的法线距离，θ是该垂线相对横轴的角度。具体地，建立第一平面矩阵，其中行向量θ取值区间为0～π，对每个前景点基于θ用变换方程r＝u·cosθ+vsinθ求得r，根据θ和r的取值在矩阵即数组对应的θ行r列元素中加1。

然后，对所述第一平面矩阵进行清理，去除其中值小于设定阈值T_hough的元素即标记去除点的值为0，获得第二平面矩阵

其每个非零元素l_i,j(r_i,j,θ_i,j)对应一根直线；对图像I₀进行遍历清理，仅留下与所述第二平面矩阵中直线元素所对应的像素点并可用一个共生矩阵标识各像素点对应的直线元素l_i,j(r_i,j,θ_i,j)，获得清理后的图像I₁；通过对所述图像I₁进行遍历，为所述矩阵

中的每个非零值的直线元素，分别用一个链表C_i,j来记录该直线对应的图像I₁中的所有像素点，且链表中的节点按像素点横坐标从小到大排列；同时，建立数组L并用其第一列元素L_i,j来记录链表C_i,j的长度，用第二列元素如字符串来记录对应链表的索引i和j；对所述数组L按第一列元素值进行从大到小的排序，排序结果记为数组PL。

第三，搜索平行于所述第一横线的厢门上框、与厢门上框相连的厢门侧棱所对应的直线及元素，对数组PL的前N行元素，去除其中与所述厢门上框、侧棱相对应的元素，并相应在链表集中去除其对应的链表；对更新后的数组和链表集，k从1到数组PL的行数，循环进行以下处理：

针对数组PL的第k行元素，根据其第二列元素值，获得索引i和j，遍历所述元素对应的链表C_i,j，求得其节点中最小横坐标像素点PL与所述第一横线距离dL、及最大横坐标像素点PR与所述第一横线距离dR，若min(dL,dR)<ds，则该元素对应的链表C_i,j作为厢门上框候选链表。

最后，对所述每个候选链表，进行厢门开度计算：

若其对应的直线l_i,j的θ_i,j在π/2一设定邻域内即满足|θ_i,j-π/2|＜θ_s，则根据所述点PL的横坐标与所述厢门上框端点PHL、PHR之一的横坐标更为接近而分别确定为左厢门、右厢门的开度为π/2；

否则，若θ_i,j＞π/2，则定义厢门开度的计算式为，

否则若θ_i,j＜π/2，则定义厢门开度的计算式为，

否则，定义厢门开度为0；

最后，当厢门开度不为0时，根据所述第一横线的角度θ_U来修正所述开度，

经过计算，如图15所示的厢门开度角度α＝41.966度。在世界坐标系下，通过卷尺进行测量和技术，得到厢门的真实开度为42.27度。本发明计算结果与真实值有着0.304度的误差，可见检测误差很小，满足工程应用需要，实现了货车厢门开度的准确检测。

作为优选，还可仅对所述第一横线即厢门门上框以下垂直方向yd像素内的像素点进行区域截取，作为图像I₀。作为优选，用链表来记录直线所对应像素点时，还对链表C_i,j进行***表示，从前到后遍历C_i,j，如果其中一个节点与邻近节点的距离大于距离阈值d2，则将该节点用新一个链表来记录。

作为优选，其中T_hough可以取相对小一些的值如10～15，或二值图像宽度的1/20左右；阈值d2则可以取大一些的值如15～25，或二值图像宽度的1/15左右。

由于厢门打开后每扇门上部各有两条边，作为优选，所述N取值为5至8。可选地，在上述第三步骤处理中，先去除厢门竖直方向的侧棱及上棱，并相应地清理链表和数组PL。具体地，在长度最大的几根直线中：找到方向角度θ在0或π附近且其对应链表的头、尾像素元素分别与所述厢门上框端点PHL、PHR距离小于阈值ds的直线判定为上棱；再找到方向角度θ在预设角度值附近且其对应链表的头、尾像素之一元素分别与所述厢门上框端点PHL、PHR距离之一小于阈值ds的直线判定为侧棱。作为优选，所述预设角度值根据厢门上框长度及车型的高度进行离线预设。或作为优选，在所述第二差分图像中以所述第二横线两端为出发点，在对该图像进行边缘提取后搜索长度最大且近似对称的左右两条直线判定为侧棱。

现有技术中一般通过霍夫变换方程r＝u·cosθ+vsinθ或其转换后的直线方程v＝-u·ctgθ+r/sinθ来判断某个像素点(u₀,v₀)是否在该直线上。对于经初步筛选后第二平面矩阵中每一条直线，都需要重复进行待检像素点数多次的三角运算。为此，为提高计算效率，作为优选，像素点(u,v)与直线元素l_i,j(r_i,j,θ_i,j)对应的判断方式设为：

先在所述直线上取一支点H(r_i,j·cosθ_i,j,r_i,j·sinθ_i,j)，记为H(u′,v′)，然后对每个待判像素点计算J＝r²-(u·u′+v·v′)，若|J|≤ε，则判定所述像素点与所述直线对应，否则不对应，其中，ε为预设的一个小正数。

作为优选，对点M(x_M,yM)到直线l_i,j(r_i,j,θ_i,j)的距离d，用下式计算：

d＝|y_M·sinθ_i,j+x_M·cosθ_i,j-r_i,j|。

如图6所示，在物流园区或货场出口处，当监测到待出门货车车厢未关严时，监测控制器向道闸控制器4000发出落闸指令，阻止货车出门；同时，除了向车载告警器发信号之外，还通过声光单元300提醒工作人员及时介入干预，要求货车整改，把厢门关严，预防事故的发生。

具体地，如图6所示，接到落闸指令后，道闸控制器4000通过起放转轴22来实现安装在立柱21上闸杆23的起放控制。监测控制器通过通信接口将该货车运输信息与服务器2000中的数据库进行交互，在厢门及其他状态、信息验证通过后，通过道闸控制器控制闸杆起竖，货车可以离开，并在检测到货车离开后落杆；当状态验证不通过如厢门状态异常时，通过声光单元和用户接口单元中的显示模块进行信息提示与告警，并使闸杆处于关闸状态。

在允许车辆进行出入的同时，还要正确地记录其出入信息。作为优选，监测控制器将厢门图像、主视相机采集的货车主体图像、货车编号及厢门开度、出入时间等信息存储到数据库中。作为优选，服务器2000中设有ERP***的物流运输信息数据库。

作为优选，所述货车厢门开度监控装置还包括照度传感单元与照明单元，基于照度传感单元对环境的检测，监测控制器控制照明单元进行补光。

在检测到货车厢门处于异常状态时，需要及时对该货车进行告警，为了向目标货车发出警讯，一方面可以通过对车牌识别来进行，另一方面也可以通过射频卡等来进行货车标识，特别是在射频卡ID对应于ERP等其他信息***中的处理流程时更为有效。而且，由于射频卡可以便携、移动，能在其他单位或部门进行读写操作。为此，在厢式货车厢门开度监控装置中设置扫描识别单元来对射频卡等识别卡进行该便携式卡片的ID识别。

作为优选，还可对该卡片进行写操作，如记录其经过时间、地点等信息，为厢式货车物流链上的活动记录与溯源提供依据。

实施例2：

为了获取运输货车的主体轮廓特征以进行车型识别、进出场图像存档等处理，结合图1、图2、图5和图6所示，区别于实施例1，本实施例以主相机721采集车体图像，经监测控制器中的图像识别模块处理后提取车辆的车型。结合图5、图6所示，俯瞰相机底座上有可调角度的云台，根据所识别出的车型，监测控制器的主处理模块能基于该车型的尺寸，按预设的角度优化俯瞰相机的图像采集，使得货车尾部图像能尽可能利用图像的尺寸。

车型信息的自动获取需要建立一个识别模型，本发明基于特定角度拍摄的车辆图像，采用深度学***台上。很多具体的深度学***台上，而低成本的嵌入式平台由于缺乏大容量GPU使得这些算法无法达到实时检测的效果。Yolo模型由于其端到端的设计，使得实现过程简单，并且仅对图片提取一次特征，速度很快，成为经典的目标检测模型之一。

基于树莓派的算力特点，本发明选择yolo-v3-tiny网络作为车型识别深度学习的原型模型。yolo-v3-tiny网络是yolo网络最新优化版本的轻量模型，具有泛化能力强，计算复杂度相对较低，识别处理效率高的特点。

yolo-v3-tiny网络中，每个网格单元特征图预测3个候选框，而每个候选框需要有四个坐标、一个置信度共五个基本参数，因此其输出层卷积核的数量＝B×(M+5)，其中B为候选框的数量，M为类别数。相比于yolo-v3，yolo-v3-tiny网络的预测输出分支数由3个减小到2个，即其特征图采用的是13*13，26*26两种类型，减小了计算量。

在经过深入的测试与分析后，发现在物流园区货场的管理中，可以通过特定区域、特定角度的拍摄来对车辆进行图像采集，从而能有针对性的对深度学习网络进行结构优化。具体地，参见图5所示，位于车辆侧前方的主相机721触发于车辆第一检测模块601和第二检测模块602均检测到车辆之时。以主相机所采集的图片进行标注后形成训练数据集，以所述数据集对所述网络模型进行离线训练，获得车型识别模型；在线运行时，图像识别模块以车型识别模型对待测图片进行处理后获得车辆的车型信息。根据所识别出的车型调整俯瞰相机云台的俯仰角，并根据俯仰角与透视逆变换预设的关系确定透视逆变换矩阵。

参见图2所示，作为优选，在主控单元中设一个图像预处理模块130，其将主相机、侧视相机所采集车辆图片以列排列方式融合为一幅样本图片，对所述样本图片标注后形成训练数据集；在线运行时，同样经此融合处理生成待测图片后输入到图像识别模块。

作为优选，俯瞰相机采用可数字调焦控制的相机，通过所识别车型的先验尺寸，调节其图像采集的焦距，使得货车尾部厢门区域图像占满图像空间的2/3以上。作为优选，可以调整主相机、侧视相机的拍摄角度，使得目标厢式货车被拍摄时车体占据图片空间的40％～70％。

作为优选，侧视相机采集图像时使得目标车辆在视野的下半部分，然后截取图片的下半部，类似地对主视相机进行设置，然后将截取后的主视相机图片、侧视相机图片分别置于样本图片上方和下方，形成融合图片。

相比于yolo-v3，yolo-v3-tiny网络去除了52*52特征图的输出层，也相应地降低了对小尺寸目标的检测。而本发明中通过上述图像采集的方式获取到的训练样本，目标车辆具有显著的几何尺寸特征。

参见图8所示，为了充分利用深度学习网络的优势，本发明结合图像特征，将样本图片归一化的大小由416×416修改为832×832；并相应地对yolo-v3-tiny网络的结构进行修改：在yolo-v3-tiny网络的第0层之前依次***一个卷积核为3×3的卷积层、一个2×2的池化层，且所述两层的滤波器个数均为N个，其中N取值为4和16之间的一个偶数。

作为优选，N取值为8。因为经过反复测试，发现选N＝8时的识别效果更好，它能较好地衔接后续层中16个特征的提取。

由于yolo输出层卷积核的数量＝B×(M+5)，在测试中取M＝9种，所以卷积核数量为42，如图6所示，yolo输出层分别输出13×13×42和26×26×42的候选框及其判识出的类别。

通过对各类车辆通过出入口及运输通道过程中的图像采集，基于主相机、侧视相机所采集图像融合成样本图片并对图片中的车辆进行框选和类型标注，采集各种自然条件如不同光照、气象条件下的样本，使样本足够丰富，然后对修改后的网络进行离线训练。为简化图像采集，可对道路通行进行视频拍摄，然后通过视频处理***实现视频图像到一帧一帧图片的转换，对转换出的图片进行筛选后经融合处理和标注成为训练样本。

以采集的运输通道上车辆图像作为数据集，并将其分为训练集和测试集，其中，对各种厢式货车进行按类型标注，样本中非厢式货车则标注为其他。与普通yolo-v3-tiny网络检测结果的对比实验说明，改进型网络在各种车型上的识别性能都有提高，对3T、5T、8T、10T、25T、30T共六种普通干厢货车及3T、10T共两种冷藏厢货车，正确率各提高了1～6个百分点。同时，实验中还发现光照强度对货车车型的识别效果有较大影响，且夜间小型货车识别效果相对较好。

由于深度学习网络具有很强的泛化性和知识自学习性，本发明基于单一的同一个yolo-v3-tiny网络来提取厢门区域的位置信息，具体地，在其训练数据集中加入标注了厢门框的厢门图像样本并相应修改yolo层前卷积层的滤波器个数。在线运行时，经离线训练的网络模型对所采集的厢门图像进行识别，检测图像中的厢门区域锚框，并将该锚框内的区域作为货车尾部图像的ROI区域。通过在多个识别任务中共享同一网络，降低了模型复杂度，提高了识别能力与管理效率。

实施例3

区别于实施例一之处在于，本实施例通过连通域搜索的方法来获取厢门边缘直线。具体地，厢门边缘直线的检测与筛选按如下处理进行：

首先，对第四厢门图像I₀中的前景点，从最左上端选择一个像素点作为种子点，建立一个包括该点的链表C_k，按从左到右、从上到下的方向搜索其领域中阈值ds范围内的下一个点并将其位置(u,v)记录链表中，直至搜索点为空；重复上述处理，直至每个前景点都属于一个链表为止；对链表集合进行筛选，去除长度小于一设定值的链表；

第二，为筛选后的每个链表C_k生成一个以其节点位置(u,v)对应为前景点的二值化图像，对该图像进行霍夫变换后仅保留值最大的θ-r元素，记为l_k(r_k,θ_k)；

第三，对每条直线l_k，根据其对应的链表C_k，求得其节点中最小横坐标像素点CL与所述第一横线距离dL、及最大横坐标像素点CR与所述第一横线距离dR，若min(dL,dR)<ds，则该元素对应的链表C_k作为厢门上框候选链表；

最后，对所述每个候选链表，进行厢门开度计算：

若其对应的直线l_k的θ_k在π/2一设定邻域内即满足|θ_k-π/2|＜θ_s，则根据所述点CL的横坐标与所述厢门上框端点PHL、PHR中哪个点的横坐标更为接近而分别确定为左厢门、右厢门的开度为π/2，

否则，确定链表C_k中的最上端点CH及最下端点CL，定义厢门开度的计算式为，

若以上条件都不满足，定义厢门开度为0；

最后，当厢门开度不为0时，根据所述第一横线的角度θ_U来修正所述开度，

又，作为优选，记所述透视逆变换为第一透视逆变换，以第一透视逆变换获得世界坐标系下的图像后，用第二透视变换将其旋转一预设角度如20～50度，经直线筛选获取到厢门特征线后再用第二透视逆变换转换到世界坐标系中，最后求取厢门开度。

通过所述第二透视变换及第二透视逆变换的处理，能使得货车边缘直线的角度θ尽量避开0和π/2，从而在三角计算中避开0区间，提高计算精度。

作为优选，对所述第二差分图像进行边缘提取后，对所获边缘图像通过霍夫变换获取车厢顶部竖直边缘直线对应的第一、第二列线，计算该两条列线方向角度θ的均值，获得车辆行驶方向角度，并在该行驶方向角度超过π/2邻域一预设值范围时进行告警，防止车辆在可视条件差或驾驶员注意力不集中时可能造成的偏航行驶对外部造成的碰撞危害。

作为优选，通过所述速度计算，优化、调整俯瞰相机的快门速度，提高所获取货车尾部图像的质量。

以上，说明了本发明的几个实施方式，但这些实施方式是作为例子而提示的方式，并没有限定发明的范围。这些实施方式可以通过其他的各种方式实施，在不脱离发明的主旨的范围内，能够进行各种省略、置换、组合、变更。这些实施方式或其变形包含于发明的范围或主旨，并同样地包含于权利要求书记载的发明及其等同的范围内。

Claims (9)

1.基于树莓派的厢式货车厢门开度监控方法，其包括以下步骤：

S1、基于距离传感单元中第一、第二检测模块的触发间隔，计算货车行驶速度V；

S2、通过扫描货车中的ID卡来获取货车编号，基于第三检测模块的触发，连续采集货车的第一尾部图像、第二尾部图像；

S3、对所述第一、第二尾部图像进行差分运算获得第一差分图像，以路面图像为背景对所述第二尾部图像差分后获得第二差分图像；

S4、基于所述第一、第二差分图像，对其横向的连续非0元素长度超过设定值的纵向位置进行行标记，同时对其纵向的连续非0元素长度超过设定值的纵向位置进行列标记，以所述行、列标记的最小公共外接矩形为基准对所述第二尾部图像进行截取，获得货车厢门图像；

S5、基于透视逆变换矩阵将所述货车厢门图像变换为世界坐标系下的第一厢门图像，对所述第一厢门图像进行灰度化处理后获得第二厢门图像，对所述第二厢门图像进行二值化处理后获得第三厢门图像，对所述第三厢门图像进行边缘提取后获得第四厢门图像；

S6、基于霍夫变换对所述第四厢门图像中的直线进行检测，并经所述直线与所述行标记中首行横线方位关系的启发式规则筛选来获取厢门上门框及厢门上边缘线，并据此计算厢门的开度；

S7、根据货车的当前车速和厢门开度对其运行状态进行评估并根据评估结果对货车和/或道闸控制器进行管控。

2.根据权利要求1所述的基于树莓派的厢式货车厢门开度监控方法，其特征在于，

所述步骤S4中包括以下处理：搜索所述第一差分图像中长度超过设定值且行号最小的第一横线，搜索所述第二差分图像中长度超过设定值且行号最大的第二横线，搜索所述第二差分图像中长度超过设定值且列号分别最小、最大的第一、第二列线；以所述第一、第二横线和第一、第二列线的最小公共外接矩形为基准，向外扩大一定范围后作为货车尾部图像的ROI区域；

所述步骤S7中包括以下处理：当所述速度V大于设定值且所述厢门开度α大于设定值时，通过输出模块向车载告警器及声光单元发出告警信号，和/或向道闸控制器发出落闸指令。

3.根据权利要求1所述的基于树莓派的厢式货车厢门开度监控方法，其特征在于，

所述步骤S1中包括以下处理：记录车辆被所述第一、第二检测模块检测到的时间的间隔为△t1，车辆离开所述第一、第二检测模块的时间的间隔为△t2，则所述速度V的计算式为：

其中，L为所述第一、第二检测模块之间的距离。

4.根据权利要求1所述的基于树莓派的厢式货车厢门开度监控方法，其特征在于，所述步骤S5中的透视逆变换矩阵通过以下处理获取：

令透视逆变换矩阵为：

则其将图像平面坐标系中的像素点坐标(u,v,1)转换为世界坐标系中的点坐标(x,y,1)：

(x,y,1)＝(u,v,1)*T，

通过在道路上已知的呈矩形分布的四个参考物在图像中成像点的检测，获取四个像素点的两种坐标，将所述坐标代入所述转换式中，得到八个线性方程，由所述线性方程以及方程a₁₃+a₂₃+a₃₃＝1构成的方程组约束，求解得到所述透视逆变换矩阵；

且，通过下式将所述货车厢门图像变换为世界坐标系下的第一厢门图像：

5.根据权利要求1所述的基于树莓派的厢式货车厢门开度监控方法，其特征在于，

所述步骤S5中包括以下处理：

采用对R、G、B分量进行加权平均的方式进行灰度化处理，在二值化处理中采用大津阈值法并在阈值分割后经多次腐蚀、膨胀与腐蚀后获得所述第三厢门图像，采用Canny算子进行边缘检测；

所述步骤S6中包括以下处理：

以所述行标记中首行横线为第一横线，分别以所述列标记中首尾列线为第一、第二列线，标记所述第二差分图像中第一横线分别与第一、第二列线的交点，并相应地在所述第一厢门图像中分别标记该左右两个交点为PHL、PHR，

然后，进行直线的检测与筛选：

首先，对第四厢门图像I₀中每一前景像素点进行霍夫变换后经累加获得图像对应的θ-r第一平面矩阵，其中r代表直线离原点的垂线距离，θ是该垂线对横轴的角度，

然后，对所述第一平面矩阵进行清理，去除其中值小于设定阈值T_hough的元素，获得第二平面矩阵

其每个非0元素l_i,j(r_i,j,θ_i,j)对应一根直线；对图像I₀进行遍历清理，仅留下与所述第二平面矩阵中直线元素所对应的像素点并标识各像素点对应的直线元素l_i,j(r_i,j,θ_i,j)，获得清理后的图像I₁；通过对所述图像I₁进行遍历，为所述矩阵

中的每个非0值的直线元素，分别用一个链表C_i,j来记录该直线对应的图像I₁中的所有像素点，且链表中的节点按像素点横坐标从小到大排列，同时，建立数组L并用其第一列元素L_i,j来记录链表C_i,j的长度，用第二列元素来记录对应链表的索引i和j；对所述数组L按第一列元素值进行从大到小的排序，排序结果记为数组PL，

第三，搜索平行于所述第一横线的厢门上框、与厢门上框相连的厢门侧棱所对应的直线及元素，对数组PL的前N行元素，去除其中与所述厢门上框、侧棱相对应的元素，并相应在链表集中去除其对应的链表，

对更新后的数组和链表，k从1到数组PL的行数，循环进行以下处理：

针对数组PL的第k行元素，根据其第二列元素值，获得索引i和j，遍历所述元素对应的链表C_i,j，求得其节点中最小横坐标像素点PL与所述第一横线距离dL、及最大横坐标像素点PR与所述第一横线距离dR，若min(dL,dR)<ds，则该元素对应的链表C_i,j作为厢门上框候选链表；

最后，对所述每个候选链表，进行所述厢门开度计算：

若其对应的直线l_i,j的θ_i,j在π/2一设定邻域内即满足|θ_i,j-π/2|＜θ_s，则根据所述点PL的横坐标与所述厢门上框端点PHL、PHR中哪个点的横坐标更为接近而分别确定为左厢门、右厢门的开度为π/2，

否则，若θ_i,j＞π/2，则定义厢门开度的计算式为，

否则若θ_i,j＜π/2，则定义厢门开度的计算式为，

否则，定义厢门开度为0；

最后，当厢门开度不为0时，根据所述第一横线的角度θ_U来修正所述开度，

6.根据权利要求5所述的基于树莓派的厢式货车厢门开度监控方法，其特征在于，所述步骤S6中包括以下处理：

像素点(u,v)与直线元素l_i,j(r_i,j,θ_i,j)对应的判断方式为：

在所述直线上取一支点H(r_i,j·cosθ_i,j,r_i,j·sinθ_i,j)，记为H(u′,v′)，

计算J＝r²-(u·u′+v·v′)，若|J|≤ε，则判定所述像素点与所述直线对应，否则不对应，其中，ε为预设的一个小正数；

对点M(x_M,y_M)到直线l_i,j(r_i,j,θ_i,j)的距离d，用下式计算：

d＝|y_M·sinθ_i,j+x_M·cosθ_i,j-r_i,j|。

7.根据权利要求1所述的基于树莓派的厢式货车厢门开度监控方法，其特征在于，所述步骤S6中包括以下处理：

在直线筛选前先用第二透视变换将图像旋转一预设角度如20～50度，经直线筛选获取到厢门特征线后再用第二透视逆变换转换到世界坐标系中，然后再求取厢门开度。

8.根据权利要求1所述的基于树莓派的厢式货车厢门开度监控方法，其特征在于，

所述步骤S6中包括以下处理：

首先，对第四厢门图像I₀中的前景点，从最左上端选择一个像素点作为种子点，建立一个包括该点的链表C_k，按从左到右、从上到下的方向搜索其领域中阈值ds范围内的下一个点并将其位置(u,v)记录链表中，直至搜索点为空；重复上述处理，直至每个前景点都属于一个链表为止；对链表集合进行筛选，去除长度小于一设定值的链表；

第二，为筛选后的每个链表C_k生成一个以其节点位置(u,v)对应为前景点的二值化图像，对该图像进行霍夫变换后仅保留值最大的θ-r元素，记为l_k(r_k,θ_k)；

第三，对每条直线l_k，根据其对应的链表C_k，求得其节点中最小横坐标像素点CL与所述第一横线距离dL、及最大横坐标像素点CR与所述第一横线距离dR，若min(dL,dR)<ds，则该元素对应的链表C_k作为厢门上框候选链表；

最后，对所述每个候选链表，进行厢门开度计算。

9.基于树莓派的厢式货车厢门开度监控方法，其包括以下步骤：

P1、建立图像识别模块：所述图像识别模块采用基于yolo-v3-tiny改进后的网络模型，以832×832图像作为输入，在yolo-v3-tiny网络的第0层之前依次***一个卷积核为3×3的卷积层、一个2×2的池化层，且所述两层的滤波器个数均为8个；

P2、获取训练样本：在通道的预设位置对车辆进行图像采集，以标注了厢门区域的货车尾部图像作为图像样本，形成训练数据集；

P3、离线训练所述网络模型：对网络训练进行参数配置，以获取的所述数据集对所述网络模型进行离线训练，获得图像识别模型；

P4、货车厢门开度在线监控：

SP1、基于第一、第二检测模块的触发间隔，计算货车行驶速度V；通过扫描货车中的ID卡来获取货车编号；

SP2、基于第三检测模块的触发，采集货车的当前尾部图像，经所述图像识别模型处理后获得厢门区域锚框，以所述锚框为基准对所述当前尾部图像进行截取，获得货车厢门图像；

SP3、对所述货车厢门图像进行边缘提取，然后经霍夫变换提取直线集，从所述直线集中搜索到两条最长且角度在π/2邻域内的货厢厢顶棱线，在货车厢门图像中对该棱线与所述锚框上边的交点进行标注；

SP4、基于透视逆变换矩阵将所述货车厢门图像变换为世界坐标系下的第一厢门图像，对所述第一厢门图像进行灰度化处理后获得第二厢门图像，对所述第二厢门图像进行二值化处理后获得第三厢门图像，对所述第三厢门图像进行边缘提取后获得第四厢门图像；

SP5、基于霍夫变换对所述第四厢门图像中的直线进行检测，并经所述直线与标注的所述交点的方位关系的启发式规则筛选来获取厢门上门框及厢门上边缘线，并据此计算厢门的开度；

SP6、根据货车的当前车速和厢门开度对其运行状态进行评估并根据评估结果对货车和/或道闸控制器进行管控。

Images