CN110411530A - 一种货箱剩余体积的智能识别方法 - Google Patents

Abstract

本发明公开了一种货箱剩余体积的智能识别方法。首先利用相机拍照将货车车厢前段以及大部分底面纳入图像内，随后对图像通过相机内部参数矩阵M₁和畸变校正参数k₁、k₂进行畸变校正。远端服务器车厢内图像进行实例分割处理，识别出各货物所占区域与轮廓，最终可确定各特征点的像素坐标，由货物特征点像素坐标可计算货物特征点的世界坐标，世界坐标确定后就可以计算出车厢内货物的体积。本发明便于物流中心准确快捷自动地了解每个货车的运输量和空余空间，及时更新货物装载方案，对货车进行合理地安排调度，改善货车剩余空间与待装载货物不匹配导致的物流资源浪费现象，提高货车的运输效率。

Description

一种货箱剩余体积的智能识别方法

技术领域

本发明属于物流运输管理技术领域，具体涉及一种货箱剩余体积的智能识别方法。

背景技术

随着经济的发展，物流量在逐渐增大，尤其是在特殊节日，从而增加了运输货车的数量和货车的运输量。货物装载方案会影响到货车的装载效率，进而影响到运输成本、送货周期和资源利用率。所以，合理的货物装载方案会给公路运输带来更大的经济效益。目前，货物装载方案由物流配送中心制定，对于智能化建设程度比较低的物流中心，资源利用和工作效率低下，获取存货量和货车装载量还是靠人工报告来完成，尤其是货车装载量，当物流量巨大时，人工报告费时费力，且难以准确预估货车车厢剩余空间，信息处理也非常繁琐，容易造成信息获取不及时、误差大等问题，给仓库管理和物流运输带来问题。

本发明重在为物流配送提供一种识别货车车厢剩余空间的方法，利用相机采集货车车厢内部情况，通过图像判断计算货车车厢内堆积货物的体积，从而获得车厢剩余空间的体积，通过网络传递给物流中心，便于物流中心准确快捷地了解每个货车的运输量，及时更新货物装载方案，对货车进行合理地安排调度，改善货车运输量分布不均和车厢剩余空间与待装载货物不匹配导致物流资源浪费的现象，提高货车的运输效率，使物流运输车辆的调配更方便快捷合理。

发明内容

本发明针对物流运输的现状，提供一种货箱剩余体积识别方法，它运用相机及图像处理技术计算货车车厢内部剩余空间的体积，利用网络传递数据，使物流中心实时监控货车的运输量和剩余可承载量，方便对货车进行合理的安排调度。

本发明的目的是通过以下技术方案来实现的：一种货箱剩余体积识别方法，包括物流中心、相机、服务器。服务器与相机、物流中心连接，服务器为图像处理工作站，作用为分析图像和传递数据。该技术方案的步骤如下：

第一步，选择焦距适当、在暗光环境下可进行红外夜视拍摄的相机，使相机可以清晰完整的将货车车厢前段以及大部分底面纳入图像内。相机自带无线网络，相机可通过多种方式与服务器连接，如移动网络GPRS、手机热点WIFI，或是城市无线WIFI，便于服务器对于摄像头的监控，可及时的将摄像头的角度调整至理想状态。

第二步，计算相机内参数，在通过相机线性成像模型计算时需要相机的相机内部参数矩阵M₁，因此使用相机对标定板拍摄一定数量不同角度的标定图像，使用计算工具对标定图像进行处理即可获得相机内部参数矩阵M₁和畸变校正参数k₁、k₂，此处获得的畸变校正参数k₁、k₂和相机内部参数矩阵M₁将被用于对相机的所有拍摄图像的畸变矫正计算。利用获得的畸变校正参数k₁、k₂对所有标定图像进行畸变校正，获得校正后的标定图像，再通过工具进行内部参数矩阵的计算，可以获得相机内部参数矩阵M₁’。

第三步，计算相机外部参数，为了实现由世界坐标系坐标与图像像素坐标的转化还需要获得相机外部参数矩阵M₂，相机外部参数矩阵M₂由相机光心的世界坐标系坐标x_c0、y_c0、z_c0和相机的安装角度α、β、γ这六个参数所决定。由于在相机安装时相机光心难以确定，相机的安装角度受安装精度的影响并且难以测量，因此需要通过计算获取决定相机外部参数矩阵M₂的六个参数，进而确定相机外部参数矩阵M₂。首先对不包含货物的空车厢内拍摄一张照片或拍摄具有完整车厢轮廓的图像，并对图像进行畸变校正，然后通过深度学习获取车厢的轮廓信息确定车厢特征点，通过最优化计算获得相机外部参数矩阵M₂。

第四步，车厢内货物体积识别计算，在相机完成安装并已获取了M₁、M₁’、M₂、k₁、k₂等参数后便可以进车厢内货物体积识别计算。相机对车厢内部拍照，随后对图像通过M₁和k₁、k₂进行畸变校正，在图像进行校正后，矫正图像被传输至远端服务器。在远端服务器内对接受的车厢内图像进行实例分割处理，识别出各货物所占区域与轮廓，最终可确定各特征点的像素坐标，由货物特征点像素坐标可计算货物特征点的世界坐标，世界坐标确定后就可以计算出车厢内货物的体积。

作为优选方式，在方案运行时，相机在车厢关上箱门后开始拍照，确保车厢特征点准确完整，从而可计算出精确的相机外部参数矩阵M₂。

作为优选方式，选取在暗光环境下可进行红外夜视拍摄的相机，并配有闪光灯，在车厢内环境黑暗使用红外夜视拍摄也不清晰时，相机在拍照时自动识别启用闪光灯。

作为优选方式，由于相机安装在车厢内，随着货车的运行，相机的安装角度α、β、γ和相机光心的世界坐标系坐标x_c0、y_c0、z_c0会由于颠簸或者碰撞发生细微改变，这六个参数的变化会改变相机外部参数矩阵M₂，最终会影响整个方案的结果。因此，应定期对相机进行检修维护，保证相机的安装角度和相机光心的世界坐标固定，对相机外部参数矩阵M₂及时修正。对于运输路线不平坦的货车，可在相机上设置晃动警报，设置一个允许的晃动范围，一旦超出这个范围就警报，将讯号传送至物流中心，物流中心派工作人员及时处理重新安装固定摄像头。

本发明的有益效果为：物流中心可以实时监控每辆货车的装载量和运输情况，方便对货车进行安排调度，可以及时安排运输量少的货车去其他仓库装载货物，提高货车的运输效率，使物流运输车辆的调配更方便快捷合理。同时，利用空间几何识别的方法来判断货车空间比人工更精准且效率更高，还可以避免由于人工原因造成的各种错误。

附图说明

图1为本发明的流程示意图；

图2为相机线性成像模型各坐标系；

图3坐标系在车厢内的布置；

图4为车厢前端特征点；

图5为车厢内货物图像；

图6为货物特征识别；

具体实施方式

下面结合附图对本发明作进一步详细描述。

本发明具体涉及一种基于空间几何识别的货箱剩余体积识别方法，采用相机线性成像模型，将三维场景坐标系下的物体的坐标与相机所拍摄的二维图像坐标系中的像素进行联系。在相机线性成像模型中涉及到多种坐标系间的转化，包括世界坐标系O_W-X_WY_WZ_W、相机坐标系O_C-X_CY_CZ_C、图像物理坐标系O₁-xy和图像像素坐标系O₀-uv。相机线性成像模型中各坐标系如图1所示。各坐标系在车厢内的布置如图2所示。

在一个长2200mm宽1250mm高1750mm的模拟车厢内布置世界坐标系O_W-X_WY_WZ_W、相机坐标系O_C-X_CY_CZ_C、图像物理坐标系O₁-xy和图像像素坐标系O₀-uv，相机安装位置世界坐标约为(0，2100，1650)。车厢轮廓以及车厢内的货物的几何信息均可由世界坐标系直观表示，通过平移矩阵和旋转矩阵可以实现世界坐标系至相机坐标系的转化，然后通过三角形相似原理可将相机坐标系转化为图像物理坐标系，再通过下式

将图像物理坐标系转化为图像像素坐标系。因此，可通过下式将世界坐标系转化为图像像素坐标系。

式中：f_x、f_y分别为u、v方向上的像素焦距；M₁被称为相机内部参数矩阵，内部参数矩阵由相机的焦距、主点坐标等决定，其在相机生产时便已经确定或者使用工具对标定图像进行处理即可获得内部参数矩阵M₁；M₂被称为相机的外部参数矩阵，由相机在世界坐标系中的安装位置安装角度决定，在相机在车厢内安装后确定。

使用相机对标定板拍摄一定数量不同角度的标定图像，使用工具对标定图像经过下式

进行处理即可获得相机内部参数矩阵M₁和畸变校正参数k₁、k₂，此处获得的畸变校正参数k₁、k₂和相机内部参数矩阵M₁将被用于对相机的所有拍摄图像的畸变矫正计算。利用获得的畸变校正参数k₁、k₂对所有标定图像进行畸变校正，获得校正后的标定图像，再通过计算工具进行内部参数矩阵的计算，可以获得相机内部参数矩阵M₁’如下式所示。

为了实现由世界坐标系坐标与图像像素坐标的转化还需要获得相机外部参数矩阵M₂，相机外部参数矩阵M₂由相机光心的世界坐标系坐标x_c0、y_c0、z_c0和相机的安装角度α、β、γ这六个参数所决定。由于在相机安装时相机光心难以确定，相机的安装角度受安装精度的影响并且难以测量，因此需要通过计算获取决定相机外部参数矩阵M₂的六个参数，进而确定相机外部参数矩阵M₂。首先对不包含货物的空车厢内拍摄一张照片或拍摄具有完整车厢轮廓的图像，并对图像进行畸变校正，校正后的图像如图3所示，在实验中通过人工直接确定特征点，最终可确定各特征点像素坐标分别为：P₁(1598，1643)、P₂(2383，1646)、P₃(1336，220)、P₄(2599，220)。首先设定相机外部参数矩阵M₂的初始值，其六个参数分别为x_c0＝0、y_c0＝2090、z_c0＝1620、α＝35、β＝0、γ＝0。分别将四个特征点的世界坐标带入世界坐标转化为图像像素坐标的公式中，其中P_1W(-625、0、0)、P_2W(625、0、0)、P_3W(-625、0、1750)、P_4W(-625、0、1750)，相机内部参数矩阵为M₁’，可获得在当前M₂下的特征点像素坐标P₁’(u₁，v₁)、P₂’(u₂，v₂)、P₃’(u₃，v₃)、P₄’(u₄，v₄)。以下式

最小化为目标，对相机外部参数矩阵M₂的六个参数进行最优化计算。最终可得x_c0＝64、y_c0＝2125、z_c0＝1649、α＝34.65、β＝-1、γ＝0.51。M₂如下式所示。

在相机完成安装并已获取了M₁、M₁’、M₂、k₁、k₂等参数后便可以进车厢(板房)内货物体积识别计算。实验所采用的货物为长420mm宽210mm高560mm的纸箱，纸箱的某条边缘存在一定的变形，将纸箱以不同的摆放方式放置在板房内不同位置，记录下每次摆放时货物在车厢中的位置，共拍摄了22张图片，如图4所示。

对图像通过M₁和k₁、k₂进行畸变校正，在图像进行校正后，矫正图像被传输至远端服务器。在远端服务器内对接受的车厢内图像进行实例分割处理，识别出各货物所占区域与轮廓，如图5所示。此后对已分割出的货物区域的边缘进行识别，对于1个六面体货物需要识别出货物的两条主要轮廓线line1和line2，以及三个特征点P₁、P₂、P₃，最终可确定各特征点的像素坐标。在已知相机内部参数矩阵为M₁’，相机外部参数矩阵为M₂，以及物体在图像中的像素坐标u、v时，对于P₁与P₂点位于地面其世界坐标中的z_w＝0，固可以解出P₁与P₂点的世界坐标x_w、y_w值，即可求出货物后端与车厢前端的距离(y_w1+y_w2)/2以及货物沿X_W方向的长度x_w2-x_w1。由于P₁点与P₃点的世界坐标x_w、y_w值相同，在已知P₁点世界坐标x_w1、y_w1值和P₃点在图像中的像素坐标u₃、v₃时，可以通过世界坐标转化为图像像素坐标的公式求出P₃点的世界坐标z_w3，即可求出货物沿Z_W方向的高度度z_w3。已知货物各特征点的世界坐标就可以计算出货物的体积。

对所拍摄的22张图片进行分析可得，通过图像对货物货物X_W方向长度和货物Z_W方向高度的预测均具有较小的相对误差，对货物货物X_W方向长度的预测最大相对误差仅为1.83％，对货物Z_W方向高度的预测最大相对误差仅为1.56％，，而对货物后端与车厢前端的距离的预测中，编号为18的实验中出现了较大的相对误差为7.28％，除此之外第二大的误差为3.9％。对于体积的计算，由于编号为18的实验中货物后端与车厢前端的距离出现较大误差，使得该条件下对体积计算的相对误差达到了7.55％，除此之外体积的计算第二大的误差为5.31％，对于这22种货物摆放位置的体积计算的相对误差的平均值为2.31％。

Claims (4)

1.一种货箱剩余体积的智能识别方法，其特征是它包括以下步骤：

第一步，选择焦距适当、在暗光环境下可进行红外夜视拍摄的相机，使相机可以清晰完整的将货车车厢前段以及大部分底面纳入图像内。相机自带无线网络，相机可通过多种方式与服务器连接，如移动网络GPRS、手机热点WIFI，或是城市无线WIFI，便于服务器对于摄像头的监控，可及时的将摄像头的角度调整至理想状态。

第二步，计算相机内参数，在通过相机线性成像模型计算时需要相机的相机内部参数矩阵M₁，因此使用相机对标定板拍摄一定数量不同角度的标定图像，使用计算工具对标定图像进行处理即可获得相机内部参数矩阵M₁和畸变校正参数k₁、k₂，此处获得的畸变校正参数k₁、k₂和相机内部参数矩阵M₁将被用于对相机的所有拍摄图像的畸变矫正计算。利用获得的畸变校正参数k₁、k₂对所有标定图像进行畸变校正，获得校正后的标定图像，再通过工具进行内部参数矩阵的计算，可以获得相机内部参数矩阵M₁’。

第三步，计算相机外部参数，为了实现由世界坐标系坐标与图像像素坐标的转化还需要获得相机外部参数矩阵M₂，相机外部参数矩阵M₂由相机光心的世界坐标系坐标x_c0、y_c0、z_c0和相机的安装角度α、β、γ这六个参数所决定。由于在相机安装时相机光心难以确定，相机的安装角度受安装精度的影响并且难以测量，因此需要通过计算获取决定相机外部参数矩阵M₂的六个参数，进而确定相机外部参数矩阵M₂。首先对不包含货物的空车厢内拍摄一张照片或拍摄具有完整车厢轮廓的图像，并对图像进行畸变校正，然后通过深度学习获取车厢的轮廓信息确定车厢特征点，通过最优化计算获得相机外部参数矩阵M₂。

第四步，车厢内货物体积识别计算，在相机完成安装并已获取了M₁、M₁’、M₂、k₁、k₂等参数后便可以进车厢内货物体积识别计算。相机对车厢内部拍照，随后对图像通过M₁和k₁、k₂进行畸变校正，在图像进行校正后，矫正图像被传输至远端服务器。在远端服务器内对接受的车厢内图像进行实例分割处理，识别出各货物所占区域与轮廓，最终可确定各特征点的像素坐标，由货物特征点像素坐标可计算货物特征点的世界坐标，世界坐标确定后就可以计算出车厢内货物的体积。

2.根据权利要求1所述的一种基于空间几何识别的货箱剩余体积的智能识别方法，其特征在于：在相机线性成像模型中涉及到多种坐标系间的转化，包括世界坐标系O_W-X_WY_WZ_W、相机坐标系O_C-X_CY_CZ_C、图像物理坐标系O₁-xy和图像像素坐标系O₀-uv。可通过下式将世界坐标系坐标(x_c,y_c,z_c)转化为图像像素坐标(u,v)。

其中f_x、f_y分别为u、v方向上的像素焦距；M₁被称为相机内部参数矩阵，内部参数矩阵由相机的焦距、主点坐标等决定，并且其在相机生产时便已经确定；M₂被称为相机的外部参数矩阵，由相机在世界坐标系中的安装位置安装角度决定，在相机在车厢内安装后确定。

3.根据权利要求1所述的一种基于空间几何识别的货箱剩余体积的智能识别方法，其特征在于：相机的外部参数矩阵M₂由相机光心的世界坐标系坐标x_c0、y_c0、z_c0和相机的安装角度α、β、γ这六个参数所决定，由于摄像头的位置是被实时监控的，所以外部参数矩阵M₂也可以随时进行调整。考虑到安装在车厢顶端的摄像头可能由于车辆行驶颠簸，或者被触碰导致相机光心和安装角度发生变化，因此可以定期或者检测到车厢内没有货物时，拍摄车厢内图像提取特征点，对M₂进行重新计算，并且当检测发现相机光心和安装角度变化过大时，可发出通知要求重新安装固定摄像头。

4.根据权利要求1所述的一种基于空间几何识别的货箱剩余体积的智能识别方法，其特征在于：在拍摄图像进行校正后，校正图像被传输至远端服务器。在远端服务器内对接受的车厢内图像进行实例分割处理，识别出各货物所占区域与轮廓。