CN109712315B - 一种基于双摄像头的自动售卖机货物掉落检测方法 - Google Patents

Abstract

本发明公开了一种基于双摄像头的自动售卖机货物掉落检测方法，检测步骤为：(一)当机具检测到用户支付完成，云台上升到货物所在层停止，此时，启动云台两侧摄像头抓拍；(二)启动机具本地的图像处理模块处理抓拍图像，首先根据预先测定的云台侧板黑白棋盘格位置，裁剪抓拍图像，去除无关区域，然后，对裁剪图片做灰度化处理，最后，使用sobel边缘检测算子对其进行边缘检测，生成边缘图像，并将边缘图像作为背景图保存；(三)背景拍摄完毕后，启动货道传送带，同时启动云台两边摄像头拍摄云台状态；(四)停止传送带，关闭摄像头；本发明可以检测较小货品、扁平货品，检测透明物体，有效避免了环境光对货物检测的影响。

Description

一种基于双摄像头的自动售卖机货物掉落检测方法

技术领域

本发明涉及一种自动售卖机的货物掉落检测方法，特别是涉及基于双摄像头的自动售卖机货物掉落检测方法。

背景技术

自动售卖机具有布放简单、场地要求低、节约人工成本的特点，正逐渐成为新零售行业的主流。

自动售卖机的出货由机具控制，货物是否成功掉落将直接影响商家利益和用户体验，因此，货物掉落检测是自动售卖机要解决的一个十分重要的问题。

传统的货物掉落检测方法一般分为三种：第一种是红外线光栅方法，该方法在货物云台两端分别加装红外线的发射和接收装置，形成红外线光栅，当有货品掉落到云台时，会对红外线形成遮挡，***根据遮挡程度确定货物是否掉落，该方法的缺点是：(1)红外线感应器之间存在间隔，无法检测细长物体；(2)红外线感应器只能检测光栅平面上的物体，如果货物扁平(如口香糖)，处于检测平面之下，则无法检测；(3)对于透明货品(如玻璃杯子)，无法对红外线形成有效遮挡，难以检测。

第二种是云台称重方法，该方法在云台上加装称重装置，通过检测云台重量变化来确定是否有货物掉落，该方法存在的问题是：称重灵敏度难以控制，如果灵敏度过高，容易造成误判；如果灵敏度过低，则无法检测重量较轻的货物。

第三种是图片对比方法，该方法首先预先拍摄空置云台，形成标准图片，然后在货物掉落期间对云台进行抓拍，最后对比抓拍图片与标准图片的差异，据此判断货物是否掉落，该方法存在的问题是：(1)该专利使用预设标准图片，对采用透明面板的自动售卖机，由于受外部光照的影响，不同时间段，不同天气所拍摄的标准图片往往差别很大，如果货品下落拍摄的图片和预设图片的光照环境不一致，很容易造成误判；(2)该专利提出将摄像头安装在售卖机顶部，当位于底层货道的商品出货时，由于拍摄距离较远，因此拍摄到的物体所较小，除非采用高清摄像头，否则难以分辨；(3)自动售卖机采用预设时间控制传送带(弹簧)出货的方式；由于传送带(弹簧)出货存在空程，特别是多次出货之后，空程累积会增多，出货时间很难确定；如果预设时间过长，则容易造成多出货，给商家造成损失；如果预设时间过短，则会造成出货失败。

发明内容

针对上述存在的技术问题，本发明的目的是：提出了一种基于双摄像头的自动售卖机货物掉落检测方法。

本发明的技术解决方案是这样实现的：一种基于双摄像头的自动售卖机货物掉落检测方法,包括带云台的自动售卖机；所述自动售卖机的云台两侧挡板分别加装摄像头；所述摄像头对角放置；所述云台两侧挡板粘贴绘制有黑白棋盘格的贴纸；检测步骤为：

(一)当机具检测到用户支付完成，云台上升到货物所在层停止，此时，启动云台两侧摄像头抓拍；

(二)启动机具本地的图像处理模块处理抓拍图像，首先根据预先测定的云台侧板黑白棋盘格位置，裁剪抓拍图像，去除无关区域，然后，对裁剪图片做灰度化处理，最后，使用sobel边缘检测算子对其进行边缘检测，生成边缘图像，并将边缘图像作为背景图保存；

(三)背景拍摄完毕后，启动货道传送带，同时启动云台两边摄像头拍摄云台状态；启动自动售卖机的图像处理模块处理拍摄视频的每一帧，并与背景图比对，计算差异，然后根据差异判断货物是否成功掉落，其具体步骤是：

第一步，采用步骤(二)的方法对视频帧做预处理，形成边缘图像；

第二步，将边缘图像与背景图像做差，形成差分图像；

第三步，对差异图像做二值化阈值分割；

第四步，对阈值分割后的图像做形态学变换，先进行膨胀处理，后进行腐蚀处理；

第五步，寻找图像轮廓，并且使用矩形框标记；

第六步，去除面积小于预设阈值的矩形框，计算剩余矩形框的面积总和，并计算面积占比；

第七步，使用基于时间的滑动平均法修正面积占比；

第八步，判断修正后的面积占比是否大于预设阈值，如果大于，则认为货物已掉落，结束；否则，返回第一步；

(四)停止传送带，关闭摄像头。

由于上述技术方案的运用，本发明与现有技术相比具有下列优点：

本发明的一种基于双摄像头的自动售卖机货物掉落检测方法，(1)该发明在云台两侧分别安装摄像头，且按对角线放置，相对于顶部安置的摄像头，可避免拍摄货品较小的问题，此外，摄像头相对于红外线光栅，不存在感应器间隔，可以检测较小货品、扁平货品。

(2)该发明在云台侧板粘贴黑白棋盘格贴纸，当透明货品(如玻璃制品)落入云台时，由于光线折射，摄像头会检测到黑白棋盘格的形变，从而检测到透明物体。

(3)该发明使用二值化阈值分割和边缘检测算法处理黑白格贴纸，形成背景图像，由于黑色和白色反差巨大，即使光照发生变化，该发明形成的背景图也几乎不变，有效避免了环境光对货物检测的影响。

(4)该发明使用视频对货物进行检测，而非抓拍图像，可实时控制货道传送带(弹簧)的运作，无需事先设定传送带(弹簧)运作时间。

(5)该发明在计算货品比例时使用了时间平滑(滑动平均)方法，能有效避免图像突变(云台晃动、摄像头震动)造成的误判。

(6)该发明每次出货之前拍摄背景图，无需预设背景图，可避免不同时间、不同天气环境下的光照变化造成的影响。

附图说明

下面结合附图对本发明技术方案作进一步说明：

附图1为本发明的一种基于双摄像头的自动售卖机货物掉落检测方法的流程图。

具体实施方式

下面结合附图来说明本发明。

如附图1所示为本发明所述的一种基于双摄像头的自动售卖机货物掉落检测方法,包括带云台的自动售卖机；所述自动售卖机的云台两侧挡板分别加装摄像头；所述摄像头对角放置；所述云台两侧挡板粘贴绘制有黑白棋盘格的贴纸；检测步骤为：

(一)当机具检测到用户支付完成，云台上升到货物所在层停止，此时，启动云台两侧摄像头抓拍；

(二)启动机具本地的图像处理模块处理抓拍图像，首先根据预先测定的云台侧板黑白棋盘格位置，裁剪抓拍图像，去除无关区域，然后，对裁剪图片做灰度化处理，最后，使用sobel边缘检测算子对其进行边缘检测，生成边缘图像，并将边缘图像作为背景图保存；

(三)背景拍摄完毕后，启动货道传送带，同时启动云台两边摄像头拍摄云台状态；启动自动售卖机的图像处理模块处理拍摄视频的每一帧，并与背景图比对，计算差异，然后根据差异判断货物是否成功掉落，其具体步骤是：

第一步，采用步骤(二)的方法对视频帧做预处理，形成边缘图像；

第二步，将边缘图像与背景图像做差，形成差分图像；

第三步，对差异图像做二值化阈值分割；

第四步，对阈值分割后的图像做形态学变换，先进行膨胀处理，后进行腐蚀处理；

第五步，寻找图像轮廓，并且使用矩形框标记；

第六步，去除面积小于预设阈值的矩形框，计算剩余矩形框的面积总和，并计算面积占比；

第七步，使用基于时间的滑动平均法修正面积占比；

第八步，判断修正后的面积占比是否大于预设阈值，如果大于，则认为货物已掉落，结束；否则，返回第一步；

(四)停止传送带，关闭摄像头。

具体实施时，机具货物云台的两边侧板分别安装摄像头，按照对角线位置放置，一个摄像头位于左边侧板，靠近云台前面边缘，另一个位于右边侧板，靠近云台后面边缘，两个摄像头位于同一高度，摄像头水平中心位于侧板高度中心偏下位置，摄像头底座与云台底座平齐。

左右两侧挡板分别粘贴黑白棋盘格贴纸，将挡板范围全部覆盖(除摄像头所在位置)，该贴纸作为检测靶标。

云台表面做哑光处理，减少货物影子或者反光造成的影响。

本发明的实施可分为以下几个步骤：

S1，用户支付完成后，云台上升到货物所在层停止，准备出货；此时，启动云台两侧摄像头抓拍，生成图像M1、M2，M1对应左侧摄像头，M2对应右侧摄像头；要求图像格式为RGB彩色图像，或者灰度图像，其他形式需进行转换。

S2，对M1、M2进行预处理，形成与光照无关的背景图B1、B2。其处理步骤是：

(S2.1)根据预先测定的云台侧板黑白棋盘格位置，裁剪M1、M2，去除无关区域，得到图像C1、C2。

(S2.2)如果图像格式为RGB彩色图像，需要对C1、C2做灰度化处理，得到灰度图像G1、G2。

(S2.3)使用sobel算子对G1、G2进行边缘检测，生成边缘图像B1、B2。具体实施时，sobel算子采用3*3的内核，分别对x方向和y方向进行求导，然后将两个方向的结果进行叠加。

(S2.4)将B1、B2作为背景图保存。

S3，启动货道传送带(弹簧)，同时启动云台两边摄像头拍摄云台状态。

S4，双摄像头拍摄的每一帧F1、F2与背景图B1、B2进行比对，计算差异，然后根据差异判断货物是否成功掉落。其具体步骤是：

(S4.1)设定掉落判定阈值为T1，矩形面积阈值为T2，平滑因子为α，平均面积占比为

具体实施时，T1的值预设为0.2，阈值T2预设为200，平滑因子为α设为0.9，平均面积占比

设为0，具体数值可根据实际情况进行调整。

(S4.2)抽取视频中的一帧F1、F2，采用步骤(2.1)-(2.4)的方法进行预处理，形成边缘图像F,1、F,2。

(S4.3)将F,1、F,2与B1、B2分别做差，形成差分图像D1、D2，其计算公式为：D_i(x,y)＝|F_i,(x,y)-B_i(x,y)|

其中，D_i(x,y)、F_i,(x,y)和B_i(x,y)分别代表第i个差分图、视频帧和背景图像中x行y列的像素值。

(S4.4)对D1、D2进行二值化阈值分割，生成图像I1、I2。分割阈值预设为100，可根据实际光照情况进行调整。

(S4.5)对I1、I2进行图像形态学变换，先进行膨胀操作，后进行腐蚀操作，形成图像K1、K2。膨胀、腐蚀均采用大小为9*9的圆形内核，各迭代2次。

(S4.6)在K1、K2中寻找轮廓点，并标记轮廓外部矩形边界，形成矩形边界集合R1、R2。

(S4.7)计算矩形边界所围成矩形的面积，去除面积小于T2的矩形框，得到新的矩形边界集合R’1、R’2。

(S4.8)分别计算R’1、R’2中所有矩形边界所组成的矩形面积之和S1、S2，并计算面积相对于图像的占比r1、r2。

(S4.9)使用滑动平均法修正平均面积占比

其公式为：

(S4.10)判断

是否有任何一个大于T1，如果是，则认为货物已掉落，检测结束；否则，返回步骤(S4.2)。

S5，停止传送带(弹簧)，关闭摄像头。

本发明的一种基于双摄像头的自动售卖机货物掉落检测方法，(1)该发明在云台两侧分别安装摄像头，且按对角线放置，相对于顶部安置的摄像头，可避免拍摄货品较小的问题，此外，摄像头相对于红外线光栅，不存在感应器间隔，可以检测较小货品、扁平货品。

(2)该发明在云台侧板粘贴黑白棋盘格贴纸，当透明货品(如玻璃制品)落入云台时，由于光线折射，摄像头会检测到黑白棋盘格的形变，从而检测到透明物体。

(3)该发明使用二值化阈值分割和边缘检测算法处理黑白格贴纸，形成背景图像，由于黑色和白色反差巨大，即使光照发生变化，该发明形成的背景图也几乎不变，有效避免了环境光对货物检测的影响。

(4)该发明使用视频对货物进行检测，而非抓拍图像，可实时控制货道传送带(弹簧)的运作，无需事先设定传送带(弹簧)运作时间。

(5)该发明在计算货品比例时使用了时间平滑(滑动平均)方法，能有效避免图像突变(云台晃动、摄像头震动)造成的误判。

(6)该发明每次出货之前拍摄背景图，无需预设背景图，可避免不同时间、不同天气环境下的光照变化造成的影响。

上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围内。

Claims (1)

1.一种基于双摄像头的自动售卖机货物掉落检测方法,其特征在于：包括带云台的自动售卖机；所述自动售卖机的云台两侧挡板分别加装摄像头；所述摄像头对角放置；所述云台两侧挡板粘贴绘制有黑白棋盘格的贴纸；检测步骤为：

(一)当机具检测到用户支付完成，云台上升到货物所在层停止，此时，启动云台两侧摄像头抓拍；

(二)启动机具本地的图像处理模块处理抓拍图像，首先根据预先测定的云台侧板黑白棋盘格位置，裁剪抓拍图像，去除无关区域，然后，对裁剪图片做灰度化处理，最后，使用sobel边缘检测算子对其进行边缘检测，生成边缘图像，并将边缘图像作为背景图保存；

(三)背景拍摄完毕后，启动货道传送带，同时启动云台两边摄像头拍摄云台状态；启动自动售卖机的图像处理模块处理拍摄视频的每一帧，并与背景图比对，计算差异，然后根据差异判断货物是否成功掉落，其具体步骤是：

第一步，采用步骤(二)的方法对视频帧做预处理，形成边缘图像；

第二步，将边缘图像与背景图像做差，形成差分图像；

第三步，对差异图像做二值化阈值分割；

第四步，对阈值分割后的图像做形态学变换，先进行膨胀处理，后进行腐蚀处理；

第五步，寻找图像轮廓，并且使用矩形框标记；

第六步，去除面积小于预设阈值的矩形框，计算剩余矩形框的面积总和，并计算面积占比；

第七步，使用基于时间的滑动平均法修正面积占比；

第八步，判断修正后的面积占比是否大于预设阈值，如果大于，则认为货物已掉落，结束；否则，返回第一步；

(四)停止传送带，关闭摄像头。

Images