CN106767707B - 一种基于结构光的储物状态检测方法及*** - Google Patents

Abstract

一种基于结构光的储物状态检测方法及***，基于红外结构光源模块、图像采集模块、图像处理终端进行储物状态检测；所述红外结构光源模块和图像采集模块分别设置于储物格对面；图像处理终端与图像采集模块通信连接；红外结构光源模块向其对面的储物格发出红外光带；图像采集模块采集红外光源照射在储物柜上形成的红外图像并通过LIFI光源通信模块传输至图像处理终端；图像处理终端将接收到的图像与预先提取的各种状态下的储物标准图像作比较和匹配，判断储物状态。本发明采用结构光识别储物状态，降低了图像处理复杂度，同时基于LIFI技术传输图像，提高了通信可靠性，可以满足储物密集、摆放不规则的仓储站点进行储物状态检测的要求。

Description

一种基于结构光的储物状态检测方法及***

技术领域

本发明涉及自动检测技术领域，是一种基于结构光的储物状态检测方法及***。

背景技术

近年来，随着我国电子商务产业快速发展，储物状态检测也开始得到广泛应用和发展。储物状态检测是现代大型物流仓储站点的重要组成部分，在辅助站点掌握库存信息，包括储物位置和储物状态(包括储物数量、储物是否缺失、储物叠放是否平整等特征)，保证站点实现快速存取大量物料等方面起着重要作用。

传统的储物状态检测方法长期以来主要以人工检查为主。目前应用于物流行业的储物状态自动检测方法也主要是基于普通光源采集储物图像，再进行一些简单的图像处理，实现一定程度上的自动检测，在某些情形下能够替代人工检查。但在实际应用中，由于储物摆放密集，往往面临识别率低、识别速度慢、通信能力差、模块复杂等问题，难以满足实际应用的要求。

因此，有必要设计一种识别率高、速度快的储物状态检测方法及***。

发明内容

本发明所解决的技术问题是，针对现有技术的不足，提供一种基于结构光储物状态检测方法及***，识别率高、速度快。

本发明所采的技术方案为：

一种基于结构光的储物状态检测方法，基于红外结构光源模块、图像采集模块和图像处理终端；所述红外结构光源模块和图像采集模块分别设置于储物格对面；图像处理终端与图像采集模块通信连接；

检测方法包括以下步骤：

步骤1、拍摄准备；

所述红外结构光源模块中的红外光源向对面的储物格发出三道直线型的红外光带(波长都在1000nm至1080nm之间)；其中两道分别照射在对面的储物格的左竖梁和右竖梁上，形成定位结构光，剩余一道照射在对面的储物格中储物上；

步骤2、图像采集：

图像采集模块对准对面的储物格进行拍摄；采集红外光源照射在储物格上形成的红外图像；

步骤3、数据传输：

图像采集模块将红外图像传输至图像处理终端；

步骤4、图像处理：

所述图像处理终端将接收到的图像和预先提取的各种状态下的储物标准图像作比较和匹配，判断储物状态。

所述图像采集模块内置LIFI发射单元，所述图像处理终端与LIFI光源通信模块相连；图像采集模块位于LIFI光源通信模块接收范围内，LIFI发射单元与LIFI光源通信模块建立通信连接，并进行图像传输。

所述LIFI光源通信模块置于与各个储物格上方垂直距离为20厘米处且与接收范围内所有图像采集模块距离之和最短的位置，以保证信号的稳定性。

所述图像采集模块的安装位置对齐对面储物格的上梁，并与对面储物格的纵面形成30度至45度的拍摄角度；所述红外结构光源模块的安装位置对齐对面储物格的下梁，照射在储物上的红外光带与图像采集模块保持40-70度角，以提高关键特征采集效率。

所述图像采集模块采用红外高速摄像头，镜头内置950nm波长高通滤光片，与上述红外光源配合，滤除图像干扰信号，提高拍摄精度。

所述图像采集模块的拍摄动作由内部定时器触发。

所述图像采集的图像临时存储在图像采集模块内；但存储在图像采集模块内的图像超过其存储容量75％时，通过LIFI发射单元与LIFI光源通信模块批量传输至图像处理终端。

所述图像采集模块与其对面的储物格编号绑定，通过绑定的储物格编号确定所拍摄的图像对应的储物格。

所述图像采集模块在安装时写入其精确的经纬度信息；通过经纬度信息确定所拍摄的图像对应的储物位置信息。

所述图像比较和匹配包括以下步骤：将接收到的图像二值化，左竖梁、右竖梁和储物在光源照射下呈白色；通过图像中定位结构光形成的两道狭长而光滑的线条快速定位储物格的左竖梁和右竖梁，锁定储物格的内部区域；然后将储物格内部区域的图像与储物标准图像进行特征匹配。

当储物格的对面还设置有储物格时，将红外结构光源模块和图像采集模块分别设置在其对面的储物格的下梁和上梁内。所述LIFI光源通信模块置于两侧储物格上方垂直距离为20厘米处且与接收范围内所有图像采集模块距离之和最短的位置，以保证信号的稳定性。

对于对面不储物的储物架，在其对面置一面储物格墙用于放置图像采集模块和结构红外光源模块。

本发明中，储物格包括上梁、下梁、左竖梁、右竖梁和承物面；储物格内的储物与储物格不直接接触：与储物格的左竖梁和右竖梁均保持5-15cm间距，与上梁保持15-20cm间距，与下梁上的承物面之间由两条10cm高的枕木隔开，以方便图像特征识别和叉车取走储物。储物由硬纸箱包裹，形状规整。

在储物格内区域，由于储物摆放较规整且储物个数一般在10至20左右，个数变化会在采集的图像中产生明显的图像特征，通过特征匹配可以实现对储物状态(储物数量、储物是否缺失、储物叠放是否平整等)的判断。

一种基于结构光储物状态检测***，包括红外结构光源模块、图像采集模块和图像处理终端；所述红外结构光源模块和图像采集模块分别设置于储物格对面；图像处理终端与图像采集模块通信连接。

有益效果：

本发明采用红外结构光源模块产生定位结构光，采集图像，与一般检测方法采用的普通光源相比，可以直接在采集阶段就突出图像的关键特征，大大提高图像特征匹配速度，实现对密集储物状态的快速、准确检测；

本发明通过LIFI发射单元与LIFI光源通信模，将图像采集模块与图像处理终端之间的普通光源替换为LIFI光源，并确保图像采集模块位于LIFI光源通信模块接收范围内并能够建立稳定的数据传输通路。LIFI光源通信模块作为图像中转站将采集的图像转发给图像处理终端。相对于普通的无线通信模块，LIFI技术具有高速、稳定、密闭性好、结构简单等特点，在密闭性高、光源点多的仓储中具有明显的场景优势；同时降低了通信模块复杂度、提高了图像传输速度、可靠性和稳定性，使本方法更易于维护、推广和普及。

由于本发明大大降低图像处理复杂度，提高了通信可靠性，使得本发明可以用于储物摆放密集、不规则的仓储站点，扩大了适用范围；同时降低了模块复杂度，有利于现场人员维护，易于推广和普及。

附图说明

图1为本发明的结构原理图。

图2为本发明储物格结构原理图。

图3为储物完整时图像采集模块采集图像的二值图像。

图4为从图3中提取的储物格左(右)梁二值图像。

图5为从图3中提取的储物格内部区域二值图像。

图6为缺失一件储物时储物格内部区域二值图像。

图7为缺失所有储物时储物格内部区域二值图像。

附图标记说明：

图中：1为上梁，2为图像采集模块，3为储物，4为红外结构光源模块，5为右竖梁，6为LIFI光源通信模块，7为下梁，8为左竖梁，9为承物面；

具体实施方式

下面结合附图和实施例对本发明的进行详细的描述。

如图1和图2所示，本发明公开了一种基于结构光储物状态检测***，包括红外结构光源模块4、图像采集模块2和图像处理终端；所述红外结构光源模块4和图像采集模块2分别设置于储物格对面；图像处理终端与图像采集模块通信连接。

本发明还公开了一种基于结构光的储物状态检测方法，利用以上基于结构光储物状态检测***进行储物状态检测；

检测方法包括以下步骤：

步骤1、拍摄准备；

所述红外结构光源模块中的红外光源向对面的储物格发出三道直线型的红外光带(波长都在1000nm至1080nm之间)；其中两道分别照射在对面的储物格的左竖梁8和右竖梁5上，形成定位结构光，剩余一道照射在对面的储物格中储物3上；

步骤2、图像采集：

图像采集模块对准对面的储物格进行拍摄；采集红外光源照射在储物格上形成的红外图像；

步骤3、数据传输：

图像采集模块将红外图像传输至图像处理终端；

步骤4、图像处理：

所述图像处理终端将接收到的图像和预先提取的各种状态下的储物标准图像作比较和匹配，判断储物状态。

所述图像采集模块内置LIFI发射单元，所述图像处理终端与LIFI光源通信模块相连；图像采集模块位于LIFI光源通信模块接收范围内，LIFI发射单元与LIFI光源通信模块建立通信连接，并进行图像传输。

所述LIFI光源通信模块6置于与各个储物格上方垂直距离为20厘米处且与接收范围内所有图像采集模块距离之和最短的位置，以保证信号的稳定性。

所述图像采集模块的安装位置对齐对面储物格的上梁，并与对面储物格的纵面形成30度至45度的拍摄角度；所述红外结构光源模块的安装位置对齐对面储物格的下梁，照射在储物上的红外光带与图像采集模块保持40-70度角，以提高关键特征采集效率。

所述图像采集模块采用红外高速摄像头，镜头内置950nm波长高通滤光片，与上述红外光源配合，滤除图像干扰信号，提高拍摄精度。

所述图像采集模块的拍摄动作由内部定时器触发。

所述图像采集的图像临时存储在图像采集模块内；但存储在图像采集模块内的图像超过其存储容量75％时，通过LIFI发射单元与LIFI光源通信模块批量传输至图像处理终端。

所述图像采集模块与其对面的储物格编号绑定，通过绑定的储物格编号确定所拍摄的图像对应的储物格。

所述图像采集模块在安装时写入其精确的经纬度信息；通过经纬度信息确定所拍摄的图像对应的储物位置信息。

所述图像比较和匹配包括以下步骤：将接收到的图像二值化，左竖梁、右竖梁和储物在光源照射下呈白色；通过图像中定位结构光形成的两道狭长而光滑的线条快速定位储物格的左竖梁和右竖梁，锁定储物格的内部区域；然后将储物格内部区域的图像与储物标准图像进行特征匹配。

当储物格的对面还设置有储物格时，将红外结构光源模块和图像采集模块分别设置在其对面的储物格的下梁和上梁内。所述LIFI光源通信模块置于两侧储物格上方垂直距离为20厘米处且与接收范围内所有图像采集模块距离之和最短的位置，以保证信号的稳定性。

对于对面不储物的储物架，在其对面置一面储物格墙用于放置图像采集模块和结构红外光源模块。

如图7所示，本发明中储物格包括上梁1、下梁7、左竖梁8、右竖梁5和承物面9；储物格内的储物与储物格不直接接触：与储物格的左竖梁和右竖梁均保持5-15cm间距，与上梁保持15-20cm间距，与下梁上的承物面之间由两条10cm高的枕木隔开，以方便图像特征识别和叉车取走储物。储物由硬纸箱包裹，形状规整。

在储物格内区域，由于储物摆放较规整且储物个数一般在10至20左右，个数变化会在采集的图像中产生明显的图像特征，通过特征匹配可以实现对储物状态(储物数量、储物是否缺失、储物叠放是否平整等)的判断。

实验采集得到的储物格图像：

如图3所示为储物完整时图像采集模块采集图像的二值化图像，图中白色部分为三道红外结构光照射时形成。处理时同时截取左右梁区域图3，从而确定储物格内部区域图4。

如图4所示为从图2中截取的储物格左(右)梁图像(在图1中沿着竖直方向扫描得到两条满足长度要求的直线连通域，并记录其水平位置)，依据左右梁图像的水平位置截取其之间的区域即为储物格内部区域图像。

如图5所示为从图2中提取的储物格内部区域图像,提取其图像特征，将该特征与预先提取的各种状态下的储物特征进行对比，找出特征相似度最高的标准图像特征，则该标准图像特征所绑定的储物状态类型即为当前所拍摄储物的真实类型。

如图6所示为缺失一件储物时储物格内部区域二值图像，如图7所示为缺失所有储物时储物格内部区域二值图像，与图5相比，有明显差异，且计算量小，可以实现快速、准确地进行特征匹配，检测储物状态。

Claims (6)

1.一种基于结构光的储物状态检测方法，其特征在于，基于红外结构光源模块、图像采集模块、图像处理终端进行储物状态检测；所述红外结构光源模块和图像采集模块分别设置于储物格对面；图像处理终端与图像采集模块通信连接；

所述图像采集模块内置LIFI发射单元，所述图像处理终端与LIFI光源通信模块相连；图像采集模块位于LIFI光源通信模块接收范围内，LIFI发射单元与LIFI光源通信模块建立通信连接，并进行图像传输；LIFI光源通信模块置于两侧储物格上方垂直距离为20厘米处且与接收范围内所有图像采集模块距离之和最短的位置；

所述图像采集模块的安装位置对齐对面储物格的上梁，并与对面储物格的纵面形成30度至45度的拍摄角度；所述红外结构光源模块的安装位置对齐对面储物格的下梁，照射在储物上的红外光带与图像采集模块保持40-70度角；

检测方法包括以下步骤：

步骤1、拍摄准备；

所述红外结构光源模块中的红外光源向对面的储物格发出三道直线型的红外光带；其中两道分别照射在对面的储物格的左竖梁和右竖梁上，形成定位结构光，剩余一道照射在对面的储物格中储物上；

步骤2、图像采集：

图像采集模块对准对面的储物格进行拍摄，采集红外光源照射在储物格上形成的红外图像；所述图像采集模块的拍摄动作由内部定时器触发；

步骤3、数据传输：

采集的图像临时存储在图像采集模块内；当存储在图像采集模块内的图像超过其存储容量75％时，通过LIFI发射单元与LIFI光源通信模块批量传输至图像处理终端；

步骤4、图像处理：

所述图像处理终端将接收到的图像和预先提取的各种状态下的储物标准图像作比较和匹配，判断储物状态。

2.根据权利要求1所述的基于结构光的储物状态检测方法，其特征在于，所述图像采集模块采用红外高速摄像头，镜头内置950nm波长高通滤光片。

3.根据权利要求1所述的基于结构光的储物状态检测方法，其特征在于，所述图像采集模块与其对面的储物格编号绑定，通过绑定的储物格编号确定所拍摄的图像对应的储物格。

4.根据权利要求1所述的基于结构光的储物状态检测方法，其特征在于，所述图像采集模块在安装时写入其精确的经纬度信息；通过经纬度信息确定所拍摄的图像对应的储物位置信息。

5.根据权利要求1～4中任一项所述的基于结构光的储物状态检测方法，其特征在于，所述图像比较和匹配包括以下步骤：将接收到的图像二值化；通过图像中定位结构光形成的两道狭长而光滑的线条快速定位储物格的左竖梁和右竖梁，锁定储物格的内部区域；然后将储物格内部区域的图像与储物标准图像进行特征匹配。

6.一种基于结构光的储物状态检测***，其特征在于，包括红外结构光源模块、图像采集模块和图像处理终端；所述红外结构光源模块和图像采集模块分别设置于储物格对面；图像处理终端与图像采集模块通信连接；

所述图像采集模块内置LIFI发射单元，所述图像处理终端与LIFI光源通信模块相连；图像采集模块位于LIFI光源通信模块接收范围内，LIFI发射单元与LIFI光源通信模块建立通信连接，并进行图像传输；

***采用权利要求1～5中任一项所述的方法进行储物状态检测。