CN109977714A - 一种仓储货物多qr码一体化视觉定位方法 - Google Patents

Abstract

本发明公开了一种仓储货物多QR码一体化视觉定位方法，涉及图像检测领域，更具体地，涉及一种多QR码一体化视觉定位的方法。本发明解决由于QR码所处环境复杂以及多角度拍摄等因素导致现有检测方法无法精准定位QR码的技术问题。本发明首先对图像进行滤波，转灰度图，二值化等预处理操作，然后根据二值图像中的闭合轮廓信息粗略定位出位置探测图形的位置，根据同一个QR码中3个位置探测图形在图像中所呈现的面积相似的特点对位置探测图形进行精定位，进而最终定位出QR码。该方法能在复杂的环境中从多个拍摄角度精准地定位出场景中的多个二维码，具有较强的鲁棒性，在实际使用中具有很好的表现。

Description

一种仓储货物多QR码一体化视觉定位方法

技术领域

本发明涉及图像检测领域，更具体地，涉及一种仓储货物多QR码一体化视觉定位方法。

背景技术

二维码又称二维条码，是近几年来移动设备上非常流行的一种编码方式。它用某种特定的几何图形按一定规律在平面（二维方向上）分布的黑白相间的图形记录数据符号信息。二维码有很多的种类，其中最常见的就是QR码，它的全名是Quick Response Code（快速反应码）。QR码与其他二维码相比，具有存储容量大，识别率高等优点。

目前QR码在仓储物流行业中的应用越来越广泛，通过一体化视觉采集二维码对货架上的多件货物进行盘点与信息录入，可以大大提高仓储行业的工作效率。这就需要实现复杂背景下多个QR码的一体化视觉定位与识别。目前的QR码检测方法中，大多通过位置探测图形特征进行定位，一个QR码的位置探测图形有三个，分别位于QR码的左上角、左下角以及右下角。为方便叙述，下文将简称其为定位图形。现有方法通常利用QR码定位图形所具有的黑白相间1:1:3:1:1的比例关系进行检测，但由于实际拍摄难免掺杂干扰，使得该比例特征并不容易被完全检测到，进而影响QR码的检测效果。

公开（公告）号为CN 106991354 A的中国发明专利申请《一种多QR码同时提取检测算法》从另一个角度提出了对多QR码的提取算法，摒弃了上述比例特征，简要描述如下：先通过定位图形特殊的轮廓包含关系检测出多个定位图形，分别计算其中心点位置，再根据定位图形中心点之间的距离是否满足直角三角形的特征来判断哪一些定位图形（区域）属于同一个二维码，并最终定位提取出多个QR码。然而，在仓库货架等实际应用场景中，视觉采集的二维码周围背景通常较复杂，一些非定位图形的区域可能也具有上述特殊的轮廓包含关系，若将其误认为是定位图形，无疑会影响后续的处理效果。进一步，在实际应用中，拍摄角度也很难保证与拍摄物垂直，这将导致二维码在图中所呈现出的形状具有一定的畸变。因此，传统方法和上述专利申请中基于直角三角形的判断方法也就不再适用。

发明内容

本发明的目的在于针对已有技术的不足提供一种仓储货物多QR码一体化视觉定位方法，该方法不仅能够解决仓储货架复杂环境下处于多个仓储货箱表面上的多个QR码的定位问题，还适用于拍摄角度与拍摄物不垂直的情况。

为达到上述目的，本发明的技术方案为通过图像处理算法，进行如下步骤的图像处理过程：

S1：图像预处理：对包含多个二维码的原图像进行灰度化与滤波操作，得到灰度图像，再对灰度图像进行阈值分割，得到整张二值图像。

以下步骤S2与S3并行处理，不分先后。

S2.1：边缘检测：对整张二值图像进行边缘检测，得到图像中的所有闭合轮廓（总称为I）。

S2.2：层级树形结构的建立：根据闭合轮廓Ⅰ相互间的包含关系，建立层级树形结构，结构中每一个节点表示一个轮廓。

对于图像中的多个闭合轮廓，必定存在一个轮廓内部包围着其他轮廓的情况。于是本发明将图像中没有被包围的闭合轮廓作为层级结构的最高层节点，将被它们直接包围的闭合轮廓作为次高层，以此类推，直到将内部没有任何轮廓的闭合轮廓作为最底层，完成层级树形结构的建立。

S2.3：定位图形粗定位的筛选：在闭合轮廓Ⅰ的层级树形结构中，根据定位图形特殊的3层轮廓包含关系，初步筛选出满足此关系的轮廓；计算这些轮廓各自的中心点，将中心点位于其内部的轮廓作为定位图形的粗定位。

由于定位图形的轮廓属于凸多边形，其中心点必位于其内部。若计算出的某个中心点位置不在其对应的定位图形粗定位轮廓内，则表示此粗定位轮廓并非凸多边形，更不可能是定位图形的轮廓，即可将此粗定位剔除。

S3.1：形态学处理：对S1中得到的整张二值图像进行形态学开运算操作，得到具有多个连通域的二值图像。

S3.2：边缘检测：对开运算结果图进行边缘检测，得到图像中的所有闭合轮廓（总称为II）。

S3.3：层级树形结构的建立：根据闭合轮廓II相互间的包含关系，建立层级树形结构。

S3.4：QR码候选区域的生成：将轮廓II的树形结构各分支最底层的不同轮廓内部赋予不同的灰度值，以示区分。将所形成的各个区域作为QR码候选区域，所得到的图像称之为QR码候选区域图像。

由于本发明所针对的是货架中货物上的二维码，其在所拍摄的图中所呈现的面积比较小，所以经过开运算操作后，一个二维码内部会被完全填充。边缘检测之后，对于这些二维码所检测出的闭合轮廓，其内部也不会存在其他轮廓，所以处于层级树形结构各分支的最底层。

基于以上分析，此步骤可找出闭合轮廓II的层级结构各分支最底层的轮廓，将它们内部赋上不同的灰度值，形成多个灰度值互不相同的区域，即QR码候选区域。

S4：粗定位与QR码候选区域的匹配：对于各个定位图形粗定位，根据其中心点在QR码候选区域图像上的灰度值，分成不同的组别，以代表其属于哪一个候选区域。

由于一个QR码具有三个定位图形，所以在提取到定位图形粗定位后，需要得知哪些粗定位属于同一个QR码。若单个QR码图案处于一个平面上时，从同一个角度观察，此QR码上的三个定位图形中心点仍处于此QR码之内。

基于以上分析，本步骤对各个粗定位中心点在QR码候选区域图像上的灰度值进行分析：若某一些中心点位置的灰度值相同，则将它们对应的粗定位划分进同一个组别，表示它们属于同一个候选区域。这种方法与利用直角三角形特征的方法相比，更能胜任拍摄角度与拍摄物不垂直的实际情况。

S5：定位图形精定位的筛选：对于其中粗定位个数大于1的QR码候选区域，计算每个粗定位所包围的面积，并根据同一个QR码的定位图形面积相似的特点，进行定位图形精定位的筛选。

由于QR码一般都处在一个平面上，所以不论从哪个角度进行拍摄，在所得到的图像中，同一个QR码中的三个定位图形所呈现出来的面积都相差不多。即使因为周围环境复杂等因素所导致的定位图形粗定位有误定位，即将非定位图形的图案也判定为定位图形，那些被误检的定位图形所包围的面积也不会呈现出相似的特点。

基于以上分析，本步骤在对粗定位进行组别划分的基础上，比较同一组中每个粗定位包围的面积，将面积相差比例不超过一定阈值的粗定位保留下来，作为定位图形的精定位。

S6：QR码的最终定位：将精定位所在的候选区域轮廓的凸包作为QR码的最终定位。

与现有技术相比，本发明具有如下显而易见的突出实质性特点和显著技术进步：本发明在复杂环境下依然能够保持较好的检测鲁棒性，并在拍摄角度不与拍摄物垂直时也能精准地定位出图像中的多个QR码，具有很好的实用价值。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细说明。

图1是本发明进行定位QR码的具体流程图。

图2是本发明实施例中待处理的包含多QR码的原图像。

图3是本发明实施例中原图的灰度图像。

图4是本发明实施例中的二值图像。

图5是本发明所利用的闭合轮廓层级树形结构的样例展示图。

图6是本发明实施例中对二值图像进行开运算后的效果图。

图7是本发明实施例中对二值图像进行边缘检测后的闭合轮廓图。

图8是本发明所利用的定位图形特殊的3层轮廓包含关系示意图。

图9是本发明实施例中闭合轮廓图（图7）左上角放大图。

图10是本发明实施例中对定位图形粗定位进行筛选的效果图。

图11是本发明实施例中所构成的QR码候选区域图像。

图12是本发明实施例中定位图形粗定位效果图（图10）的部分放大图。

图13是本发明实施例中定位图形的精定位图像。

图14是本发明实施例的最终多QR码精准定位图。

图15是本发明从正前方拍摄图像的QR码定位图。

图16是本发明从右上方拍摄图像的QR码定位图。

图17是本发明从左上方拍摄图像的QR码定位图。

具体实施方式

下面结合附图和优选实施例，对本发明作进一步详细说明，但本发明的保护范围并不限于以下具体实施例。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

除非另有定义,下文中所使用的所有专业术语与本领域技术人员通常理解含义相同。本文中所使用的专业术语只是为了描述具体实施例的目的,并不是旨在限制本发明的保护范围。

实施例一：参见图1至图17，本仓储货物多QR码一体化视觉定位方法，其特征在于操作步骤如下：

S1：预处理：获得整张二值图像；

S2.1：对整张二值图进行边缘检测，获取闭合轮廓(总称为I)；

S2.2：闭合轮廓I的层级树形结构建立：根据其相互间的包含关系；

S2.3：位置探测图形粗定位的筛选：根据其特殊的3层轮廓包含关系以及中心点是否在轮廓内部进行筛选；

S3.1：形态学处理：对整张二值图进行开运算，形成多个连通域；

S3.2：对开运算结果图进行边缘检测，获取闭合轮廓(总称为II)；

S3.3：闭合轮廓II的层级树形结构建立：根据其相互间的包含关系；

S3.4：QR码候选区域的生成：将轮廓II的树形结构各分支最底层的不同轮廓内部赋予不同的灰度值，以示区分；

S4：粗定位与QR码候选区域的匹配：根据各粗定位中心点的灰度值；

S5：位置探测图形精定位的筛选：根据同一个QR码上的位置探测图形面积相似的特点；

S6：QR码最终定位：精定位所在的QR码候选区域轮廓的凸包。

实施例二：本实施例与实施例一基本相同，特别之处如下：

所述大步骤S2—即S2.1至S2.3与大步骤S3—即S3.1至S3.4，并行处理，不分先后。

所述步骤S3.4还包括：

1)找出闭合轮廓II层级树形结构中各分支最底层的所有轮廓；

2)将这些轮廓内部赋予不同的灰度值，以示区分，所赋灰度值从0开始逐一递增。

所述步骤S4还包括：

1)对于筛选出的位置探测图形粗定位，计算其各自的中心点位置；

2)对于每一个粗定位中心点位置，取其在QR码候选区域中的灰度值；

3)若某些中心点位置上的灰度值相同，则将其划分进同一组别，完成与对应QR码候选区域的匹配。

所述步骤S5还包括：

1)对于每一个QR码候选区域，若其中匹配到的粗定位个数大于1，则保留，否则舍弃；

2)对于保留的QR码候选区域，计算其中每个粗定位轮廓所包围的面积；

3)若某个QR码候选区域中存在面积相差不超过20%的粗定位轮廓，则将这些粗定位筛选为精定位。

所述步骤S6还包括：

1)找出所有内部存在位置探测图形精定位的QR码候选区域；

2)计算这些QR码候选区域的凸包，并将这些凸包作为QR码的最终定位结果。

实施例三：

本实施例的具体流程图如图1所示。

本实施例将以图2所示的分辨率为1916*894，模拟仓库货架实际场景的图像为例，详细描述运用本发明所提供的技术方案，检测出其中处于仓储货箱上的多个QR码的过程，包括以下步骤：

S1：将照相机或其他图像采集设备所采集到原图像读入程序，本实施例以图2所示的原图像为例。对原图进行高斯滤波与转灰度图操作，得到如图3所示的灰度图。对灰度图进行阈值分割，分割的阈值采用自适应阈值分割的方法确定，得到如图4所示的二值图像。

以下步骤S2与S3并行处理，不分先后。

S2.1：对二值图像进行边缘检测操作，获取其黑色像素和白色像素的分界线，即整幅图像的闭合轮廓Ⅰ，获取的结果如图7所示。

S2.2：在检测到边缘的同时，获取到闭合轮廓之间的包含关系，根据此包含关系建立闭合轮廓Ⅰ的层级树形结构。

为详尽说明，以图5所示的轮廓为例。图中，黑色封闭的线即表示轮廓，对于图中的4条黑色封闭线，即4条轮廓，标有1至4的编号以相互区别。对于轮廓1，其内部直接包含着轮廓2和轮廓3。而轮廓2和轮廓3各自包围的区域并无交集，则视轮廓2和轮廓3为并列关系。在轮廓3的内部，还包含着轮廓4。上述4个轮廓之间的包含关系可用图5右侧的层级树形结构所表示，其中轮廓2和轮廓4就是它们各自所在的分支中最底层的轮廓。

上述图5中的轮廓包含关系的例子详尽地说明了闭合轮廓层级树形结构构成的原理。

QR码中的定位图形具有特殊的3层轮廓包含关系。如图8所示，图中3条封闭白色线条是定位图形中黑色像素和白色像素之间的轮廓。这3条轮廓满足如下特殊3层轮廓包含关系：最外层一条轮廓中包含且仅包含另一条轮廓，而在其中，也包含且仅包含第3条轮廓，在第3条轮廓内部不存在任何轮廓。

S2.3：在闭合轮廓Ⅰ的层级树形结构中，查找满足定位图形特殊3层轮廓包含关系的轮廓：从最上层轮廓开始，沿着各分支向最底层轮廓逐一进行判断，判断每一个轮廓A内部是否有且仅有一个被该轮廓包围的其他轮廓B，将满足该条件的轮廓A及其内部的轮廓B分别记录下来，若后续对轮廓B进行上述判断时，亦满足该条件，而且对于轮廓B内部的轮廓C，其内部已没有任何轮廓，则将轮廓A提取出来，判断其中心点是否在其内部，若在其内部，则将其作为定位图形的粗定位。对图7进行上述操作的效果如图10所示。

为更详尽地说明，以图7左上角的放大图图9为例。图中存在已标注序号的闭合轮廓1至3，由于轮廓1在建立的轮廓层级树形结构中处于另外2条轮廓的上层，所以首先对轮廓1进行判断，判断出其中确实有且仅有一条轮廓，即轮廓2，于是将轮廓1和轮廓2分别记录下来，并继续对其他轮廓进行判断。当判断至轮廓2时，发现其内部也有且仅有一条轮廓，即轮廓3，而且对于轮廓3，发现其内部已不存在任何轮廓。于是将轮廓1提取出来，计算其中心点位置，发现确实位于其内部，则将轮廓1作为定位图形的粗定位，其效果也在图10中已有体现。

但不是所有满足3层轮廓包含关系的轮廓中心点都在其内部。以图10为例，货物2上汽车图案中的加粗轮廓满足3层轮廓包含关系，但明显其中心点（已用黑点标出）并不在轮廓内部，所以将其剔除。而其余加粗轮廓都同时满足3层轮廓包含关系并且其中心点都在轮廓内部，所以将其保留作为定位图形粗定位。

S3.1：对S1得到的二值图像进行形态学开运算操作，具体用作开运算的模板大小根据二维码在图中的大小确定，本实例所采用的模板大小为9*9。经过开运算获得图6所示的结果图。

S3.2：对开运算结果图6，进行边缘检测并建立图中闭合轮廓II的层级树形结构。将树形结构各分支最底层的轮廓内部赋予互不相同的灰度值，构成多个QR码候选区域，形成的新图像称之为QR码候选区域图像。如图11所示，其中灰色线条为树形结构各分支最底层的轮廓。在这些轮廓内部，都赋上了不同的灰度值以示区分，灰度值在图中已用数字标出。

一般情况下8位0至255的灰度值（或称灰度阶）已能够满足要求。若最底层轮廓个数超过256个，则可采用16位0至65635灰度阶进行标记。

S4：对于定位图形粗定位，用其中心点代表它们所在的位置。判断其所在位置处于QR码候选区域图像（图11）的哪一个候选区域内，对于位置处在同一个候选区域内的粗定位，将它们分为一组，代表它们与该QR码候选区域完成匹配。

为更详尽地说明，以图12为例。图12为图10中货架第二层最右侧的货物1放大图。图中可以看到货物1上的二维码中有4条加粗轮廓，即4个定位图形粗定位。它们各自的中心点也已用黑色圆点在图中标出。对于每一个粗定位中心点所在的位置，获取该位置在图11中的灰度值。由于所得的4个粗定位中心点的位置都处在灰度值为40的QR码候选区域内，所以对于上述4个粗定位中心点，获取到的灰度值都为40，于是将这4个定位图形的粗定位分为一组，完成与该QR码候选区域的匹配。

S5：在对粗定位与QR码候选区域完成匹配的基础上，对于内部粗定位个数大于1的每一个候选区域，都计算其中粗定位所包围的面积，取面积相似的2个或3个粗定位作为精定位。

为更详尽地说明，依旧以图12为例。在货物1上的二维码中，存在已经被标注出的4个定位图形粗定位。S4中，此4个粗定位已被分为同一组别，于是分别计算它们内部所包围的像素点的个数，即包围面积。若存在包围面积相差不超过20%的粗定位，则可将其作为定位图形精定位。在图10中可以非常直观地看出，粗定位中心点1、2、3所代表的粗定位轮廓包围面积比粗定位中心点4所代表的粗定位轮廓包围面积小很多，并且粗定位中心点1、2、3所代表的粗定位包围面积之间都满足相差不超过20%的条件，于是将其作为定位图形精定位。

另外，在图10中，货物3上的汽车图案中也存在一些错误的定位图形粗定位，但由于这些轮廓的中心点都不在图11中的QR码候选区域内，也就不会参与到S5的操作中来，进而被剔除。即使存在一些错误的粗定位处于同一个候选区域内，它们所包围的面积也很难满足相差不超过20%的条件，进而也会被剔除出去。

对图10进行定位图形精定位刷选的结果如图13所示。其中加粗灰色轮廓为即定位图形精定位。

S6：对于内部含有定位图形精定位的QR码候选区域，计算其轮廓的凸包，将此凸包作为最终的QR码精准定位结果。

为更详尽地说明，以图13为例。图中定位图形精定位所在的候选区域都为QR码真实所在区域，计算这些候选区域轮廓的凸包，作为本发明实施例最终的QR码精准定位结果。而对于例如汽车图案等候选区域，由于其中并不存在精定位结果，进而会被剔除。最终定位效果如图14所示，其中白色轮廓即为QR码最终定位结果。

为展现本发明从多个拍摄角度都能精准定位QR码的能力，图15至17分别展示了从货架正前方、右上方、左上方对QR码的定位结果，从中可以看出本发明确实对从多个拍摄角度进行拍摄的情况有非常好的适应能力。

Claims (6)

1.一种仓储货物多QR码一体化视觉定位方法，其特征在于操作步骤如下：

S1：预处理：获得整张二值图像；

S2.1：对整张二值图进行边缘检测，获取闭合轮廓(总称为I)；

S2.2：闭合轮廓I的层级树形结构建立：根据其相互间的包含关系；

S2.3：位置探测图形粗定位的筛选：根据其特殊的3层轮廓包含关系以及中心点是否在轮廓内部进行筛选；

S3.1：形态学处理：对整张二值图进行开运算，形成多个连通域；

S3.2：对开运算结果图进行边缘检测，获取闭合轮廓(总称为II)；

S3.3：闭合轮廓II的层级树形结构建立：根据其相互间的包含关系；

S3.4：QR码候选区域的生成：将轮廓II的树形结构各分支最底层的不同轮廓内部赋予不同的灰度值，以示区分；

S4：粗定位与QR码候选区域的匹配：根据各粗定位中心点的灰度值；

S5：位置探测图形精定位的筛选：根据同一个QR码上的位置探测图形面积相似的特点；

S6：QR码最终定位：精定位所在的QR码候选区域轮廓的凸包。

2.根据权利要求1所述的一种仓储货物多QR码一体化视觉定位方法，其中大步骤S2—即S2.1至S2.3与大步骤S3—即S3.1至S3.4，并行处理，不分先后。

3.根据权利要求1所述的一种仓储货物多QR码一体化视觉定位方法，所述步骤S3.4还包括：

1)找出闭合轮廓II层级树形结构中各分支最底层的所有轮廓；

2)将这些轮廓内部赋予不同的灰度值，以示区分，所赋灰度值从0开始逐一递增。

4.根据权利要求1所述的一种仓储货物多QR码一体化视觉定位方法，所述步骤S4还包括：

1)对于筛选出的位置探测图形粗定位，计算其各自的中心点位置；

2)对于每一个粗定位中心点位置，取其在QR码候选区域中的灰度值；

3)若某些中心点位置上的灰度值相同，则将其划分进同一组别，完成与对应QR码候选区域的匹配。

5.根据权利要求1所述的一种仓储货物多QR码一体化视觉定位方法，所述步骤S5还包括：

1)对于每一个QR码候选区域，若其中匹配到的粗定位个数大于1，则保留，否则舍弃；

2)对于保留的QR码候选区域，计算其中每个粗定位轮廓所包围的面积；

3)若某个QR码候选区域中存在面积相差不超过20%的粗定位轮廓，则将这些粗定位筛选为精定位。

6.根据权利要求1所述的一种仓储货物多QR码一体化视觉定位方法，所述步骤S6还包括：

1)找出所有内部存在位置探测图形精定位的QR码候选区域；

2)计算这些QR码候选区域的凸包，并将这些凸包作为QR码的最终定位结果。