CN108416412A - 一种基于多任务深度学习的物流复合码识别方法 - Google Patents

一种基于多任务深度学习的物流复合码识别方法 Download PDF

Info

Publication number
CN108416412A
CN108416412A CN201810063311.0A CN201810063311A CN108416412A CN 108416412 A CN108416412 A CN 108416412A CN 201810063311 A CN201810063311 A CN 201810063311A CN 108416412 A CN108416412 A CN 108416412A
Authority
CN
China
Prior art keywords
image
character
label
compound key
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810063311.0A
Other languages
English (en)
Other versions
CN108416412B (zh
Inventor
盛力峰
关亮
林宏鋆
盛雷雷
王路
贾宝荣
王显杰
聂学雯
王权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Hanqiang Automation Equipment Co ltd
Original Assignee
Zhejiang Hanqiang Automation Equipment Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Hanqiang Automation Equipment Co ltd filed Critical Zhejiang Hanqiang Automation Equipment Co ltd
Priority to CN201810063311.0A priority Critical patent/CN108416412B/zh
Publication of CN108416412A publication Critical patent/CN108416412A/zh
Application granted granted Critical
Publication of CN108416412B publication Critical patent/CN108416412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06018—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding
    • G06K19/06028—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking one-dimensional coding using bar codes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C3/00—Sorting according to destination
    • B07C3/18—Devices or arrangements for indicating destination, e.g. by code marks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

一种基于多任务深度学习的物流复合码识别方法，包括用于全方位获取物流复合码图像的方法、便于视觉检测定位喷码字符的标签设计方案、适用于喷码字符的标签的字符定位和切分的字符大小、字形以及字符之间的间隔设计方案、适用于视觉识别的复合码设计方案、用于对复合码进行检测定位的Faster R‑CNN网络、用于复合码图像纠偏及字符的正倒检测的算法模块、用于深度学习和训练识别的多任务深度卷积神经网络、基于深度学习的喷码字符的标签上的字符识别的卷积神经网络、用于识别复合码中一维条码的算法模块、用于识别复合码中二维条码的算法模块、用于根据识别的复合码信息控制分拣动作的分拣控制模块。本发明有效的解决了大量的随意放置、不规则外形、柔性包装的货物不能快速自动分拣问题。

Description

一种基于多任务深度学习的物流复合码识别方法
技术领域
本发明涉及人工智能、数字图像处理、卷积神经网络和计算机视觉在物流复合码标签的识别和分拣方面的应用，属于智慧物流领域。
背景技术
当前的物流***中，***的读码设备主要是针对喷码字符、一维码、二维码、RFID中的任意一种信息识别。产品与物流载体信息获取方式是分别获取，然后由人工在计算机或者PAD上进行产品信息组盘并与物流载体的信息进行绑定，从而保证在输送、存储过程中对货物进行有效管理。
由于成本都十分低廉，喷码字符、一维条码和二维条码在物流领域中得到了广泛使用。
1999年初EAN与UCC联合推出了一种全新的适于各个行业应用的物流条码标准，即复合码，简称CS。
一种复合码的形式是将一维条码与二维条码有机地叠加在一起，以实现在读取商品的单品识别信息的同时，还能够获取更多描述商品物流特征的信息。主要用于物流及仓储管理。
复合码中的一维条码可以是任何形式的RSS，也可以是普通的EAN/UCC条码。其作用在于，一是单品标识，二是作为二维条码的定位符，用于成像仪识别时的定位。
复合码中的二维条码部分由PDF417条码构成，用于表示附加的应用标识符的数据串，诸如产品的批号、保质期等商品的描述性信息。□
复合码在商业及物流管理中的应用主要解决了如下几个问题：
1)首先解决了微小物品的条码标识问题；
2)有效地增大了单位面积条码的信息容量；
3)使供应链的各个环节都可以随时采集所需信息而无需在线式数据库；
4)解决了物流管理中条码信息容量不足的问题，极大地提高了物流及供应链管理***的效率和质量。
复合码的另一种形态是喷码字符与一维条码或者二维条码有机地叠加，这种复合码的方式在采用视觉识别复合码的有着重要的意义。这是由于一维条码或者二维条码在识别时候对距离方向十分敏感，要求具有比较高的定位精度；此外，对于诸如塑料袋、纸袋等廉价的软包装，条码标签或者二维条码标签发生的形变和污染，导致识别率大大降低。
在大宗物流领域中，由于包装外形大小不一、形态多样、一维条码或者二维条码的粘帖位置不定，在物流分拣过程中往往需要人工对准一维条码或者二维条码进行扫描。这种分拣过程中的扫描识别方式，极大限制了物流的自动化处理能力，成为了物流领域中的一个痛点和技术瓶颈。
近年来，“人工智能+物流”进入高速发展期。物流行业是高数据密度的行业，每个环节都在产生大数据，为人工智能技术提供用武之地。人工智能的技术在物流行业的运用主要集中在：智能搜索、推理规划、模式识别、计算机视觉以及智能机器人等领域。在仓储和库存管理环节，人工智能有助于优化选址与库存优化；在分拣环节，可通过计算机视觉技术以及智能机器人进行自动识别、分拣和搬运；在配送环节，人工智能将通过数据分析优化配送体系，调配无人配送设备。
作为人工智能中的核心技术深度学习，最近几年在计算机视觉领域得到了迅速的发展，深度学习能利用大量的训练样本和隐藏层逐层深入地学习图像的抽象信息，更全面直接地获取图像特征。数字图像是以矩阵来描述的，卷积神经网络更好地从局部信息块出发，进而描述图像的整体结构，故在计算机视觉领域，深度学习方法中大多采用卷积神经网络来解决问题。围绕着提高检测精度和检测时间，深度卷积神经网络技术从R-CNN，FasterR-CNN到Fasterer R-CNN。具体表现为进一步精度提升、加速、端到端及更实用化，几乎覆盖了从分类到检测、分割、定位各个领域。深度学习技术运用于物流领域将是一个非常有实际应用价值的研究领域。
申请号为201610824855.5的中国专利申请公开了一种自动化物流分拣***，包括一个控制***以及由控制***控制的传送装置、视觉识别装置、筛选横杆装置、分拣装置及振动装置，视觉识别装置、筛选横杆装置沿着派件传输的方向依次横跨在传送装置的上方，视觉识别装置用于对派件进行识别，所述的筛选横杆装置对识别后的派件进行筛选，筛选后的派件在传送装置的传送下送到分拣装置对派件进行分拣，在分拣装置的下方设有派件盛装箱，派件盛装箱的底部设有振动装置对派件盛装箱内的派件进行振动、归位。
申请号为201610427677.2的中国专利申请公开了一种基于无人输送分拣及存储的自动拣选***，包括控制***、沿料箱输送轨道依次设置的至少一个拣选工位(5)；所述拣选工位(5)处设有拣选机器人(6)，每个拣选机器人(6)对应1-2个拣选工位(5)；所述控制***包括视觉识别***，所述视觉识别***集成在料箱输送轨道旁边，视觉识别***识别料箱Ⅰ，并控制输送***将料箱输送至相应的拣选工位(5)，拣选机器人(6)根据识别信号将料箱Ⅰ内的物料取出，对应地放置在环形输送线(4)上。
申请号为201510323243.3的中国专利申请公开了一种多线接力包裹分拣物联网视觉检测方法及***装置，首先对多台视觉感知装置进行布置，将整个包裹分拣***划分为多个监控段，由一台视觉感知装置负责一个监控段的监控，每个监控段包含多条流水线，各监控段的视觉感知装置在采集图像后通过网线将图像数据发送往监控计算机，监控计算机通过千兆网卡接收图像信息并对传送来的图像进行分析，通过包裹识别、包裹跟踪定位、跟踪丢失处理、接力跟踪算法实时得到多条流水线上的所有包裹的形状、编码和位置坐标信息并将这些信息发送往客户端计算机。
物流信息是物流***的整体中枢神经，是物流***变革的决定力量。在智慧物流***中，必须对海量、多样、更新快速的信息进行收集、加工、处理，才能成为***决策的依据。如果物流基础信息缺乏，尤其是物流编码准确高效的获取问题不能圆满解决，智慧物流也就无从谈起。
综上所述，物流服务业主要通过识别货物的物流编码来完成对货物的提取、分析以及配送等处理工作。物流编码的完整性和准确性，关系着物流货物处理的有效性。物流编码会受到温度、湿度、光照等因素的影响，而产生变形、模糊、缺失以及脱落等现象，导致物流编码识别的有效性降低，影响整个物流运输业务的顺利进行。物流编码选取的特征和模式识别方法决定了物流编码识别的准确性。
上述技术公开的视觉检测方法其实还是属于前深度学习时代的计算机视觉技术。同时也未涉及到物流复合码的定位识别问题。
发明内容
针对如何提升物流编码的有效性、完整性和准确性、保证物流编码识别的快速性、准确性和鲁棒性等问题，摒弃了一维条码或者二维条码激光扫描识别方式，本发明提出了一种基于多任务深度学习的物流复合码识别方法，有效利用复合码的优势，采用深度学习中的定位检测识别任务之间的关联性来实现一种应用普适性好、成本低廉、识别精度高、鲁棒性好的多任务深度学习的物流复合码识别的新技术。
实现的总体技术路线是：首先，设计了一种适用于图像识别的物流编码体系，并规定了所采用的标签形态、字符大小及字形；然后，提出了一种便于定位识别、便于字符定位和切分的喷码字符的标签；在此基础上将喷码字符的标签分别与一维条码或者二维条码进行组合，得到一种复合码；接着，用一个RPN网络定位出喷码字符的标签的大小位置；同时也得到了校正后的复合码中一维条码或者二维条码的大小位置；进一步，用深度卷积神经网络对喷码字符的标签上的字符进行识别，得到喷码字符的标签上的字符序列；最后，对一维条码或者二维条码进行识别，得到在一维条码或者二维条码上的字符序列。
本发明解决其技术问题所采用的技术方案是：
一种基于多任务深度学习的物流复合码识别方法，包括用于全方位获取物流复合码图像的方法、便于视觉检测定位喷码字符的标签设计方案、适用于喷码字符的标签的字符定位和切分的字符大小、字形以及字符之间的间隔设计方案、适用于视觉识别的复合码设计方案、用于对复合码进行检测定位的Faster R-CNN网络、用于复合码图像纠偏及字符的正倒检测的算法模块、用于深度学习和训练识别的多任务深度卷积神经网络、基于深度学习的喷码字符的标签上的字符识别的卷积神经网络、用于识别复合码中一维条码的算法模块、用于识别复合码中二维条码的算法模块、用于根据识别的复合码信息控制分拣动作的分拣控制模块；
其主要流程如下：如图10所示，流水线上待分拣的货物移动到流水线的某一工位时，***自动触发多个相机从各个方位拍摄货物图像；接着，基于Faster R-CNN货品复合码图像检测定位得到货物图像上的复合码图像；然后，对复合标签的图像最小面积矩形进行仿射变换；进一步，对仿射变换后的复合标签的图像进行分割处理，分割出喷码字符的标签图像以及一维条码图像或者二维条码图像；然后，对得到的喷码字符的标签图像用基于Faster R-CNN进行字符识别，得到喷码字符的标签图像中的字符序列；另一方面，对得到的一维条码图像或者二维条码图像进行识别，得到一维条码图像或者二维条码图像所表达的字符序列；最后，组合喷码字符的标签图像中识别出来的字符序列以及一维条码图像或者二维条码图像所识别出来的字符序列，并用该复合码所表达的信息进行货品的物流及供应链管理。
一种用于全方位获取喷码字符的标签图像的方法，在分拣流水线的识别工位的上方、前后左右分别安置了5个相机，从各个方向捕捉到货物上的复合码标签的图像；此外，为了确保准确无误地读取到货物上粘贴的复合码标签图像，这里规定至少在货物的两个面上粘贴复合码标签。
一种便于视觉检测定位喷码字符的标签设计方案，在喷码字符的标签设计时，采用一个等边梯形外框，黑色框线粗细为3磅，底色为白色，梯形外框的高度100mm，梯形外框的中位线长度根据编码长度确定，最小值>280mm，梯形的下底线-上底线＝53.6mm，梯形内部为喷码字符的标签的编码部分。
一种适用于喷码字符的标签的字符定位和切分的字符大小、字形以及字符之间的间隔设计方案，标签字符采用黑体字形，包括了0～9的10个数字字符以及18个部分英文字符；每个字符之间的距离为14mm，所有字符的大小均为45mm×77mm，标签字符为黑色，背景为白色，均匀地配置在所述的喷码字符的标签图像的中部。
一种适用于视觉识别的复合码设计方案，将喷码字符的标签图像与一维码图像或者二维码图像进行组合构成复合码图像，在复合码图像中上部为喷码字符的标签图像、下部位一维码图像或者二维码图像，如图1和图3所示；
用于对复合码的标签进行检测定位的Faster R-CNN网络，Faster R-CNN作为多任务卷积神经网络的基础网；网络最前面的是3×3卷积网络，称为conv1，后面紧接4个堆叠卷积模块命名为conv2_x到conv5_x，每个模块分别包含了{2,3,3,3}个单元，conv1到conv4_3作为共享网络；其后是RPN，即区域建议网络，RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；为了生成区域建议框，在最后一个共享的卷积层输出的卷积特征映射上滑动小网络，这个网络全连接到输入卷积特征映射的n×n的空间窗口上；每个滑动窗口映射到一个低维向量上，每个特征映射的一个滑动窗口对应一个数值；这个向量输出给两个同级的全连接的层；
所述的RPN；RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；所述的矩形目标建议框的目标指的是喷码字符的标签；
对每个建议框是目标/非目标的估计概率，是用二分类的softmax层实现的分类层；k个建议框被相应的k个称为anchor的建议框参数化；
每个anchor以当前滑动窗口中心为中心，并对应一种尺度和长宽比，使用3种尺度和3种长宽比，这样在每一个滑动位置就有k＝9个anchor；
为了训练RPN网络，给每个anchor分配一个二进制的标签，以此来标注该anchor是不是目标；然后分配正标签给这两类anchor：(I)与某个真正目标包围盒，即Ground Truth，GT有最高的IoU，即Interse-ction-over-Union，交集并集之比，重叠的anchor；(II)与任意GT包围盒有大于0.7的IoU交叠的anchor；注意到一个GT包围盒可能给多个anchor分配正标签；分配负标签给与所有GT包围盒的IoU比率都低于0.3的anchor；非正非负的anchor对训练目标没有任何作用，则弃用；对一个图像的损失函数定义为：
这里，i是一个anchor的索引，pi是anchor是第i目标的预测概率，如果anchor为正，GT标签就是1，如果anchor为负，就是0；ti是一个向量，表示预测的包围盒的4个参数化坐标，是与正anchor对应的GT包围盒的坐标向量；λ是一个平衡权重，这里λ＝10，Ncls是cls项的归一化值为mini-batch的大小，这里Ncls＝256，Nreg是reg项的归一化值为anchor位置的数量，Nreg～2,400，分类损失函数Lcls是两个类别，即复合码目标vs.背景的对数损失：
对于回归损失函数Lreg，用以下函数定义：
式中，Lreg为回归损失函数，R是鲁棒的损失函数，用公式(4)计算smooth L1；
式中，smoothL1为smooth L1损失函数，x为变量。
由于本发明中对复合码标签在粘贴在货品外包装上无特殊限制，如图2和图4所示；另外，本发明对分拣流水线上的货品摆放也无特殊限制，这样在通过检测定位的FasterR-CNN网络处理得到的复合码的标签图像一般都存在着旋转或者形变，如图5所示；因此，在对复合码标签识别之前就必须对复合码标签图像进行纠偏和置正处理，对图5所示的偏转形变的复合码的标签图像进行仿射变换，处理得到如图6所示的正位状态的复合码的标签图像；
仿射变换是一种二维坐标(x,y)到二维坐标(u,v)的线性变换，用公式(5)表示；
式中，x、y为仿射变换前的坐标，u、v为仿射变换后的坐标，a1、b1、c1、a2、b2和c2分别为仿射变换的参数；
在做仿射变换时需要四个点，本发明中通过检测定位的Faster R-CNN网络处理得到的复合码的标签图像的最小面积矩形的四个顶点就是仿射变换时所需要的四个点，用公式(5)进行仿射变换，这样就能得到纠偏后的复合码的标签图像；
用于深度学习和训练识别的多任务深度卷积神经网络，为了将多种任务融合在一起进行学习和训练，通过学习和训练分别提取得到复合码的标签的特征以及喷码字符的标签上的字符图像特征；多任务包括了复合码的标签的检测定位和喷码字符的标签上的字符图像的识别；
设计一种多任务目标函数是至关重要的；多任务目标函数用公式(6)表示；
式中，是输入特征向量和权重参数wt的映射函数，L(·)为损失函数，Φ(wt)为权重参数的正则化值，T为总任务数，对于第t个任务的训练数据记为其中t∈(1,T)，i∈(1,N)，N为总训练样本数，分别为第i样本的特征向量和标注标签；
对于损失函数，利用softmax配合对数似然代价函数训练最后一层的特征，实现多任务图像分类，softmax损失函数用公式(7)定义，
式中，xi为第i深度特征，Wj为最后一个全连接层中权重的第j列，b是偏置项，m,n分别为处理样本数量与类别数。
复合码的标签的特征和喷码字符的标签上的字符特征的提取是通过卷积神经网络的学习训练过程来实现的，将28个字符数据集进行训练，抽取出这些字符的特征；将数据集按8：2比例分为训练集和验证集，经过10万次迭代，训练出卷积神经网络模型；为了提高识别的鲁棒性，训练集的字符图像采用不同角度、不同光照条件下拍摄的复合码的标签图像，同时考虑到软包装上复合码的标签图像的一些变形或者字符部分的划伤以及水迹等污染等情况，在制作训练集的字符图像时充分考虑实际应用中喷码字符的标签图像的各种状况，用于训练的字符图像为800个，对于28个字符共用于训练的字符图像为28×800；利用这些大量的字符图像训练样本和隐藏层逐层深入地学习图像的抽象信息，更全面直接地获取字符图像特征。
对于纠偏后的复合码的标签图像，需要进一步将其分割为喷码字符的标签图像和一维条码或者二维条码图像；
对于喷码字符的标签图像，用Faster R-CNN模型中的SoftMax对喷码字符的标签图像的字符图像进行分类识别得到字符序列；
对于一维条码图像，这里采用一维条码识别模块进行识别计算，一维条码识别模块算法步骤如下：
STEP1)：获取条形码bar和space宽度最简单的方法就是沿着某一行从头至尾扫描，简便起见，先只扫描一行，且该行为条形码中间行；
STEP2)：对图像应当进行简单的预处理，灰度化(多通道图转为单通道图)->二值化->中值滤波；
STEP3)：设置3个变量，currentPix表示当前像素值，pos表示上次像素值变化的位置，lastPix表示上次像素值变化的位置的像素，当currentPix！＝lastPix时，记录下当前位置与pos的差，即当前bar或者space的宽度，然后更新pos和lastPix，继续遍历直到该行结束；
STEP4)：条形码从起始符到终止符一共有59个bar或者space，因为是从行的起始位置开始扫描，所以左侧空白区也被扫描进去了，因此最终bar和space的数量为(60＝59+1)；
对于二维条码图像，这里采用二维条码识别模块进行识别计算；二维条码在本发明中采用QR Code码进行编码，识别二维条码的过程就是对二维条码进行解码，其算法步骤如下：
STEP1：读取QR Code码图像；
STEP2：图像预处理，对QR Code码图像会有不同程度的失真，背景色或噪音等，因此，需要对图像进行预处理。图像已处理的主要技术有灰度化、去噪、阈值变换、定位及边缘检测等；
STEP3：译码，首先获取QR Code码符号图像的基本模块的宽度，然后按照符号字符在QR Code码符号图像中的排列方式及符号字符与码词矩阵的关系计算码字的值；
STEP4：数据转换，获取到的码字序列，去除其起始符和终止符，得到数据码字序列，然后按照具体的QR Code码编码模式，采用相反的方法进行数据转换，从而得到QR Code码符号图像包含的数据信息；
用于根据识别的物流编码控制分拣动作的分拣控制模块，组合喷码字符的标签图像中识别出来的字符序列以及一维条码图像或者二维条码图像所识别出来的字符序列，并用该复合码所表达的信息进行货品的物流及供应链管理。
本发明的有益效果主要表现在：
1)在物流的传输线上配置基于人工智能的视觉***，***快速扫描货物大小不同的、柔性的、复合码的标签粘贴位置和方向不定的货物，快速精确地识别出货物上复合码中喷码字符的标签的编码以及一维条码或者二维条码的编码，根据组合编码信息进行自动智能分拣，有效的解决了大量的、随意放置的、不规则外形和柔性包装的货物不能快速自动分拣问题。
2)有效地克服了单一条形码或二维码读取距离短、读取方向要求高、识别率低，无法在柔性包装的货品上应用，摒弃了一维条码或者二维条码激光扫描识别方式。
3)将喷码字符的标签与一维条码或者二维条码有机地叠加在一起，以实现在读取商品的单品识别信息的同时，还能够获取更多描述商品物流特征的信息。
4)满足了智慧物流最前端的信息获取的需求，能够以快速、便捷、低成本、个性化的方式满足消费者需求，极大地提升消费者体验。
附图说明
图1为一种喷码字符的标签与一维条码组合的复合码样式图；
图2为喷码字符的标签与一维条码组合的复合码粘贴在货品上的实例图；
图3为一种喷码字符的标签与二维条码组合的复合码样式图；
图4为喷码字符的标签与二维条码组合的复合码粘贴在货品上的实例图；
图5为多任务Faster R-CNN深度卷积网络结构图；
图6为RPN网络结构图；
图7为仿射变换及纠偏前的喷码字符的标签与二维条码组合的复合码图像；
图8为仿射变换及纠偏后的喷码字符的标签与二维条码组合的复合码图像；
图9为物流分拣流水线上配置基于人工智能的视觉***的示意图，1-分拣流水线，2-流水线上待分拣的货物，3-相机；
图10为基于多任务深度学习的物流复合码识别的流程框图。
具体实施方式
下面结合附图对本发明作进一步描述。
实施方案1
参照图1～图10，基于多任务深度学习的物流复合码识别***，如图10所示，其主要流程如下：流水线上待分拣的货物移动到流水线的某一工位时，***自动触发多个相机从各个方位拍摄货物图像；接着，基于Faster R-CNN货品复合码标签检测定位得到货物图像上的复合码标签图像；然后，对复合标签的图像最小面积矩形进行仿射变换；进一步，对仿射变换后的复合标签的图像进行分割处理，分割出喷码字符的标签图像以及一维条码图像或者二维条码图像；然后，对得到的喷码字符的标签图像用基于Faster R-CNN进行字符识别，得到喷码字符的标签图像中的字符序列；另一方面，对得到的一维条码图像或者二维条码图像进行识别，得到一维条码图像或者二维条码图像所表达的字符序列；最后，组合喷码字符的标签图像中识别出来的字符序列以及一维条码图像或者二维条码图像所识别出来的字符序列，并用该复合码所表达的信息进行货品的物流及供应链管理；
用视觉方式识别货物外包装上粘贴的复合码标签中的喷码字符的标签图像中的字符序列以及一维条码图像或者二维条码图像中所包含的信息字符序列，第一个步骤就是从物流的流水线上快速定位出复合码标签图像，这一步复合码图像的定位完成质量好坏对***性能有着直接的影响；为了保证识别***的可靠性和适应性，本发明从以下几个方面着手：
1)复合码标签设计上采用一种便于视觉定位识别的复合码标签；
本发明首先提出了一种便于视觉检测定位喷码字符的标签设计方案，在喷码字符的标签设计时，采用一个等边梯形外框，黑色框线粗细为3磅，底色为白色，梯形外框的高度100mm，梯形外框的中位线长度根据编码长度确定，最小值>280mm，梯形的下底线-上底线＝53.6mm，梯形内部为喷码字符的标签的编码部分；
喷码字符的标签与一维条码组合的复合码如图1所示，喷码字符的标签在复合码标签的上方，一维条码在复合码标签的下方；
喷码字符的标签与二维条码组合的复合码如图3所示，喷码字符的标签在复合码标签的上方，二维条码在复合码标签的下方。
2)复合码标签定位算法上采用RPN网络，根据复合码标签的特征使得***能快速准确的定位出复合码标签的大小位置；RPN网络是Faster R-CNN网络中的一个部分，如图5所示；
用于对复合码标签进行检测定位的Faster R-CNN网络，Faster R-CNN作为多任务卷积神经网络的基础网；网络最前面的是3×3卷积网络，称为conv1，后面紧接4个堆叠卷积模块命名为conv2_x到conv5_x，每个模块分别包含了{2,3,3,3}个单元，conv1到conv4_3作为共享网络；其后是RPN，即区域建议网络，RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；为了生成区域建议框，在最后一个共享的卷积层输出的卷积特征映射上滑动小网络，这个网络全连接到输入卷积特征映射的n×n的空间窗口上；每个滑动窗口映射到一个低维向量上，每个特征映射的一个滑动窗口对应一个数值；这个向量输出给两个同级的全连接的层；
所述的RPN，如图6所示；RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；所述的矩形目标建议框的目标指的是复合码标签；
对每个建议框是目标/非目标的估计概率，是用二分类的softmax层实现的分类层；k个建议框被相应的k个称为anchor的建议框参数化；
每个anchor以当前滑动窗口中心为中心，并对应一种尺度和长宽比，使用3种尺度和3种长宽比，这样在每一个滑动位置就有k＝9个anchor；
为了训练RPN网络，给每个anchor分配一个二进制的标签，以此来标注该anchor是不是目标；然后分配正标签给这两类anchor：(I)与某个真正目标包围盒，即Ground Truth，GT有最高的IoU，即Interse-ction-over-Union，交集并集之比，重叠的anchor；(II)与任意GT包围盒有大于0.7的IoU交叠的anchor；注意到一个GT包围盒可能给多个anchor分配正标签；分配负标签给与所有GT包围盒的IoU比率都低于0.3的anchor；非正非负的anchor对训练目标没有任何作用，则弃用；
对一个图像的损失函数定义为：
这里，i是一个anchor的索引，pi是anchor是第i目标的预测概率，如果anchor为正，GT标签就是1，如果anchor为负，就是0；ti是一个向量，表示预测的包围盒的4个参数化坐标，是与正anchor对应的GT包围盒的坐标向量；λ是一个平衡权重，这里λ＝10，Ncls是cls项的归一化值为mini-batch的大小，这里Ncls＝256，Nreg是reg项的归一化值为anchor位置的数量，Nreg～2,400，分类损失函数Lcls是两个类别，即复合码标签目标vs.背景的对数损失：
对于回归损失函数Lreg，用以下函数定义：
式中，Lreg为回归损失函数，R是鲁棒的损失函数，用公式(4)计算smooth L1；
式中，smoothL1为smooth L1损失函数，x为变量。
3)在深度卷积神经网络的学习和训练上，通过不同距离、不同角度、不同光照条件下的复合码标签图像对深度卷积神经网络进行学习和训练，这样得到关于复合码标签特征的深度卷积神经网络参数具备较好的鲁棒性。
近一步，是要对定位出的复合码标签图像，如图7所示，进行各种图像预处理，得到正置的复合码标签图像，如图8所示；由于本发明对分拣流水线上的货物摆放、货物的大小以及货物的包装无特殊要求，即对粘贴在货物上的复合码标签没有特殊限制，如图2、图4所示；因此，从相机获取的复合码标签图像在图像中的位置、大小和角度都是随机的；这样在货品外包装上复合码标签可能是以任意角度出现在任何部位；因此，在对复合码标签识别之前就必须对复合码标签图像进行纠偏和置正处理，对图5所示的偏转形变的复合码的标签图像进行仿射变换，处理得到如图6所示的正位状态的复合码的标签图像；
仿射变换是一种二维坐标(x,y)到二维坐标(u,v)的线性变换，用公式(5)表示；
式中，x、y为仿射变换前的坐标，u、v为仿射变换后的坐标，a1、b1、c1、a2、b2和c2分别为仿射变换的参数；
在做仿射变换时需要四个点，本发明中通过检测定位的Faster R-CNN网络处理得到的复合码的标签图像的最小面积矩形的四个顶点就是仿射变换时所需要的四个点，用公式(5)进行仿射变换，这样就能得到纠偏后的复合码的标签图像；
用于深度学习和训练识别的多任务深度卷积神经网络，为了将多种任务融合在一起进行学习和训练，通过学习和训练分别提取得到复合码的标签的特征以及喷码字符的标签上的字符图像特征；多任务包括了复合码的标签的检测定位和喷码字符的标签上的字符图像的识别；
设计一种多任务目标函数是至关重要的；多任务目标函数用公式(6)表示；
式中，是输入特征向量和权重参数wt的映射函数，L(·)为损失函数，Φ(wt)为权重参数的正则化值，T为总任务数，对于第t个任务的训练数据记为其中t∈(1,T)，i∈(1,N)，N为总训练样本数，分别为第i样本的特征向量和标注标签；
对于损失函数，利用softmax配合对数似然代价函数训练最后一层的特征，实现多任务图像分类，softmax损失函数用公式(7)定义，
式中，xi为第i深度特征，Wj为最后一个全连接层中权重的第j列，b是偏置项，m,n分别为处理样本数量与类别数。
复合码的标签的特征和喷码字符的标签上的字符特征的提取是通过卷积神经网络的学习训练过程来实现的，将28个字符数据集进行训练，抽取出这些字符的特征；将数据集按8：2比例分为训练集和验证集，经过10万次迭代，训练出卷积神经网络模型；为了提高识别的鲁棒性，训练集的字符图像采用不同角度、不同光照条件下拍摄的复合码的标签图像，同时考虑到软包装上复合码的标签图像的一些变形或者字符部分的划伤以及水迹等污染等情况，在制作训练集的字符图像时充分考虑实际应用中喷码字符的标签图像的各种状况，用于训练的字符图像为800个，对于28个字符共用于训练的字符图像为28×800；利用这些大量的字符图像训练样本和隐藏层逐层深入地学习图像的抽象信息，更全面直接地获取字符图像特征。
对于纠偏后的复合码的标签图像，需要进一步将其分割为喷码字符的标签图像和一维条码或者二维条码图像；
对于喷码字符的标签图像，用Faster R-CNN模型中的SoftMax对喷码字符的标签图像的字符图像进行分类识别得到字符序列；
对于一维条码图像，这里采用一维条码识别模块进行识别计算，一维条码识别模块算法步骤如下：
STEP1)：获取条形码bar和space宽度最简单的方法就是沿着某一行从头至尾扫描，简便起见，先只扫描一行，且该行为条形码中间行；
STEP2)：对图像应当进行简单的预处理，灰度化(多通道图转为单通道图)->二值化->中值滤波；
STEP3)：设置3个变量，currentPix表示当前像素值，pos表示上次像素值变化的位置，lastPix表示上次像素值变化的位置的像素，当currentPix！＝lastPix时，记录下当前位置与pos的差，即当前bar或者space的宽度，然后更新pos和lastPix，继续遍历直到该行结束；
STEP4)：条形码从起始符到终止符一共有59个bar或者space，因为是从行的起始位置开始扫描，所以左侧空白区也被扫描进去了，因此最终bar和space的数量为(60＝59+1)；
对于二维条码图像，这里采用二维条码识别模块进行识别计算；二维条码在本发明中采用QR Code码进行编码，识别二维条码的过程就是对二维条码进行解码，其算法步骤如下：
STEP1：读取QR Code码图像；
STEP2：图像预处理，对QR Code码图像会有不同程度的失真，背景色或噪音等，因此，需要对图像进行预处理。图像已处理的主要技术有灰度化、去噪、阈值变换、定位及边缘检测等；
STEP3：译码，首先获取QR Code码符号图像的基本模块的宽度，然后按照符号字符在QR Code码符号图像中的排列方式及符号字符与码词矩阵的关系计算码字的值；
STEP4：数据转换，获取到的码字序列，去除其起始符和终止符，得到数据码字序列，然后按照具体的QR Code码编码模式，采用相反的方法进行数据转换，从而得到QR Code码符号图像包含的数据信息；
更近一步，通过用于根据所识别的复合编码对货品进行分拣动作控制，首先组合喷码字符的标签图像中识别出来的字符序列以及一维条码图像或者二维条码图像所识别出来的字符序列，然后用该复合码所表达的信息进行货品的物流及供应链管理。
实施方案2
以上与实施方案1雷同，所不同的是对流水线上货品的放置无特殊要求。
由于本实施方案中并不要求货品上粘帖复合码标签的面朝上，因此需要采用全方位获取复合码标签图像的方法，如图9所示；对于快递物流，货物在分拣流水线上，货物的大小以及货物上粘贴复合码标签的位置角度都是不确定的；为了从各个角度获取复合码标签的图像，本发明中在分拣流水线的上方、左右前后分别安置了5个相机，这样就可以捕捉到货物各个方向上的复合码标签的图像；此外，为了确保准确无误地读取到货物上粘贴的复合码标签，本发明规定至少在货物的两个面上粘贴复合码标签；在检测定位复合码标签时，只要5个相机中的任何一幅图像上定位出有复合码标签就执行下一个程序步骤。
实施方案3
以上与实施方案1雷同，所不同的是对复合码标签的定位分割。在该实施方案中，先用Faster R-CNN网络定位分割出复合码中的喷码字符的标签部分，然后根据喷码字符的标签部分的位置信息以及喷码字符的标签部分和一维条码或者二维条码的标签部分的位置关系信息，进一步定位分割出复合码标签中的一维条码或者二维条码的标签部分。
以上所述仅为本发明的较佳实施举例，并不用于限制本发明，凡在本发明精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多任务深度学习的物流复合码识别方法，其特征在于：包括用于全方位获取物流复合码图像的方法、便于视觉检测定位喷码字符的标签设计方案、适用于喷码字符的标签的字符定位和切分的字符大小、字形以及字符之间的间隔设计方案、适用于视觉识别的复合码设计方案、用于对复合码进行检测定位的Faster R-CNN网络、用于复合码图像纠偏及字符的正倒检测的算法模块、用于深度学习和训练识别的多任务深度卷积神经网络、基于深度学习的喷码字符的标签上的字符识别的卷积神经网络、用于识别复合码中一维条码的算法模块、用于识别复合码中二维条码的算法模块、用于根据识别的复合码信息控制分拣动作的分拣控制模块；
其主要流程如下：流水线上待分拣的货物移动到流水线的某一工位时，***自动触发多个相机从各个方位拍摄货物图像；接着，基于Faster R-CNN货品复合码标签检测定位得到货物图像上的复合码标签图像；然后，对复合标签的图像最小面积矩形进行仿射变换；进一步，对仿射变换后的复合标签的图像进行分割处理，分割出喷码字符的标签图像以及一维条码图像或者二维条码图像；然后，对得到的喷码字符的标签图像用基于Faster R-CNN进行字符识别，得到喷码字符的标签图像中的字符序列；另一方面，对得到的一维条码图像或者二维条码图像进行识别，得到一维条码图像或者二维条码图像所表达的字符序列；最后，组合喷码字符的标签图像中识别出来的字符序列以及一维条码图像或者二维条码图像所识别出来的字符序列，并用该复合码所表达的信息进行货品的物流及供应链管理。
2.如权利要求1所述的基于多任务深度学习的物流复合码识别方法，其特征在于：所述的用于全方位获取物流编码标签图像的方法，在分拣流水线的识别工位的上方、前后左右分别安置了5个相机，从各个方向捕捉到货物上的物流编码标签的图像；此外，为了确保准确无误地读取到货物上粘贴的物流编码标签，这里规定至少在货物的两个面上粘贴物流编码标签。
3.如权利要求1所述的基于多任务深度学习的物流复合码识别方法，其特征在于：所述的适用于视觉识别的复合码设计方案，将喷码字符的标签图像与一维码图像或者二维码图像进行组合构成复合码图像，在复合码图像中上部为喷码字符的标签图像、下部位一维码图像或者二维码图像。
4.如权利要求1所述的基于多任务深度学习的物流复合码识别方法，其特征在于：所述的用于对复合码的标签进行检测定位的Faster R-CNN网络，Faster R-CNN作为多任务卷积神经网络的基础网；网络最前面的是3×3卷积网络，称为conv1，后面紧接4个堆叠卷积模块命名为conv2_x到conv5_x，每个模块分别包含了{2,3,3,3}个单元，conv1到conv4_3作为共享网络；其后是RPN，即区域建议网络，RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；为了生成区域建议框，在最后一个共享的卷积层输出的卷积特征映射上滑动小网络，这个网络全连接到输入卷积特征映射的n×n的空间窗口上；每个滑动窗口映射到一个低维向量上，每个特征映射的一个滑动窗口对应一个数值；这个向量输出给两个同级的全连接的层；
所述的RPN；RPN网络将一个任意尺度图像作为输入，输出矩形目标建议框的集合，每个框包含4个位置坐标变量和一个得分；所述的矩形目标建议框的目标指的是喷码字符的标签；
对每个建议框是目标/非目标的估计概率，是用二分类的softmax层实现的分类层；k个建议框被相应的k个称为anchor的建议框参数化；
每个anchor以当前滑动窗口中心为中心，并对应一种尺度和长宽比，使用3种尺度和3种长宽比，这样在每一个滑动位置就有k＝9个anchor；
为了训练RPN网络，给每个anchor分配一个二进制的标签，以此来标注该anchor是不是目标；然后分配正标签给这两类anchor：(I)与某个真正目标包围盒，即Ground Truth，GT有最高的IoU，即Interse-ction-over-Union，交集并集之比，重叠的anchor；(II)与任意GT包围盒有大于0.7的IoU交叠的anchor；注意到一个GT包围盒可能给多个anchor分配正标签；分配负标签给与所有GT包围盒的IoU比率都低于0.3的anchor；非正非负的anchor对训练目标没有任何作用，则弃用；
对一个图像的损失函数定义为：
这里，i是一个anchor的索引，pi是anchor是第i目标的预测概率，如果anchor为正，GT标签就是1，如果anchor为负，就是0；ti是一个向量，表示预测的包围盒的4个参数化坐标，是与正anchor对应的GT包围盒的坐标向量；λ是一个平衡权重，这里λ＝10，Ncls是cls项的归一化值为mini-batch的大小，这里Ncls＝256，Nreg是reg项的归一化值为anchor位置的数量，Nreg～2,400，分类损失函数Lcls是两个类别，即复合码目标vs.背景的对数损失：
对于回归损失函数Lreg，用以下函数定义：
式中，Lreg为回归损失函数，R是鲁棒的损失函数，用公式(4)计算smooth L1；
式中，smoothL1为smooth L1损失函数，x为变量。
5.如权利要求1所述的基于多任务深度学习的物流复合码识别方法，其特征在于：所述的用于复合码图像纠偏及字符的正倒检测的算法模块，对偏转形变的复合码的标签图像进行仿射变换，处理得到正位状态的复合码的标签图像；
仿射变换是一种二维坐标(x,y)到二维坐标(u,v)的线性变换，用公式(5)表示；
式中，x、y为仿射变换前的坐标，u、v为仿射变换后的坐标，a1、b1、c1、a2、b2和c2分别为仿射变换的参数；
在做仿射变换时需要四个点，通过检测定位的Faster R-CNN网络处理得到的复合码的标签图像的最小面积矩形的四个顶点就是仿射变换时所需要的四个点，用公式(5)进行仿射变换，这样就能得到纠偏后的复合码的标签图像。
6.如权利要求1或5所述的基于多任务深度学习的物流复合码识别方法，其特征在于：所述的用于深度学习和训练识别的多任务深度卷积神经网络，为了将多种任务融合在一起进行学习和训练，通过学习和训练分别提取得到复合码的标签的特征以及喷码字符的标签上的字符图像特征；多任务包括了复合码的标签的检测定位和喷码字符的标签上的字符图像的识别；
设计一种多任务目标函数是至关重要的；多任务目标函数用公式(6)表示；
式中，是输入特征向量和权重参数wt的映射函数，L(·)为损失函数，Φ(wt)为权重参数的正则化值，T为总任务数，对于第t个任务的训练数据记为其中t∈(1,T)，i∈(1,N)，N为总训练样本数，分别为第i样本的特征向量和标注标签；
对于损失函数，利用softmax配合对数似然代价函数训练最后一层的特征，实现多任务图像分类，softmax损失函数用公式(7)定义，
式中，xi为第i深度特征，Wj为最后一个全连接层中权重的第j列，b是偏置项，m,n分别为处理样本数量与类别数。
7.如权利要求1或5所述的基于多任务深度学习的物流复合码识别方法，其特征在于：所述的基于深度学习的喷码字符的标签上的字符识别的卷积神经网络，喷码字符的标签上的字符特征的提取是通过卷积神经网络的学习训练过程来实现的，将28个字符数据集进行训练，抽取出这些字符的特征；将数据集按8：2比例分为训练集和验证集，经过10万次迭代，训练出卷积神经网络模型；为了提高识别的鲁棒性，训练集的字符图像采用不同角度、不同光照条件下拍摄的喷码字符部分的标签图像，同时考虑到软包装上喷码字符部分的标签图像的一些变形或者字符部分的划伤以及水迹等污染等情况，在制作训练集的字符图像时充分考虑实际应用中喷码字符的标签图像的各种状况，用于训练的字符图像为800个，对于28个字符共用于训练的字符图像为28×800；利用这些大量的字符图像训练样本和隐藏层逐层深入地学习图像的抽象信息，更全面直接地获取字符图像特征。
8.如权利要求1所述的基于多任务深度学习的物流复合码识别方法，其特征在于：所述的用于识别复合码中一维条码的算法模块，一维条码识别模块算法步骤如下：
STEP1)：获取条形码bar和space宽度最简单的方法就是沿着某一行从头至尾扫描，简便起见，先只扫描一行，且该行为条形码中间行；
STEP2)：对图像应当进行简单的预处理，灰度化->二值化->中值滤波；
STEP3)：设置3个变量，currentPix表示当前像素值，pos表示上次像素值变化的位置，lastPix表示上次像素值变化的位置的像素，当currentPix！＝lastPix时，记录下当前位置与pos的差，即当前bar或者space的宽度，然后更新pos和lastPix，继续遍历直到该行结束；
STEP4)：条形码从起始符到终止符一共有59个bar或者space，因为是从行的起始位置开始扫描，所以左侧空白区也被扫描进去了，因此最终bar和space的数量为60。
9.如权利要求1所述的基于多任务深度学习的物流复合码识别方法，其特征在于：所述的用于识别复合码中二维条码的算法模块，这里采用QR Code码进行编码，识别二维条码的过程就是对二维条码进行解码，其算法步骤如下：
STEP1：读取QR Code码图像；
STEP2：图像预处理，对QR Code码图像会有不同程度的失真，背景色或噪音等，因此，需要对图像进行预处理。图像已处理的主要技术有灰度化、去噪、阈值变换、定位及边缘检测等；
STEP3：译码，首先获取QR Code码符号图像的基本模块的宽度，然后按照符号字符在QRCode码符号图像中的排列方式及符号字符与码词矩阵的关系计算码字的值；
STEP4：数据转换，获取到的码字序列，去除其起始符和终止符，得到数据码字序列，然后按照具体的QR Code码编码模式，采用相反的方法进行数据转换，从而得到QR Code码符号图像包含的数据信息。
10.如权利要求1或8或9所述的基于多任务深度学习的物流复合码识别方法，其特征在于：所述的用于根据识别的复合码信息控制分拣动作的分拣控制模块，组合喷码字符的标签图像中识别出来的字符序列以及一维条码图像或者二维条码图像所识别出来的字符序列，并用该复合码所表达的信息进行货品的物流及供应链管理。
CN201810063311.0A 2018-01-23 2018-01-23 一种基于多任务深度学习的物流复合码识别方法 Active CN108416412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810063311.0A CN108416412B (zh) 2018-01-23 2018-01-23 一种基于多任务深度学习的物流复合码识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810063311.0A CN108416412B (zh) 2018-01-23 2018-01-23 一种基于多任务深度学习的物流复合码识别方法

Publications (2)

Publication Number Publication Date
CN108416412A true CN108416412A (zh) 2018-08-17
CN108416412B CN108416412B (zh) 2021-04-06

Family

ID=63126119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810063311.0A Active CN108416412B (zh) 2018-01-23 2018-01-23 一种基于多任务深度学习的物流复合码识别方法

Country Status (1)

Country Link
CN (1) CN108416412B (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165654A (zh) * 2018-08-23 2019-01-08 北京九狐时代智能科技有限公司 一种目标定位模型的训练方法和目标定位方法及装置
CN109271935A (zh) * 2018-09-17 2019-01-25 北京旷视科技有限公司 物品与电子标签的配对方法、装置及***
CN109284686A (zh) * 2018-08-23 2019-01-29 国网山西省电力公司计量中心 一种摄像头自动俯仰拍照的标签识别方法
CN109446861A (zh) * 2018-10-08 2019-03-08 广州德泰克自动化科技有限公司 一种基于点云数据的ai深度自学习的包裹id追踪***
CN109740395A (zh) * 2018-12-17 2019-05-10 江苏理工学院 深度学习与形状检测相结合的二维码定位方法及***
CN110046529A (zh) * 2018-12-11 2019-07-23 阿里巴巴集团控股有限公司 二维码识别方法、装置及设备
CN110175483A (zh) * 2019-05-16 2019-08-27 王志伟 一种基于标签的识别方法
CN110427793A (zh) * 2019-08-01 2019-11-08 厦门商集网络科技有限责任公司 一种基于深度学习的条码检测方法及其***
CN110428027A (zh) * 2019-07-22 2019-11-08 杭州沃朴物联科技有限公司 基于lcd防伪标签的识别验伪方法、装置、设备及介质
CN110503046A (zh) * 2019-08-26 2019-11-26 华北电力大学（保定） 一种基于图像识别技术的铅封识别法
CN110688900A (zh) * 2019-08-27 2020-01-14 国网河北省电力有限公司电力科学研究院 一种基于图像识别的撤回表计管理方法
CN110827247A (zh) * 2019-10-28 2020-02-21 上海悦易网络信息技术有限公司 一种识别标签的方法及设备
CN111259893A (zh) * 2020-01-19 2020-06-09 柳潆林 一种基于深度学习的智能工具管理方法
CN111310509A (zh) * 2020-03-12 2020-06-19 北京大学 基于物流运单的实时条码检测***及方法
CN111368576A (zh) * 2020-03-12 2020-07-03 成都信息工程大学 一种基于全局优化的Code128条码自动识读方法
CN111460909A (zh) * 2020-03-09 2020-07-28 兰剑智能科技股份有限公司 基于视觉的货位管理方法和装置
CN112001383A (zh) * 2020-08-10 2020-11-27 长沙奇巧匠人软件有限公司 一种基于卷积神经网络技术的水表码智能识别方法
CN112329514A (zh) * 2020-09-07 2021-02-05 江苏感创电子科技股份有限公司 一种基于Faster R-CNN算法的图书盘点方法及***
CN112364709A (zh) * 2020-10-20 2021-02-12 浙江工业大学 基于编码识别的机柜智能资产盘点方法
CN112395939A (zh) * 2020-09-07 2021-02-23 江苏感创电子科技股份有限公司 一种图书盘点方法及***
CN112819724A (zh) * 2021-02-05 2021-05-18 广东电网有限责任公司广州供电局 一种基于cnn的扫描文档图像增强方法
CN112874175A (zh) * 2019-11-29 2021-06-01 兄弟工业株式会社 编辑设备
CN112990133A (zh) * 2021-04-28 2021-06-18 杭州金线连科技有限公司 一种基于多任务的深度卷积神经网络身份证信息识别方法
CN113392833A (zh) * 2021-06-10 2021-09-14 沈阳派得林科技有限责任公司 一种工业射线底片图像铅字编号识别方法
CN113627207A (zh) * 2021-08-02 2021-11-09 深圳思谋信息科技有限公司 条码识别方法、装置、计算机设备和存储介质
CN113627849A (zh) * 2021-08-12 2021-11-09 深圳市全景世纪科技有限公司 一种提升自动化货物客户信息采集识别率方法及***
WO2021227289A1 (zh) * 2020-05-14 2021-11-18 南京翱翔信息物理融合创新研究院有限公司 一种基于深度学习的复杂背景低质量二维条码检测方法
CN113870225A (zh) * 2021-09-28 2021-12-31 广州市华颉电子科技有限公司 一种汽车域控制器的人工智能标签内容与粘贴质量检测方法
CN114021595A (zh) * 2021-09-22 2022-02-08 厦门华联电子股份有限公司 一种二维码识别方法及装置
CN114021596A (zh) * 2021-09-22 2022-02-08 厦门华联电子股份有限公司 一种基于深度学习的条码识别方法及装置
CN115569851A (zh) * 2022-10-11 2023-01-06 广东飞流智能科技有限公司 一种基于物联网的交叉带智能货物分拣***及方法
CN114021595B (zh) * 2021-09-22 2024-08-02 厦门华联电子股份有限公司 一种二维码识别方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW397957B (en) * 1998-04-03 2000-07-11 Neotech Intelligent Automation Bar code identification method
CN101281597A (zh) * 2008-04-25 2008-10-08 北京工业大学 一种产品包装图形标识信息在线实时采集识别装置及方法
CN202171812U (zh) * 2011-07-05 2012-03-21 北京爱创科技股份有限公司 条形码识别装置
CN103593664A (zh) * 2013-11-29 2014-02-19 重庆大学 一种qr码畸变图像的预处理方法
CN104105641A (zh) * 2012-01-10 2014-10-15 K-One工业私人有限公司 用于托盘包装的柔性装配线
CN104392238A (zh) * 2014-09-29 2015-03-04 樊晓莉 含多类型标识的信息载体的识别方法
US20160350591A1 (en) * 2014-12-09 2016-12-01 A9.Com, Inc. Gift card recognition using a camera
CN107609813A (zh) * 2017-08-31 2018-01-19 中科富创（北京）科技有限公司 一种快递自动识别分拣***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW397957B (en) * 1998-04-03 2000-07-11 Neotech Intelligent Automation Bar code identification method
CN101281597A (zh) * 2008-04-25 2008-10-08 北京工业大学 一种产品包装图形标识信息在线实时采集识别装置及方法
CN202171812U (zh) * 2011-07-05 2012-03-21 北京爱创科技股份有限公司 条形码识别装置
CN104105641A (zh) * 2012-01-10 2014-10-15 K-One工业私人有限公司 用于托盘包装的柔性装配线
CN103593664A (zh) * 2013-11-29 2014-02-19 重庆大学 一种qr码畸变图像的预处理方法
CN104392238A (zh) * 2014-09-29 2015-03-04 樊晓莉 含多类型标识的信息载体的识别方法
US20160350591A1 (en) * 2014-12-09 2016-12-01 A9.Com, Inc. Gift card recognition using a camera
CN107609813A (zh) * 2017-08-31 2018-01-19 中科富创（北京）科技有限公司 一种快递自动识别分拣***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HANSEN D.ET AL.: "Real-Time Barcode Detection and Classification using Deep Learning", 《PROCEEDINGS OF THE 9TH INTERNATIONAL JOINT CONFERENCE ON COMPUTATIONAL INTELLIGENCE (IJCCI 2017)》 *
T. CHOU ET AL.: "QR code detection using convolutional neural networks", 《2015 INTERNATIONAL CONFERENCE ON ADVANCED ROBOTICS AND INTELLIGENT SYSTEMS (ARIS)》 *
连晓岩 等: "基于图像识别和神经网络的验证码识别", 《中南大学学报 (自然科学版 )》 *

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109284686A (zh) * 2018-08-23 2019-01-29 国网山西省电力公司计量中心 一种摄像头自动俯仰拍照的标签识别方法
CN109165654A (zh) * 2018-08-23 2019-01-08 北京九狐时代智能科技有限公司 一种目标定位模型的训练方法和目标定位方法及装置
CN109271935A (zh) * 2018-09-17 2019-01-25 北京旷视科技有限公司 物品与电子标签的配对方法、装置及***
CN109446861A (zh) * 2018-10-08 2019-03-08 广州德泰克自动化科技有限公司 一种基于点云数据的ai深度自学习的包裹id追踪***
TWI726422B (zh) * 2018-12-11 2021-05-01 開曼群島商創新先進技術有限公司 二維碼識別方法、裝置及設備
CN110046529A (zh) * 2018-12-11 2019-07-23 阿里巴巴集团控股有限公司 二维码识别方法、装置及设备
CN109740395A (zh) * 2018-12-17 2019-05-10 江苏理工学院 深度学习与形状检测相结合的二维码定位方法及***
CN110175483A (zh) * 2019-05-16 2019-08-27 王志伟 一种基于标签的识别方法
CN110428027A (zh) * 2019-07-22 2019-11-08 杭州沃朴物联科技有限公司 基于lcd防伪标签的识别验伪方法、装置、设备及介质
CN110427793A (zh) * 2019-08-01 2019-11-08 厦门商集网络科技有限责任公司 一种基于深度学习的条码检测方法及其***
CN110427793B (zh) * 2019-08-01 2022-04-26 厦门商集网络科技有限责任公司 一种基于深度学习的条码检测方法及其***
CN110503046A (zh) * 2019-08-26 2019-11-26 华北电力大学（保定） 一种基于图像识别技术的铅封识别法
CN110688900A (zh) * 2019-08-27 2020-01-14 国网河北省电力有限公司电力科学研究院 一种基于图像识别的撤回表计管理方法
CN110827247B (zh) * 2019-10-28 2024-03-15 上海万物新生环保科技集团有限公司 一种识别标签的方法及设备
CN110827247A (zh) * 2019-10-28 2020-02-21 上海悦易网络信息技术有限公司 一种识别标签的方法及设备
US11954385B2 (en) 2019-11-29 2024-04-09 Brother Kogyo Kabushiki Kaisha Editing device editing print data via display device for creating composite label with printing device
CN112874175B (zh) * 2019-11-29 2023-10-03 兄弟工业株式会社 编辑设备
CN112874175A (zh) * 2019-11-29 2021-06-01 兄弟工业株式会社 编辑设备
CN111259893A (zh) * 2020-01-19 2020-06-09 柳潆林 一种基于深度学习的智能工具管理方法
CN111460909A (zh) * 2020-03-09 2020-07-28 兰剑智能科技股份有限公司 基于视觉的货位管理方法和装置
CN111368576B (zh) * 2020-03-12 2023-04-21 成都信息工程大学 一种基于全局优化的Code128条码自动识读方法
CN111368576A (zh) * 2020-03-12 2020-07-03 成都信息工程大学 一种基于全局优化的Code128条码自动识读方法
CN111310509A (zh) * 2020-03-12 2020-06-19 北京大学 基于物流运单的实时条码检测***及方法
WO2021227289A1 (zh) * 2020-05-14 2021-11-18 南京翱翔信息物理融合创新研究院有限公司 一种基于深度学习的复杂背景低质量二维条码检测方法
CN112001383A (zh) * 2020-08-10 2020-11-27 长沙奇巧匠人软件有限公司 一种基于卷积神经网络技术的水表码智能识别方法
CN112395939A (zh) * 2020-09-07 2021-02-23 江苏感创电子科技股份有限公司 一种图书盘点方法及***
CN112329514A (zh) * 2020-09-07 2021-02-05 江苏感创电子科技股份有限公司 一种基于Faster R-CNN算法的图书盘点方法及***
CN112364709A (zh) * 2020-10-20 2021-02-12 浙江工业大学 基于编码识别的机柜智能资产盘点方法
CN112819724A (zh) * 2021-02-05 2021-05-18 广东电网有限责任公司广州供电局 一种基于cnn的扫描文档图像增强方法
CN112819724B (zh) * 2021-02-05 2024-06-28 广东电网有限责任公司广州供电局 一种基于cnn的扫描文档图像增强方法
CN112990133A (zh) * 2021-04-28 2021-06-18 杭州金线连科技有限公司 一种基于多任务的深度卷积神经网络身份证信息识别方法
CN113392833A (zh) * 2021-06-10 2021-09-14 沈阳派得林科技有限责任公司 一种工业射线底片图像铅字编号识别方法
CN113627207A (zh) * 2021-08-02 2021-11-09 深圳思谋信息科技有限公司 条码识别方法、装置、计算机设备和存储介质
CN113627207B (zh) * 2021-08-02 2024-03-22 深圳思谋信息科技有限公司 条码识别方法、装置、计算机设备和存储介质
CN113627849A (zh) * 2021-08-12 2021-11-09 深圳市全景世纪科技有限公司 一种提升自动化货物客户信息采集识别率方法及***
CN114021596A (zh) * 2021-09-22 2022-02-08 厦门华联电子股份有限公司 一种基于深度学习的条码识别方法及装置
CN114021595A (zh) * 2021-09-22 2022-02-08 厦门华联电子股份有限公司 一种二维码识别方法及装置
CN114021595B (zh) * 2021-09-22 2024-08-02 厦门华联电子股份有限公司 一种二维码识别方法及装置
CN113870225B (zh) * 2021-09-28 2022-07-19 广州市华颉电子科技有限公司 一种汽车域控制器的人工智能标签内容与粘贴质量检测方法
CN113870225A (zh) * 2021-09-28 2021-12-31 广州市华颉电子科技有限公司 一种汽车域控制器的人工智能标签内容与粘贴质量检测方法
CN115569851A (zh) * 2022-10-11 2023-01-06 广东飞流智能科技有限公司 一种基于物联网的交叉带智能货物分拣***及方法
CN115569851B (zh) * 2022-10-11 2023-06-20 广东飞流智能科技有限公司 一种基于物联网的交叉带智能货物分拣***及方法

Also Published As

Publication number Publication date
CN108416412B (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN108416412A (zh) 一种基于多任务深度学习的物流复合码识别方法
CN107617573B (zh) 一种基于多任务深度学习的物流编码识别和分拣方法
CA2392987C (en) Multi-resolution label locator
CN109255271B (zh) 用于读取光码的光电代码阅读器和方法
CN102332138A (zh) 包含有不规则货物分拣***的电子商务物流***
CN110049933A (zh) 用于提供车辆中的物体处理的***和方法
US20080008383A1 (en) Detection and identification of postal metermarks
CN106203239A (zh) 用于集装箱理货的信息处理方法、装置和***
US20100027894A1 (en) System and method for automatic recognition of undetected assets
CN111428682B (zh) 快件分拣方法、装置、设备及存储介质
KR101059801B1 (ko) 자동 물류 시스템 및 그 제어방법
CN109034694B (zh) 基于智能制造的生产原料智能存储方法及***
CN111597857B (zh) 一种物流包裹检测方法、装置、设备及可读存储介质
KR20200002383A (ko) 일렬 정렬이 불필요한 화물 분류장치 및 그 방법
US20240104917A1 (en) System and method for image compression
US20210280091A1 (en) System and method for building machine learning or deep learning data sets for recognizing labels on items
US20240211869A1 (en) System and method for improving item scan rates in distribution network
Naumann et al. Literature review: Computer vision applications in transportation logistics and warehousing
CN106325272A (zh) 一种与agv小车配合使用的运输托盘控制***及方法
Roeksukrungrueang et al. An implementation of automatic container number recognition system
Shahin et al. Robotics multi-modal recognition system via computer-based vision
CN115187800A (zh) 基于深度学习的人工智能商品检验方法、装置及介质
CN115860605A (zh) 一种基于视觉识别的仓储物流检测***
CN115169375A (zh) 基于ar与枪球联动的高位物料可视化方法
CN112288372A (zh) 一种可同时识别一维条码和三段码字符的快递单识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant