CN112819793A - 一种集装箱残损识别方法、装置、设备和可读存取介质 - Google Patents

一种集装箱残损识别方法、装置、设备和可读存取介质 Download PDF

Info

Publication number
CN112819793A
CN112819793A CN202110154319.XA CN202110154319A CN112819793A CN 112819793 A CN112819793 A CN 112819793A CN 202110154319 A CN202110154319 A CN 202110154319A CN 112819793 A CN112819793 A CN 112819793A
Authority
CN
China
Prior art keywords
damage
container
image
network
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110154319.XA
Other languages
English (en)
Inventor
黄深广
刘清
黄昂涛
朱振刚
李雪琪
史俞
梅浪奇
吴高德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo Port Information Comm Co ltd
Wuhan University of Technology WUT
Original Assignee
Ningbo Port Information Comm Co ltd
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo Port Information Comm Co ltd, Wuhan University of Technology WUT filed Critical Ningbo Port Information Comm Co ltd
Publication of CN112819793A publication Critical patent/CN112819793A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种集装箱残损识别方法、装置、设备和可读存取介质。所述集装箱残损识别方法，包括：获取目标图像，所述目标图像为在所述集装箱的转运过程中，采集到的包含不同视角的集装箱图像；将所述目标图像输入训练完备的集装箱残损识别模型进行识别；基于识别结果，输出所述目标图像中集装箱上的残损类型、残损程度、以及位置信息，所述位置信息为所述残损类型、残损程度在所述集装箱上的位置信息。该方法利用了可以进行目标检测的集装箱残损识别模型，采集的集装箱目标图像经过训练完备的集装箱残损识别模型的识别，可以准确输出集装箱残损类型、程度和对应位置信息，在无人化操作模式下快速、准确地对残损集装箱进行处理。

Description

一种集装箱残损识别方法、装置、设备和可读存取介质
技术领域
本申请涉及集装箱识别技术领域，特别是涉及一种集装箱残损识别方法、装置、设备和可读存取介质。
背景技术
近年来，港口集装箱运输业发展迅猛，集装箱的质量管控是保证港口集装箱运输业良性运行中必不可少的重要一环，尤其是集装箱箱体残损检测。集装箱箱体残损检测是集装箱进入港区码头内不可避免的一项检验工作，主要是为了防止运输企业和码头因箱体破损引起的纠纷，目前这项工作是由进港闸口工作人员进入道口进行人工记录来完成。
另外，随着信息技术的发展，出现越来越多的全自动化港口，在全自动化港口中，信息感知***、作业控制***、调度指挥***等日臻完善。然而，集装箱箱体残损检测目前并没有完全智能化，仍然需要码头工作人员进行人工记录，尤其是需要码头工作人员攀爬较高的廊桥来检查箱体顶面，存在安全隐患、残损检测不准确等问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够智能替代人工检测，可在无人化操作模式下快速、准确地检查集装箱箱体残损的一种集装箱残损识别方法、装置、设备和可读存取介质。
第一方面，本申请实施例提供了一种集装箱残损识别方法，包括：
获取目标图像，所述目标图像为在所述集装箱的转运过程中，采集到的包含不同视角的集装箱图像；
将所述目标图像输入训练完备的集装箱残损识别模型进行识别；
基于识别结果，输出所述目标图像中集装箱上的残损类型、残损程度、以及位置信息，所述位置信息为所述残损类型、残损程度在所述集装箱上的位置信息。
在其中一个实施例中，所述集装箱残损识别模型是基于Res2Net101网络训练得到的。
在其中一个实施例中，基于所述Res2Net101网络训练得到所述集装箱残损识别模型包括：
使用COCO数据集对所述Res2Net101网络进行预训练；
将预训练好的Res2Net101网络加载至MASK-Rcnn模型，进行二次训练，得到所述集装箱残损识别模型。
在其中一个实施例中，所述使用COCO数据集对所述Res2Net101网络进行预训练，包括：
获取所述Res2Net101网络；
向所述Res2Net101网络引入1个平均池化层和1个全连接层，并保存所述Res2Net101网络的卷积层权重，使用COCO数据集对所述Res2Net101网络进行训练。
在其中一个实施例中，所述将预训练好的Res2Net101网络加载至MASK-Rcnn模型，进行二次训练，得到所述集装箱残损识别模型，包括：
在所述MASK-Rcnn模型中加载预训练好的所述Res2Net101网络的参数，并初始化其余输出层参数；
加载完成后，使用集装箱残损图像样本数据集，对所述MASK-Rcnn模型进行训练，得到所述集装箱残损识别模型。
在其中一个实施例中，在使用集装箱残损图像样本数据集，对所述MASK-Rcnn模型预训练好的Res2Net101网络进行训练之前还包括：
获取原始集装箱残损图像样本，对所述原始集装箱残损图像样本进行数据增强，并加入噪声数据，得到所述集装箱残损图像样本数据集。
在其中一个实施例中，对所述集装箱残损图像样本进行数据增强包括：水平翻转图像、竖直翻转图像、引入随机的高斯模糊、对图像进行缩放、改变图像的对比度、对输入图像进行锐化并将锐化后的图像与输入图像采用35％和60％之间的随机混合因子进行混合、反转输入像素值、对图像进行随机的形变、对图像进行左右平移、对图像进行上下平移、对图像进行顺时针旋转、对图像进行逆时针的旋转中的一种或多种。
在其中一个实施例中，所述集装箱的残损类型包括凹损、凸损、破洞、划痕、标识残损、集装箱箱门破损、集装箱门栏杆变形中的一种或多种；
所述集装箱的残损程度包括轻度残损、中度残损、以及重度残损。
在其中一个实施例中，将所述目标图像输入训练完备的集装箱残损识别模型进行识别，包括：
利用所述Res2Net101网络提取目标图像中不同深度的第一特征图；
根据所述第一特征图，采用FPN架构生成第二特征图，并对所述第二特征图进行图像增强处理，得到第三特征图；
对于所述第三特征图中的每个点，以其坐标为中心，以不同的宽和高设置多个候选框，根据RPN网络判断所述多个候选框分别是属于前景还是背景，对判断结果为前景的候选框定义为前景候选框，并对所述前景候选框的中心、宽以及高进行第一次边框回归，所述第一次边框回归为使所述前景候选框经过映射得到一个跟所述目标图像更接近的第一前景候选框；
将所述第一次边框回归处理得到的所述第一前景候选框转换成统一的尺寸，并对所述第一前景候选框进行分类、第二次边框回归以及分割，得到最终的残损识别结果。
在其中一个实施例中，对所述第一前景候选框进行分类判断、第二次边框回归以及分割，得到最终的残损识别结果，包括：
对所有的所述第一前景候选框进行分类判断，得到每个所述第一前景候选框的具体残损类型以及残损程度，所述具体残损类型以及残损程度为所述目标图像中集装箱的残损类型以及残损程度；
对所述第一前景候选框进行第二次边框回归，得到第二前景候选框；
采用反卷积操作对所述第二前景候选框进行上采样，使其恢复至与所述目标图像相同的尺寸，从而对每一个像素都产生一个预测，得到所述残损类型、残损程度在所述集装箱上的位置信息。
第二方面，本申请实施例提供了一种集装箱残损识别装置，包括：
图像采集模块，用于获取目标图像，所述目标图像为在所述集装箱的转运过程中，采集到的包含不同视角的集装箱图像；
残损识别模块，用于将所述目标图像输入训练完备的集装箱残损识别模型进行识别；以及
残损输出模块，用于基于识别结果，输出所述目标图像中的集装箱的残损类型、残损程度、以及位置信息，所述位置信息为所述残损类型、残损程度在所述集装箱上的位置信息。
在第三方面，本申请实施例提供了一种集装箱残损识别设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的集装箱残损识别方法。
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的集装箱残损识别方法。
相比于相关技术，本申请实施例提供的集装箱残损识别方法，通过增加残损识别操作，将采集的目标图像输入训练完备的集装箱残损识别模型进行识别，可以准确输出目标图像中的集装箱的残损类型、残损程度、以及位置信息，解决了现存的人工检测识别存在安全隐患以及准确性不高的问题，实现了在无人化操作模式下快速、准确地对残损集装箱进行处理的目的。
附图说明
为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的集装箱残损识别方法应用终端硬件结构框图；
图2是本申请实施例提供的集装箱残损识别方法的流程示意图；
图3是本申请实施例提供的Res2Net网络模块与ResNet标准残差网络模块对比示意图；
图4是本申请实施例提供的集装箱残损识别MASK-Rcnn模型的训练过程示意图；
图5是本申请实施例提供的集装箱残损识别MASK-Rcnn模型预训练流程图；
图6是本申请实施例提供的集装箱残损识别MASK-Rcnn模型二次训练流程图；
图7是本申请实施例提供的集装箱残损识别MASK-Rcnn模型损失计算函数CIOU中d、c参数示意图；
图8是本申请实施例提供的集装箱残损识别MASK-Rcnn模型中改进网络路径融合增强流程图；
图9是本申请实施例提供的集装箱残损识别MASK-Rcnn模型中目标框回归原理图；
图10为本申请实施例提供的集装箱残损识别装置的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是本申请实施例的一种集装箱残损识别方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本申请实施例中的一种集装箱残损识别方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
正如背景技术所述，现有技术中进行集装箱残损识别仍然是通过人工记录，存在安全隐患、残损检测不准确等问题。经申请人研究发现，出现这种问题的原因在于目前集装箱残损识别方法落后，不能满足当前信息感知***、作业控制***、调度指挥***等日臻完善的全自动化港口的需求。基于以上原因，本申请提供了一种集装箱残损识别方法、装置、设备和可读存取介质。
在一个实施例中，提供了一种集装箱残损识别方法，图2是本申请实施例提供的集装箱残损识别方法的流程示意图，该方法包括以下步骤：
步骤S201、获取目标图像，目标图像为在集装箱的转运过程中，采集到的包含不同视角的集装箱图像。
集装箱残损可能发生在集装箱的各个位置，为了全面评估集装箱残损状况，对于集装箱图像的采集必然要完全包括集装箱的各个位置。在集装箱的转运过程中，可以通过设置在转运场所各个位置上的摄像装置采集集装箱各个视角的目标图像，然后从摄像装置中获取各个视角的集装箱图像，也可以通过对各个视角实时的监控视频中获取各个视角的集装箱图像，以保证采集到的集装箱图像的完整性以及准确性，这是进行集装箱残损识别的前提条件。
步骤S202、将目标图像输入训练完备的集装箱残损识别模型进行识别。
集装箱残损识别模型是图像识别技术应用在集装箱残损识别领域所构建的模型，需要考虑集装箱残损情况的特殊性。常见的图像识别技术通常基于卷积神经网络(Convolutional Neural Networks，简称CNN)方法来实现，CNN方法引入目标检测领域形成目前比较常用的R-CNN(Region-CNN)方法。进一步地，逐渐发展出一系列目标图像检测模型，例如：Fast R-CNN模型、Faster R-CNN模型、Mask R-CNN模型等，这些目标图像检测模型均可以用来识别集装箱残损情况。
在目标图像输入集装箱残损识别模型进行识别之前，所述集装箱残损识别模型需要依靠大量的数据进行训练，训练所需的数据可以使用一些常用的机器学习训练数据。更重要的是，结合集装箱残损识别的应用场景，已经存在的各种类型集装箱残损图像均可以作为训练数据训练集装箱残损识别模型，提高所述集装箱残损识别模型识别准确性。基于已经训练完备的集装箱残损识别模型，输入待识别的目标图像，获取所述目标图像的识别结果。
步骤S203、基于识别结果，输出所述目标图像中集装箱上的残损类型、残损程度、以及位置信息，所述位置信息为所述残损类型、残损程度在所述集装箱上的位置信息。
集装箱残损识别的目的是为了迅速定位有残损缺陷的集装箱，防止这些残损集装箱流出码头，因此，根据上述的集装箱残损识别模型迅速定位出集装箱残损的类型、残损程度以及残损位置，基于上述残损情况及时对残损集装箱进行处理，可以有效保证码头工作的高效运转。
在上述集装箱残损识别方法中，残损识别利用了可以进行目标检测的训练完备的集装箱残损识别模型，采集的集装箱目标图像经过训练完备的集装箱残损识别模型的识别，可以准确输出集装箱残损类型、残损程度和位置信息，在无人化操作模式下快速、准确地对残损集装箱进行处理。
在本申请实施例中，上述集装箱残损识别模型是基于Res2Net101网络训练得到的。对于此处的集装箱残损识别模型，本说明书后续部分均使用集装箱残损识别MASK-Rcnn模型为例来进行说明。对于Res2Net101网络，其是由ResNet标准残差网络变化而来，如图3所示。
图3是本申请实施例提供的Res2Net网络模块与ResNet标准残差网络模块对比示意图，图3(a)为ResNet标准残差网络模块，是由1*1、3*3、1*1共3个卷积层串接在一起作为一个残差网络，而图3(b)的Res2Net网络模块将输入特征图划分为几个组x1、x2、x3、x4。一组卷积核K2首先从一组输入特征图x2中提取特征，然后将输出的特征图与另一组输入特征图x3再通过另一组卷积核K3提取特征输出的特征图为y3。上述过程重复几次，直到处理完所有的输入特征图。最后，将所有组输出的特征图y1、y2、y3、y4拼接起来，再通过1x1的卷积核进行特征融合。从图3可以看出来，上述操作并没有对第一组输入特征图x1进行卷积操作，一方面可以减少参数的数量，另外也可以使特征进行重复利用。此处的另一个实施例采用101层Res2Net网络来提取输入图像的特征。其构架如表1所示。
表1
Figure BDA0002933986860000111
上述的Res2Net101网络第一层采用三个3*3卷积核，通道数为64，步长为2，经过标准化和池化，输入至第二层；第二层设置3个Res2Net网络，通道数由64增加至256；第三层设置4个Res2Net网络，通道数增加至512；第四层设置23个Res2Net网络，通道数增加至1024；第五层设置3个Res2Net网络，通道数增加至2048。
Res2Net101网络在多个尺度上表示特征并且增加了每个网络层的感受野范围，提升了特征提取的利用率，减少了信息的丢失。
在另一个实施例中，如图4所示，基于上述Res2Net101网络训练得到集装箱残损识别MASK-Rcnn模型的训练过程包括：
步骤S401，使用COCO 80数据集对Res2Net101网络进行预训练。具体地，获取MASK-Rcnn模型中Res2Net101网络的主体部分；向Res2Net101网络的主体部分引入1个平均池化层和1个全连接层，并保存Res2Net101网络的卷积层权重，使用COCO 80数据集对所述Res2Net101网络进行预训练。
此处引入1个平均池化层的目的与Res2Net101网络部分中的最大池化并不相同，该平均池化层不是通过设置的池化窗口尺寸对输入特征图进行分块进行求取各个分块中像素的最大值，而是直接把整个特征图进行平均池化，即进行求取平均值操作。
COCO 80数据集是一个适用于目标检测、图像分割和字幕大型数据集，共有80个类别，其中交通信号灯、汽车、人的标签较多，其中“人”这个标签就有近9万张图像。使用COCO80数据集进行上述预训练可以降低集装箱残损识别MASK-Rcnn模型对数据样本的依赖，可以使Res2Net101网络逐渐获得分析数据并提取数据特征的能力，同时可以使Res2Net101网络具备对目标图像中常见信息的理解能力，例如边缘、纹理、颜色、前景、背景等。
使用COCO 80数据集对所述Res2Net101网络进行预训练，参照图5所示本申请实施例提供的集装箱残损识别MASK-Rcnn模型预训练流程图。将源域COCO 80数据集中的图像尺寸初始化为416*416；因为COCO 80数据集有80个类别，在Res2Net101网络后添加80类输出层，设置训练的最大迭代次数、训练损失阀值以及迭代初始值为0；当当前迭代次数小于最大迭代次数时，在源域COCO 80数据集上训练Res2Net101网络，并计算训练损失值，如果训练损失值小于训练损失阀值，则保存预训练网络模型参数到向量X；当迭代次数大于或等于最大迭代次数时，则直接保存预训练网络模型参数到向量X。所述向量X保存着预训练网络模型的参数。另外，在迭代次数小于最大迭代次数的情况下，如果当前损失值大于或等于损失阈值，则不进行保存预训练网络模型参数到向量X的操作，继续判断迭代次数与最大迭代次数的大小。
步骤S402，将预训练好的Res2Net101网络加载至集装箱残损识别MASK-Rcnn模型，进行二次训练，得到训练完备的集装箱残损识别MASK-Rcnn模型。具体地，在集装箱残损识别MASK-Rcnn模型中加载预训练好的Res2Net101网络的参数，并初始化其余输出层参数；加载完成后，使用集装箱残损图像样本数据集，对所述集装箱残损识别MASK-Rcnn模型进行训练，得到训练完备的集装箱残损识别MASK-Rcnn模型。
上述二次训练过程可以使Res2Net101网络更快速的学习新目标的特征，更快地适应集装箱残损识别任务。
使用目标域集装箱残损图像样本数据集对所述Res2Net101网络进行二次训练，参照图6所示的本申请实施例提供的集装箱残损识别MASK-Rcnn模型二次训练流程图。将目标域集装箱残损图像样本数据集中的图像尺寸调整为1728*972；将已训练好的的Res2Net101网络参数X迁移至改进模型中，设置最大迭代次数、损失阀值，迭代初始值为0；当迭代次数小于最大迭代次数，在目标域集装箱残损图像样本数据集上训练完整改进的Res2Net101网络，并计算训练损失值b1，如果训练损失值小于损失阀值，则保存完整改进模型参数；当前迭代次数大于或等于最大迭代次数，则直接保存完整改进模型参数。另外，在当前迭代次数小于最大迭代次数的情况下，如果训练损失值大于或等于损失阀值，则不进行保存预训练网络模型参数的操作，继续判断迭代次数与最大迭代次数的大小。
在本申请的实施例中，使用集装箱残损图像样本数据集，对集装箱残损识别MASK-Rcnn模型预训练好的Res2Net101网络进行训练之前还包括：获取原始集装箱残损图像样本，并对所述原始集装箱残损图像样本进行数据增强，并加入噪声数据，得到所述集装箱残损图像样本数据集。上述数据增强操作应用于50％的原始集装箱残损图像样本数据集，设置10种增强操作，每次使用数据增强时，从10种增强操作中任意选择1到5种来处理图片。
对原始集装箱残损图像样本数据集进行数据增强包括：水平翻转图像，即从左向右或从右向左进行180度图像翻转；竖直翻转图像，即从上向下或从下向上进行180度图像翻转；引入随机的高斯模糊；对图像进行缩放；改变图像的对比度，包括提高对比度和降低对比度；对输入图像进行锐化并将锐化后的图像与输入图像采用35％和60％之间的随机混合因子进行混合；反转输入像素值，即原来的值为v，更改后值为255-v；对图像进行随机的形变；对图像进行左右或/和上下平移；对图像进行顺时针或逆时针旋转。
在剩余50％的原始集装箱残损图像样本数据集中，除训练原始数据集外，增加基于原图引入噪声数据后的噪声样本。通常在RGB图像中，高斯噪声显现较为明显。高斯噪声是指服从高斯分布的一类噪声，通常是因为不良照明和高温引起的传感器噪声，故对于现实中普遍存在的引入高斯噪声的图像样本所形成的噪声样本，需要增加该噪声样本进行训练。
另外，为降低正常集装箱本身所存在的凹凸、标识及轻微磨损带来的误检，训练图像样本除常见残损类型外，可引入正常集装箱图像样本一同进行训练，正常图像样本与残损图像样本的比例为2:1，测试时若识别为正常目标图像，则不进行正常集装箱的残损判断及输出。
上述将已有的原始集装箱残损图像样本数据集进行数据增强操作，可以增加二次训练样本的数量，提升网络模型的泛化能力；上述增加噪声样本数据，可提升集装箱残损识别MASK-Rcnn模型的鲁棒性；上述引入正常图像样本，可以降低误检的可能性。以上对图像样本的处理，可提高对集装箱残损识别MASK-Rcnn模型训练的性能，提高集装箱残损识别的准确性。
在本申请的实施例中，集装箱的残损类型包括凹损、凸损、破洞、划痕、标识残损、集装箱箱门破损、集装箱门栏杆变形中的一种或多种；集装箱的残损程度包括轻度残损、中度残损、以及重度残损。集装箱残损类别具有以上各式种类，不同集装箱种类又存在不同的残损程度，为了清楚地识别集装箱残损情况，有必要在残损输出中明确表明集装箱上特定位置上存在特定类型与程度的残损，方便工作人员迅速识别并进行维修。
在本申请的实施例中，所述集装箱残损识别MASK-Rcnn模型常用的IOU(Intersection over Union)损失函数变更为CIOU(Complete-IoU)损失函数；非极大值抑制NMS(non-maximum suppression)变更为DIOU-NMS(Distance-IoU-NMS)。
IOU作为损失函数的缺点是，当目标图像的目标框与预测框不重叠时，无论目标框与预测框的距离是远还是近，其IOU都为0，因此，当二者不重叠时，IOU无法衡量目标框与预测框之间的距离关系。为了解决IOU作为损失函数的不足之处，有GIoU(Generalized-IoU)的提出，但当目标框完全包裹预测框的时候，IoU和GIoU的值都一样，此时GIoU退化为IoU,无法区分其相对位置关系。为了准确衡量目标框与预测框的关系，提高集装箱残损识别MASK-Rcnn模型的识别有效性，引入CIoU，CIoU Loss将重叠面积，中心点距离和长宽比三个重要的几何因素均考虑在内，其收敛精度更高。
CIoU中的惩罚项表示为RCIoU，CIoU Loss function表示为LCIoU。其定义如公式(1)-(4)所示。
Figure BDA0002933986860000151
Figure BDA0002933986860000152
Figure BDA0002933986860000153
Figure BDA0002933986860000154
其中α是用于做trade-off的参数，v是用来衡量长宽比一致性的参数，ρ(·)表示欧式距离，b和bgt分别表示预测框B和目标框Bgt的中心点，d代表计算两个中心点之间的欧氏距离，c代表GIoU中的最小外接矩形的对角线距离，其示意图参见图7。如图7所示本申请实施例提供的集装箱残损识别MASK-Rcnn模型损失计算函数CIOU中d、c参数示意图,粗线框代表原始的预测框，虚线框代表目标的Ground Truth，即目标框，d为预测框中心点和目标框中心点之间的欧氏距离，其计算公式如下所示。
Figure BDA0002933986860000161
其ρ即为预测框中心点(x2，y2)与目标框中心点(x1，y1)之间的欧氏距离。
预测框和目标框的最小外接矩形如细线框所示，c代表最小外接矩形的对角线距离。
CIoU Loss可以直接优化预测框和目标框之间的距离，CIoU就是在DIoU的基础上增加了检测框尺度的loss，增加了长和宽的loss，其收敛速度更快，精度更高，这样预测框就会更加的符合真实框。
DIOU-NMS即在NMS过程中采用DIoU的计算方式替换了IoU，由于DIoU的计算考虑到了两框中心点位置的信息，故使用DIoU进行评判的NMS效果更符合实际，效果更优。
在本申请的实施例中，将目标图像输入训练完备的集装箱残损识别MASK-Rcnn模型进行识别，包括：
S501、利用所述Res2Net101网络提取目标图像中不同深度的第一特征图C1-C5；
S502、根据所述第一特征图中的C2-C5，采用FPN架构生成第二特征图P2-P5，并对所述第二特征图P2-P5进行图像增强处理，得到第三特征图P2’-P6’；
参见图8所示本申请实施例提供的集装箱残损识别MASK-Rcnn模型中改进网络路径融合增强流程图，对P2-P5进行路径融合增强处理：将FPN输出的特征图P2转换为P21，并将其进行卷积操作，与P3相加后得到P31；同理将P31与3×3的卷积核进行卷积操作后和P4相加得到P41，再由P41得到P51。除第一层直接进行输出P2’外，后面的3层均将上步骤的输入和输出进行融合后再输出，即将P3和P31、P4和P41、P5和P51分别进行融合得到层输出P3’-P6’。上述路径融合增强在不降低高层信息的基础上，提高低层信息的利用率，提升位置信息的准确性。
S503、对于所述第三特征图中的每个点，以其坐标为中心，以不同的宽和高设置多个候选框，根据RPN(region proposal networks)网络判断所述多个候选框分别是属于前景还是背景，对判断结果为前景的候选框定义为前景候选框，并对所述前景候选框的中心、宽以及高进行第一次边框回归，所述第一次边框回归为使所述前景候选框经过映射得到一个跟所述目标图像更接近的第一前景候选框。
所述候选框通过宽度为32、64、128、256、512五种值、宽高比为0.5、1、2三种值来生成；所述根据RPN网络判断所述多个候选框分别属于前景还是背景属于一种二值分法；所述对判断结果为前景的候选框的中心、宽以及高进行第一次坐标微调可以使定位更加准确。
对于候选框一般使用四维向量(x,y,w,h)来表示，分别表示候选框的中心点坐标和宽高。如图9所示本申请实施例提供的集装箱残损识别MASK-Rcnn模型中目标框回归原理图，粗线框P代表原始的预测框，虚线框G代表目标的Ground Truth，回归的目标是寻找一种关系使得输入原始的窗口P经过映射得到一个跟真实窗口G更接近的回归窗口
Figure BDA0002933986860000171
使用平移和尺度放缩将原始预测框P转换为最终回归框
Figure BDA0002933986860000172
即计算其平移参数(tx,ty)和尺度缩放参数(tw,th)，其计算公式如(6)-(9)所示。
Figure BDA0002933986860000181
Figure BDA0002933986860000182
Figure BDA0002933986860000183
Figure BDA0002933986860000184
其中，(Px,Py,Pw,Ph)为原始预测框P的中心点坐标和宽高，(Gx,Gy,Gw,Gh)为标注框G的中心点坐标和宽高。
那么目标函数可以表示为
Figure BDA0002933986860000185
Φ5(P)是输入矩形框的特征向量，ω*是要学习的参数(*表示x,y,w,h，即每一个变换对应一个目标函数),d*(P)是得到的预测值。让预测值跟真实值t*＝(tx，ty，tw，th)差距最小，坐标回归损失值计算采用SmoothL1loss，具体描述为：
Figure BDA0002933986860000186
Figure BDA0002933986860000187
利用梯度下降法或者最小二乘法就可以得到ω*。
再根据学习到的回归参数测试图像，首先通过CNN提取特征Φ5(P)得到预测的变化d*(P)，最后根据以下4个公式对窗口进行微调：
Figure BDA0002933986860000188
Figure BDA0002933986860000189
Figure BDA00029339868600001810
Figure BDA00029339868600001811
S504、将所述第一次边框回归处理得到的所述第一前景候选框转换成统一的尺寸，并对所述第一前景候选框进行分类、第二次边框回归以及分割，得到最终的残损识别结果。
其中，对所述第一前景候选框进行分类判断、第二次边框回归以及分割，得到最终的残损识别结果，包括：对所有的所述第一前景候选框进行分类判断，得到每个所述第一前景候选框的具体残损类型以及残损程度，所述具体残损类型以及残损程度为所述目标图像中集装箱的残损类型以及残损程度；
对所述第一前景候选框进行第二次边框回归，得到第二前景候选框；
采用反卷积操作对所述第二前景候选框进行上采样，使其恢复至与所述目标图像相同的尺寸，从而对每一个像素都产生一个预测，得到所述目标图像中集装箱的位置信息。
在集装箱残损识别MASK-Rcnn模型中，Mask分支本质上是一个FCN(FullyConvolutional Network)网络。通常CNN网络在卷积之后会接上若干个全连接层，FCN网络采用反卷积层对最后一个卷积层得到的特征图(feature map)进行上采样，使它恢复到输入图像相同的尺寸，从而可以对每一个像素都产生一个预测，同时保留了原始输入图像中的空间信息。所有的层都是卷积层，故称为全卷积网络。所以Mask分支的任务就是接收卷积得到的特征图，进行反卷积操作，最后得到proposal中的实例的轮廓，这个轮廓相当于是盖在原始proposal上的Mask，在这个Mask之内的值为1，不在这个Mask之内的值为0。
ROI Align算法的思路是：取消量化操作，使用双线性内插的方法获得坐标为浮点数的像素点上的图像数值，从而将整个特征聚集过程转化为一个连续的操作，值得注意的是，在具体的算法操作上，ROI Align算法并不是简单地补充出候选区域边界上的坐标点，然后将这些坐标点进行池化，而是重新设计了一套流程。
图10是本申请实施例提供的集装箱残损识别装置，该装置包括：图像采集模块10、残损识别模块20以及残损输出模块30，所述图像采集模块10，用于获取目标图像，所述目标图像为在所述集装箱的转运过程中，采集到的包含不同视角的集装箱图像；所述残损识别模块20，用于将所述目标图像输入训练完备的集装箱残损识别模型进行识别；所述残损输出模块30，用于基于识别结果，输出所述目标图像中集装箱上的残损类型、残损程度、以及位置信息，所述位置信息为所述残损类型、残损程度在所述集装箱上的位置信息。
本申请实施例中所述集装箱残损识别模型是基于Res2Net101网络训练得到的。基于所述Res2Net101网络训练得到的所述集装箱残损识别模型包括：
预训练单元21，用于使用COCO数据集对所述Res2Net101网络进行预训练；具体地，获取MASK-Rcnn模型中Res2Net101网络的主体部分；向Res2Net101网络的主体部分引入1个平均池化层和1个全连接层，并保存Res2Net101网络的卷积层权重，使用COCO 80数据集对所述Res2Net101网络进行预训练。
二次训练单元22，用于将预训练好的Res2Net101网络加载至MASK-Rcnn模型，进行二次训练，得到所述集装箱残损识别模型。具体地，在集装箱残损识别MASK-Rcnn模型中加载预训练好的Res2Net101网络的参数，并初始化其余输出层参数；加载完成后，使用集装箱残损图像样本数据集，对所述集装箱残损识别MASK-Rcnn模型进行训练，得到训练完备的集装箱残损识别MASK-Rcnn模型。
在本申请实施例中，二次训练单元22使用集装箱残损图像样本数据集，对集装箱残损识别MASK-Rcnn模型预训练好的Res2Net101网络进行训练之前还包括：获取原始集装箱残损图像样本，并对所述原始集装箱残损图像样本进行数据增强，并加入噪声数据，得到所述集装箱残损图像样本数据集。
二次训练单元22对所述集装箱残损图像样本进行数据增强包括：水平翻转图像、竖直翻转图像、引入随机的高斯模糊、对图像进行缩放、改变图像的对比度、对输入图像进行锐化并将锐化后的图像与输入图像采用35％和60％之间的随机混合因子进行混合、反转输入像素值、对图像进行随机的形变、对图像进行左右平移、对图像进行上下平移、对图像进行顺时针旋转、对图像进行逆时针的旋转中的一种或多种。
所述残损输出模块30，用于基于识别结果，输出所述目标图像中集装箱上的残损类型、残损程度、以及位置信息，所述位置信息为所述残损类型、残损程度在所述集装箱上的位置信息。所述集装箱的残损类型包括凹损、凸损、破洞、划痕、标识残损、集装箱箱门破损、集装箱门栏杆变形中的一种或多种；所述集装箱的残损程度包括轻度残损、中度残损、以及重度残损。
所述残损识别模块20，用于将所述目标图像输入训练完备的集装箱残损识别模型进行识别，包括：
特征提取单元201，用于利用所述Res2Net101网络提取目标图像中不同深度的第一特征图；
特征增强单元202，用于根据所述第一特征图，采用FPN架构生成第二特征图，并对所述第二特征图进行图像增强处理，得到第三特征图；
边框回归单元203，对于所述第三特征图中的每个点，以其坐标为中心，以不同的宽和高设置多个候选框，根据RPN网络判断所述多个候选框分别是属于前景还是背景，对判断结果为前景的候选框定义为前景候选框，并对所述前景候选框的中心、宽以及高进行第一次边框回归，所述第一次边框回归为使所述前景候选框经过映射得到一个跟所述目标图像更接近的第一前景候选框；
残损识别单元204，将所述第一次边框回归处理得到的所述第一前景候选框转换成统一的尺寸，并对所述第一前景候选框进行分类、第二次边框回归以及分割，得到最终的残损识别结果。
所述残损识别单元204对所述第一前景候选框进行分类判断、第二次边框回归以及分割，得到最终的残损识别结果，包括：将所述第一次边框回归处理得到的所述第一前景候选框转换成统一的尺寸，对所有的所述第一前景候选框进行分类判断，得到每个所述第一前景候选框的具体残损类型以及残损程度，所述具体残损类型以及残损程度为所述目标图像中集装箱上的残损类型以及残损程度；对所述第一前景候选框进行第二次边框回归，得到第二前景候选框；采用反卷积操作对所述第二前景候选框进行上采样，使其恢复至与所述目标图像相同的尺寸，从而对每一个像素都产生一个预测，得到所述残损类型、残损程度在所述集装箱上的位置信息。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种集装箱残损识别设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述集装箱残损识别设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：S1、获取目标图像，所述目标图像为在所述集装箱的转运过程中，采集到的包含不同视角的集装箱图像；S2、将所述目标图像输入训练完备的集装箱残损识别模型进行识别；S3、基于识别结果，输出所述目标图像中集装箱上的残损类型、残损程度、以及位置信息，所述位置信息为所述残损类型、残损程度在所述集装箱上的位置信息。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的集装箱残损识别方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种集装箱残损识别方法。本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种集装箱残损识别方法，其特征在于，包括：
获取目标图像，所述目标图像为在所述集装箱的转运过程中，采集到的包含不同视角的集装箱图像；
将所述目标图像输入训练完备的集装箱残损识别模型进行识别；
基于识别结果，输出所述目标图像中集装箱上的残损类型、残损程度、以及位置信息，所述位置信息为所述残损类型、残损程度在所述集装箱上的位置信息。
2.根据权利要求1所述的集装箱残损识别方法，其特征在于，所述集装箱残损识别模型是基于Res2Net101网络训练得到的。
3.根据权利要求2所述的集装箱残损识别方法，其特征在于，基于所述Res2Net101网络训练得到所述集装箱残损识别模型包括：
使用COCO数据集对所述Res2Net101网络进行预训练；
将预训练好的Res2Net101网络加载至MASK-Rcnn模型，进行二次训练，得到所述集装箱残损识别模型。
4.根据权利要求3所述的集装箱残损识别方法，其特征在于，所述使用COCO数据集对所述Res2Net101网络进行预训练，包括：
获取所述Res2Net101网络；
向所述Res2Net101网络引入1个平均池化层和1个全连接层，并保存所述Res2Net101网络的卷积层权重，使用COCO数据集对所述Res2Net101网络进行训练。
5.根据权利要求3所述的集装箱残损识别方法，其特征在于，所述将预训练好的Res2Net101网络加载至MASK-Rcnn模型，进行二次训练，得到所述集装箱残损识别模型，包括：
在所述MASK-Rcnn模型中加载预训练好的所述Res2Net101网络的参数，并初始化其余输出层参数；
加载完成后，使用集装箱残损图像样本数据集，对所述MASK-Rcnn模型进行训练，得到所述集装箱残损识别模型。
6.根据权利要求5所述的集装箱残损识别方法，其特征在于，在使用集装箱残损图像样本数据集，对所述MASK-Rcnn模型预训练好的Res2Net101网络进行训练之前还包括：
获取原始集装箱残损图像样本，对所述原始集装箱残损图像样本进行数据增强，并加入噪声数据，得到所述集装箱残损图像样本数据集。
7.根据权利要求6所述的集装箱残损识别方法，其特征在于，对所述集装箱残损图像样本进行数据增强包括：水平翻转图像、竖直翻转图像、引入随机的高斯模糊、对图像进行缩放、改变图像的对比度、对输入图像进行锐化并将锐化后的图像与输入图像采用35％和60％之间的随机混合因子进行混合、反转输入像素值、对图像进行随机的形变、对图像进行左右平移、对图像进行上下平移、对图像进行顺时针旋转、对图像进行逆时针的旋转中的一种或多种。
8.根据权利要求1所述的集装箱残损识别方法，其特征在于，所述集装箱的残损类型包括凹损、凸损、破洞、划痕、标识残损、集装箱箱门破损、集装箱门栏杆变形中的一种或多种；
所述集装箱的残损程度包括轻度残损、中度残损、以及重度残损。
9.根据权利要求2所述的集装箱残损识别方法，其特征在于，将所述目标图像输入训练完备的集装箱残损识别模型进行识别，包括：
利用所述Res2Net101网络提取目标图像中不同深度的第一特征图；
根据所述第一特征图，采用FPN架构生成第二特征图，并对所述第二特征图进行图像增强处理，得到第三特征图；
对于所述第三特征图中的每个点，以其坐标为中心，以不同的宽和高设置多个候选框，根据RPN网络判断所述多个候选框分别是属于前景还是背景，对判断结果为前景的候选框定义为前景候选框，并对所述前景候选框的中心、宽以及高进行第一次边框回归，所述第一次边框回归为使所述前景候选框经过映射得到一个跟所述目标图像更接近的第一前景候选框；
将所述第一次边框回归处理得到的所述第一前景候选框转换成统一的尺寸，并对所述第一前景候选框进行分类、第二次边框回归以及分割，得到最终的残损识别结果。
10.根据权利要求9所述的集装箱残损识别方法，其特征在于，对所述第一前景候选框进行分类判断、第二次边框回归以及分割，得到最终的残损识别结果，包括：
对所有的所述第一前景候选框进行分类判断，得到每个所述第一前景候选框的具体残损类型以及残损程度，所述具体残损类型以及残损程度为所述目标图像中集装箱上的残损类型以及残损程度；
对所述第一前景候选框进行第二次边框回归，得到第二前景候选框；
采用反卷积操作对所述第二前景候选框进行上采样，使其恢复至与所述目标图像相同的尺寸，从而对每一个像素都产生一个预测，得到所述残损类型、残损程度在所述集装箱上的位置信息。
11.一种集装箱残损识别装置，其特征在于，包括：
图像采集模块，用于获取目标图像，所述目标图像为在所述集装箱的转运过程中，采集到的包含不同视角的集装箱图像；
残损识别模块，用于将所述目标图像输入训练完备的集装箱残损识别模型进行识别；以及
残损输出模块，用于基于识别结果，输出所述目标图像中的集装箱的残损类型、残损程度、以及位置信息，所述位置信息为所述残损类型、残损程度在所述集装箱上的位置信息。
12.一种集装箱残损识别设备，包括存储器、处理器以及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10所述的集装箱残损识别方法。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要去1至10中任一项所述的集装箱残损识别方法。
CN202110154319.XA 2021-02-01 2021-02-04 一种集装箱残损识别方法、装置、设备和可读存取介质 Pending CN112819793A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2021101358930 2021-02-01
CN202110135893 2021-02-01

Publications (1)

Publication Number Publication Date
CN112819793A true CN112819793A (zh) 2021-05-18

Family

ID=75861373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110154319.XA Pending CN112819793A (zh) 2021-02-01 2021-02-04 一种集装箱残损识别方法、装置、设备和可读存取介质

Country Status (1)

Country Link
CN (1) CN112819793A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592043A (zh) * 2021-10-02 2021-11-02 武汉聚财荣和科技有限公司 一种纸盒分类方法
CN113971811A (zh) * 2021-11-16 2022-01-25 北京国泰星云科技有限公司 一种基于机器视觉和深度学习的集装箱特征智能识别方法
CN114359762A (zh) * 2021-12-31 2022-04-15 哪吒港航智慧科技(上海)有限公司 集装箱箱顶洞识别方法及***、存储介质及终端
CN114723689A (zh) * 2022-03-25 2022-07-08 盛视科技股份有限公司 一种集装箱箱体残损检测方法
CN115222697A (zh) * 2022-07-18 2022-10-21 北京国泰星云科技有限公司 基于机器视觉和深度学习的集装箱残损检测方法
CN117437122A (zh) * 2023-12-21 2024-01-23 宁波港信息通信有限公司 一种集装箱全景图像的拼接方法和***
CN117649226A (zh) * 2024-01-29 2024-03-05 山东街景智能制造科技股份有限公司 一种用于街景集装箱的模块管理方法及***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658412A (zh) * 2018-11-30 2019-04-19 湖南视比特机器人有限公司 一种面向拆垛分拣的包装箱快速识别分割方法
CN110503112A (zh) * 2019-08-27 2019-11-26 电子科技大学 一种增强特征学习的小目标检测及识别方法
CN110992337A (zh) * 2019-11-29 2020-04-10 添维信息科技(天津)有限公司 一种集装箱残损检测方法及***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658412A (zh) * 2018-11-30 2019-04-19 湖南视比特机器人有限公司 一种面向拆垛分拣的包装箱快速识别分割方法
CN110503112A (zh) * 2019-08-27 2019-11-26 电子科技大学 一种增强特征学习的小目标检测及识别方法
CN110992337A (zh) * 2019-11-29 2020-04-10 添维信息科技(天津)有限公司 一种集装箱残损检测方法及***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XUEQI LI: "Container Damage Identification Based on Fmask-RCNN", NEURAL COMPUTING FOR ADVANCED APPLICATIONS. NCAA 2020 COMMUNICATIONS IN COMPUTER AND INFORMATION SCIENCE, vol. 1265, pages 12 - 22 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592043A (zh) * 2021-10-02 2021-11-02 武汉聚财荣和科技有限公司 一种纸盒分类方法
CN113592043B (zh) * 2021-10-02 2021-12-07 武汉聚财荣和科技有限公司 一种纸盒分类方法
CN113971811A (zh) * 2021-11-16 2022-01-25 北京国泰星云科技有限公司 一种基于机器视觉和深度学习的集装箱特征智能识别方法
CN114359762A (zh) * 2021-12-31 2022-04-15 哪吒港航智慧科技(上海)有限公司 集装箱箱顶洞识别方法及***、存储介质及终端
CN114723689A (zh) * 2022-03-25 2022-07-08 盛视科技股份有限公司 一种集装箱箱体残损检测方法
CN115222697A (zh) * 2022-07-18 2022-10-21 北京国泰星云科技有限公司 基于机器视觉和深度学习的集装箱残损检测方法
CN117437122A (zh) * 2023-12-21 2024-01-23 宁波港信息通信有限公司 一种集装箱全景图像的拼接方法和***
CN117437122B (zh) * 2023-12-21 2024-03-29 宁波港信息通信有限公司 一种集装箱全景图像的拼接方法和***
CN117649226A (zh) * 2024-01-29 2024-03-05 山东街景智能制造科技股份有限公司 一种用于街景集装箱的模块管理方法及***
CN117649226B (zh) * 2024-01-29 2024-04-16 山东街景智能制造科技股份有限公司 一种用于街景集装箱的模块管理方法及***

Similar Documents

Publication Publication Date Title
CN112819793A (zh) 一种集装箱残损识别方法、装置、设备和可读存取介质
CN107578418B (zh) 一种融合色彩和深度信息的室内场景轮廓检测方法
CN111612763B (zh) 手机屏幕缺陷检测方法、装置及***、计算机设备及介质
CN109829893B (zh) 一种基于注意力机制的缺陷目标检测方法
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN105445277B (zh) 一种fpc表面质量视觉智能检测方法
CN108918536B (zh) 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质
Shen et al. Shadow optimization from structured deep edge detection
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN109410168B (zh) 用于确定图像中的子图块类别的卷积神经网络的建模方法
US10776967B2 (en) Raster log digitization system and method
CN107169954B (zh) 一种基于并行卷积神经网络的图像显著性检测方法
CN114663346A (zh) 一种基于改进YOLOv5网络的带钢表面缺陷检测方法
CN114742799B (zh) 基于自监督异构网络的工业场景未知类型缺陷分割方法
CN110866915A (zh) 基于度量学习的圆形砚台质量检测方法
US20170178341A1 (en) Single Parameter Segmentation of Images
CN116681636B (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
CN114359245A (zh) 一种工业场景下产品表面缺陷检测方法
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN114926441A (zh) 一种注塑件加工成型的缺陷检测方法及***
CN110827304A (zh) 一种基于深度卷积网络与水平集方法的中医舌像定位方法和***
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
CN111738931B (zh) 光伏阵列无人机航拍图像的阴影去除算法
CN113609984A (zh) 一种指针式仪表读数识别方法、装置及电子设备
CN113033558A (zh) 一种用于自然场景的文本检测方法及装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination