CN111985466A - 一种集装箱危险品标志识别方法 - Google Patents

一种集装箱危险品标志识别方法 Download PDF

Info

Publication number
CN111985466A
CN111985466A CN202010840426.3A CN202010840426A CN111985466A CN 111985466 A CN111985466 A CN 111985466A CN 202010840426 A CN202010840426 A CN 202010840426A CN 111985466 A CN111985466 A CN 111985466A
Authority
CN
China
Prior art keywords
image
pixel
dangerous goods
label
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010840426.3A
Other languages
English (en)
Inventor
丁一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maritime University
Original Assignee
Shanghai Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maritime University filed Critical Shanghai Maritime University
Priority to CN202010840426.3A priority Critical patent/CN111985466A/zh
Publication of CN111985466A publication Critical patent/CN111985466A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/23—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on positionally close patterns or neighbourhood relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习算法的集装箱危险品标志识别方法，所述方法包括：数据采集；箱体边缘检测；透视变换；图像增强；标注危险品区域；图像标准化处理；获取感兴趣区域；特征提取；特征融合；上采样；困难样本挖掘；计算连通域，最终可获得检测视频或图片中是否包含危险品标志以及危险品标志的坐标，并构建识别***。与现有技术相比，可以有效利用多层卷积提取图片信息，避免亮度、颜色、纹理等底层信息的影响，通过尺度融合可以很好地避免图像特征信息在网络卷积核池化过程中的损失，提高了危险品标志的识别速度，有利于提高码头生产作业的效率。

Description

一种集装箱危险品标志识别方法
技术领域
本发明涉及图像识别的技术领域，尤其涉及到一种集装箱危险品标志的识别方法。
背景技术
危险品标志是用来表示危险品的物理、化学性质，以及危险程度的标志。危险品的运输主要依靠铁路运输、水路运输、公路运输、航空运输、管道运输等5种交通运输方式。港口枢纽作为水路运输与公路运输、铁路运输等的中转站，承担大量的危险品运输任务。危险品箱在长途运输、装卸、中转等多频次流转后，非常容易破损褪色，导致船舶和从事相关工作人员无法及时、准确地掌握所装货物的属性和特性，从而造成危险品事故发生，造成严重的经济损失和人员伤亡。现有技术中危险品标志识别的工作原理基本相同，都是采用无线射频技术、传感器技术。本发明所述的方法可以有效利用多层卷积提取图片信息，避免亮度、颜色、纹理等底层信息的影响，通过尺度融合可以很好地避免图像特征信息在网络卷积核池化过程中的损失，提高了危险品标志的识别速度，有利于提高码头生产作业的效率。
发明内容
鉴于以上所述现有技术的缺点，本发明针对集装箱危险品标志进行识别，目的在于提供一种基于深度学习算法的集装箱危险品标志识别方法。
为实现上述目的及其他相关目的，本发明提供一种集装箱危险品标志识别方法，所述方法包括采用神经网络为主的相关技术建立的危险品标志识别***。其特征在于，所述方法主要包括：
S1数据采集，以安装在桥吊或道口的摄像头作为视频采集器，利用无线射频技术对作业的集装箱进行图像采集；训练数据采集、标注，以及待识别图片的采集；构建深度学习算法训练所需的大量的富文本训练、测试样本的规范化采集、标注、存储及高效传输所需的数据标注管理***对训练数据进行采集和标注。所述的数据标注管理***主要由标注终端、标注子***和大数据子***构成；
进一步的本发明的一种实现方式中所述采集训练数据集的步骤，包括：
对获取到的图片进行预处理，主要包括格式转化、数据集重命名和图片数据筛选；
将预处理后的图片上传至大数据***；
标注子***从大数据***中获取待标注的图片，并下发到标注终端；
标注终端对图片进行标注，并通过标注子***上传至大数据***生成训练数据；
S2箱体边缘进行检测，采用霍夫变换算法进行直线定位对箱体边缘进行检测：
获得图片所有的对象轮廓；
针对轮廓上的没一点(x，y)计算其对应的角向量(θ，p)
统计所有点的角向量，其中(θ，p)集合根据一定误差范围内做聚类；
设定阈值T，当(θ，p)＞T时则该轮廓点集合为一条直线。
S3透视变换，进一步的利用透视变换将图像投影到一个新的视平面。该过程包括把一个二维坐标转换为三维左边系，然后把三维坐标系投影到新的二维坐标系；在opencv中使用cv2.getPerspectiveTransform获得透视矩阵，使用cv2.warpPerspective获取透视后的图像。
S4图像增强，进一步的对于获取到的图片进行图像增强处理。所述图像增强包括以下步骤：
从所述集装箱区域图片中选取白天光线充足、危标明显的图片，进行灰度处理。计算平均灰度值h0作为明亮度基线；
对于接收到待识别图片，同样获取平均灰度值h后与基准线比较获得比例系数
Figure BDA0002640742190000021
Figure BDA0002640742190000022
对原图进行矫正：
Figure BDA0002640742190000023
(当γ＞1时图像的高灰度区域对比度得到增强，当γ＜1时图像的低灰度区域对比度得到增强，当γ＝1时不改变原图像)，从而提升低明亮度区域亮度。
进一步的，所述的基于大量标注数据和深度学习算法的模型训练步骤，包括：
对输入的图像进行分类，将所述大数据***中已标注的图像结构化为某一类别的信息用事先确定好的类别或者实例ID来描述图片；
通过已标注的训练数据获取训练图片危险品标志轮廓坐标；
通过轮廓边界坐标获取危险品标志对应图片区域(ROI)；
采用卷积神经网络(CNN)作为特征提取器，在提取到高维特征后，采用FCN的方式进行特征融合和像素预测；
对输入的图像进行神经网络计算最终生成与原始输入图像大小相同且只包含0和1的的二值化图片；
进一步的所述的图像分类，包括：
S5对危险品标志的区域进行标记。在对训练样本进行训练之前要对训练样本集图像内的判别物进行标记，输出二值图；
S6图像标准化处理。尽管全卷积神经网络(FCN)可以输入任意尺寸的彩色图像，为了提高模型判别的准确率，将原始标记图像切割为512×512大小的图像，使神经网络的输入是512×512×3；
S7获取感兴趣区域，采用候选区域的方法从轮廓中提取感兴趣区域的步骤，包括：
基于图的图像分割的方法获取原始分割区域R＝{r1，r2，…rn}
初始化相似度集合合
Figure BDA0002640742190000031
计算两两相邻区域之间的相似度，将其添加到相似度集合S中；
从相似度集合S中找出，相似度最大的两个区域ri和rj，将其合并成为一个区域rt，从相似度集合中除去原先与ri和rj相邻区域之间计算的相似度，计算rt与其相邻区域(原先与ri或rj相邻的区域)的相似度，将其结果添加的到相似度集合S中。同时将新区域rt添加到区域集合R中；
获取每个区域的边界区域(Bounding Boxes)，这个结果就是物***置的可能结果L；
S8特征提取，构建基于全卷积神经网络的模型，述的神经网络包括5个池化层，每次池化后的图像大小为上一层的
Figure BDA0002640742190000032
使用全卷积神经网络提取输入的图像不同大小的特征，把最后的全连接层换成1×1的卷积，用于特征提取，形成热力图，供上采样层使用
S9特征融合，进行跳跃连接，将经过7层卷积5层池化后得到的
Figure BDA0002640742190000033
大小的图像反卷积成
Figure BDA0002640742190000034
大小的图像并选用池化层(pool4)的特征图进行融合生成
Figure BDA0002640742190000035
的图像；再对
Figure BDA0002640742190000036
的图像进行反卷积成
Figure BDA0002640742190000037
大小的图像并选用池化层3(pool3)的特征图进行融合生成
Figure BDA0002640742190000038
的图像。
S10上采样(upsample)使用双线插值方法，利用原图像中目标点四周的四个真实存在的像素来共同决定目标图像中的一个像素，将矩阵的高宽扩充一倍。
进一步的所述神经网络采用可分离深度卷积，减少卷积核参数，提升计算速度。采用resnet18作为ackbone，通过提升神经网络层数，增强特征提取能力；特征融合阶段在上采样后进行concat合并不同层抽取的参数，提升不同encoder层特征表达能力。
S11困难样本挖掘，所述模型训练过程，使用Online Hard Example Mining(OHEM)进行困难样本挖掘，即在每轮模型训练的过程中，将每批次训练数据根据当前损失函数值(loss)进行排序，选出loss最大的N个，同时加上正样本区域的loss，合并loss后再进行梯度下降。
S12计算连通域，输入图片经过神经网络的计算后，最终生成一张与原同样大小但只包含0和1的二值化图片。生成图片中像素值为1的位置对应危险品标志区域，像素值为0的位置为背景。通过计算值为1的连通域进行定位，最终可得危险品标志区域的坐标。
S13构建识别***，危险品标志模型训练好后，需要以服务的方式对外提供服务，以保证识别模型的高效可用；所述的识别***包括基础资源层、容器化层、算法开发层、服务层和采集层。其中基础资源层由多条X86架构和拥有GPU能力的主机构建而成；容器化层由Kubemetes作为整体解决方案，以容器化的形式对外提供服务；算法开发层提供定制的开发容器镜像；服务层以容器形式对外提供识别算法的Restful和http等服务；采集层通过硬件集成特定软件程序，为终端识别图像、视频、采集数据等收集工作提供硬件支持。
如上所述，本发明实施例提供的一种集装箱危险品标志识别方法，提供FCN算法构建危险品标志识别模型，使用采集的数据进行模型训练，最后利用训练好的模型对集装箱码头作业现场通过摄像头传输的图片进行危险品标志识别。有效的提高了集装箱危险品标志识别的识别率和准确率。
附图说明
为了更清楚地说明本发明实施例和现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明集装箱危险品标志识别方法的流程示意图；
图2是本发明集装箱危险品标志识别方法的实施例提供的采集到的待识别图片；
图3是本发明集装箱危险品标志识别方法的实施例提供的全连接神经网络解结构图；
图4是本发明集装箱危险品标志识别方法的实施例提供神经网络训练示意图；
图5是本发明集装箱危险品标志识别方法的实施例提供的卷积核计算示意图；
图6是本发明集装箱危险品标志识别方法的实施例提供的经过识别得出二值图；
图7是本发明集装箱危险品标志识别方法的实施例提供训练数据采集示意图；
图8是本发明集装箱危险品标志识别方法的实施例提供危险品标志识别***示意图；
具体实施方式
为了使本发明的技术手段、创造特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
请参阅图1-8。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
图1所示是一种集装箱危险品标志识别方法，实施步骤如下：
S1、数据采集，可以理解的是，以安装在桥吊或道口的摄像头作为视频采集器，通过无线射频技术或者触发器通知***设备准备好对作业的集装箱进行图片采集。桥吊等安装摄像头的设备可能涉及一种或者多种类型的传感器用于触发器，一旦检测到某些条件，则命令连接的摄像机开始拍摄图像(视频)。由于一个待识别图像可能会得到多个拍摄的照片，并且一个面往往有多张图片。本发明将采用全景拼接的方式，将这类图片拼接为一个完整的图片。
S2、箱体边缘检测，可以理解的是，由于拍摄危险品集装箱的场景较多，情况较为复杂，在箱体外可能存在类似危险品标志的对象，因而误报危险品。因此需要对集装箱以外的图像区域进行过滤。如图2所示，由于集装箱边缘呈现为标准线段，首先对图片中可能存在的直线(箱体边缘)进行定位。直线定位采用霍夫变换算法。步骤如下：
获得图片所有的对象轮廓；
针对轮廓上的没一点(x，y)计算其对应的角向量(θ，p)
统计所有点的角向量，其中(θ，p)集合根据一定误差范围内做聚类；
设定阈值T，当(θ，p)＞T时则该轮廓点集合为一条直线。
通过以上方法获得多条直线，然后再根据获得直线的长度、是否有平行、相交直线等因素获取集装箱边缘点坐标。
S3、透视变换算法对坐标内区域进行拉伸，获得标准长方形输出图像。该过程利用透视变换将图像投影到一个新的视平面，包括把一个二维坐标转换为三维左边系，然后把三维坐标系投影到新的二维坐标系；在opencv中使用cv2.getPerspectiveTransform获得透视矩阵，使用cv2.warpPerspective获取透视后的图像。透视变换的变换关系如下：
Figure BDA0002640742190000061
Figure BDA0002640742190000062
S4、图像增强，由于识别危险品标志的场景在室外，存在各种各样天气以及光线强度干扰。尤其在夜间，部分危标拍摄较为模糊，导致识别率有所下降，因此需要对所述图像进行增强处理，所述图像增强包括以下步骤：
从所述集装箱区域图片中选取白天光线充足、危标明显的图片，进行灰度处理。计算平均灰度值h0作为明亮度基线；
对于接收到待识别图片，同样获取平均灰度值h后与基准线比较获得比例系数
Figure BDA0002640742190000063
Figure BDA0002640742190000064
对原图进行矫正：
Figure BDA0002640742190000065
(当γ＞1时图像的高灰度区域对比度得到增强，当γ＜1时图像的低灰度区域对比度得到增强，当γ＝1时不改变原图像)，从而提升低明亮度区域亮度；
S5标注危险品区域，如图2所示，对危险品标志的区域进行标注，在对训练样本进行训练之前，要对训练样本集图像内的判别物进行标记，输出二值图；
S6图像标准化处理，将原始标记图像切割为512×512大小的图像，使全连接神经网络的输入是512×512×3；
S7获取感兴趣区域，通过已标注的训练数据获取训练图片危险品标志轮廓坐标，并运用候选区域的方法从轮廓中提取感兴趣的区域。具体步骤如下：
基于图的图像分割的方法获取原始分割区域R＝{r1，r2，…rn}；
初始化相似度集合
Figure BDA0002640742190000066
计算两两相邻区域之间的相似度，将其添加到相似度集合S中；
从相似度集合S中找出，相似度最大的两个区域ri和rj，将其合并成为一个区域rt，从相似度集合中除去原先与ri和rj相邻区域之间计算的相似度，计算rt与其相邻区域(原先与ri或rj相邻的区域)的相似度，将其结果添加的到相似度集合S中。同时将新区域rt添加到区域集合R中；获取每个区域的Bounding Boxes，这个结果就是物***置的可能结果L；
S8、特征提取，构建基于全卷积神经网络的模型，使用全卷积神经网络提取输入的图像不同大小的特征，把最后的全连接层换成1×1的卷积，用于特征提取，形成热力图，供上采样层使用。对提取到的感兴趣的区域利用卷积神经网络进行特征提取，在提取到高维特征后，采用类似FCN的方式对数据集进行训练。
S9特征融合，进行跳跃连接，将经过7层卷积5层池化后得到的
Figure BDA0002640742190000071
大小的图像反卷积成
Figure BDA0002640742190000072
大小的图像并选用池化层4的特征图进行融合生成
Figure BDA0002640742190000073
的图像；再对
Figure BDA0002640742190000074
的图像进行反卷积成
Figure BDA0002640742190000075
大小的图像并选用池化层3的特征图进行融合生成
Figure BDA0002640742190000076
的图像；包括以步骤：
(1)第一步，将卷积核反转，上下左右方向进行递序操作；
(2)第二步，将卷积产生的特征图作为输入，对其补0扩充操作，即往每一个像素后面补0；这一步操作需要根据卷积操作的步长，对于每个元素沿着步长方向补步长减1个0，若步长为1则不需要补0；
(3)第三步，在扩充后的基础上再对特征图进行二次补0操作。以原始输入的特征图形状作为输出，按照卷积padding规则，计算padding的补0位置及个数，得到补0的位置要上下和左右各自颠倒一下；
(4)第四步，补0后的特征图作为输入，进行步长为1的反卷积操作；
S10上采样，使用双线插值方法，利用原图像中目标点四周的四个真实存在的像素来共同决定目标图像中的一个像素，将矩阵的高宽扩充一倍；
所述上采样的核心在于两个方向上分别进行一次线性插值，在点p＝(x，y)的值，假设已知函数f在点Q11＝(x1，y1)，Q12＝(x1，y2)，Q21＝(x2，y1)以及Q22＝(x2，y2)四个点的值。首先在x方向进行线性插值，得到
Figure BDA0002640742190000077
Figure BDA0002640742190000078
然后在y方向进行线性插值，得到
Figure BDA0002640742190000079
这样就得到所要的结果f(x，y)，
Figure BDA0002640742190000081
S11困难样本挖掘，每轮模型训练的过程中，将每批次训练数据根据当前损失函数值进行排序，选出损失函数值最大的N个，同时加上正样本区域的损失函数值，合并损失函数值后再进行梯度下降，损失函数表达式如下：
Figure BDA0002640742190000082
S12计算连通域，输入的待识别图片经过本发明提供的神经网络计算后，最终生成一张与员图片同样大小但是只包含0和1的二值化图片，生成图片中像素值为1的位置对应危险品标志区域，像素值为0的位置为背景。通过计算值为1的连通域进行定位，最终可得危险品标志区域的坐标；包括以下步骤：
包括如下步骤：
(1)获取二值化图像；
(2)第一次按行扫描图像时，图像中的每个像素值从上到下，从左到右扫描，给每一个有效的像素值一个标签，规则如下：
a)如果该像素的4邻域中左边像素值和上边像素值都为0且都没有标签，则给该像素一个新的标签；
b)如果该像素的4邻域中左边像素值或上边像素值有一个为1，则该像素的标签是像素值为1的标签；
c)如果该像素的4邻域中左边像素值和上边像素值都为1，且标签相同，则该像素的标签就是此标签；
d)如果该像素的4邻域中左边像素值和上边像素值都为1，且标签不同，则把其中较小的标签作为该像素的标签。这样标记完后，会出现一个连通域里有好几个不同标签，将该像素的左边像素的标签和该像素的上边像素的标签记为相等关系；
S13构建识别***，危险品标志模型训练好后，需要以服务的方式对外提供服务，以保证识别模型的高效可用；
图3、图4、图5公开了本发明的网络结构，模型训练过程以及卷积核计算的过程。本发明的图像判别主要基于Unet的网络结构。主要包括卷积层、激活函数、反卷积、跳级结构等几个分过程。卷积层和激活函数的结合主要用来特征提取，降采样，降低数据维度。反卷积层对输入的图像进行预测。跳级结构将反卷积层粗糙的输出结果中相对的信息和整体的信息进行结合到达优化输出结果的目的。
模型网络结构图被划分成两个部分：全卷积部分和反卷积部分。在图3描述的网络结构中左半部分为全卷积部分，右半部分为反卷积部分。其中全卷积部分把最后的全全连接层换成1*1的卷积，用于特征提取，形成热力图。反卷积部分则是将小尺寸的热点图上采样得到原始尺寸的语义分割图像；
卷积神经网络可输入任意尺寸图像，输出与输入尺寸相同，但是仍然将原始图像切割为512*512大小，以便训练集数据进行批量梯度下降。本发明将图像分为两类：背景+危标区域，因此通道数也就是深度为2。将原始灰度图像和深度图像并行输入到网络中，上层原始灰度图像包含场景、位置等多种信息。全卷积神经网络的输入是512*512*3的图像，经过一系列的卷积层和下采样层将图像数据变为尺寸为7*7*2的特征矩阵。此时将这3个全连接层转化为卷积层，分别设置滤波器尺寸filter，最终输出的数据体是1*1*1000。每次卷积都会降低图像的分辨率，经过多次卷积后，得到最终的特征图，该特征图包含图像中所有语义信息。
反卷积操作可以理解为卷积操作的逆运算，通过将卷积核转置，对卷积后的结果再做一遍卷积，目的是将图像还原为原始图像大小，得到逐像素预测结果。
在逐像素预测过程中预测深度为2，输入16*16*4096，卷积模板尺寸1*1，输出16*16*2，从4096维特征中预测2类结果。在反卷积过程中，扩大了图像像素，将图片的分辨率提升至与原图一致，权重高的区域为目标所在区域。
在反卷积过程中直接由最小的特征图上采样到原图大小，结果通常是非常粗糙的，因此可以使用跳级结构，它把相对的信息和整体的信息进行结合，优化粗糙的输出结果。在图3所述的网络结构中，对原图进行卷积convl，pool后图像缩小为1/2；对图像进行第二次卷积conv2，pool2后图像缩小为1/4；对图像进行第三次卷积conv3，pool3后图像缩小为1/8，以此类推。上采样得到的图像分类结果不够精确，图像中的一些细节无法恢复。因此将第三层和第四层的输出也依次进行反卷积，分别需要8倍和16倍上采样，兼顾了local和global信息，使得到的结果更加精细。
图6所示公开了一种集装箱危险品标志识别方法获得的二值化图片。图像的二值化处理就是将图像上的点的灰度值为0或255，也就是将整个图像呈现出明显的黑白效果。即将256个亮度等级的灰度图像通过适当的阈值选取而获得仍然可以反映图像整体和局部特征的二值化图像
图7所示公开了一种集装箱危险品标志识别***包括数据标注管理***和危险品标志识别服务***。其中数据标注管理***主要由标注终端、标注子***和大数据子***构成。所述标注终端为标注人员所使用的PC电脑，标注工作在标注终端上进行；所述标注子***主要从大数据***中获取其存储的原始标注及预处理后的素材，及可以向终端下发标注任务以及相应的待标注数据；接收终端上传的标注数据并对上传的数据进行校验，并将已标注的数据向大数据***做同步。所述大数据***提供标注数据持久化功能，为模型训练实现高效的数据导出。
所述的训练数据标注***，数据源主要是视频和图片数据，来源主要分为以下几种：
(1)集装箱码头管理***(TOS)中获取的相关视频、图片数据；
(2)互联网上爬取、下载的相关视频和图片数据；
(3)运营人员上传的相关视频和图片数据。
深度神经网络包含大量的参数，为了使这些参数正常工作，需要对采集的数据进行增强，提高模型的泛化能力，增加噪声数据，增强模型的鲁棒性。针对集装箱危险品标志识别本发明利用分割技术对危险品标志进行抠图，每个危险品标志得到若干形象图，然后将抠出来的图像进行随机旋转、翻转从而制作出大规模的训练数据。
本发明公开的数据标注管理***的训练数据预处理在标注子***中完成，对数据源的处理主要有以下几点：
(1)格式转化，将数据转化为模型训练可处理的格式，如视频转化为mp4格式，图片转化为jpg格式；
(2)根据数据规范对源数据进行重命名，并保留原始信息；
(3)视频数据根据需要抽帧为图片数据；
(4)抽帧处理后的图片，下发到标注终端进行筛选，筛选出适合的图片用于数据标注；
图8所示本发明公开的危险品标志识别***包括基础资源层、容器化层、算法开发层、服务层和采集层。
基础资源层由多条X86架构和拥有GPU能力的主机构建而成，作为云服务的硬件基础层，提供基本的计算、存储和网络等功能。
容器化层由Kubemetes作为整体解决方案，以容器化的形式对外提供服务；
算法开发层提供定制的开发容器镜像，快速部署开发环境及需要的控件；
服务层以容器形式对外提供识别算法的Restful和http等服务；
采集层通过硬件集成特定软件程序，为终端识别图像、视频、采集数据等收集工作提供硬件支持。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (1)

1.一种集装箱危险品标志识别方法，其特征在于，所述方法包括如下步骤：
S1数据采集，以安装在桥吊或道口的摄像头作为视频采集器，利用无线射频技术对作业的集装箱进行图像采集；
S2箱体边缘检测，采用霍夫变换算法进行直线定位，通过对象轮廓上的每一点(x，y)计算其对应的角向量(θ，p)，当(θ，p)大于设定阈值T时则该轮廓点集合为一条直线；
S3透视变换，将二维矩阵图像变换成三维空间显示效果，设变换之前的点是z值为1的点，它在三维平面上的值是x、y、1，在二维平面上的投影是x、y，通过矩阵变换成三维中的点X、Y、Z，再通过除以三维中Z轴的值，转换成二维中的点x′、y′；
Figure FDA0002640742180000011
Figure FDA0002640742180000012
S4图像增强，从所述集装箱区域图片中选取白天光线充足、危险品标志明显的图片，进行灰度处理，计算平均灰度值h0作为明亮度基线；对于接收到待识别图片，同样获取平均灰度值h后与基准线比较获得比例系数
Figure FDA0002640742180000013
对原图进行矫正：
Figure FDA0002640742180000014
当γ＞1时图像的高灰度区域对比度得到增强，当γ＜1时图像的低灰度区域对比度得到增强，当γ＝1时不改变原图像，从而提升低明亮度区域亮度；
S5标注危险品区域，对危险品标志的区域进行标注，在对训练样本进行训练之前，要对训练样本集图像内的判别物进行标记，输出二值图；
S6图像标准化处理，将原始标记图像切割为512×512大小的图像，使全连接神经网络的输入是512×512×3；
S7获取感兴趣区域，通过已标注的训练数据获取训练图片危险品标志轮廓坐标，通过轮廓边界坐标获取危险品标志对应图片区域；
S8特征提取，构建基于全卷积神经网络的模型，使用全卷积神经网络提取输入的图像不同大小的特征，把最后的全连接层换成1×1的卷积，用于特征提取，形成热力图，供上采样层使用；
S9特征融合，进行跳跃连接，将经过7层卷积5层池化后得到的
Figure FDA0002640742180000021
大小的图像反卷积成
Figure FDA0002640742180000022
大小的图像并选用池化层4的特征图进行融合生成
Figure FDA0002640742180000023
的图像；再对
Figure FDA0002640742180000024
的图像进行反卷积成
Figure FDA0002640742180000025
大小的图像并选用池化层3的特征图进行融合生成
Figure FDA0002640742180000026
的图像；
S10上采样，使用双线插值方法，利用原图像中目标点四周的四个真实存在的像素来共同决定目标图像中的一个像素，将矩阵的高宽扩充一倍；
S11困难样本挖掘，每轮模型训练的过程中，将每批次训练数据根据当前损失函数值进行排序，选出损失函数值最大的N个，同时加上正样本区域的损失函数值，合并损失函数值后再进行梯度下降，损失函数表达式如下：
Figure FDA0002640742180000027
S12计算连通域，输入的待识别图片经过本发明提供的神经网络计算后，最终生成一张与员图片同样大小但是只包含0和1的二值化图片，生成图片中像素值为1的位置对应危险品标志区域，像素值为0的位置为背景，通过计算值为1的连通域进行定位，最终可得危险品标志区域的坐标；
S13构建识别***，危险品标志模型训练好后，需要以服务的方式对外提供服务，以保证识别模型的高效可用；
步骤S1中的数据采集包括，训练数据采集、标注，以及待识别图片的采集；构建深度学习算法训练所需的大量的富文本训练、测试样本的规范化采集、标注、存储及高效传输所需的数据标注管理***对训练数据进行采集和标注所述的数据标注管理***主要由标注终端、标注子***和大数据子***构成；
步骤S7获取感兴趣区域包括如下步骤：
(1)第一步，基于图的图像分割方法获取原始分割区域R＝{r1，r2，…rn)并初始化相似度集合
Figure FDA0002640742180000031
(2)第二步，计算两两相邻区域之间的相似度，将其添加到相似度集合S中；
(3)第三步，从相似度集合S中找出相似度最大的两个区域ri和rj，将其合并成为一个区域rt，从相似度集合中除去原先与ri和rj相邻区域之间计算的相似度，计算rt与其相邻区域的相似度，将其结果添加的到相似度集合S中，同时将新区域rt添加到区域集合R中；
(4)第四步，获取每个区域的边界区域，这个区域就是危险品标志可能结果L；
步骤S8特征融合将图像分为两类：背景+危标区域，因此通道数也就是深度为2；将原始灰度图像和深度图像并行输入到网络中，上层原始灰度图像包含场景、位置等多种信息；全卷积神经网络的输入是512×512×3的图像，经过一系列的卷积层和下采样层将图像数据变为尺寸为7×7×2的特征矩阵，此时将这3个全连接层转化为卷积层，分别设置滤波器尺寸，最终输出的数据体是1×1×1000，每次卷积都会降低图像的分辨率，经过多次卷积后，得到最终的特征图，该特征图包含图像中所有语义信息；
步骤S9特征提取包括以下步骤：
(1)第一步，将卷积核反转，上下左右方向进行递序操作；
(2)第二步，将卷积产生的特征图作为输入，对其补0扩充操作，即往每一个像素后面补0；这一步操作需要根据卷积操作的步长，对于每个元素沿着步长方向补步长减1个0，若步长为1则不需要补0；
(3)第三步，在扩充后的基础上再对特征图进行二次补0操作，以原始输入的特征图形状作为输出，按照卷积padding规则，计算padding的补0位置及个数，得到补0的位置要上下和左右各自颠倒一下；
(4)第四步，补0后的特征图作为输入，进行步长为1的反卷积操作；
所述步骤S10的核心在于两个方向上分别进行一次线性插值，在点p＝(x，y)的值，假设已知函数f在点Q11＝(x1，y1)，Q12＝(x1，y2)，Q21＝(x2，y1)以及Q22＝(x2，y2)四个点的值，首先在x方向进行线性插值，得到
Figure FDA0002640742180000041
Figure FDA0002640742180000042
然后在y方向进行线性插值，得到
Figure FDA0002640742180000043
这样就得到所要的结果f(x，y)，
Figure FDA0002640742180000044
步骤S12计算连通域包括如下步骤：
(1)获取二值化图像；
(2)第一次按行扫描图像时，图像中的每个像素值从上到下，从左到右扫描，给每一个有效的像素值一个标签，规则如下：
a)如果该像素的4邻域中左边像素值和上边像素值都为0且都没有标签，则给该像素一个新的标签；
b)如果该像素的4邻域中左边像素值或上边像素值有一个为1，则该像素的标签是像素值为1的标签；
c)如果该像素的4邻域中左边像素值和上边像素值都为1，且标签相同，则该像素的标签就是此标签；
d)如果该像素的4邻域中左边像素值和上边像素值都为1，且标签不同，则把其中较小的标签作为该像素的标签；这样标记完后，会出现一个连通域里有好几个不同标签，将该像素的左边像素的标签和该像素的上边像素的标签记为相等关系；
(3)第二次按行扫描图像时，将其中具有相等关系的标签选择里面最小的标签作为它们的标签，即访问已经标记的标签并合并具有相等关系的标签；
步骤S13中的***分为多个层次，包括：
基础资源层、容器化层、算法开发层、服务层和采集层。
CN202010840426.3A 2020-08-19 2020-08-19 一种集装箱危险品标志识别方法 Withdrawn CN111985466A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010840426.3A CN111985466A (zh) 2020-08-19 2020-08-19 一种集装箱危险品标志识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010840426.3A CN111985466A (zh) 2020-08-19 2020-08-19 一种集装箱危险品标志识别方法

Publications (1)

Publication Number Publication Date
CN111985466A true CN111985466A (zh) 2020-11-24

Family

ID=73434894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010840426.3A Withdrawn CN111985466A (zh) 2020-08-19 2020-08-19 一种集装箱危险品标志识别方法

Country Status (1)

Country Link
CN (1) CN111985466A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598073A (zh) * 2020-12-28 2021-04-02 南方电网深圳数字电网研究院有限公司 电网设备图像标注方法、电子设备及存储介质
CN113269197A (zh) * 2021-04-25 2021-08-17 南京三百云信息科技有限公司 基于语义分割的证件图像顶点坐标回归***和识别方法
CN114743073A (zh) * 2022-06-13 2022-07-12 交通运输部水运科学研究所 一种基于深度学习的危险货物集装箱预警方法及装置
CN114782676A (zh) * 2022-04-02 2022-07-22 北京广播电视台 一种视频感兴趣区域的提取方法和***
CN114882342A (zh) * 2022-05-11 2022-08-09 北京国泰星云科技有限公司 基于机器视觉和深度学习的集装箱危险品标识检测方法
CN114926916A (zh) * 2022-05-10 2022-08-19 上海咪啰信息科技有限公司 一种5g无人机动态ai巡检***
CN116429790A (zh) * 2023-06-14 2023-07-14 山东力乐新材料研究院有限公司 一种基于数据分析的木质包装箱产线智能管控***
CN116703918A (zh) * 2023-08-07 2023-09-05 山东辰欣佛都药业股份有限公司 一种基于神经网络模型的药品包装盒质量检测方法及***
CN117273251A (zh) * 2023-09-20 2023-12-22 广西艺术学院 一种基于大数据的智能规划方法及***

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598073A (zh) * 2020-12-28 2021-04-02 南方电网深圳数字电网研究院有限公司 电网设备图像标注方法、电子设备及存储介质
CN113269197A (zh) * 2021-04-25 2021-08-17 南京三百云信息科技有限公司 基于语义分割的证件图像顶点坐标回归***和识别方法
CN113269197B (zh) * 2021-04-25 2024-03-08 南京三百云信息科技有限公司 基于语义分割的证件图像顶点坐标回归***和识别方法
CN114782676B (zh) * 2022-04-02 2023-01-06 北京广播电视台 一种视频感兴趣区域的提取方法和***
CN114782676A (zh) * 2022-04-02 2022-07-22 北京广播电视台 一种视频感兴趣区域的提取方法和***
CN114926916A (zh) * 2022-05-10 2022-08-19 上海咪啰信息科技有限公司 一种5g无人机动态ai巡检***
CN114882342A (zh) * 2022-05-11 2022-08-09 北京国泰星云科技有限公司 基于机器视觉和深度学习的集装箱危险品标识检测方法
CN114743073A (zh) * 2022-06-13 2022-07-12 交通运输部水运科学研究所 一种基于深度学习的危险货物集装箱预警方法及装置
CN116429790A (zh) * 2023-06-14 2023-07-14 山东力乐新材料研究院有限公司 一种基于数据分析的木质包装箱产线智能管控***
CN116429790B (zh) * 2023-06-14 2023-08-15 山东力乐新材料研究院有限公司 一种基于数据分析的木质包装箱产线智能管控***
CN116703918A (zh) * 2023-08-07 2023-09-05 山东辰欣佛都药业股份有限公司 一种基于神经网络模型的药品包装盒质量检测方法及***
CN116703918B (zh) * 2023-08-07 2023-10-20 山东辰欣佛都药业股份有限公司 一种基于神经网络模型的药品包装盒质量检测方法及***
CN117273251A (zh) * 2023-09-20 2023-12-22 广西艺术学院 一种基于大数据的智能规划方法及***

Similar Documents

Publication Publication Date Title
CN111985466A (zh) 一种集装箱危险品标志识别方法
CN109655019B (zh) 一种基于深度学习和三维重建的货物体积测量方法
TWI684922B (zh) 基於圖像的車輛定損方法、裝置、電子設備及系統
Liu et al. Multiscale U-shaped CNN building instance extraction framework with edge constraint for high-spatial-resolution remote sensing imagery
Zhu et al. Concrete column recognition in images and videos
CN106447721B (zh) 图像阴影检测方法和装置
Wang et al. Photovoltaic panel extraction from very high-resolution aerial imagery using region–line primitive association analysis and template matching
EP3499414B1 (en) Lightweight 3d vision camera with intelligent segmentation engine for machine vision and auto identification
WO2017176487A1 (en) Remote determination of quantity stored in containers in geographical region
CN108830224B (zh) 一种基于深度学习的高分辨率遥感影像舰船目标检测方法
CN114926747A (zh) 一种基于多特征聚合与交互的遥感图像定向目标检测方法
Farag A lightweight vehicle detection and tracking technique for advanced driving assistance systems
CN115578616A (zh) 多尺度物体实例分割模型的训练方法、分割方法和装置
CN109829421B (zh) 车辆检测的方法、装置及计算机可读存储介质
Salunkhe et al. Recognition of multilingual text from signage boards
CN113255555A (zh) 中国交通标志牌识别方法、***、处理设备及存储介质
Ghaffarian et al. Automatic vehicle detection based on automatic histogram-based fuzzy C-means algorithm and perceptual grouping using very high-resolution aerial imagery and road vector data
KR102158967B1 (ko) 영상 분석 장치, 영상 분석 방법 및 기록 매체
CN117830210A (zh) 缺陷检测方法、装置、电子设备及存储介质
Gerhardt et al. Neural network-based traffic sign recognition in 360° images for semi-automatic road maintenance inventory
CN115861922A (zh) 一种稀疏烟火检测方法、装置、计算机设备及存储介质
Farag A fast and reliable balanced approach for detecting and tracking road vehicles
Palmer et al. Scale proportionate histograms of oriented gradients for object detection in co-registered visual and range data
CN114694045A (zh) 基于多任务卷积神经网络的电力绝缘子串协同分析方法
Toaha et al. Automatic signboard detection from natural scene image in context of Bangladesh Google street view

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201124

WW01 Invention patent application withdrawn after publication