CN109858462A - 一种基于卷积神经网络的织物识别方法及*** - Google Patents
一种基于卷积神经网络的织物识别方法及*** Download PDFInfo
- Publication number
- CN109858462A CN109858462A CN201910130785.7A CN201910130785A CN109858462A CN 109858462 A CN109858462 A CN 109858462A CN 201910130785 A CN201910130785 A CN 201910130785A CN 109858462 A CN109858462 A CN 109858462A
- Authority
- CN
- China
- Prior art keywords
- fabric
- convolutional neural
- neural networks
- training sample
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000004744 fabric Substances 0.000 title claims abstract description 342
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 150
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 166
- 238000013442 quality metrics Methods 0.000 claims abstract description 12
- 239000000284 extract Substances 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 13
- 238000011478 gradient descent method Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 11
- 230000002123 temporal effect Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000001537 neural effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 235000013399 edible fruits Nutrition 0.000 claims description 2
- 239000000155 melt Substances 0.000 claims 1
- 239000000203 mixture Substances 0.000 claims 1
- 239000000463 material Substances 0.000 abstract description 14
- 239000002699 waste material Substances 0.000 abstract description 7
- 239000004753 textile Substances 0.000 abstract description 6
- 238000003062 neural network model Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 238000009795 derivation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000009941 weaving Methods 0.000 description 2
- 241000792859 Enema Species 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000013872 defecation Effects 0.000 description 1
- 239000007920 enema Substances 0.000 description 1
- 229940095399 enema Drugs 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000009940 knitting Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 239000000829 suppository Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于纺织领域，公开了一种基于卷积神经网络的织物识别方法及***，其方法包括：获取不同织物的视频，每种织物对应多个视频；将所述视频转换为多帧RGB图像；根据每个视频中的相邻帧的RGB图像生成每个视频对应的光流图像；构建训练样本集，将每个视频对应的多帧RGB图像和光流图像作为一个训练样本，并标注所述训练样本的织物类型；将所述训练样本集输入卷积神经网络进行训练，得到卷积神经网络模型；获取待识别织物的视频；根据所述待识别织物的视频和所述卷积神经网络模型，识别所述待识别织物的类型。通过织物视频即可对不同的织物进行分类识别，可在不破坏织物的前提下识别出织物的材料，减少不必要的浪费。
Description
技术领域
本发明属于纺织领域，特别涉及一种基于卷积神经网络的织物识别方法及***。
背景技术
纺织业作为我国国民经济的重要支柱产业，在国家经济快速发展过程中占有重要的地位。目前，在进行仿制型纺织生产时，由于织物的材料组成成分未知，生产前难以预估产品最终效果。为控制产品质量，只能多次采用试织打样的方式进行生产，每款产品从设计、织造到后整理需经过5-7天，导致产品生产效率过低；并且，需在破坏织物的前提下识别出织物的材料，造成不必要的浪费，产生巨大的经济损失。
随着计算机技术的快速发展，在计算机视觉领域，越来越多的人开始关注材料的分类。目前，大部分使用计算机来对织物进行识别的方法主要还是利用材料的物理属性来对织物进行识别。虽然这些研究为动态信息在理解材料特性中的重要性提供了额外的证据，但是，目前还没有根据织物视频对视频中的织物进行分类的方法。
发明内容
本发明的目的是提供一种基于卷积神经网络的织物识别方法，通过织物视频即可对不同的织物进行分类识别，可在不破坏织物的前提下识别出织物的材料，减少不必要的浪费。
本发明提供的技术方案如下：
一方面，提供一种基于卷积神经网络的织物识别方法，包括：
获取不同织物的视频，每种织物对应多个视频；
将所述视频转换为多帧RGB图像；
根据每个视频中的相邻帧的RGB图像生成每个视频对应的光流图像；
构建训练样本集，将每个视频对应的多帧RGB图像和光流图像作为一个训练样本，并标注所述训练样本的织物类型，将多个所述训练样本和标注的所述训练样本的织物类型组成训练样本集；
将所述训练样本集输入卷积神经网络进行训练，得到卷积神经网络模型；
获取待识别织物的视频；
根据所述待识别织物的视频和所述卷积神经网络模型，识别所述待识别织物的类型。
优选地，所述将所述训练样本集输入卷积神经网络进行训练，得到卷积神经网络模型具体包括：
将当前训练样本输入卷积神经网络中进行训练，并输出所述当前训练样本对应的织物预测结果；
计算所述织物预测结果与所述当前训练样本标注的织物类型之间的误差；
当所述误差大于预设值时，将所述误差通过梯度下降法反向传播对所述卷积神经网络的权重进行更新优化，直至所述卷积神经网络输出的织物预测结果与标注的织物类型之间的误差小于所述预设值；
当所述误差小于所述预设值时，采用下一训练样本对卷积神经网络进行训练，直至所述训练样本集中的最后一个训练样本训练完成时，得到卷积神经网络模型。
优选地，所述将当前训练样本输入卷积神经网络中进行训练，并输出所述当前训练样本对应的织物预测结果具体包括：
将当前训练样本输入卷积神经网络中；
所述卷积神经网络提取所述当前训练样本中各帧RGB图像的空间特征，得到织物的表面特征；
所述卷积神经网络提取所述当前训练样本中的光流图像的时域特征，得到织物的运动特征；
将所述织物的表面特征和所述织物的运动特征输入所述卷积神经网络的全连接网络层，输出织物预测结果。
优选地，所述根据所述待识别织物的视频和所述卷积神经网络模型，识别出所述待识别织物的类型具体包括：
将所述待识别织物的视频转换为多帧RGB图像；
根据所述待识别织物对应的多帧RGB图像中相邻帧的RGB图像生成光流图像；
将所述待识别织物对应的多帧RGB图像和光流图像输入所述卷积神经网络模型中；
所述卷积神经网络模型从所述待识别织物对应的多帧RGB图像中提取出所述待识别织物的表面特征；
所述卷积神经网络模型从所述待识别织物对应的光流图像中提取出所述待识别织物的运动特征；
将所述待识别织物的表面特征和所述待识别织物的运动特征输入所述卷积神经网络模型的全连接网络层，对所述待识别织物的表面特征和所述待识别织物的运动特征进行融合，输出最终特征信息；
根据所述最终特征信息，识别所述待识别织物的类型。
优选地，所述根据所述最终特征信息，识别所述待识别织物的类型具体包括：
计算所述最终特征信息分别与预先存储的每种织物对应的特征信息之间的匹配度值；
根据所述匹配度值和预设的匹配度阈值，识别所述待识别织物的类型。
优选地，所述计算所述织物预测结果与所述当前训练样本标注的织物类型之间的误差的公式为：
L＝Y’*logY
其中，L表示交叉熵损失函数；Y’表示标注的织物类型；Y表示织物预测结果。
优选地，所述将所述误差通过梯度下降法反向传播对所述卷积神经网络的权重进行更新优化的权重更新公式为：
其中，L表示损失函数，W表示卷积神经网络的权重，W+表示更新后的卷积神经网络的权重，α表示学习率。
另一方面，还提供一种基于卷积神经网络的织物识别***，包括：
视频获取模块，用于获取不同织物的视频，每种织物对应多个视频；
图像转换模块，用于将所述视频转换为多帧RGB图像；
光流图像生成模块，用于根据每个视频中的相邻帧的RGB图像生成每个视频对应的光流图像；
训练样本集构建模块，用于构建训练样本集，将每个视频对应的多帧RGB图像和光流图像作为一个训练样本，并标注所述训练样本的织物类型，将多个所述训练样本和标注的所述训练样本的织物类型组成训练样本集；
模型训练模块，用于将所述训练样本集输入卷积神经网络进行训练，得到卷积神经网络模型；
所述视频获取模块，还用于获取待识别织物的视频；
织物识别模块，用于根据所述待识别织物的视频和所述卷积神经网络模型，识别所述待识别织物的类型。
优选地，所述模型训练模块包括：
模型训练单元，用于将当前训练样本输入卷积神经网络中进行训练，并输出所述当前训练样本对应的织物预测结果；
误差计算单元，用于计算所述织物预测结果与所述当前训练样本标注的织物类型之间的误差；
权重更新单元，用于当所述误差大于预设值时，将所述误差通过梯度下降法反向传播对所述卷积神经网络的权重进行更新优化，直至所述卷积神经网络输出的织物预测结果与标注的织物类型之间的误差小于所述预设值；
所述模型训练单元，还用于当所述误差小于所述预设值时，采用下一训练样本对卷积神经网络进行训练，直至所述训练样本集中的最后一个训练样本训练完成时，得到卷积神经网络模型。
优选地，所述模型训练单元包括：
样本输入子单元，用于将当前训练样本输入卷积神经网络中；
特征提取子单元，用于提取所述当前训练样本中各帧RGB图像的空间特征，得到织物的表面特征；
所述特征提取子单元，还用于提取所述当前训练样本中的光流图像的时域特征，得到织物的运动特征；
预测结果输出子单元，用于将所述织物的表面特征和所述织物的运动特征输入所述卷积神经网络的全连接网络层，输出织物预测结果。
通过本发明提供的一种基于卷积神经网络的织物识别方法及***，能够带来以下至少一种有益效果：
1、本发明中，通过获取织物的视频，然后对织物视频进行处理得到训练样本集，再根据训练样本集对卷积神经网络进行训练得到卷积神经网络模型，当获取到待识别织物的视频时，即可根据训练好的卷积神经网络模型识别出织物的类型；本发明中通过织物视频得到的训练样本包括多帧RGB图像和对应的关流图像，相比于传统的单张图像，多帧图像具有时序信息，且相邻帧之间的信息能够对织物识别起到作用，并且多帧图像可以提取出织物数据的有效三维信息，从而使织物识别结果更加准确；此外，本发明的织物识别方法通过织物视频即可对不同的织物进行分类，可在不破坏织物的前提下识别出织物的材料，以减少不必要的浪费。
2、在本发明一优选实施例中，通过多帧RGB图像获取织物的表面特征，并通过光流图像获取织物的运动特征，并结合织物的表面特征和织物的运动特征来识别织物，可提高织物的识别准确率。
附图说明
下面将以明确易懂的方式，结合附图说明优选实施方式，对一种基于卷积神经网络的织物识别方法及***的上述特性、技术特征、优点及其实现方式予以进一步说明。
图1是本发明一种基于卷积神经网络的织物识别方法的实施例一的流程示意图；
图2是本发明一种基于卷积神经网络的织物识别方法的实施例二的流程示意图；
图3是本发明一种基于卷积神经网络的织物识别方法的实施例三的流程示意图；
图4是本发明一种基于卷积神经网络的织物识别方法的实施例四的流程示意图；
图5是本发明一种基于卷积神经网络的织物识别方法的实施例五的流程示意图；
图6是本发明一种基于卷积神经网络的织物识别***的一个实施例的结构示意框图。
附图标号说明
100、视频获取模块； 200、图像转换模块；
300、光流图像生成模块； 400、训练样本集构建模块；
500、模型训练模块； 510、模型训练单元；
511、样本输入子单元； 512、特征提取子单元；
513、预测结果输出子单元； 520、误差计算单元；
530、权重更新单元； 600、织物识别模块；
610、图像转换单元； 620、光流图像生成单元；
630、输入单元； 640、特征提取单元；
650、特征融合单元； 660、织物识别单元；
661、匹配度值计算子单元； 662、织物识别子单元。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
根据本发明提供的第一实施例，如图1所示，一种基于卷积神经网络的织物识别方法，包括：
S100获取不同织物的视频，每种织物对应多个视频；
具体地，可使用数码相机如Canon EOS 5D拍摄30种或更多种织物视频，拍摄视频时，将每种织物大小基本保持一致，并将每种织物悬挂在杆子上，使用鼓风机从相同位置吹动织物，通过数码相机拍摄每种织物在鼓风机吹动下的视频，每种织物拍摄多个1到2分钟的视频。
S200将所述视频转换为多帧RGB图像；
具体地，通过步骤S100拍摄得到每种织物在鼓风机吹动下的视频后，将每个视频转换为一帧一帧的RGB图像，一个视频对应多帧RGB图像。
S300根据每个视频中的相邻帧的RGB图像生成每个视频对应的光流图像；
具体地，物体在运动的时候，物体在图像上对应点的亮度模式也在做相应的运动，这种图像亮度模式的表观运动就是光流。光流的研究就是利用图像序列中像素的强度数据的时域变化和相关性来确定各自像素位置的运动。光流表达了图像的变化，因此可被观察者用来确定目标的运动情况。
在每个视频中，根据相邻帧的RGB图像生成光流图像，如一个视频对应的多帧RGB图像为图像1、图像2、图像3、图像4、图像5......图像n-1和图像n；根据图像1和图像2生成光流图像1，根据图像2和图像3生成光流图像2，根据图像3和图像4生成光流图像3，根据图像4和图像5生成光流图像4，根据图像n-1和图像n生成光流图像n-1。通过相邻帧的RGB图像生成多个光流图像后，可通过光流图像分析织物的运动特征。
S400构建训练样本集，将每个视频对应的多帧RGB图像和光流图像作为一个训练样本，并标注所述训练样本的织物类型，将多个所述训练样本和标注的所述训练样本的织物类型组成训练样本集；
具体地，将每个视频对应的多帧RGB图像和由RGB图像生成的光流图像作为一个训练样本，并由人工标注每个视频的织物的真实类别的标签，再用one hot编码方式对每个训练样本的标签进行编码。再将多个训练样本和标注的训练样本的织物类型组成训练样本集。
S500将所述训练样本集输入卷积神经网络进行训练，得到卷积神经网络模型；
具体地，得到构建的训练样本集后，将训练样本集输入卷积神经网络中，如ResNet50卷积神经网络，并初始化该卷积神经网络的权重和学习率，然后通过训练样本集不断地更新卷积神经网络的权重，最后得到训练好的卷积神经网络模型。
S600获取待识别织物的视频；
S700根据所述待识别织物的视频和所述卷积神经网络模型，识别所述待识别织物的类型。
具体地，通过训练样本集训练得到卷积神经网络模型后，当获取到待识别织物的视频后，可根据训练好的卷积神经网络模型的权重和待识别织物的视频，识别出待识别织物的类型。
本实施例中，通过获取织物的视频，然后对织物视频进行处理得到训练样本集，再根据训练样本集对卷积神经网络进行训练得到卷积神经网络模型，当获取到待识别织物的视频时，即可根据训练好的卷积神经网络模型识别出织物的类型；本实施例中通过织物视频得到的训练样本包括多帧RGB图像和对应的关流图像，相比于传统的单张图像，多帧图像具有时序信息，且相邻帧之间的信息能够对织物识别起到作用，并且多帧图像可以提取出织物数据的有效三维信息，从而使织物识别结果更加准确；此外，本实施例的织物识别方法通过织物视频即可对不同的织物进行分类，可在不破坏织物的前提下识别出织物的材料，以减少不必要的浪费。
本实施例的基于卷积神经网络的织物识别方法，可用于仿制型生产时的织物材料识别、电商网站上的面料识别以及衣物的材料识别等等。
应用1在仿制型生产时，由于未知织物的材料组成成分，生产前难以预估产品最终效果。为控制产品质量，只能多次采用试织打样的方式进行生产，每款产品从设计、织造到后整理约经过5-7天，导致产品生产效率过低。并且，需在破坏织物的前提下识别出其材料，造成不必要的浪费，产生巨大的经济损失。
解决方案：安装本发明后，在纺织业中可直接录制织物的视频，在不破坏材料的前提下使用视频对织物进行分类，得到大概的类别，再交给专业技术人员进行细化分类，以达到提高工作效率，减少浪费的效果。
应用2目前，在许多电商网站上，拍照识图十分普及。但是消费者只能通过拍照大概得知衣服的外观款式，却无法得知面料是什么，导致买回来的衣服不尽人意。
解决方案：在手机上植入本发明后，在路上看见心仪衣服时，可直接拿手机拍摄视频上传。用户通过此发明可获取该衣服大概的面料，细化具体选择的范围，从而给用户更好的指引，提高用户的满意度。
应用3当下衣物种类繁杂，许多仿制面料和真实面料鱼龙混杂，真假混卖，在无法通过触感的经验分辨织物种类的情况下，消费者面临被欺骗的可能。
解决方案：对于监管部门来说，使用本发明通过录制织物的视频，得到织物的类别，对比衣物标签的成分表，检测是否相符，从而提高监管力度。对于消费者来说，在手机上植入本发明，在购买衣物的时候可随时随地通过录制视频来获取织物的类别，以免上当受骗。
根据本发明提供的第二实施例，如图2所示，一种基于卷积神经网络的织物识别方法，在上述第一实施例中，步骤S500将所述训练样本集输入卷积神经网络进行训练，得到卷积神经网络模型具体包括：
S510将当前训练样本输入卷积神经网络中进行训练，并输出所述当前训练样本对应的织物预测结果；
S520计算所述织物预测结果与所述当前训练样本标注的织物类型之间的误差；
S530当所述误差大于预设值时，将所述误差通过梯度下降法反向传播对所述卷积神经网络的权重进行更新优化，直至所述卷积神经网络输出的织物预测结果与标注的织物类型之间的误差小于所述预设值；
S540当所述误差小于所述预设值时，采用下一训练样本对卷积神经网络进行训练，直至所述训练样本集中的最后一个训练样本训练完成时，得到卷积神经网络模型。
具体地，先初始化一组卷积神经网络中的权重和学习率，然后根据初始化的卷积神经网络的权重，输出当前训练样本对应的织物预测结果。得到织物预测结果后，计算织物预测结果和当前训练样本标注的织物类型之间的误差，当两者之间的误差大于预设值时，将两者之间的误差通过梯度下降法反向传播并对卷积神经网络当前的权重进行更新优化，直至卷积神经网络输出的织物预测结果与当前训练样本标注的织物类型之间的误差小于预设值时，采用下一训练样本对卷积神经网络进行训练，每一训练样本的训练过程相同，直至训练样本集中的所有训练样本训练完成时，得到卷积神经网络模型。
优选地，采用交叉熵公式计算织物预测结果与当前训练样本标注的织物类型之间的误差，交叉熵的公式为：
L＝Y’*logY
其中，L表示交叉熵损失函数，Y’表示标注的织物类型；Y表示织物预测结果。
计算出当前训练样本对应的织物预测结果与当前训练样本标注的织物类型之间的误差后，通过梯度下降法反向传播对卷积神经网络当前的权重进行更新时，先用链式求导法则计算出损失关于每一个神经元的梯度，链式求导法则的公式如下：
设卷积神经网络的各个权重为wji，损失函数为L，netj为编号为j的节点的加权输入，x为输入。
根据链式求导法则，L对每个权重wji的偏导数计算如下：
在卷积神经网络模型的反向传播和模型优化的过程中，我们希望预测值和实际值越接近越好，本实施例中使用梯度下降优化算法。梯度是一个向量，它指向函数数值上升最快的方向。通过计算出损失函数对每个权重w的偏导数，就能通过梯度下降更新权重w。本实施例中根据链式求导法则，计算出损失函数对每个权重的偏导数。
求出每一个神经元的梯度后，使用权重更新公式更新卷积神经网络中的每一个权重，权重更新公式如下：
其中，L表示损失函数，即交叉熵损失函数，W表示卷积神经网络的权重，W+表示更新后的卷积神经网络的权重，α表示学习率。通过不断地对卷积神经网络进行更新改进，可提高织物识别的精度。
根据本发明提供的第三实施例，如图3所示，一种基于卷积神经网络的织物识别方法，在上述第二实施例中，步骤S510将当前训练样本输入卷积神经网络中进行训练，并输出所述当前训练样本对应的织物预测结果具体包括：
S511将当前训练样本输入卷积神经网络中；
S512所述卷积神经网络提取所述当前训练样本中各帧RGB图像的空间特征，得到织物的表面特征；
S513所述卷积神经网络提取所述当前训练样本中的光流图像的时域特征，得到织物的运动特征；
S514将所述织物的表面特征和所述织物的运动特征输入所述卷积神经网络的全连接网络层，输出织物预测结果。
具体地，将当前训练样本对应的多帧RGB图像和光流图像输入卷积神经网络中，卷积神经网络通过卷积层和池化层提取多帧RGB图像的空间特征，即织物的表面特征，然后提取光流图像的时域特征，得到织物的运动特征(运动轨迹)。
图像的本质是二维矩阵，利用卷积神经网络的卷积层上的卷积核，在图像上不断滑动运算，得到一个特征值矩阵，即特征映射(feature map)。不同的卷积核提取不同的特征，做完卷积操作后左池化操作降维，以此来实现物体表面特征的提取。
同理，图像中物体的运动可以用密集光流场来可视化描述，我们把堆叠的多帧光流图像作为输入，光流图像里包含物体的运动信息，采用与提取物体表面特征相同的方法来实现物体运动特征的提取。
然后将织物的表面特征(空间信息)和织物的运动特征(时间信息)输入到卷积神经网络的全连接网络层进行内积运算，用1024个神经元建立空间信息与时间信息之间的非线性映射关系，对织物的表面特征和运动特征进行融合形成新的全连接层，输出最终的特征。
最后将得到的最终特征用全连接网络层映射到输出的织物类别上，得到织物预测结果。例如，训练样本集中包含的织物类别为30种，则输出的代表织物类别的向量要能区别出该30种织物，如可输出30维的向量。
本实施例中，通过多帧RGB图像获取织物的表面特征，并通过光流图像获取织物的运动特征，并结合织物的表面特征和织物的运动特征来识别织物，可提高织物的识别准确率。
根据本发明提供的第四实施例，如图4所示，一种基于卷积神经网络的织物识别方法，在上述第一实施例或第二实施例或第三实施例中，步骤S700根据所述待识别织物的视频和所述卷积神经网络模型，识别出所述待识别织物的类型具体包括：
S710将所述待识别织物的视频转换为多帧RGB图像；
S720根据所述待识别织物对应的多帧RGB图像中相邻帧的RGB图像生成光流图像；
具体地，获取到待识别织物的视频后，将该视频先转换为一帧一帧的RGB图像，得到多帧RGB图像。然后根据待识别织物的视频转换得到的多帧RGB图像生成光流图像。
例如，多帧RGB图像为图像1、图像2、图像3、图像4、图像5......图像n-1和图像n；根据图像1和图像2生成光流图像1，根据图像2和图像3生成光流图像2，根据图像3和图像4生成光流图像3，根据图像4和图像5生成光流图像4，根据图像n-1和图像n生成光流图像n-1。通过相邻帧的RGB图像生成多个光流图像后，可通过光流图像分析织物的运动特征。
S730将所述所述待识别织物对应的多帧RGB图像和光流图像输入所述卷积神经网络模型中；
S740所述卷积神经网络模型从所述待识别织物对应的多帧RGB图像中提取出所述待识别织物的表面特征；
S750所述卷积神经网络模型从所述待识别织物对应的光流图像中提取出所述待识别织物的运动特征；
具体地，利用训练好的卷积神经网络模型的权重从待识别织物对应的多帧RGB图像中提取出待识别织物的表面特征，并从待识别织物对应的光流图像中提取出待识别织物的运动特征。
S760将所述待识别织物的表面特征和所述待识别织物的运动特征输入所述卷积神经网络模型的全连接网络层，对所述待识别织物的表面特征和所述待识别织物的运动特征进行融合，输出最终特征信息；
具体地，将卷积神经网络模型提取到的待识别织物的表面特征和运动特征输入卷积神经网络模型的全连接网络层，用1024个神经元建立待识别织物的表面特征和运动特征之间的非线性映射关系，并对待识别织物的表面特征和运动特征进行融合，输出最终的特征信息。
S770根据所述最终特征信息，识别所述待识别织物的类型。
具体地，得到最终的特征信息后，将得到的最终特征信息用全连接网络层映射到输出的织物类别上，得到最终的织物识别结果。
根据本发明提供的第五实施例，如图5所示，一种基于卷积神经网络的织物识别方法，在上述第四实施例中，步骤S770根据所述最终特征信息，识别所述待识别织物的类型具体包括：
S771计算所述最终特征信息分别与预先存储的每种织物对应的特征信息之间的匹配度值；
S772根据所述匹配度值和预设的匹配度阈值，识别所述待识别织物的类型。
具体地，可预先获取并存储每种织物对应的真实的特征信息，然后计算通过卷积神经网络模型输入的待识别织物对应的最终特征信息与预先存储的每种织物对应的特征信息之间的匹配度值，然后根据匹配度值和预设的匹配度阈值，识别待识别织物的类型。即计算得到的匹配度值要大于预设的匹配度阈值，且将匹配度值最高的织物作为待识别织物的类型。
根据本发明提供的第六实施例，如图6所示，
一种基于卷积神经网络的织物识别***，包括：
视频获取模块100，用于获取不同织物的视频，每种织物对应多个视频；
图像转换模块200，用于将所述视频转换为多帧RGB图像；
光流图像生成模块300，用于根据每个视频中的相邻帧的RGB图像生成每个视频对应的光流图像；
训练样本集构建模块400，用于构建训练样本集，将每个视频对应的多帧RGB图像和光流图像作为一个训练样本，并标注所述训练样本的织物类型，将多个所述训练样本和标注的所述训练样本的织物类型组成训练样本集；
模型训练模块500，用于将所述训练样本集输入卷积神经网络进行训练，得到卷积神经网络模型；
所述视频获取模块100，还用于获取待识别织物的视频；
织物识别模块600，用于根据所述待识别织物的视频和所述卷积神经网络模型，识别所述待识别织物的类型。
优选地，所述模型训练模块500包括：
模型训练单元510，用于将当前训练样本输入卷积神经网络中进行训练，并输出所述当前训练样本对应的织物预测结果；
误差计算单元520，用于计算所述织物预测结果与所述当前训练样本标注的织物类型之间的误差；
权重更新单元530，用于当所述误差大于预设值时，将所述误差通过梯度下降法反向传播对所述卷积神经网络的权重进行更新优化，直至所述卷积神经网络输出的织物预测结果与标注的织物类型之间的误差小于所述预设值；
所述模型训练单元510，还用于当所述误差小于所述预设值时，采用下一训练样本对卷积神经网络进行训练，直至所述训练样本集中的最后一个训练样本训练完成时，得到卷积神经网络模型。
优选地，所述模型训练单元510包括：
样本输入子单元511，用于将当前训练样本输入卷积神经网络中；
特征提取子单元512，用于提取所述当前训练样本中各帧RGB图像的空间特征，得到织物的表面特征；
所述特征提取子单元512，还用于提取所述当前训练样本中的光流图像的时域特征，得到织物的运动特征；
预测结果输出子单元513，用于将所述织物的表面特征和所述织物的运动特征输入所述卷积神经网络的全连接网络层，输出织物预测结果。
优选地，织物识别模块600包括：
图像转换单元610，用于将所述待识别织物的视频转换为多帧RGB图像；
光流图像生成单元620，用于根据所述待识别织物对应的多帧RGB图像中相邻帧的RGB图像生成光流图像；
输入单元630，用于将所述待识别织物对应的多帧RGB图像和光流图像输入所述卷积神经网络模型中；
特征提取单元640，用于从所述待识别织物对应的多帧RGB图像中提取出所述待识别织物的表面特征；
所述特征提取单元640，用于从所述待识别织物对应的光流图像中提取出所述待识别织物的运动特征；
特征融合单元650，用于将所述待识别织物的表面特征和所述待识别织物的运动特征输入所述卷积神经网络模型的全连接网络层，对所述待识别织物的表面特征和所述待识别织物的运动特征进行融合，输出最终特征信息；
织物识别单元660，用于根据所述最终特征信息，识别所述待识别织物的类型。
优选地，所述织物识别单元660包括：
匹配度值计算子单元661，用于计算所述最终特征信息分别与预先存储的每种织物对应的特征信息之间的匹配度值；
织物识别子单元662，用于根据所述匹配度值和预设的匹配度阈值，识别所述待识别织物的类型。
优选地，计算所述织物预测结果与所述当前训练样本标注的织物类型之间的误差的公式为：
L＝Y’*logY
其中，L表示交叉熵损失函数；Y’表示标注的织物类型；Y表示织物预测结果。
优选地，将所述误差通过梯度下降法反向传播对所述卷积神经网络的权重进行更新优化的权重更新公式为：
其中，L表示损失函数，W表示卷积神经网络的权重，W+表示更新后的卷积神经网络的权重，α表示学习率。
本实施例中的各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种基于卷积神经网络的织物识别方法，其特征在于，包括：
获取不同织物的视频，每种织物对应多个视频；
将所述视频转换为多帧RGB图像；
根据每个视频中的相邻帧的RGB图像生成每个视频对应的光流图像；
构建训练样本集，将每个视频对应的多帧RGB图像和光流图像作为一个训练样本，并标注所述训练样本的织物类型，将多个所述训练样本和标注的所述训练样本的织物类型组成训练样本集；
将所述训练样本集输入卷积神经网络进行训练，得到卷积神经网络模型；
获取待识别织物的视频；
根据所述待识别织物的视频和所述卷积神经网络模型，识别所述待识别织物的类型。
2.根据权利要求1所述的一种基于卷积神经网络的织物识别方法，其特征在于，所述将所述训练样本集输入卷积神经网络进行训练，得到卷积神经网络模型具体包括：
将当前训练样本输入卷积神经网络中进行训练，并输出所述当前训练样本对应的织物预测结果；
计算所述织物预测结果与所述当前训练样本标注的织物类型之间的误差；
当所述误差大于预设值时，将所述误差通过梯度下降法反向传播对所述卷积神经网络的权重进行更新优化，直至所述卷积神经网络输出的织物预测结果与标注的织物类型之间的误差小于所述预设值；
当所述误差小于所述预设值时，采用下一训练样本对卷积神经网络进行训练，直至所述训练样本集中的最后一个训练样本训练完成时，得到卷积神经网络模型。
3.根据权利要求2所述的一种基于卷积神经网络的织物识别方法，其特征在于，所述将当前训练样本输入卷积神经网络中进行训练，并输出所述当前训练样本对应的织物预测结果具体包括：
将当前训练样本输入卷积神经网络中；
所述卷积神经网络提取所述当前训练样本中各帧RGB图像的空间特征，得到织物的表面特征；
所述卷积神经网络提取所述当前训练样本中的光流图像的时域特征，得到织物的运动特征；
将所述织物的表面特征和所述织物的运动特征输入所述卷积神经网络的全连接网络层，输出织物预测结果。
4.根据权利要求1所述的一种基于卷积神经网络的织物识别方法，其特征在于，所述根据所述待识别织物的视频和所述卷积神经网络模型，识别出所述待识别织物的类型具体包括：
将所述待识别织物的视频转换为多帧RGB图像；
根据所述待识别织物对应的多帧RGB图像中相邻帧的RGB图像生成光流图像；
将所述待识别织物对应的多帧RGB图像和光流图像输入所述卷积神经网络模型中；
所述卷积神经网络模型从所述待识别织物对应的多帧RGB图像中提取出所述待识别织物的表面特征；
所述卷积神经网络模型从所述待识别织物对应的光流图像中提取出所述待识别织物的运动特征；
将所述待识别织物的表面特征和所述待识别织物的运动特征输入所述卷积神经网络模型的全连接网络层，对所述待识别织物的表面特征和所述待识别织物的运动特征进行融合，输出最终特征信息；
根据所述最终特征信息，识别所述待识别织物的类型。
5.根据权利要求4所述的一种基于卷积神经网络的织物识别方法，其特征在于，所述根据所述最终特征信息，识别所述待识别织物的类型具体包括：
计算所述最终特征信息分别与预先存储的每种织物对应的特征信息之间的匹配度值；
根据所述匹配度值和预设的匹配度阈值，识别所述待识别织物的类型。
6.根据权利要求2所述的一种基于卷积神经网络的织物识别方法，其特征在于，所述计算所述织物预测结果与所述当前训练样本标注的织物类型之间的误差的公式为：
L＝Y'*logY
其中，L表示交叉熵损失函数；Y’表示标注的织物类型；Y表示织物预测结果。
7.根据权利要求2所述的一种基于卷积神经网络的织物识别方法，其特征在于，所述将所述误差通过梯度下降法反向传播对所述卷积神经网络的权重进行更新优化的权重更新公式为：
其中，L表示损失函数，W表示卷积神经网络的权重，W+表示更新后的卷积神经网络的权重，α表示学习率。
8.一种基于卷积神经网络的织物识别***，其特征在于，包括：
视频获取模块，用于获取不同织物的视频，每种织物对应多个视频；
图像转换模块，用于将所述视频转换为多帧RGB图像；
光流图像生成模块，用于根据每个视频中的相邻帧的RGB图像生成每个视频对应的光流图像；
训练样本集构建模块，用于构建训练样本集，将每个视频对应的多帧RGB图像和光流图像作为一个训练样本，并标注所述训练样本的织物类型，将多个所述训练样本和标注的所述训练样本的织物类型组成训练样本集；
模型训练模块，用于将所述训练样本集输入卷积神经网络进行训练，得到卷积神经网络模型；
所述视频获取模块，还用于获取待识别织物的视频；
织物识别模块，用于根据所述待识别织物的视频和所述卷积神经网络模型，识别所述待识别织物的类型。
9.根据权利要求8所述的一种基于卷积神经网络的织物识别***，其特征在于，所述模型训练模块包括：
模型训练单元，用于将当前训练样本输入卷积神经网络中进行训练，并输出所述当前训练样本对应的织物预测结果；
误差计算单元，用于计算所述织物预测结果与所述当前训练样本标注的织物类型之间的误差；
权重更新单元，用于当所述误差大于预设值时，将所述误差通过梯度下降法反向传播对所述卷积神经网络的权重进行更新优化，直至所述卷积神经网络输出的织物预测结果与标注的织物类型之间的误差小于所述预设值；
所述模型训练单元，还用于当所述误差小于所述预设值时，采用下一训练样本对卷积神经网络进行训练，直至所述训练样本集中的最后一个训练样本训练完成时，得到卷积神经网络模型。
10.根据权利要求9所述的一种基于卷积神经网络的织物识别***，其特征在于，所述模型训练单元包括：
样本输入子单元，用于将当前训练样本输入卷积神经网络中；
特征提取子单元，用于提取所述当前训练样本中各帧RGB图像的空间特征，得到织物的表面特征；
所述特征提取子单元，还用于提取所述当前训练样本中的光流图像的时域特征，得到织物的运动特征；
预测结果输出子单元，用于将所述织物的表面特征和所述织物的运动特征输入所述卷积神经网络的全连接网络层，输出织物预测结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910130785.7A CN109858462A (zh) | 2019-02-21 | 2019-02-21 | 一种基于卷积神经网络的织物识别方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910130785.7A CN109858462A (zh) | 2019-02-21 | 2019-02-21 | 一种基于卷积神经网络的织物识别方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109858462A true CN109858462A (zh) | 2019-06-07 |
Family
ID=66898554
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910130785.7A Pending CN109858462A (zh) | 2019-02-21 | 2019-02-21 | 一种基于卷积神经网络的织物识别方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109858462A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378254A (zh) * | 2019-07-03 | 2019-10-25 | 中科软科技股份有限公司 | 车损图像修改痕迹的识别方法、***、电子设备及存储介质 |
| CN110717510A (zh) * | 2019-09-03 | 2020-01-21 | 天津大学 | 一种基于深度学习和原子力显微镜力曲线的材料区分方法 |
| CN112149501A (zh) * | 2020-08-19 | 2020-12-29 | 北京豆牛网络科技有限公司 | 具有包装的果蔬的识别方法、识别装置、电子设备以及计算机可读介质 |
| CN112613413A (zh) * | 2020-12-25 | 2021-04-06 | 平安国际智慧城市科技股份有限公司 | 易腐垃圾分类质量判定方法、装置及计算机可读存储介质 |
| CN113361655A (zh) * | 2021-07-12 | 2021-09-07 | 武汉智目智能技术合伙企业(有限合伙) | 一种基于残差网络与特征差拟合的异纤分类方法 |
| WO2022256962A1 (zh) * | 2021-06-07 | 2022-12-15 | 浙江大学 | 一种高维材质的自由式采集方法 |
| CN116402833A (zh) * | 2023-06-08 | 2023-07-07 | 武汉纺织大学 | 一种基于知识蒸馏的半监督视频目标分割方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1475944A (zh) * | 2003-06-29 | 2004-02-18 | 浙江大学银河自动化有限公司 | 织物花形设计方法及数据存储装置 |
| CN1635363A (zh) * | 2003-12-30 | 2005-07-06 | 杨大利 | 纱线外观质量数字图像分析的方法 |
| CN107862376A (zh) * | 2017-10-30 | 2018-03-30 | 中山大学 | 一种基于双流神经网络的人体图像动作识别方法 |
| CN108133188A (zh) * | 2017-12-22 | 2018-06-08 | 武汉理工大学 | 一种基于运动历史图像与卷积神经网络的行为识别方法 |
| CN108985192A (zh) * | 2018-06-29 | 2018-12-11 | 东南大学 | 一种基于多任务深度卷积神经网络的视频烟雾识别方法 |
-
2019
- 2019-02-21 CN CN201910130785.7A patent/CN109858462A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1475944A (zh) * | 2003-06-29 | 2004-02-18 | 浙江大学银河自动化有限公司 | 织物花形设计方法及数据存储装置 |
| CN1635363A (zh) * | 2003-12-30 | 2005-07-06 | 杨大利 | 纱线外观质量数字图像分析的方法 |
| CN107862376A (zh) * | 2017-10-30 | 2018-03-30 | 中山大学 | 一种基于双流神经网络的人体图像动作识别方法 |
| CN108133188A (zh) * | 2017-12-22 | 2018-06-08 | 武汉理工大学 | 一种基于运动历史图像与卷积神经网络的行为识别方法 |
| CN108985192A (zh) * | 2018-06-29 | 2018-12-11 | 东南大学 | 一种基于多任务深度卷积神经网络的视频烟雾识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| BOUMAN K L: "Estimating the Material Properties of Fabricfrom Video", 《IEEE》 * |
| 智洪欣: "基于深度学习的视频分类技术研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378254A (zh) * | 2019-07-03 | 2019-10-25 | 中科软科技股份有限公司 | 车损图像修改痕迹的识别方法、***、电子设备及存储介质 |
| CN110378254B (zh) * | 2019-07-03 | 2022-04-19 | 中科软科技股份有限公司 | 车损图像修改痕迹的识别方法、***、电子设备及存储介质 |
| CN110717510A (zh) * | 2019-09-03 | 2020-01-21 | 天津大学 | 一种基于深度学习和原子力显微镜力曲线的材料区分方法 |
| CN112149501A (zh) * | 2020-08-19 | 2020-12-29 | 北京豆牛网络科技有限公司 | 具有包装的果蔬的识别方法、识别装置、电子设备以及计算机可读介质 |
| CN112613413A (zh) * | 2020-12-25 | 2021-04-06 | 平安国际智慧城市科技股份有限公司 | 易腐垃圾分类质量判定方法、装置及计算机可读存储介质 |
| WO2022256962A1 (zh) * | 2021-06-07 | 2022-12-15 | 浙江大学 | 一种高维材质的自由式采集方法 |
| CN113361655A (zh) * | 2021-07-12 | 2021-09-07 | 武汉智目智能技术合伙企业(有限合伙) | 一种基于残差网络与特征差拟合的异纤分类方法 |
| CN113361655B (zh) * | 2021-07-12 | 2022-09-27 | 武汉智目智能技术合伙企业(有限合伙) | 一种基于残差网络与特征差拟合的异纤分类方法 |
| CN116402833A (zh) * | 2023-06-08 | 2023-07-07 | 武汉纺织大学 | 一种基于知识蒸馏的半监督视频目标分割方法 |
| CN116402833B (zh) * | 2023-06-08 | 2023-08-22 | 武汉纺织大学 | 一种基于知识蒸馏的半监督视频目标分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109858462A (zh) | 一种基于卷积神经网络的织物识别方法及*** | |
| Barbosa et al. | Looking beyond appearances: Synthetic training data for deep cnns in re-identification | |
| CN106303233B (zh) | 一种基于表情融合的视频隐私保护方法 | |
| Mariolis et al. | Pose and category recognition of highly deformable objects using deep learning | |
| Sokolova et al. | Gait recognition based on convolutional neural networks | |
| Chen et al. | Describing clothing by semantic attributes | |
| US20200320769A1 (en) | Method and system for predicting garment attributes using deep learning | |
| Schuldt et al. | Recognizing human actions: a local SVM approach | |
| Khan et al. | Semantic pyramids for gender and action recognition | |
| CN107463920A (zh) | 一种消除局部遮挡物影响的人脸识别方法 | |
| CN108932500A (zh) | 一种基于深度神经网络的动态手势识别方法及*** | |
| CN110728183B (zh) | 一种基于注意力机制的神经网络的人体动作识别方法 | |
| CN109543602A (zh) | 一种基于多视角图像特征分解的行人再识别方法 | |
| CN109558810A (zh) | 基于部位分割与融合目标人物识别方法 | |
| CN104598883A (zh) | 一种多摄像机监控网络中目标再识别的方法 | |
| CN110390308A (zh) | 一种基于时空对抗生成网络的视频行为识别方法 | |
| Nguyen et al. | Seeing human weight from a single rgb-d image | |
| Ren et al. | A deep and structured metric learning method for robust person re-identification | |
| CN108985443A (zh) | 动作识别方法及其神经网络生成方法、装置和电子设备 | |
| KR20210090456A (ko) | 멀티 포즈를 지원하는 이미지 기반 자세보존 가상피팅 시스템 | |
| CN116343267B (zh) | 衣物屏蔽网络的人体高级语义换衣行人重识别方法及装置 | |
| CN112560812A (zh) | 基于融合深度特征的微表情识别方法 | |
| Seo et al. | One-to-one example-based automatic image coloring using deep convolutional generative adversarial network | |
| CN113420697B (zh) | 基于表观和形状特征的换装视频行人重识别方法及*** | |
| Watson et al. | Person re-identification combining deep features and attribute detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190607 |
|
| RJ01 | Rejection of invention patent application after publication |