CN114049254B - 低像素牛头图像重建识别方法、***、设备及存储介质 - Google Patents
低像素牛头图像重建识别方法、***、设备及存储介质 Download PDFInfo
- Publication number
- CN114049254B CN114049254B CN202111276532.4A CN202111276532A CN114049254B CN 114049254 B CN114049254 B CN 114049254B CN 202111276532 A CN202111276532 A CN 202111276532A CN 114049254 B CN114049254 B CN 114049254B
- Authority
- CN
- China
- Prior art keywords
- head image
- network
- resolution
- head
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000003860 storage Methods 0.000 title claims abstract description 26
- 238000012549 training Methods 0.000 claims abstract description 77
- 238000005070 sampling Methods 0.000 claims abstract description 14
- 238000010276 construction Methods 0.000 claims abstract description 12
- 241000283690 Bos taurus Species 0.000 claims description 120
- 230000006870 function Effects 0.000 claims description 34
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 22
- 239000013598 vector Substances 0.000 claims description 18
- 244000309464 bull Species 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 14
- 241001443588 Cottus gobio Species 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000003321 amplification Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 238000012804 iterative process Methods 0.000 claims description 4
- 230000008707 rearrangement Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000009395 breeding Methods 0.000 abstract description 8
- 230000001488 breeding effect Effects 0.000 abstract description 8
- 238000012360 testing method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 235000013365 dairy product Nutrition 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000006872 improvement Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 235000013305 food Nutrition 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000011056 performance test Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000003203 everyday effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 244000309466 calf Species 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000002255 vaccination Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种低像素牛头图像重建识别方法、***、设备及存储介质，所述方法包括：构建牛头图像数据集；构建第一牛头图像识别框架；利用牛头图像数据集对第一牛头图像识别框架进行训练，得到第二牛头图像识别框架；获取待重建识别的低像素牛头图像；将所述低像素牛头图像输入第二牛头图像识别框架，实现低像素牛头图像的重建识别。本发明通过在超分辨网络中增加自适应多尺度上采样模块，能更好地重建牛头图像不同层次的识别细节，同时牛头图像识别框架的构建，明显地提升了牛头图像识别准确率，实现了远距离的奶牛个体精准快速识别，为实现智能化、精准化奶牛养殖提供重要的技术支持。
Description
技术领域
本发明属于奶牛个体快速识别领域，特别涉及一种低像素牛头图像重建识别方法、***、设备及存储介质。
背景技术
奶制品产量的不断提高推动着奶牛养殖向规模化和集约化发展，同时人们对奶制品质量要求的提高也在促进奶牛养殖向科学化、精细化和标准化方向发展。近年来，虽然规模化和集约化养殖不断发展，但很多奶牛场的生产管理水平仍处初级阶段，使用比较原始的人工方式进行生产管理，整体精细化、自动化程度较低，造成生产效率难以提高、产出质量一般。
奶牛个体识别作为智能奶牛养殖的核心技术之一，奶牛个体识别在生产管理、控制重大疾病爆发、疫苗接种和可追溯中能发挥重要作用。目前此领域大多是使用耳标、嵌入式芯片、耳纹和基于RFID的识别***进行奶牛的识别，这类方法的缺点是有效范围小、标签丢失、传感器故障和标签易篡改等，原始的基于图像识别的方法获取需要的图像分辨率都比较高，且获取角度固定，而在实际农场环境中监控摄像头的分辨率不足且安置角度较高，通常无法获得高质量的牛头图像。
发明内容
有鉴于此，本发明提供了一种低像素牛头图像重建识别方法、***、设备及存储介质，通过在超分辨网络中引入不同的卷积层，形成牛头图像超分辨网络，实现对不同细节的内容捕获，同时将训练好的牛头图像超分辨网络和训练好的牛头图像识别网络有机结合成第二牛头图像识别框架，解决了识别信息的丢失和原图细节内容模糊的问题，提高了牛头图像识别能力，实现远距离的奶牛个体快速识别，为实现智能化、精准化奶牛养殖提供重要的技术支持。
本发明的第一个目的在于提供一种低像素牛头图像重建识别方法。
本发明的第二个目的在于提供一种低像素牛头图像重建识别***。
本发明的第三个目的在于提供一种计算机设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种低像素牛头图像重建识别方法，所述方法包括：
构建牛头图像数据集；
构建第一牛头图像识别框架，所述第一牛头图像识别框架包括牛头图像超分辨网络和牛头图像识别网络；
利用牛头图像数据集对第一牛头图像识别框架进行训练，得到第二牛头图像识别框架；
获取待重建识别的低像素牛头图像；
将所述低像素牛头图像输入第二牛头图像识别框架，实现低像素牛头图像的重建识别。
进一步的，所述利用牛头图像数据集对第一牛头图像识别框架进行训练，得到第二牛头图像识别框架，具体包括：
利用牛头图像数据集对牛头图像超分辨网络进行训练，直至收敛，将训练好的牛头图像超分辨网络作为预训练参数；
利用牛头图像数据集对牛头图像识别网络进行训练，直至收敛，将训练好的牛头图像识别网络作为预训练参数；
将分别训练好的牛头图像超分辨率网络和牛头图像识别网络组合起来，在牛头图像数据集上进行迭代调整训练，在每次调整训练的迭代过程中，交替地更新训练好的牛头图像超分辨率网络和牛头图像识别网络，直至收敛，得到第二牛头图像识别框架。
进一步的，所述牛头图像超分辨网络使用图像超分辨率深度卷积网络，在已有的卷积层基础之上增加了一个自适应多尺度上采样模块；所述牛头图像识别网络使用残差块为基本构造单位的ResNet50网络。
进一步的，所述自适应多尺度上采样模块的构成，具体如下：
在3×3卷积层的基础之上增加一个5×5卷积层，得到两个卷积层；
将两个卷积层输出的第二向量分别乘以权重值再相加，所得之和经像素重排得到高分辨率图像输出，具体公式如下：
其中，f3和f5分别为卷积核大小3×3和5×5的两个卷积层，fs为像素重排，α0和α1分别为不同卷积第二向量的权重。
进一步的，所述交替地更新训练好的牛头图像超分辨率网络和牛头图像识别网络，具体包括：
使用超分辨率损失函数和特征损失函数来更新训练好的牛头图像超分辨率网络；
以及使用合并的损失函数更新训练好的牛头图像识别网络。
进一步的，所述使用超分辨率损失函数和特征损失函数来更新训练好的牛头图像超分辨率网络，具体公式如下：
LS＝LSR+αLSI
其中，LSR表示L1损失函数，LSI表示特征损失函数；
LSI的定义为：
其中，fSR和fHR分别表示由识别模型提取的重构图像特征和高分辨率原图特征。
进一步的，所述使用合并的损失函数更新训练好的牛头图像识别网络，具体公式如下：
LR＝CHR+CSR
其中，CHR表示高分辨率原图的交叉熵损失函数，CSR表示经超分辨率网络放大后的重构图像的交叉熵损失函数。
本发明的第二个目的可以通过采取如下技术方案达到：
一种低像素牛头图像重建识别***，所述***包括：
第一构建单元，构建牛头图像数据集；
第二构建单元，构建第一牛头图像识别框架；
训练单元，利用牛头图像数据集对第一牛头图像识别框架进行训练，得到第二牛头图像识别框架；
获取单元，获取待重建识别的低像素牛头图像；
重建识别单元，将所述低像素牛头图像输入第二牛头图像识别框架，实现低像素牛头图像的重建识别。
本发明的第三个目的可以通过采取如下技术方案达到：
一种设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的低像素牛头图像重建识别方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的低像素牛头图像重建识别方法。
本发明相对于现有技术具有如下的有益效果：
本发明通过采用不同尺寸的卷积核可实现对不同层次细节内容的捕获，在训练过程中，两个分支的权重能自适应地进行调整，能使上采样模块更好地重建不同层次的细节，并且模块仅增加了一个卷积层，所增加的参数量和计算量却很少，但到达了意想不到的细节重建效果，大大提高了图像的识别性能；再将训练好的牛头图像超分辨网络和训练好的牛头图像识别网络有机结合一起，进行统一训练，构成第二牛头图像识别框架，该框架解决了识别信息的丢失和原图细节内容模糊的问题，提高了牛头图像识别能力，实现远距离的奶牛个体快速识别，为实现智能化、精准化奶牛养殖提供重要的技术支持。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的低像素牛头图像重建识别方法的流程图。
图2为本发明实施例1的牛头图像截取工具的示例图。
图3a～图3d为本发明实施例1的牛头图像数据集的示例图。
图4为本发明实施例1的牛头耳标模糊的效果图。
图5为本发明实施例1的HCSR的结构图。
图6a为本发明实施例1的原上采样模块的结构图。
图6b为本发明实施例1的自适应多尺度上采样模块的结构图。
图7为本发明实施例1的自适应多尺度上采样模块的结构图。
图8为本发明实施例1的不同超分辨率模型输出牛头图像的结果图。
图9为本发明实施例1的ResNet50多尺度输入识别的结果图。
图10为本发明实施例1的ResNet50多尺度原图插值输入识别的结果图。
图11为本发明实施例1的第二牛头识别框架的流程图。
图12为本发明实施例1的牛头图像超分辨率识别工具的示例图。
图13为本发明实施例1的LCSR的结构图。
图14为本发明实施例1的LCSR所用残差块的结构图。
图15为本发明实施例2的低像素牛头图像重建识别***的流程图。
图16为本发明实施例3的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1所示，本实施例提供了一种低像素牛头图像识别方法，该方法包括以下步骤：
S101、构建牛头图像数据集。
(1)制定采集原则，根据采集原则采集原始数据，并针对采集出现的问题，对采集行为进行优化。
原始数据是采集自国内一家大型专业奶牛场，所使用的设备包括手机、数码相机、摄像头等，其中手机使用了4台华为手机、1台努比亚手机，数码相机为Canon PowerShotSX500 IS。采集方法有人工采集和固定摄像头自动采集两种方法，其中人工采集的图像由采集人员使用手机和数码相机在牛场通道中来回走动拍摄得到，除了在光线不足等情况下人为限制快门速度在0.05秒以下，基本使用自动模式进行拍摄，而摄像头采集的图像则是由固定于奶牛活动区域的摄像头获取的视频经截取处理得到，该截取采用牛头图像截取工具实现，其示例如图2所示。
后续数据集的建立和模型方案的设计很大程度依赖于原始数据的情况，需要事先确定采集的目标和注意事项，以保证数据的质量和采集过程的效率。为此确定了以下方法原则：1)应趁牛场每天投喂饲料的时候抓紧采集图像，因为在进食时奶牛会将头伸出牛栏进行取食，这时采集牛头图像会比较便捷，奶牛进食完成后就会返回牛栏内休息造成采集工作难以继续；2)在人工采集图像过程中，应与奶牛保持一定的距离，防止奶牛因害怕而停止进食、缩回牛栏中，造成拍摄无法继续，同时也是减少对牛场正常生产活动的干扰；3)通过走动以及从不同的距离进行拍摄以获取多个尺度的牛头照片；4)获取奶牛活动区域摄像头拍摄到的视频，每隔5秒截取一帧，获取原始牛头图像；5)为了使将来训练得到的模型更有意义，数据集包含的类别数应尽可能的多，这就要求拍摄尽可能多的奶牛个体，如采集至少1000头以上的奶牛的图像；6)为保证数据集中每一类都有足够的样本，避免类别不平衡的问题，同时也考虑到后续筛选数据时有部分会被清理掉，于是约定每一头牛都至少采集100张以上的图像；7)为了尽可能完整地获取每个牛头的特征信息，应尽量围绕着牛头从多个不同角度拍摄，如正面、左侧面、右侧面等等，同时不要使用连拍以避免造成过多的冗余信息；8)对每一头牛进行多日跟踪拍摄，以获取其在不同环境条件下的图像信息，特别是一些特殊情况如有面部污渍、被遮挡、阴雨天气时的图像，这能极大地丰富数据集的信息，使训练的模型鲁棒性更强；9)每天采集工作结束后，对当天的采集的数据进行粗筛，清理掉过于模糊的、无法辨识的图像，按照奶牛耳标的编号，将牛头图像分类存放到各个以奶牛编号命名的文件夹中。
但在实际采集过程中，发现了一些问题，会对图像数据采集质量和效率造成严重影响，具体问题如下：1)奶牛在进食过程中不停晃动头部，会导致采集的图像容易模糊；2)奶牛进食的时间长短不一，有些奶牛进食时间比较长，被拍摄到的概率比较高，而一些奶牛进食时间比较短，则很少被拍摄到，导致一些奶牛被采集了多达200张以上图像，而一些奶牛只采集到几张；3)在牛场日常管理工作中，经常会将奶牛在不同牛栏间转移，这也导致一部分奶牛的图像采集量不足；4)由于进食中的牛头挨得比较近，采集时画面中会同时包含多个牛头，虽然能一次性采集多个牛头，但会对后续的分拣工作造成很***烦，影响工作效率。
为了确保原始图像数据的质量，使采集工作更高效地进行，针对发现的问题，对采集工作进行了优化，具体优化措施如下：1)拍摄时将快门速度限制在0.05秒以下，以避免牛头图像模糊：2)每天整理完当天的数据后，对采集的数据进行一个汇总统计，筛选出不足100张图像的奶牛编号，后续重点跟踪拍摄，超过100张的则奶牛则忽略不再拍摄；3)牛场投喂饲料时，牛栏中的奶牛基本都会探头出来进食，此时快速记录下各个牛栏中的奶牛编号，便可知道各编号对应的奶牛位置，方便对数据量不足的奶牛进行跟踪拍摄；4)拍摄时，画面中尽量只包含1个牛头，一次性对该牛头拍摄多角度的一组照片，然后再继续拍摄下一头牛，以方便后续分类工作进行。
(2)利用半自动化的牛头图像数据处理方法处理原始数据，得到牛头图像数据集。
原始数据因采用手机和数码相机拍摄，分辨率达到了3000×4000大小，无论是加载到内存还是调整尺寸都要耗费很多时间，再者采集到的原始数据可能存在多个可识别的牛头，而识别任务只能有一个可识别牛头，所以要先将图像按单个牛头进行分割，而且图像中除了还有牛头之外，还存在大面积背景和耳标等容易给识别带来干扰的因素，需要对图像背景和耳标等干扰因素进行模糊化处理，然而单靠人工处理如此庞大的数据，耗时巨大，效率不高。因此，基于目标检测算法，设计了一个半自动化的牛头图像数据处理方法，能辅助人工快速完成牛头图像的背景去除，以及自动完成牛头耳标模糊化工作，提高数据集整理效率，如图4所示。
经过处理完成后的数据有85200张牛头图像，其中82010张划分为训练集，另外3190张则作为测试集；其中，数据采集自1000头荷斯坦奶牛，按照一头牛一个类别划分为了1000类，平均每个类含85.2张图像，最大的类含128张图像，最小的类含70张图像。图像的尺寸最小的宽120像素、高150像素，最大的宽3180像素、高3699像素，平均宽1070像素、高1212像素，这些多尺寸像素牛头图像可以满足高分辨率深度学习训练。
本实施例中的牛头数据集采集于非受控的条件下，包含了牛头正面、侧面等多个角度的图像，部分图像中的牛头受到遮挡，还有部分图像受阴天天气、逆光等环境因素影响成像较暗，如图3a～图3d所示(a、b、c和d分别为正面、侧面、有遮挡和弱光照)，这些因素提高了数据的多样性，同时也能提高模型的鲁棒性。
S102、构建第一牛头图像识别框架，所述第一牛头图像识别框架包括牛头图像超分辨网络和牛头图像识别网络。
第一牛头图像识别框架是指未进行统一组合训练的牛头图像识别框架，具体说明如下：
(1)牛头图像超分辨网络部分：
本实施例对目前性能最好的图像超分辨率深度卷积网络之一RCAN(ResidualChannel Attention Networks)(Zhang et al.,2018)进行改进并构建高性能牛头图像超分辨率网络HCSR，其基本网络结构如图5所示。
具体地，低分辨率的图像进入到网络后，先经过含64个3×3卷积核的卷积层，得到的含64个通道向量，将含64个通道向量输入到10个残差组构成的深度特征提取主干网络，得到第一向量；第一向量再经过一个3×3的卷积层后进入引入的自适应多尺度上采样模块，结构如图6b和图7所示，该自适应多尺度上采样模块与图6a的原上采样模块相比，在3×3卷积层的基础之上增加一个5×5卷积层，得到两个卷积层。进一步的，在引入的自适应多尺度上采样模块中，第一向量分别经过了卷积核大小分别为3×3和5×5的两个卷积层，使向量的通道数扩充到原来的r2倍，随后，两个卷积层输出的第二向量分别乘以一个可学习的权重值αi，将它们的积相加后再经像素重排得到高分辨率图像的输出，具体公式如下：
其中f3和f5分别为卷积核大小3×3和5×5的两个卷积层，fs为像素重排，α0和α1分别为不同卷积出来的第二向量权重，初始值设置为0.5。
本实施例中的残差组构成的深度特征提取主干网络的输入和输出是通过长连接相连；每个残差组由20个残差块组合，残差组的输入与输出间存在一个连接，而每个残差块内也存在一个连接，其后是一个通道注意模块。
本实施例中的3层嵌套的残差连接网络以及通道注意模块使得主网络能专注于学习高频信息，跳过低频信息，而且能使网络的深度得到了极大的延伸，有助于学习到更多的有效信息；采用不同尺寸的卷积核可实现对不同层次细节内容的捕获，在训练过程中，两个分支的权重能自适应地进行调整，能使上采样模块能更好地重建不同层次的细节，并且模块只增加了一个卷积层，增加的参数量和计算量很少，却到达了意想不到的细节重建，大大提高了图像的识别性能。
(2)牛头图像识别网络部分：
本实施例使用ResNet50作为牛头图像识别网络，牛头图像识别网络以残差块为基本构造单位，通过若干残差块构建成特征提取层，再由多个特征提取层的堆叠便构成整个ResNet网络，其中残差块的每个块的输出和这个块的输入进行相加，然后作为下一个块的输入，而且在同一层内的每个残差块所输出的特征图的维数都是相同的，在进入下一层时才进行池化操作，使长宽减半以及维数倍增。
本实施例中的牛头图像超分辨率网络重构图像与实际原图有明显的差别，丢失了很多原图的细节内容，边缘变得平滑，而牛头图像识别网络依赖于这些信息进行识别，识别信息的丢失，势必造成识别性能的下降；除此之外，两个网络的统一学习仍存在一些问题，由于两个网络所完成的任务差别较大，超分辨率是低层次的像素级别的图像处理问题，而图像识别是高层次的计算机视觉问题，它们用的损失函数不同，若从头开始训练，无论识别网络还是超分辨率网络都难以收敛。为了解决这些问题，需要将两个部分有机地结合起来，取训练得到的牛头图像识别网络与牛头图像超分辨率网络作为预训练参数导入，然后再进行统一的训练，使得牛头图像识别网络能学习到牛头图像超分辨率网络输出的图像的特性，牛头图像超分辨率网络也能学习到牛头图像识别网络反馈的信息，实现图像重建和识别。因此，在第一牛头图像识别框架统一训练之前需要对牛头图像识别网络和牛头图像超分辨网络进行分别训练，具体如下：
S1021、对牛头图像超分辨网络进行训练，并进行性能测试。
本实施例训练牛头图像超分辨网络使用ADAM作为优化器，学***均绝对误差(Mean Absolute Error，MAE)，为绝对误差的平均值，其表达式如下：
其中N为要计算的图像像素数量。
训练集使用了82010张牛头图像，另外3190张则作为测试集，在计算了牛头数据集图像的平均尺寸后，使用高和宽7比6的图像输入尺寸用于减少牛头的变形；考虑到内存大小限制和计算效率，使用的低分辨率图像输入尺寸为14×12、28×24以及56×48像素大小，经过牛头图像超分辨率网络统一放大到112×96像素的尺寸，即分别放大8倍、4倍及2倍；在图像输入到牛头图像超分辨率网络前，使用双三次插值将原始的图像缩放为14×12、28×24以及56×48像素大小，再分别输入到经典的超分辨率网络SRCNN(Dong et al.,2015)、EDSR(Lim et al.,2017)、RCAN和本实施例提出的牛头图像超分辨网络(HCSR)的中训练不同放大倍数的模型，最终得到12个超分辨率模型；然后用测试集的图像测试它们输出图像的质量，用PSNR作为衡量质量的指标。
对12个模型测试性能结果如下图8所示，图中展示了原图、双三次插值放大的图像以及各个超分辨率模型输出的图像，并在下方标注了它们的PSNR指标。由图8的PSNR值数据来看，放大倍数越高，PSNR也越低，模型间差别也越小。引入了自适应多尺度上采样模块的HCSR在2倍以及4倍放大倍数下都获取了最高的PSNR，证明了该结构的有效性；从视觉效果上看，放大因子越大，图像越模糊，牛头的花纹越光滑，模型间的差别也越大，例如放大8倍的图像，除了RCAN和HCSR，基本都有模糊的情况，而RCAN和HCSR间差别很小，而较小的放大倍数如2倍，需要放大才能看得出模型间的差别。
S1022、对牛头图像识别网络进行训练，并进行性能测试。
本实施例使用Softmax损失函数对牛头图像识别网络(ResNet50)进行训练，优化器为SGD(Stochastic Gradient Descent)，使用128的批大小，学***翻转和随机裁剪作为数据增强手段；使用了多个尺寸的牛头图像分别训练了多个ResNet50，然后以不同尺寸的图像对这些模型进行测试，分析分辨率降低对网络的影响。然后用从小到大各个尺寸的牛头图像训练识别网络，探索识别网络性能的极限。
具体的，用336×288、224×192、112×96、56×48、28×24、14×12像素等尺寸的牛头图像分别训练6个ResNet50；然后使用双三次插值调整测试集牛头的尺寸，每次增大1个像素大小，获取从1×1开始到336×288为止共336组多尺寸测试集；将多尺寸测试集输入到使用6个不同尺寸训练得到的ResNet50中，得到单一尺度训练的网络对多尺度输入的识别结果；再用双三次插值将多尺寸测试集分别采样到ResNet50对应的训练尺度，如ResNet50使用224×192的分辨率进行训练，则统一将多尺寸测试集中各种大小的图像重新采样到224×192，再输入到ResNet50中测试，这样便能获取双三次插值法对ResNet50的识别性能影响。
使用336×288、224×192、112×96、56×48、28×24、14×12等6个不同尺度输入图像训练的ResNet50识别准确率，结果如表1所示。
表1多个尺度牛头图像训练的ResNet50识别准确率
由表1中数据可知，中数据可知，ResNet50的识别准确率随着训练所用图像分辨率升高而提高，在最大的分辨率336×288下，ResNet50实现了最高的牛头识别准确率98.21％。在输入图像大小超过112×96之后，分辨率增加对识别性能的增益已经很小，只有1％左右，但对算力的耗费却是数倍地增加，因此从性能方面进行考虑，112×96像素大小作为牛头图像识别网络的输入尺寸是个不错的平衡点。
单尺度训练网络的多尺度输入测试结果如图9所示，其中每根曲线代表一个特定分辨率训练的ResNet50对不同分辨率输入的测试结果，可以表示不同分辨率训练的模型对输入分辨率变化的敏感度；双三次插值将多尺寸测试集分别采样到ResNet50对应的训练尺度再输入ResNet50网络进行测试，结果如图10所示，其中每根曲线代表一个特定分辨率训练的ResNet50对不同分辨率输入的测试结果，可以表示不同分辨率训练的模型对输入分辨率变化的敏感度。对图9以及图10分别计算各个曲线下的面积，即求各个准确率曲线的积分，得到表2。
表2不同训练尺度模型准确率曲线积分
S103、利用牛头图像数据集对第一牛头图像识别框架进行训练，得到第二牛头图像识别框架。
S1031、利用牛头图像数据集对牛头图像超分辨网络进行训练，直至收敛，将训练好的牛头图像超分辨网络作为预训练参数。
详见步骤S1021。
S1032、利用牛头图像数据集对牛头图像识别网络进行训练，直至收敛，将训练好的牛头图像识别网络作为预训练参数。
详见步骤S1022。
S1033、将分别训练好的牛头图像超分辨率网络和牛头图像识别网络组合起来，在牛头图像数据集上进行迭代调整训练，在每次调整训练的迭代过程中，交替地更新训练好的牛头图像超分辨率网络和牛头图像识别网络，直至收敛，得到第二牛头图像识别框架
在牛头图像数据集上进行迭代调整训练，在每一次调整训练迭代过程中，使用合并的损失函数更新牛头图像识别网络：
LR＝CHR+CSR#(3)
其中CHR表示高分辨率原图的交叉熵损失函数，CSR表示经牛头图像超分辨率网络放大后的重构图像的交叉熵损失函数。
然后再组合使用超分辨率损失函数和特征损失函数来更新牛头图像超分辨率网络：
LS＝LSR+αLSI#(4)
其中LSR代表L1损失函数，LSI代表特征损失函数。这里使用α来调节LSI的权重以实现更好的收敛效果，经过试验α设为8效果较好。LSI的定义为：
其中fSR和fHR分别代表由识别模型提取的重构图像特征和高分辨率原图特征，例如ResNet50经过内部的特征提取网络后，得到的是一个2048维的特征向量。
此后，不断采用上述策略，直到第一牛头图像识别框架完全训练收敛，得到第二牛头图像识别框架。
对牛头图像识别框架进行性能测试，具体如下：
对于网络整体的统一微调，对预训练参数进行了统一，统一使用SGD作为优化器，动量0.9，批大小调整为16；牛头图像识别网络的学习率0.001，牛头图像超分辨网络的学习率0.00005，微调训练30个周期，并在第13、16、20个周期时将牛头图像识别网络的学习率乘以0.1，牛头图像超分辨网络的学习率乘以0.5。
超分辨率网络部分测试了SRCNN、EDSR、RCAN和HCSR四个网络，输入14×12、28×24、56×48共三种分辨率并分别放大8倍、4倍和2倍到112×96大小，识别网络统一使用经112×96尺寸牛头图像预训练过的牛头图像识别网络(ResNet50)，此外使用了双三次插值将14×12、28×24和56×48大小的图像统一放大至112×96大小，然后以112×96尺寸牛头图像预训练过的牛头图像识别网络(ResNet50)进行训练微调，以试验ResNet50能否通过微调训练减少性能的衰减。
对未训练调整的网络进行了性能的测试，此时牛头图像超分辨率网络未获取牛头图像识别网络的先验信息，牛头图像识别网络也未学习到重构图像的特征。结果如表3所示，由于识别网络统一使用了ResNet50，这里用超分辨率网络的名称指代相关网络组合。
表3未组合训练前牛头图像识别框架识别准确率(％)
对由牛头图像超分辨网络和牛头图像识别网络(ResNet50)构成的低分辨率第一牛头识别框架进行了组合训练，将经过训练完成的第一牛头识别框架(HCSRⅠ)作为第二牛头识别框架(HCSRⅡ)。低分辨率的牛头图像统一放大到112×96大小进行识别，结果如表4所示。
表4组合训练后牛头图像识别框架准确率(识别分辨率112×96)(％)
随后我们对经过组合训练过的超分辨率网络进行测试，计算输出图像的PSNR值，结果如表5所示。
表5组合训练后的超分辨率模型输出图像PSNR值(dB)
进行数据分析，具体内容如下：
表2可知，112×96训练尺度积分值最大，增大或减小分辨率训练的网络积分值都会变小，表明112×96分辨率训练的网络对分辨率变化的鲁棒性最强，综合性能最好。
表3可知，第一牛头图像识别框架(HCSRⅠ)能一定程度地恢复牛头的识别信息，超分辨率模型相较简单的双三次插值放大恢复识别信息效果更好。准确率也反映了不同超分辨率模型性能的高低，在高放大倍数上模型间的性能差异巨大，低放大倍数上差异则不到1％。第一牛头图像识别框架的表现最好，由它重构的图像在各个放大倍数上都实现了最高的识别准确率。
表4可知，在组合微调训练之后，使用插值放大的图像由于高频信息没有得到恢复，即便是使用识别网络对插值后的图像进行了微调，识别准确率的提升也十分有限，与其他超分辨率方法相比差别巨大。而超分辨率网络这边识别准确率提升都很明显，识别率都提升到了90％以上，证明了两个模型组合训练策略的有效。提升最大的是SRCNN，识别14×12图像的准确率提高了69.85％，而本实施例的第二牛头图像识别框架(HCSRⅡ)在各个放大倍数上都获取了最高的识别准确率，在输入最小的14×12分辨率时识别准确率仍达到95.46％，性能超过了94.92％的RCAN。另外我们发现在输入28×24或更高分辨率时，组合网络的识别准确率要比单一网络识别原图高，例如第二牛头图像识别框架在输入28×24大小时的准确率达到97.74％，比ResNet50识别112×96原高分辨率图像的96.67％准确率要高。
表5可知，训练所用的分辨率越高，网络对低分辨率的识别效果越差，而在低分辨率上训练的网络，虽然能对更小的输入敏感，比辨较小的分率就能实现较高的识别准确率，但随着输入分辨率的提升，性能反而发生了下降。网络基本上在训练所用的分辨率上识别性能是最好的，比较极端的如14×12训练的模型，在大1个像素或小1个像素的输入分辨率上性能都会严重下降。而图像在插值后再输入识别网络，高分辨率图像训练的网络的性能得到了一定的恢复，识别性能随着输入图像分辨率的降低而下降问题的得到了一定程度的缓解，证明了将图像恢复到识别网络训练时所用的尺寸有助于性能的提高。
通过图8与表组合训练前后输出图像的质量结果比较，可以发现不同的超分辨率网络经过组合训练后PSNR都得到了不同程度的提高，说明识别网络中的牛头特征信息能反馈到超分辨率网络中，提升了牛头重构的性能，而本实施例中的第二牛头图像识别框架(HCSRⅡ)，在牛头重建识别性能方面达到了最佳。
S104、获取待重建识别的低像素牛头图像。
S105、将所述低像素牛头图像输入第二牛头图像识别框架，实现低像素牛头图像的重建识别。
该步骤S105如图11所示，本实施例通过低像素牛头图像重建识别方法构建了一种牛头图像超分辨率识别工具，该工具的示例如图12所示，基于所提出的低分辨率牛头识别框架，编写了一个低分辨率牛头图像重建识别程序，具体如下：
程序由Python 3.7编写，依赖于PyTorch 1.0框架；程序内包含了一个检测模型，基于本实施例提到的牛头图像截取工具改造而来；还包含了两个低分辨率第一牛头识别框架，具体使用的网络分别为HCSR超分辨率网络+112×96分辨率训练的SE-ResNet50识别网络和LCSR超分辨率网络+224×192分辨率训练的SE-ResNet50识别网络，LCSR的结构如图13～图14所示；具有用户界面程序，可单图识别与批量识别，识别成功可以自动显示牛头图像和牛头ID。
具体的实施步骤如下：
1)单图识别点击左上角的“Open Image”按钮，在弹出的窗口中选择并打开奶牛图像；批量识别时，先将要识别的图像放置于同一个文件夹中，点击左上角的“Open Dir”按钮，在弹出的窗口中选择并打开存放着要进行识别的奶牛图像的文件夹；
2)当该服务程序接收到识别请求时，先调用牛头检测程序检测图像内容，如果检测到牛头的存在，则将其截取出来，若检测不到牛头则返回空值；
3)牛头的分辨率小于30×30，使用HCSR超分辨率网络+112×96训练的SE-ResNet50识别网络的组合网络进行识别，若分辨率大于30×30而小于224×192，则使用LCSR超分辨率网络+224×192训练的SE-ResNet50识别网络的组合网络，若都识别不到，则直接使用识别网络进行识别而不进行放大操作；
4)识别成功后，超分辨率网络先将输入的牛头图像放大重建到原图8倍大小，之后通过插值算法将重建的图像尺寸匹配识别网络的训练尺寸，然后输入到识别网络进行识别，获取并返回图像牛头的ID编号和超分辨率重建后的图像；
5)若是单图识别，ID编号及重建后的图像将会在用户界面程序下方显示；若是多图识别，则会把识别结果和对应文件名保存到目录下的CSV文件中。
本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图15所示，本实施例提供了一种低像素牛头图像重建识别***，该***包括第一构建单元1501、第二构建单元1502、训练单元1503、获取单元1504、重建识别单元1505，各个单元的具体功能如下：
第一构建单元1501，构建牛头图像数据集；
第二构建单元1502，构建第一牛头图像识别框架，所述第一牛头图像识别框架包括牛头图像超分辨网络和牛头图像识别网络；
训练单元1503，利用牛头图像数据集对第一牛头图像识别框架进行训练，得到第二牛头图像识别框架；
获取单元1504，获取待重建识别的低像素牛头图像；
重建识别单元1505，将所述低像素牛头图像输入第二牛头图像识别框架，实现低像素牛头图像的重建识别。
本实施例中各个单元的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的***仅以上述各功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将内部结构划分成不同的功能模块单元，以完成以上描述的全部或者部分功能。
实施例3：
如图16所示，本实施例提供了一种终端设备，该终端设备包括通过***总线1601连接的处理器1602、存储器、输入装置1603、显示装置1604和网络接口1605，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质1606和内存储器1607，该非易失性存储介质1606存储有操作***、计算机程序和数据库，该内存储器1607为非易失性存储介质中的操作***和计算机程序的运行提供环境，处理器1602执行存储器存储的计算机程序时，实现上述实施例1的低像素牛头图像重建识别方法，如下：
构建牛头图像数据集；
构建第一牛头图像识别框架，所述第一牛头图像识别框架包括牛头图像超分辨网络和牛头图像识别网络；
利用牛头图像数据集对第一牛头图像识别框架进行训练，得到第二牛头图像识别框架；
获取待重建识别的低像素牛头图像；
将所述低像素牛头图像输入第二牛头图像识别框架，实现低像素牛头图像的重建识别。
实施例4：
本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的低像素牛头图像重建识别方法，如下：
构建牛头图像数据集；
构建第一牛头图像识别框架，所述第一牛头图像识别框架包括牛头图像超分辨网络和牛头图像识别网络；
利用牛头图像数据集对第一牛头图像识别框架进行训练，得到第二牛头图像识别框架；
获取待重建识别的低像素牛头图像；
将所述低像素牛头图像输入第二牛头图像识别框架，实现低像素牛头图像的重建识别。
需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读存储介质可以以一种或多种程序设计语言或其组合来编写用于执行本实施例的计算机程序，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Python、C++，还包括常规的过程式程序设计语言—诸如C语言或类似的程序设计语言。程序可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
综上所述，本发明通过采用不同尺寸的卷积核可实现对不同层次细节内容的捕获，在训练过程中，两个分支的权重能自适应地进行调整，能使上采样模块更好地重建不同层次的细节，并且模块仅增加了一个卷积层，所增加的参数量和计算量却很少，但到达了意想不到的细节重建效果，大大提高了图像的识别性能；再将训练好的牛头图像超分辨网络和训练好的牛头图像识别网络有机结合一起，进行统一训练，构成第二牛头图像识别框架，该框架解决了识别信息的丢失和原图细节内容模糊的问题，提高了牛头图像识别能力，实现远距离的奶牛个体快速识别，为实现智能化、精准化奶牛养殖提供重要的技术支持。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。
Claims (8)
1.一种低像素牛头图像重建识别方法，其特征在于，所述方法包括以下步骤：
构建牛头图像数据集；
构建第一牛头图像识别框架，所述第一牛头图像识别框架包括牛头图像超分辨网络和牛头图像识别网络；
利用牛头图像数据集对第一牛头图像识别框架进行训练，得到第二牛头图像识别框架；
获取待重建识别的低像素牛头图像；
将所述低像素牛头图像输入第二牛头图像识别框架，实现低像素牛头图像的重建识别；
所述牛头图像超分辨网络使用图像超分辨率深度卷积网络，包括依次相连的第一卷积层、深度特征提取主干网络、第二卷积层和自适应多尺度上采样模块，深度特征提取主干网络由10个残差组构成，深度特征提取主干网络的输入和输出是通过长连接相连；每个残差组由20个残差块组合，残差组的输入与输出间存在一个连接，而每个残差块内也存在一个连接，每个残差块后是一个通道注意模块；
所述牛头图像识别网络使用ResNet50，以残差块为基本构造单位，通过若干残差块构建成特征提取层，由多个特征提取层的堆叠便构成整个ResNet网络，其中残差块的每个块的输出和这个块的输入进行相加，作为下一个块的输入，在同一层内的每个残差块所输出的特征图的维数都是相同的，在进入下一层时进行池化操作；
所述自适应多尺度上采样模块的构成，具体如下：
在3×3卷积层的基础之上增加一个5×5卷积层，得到两个卷积层；
将两个卷积层输出的第二向量分别乘以权重值再相加，所得之和经像素重排得到高分辨率图像输出，具体公式如下：
其中，f3和f5分别为卷积核大小3×3和5×5的两个卷积层，fs为像素重排，α0和α1分别为不同卷积第二向量的权重。
2.根据权利要求1所述的低像素牛头图像重建识别方法，其特征在于，所述利用牛头图像数据集对第一牛头图像识别框架进行训练，得到第二牛头图像识别框架，具体包括：
利用牛头图像数据集对牛头图像超分辨网络进行训练，直至收敛，将训练好的牛头图像超分辨网络作为预训练参数；
利用牛头图像数据集对牛头图像识别网络进行训练，直至收敛，将训练好的牛头图像识别网络作为预训练参数；
将分别训练好的牛头图像超分辨率网络和牛头图像识别网络组合起来，在牛头图像数据集上进行迭代调整训练，在每次调整训练的迭代过程中，交替地更新训练好的牛头图像超分辨率网络和牛头图像识别网络，直至收敛，得到第二牛头图像识别框架。
3.根据权利要求2所述的一种低像素牛头图像重建识别方法，其特征在于，所述交替地更新训练好的牛头图像超分辨率网络和牛头图像识别网络，具体包括：
使用超分辨率损失函数和特征损失函数来更新训练好的牛头图像超分辨率网络；
以及使用合并的损失函数更新训练好的牛头图像识别网络。
4.根据权利要求3所述的一种低像素牛头图像重建识别方法，其特征在于，所述使用超分辨率损失函数和特征损失函数来更新训练好的牛头图像超分辨率网络，具体公式如下：
LS＝LSR+αLSI
其中，LSR表示L1损失函数，LSI表示特征损失函数；
LSI的定义为：
其中，fSR和fHR分别表示由识别模型提取的重构图像特征和高分辨率原图特征。
5.根据权利要求3所述的一种低像素牛头图像重建识别方法，其特征在于，所述使用合并的损失函数更新训练好的牛头图像识别网络，具体公式如下：
LR＝CHR+CSR
其中，CHR表示高分辨率原图的交叉熵损失函数，CSR表示经超分辨率网络放大后的重构图像的交叉熵损失函数。
6.一种低像素牛头图像重建识别***，其特征在于，所述***包括：
第一构建单元，构建牛头图像数据集；
第二构建单元，构建第一牛头图像识别框架，所述第一牛头图像识别框架包括牛头图像超分辨网络和牛头图像识别网络；
训练单元，利用牛头图像数据集对第一牛头图像识别框架进行训练，得到第二牛头图像识别框架；
获取单元，获取待重建识别的低像素牛头图像；
重建识别单元，将所述低像素牛头图像输入第二牛头图像识别框架，实现低像素牛头图像的重建识别；
所述牛头图像超分辨网络使用图像超分辨率深度卷积网络，包括依次相连的第一卷积层、深度特征提取主干网络、第二卷积层和自适应多尺度上采样模块，自适应多尺度上采样模块包括10个残差组构成，深度特征提取主干网络的输入和输出是通过长连接相连；每个残差组由20个残差块组合，残差组的输入与输出间存在一个连接，而每个残差块内也存在一个连接，每个残差块后是一个通道注意模块；
所述牛头图像识别网络使用ResNet50，牛头图像识别网络以残差块为基本构造单位，通过若干残差块构建成特征提取层，由多个特征提取层的堆叠便构成整个ResNet网络，其中残差块的每个块的输出和这个块的输入进行相加，作为下一个块的输入，在同一层内的每个残差块所输出的特征图的维数都是相同的，在进入下一层时进行池化操作；
所述自适应多尺度上采样模块的构成，具体如下：
在3×3卷积层的基础之上增加一个5×5卷积层，得到两个卷积层；
将两个卷积层输出的第二向量分别乘以权重值再相加，所得之和经像素重排得到高分辨率图像输出，具体公式如下：
其中，f3和f5分别为卷积核大小3×3和5×5的两个卷积层，fs为像素重排，α0和α1分别为不同卷积第二向量的权重。
7.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-5任一项所述的低像素牛头图像重建识别方法。
8.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-5任一项所述的低像素牛头图像重建识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111276532.4A CN114049254B (zh) | 2021-10-29 | 2021-10-29 | 低像素牛头图像重建识别方法、***、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111276532.4A CN114049254B (zh) | 2021-10-29 | 2021-10-29 | 低像素牛头图像重建识别方法、***、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114049254A CN114049254A (zh) | 2022-02-15 |
| CN114049254B true CN114049254B (zh) | 2022-11-29 |
Family
ID=80206443
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111276532.4A Active CN114049254B (zh) | 2021-10-29 | 2021-10-29 | 低像素牛头图像重建识别方法、***、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114049254B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110428366A (zh) * | 2019-07-26 | 2019-11-08 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN111754403A (zh) * | 2020-06-15 | 2020-10-09 | 南京邮电大学 | 一种基于残差学习的图像超分辨率重构方法 |
| CN111767979A (zh) * | 2019-04-02 | 2020-10-13 | 京东方科技集团股份有限公司 | 神经网络的训练方法、图像处理方法、图像处理装置 |
| CN112733716A (zh) * | 2021-01-11 | 2021-04-30 | 杭州电子科技大学 | 基于srocrn网络的低分辨率文本图像识别方法 |
| CN113240580A (zh) * | 2021-04-09 | 2021-08-10 | 暨南大学 | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 |
| WO2021196070A1 (en) * | 2020-04-01 | 2021-10-07 | Boe Technology Group Co., Ltd. | Computer-implemented method, apparatus, and computer-program product |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112085652A (zh) * | 2019-06-14 | 2020-12-15 | 深圳市中兴微电子技术有限公司 | 一种图像处理的方法、装置、计算机存储介质及终端 |
| CN110310227B (zh) * | 2019-06-27 | 2020-09-08 | 电子科技大学 | 一种基于高低频信息分解的图像超分辨率重建方法 |
| CN111080531B (zh) * | 2020-01-10 | 2024-02-23 | 北京农业信息技术研究中心 | 一种水下鱼类图像的超分辨率重建方法、***及装置 |
| CN111640060A (zh) * | 2020-04-30 | 2020-09-08 | 南京理工大学 | 基于深度学习及多尺度残差稠密模块的单幅图像超分辨率重建方法 |
| CN111696038A (zh) * | 2020-05-26 | 2020-09-22 | 新华三大数据技术有限公司 | 图像超分辨率方法、装置、设备及计算机可读存储介质 |
| CN112053287B (zh) * | 2020-09-11 | 2023-04-18 | 北京邮电大学 | 图像超分辨率方法、装置及设备 |
| WO2022057837A1 (zh) * | 2020-09-16 | 2022-03-24 | 广州虎牙科技有限公司 | 图像处理和人像超分辨率重建及模型训练方法、装置、电子设备及存储介质 |
| CN112598579A (zh) * | 2020-12-28 | 2021-04-02 | 苏州科达特种视讯有限公司 | 面向监控场景的图像超分辨率方法、装置及存储介质 |
| CN113222822B (zh) * | 2021-06-02 | 2023-01-24 | 西安电子科技大学 | 基于多尺度变换的高光谱图像超分辨率重建方法 |
-
2021
- 2021-10-29 CN CN202111276532.4A patent/CN114049254B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111767979A (zh) * | 2019-04-02 | 2020-10-13 | 京东方科技集团股份有限公司 | 神经网络的训练方法、图像处理方法、图像处理装置 |
| CN110428366A (zh) * | 2019-07-26 | 2019-11-08 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| WO2021196070A1 (en) * | 2020-04-01 | 2021-10-07 | Boe Technology Group Co., Ltd. | Computer-implemented method, apparatus, and computer-program product |
| CN111754403A (zh) * | 2020-06-15 | 2020-10-09 | 南京邮电大学 | 一种基于残差学习的图像超分辨率重构方法 |
| CN112733716A (zh) * | 2021-01-11 | 2021-04-30 | 杭州电子科技大学 | 基于srocrn网络的低分辨率文本图像识别方法 |
| CN113240580A (zh) * | 2021-04-09 | 2021-08-10 | 暨南大学 | 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法 |
Non-Patent Citations (4)
| Title |
|---|
| Dairy Cow Tiny Face Recognition Based on Convolutional Neural Networks;Zehao Yang等;《Chinese Conference on Biometric Recognition CCBR 2019: Biometric Recognition》;20191005(第95期);216-222 * |
| Zehao Yang等.Dairy Cow Tiny Face Recognition Based on Convolutional Neural Networks.《Chinese Conference on Biometric Recognition CCBR 2019: Biometric Recognition》.2019,(第95期), * |
| 基于多卷积核通道特征加权双目立体匹配算法;郑秋梅等;《计算机与数字工程》;20211020;第49卷(第10期);2113-2117 * |
| 多尺度子网络及结合先验信息的单幅图像超分辨率研究;覃家宇;《万方数据》;20201214;1-82 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114049254A (zh) | 2022-02-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108764372B (zh) | 数据集的构建方法和装置、移动终端、可读存储介质 | |
| CN108960143B (zh) | 一种高分辨率可见光遥感图像中的舰船检测深度学习方法 | |
| CN112949565B (zh) | 基于注意力机制的单样本部分遮挡人脸识别方法及*** | |
| CN110148120B (zh) | 一种基于cnn与迁移学习的病害智能识别方法及*** | |
| CN108875821A (zh) | 分类模型的训练方法和装置、移动终端、可读存储介质 | |
| CN113076871B (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
| CN109766856B (zh) | 一种双流RGB-D Faster R-CNN识别哺乳母猪姿态的方法 | |
| CN111553867B (zh) | 一种图像去模糊方法、装置、计算机设备及存储介质 | |
| CN116152591B (zh) | 模型训练方法、红外小目标检测方法、装置及电子设备 | |
| CN112396035A (zh) | 基于注意力检测模型的物体检测方法和装置 | |
| CN115861409B (zh) | 大豆叶面积测算方法、***、计算机设备及存储介质 | |
| CN114781514A (zh) | 一种融合注意力机制的漂浮物目标检测方法及*** | |
| CN115410087A (zh) | 一种基于改进YOLOv4的输电线路异物检测方法 | |
| CN113780357A (zh) | 一种基于迁移学习+MobileNet的玉米叶片病虫害移动端识别方法 | |
| CN114841961A (zh) | 基于图像增强和改进YOLOv5的小麦赤霉病检测方法 | |
| CN112164030A (zh) | 水稻穗粒快速检测方法、装置、计算机设备及存储介质 | |
| Wang et al. | An efficient attention module for instance segmentation network in pest monitoring | |
| CN115578423A (zh) | 基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法及*** | |
| CN114596274A (zh) | 基于改进Cascade RCNN网络的自然背景柑橘黄龙病检测方法 | |
| CN114821383A (zh) | 基于轻量化网络的视频运动目标检测方法及*** | |
| CN111753775B (zh) | 鱼的生长评估方法、装置、设备及存储介质 | |
| CN114049254B (zh) | 低像素牛头图像重建识别方法、***、设备及存储介质 | |
| CN112883915A (zh) | 一种基于迁移学习的麦穗自动识别方法和*** | |
| CN116524283A (zh) | 一种农业虫害图像检测分类方法及*** | |
| CN117132802A (zh) | 一种田间小麦病虫害识别方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |