CN112949651A - 特征提取方法、装置、存储介质及电子设备 - Google Patents
特征提取方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN112949651A CN112949651A CN202110129778.2A CN202110129778A CN112949651A CN 112949651 A CN112949651 A CN 112949651A CN 202110129778 A CN202110129778 A CN 202110129778A CN 112949651 A CN112949651 A CN 112949651A
- Authority
- CN
- China
- Prior art keywords
- feature
- feature map
- processing
- map
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 71
- 238000003860 storage Methods 0.000 title claims abstract description 11
- 230000002776 aggregation Effects 0.000 claims abstract description 115
- 238000004220 aggregation Methods 0.000 claims abstract description 115
- 230000004927 fusion Effects 0.000 claims abstract description 84
- 238000005070 sampling Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 158
- 230000004913 activation Effects 0.000 claims description 39
- 230000006870 function Effects 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 11
- 239000000203 mixture Substances 0.000 claims description 9
- 238000007499 fusion processing Methods 0.000 abstract description 11
- 238000003709 image segmentation Methods 0.000 abstract description 11
- 230000000694 effects Effects 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 32
- 230000011218 segmentation Effects 0.000 description 16
- 239000000470 constituent Substances 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000004931 aggregating effect Effects 0.000 description 3
- 108010001267 Protein Subunits Proteins 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种特征提取方法、装置、存储介质及电子设备，其中，本申请实施例通过第一特征编码模块以及第二特征编码模块分别提取待处理图像的低层级特征图以及高层级特征图，并通过特征聚合模块将该低层级特征图和该高层级特征图分别采样到对方的分辨率进行融合处理后得到第一融合特征图和第二融合特征图，然后再将第一融合特征图和第二融合特征图采样到同一分辨率后进行融合处理，得到该待处理图像的目标融合特征图。本方案分别提取低层级特征以及高层级特征，并对低层级特征以及高层级特征进行特征融合，可以改善特征提取效果，提高图像分割的准确度。
Description
技术领域
本申请涉及特征提取技术领域，具体涉及一种特征提取方法、装置、存储介质及电子设备。
背景技术
随着技术的发展，图像分割技术广泛应用于摄影摄像、影视制作、视频监控、图像压缩等诸多领域。其中，图像分割技术就是基于图像特征将图像分成若干个特定的、具有独特性质的区域并提取感兴趣图像区域的技术和过程。
而相关技术中，对图像进行分割时对图像特征进行提取的准确性较低，使得对图像分割的准确度较低。
发明内容
本申请实施例提供一种特征提取方法、装置、存储介质及电子设备，能够提高对图像以及视频进行人像分割时对图像特征进行提取的准确性，进而相应提高对人像进行分割的准确度。
第一方面，本申请实施例提供一种特征提取方法，包括：
通过第一特征编码模块提取待处理图像的低层级特征图，以及通过第二特征编码模块提取所述待处理图像的高层级特征图；
通过特征聚合模块对所述低层级特征图进行第一处理，得到与所述低层级特征图分辨率相同的第一特征图，以及通过所述特征聚合模块对所述高层级特征图进行第二处理，得到与所述低层级特征图分辨率相同的第二特征图；
通过所述特征聚合模块融合所述第一特征图和所述第二特征图得到第一融合特征图；
通过所述特征聚合模块对所述低层级特征图进行第三处理，得到与所述高层级特征图分辨率相同的第三特征图，以及通过所述特征聚合模块对所述高层级特征图进行第四处理，得到与所述高层级特征图分辨率相同的第四特征图；
通过所述特征聚合模块融合所述第三特征图和所述第四特征图得到第二融合特征图；
通过所述特征聚合模块将所述第一融合特征图和所述第二融合特征图采样到同一分辨率后进行融合，得到对应所述待处理图像的目标融合特征图。
第二方面，本申请实施例还提供一种特征提取装置，包括：
特征提取模块，用于通过第一特征编码模块提取待处理图像的低层级特征图，以及通过第二特征编码模块提取所述待处理图像的高层级特征图；
第一处理模块，用于通过特征聚合模块对所述低层级特征图进行第一处理，得到与所述低层级特征图分辨率相同的第一特征图，以及通过所述特征聚合模块对所述高层级特征图进行第二处理，得到与所述低层级特征图分辨率相同的第二特征图；
第一特征融合模块，用于通过所述特征聚合模块融合所述第一特征图和所述第二特征图得到第一融合特征图；
第二处理模块，用于通过所述特征聚合模块对所述低层级特征图进行第三处理，得到与所述高层级特征图分辨率相同的第三特征图，以及通过所述特征聚合模块对所述高层级特征图进行第四处理，得到与所述高层级特征图分辨率相同的第四特征图；
第二特征融合模块，用于通过所述特征聚合模块融合所述第三特征图和所述第四特征图得到第二融合特征图；
第三特征融合模块，用于通过所述特征聚合模块将所述第一融合特征图和所述第二融合特征图采样到同一分辨率后进行融合，得到对应所述待处理图像的目标融合特征图。
第三方面，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如本申请任一实施例提供的特征提取方法。
第四方面，本申请实施例还提供一种电子设备，包括处理器和存储器，所述存储器有计算机程序，所述处理器通过调用所述计算机程序，用于执行如本申请任一实施例提供的特征提取方法。
本申请实施例提供的技术方案，通过第一特征编码模块提取待处理图像的低层级特征图，以及通过第二特征编码模块提取所述待处理图像的高层级特征图；通过特征聚合模块对所述低层级特征图进行第一处理，得到与所述低层级特征图分辨率相同的第一特征图，以及通过所述特征聚合模块对所述高层级特征图进行第二处理，得到与所述低层级特征图分辨率相同的第二特征图；通过所述特征聚合模块融合所述第一特征图和所述第二特征图得到第一融合特征图；通过所述特征聚合模块对所述低层级特征图进行第三处理，得到与所述高层级特征图分辨率相同的第三特征图，以及通过所述特征聚合模块对所述高层级特征图进行第四处理，得到与所述高层级特征图分辨率相同的第四特征图；通过所述特征聚合模块融合所述第三特征图和所述第四特征图得到第二融合特征图；通过所述特征聚合模块将所述第三特征图和所述第四特征图像采样到同一分辨率后进行融合，得到对应所述待处理图像的目标融合特征图。本方案分别提取低层级特征以及高层级特征，并对低层级特征以及高层级特征进行特征融合，可以改善特征提取效果，提高图像分割准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的特征提取方法的第一种流程示意图。
图2为本申请实施例提供的特征提取方法的人像分割模型的结构示意图。
图3为本申请实施例提供的特征提取方法的第二流程示意图。
图4为本申请实施例提供的第一特征编码模块的结构示意图。
图5为本申请实施例提供的第二特征编码模块的结构示意图。
图6为本申请实施例提供的第二特征编码模块的第七特征编码单元的结构示意图。
图7为本申请实施例提供的第二特征编码模块的第八特征编码单元的结构示意图。
图8为本申请实施例提供的第二特征编码模块的第九特征编码单元的结构示意图。
图9为本申请实施例提供的特征聚合模块的结构示意图。
图10为本申请实施例提供的基础组成结构的示意图。
图11为本申请实施例提供的特征解码模块的结构示意图。
图12为本申请实施例提供的特征提取装置的结构示意图。
图13为本申请实施例提供的电子设备的第一种结构示意图。
图14为本申请实施例提供的电子设备的第二种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请的保护范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例提供一种特征提取方法，该特征提取方法的执行主体可以是本申请实施例提供的特征提取装置，或者集成了该特征提取装置的电子设备，其中该特征提取装置可以采用硬件或者软件的方式实现。其中，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。
请参阅图1，图1为本申请实施例提供的特征提取方法的第一种流程示意图。本申请实施例提供的特征提取方法的具体流程可以如下：
101、通过第一特征编码模块提取待处理图像的低层级特征图，以及通过第二特征编码模块提取待处理图像的高层级特征图。
其中，待处理图像可以是包含任意内容的图像，例如该待处理图像可以是视频图像中的视频帧。
其中，低层级特征指的是图像中例如轮廓、边缘、颜色、纹理和形状等，指示较为具体的特征；高层级特征即高层级语义特征，例如对一张人脸提取低层级特征可以提取到人脸的轮廓、鼻子、眼睛之类的，那么高层级特征就提取到其为一张人脸或是提取到该人脸的表情特征等，指示较为抽象的特征。
在一实施方式中，本案可以应用于人像分割，请参考图2，图2为人像分割模型的结构示意图，该人像分割模型包括第一特征编码模块、第二特征编码模块。例如，可以将视频帧输入第一特征编码模块，通过第一编码模块提取视频帧中的低层级特征，根据低层级特征得到低层级特征图，将视频帧输入第二特征编码模块，通过第二特征编码模块提取视频帧中的高层级特征，根据高层级特征得到高层级特征图。
102、通过特征聚合模块对低层级特征图进行第一处理，得到与高层级特征图分辨率相同的第一特征图，以及通过特征聚合模块对高层级特征图进行第二处理，得到与低层级特征图分辨率相同的第二特征图。
例如，可以将视频帧输入特征聚合模块，通过特征聚合模块对视频帧的低层级特征图进行第一处理，得到与高层级特征图分辨率相同的第一特征图，并通过特征聚合模块对视频帧的高层级特征图进行第二处理，得到与低层级特征图分辨率相同的第二特征图。
103、通过特征聚合模块融合第一特征图和第二特征图得到第一融合特征图。
例如，可以将视频帧的第一特征图和第二特征图进行融合处理，得到第一融合特征图。
104、通过特征聚合模块对低层级特征图进行第三处理，得到与高层级特征图分辨率相同的第三特征图，以及通过特征聚合模块对高层级特征图进行第四处理，得到与低层级特征图分辨率相同的第四特征图。
例如，继续通过特征聚合模块对视频帧的低层级特征图进行第三处理，得到与高层级特征图分辨率相同的第三特征图，并通过特征聚合模块对视频帧的高层级特征图进行第四处理，得到与低层级特征图分辨率相同的第四特征图。
105、通过特征聚合模块融合第三特征图和第四特征图得到第二融合特征图。
例如，通过特征聚合模块将视频帧的第三特征图和第四特征图进行融合处理，得到第二融合特征图。
106、通过特征聚合模块将第一融合特征图和第二融合特征图采样到同一分辨率后进行融合，得到对应待处理图像的目标融合特征图。
例如，将视频帧的第一融合特征图和第二融合特征图采样到与该低层级特征图的分辨率相同后进行融合，得到对应视频帧的目标融合特征图。
在一实施方式中，请参阅图2，该人像分割模型还可以包括特征解码模块，可以将该视频帧的目标融合特征图输入到特征解码模块，通过特征解码模块对该视频帧的目标融合特征图进行解码处理，得到该视频帧相应的人像分割掩膜图。
在一实施方式中，可以根据当前电子设备的处理能力，每隔一定帧数获取视频图像中的一视频帧，将获取到的视频帧序列输入人像分割模型，得到相应的人像分割掩膜图序列，根据这些人像分割掩膜图序列将其对应的原视频帧序列中的人像分割出来，得到视频图像的人像分割结果。
具体实施时，本申请不受所描述的各个步骤的执行顺序的限制，在不产生冲突的情况下，某些步骤还可以采用其它顺序进行或者同时进行。
由上可知，本申请实施例提供的特征提取方法，通过第一特征编码模块以及第二特征编码模块分别提取待处理图像的低层级特征图以及高层级特征图，并通过特征聚合模块将该低层级特征图和该高层级特征图分别采样到对方的分辨率进行融合处理后得到第一融合特征图和第二融合特征图，然后再将第一融合特征图和第二融合特征图采样到同一分辨率后进行融合处理，得到该待处理图像的目标融合特征图。本方案分别提取低层级特征以及高层级特征，并对低层级特征以及高层级特征进行特征融合，可以改善特征提取效果，提高图像分割准确度。
根据前面实施例所描述的方法，以下将举例作进一步详细说明。
请参阅图3，图3为本申请实施例提供的特征提取方法的第二流程示意图。所述方法包括：
201、通过第一特征编码模块提取待处理图像的低层级特征图，以及通过第二特征编码模块提取待处理图像的高层级特征图。
请参阅图4，图4为本申请实施例提供的第一特征编码模块的结构示意图。第一特征编码模块包括第一特征编码单元、第二特征编码单元、第三特征编码单元、第四特征编码单元、第五特征编码单元以及第六特征编码单元。
其中，第一特征编码单元、第三特征编码单元、以及第五特征编码单元包括依次连接的标准卷积层、批正则化层、激活函数层；第二特征编码单元、第四特征编码单元以及第六特征编码单元包括依次连接的标准卷积层、批正则化层。
在一实施方式中，步骤“通过第一特征编码模块提取待处理图像的低层级特征图”，可以包括以下步骤：
(1)通过输入为第一图像通道输出为第二图像通道的第一特征编码单元对待处理图像进行编码处理，得到第一特征编码数据；
例如，第一图像通道可以为3，第二图像通道可以为64，即通过输入为3通道输出为64通道的第一特征编码单元对待处理图像进行编码处理，得到第一特征编码数据。
(2)通过输入为第二图像通道输出为第二图像通道的第二特征编码单元对第一特征编码数据进行编码处理，得到第二特征编码数据；
例如，根据步骤(1)中第二图像通道为64，即通过输入为64通道输出为64通道的第二特征编码单元对第一特征编码数据进行编码处理，得到第二特征编码数据。
(3)通过输入为第二图像通道输出为第二图像通道的第三特征编码单元对第二特征编码数据进行编码处理，得到第三特征编码数据；
同上，第二图像通道为64。
(4)通过N个输入为第二图像通道输出为第二图像通道的第四特征编码单元对第三特征编码数据进行编码处理，得到第四特征编码数据，其中，N为正整数且不小于2；
同上，第二图像通道为64。
(5)通过输入为第二图像通道输出为第三图像通道的第五特征编码单元对第四特征编码数据进行编码处理，得到第五特征编码数据；
例如，第三图像通道可以为128，即通过输入为64通道输出为128通道的第五特征编码单元对第四特征编码数据进行编码处理，得到第五特征编码数据。(6)通过M个输入为第三图像通道输出为第三图像通道的第六特征编码单元对第五特征编码数据进行编码处理，得到低层级特征图，其中，M为正整数且不小于3。
同上，通过M个输入为128通道输出为128的第六特征编码单元对第五特征编码数据进行编码处理，得到低层级特征图。
也即第一特征编码模块是输入为3通道的RGB视频帧，输出为128通道的特征图。
请参阅图5，图5为本申请实施例提供的第二特征编码模块的结构示意图。其中，第二特征编码模块包括第七特征编码单元、第八特征编码单元、第九特征编码单元、第十特征编码单元、第十一特征编码单元、第十二特征编码单元以及第十三特征编码单元。
在一实施方式中，步骤“通过第二特征编码模块提取待处理图像的高层级特征图”，可以包括以下步骤：
(1)通过输入为第四图像通道输出为第五图像通道的第七特征编码单元对待处理图像进行编码处理，得到第六特征编码数据；
例如，第四图像通道可以为3，第五图像通道可以为16。
请参阅图6，图6为本申请实施例提供的第七特征编码单元的结构示意图。其中，第七特征编码单元包括卷积层、激活函数层、第一特征编码子单元、第二特征编码子单元、最大池化层以及拼接层。第一特征编码子单元包括依次连接的标准卷积层、批正则化层以及激活函数层；第二特征编码子单元包括依次连接的标准卷积层、批正则化层以及激活函数层。
在一实施方式中步骤(1)，还可以包括以下步骤：
(11)通过卷积层以及激活函数层依次对待处理图像进行标准卷积处理以及激活处理，得到第一处理数据；
(12)通过第一特征编码子单元对第一处理数据依次进行标准卷积处理、批正则化处理以及激活处理，得到第二处理数据；
(13)通过第二特征编码子单元对第二处理数据依次进行卷积处理、批正则化处理以及激活处理，得到第三处理数据；
(14)通过最大池化层对第一处理数据进行池化处理，得到第四处理数据；
(15)通过拼接层对第三处理数据以及第四处理数据进行拼接处理得到第六编码数据。
(2)通过输入为第五图像通道输出为第六图像通道的第八特征编码单元对第六特征编码数据进行编码处理，得到第七特征编码数据；
请参阅图7，图7为本申请实施例提供的第八特征编码单元的结构示意图。其中，第八特征编码单元包括第三特征编码子单元、第四特征编码子单元、第五特征编码子单元、第六特征编码子单元、第七特征编码子单元、第八特征编码子单元、特征叠加层(add层)以及激活函数层。第三特征编码子单元包括依次连接的标准卷积层和批正则化层；第四特征编码子单元包括依次连接的标准卷积层和批正则化层；第五特征编码子单元包括依次连接的标准卷积层和批正则化层；第六特征编码子单元包括依次连接的标准卷积层和批正则化层；第七特征编码子单元包括依次连接的标准卷积层和批正则化层；第八特征编码子单元包括依次连接的深度卷积层、批正则化层、点卷积层以及批正则化层。
例如，同上，第五图像通道为16，第六通道可以为32。
在一实施方式中步骤(2)，还可以包括以下步骤：
(21)通过第三特征编码子单元、第四特征编码子单元、第五特征编码子单元、第六特征编码子单元、以及第七特征编码子单元依次对第六特征编码数据进行卷积处理和批正则化处理，得到第五处理数据；
(22)通过第八特征编码子单元对第五处理数据依次进行深度卷积处理、批正则化处理、点卷积处理以及批正则化处理，得到第六处理数据；
(23)将第五处理数据以及第六处理数据通过特征叠加层进行相加处理，得到第七特征处理数据；
(24)通过激活函数层进行对第七特征处理数据进行激活处理，得到第七特征编码数据。
(3)通过J个输入为第六图像通道输出为第六图像通道的第九特征编码单元对第七特征编码数据进行编码处理，得到第八特征编码数据，其中，J为正整数且不小于2；
请参阅图8，图8为本申请实施例提供的第九特征编码单元的结构示意图。其中，第九特征编码单元包括，第九特征编码子单元、第十特征编码子单元、第十一特征编码子单元、第十二编码子单元、特征叠加层以及激活函数层。第九特征编码子单元包括依次连接的标准卷积层和批正则化层；第十特征编码子单元包括依次连接的标准卷积层和批正则化层；第十一特征编码子单元包括依次连接的标准卷积层和批正则化层；第十二特征编码子单元包括依次连接的标准卷积层和批正则化层。
同上，第六图像通道为32，即通过J个输入为32通道输出为32通道的第九特征编码单元对第七特征编码数据进行编码处理，得到第八特征编码数据。
在一实施方式中，步骤(3)还可以包括以下步骤：
(31)通过第九特征编码子单元、第十特征编码子单元、第十一特征编码子单元、第十二编码子单元依次对第七特征编码数据进行编码处理，得到第八特征处理数据；
(32)通过特征叠加层将第七特征编码数据和第八特征处理数据进行相加处理，得到第九处理数据；
(33)通过激活函数层对第九处理数据进行激活处理，得到第八特征编码数据。
(4)通过输入为第六图像通道输出为第七图像通道的第十特征编码单元对第八特征编码数据进行编码处理，得到第九特征编码数据；
例如，第七图像通道可以为64，即通过输入为32通道输出为64通道的第十特征编码单元对第八特征编码数据进行编码处理，得到第九特征编码数据。
其中，第十特征编码单元的结构与第八特征编码单元相同，第十特征编码单元的结构示意图可以参考第八特征编码单元。
(5)通过K个输入为第七图像通道输出为第七图像通道的第十一特征编码单元对第九特征编码数据进行编码处理，得到第十特征编码数据，其中，K为正整数且不小于2；
同上，第七图像通道为64，即通过K个输入为64通道输出为64通道的第十一特征编码单元对第九特征编码数据进行编码处理，得到第十特征编码数据。
其中，第十一特征编码单元的结构与第九特征编码单元相同，第十一特征编码单元的结构示意图可以参考第九特征编码单元。
(6)通过输入为第七图像通道输出为第八图像通道的第十二特征编码单元对第十特征编码数据进行编码处理，得到第十一特征编码数据；
例如，第八图像通道可以为128，即通过输入为64通道输出为128通道的第十二特征编码单元对第十特征编码数据进行编码处理，得到第十一特征编码数据。
其中，第十二特征编码单元的结构与第八特征编码单元相同，第十二特征编码单元的结构示意图可以参考第八特征编码单元。
(7)通过L个输入为第八图像通道输出为第八图像通道的第十三特征编码单元对第十一编码数据进行编码处理，得到高层级特征图，其中，L为正整数且不小于3。
例如，同上，第八图像通道为128，因此，第二特征编码模块是输入为3通道的RGB视频帧，输出为128通道的特征图。
通过上述第一特征编码模块以及第二特征编码模块得到图像通道数相同，若设第一特征编码模块输出的低层级特征图的分辨率为H*W，则第二特征编码模块输出的高层级特征图的分辨率为1/4H*1/4*W。其中，H(高度，height)，W(宽度，width)。例如，低层级特征图的分辨率为256*256，高层级特征图的分辨率为64*64。
其中，第十三特征编码单元的结构与第九特征编码单元相同，第十三特征编码单元的结构示意图可以参考第九特征编码单元。
本案设计了高低层级以及多尺度的特征提取和融合过程，可以充分对特征进行聚合，促进视频人像分割效果的提升。
202、通过特征聚合模块的第一特征聚合单元以及点卷积层依次对低层级特征图进行深度卷积处理、批正则化处理、点卷积处理、批正则化处理、以及点卷积处理，得到第一特征图。
其中，第一特征聚合单元包括依次连接的深度卷积层、批正则化层、点卷积层以及批正则化层。
请参阅图9，图9为本申请实施例提供的特征聚合模块的结构示意图。其中，本申请实施例中的特征聚合模块包括四个处理分支，如图示从左到右分别为第一处理分支，第二处理分支、第三处理分支以及第四处理分支。本步骤中是在第一处理分支中进行相应的处理。
本步骤中第一特征图的分辨率为H*W。
203、通过特征聚合模块的第二特征聚合单元、双线性插值层以及激活函数层依次对高层级特征图进行标准卷积处理、批正则化处理、双线性插值处理、以及激活处理，得到第二特征图。
其中，第二特征聚合单元包括依次连接的标准卷积层以及批正则化层。
由于低层级特征图和高层级特征图的分辨率不同，所以这里将高层级特征图通过双线性插值层(Bilinear Interpolation)进行采样处理，使得第二特征特征图的分辨率同样为H*W，以便于后续对第一特征图和第二特征图进行处理。
请继续参阅图9，本步骤中是在第三处理分支中进行相应的处理。
204、通过特征聚合模块将第一特征图和第二特征图相乘，得到第一融合特征图。
例如，将第一处理分支和第三处理分支得到的分辨率为H*W的第一特征图和第二特征图相乘(Element-wise Multiplication)，得到分辨率为H*W的第一融合特征图。
205、通过特征聚合模块的第三特征聚合单元以及平均池化层依次对低层级特征图进行标准卷积处理、批正则化处理、以及平均池化处理，得到第三特征图。
其中，第三特征聚合单元包括标准卷积层和批正则化层。
请继续参阅图9，本步骤中是在第二处理分支中进行相应的处理。
本步骤中第三特征图的分辨率为1/4H*1/4W。
206、通过特征聚合模块的第四特征聚合单元、点卷积层以及激活函数层依次对高层级特征图进行标准卷积处理、批正则化处理、点卷积处理以及激活处理，得到第四特征图。
其中，第四特征聚合单元包括标准卷积层和批正则化层。
请继续参阅图9，本步骤中是在第四处理分支中进行相应的处理。
本步骤中第四特征图的分辨率为1/4H*1/4W。
207、通过特征聚合模块将第三特征图和第四特征图相乘，得到第二融合特征图。
例如，将第二处理分支中和第四处理分支得到的分辨率为1/4H*1/4*W的第三特征图和第四特征图相乘，得到分辨率为1/4H*1/4*W的第二融合特征图。
208、通过特征聚合模块将第一融合特征图和第二融合特征图采样到同一分辨率后相加，得到目标融合特征图。
请参阅图9，由于第一融合特征图和第二融合特征图的分辨率不相同，可以通过双线性插值层(Bilinear Interpolation)，对第二融合特征图进行插值处理得到相应的H*W分辨率的特征图，然后将两个特征图进行相加得到目标融合特征图。
请参阅图10，图10为本申请实施例提供的基础组成结构的示意图。其中，本申请中提供的实施例包括7个基础组成结构，分别为第一基础组成结构10、第二基础组成结构20、第三基础组成结构30、第四基础组成结构40、第五基础组成结构50、第六基础组成结构60以及第七基础组成结构70，请参阅图10，图10为本申请实施例提供的基础组成结构的示意图。
其中，第二基础组成结构20由卷积层(Conv)、批正则化层(BatchNormalization)、ReLU激活函数层组成。
第一基础组成结构10是在第二基础组成结构20的基础上设置卷积步长为2。
第三基础组成结构30由深度卷积和批正则化层构成。其中，该深度卷积的卷积核尺寸为3x3。
第四基础组成结构40由点卷积(PointwiseConv)和批正则化层组成。其中，点卷积是卷积核尺寸为1x1的卷积
第五基础组成结构50是在第二基础组成结构20的基础上去掉ReLU激活函数层。
第六基础组成结构60是由深度卷积(DepthwiseConv)、批正则化层、点卷积构成。
第七基础组成结构70是在第一基础组成结构10的基础上去掉ReLU激活函数层。
在一实施方式中，第一特征编码单元、第三特征编码单元、第五特征编码单元以及第二特征编码子单元均为第一基础组成结构10。
在一实施方式中，第二特征编码单元、第四特征编码单元、第六特征编码单元、第一特征编码子单元、第三特征编码子单元以及第九特征编码子单元均为第二基础组成结构20。
在一实施方式中，第四特征编码子弹元、第六特征编码子弹元以及第十特征编码子弹元均为第三基础组成结构30。
在一实施方式中，第五特征编码子单元和第十一特征编码子单元均为第四基础组成结构40。
在一实施方式中，第七特征编码子单元、第十二特征编码子单元、第二特征聚合单元以及第四特征聚合单元均为第五基础组成结构50。
在一实施方式中，第八特征编码子单元和第一特征聚合单元均为第六基础组成结构60。
在一实施方式中，第三特征聚合单元为第七基础组成结构70。
另外，在一实施方式中，本申请实施例提供的人像分割模型还可以包括特征解码模块。请参阅图11，图11为本申请实施例提供的特征解码模块的结构示意图。
其中，该特征解码模块可以包括第一特征解码单元、正则化层(Dropout层)、第二特征解码单元以及双线性插值层(Bilinear Interpolation)组成。
在一实施方式中，本人像分割模型可以采用Yotube-VOS数据集，Yotube-VOS数据集为视频对象分割数据集。基于PyTorch框架，使用8个NVIDIA Tesla V100 GPU。损失函数可以采用交叉熵损失(Cross Entropy loss)。评价函数可以采用交并比函数(IoU)。
请参阅图2，人像分割方案的具体步骤可以如下：
S11：先进行人像分割模型的训练。将上述数据集按2:8划分为测试集和训练集。并对训练集做包括随机旋转，随机左右翻转、随机裁剪、伽玛(Gamma)变换等在内的数据增强处理。
S12:在一个训练周期中，遍历训练集所有视频帧图像,将原图进行预处理，包括随机裁剪和归一化处理。
S13:将预处理后的原图送入第一特征编码模块和第二特征编码模块，得到低层级特征图和高层级特征图。其中，低层级特征图的分辨率为H*W，高层级特征图的分辨率为1/4H*1/4W，它们通道数均为128。再将两个特征图送入多尺度特征聚合模块进行特征的融合，得到融合后特征图，再送入特征解码器，输出通道数为2，分辨率为原图分辨率的人像掩膜图。其中，原图分辨率为4H*4W。例如，输出视频相应的人像掩膜图为人像掩膜图t-1、人像掩膜图t以及人像掩膜图t+1，同理，人像标注图与人像掩膜图一一对应。
S14：计算人像掩膜图与标注图之间的交叉熵损失。对整个网络执行反向传播算法，更新参数。
S15:在多个训练周期内重复S12-S14直至损失函数完全收敛。保存网络模型结构及参数。
S16:部署已训练好的网络模型，加载网络。
S17:从视频帧流中获取实时视频帧，视乎部署机器的处理能力每隔n帧获取一个视频帧，其中，n为自然数，例如，n可以为1，则获取的视频帧为视频帧t-1、视频帧t以及视频帧t+1。对得到的视频帧进行预处理。将已经预处理的视频帧送入已训练的卷积神经网络，得到输出视频相应的人像掩膜图，利用人像掩膜图将原图中的人像分割出来，得到当前视频帧t人像分割结果。
S18:重复S17得到整个视频的人像分割掩膜结果。
交叉熵损失具体公式如下：
其中，对于人像掩膜图和标注图中的对应像素点i，yi表示为标注图中i的值，pi表示为人像掩膜图中预测值。单个样本中像素点总数为N。对所有样本的对数损失表示对每个样本的对数损失的平均值。理想情况下，对数损失为0。
单个样本的评价函数的具体公式如下：
其中，X表示输出掩模，Y表示标注。将所有样本的IoU求评价即可。
由上可知，本申请实施例提供的特征提取方法，通过第一特征编码模块以及第二特征编码模块分别提取待处理图像的低层级特征图以及高层级特征图，并通过特征聚合模块将该低层级特征图和该高层级特征图采样到对方的分辨率进行融合处理后得到第一融合特征图和第二融合特征图，然后再将第一融合特征图和第二融合特征图采样到同一分辨率后进行融合处理，得到该待处理图像的目标融合特征图。本方案分别提取低层级特征以及高层级特征，并对低层级特征以及高层级特征进行特征融合，可以改善特征提取效果，提高图像分割准确度。
此外，本案采用轻量级的设计，充分利用了深度卷积的优势，实现了较小的计算量，可以实时对视频帧进行人像分割处理，因而可以部署到手机等移动终端上。例如，本案可以应用于手机上可以为各种包括实时视频人像美颜，替换背景等在内的图像处理算法提供精确的人像掩模，可以使得视频人像背景虚化等应用更为精准。
在一实施例中还提供一种特征提取装置。请参阅图12，图12为本申请实施例提供的特征提取装置的结构示意图。其中该特征提取装置300应用于电子设备，该特征提取装置300包括：特征提取模块301、第一处理模块302、第一特征融合模块303、第二处理模块304、第二特征融合模块305以及第三特征融合模块306，如下：
特征提取模块301，用于通过第一特征编码模块提取待处理图像的低层级特征图，以及通过第二特征编码模块提取所述待处理图像的高层级特征图；
第一处理模块302，用于通过特征聚合模块对所述低层级特征图进行第一处理，得到与所述低层级特征图分辨率相同的第一特征图，以及通过所述特征聚合模块对所述高层级特征图进行第二处理，得到与所述低层级特征图分辨率相同的第二特征图；
第一特征融合模块303，用于通过所述特征聚合模块融合所述第一特征图和所述第二特征图得到第一融合特征图；
第二处理模块304，用于通过所述特征聚合模块对所述低层级特征图进行第三处理，得到与所述高层级特征图分辨率相同的第三特征图，以及通过所述特征聚合模块对所述高层级特征图进行第四处理，得到与所述高层级特征图分辨率相同的第四特征图；
第二特征融合模块305，用于通过所述特征聚合模块融合所述第三特征图和所述第四特征图得到第二融合特征图；
第三特征融合模块306，用于通过所述特征聚合模块将所述第一融合特征图和所述第二融合特征图采样到同一分辨率后进行融合，得到对应所述待处理图像的目标融合特征图。
应当说明的是，本申请实施例提供的特征提取装置与上文实施例中的特征提取方法属于同一构思，通过该特征提取装置可以实现特征提取方法实施例中提供的任一方法，其具体实现过程详见特征提取方法实施例，此处不再赘述。
由上可知，本申请实施例提供的特征提取装置，通过特征提取模块301用于通过第一特征编码模块提取待处理图像的低层级特征图，以及通过第二特征编码模块提取所述待处理图像的高层级特征图；通过第一处理模块302用于通过特征聚合模块对所述低层级特征图进行第一处理，得到与所述低层级特征图分辨率相同的第一特征图，以及通过所述特征聚合模块对所述高层级特征图进行第二处理，得到与所述低层级特征图分辨率相同的第二特征图；通过第一特征融合模块303用于通过所述特征聚合模块融合所述第一特征图和所述第二特征图得到第一融合特征图；通过第二处理模块304用于通过所述特征聚合模块对所述低层级特征图进行第三处理，得到与所述高层级特征图分辨率相同的第三特征图，以及通过所述特征聚合模块对所述高层级特征图进行第四处理，得到与所述高层级特征图分辨率相同的第四特征图；通过第二特征融合模块305用于通过所述特征聚合模块融合所述第三特征图和所述第四特征图得到第二融合特征图；通过第三特征融合模块306用于通过所述特征聚合模块将所述第三特征图和所述第四特征图像采样到同一分辨率后进行融合，得到对应所述待处理图像的目标融合特征图。本方案分别提取低层级特征以及高层级特征，并对低层级特征以及高层级特征进行特征融合，可以改善特征提取效果，提高人像分割准确度。
本申请实施例还提供一种电子设备。所述电子设备可以是智能手机、平板电脑等设备。请参阅图13，图13为本申请实施例提供的电子设备的第一种结构示意图。电子设备400包括处理器401和存储器402。其中，处理器401与存储器402电性连接。
处理器401是电子设备400的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或调用存储在存储器402内的计算机程序，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
存储器402可用于存储计算机程序和数据。存储器402存储的计算机程序中包含有可在处理器中执行的指令。计算机程序可以组成各种功能模块。处理器401通过调用存储在存储器402的计算机程序，从而执行各种功能应用以及数据处理。
在本实施例中，电子设备400中的处理器401会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器402中，并由处理器401来运行存储在存储器402中的计算机程序，从而实现各种功能：
通过第一特征编码模块提取待处理图像的低层级特征图，以及通过第二特征编码模块提取所述待处理图像的高层级特征图；
通过特征聚合模块对所述低层级特征图进行第一处理，得到与所述低层级特征图分辨率相同的第一特征图，以及通过所述特征聚合模块对所述高层级特征图进行第二处理，得到与所述低层级特征图分辨率相同的第二特征图；
通过所述特征聚合模块融合所述第一特征图和所述第二特征图得到第一融合特征图；
通过所述特征聚合模块对所述低层级特征图进行第三处理，得到与所述高层级特征图分辨率相同的第三特征图，以及通过所述特征聚合模块对所述高层级特征图进行第四处理，得到与所述高层级特征图分辨率相同的第四特征图；
通过所述特征聚合模块融合所述第三特征图和所述第四特征图得到第二融合特征图；
通过所述特征聚合模块将所述第一融合特征图和所述第二融合特征图采样到同一分辨率后进行融合，得到对应所述待处理图像的目标融合特征图。
在一些实施例中，请参阅图14，图14为本申请实施例提供的电子设备的第二种结构示意图。电子设备400还包括：射频电路403、显示屏404、控制电路405、输入单元406、音频电路407、传感器408以及电源409。其中，处理器401分别与射频电路403、显示屏404、控制电路405、输入单元406、音频电路407、传感器408以及电源409电性连接。
射频电路403用于收发射频信号，以通过无线通信与网络设备或其他电子设备进行通信。
显示屏404可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。
控制电路405与显示屏404电性连接，用于控制显示屏404显示信息。
输入单元406可用于接收输入的数字、字符信息或用户特征信息(例如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中，输入单元406可以包括指纹识别模组。
音频电路407可通过扬声器、传声器提供用户与电子设备之间的音频接口。其中，音频电路407包括麦克风。所述麦克风与所述处理器401电性连接。所述麦克风用于接收用户输入的语音信息。
传感器408用于采集外部环境信息。传感器408可以包括环境亮度传感器、加速度传感器、陀螺仪等传感器中的一种或多种。
电源409用于给电子设备400的各个部件供电。在一些实施例中，电源409可以通过电源管理***与处理器401逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。
虽然图中未示出，电子设备400还可以包括摄像头、蓝牙模块等，在此不再赘述。
由上可知，本申请实施例提供了一种电子设备，所述电子设备通过第一特征编码模块以及第二特征编码模块分别提取待处理图像的低层级特征图以及高层级特征图，并通过特征聚合模块将该低层级特征图和该高层级特征图采样到对方的分辨率进行融合处理后得到第一融合特征图和第二融合特征图，然后再将第一融合特征图和第二融合特征图采样到同一分辨率后进行融合处理，得到该待处理图像的目标融合特征图。本方案分别提取低层级特征以及高层级特征，并对低层级特征以及高层级特征进行特征融合，可以改善特征提取效果，提高图像分割准确度。
本申请实施例还提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，所述计算机执行上述任一实施例所述的特征提取方法。
需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可以存储于计算机可读存储介质中，所述存储介质可以包括但不限于：只读存储器(ROM，Read OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
此外，本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、***、产品或设备没有限定于已列出的步骤或模块，而是某些实施例还包括没有列出的步骤或模块，或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
以上对本申请实施例所提供的特征提取方法、装置、存储介质及电子设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (21)
1.一种特征提取方法，其特征在于，包括：
通过第一特征编码模块提取待处理图像的低层级特征图，以及通过第二特征编码模块提取所述待处理图像的高层级特征图；
通过特征聚合模块对所述低层级特征图进行第一处理，得到与所述低层级特征图分辨率相同的第一特征图，以及通过所述特征聚合模块对所述高层级特征图进行第二处理，得到与所述低层级特征图分辨率相同的第二特征图；
通过所述特征聚合模块融合所述第一特征图和所述第二特征图得到第一融合特征图；
通过所述特征聚合模块对所述低层级特征图进行第三处理，得到与所述高层级特征图分辨率相同的第三特征图，以及通过所述特征聚合模块对所述高层级特征图进行第四处理，得到与所述高层级特征图分辨率相同的第四特征图；
通过所述特征聚合模块融合所述第三特征图和所述第四特征图得到第二融合特征图；
通过所述特征聚合模块将所述第一融合特征图和所述第二融合特征图采样到同一分辨率后进行融合，得到对应所述待处理图像的目标融合特征图。
2.如权利要求1所述的特征提取方法，其特征在于，所述特征聚合模块包括第一特征聚合单元以及点卷积层，其中，所述第一特征聚合单元包括依次连接的深度卷积层、批正则化层、点卷积层以及批正则化层，所述通过特征聚合模块对所述低层级特征图进行第一处理，得到与所述低层级特征图分辨率相同的第一特征图，包括：
通过所述第一特征聚合单元以及所述点卷积层依次对所述低层级特征图进行深度卷积处理、批正则化处理、点卷积处理、批正则化处理、以及点卷积处理，得到所述第一特征图。
3.如权利要求1所述的特征提取方法，其特征在于，所述特征聚合模块包括第二特征聚合单元、双线性插值层以及激活函数层，其中，所述第二特征聚合单元包括依次连接的标准卷积层以及批正则化层，所述通过所述特征聚合模块对所述高层级特征图进行第二处理，得到与所述低层级特征图分辨率相同的第二特征图，包括：
通过所述第二特征聚合单元、所述双线性插值层以及所述激活函数层依次对所述高层级特征图进行标准卷积处理、批正则化处理、双线性插值处理、以及激活处理，得到所述第二特征图。
4.如权利要求1所述的特征提取方法，其特征在于，所述通过所述特征聚合模块融合所述第一特征图和所述第二特征图得到第一融合特征图，包括：
通过所述特征聚合模块将所述第一特征图和所述第二特征图相乘，得到所述第一融合特征图。
5.如权利要求1所述的特征提取方法，其特征在于，所述特征聚合模块包括第三特征聚合单元以及平均池化层，其中，所述第三特征聚合单元包括标准卷积层和批正则化层，所述通过所述特征聚合模块对所述低层级特征图进行第三处理，得到与所述高层级特征图分辨率相同的第三特征图，包括：
通过所述第三特征聚合单元以及所述平均池化层依次对所述低层级特征图进行标准卷积处理、批正则化处理、以及平均池化处理，得到所述第三特征图。
6.如权利要求1所述的特征提取方法，其特征在于，所述特征聚合模块包括第四特征聚合单元、点卷积层以及激活函数层，其中，所述第四特征聚合单元包括标准卷积层和批正则化层，所述通过所述特征聚合模块对所述高层级特征图进行第四处理，得到与所述高层级特征图分辨率相同的第四特征图，包括：
通过所述第四特征聚合单元、所述点卷积层以及所述激活函数层依次对所述高层级特征图进行标准卷积处理、批正则化处理、点卷积处理以及激活处理，得到所述第四特征图。
7.如权利要求1所述的特征提取方法，其特征在于，所述通过所述特征聚合模块融合所述第三特征图和所述第四特征图得到第二融合特征图，包括：
通过所述特征聚合模块将所述第三特征图和所述第四特征图相乘，得到所述第二融合特征图。
8.如权利要求1所述的特征提取方法，其特征在于，所述通过所述特征聚合模块将所述第一融合特征图和所述第二融合特征图采样到同一分辨率后进行融合，得到对应所述待处理图像的目标融合特征图，包括：
通过所述特征聚合模块将所述第一融合特征图和所述第二融合特征图采样到与所述低层级特征图的分辨率相同后相加，得到所述目标融合特征图。
9.如权利要求1所述的特征提取方法，其特征在于，所述第一特征编码模块包括第一特征编码单元、第二特征编码单元、第三特征编码单元、第四特征编码单元、第五特征编码单元以及第六特征编码单元，所述通过第一特征编码模块提取待处理图像的低层级特征图，包括：
通过输入为第一图像通道输出为第二图像通道的第一特征编码单元对所述待处理图像进行编码处理，得到第一特征编码数据；
通过输入为第二图像通道输出为第二图像通道的第二特征编码单元对所述第一特征编码数据进行编码处理，得到所述第二特征编码数据；
通过输入为第二图像通道输出为第二图像通道的第三特征编码单元对所述第二特征编码数据进行编码处理，得到第三特征编码数据；
通过N个输入为第二图像通道输出为第二图像通道的第四特征编码单元对所述第三特征编码数据进行编码处理，得到第四特征编码数据，其中，N为正整数且不小于2；
通过输入为第二图像通道输出为第三图像通道的第五特征编码单元对所述第四特征编码数据进行编码处理，得到第五特征编码数据；
通过M个输入为第三图像通道输出为第三图像通道的第六特征编码单元对所述第五特征编码数据进行编码处理，得到所述低层级特征图，其中，M为正整数且不小于3。
10.如权利要求9所述的特征提取方法，其特征在于，所述第一特征编码单元、所述第三特征编码单元、以及所述第五特征编码单元包括依次连接的标准卷积层、批正则化层、激活函数层；所述第二特征编码单元、所述第四特征编码单元以及所述第六特征编码单元包括依次连接的标准卷积层、批正则化层。
11.如权利要求1所述的特征提取方法，其特征在于，所述第二特征编码模块包括第七特征编码单元、第八特征编码单元、第九特征编码单元、第十特征编码单元、第十一特征编码单元、第十二特征编码单元以及第十三特征编码单元，所述通过所述第二特征编码模块所述提取待处理图像的高层级特征图，包括：
通过输入为第四图像通道输出为第五图像通道的第七特征编码单元对所述待处理图像进行编码处理，得到第六特征编码数据；
通过输入为第五图像通道输出为第六图像通道的第八特征编码单元对所述第六特征编码数据进行编码处理，得到第七特征编码数据；
通过J个输入为第六图像通道输出为第六图像通道的第九特征编码单元对所述第七特征编码数据进行编码处理，得到第八特征编码数据，其中，J为正整数且不小于2；
通过输入为第六图像通道输出为第七图像通道的第十特征编码单元对所述第八特征编码数据进行编码处理，得到第九特征编码数据；
通过K个输入为第七图像通道输出为第七图像通道的第十一特征编码单元对所述第九特征编码数据进行编码处理，得到第十特征编码数据，其中，K为正整数且不小于2；
通过输入为第七图像通道输出为第八图像通道的第十二特征编码单元对所述第十特征编码数据进行编码处理，得到第十一特征编码数据；
通过L个输入为第八图像通道输出为第八图像通道的第十三特征编码单元对所述第十一编码数据进行编码处理，得到所述高层级特征图，其中，L为正整数且不小于3。
12.如权利要求11所述的特征提取方法，其特征在于，所述第七特征编码单元包括卷积层、激活函数层、第一特征编码子单元、第二特征编码子单元、最大池化层以及拼接层，所述通过输入为第四图像通道输出为第五图像通道的第七特征编码单元对所述待处理图像进行编码处理，得到第六特征编码数据，包括：
通过所述卷积层以及所述激活函数层依次对所述待处理图像进行标准卷积处理以及激活处理，得到第一处理数据；
通过所述第一特征编码子单元对所述第一处理数据依次进行标准卷积处理、批正则化处理以及激活处理，得到第二处理数据；
通过所述第二特征编码子单元对所述第二处理数据依次进行卷积处理、批正则化处理以及激活处理，得到第三处理数据；
通过所述最大池化层对所述第一处理数据进行池化处理，得到第四处理数据；
通过所述拼接层对所述第三处理数据以及所述第四处理数据进行拼接处理得到第六编码数据。
13.如权利要求12所述的特征提取方法，其特征在于，所述第一特征编码子单元包括依次连接的标准卷积层、批正则化层以及激活函数层；所述第二特征编码子单元包括依次连接的标准卷积层、批正则化层以及激活函数层。
14.如权利要求11所述的特征提取方法，其特征在于，所述第八特征编码单元包括第三特征编码子单元、第四特征编码子单元、第五特征编码子单元、第六特征编码子单元、第七特征编码子单元、第八特征编码子单元、特征叠加层以及激活函数层，所述通过输入为第五图像通道输出为第六图像通道的第八特征编码单元对所述第六特征编码数据进行编码处理，得到第七特征编码数据，包括：
通过所述第三特征编码子单元、所述第四特征编码子单元、所述第五特征编码子单元、所述第六特征编码子单元、以及第七特征编码子单元依次对所述第六特征编码数据进行卷积处理和批正则化处理，得到第五处理数据；
通过所述第八特征编码子单元对所述第五处理数据依次进行深度卷积处理、批正则化处理、点卷积处理以及批正则化处理，得到第六处理数据；
将所述第五处理数据以及第六处理数据通过特征叠加层进行相加处理，得到第七特征处理数据；
通过激活函数层进行对所述第七特征处理数据进行激活处理，得到所述第七特征编码数据。
15.如权利要求14所述的特征提取方法，其特征在于，所述第三特征编码子单元包括依次连接的标准卷积层和批正则化层；所述第四特征编码子单元包括依次连接的标准卷积层和批正则化层；所述第五特征编码子单元包括依次连接的标准卷积层和批正则化层；所述第六特征编码子单元包括依次连接的标准卷积层和批正则化层；所述第七特征编码子单元包括依次连接的标准卷积层和批正则化层；所述第八特征编码子单元包括依次连接的深度卷积层、批正则化层、点卷积层以及批正则化层。
16.如权利要求11所述的特征提取方法，其特征在于，所述第九特征编码单元包括，第九特征编码子单元、第十特征编码子单元、第十一特征编码子单元、第十二编码子单元、特征叠加层以及激活函数层，所述通过J个输入为第六图像通道输出为第六图像通道的第九特征编码单元对所述第七特征编码数据进行编码处理，得到第八特征编码数据，包括：
通过所述第九特征编码子单元、第十特征编码子单元、第十一特征编码子单元、第十二编码子单元依次对所述第七特征编码数据进行编码处理，得到第八特征处理数据；
通过所述特征叠加层将所述第七特征编码数据和第八特征处理数据进行相加处理，得到第九处理数据；
通过所述激活函数层对所述第九处理数据进行激活处理，得到所述第八特征编码数据。
17.如权利要求16所述的特征提取方法，其特征在于，所述第九特征编码子单元包括依次连接的标准卷积层和批正则化层；所述第十特征编码子单元包括依次连接的标准卷积层和批正则化层；所述第十一特征编码子单元包括依次连接的标准卷积层和批正则化层；所述第十二特征编码子单元包括依次连接的标准卷积层和批正则化层。
18.如权利要求11至17任一项所述的特征提取的方法，其特征在于，所述第八特征编码单元、第十特征编码单元以及第十二特征编码单元的组成和结构均相同；所述第九编码单元、第十一特征编码单元以及第十三特征编码单元组成和结构均相同。
19.一种特征提取装置，其特征在于，包括：
特征提取模块，用于通过第一特征编码模块提取待处理图像的低层级特征图，以及通过第二特征编码模块提取所述待处理图像的高层级特征图；
第一处理模块，用于通过特征聚合模块对所述低层级特征图进行第一处理，得到与所述低层级特征图分辨率相同的第一特征图，以及通过所述特征聚合模块对所述高层级特征图进行第二处理，得到与所述低层级特征图分辨率相同的第二特征图；
第一特征融合模块，用于通过所述特征聚合模块融合所述第一特征图和所述第二特征图得到第一融合特征图；
第二处理模块，用于通过所述特征聚合模块对所述低层级特征图进行第三处理，得到与所述高层级特征图分辨率相同的第三特征图，以及通过所述特征聚合模块对所述高层级特征图进行第四处理，得到与所述高层级特征图分辨率相同的第四特征图；
第二特征融合模块，用于通过所述特征聚合模块融合所述第三特征图和所述第四特征图得到第二融合特征图；
第三特征融合模块，用于通过所述特征聚合模块将所述第一融合特征图和所述第二融合特征图采样到同一分辨率后进行融合，得到对应所述待处理图像的目标融合特征图。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1至18任一项所述的特征提取方法。
21.一种电子设备，包括处理器和存储器，所述存储器存储有计算机程序，其特征在于，所述处理器通过调用所述计算机程序，用于执行如权利要求1至18任一项所述的特征提取方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110129778.2A CN112949651A (zh) | 2021-01-29 | 2021-01-29 | 特征提取方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110129778.2A CN112949651A (zh) | 2021-01-29 | 2021-01-29 | 特征提取方法、装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112949651A true CN112949651A (zh) | 2021-06-11 |
Family
ID=76240140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110129778.2A Withdrawn CN112949651A (zh) | 2021-01-29 | 2021-01-29 | 特征提取方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112949651A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111080655A (zh) * | 2019-12-04 | 2020-04-28 | 腾讯科技（深圳）有限公司 | 图像分割及其模型训练方法、装置、介质及电子设备 |
| CN111292330A (zh) * | 2020-02-07 | 2020-06-16 | 北京工业大学 | 基于编解码器的图像语义分割方法及装置 |
| CN111311629A (zh) * | 2020-02-21 | 2020-06-19 | 京东方科技集团股份有限公司 | 图像处理方法、图像处理装置及设备 |
| CN111402258A (zh) * | 2020-03-12 | 2020-07-10 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| WO2020177651A1 (zh) * | 2019-03-01 | 2020-09-10 | 华为技术有限公司 | 图像分割方法和图像处理装置 |
| CN111914894A (zh) * | 2020-06-28 | 2020-11-10 | 中国建设银行股份有限公司 | 特征提取方法、装置、电子设备及计算机可读存储介质 |
| US20200364870A1 (en) * | 2019-05-14 | 2020-11-19 | University-Industry Cooperation Group Of Kyung Hee University | Image segmentation method and apparatus, and computer program thereof |
-
2021
- 2021-01-29 CN CN202110129778.2A patent/CN112949651A/zh not_active Withdrawn
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020177651A1 (zh) * | 2019-03-01 | 2020-09-10 | 华为技术有限公司 | 图像分割方法和图像处理装置 |
| US20200364870A1 (en) * | 2019-05-14 | 2020-11-19 | University-Industry Cooperation Group Of Kyung Hee University | Image segmentation method and apparatus, and computer program thereof |
| CN111080655A (zh) * | 2019-12-04 | 2020-04-28 | 腾讯科技（深圳）有限公司 | 图像分割及其模型训练方法、装置、介质及电子设备 |
| CN111292330A (zh) * | 2020-02-07 | 2020-06-16 | 北京工业大学 | 基于编解码器的图像语义分割方法及装置 |
| CN111311629A (zh) * | 2020-02-21 | 2020-06-19 | 京东方科技集团股份有限公司 | 图像处理方法、图像处理装置及设备 |
| CN111402258A (zh) * | 2020-03-12 | 2020-07-10 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111914894A (zh) * | 2020-06-28 | 2020-11-10 | 中国建设银行股份有限公司 | 特征提取方法、装置、电子设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598776B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
| CN111476309A (zh) | 图像处理方法、模型训练方法、装置、设备及可读介质 | |
| CN111696176B (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
| CN113395542B (zh) | 基于人工智能的视频生成方法、装置、计算机设备及介质 | |
| CN111369427A (zh) | 图像处理方法、装置、可读介质和电子设备 | |
| US20200294249A1 (en) | Network module and distribution method and apparatus, electronic device, and storage medium | |
| CN114282581B (zh) | 基于数据增强的训练样本获取方法、装置和电子设备 | |
| CN113704531A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
| CN111932463B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN111414879A (zh) | 人脸遮挡程度识别方法、装置、电子设备及可读存储介质 | |
| CN111950570B (zh) | 目标图像提取方法、神经网络训练方法及装置 | |
| CN111860485A (zh) | 图像识别模型的训练方法、图像的识别方法、装置、设备 | |
| CN113706440A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN112950640A (zh) | 视频人像分割方法、装置、电子设备及存储介质 | |
| CN113902636A (zh) | 图像去模糊方法及装置、计算机可读介质和电子设备 | |
| CN111507142A (zh) | 人脸表情图像处理方法、装置和电子设备 | |
| CN113642359B (zh) | 人脸图像生成方法、装置、电子设备及存储介质 | |
| CN113763931A (zh) | 波形特征提取方法、装置、计算机设备及存储介质 | |
| CN113515994A (zh) | 视频特征提取方法、装置、设备以及存储介质 | |
| CN116883708A (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| CN111818364B (zh) | 视频融合方法、***、设备及介质 | |
| CN112949651A (zh) | 特征提取方法、装置、存储介质及电子设备 | |
| CN114462580A (zh) | 文本识别模型的训练方法、文本识别方法、装置和设备 | |
| CN116109531A (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN114399696A (zh) | 一种目标检测方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210611 |