CN111833360B - 一种图像处理方法、装置、设备以及计算机可读存储介质 - Google Patents
一种图像处理方法、装置、设备以及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111833360B CN111833360B CN202010674414.8A CN202010674414A CN111833360B CN 111833360 B CN111833360 B CN 111833360B CN 202010674414 A CN202010674414 A CN 202010674414A CN 111833360 B CN111833360 B CN 111833360B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- point
- convolution
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000003709 image segmentation Methods 0.000 claims abstract description 110
- 238000012545 processing Methods 0.000 claims abstract description 108
- 238000000034 method Methods 0.000 claims abstract description 107
- 239000011159 matrix material Substances 0.000 claims description 422
- 230000011218 segmentation Effects 0.000 claims description 64
- 239000000463 material Substances 0.000 claims description 54
- 230000006870 function Effects 0.000 claims description 40
- 238000013507 mapping Methods 0.000 claims description 32
- 238000012549 training Methods 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 20
- 238000004891 communication Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 description 28
- 238000005516 engineering process Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 17
- 238000010606 normalization Methods 0.000 description 16
- 238000011176 pooling Methods 0.000 description 13
- 230000017105 transposition Effects 0.000 description 13
- 238000007781 pre-processing Methods 0.000 description 12
- 230000009466 transformation Effects 0.000 description 12
- 238000001914 filtration Methods 0.000 description 11
- 238000013473 artificial intelligence Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241000209504 Poaceae Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例公开了一种图像处理方法、装置、设备以及计算机可读存储介质,其中,方法包括:获取图像,将图像输入图像分割模型,生成图像的至少两个图像特征矩阵;图像分割模型包括卷积拼接模块,卷积拼接模块包括至少两个逐点卷积核和至少两个逐深度卷积核;卷积拼接模块所输出的特征具有目标通道数;通过每个逐点卷积核分别对至少两个图像特征矩阵进行卷积,生成至少两个中间特征矩阵;根据至少两个逐深度卷积核分别对至少两个中间特征矩阵进行卷积,生成至少两个待拼接特征矩阵;对至少两个中间特征矩阵以及至少两个待拼接特征矩阵进行特征拼接处理,得到至少两个目标特征矩阵。采用本申请,可以减少模型的参数量,进而可以提高模型运行速度。
Description
技术领域
本申请涉及互联网技术领域,尤其涉及一种图像处理方法、装置、设备以及计算机可读存储介质。
背景技术
随着深度学习技术的快速普及,以及计算能力的提升,语义分割技术的性能大幅提升。
人像分割是语义分割的基础课题之一,在学术界与工业界均受到了广泛的重视。在视频会议和直播聊天景等应用中,通常可以通过人像分割技术来丰富这些应用的功能,然而基于深度学习的人像分割技术存在参数量大的问题,导致模型计算量大,若运行这些应用的终端硬件能力不够高,则会导致运行速度慢,且资源消耗过高,进而终端可能无法运行具备人像分割技术的应用。
发明内容
本申请实施例提供一种图像处理方法、装置、设备以及计算机可读存储介质,在实现人像分割技术的同时,可以减少模型的参数量,进而可以提高模型运行速度。
本申请实施例一方面提供一种图像处理方法,包括:
获取图像,将图像输入图像分割模型,生成图像的至少两个图像特征矩阵;图像分割模型包括卷积拼接模块,卷积拼接模块包括至少两个逐点卷积核和至少两个逐深度卷积核;卷积拼接模块所输出的特征具有目标通道数;
通过每个逐点卷积核分别对至少两个图像特征矩阵进行卷积,生成至少两个中间特征矩阵;至少两个逐点卷积核的卷积核个数小于目标通道数;
根据至少两个逐深度卷积核分别对至少两个中间特征矩阵进行卷积,生成至少两个待拼接特征矩阵;
对至少两个中间特征矩阵以及至少两个待拼接特征矩阵进行特征拼接处理,得到至少两个目标特征矩阵,根据至少两个目标特征矩阵对图像进行图像识别处理;至少两个目标特征矩阵的矩阵个数等于目标通道数。
本申请实施例一方面提供一种图像处理装置,包括:
第一获取模块,用于获取图像,将图像输入图像分割模型,生成图像的至少两个图像特征矩阵;图像分割模型包括卷积拼接模块,卷积拼接模块包括至少两个逐点卷积核和至少两个逐深度卷积核;卷积拼接模块所输出的特征具有目标通道数;
第一生成模块,用于通过每个逐点卷积核分别对至少两个图像特征矩阵进行卷积,生成至少两个中间特征矩阵;至少两个逐点卷积核的卷积核个数小于目标通道数;
第一生成模块,还用于根据至少两个逐深度卷积核分别对至少两个中间特征矩阵进行卷积,生成至少两个待拼接特征矩阵;
拼接特征模块,用于对至少两个中间特征矩阵以及至少两个待拼接特征矩阵进行特征拼接处理,得到至少两个目标特征矩阵,根据至少两个目标特征矩阵对图像进行图像识别处理;至少两个目标特征矩阵的矩阵个数等于目标通道数。
其中,拼接特征模块,包括:
第一处理单元,用于将至少两个目标特征矩阵输入转置卷积模块,通过转置卷积模块对至少两个目标特征矩阵进行反卷积处理,得到特征分割矩阵;
第二处理单元,用于将特征分割矩阵确定为图像的语义分割图像,根据语义分割图像对图像进行图像识别处理。
其中,第二处理单元,包括:
第一赋值子单元,用于对语义分割图像进行第一赋值处理,得到第一赋值图像;第一赋值图像用于提取图像中的前景对象;
第二赋值子单元,用于获取素材图像,对语义分割图像进行第二赋值处理,得到第二赋值图像;第二赋值图像用于提取素材图像中的背景对象;
生成目标子单元,用于根据素材图像、图像、第一赋值图像以及第二赋值图像生成目标图像;目标图像包括前景对象和背景对象。
其中,生成目标子单元,具体用于获取第一赋值图像的第一赋值矩阵,获取图像的原始矩阵,根据第一赋值矩阵对原始矩阵进行矩阵调整,得到第一目标矩阵;第一目标矩阵用于表征图像中的前景对象;
生成目标子单元,还具体用于获取第二赋值图像的第二赋值矩阵,获取素材图像的素材矩阵,根据第二赋值矩阵对素材矩阵进行矩阵调整,得到第二目标矩阵;第二目标矩阵用于表征素材图像中的背景对象;
生成目标子单元,还具体用于对第一目标矩阵以及第二目标矩阵进行矩阵相加,得到目标图像。
其中,第一生成模块,具体用于根据至少两个第一逐深度卷积核分别对至少两个中间特征矩阵进行卷积,生成至少两个第一待拼接特征矩阵;
拼接特征模块,包括:
第三处理单元,用于对至少两个中间特征矩阵以及至少两个第一待拼接特征矩阵进行特征拼接处理,得到至少两个待确定特征矩阵;
第一生成单元,用于根据至少两个第二逐深度卷积核分别对至少两个待确定特征矩阵进行卷积,生成至少两个第二待拼接特征矩阵;
第四处理单元,用于对至少两个待确定特征矩阵以及至少两个第二待拼接特征矩阵进行特征拼接处理,得到至少两个目标特征矩阵。
其中,第一生成模块,包括:
第二生成单元,用于通过逐点卷积核Ki中每个逐点卷积通道对每个图像特征矩阵进行卷积,生成至少两个中间特征子矩阵Zi,对至少两个中间特征子矩阵Zi进行融合,得到中间特征矩阵Li;逐点卷积核Ki中的一个逐点卷积通道对应至少两个图像特征矩阵中的一个图像特征矩阵;
第二生成单元,还用于通过逐点卷积核Ki+1中每个逐点卷积通道对每个图像特征矩阵进行卷积,生成至少两个中间特征子矩阵Zi+1,对至少两个中间特征子矩阵Zi+1进行融合,得到中间特征矩阵Li+1;逐点卷积核Ki+1中的一个逐点卷积通道对应至少两个图像特征矩阵中的一个图像特征矩阵;
第一确定单元,用于将中间特征矩阵Li以及中间特征矩阵Li+1确定为至少两个中间特征矩阵。
其中,第一生成模块,包括:
第三生成单元,用于通过逐深度卷积核Pi对中间特征矩阵Li进行卷积,生成待拼接特征矩阵Ji;
第三生成单元,还用于通过逐深度卷积核Pi+1对中间特征矩阵Li+1进行卷积,生成待拼接特征矩阵Ji+1;
第二确定单元,用于将待拼接特征矩阵Ji以及待拼接特征矩阵Ji+1确定为至少两个待拼接特征矩阵。
其中,第一生成模块,包括:
第四生成单元,用于通过每个逐点卷积核分别对至少两个图像特征矩阵进行卷积,生成至少两个待激活中间特征矩阵;
第四生成单元,还用于将至少两个待激活中间特征矩阵映射至第一激活函数,生成至少两个中间特征矩阵。
其中,第一生成模块,包括:
第五生成单元,用于根据至少两个逐深度卷积核分别对至少两个中间特征矩阵进行卷积,生成至少两个待激活拼接特征矩阵;
第五生成单元,还用于将至少两个待激活拼接特征矩阵映射至第二激活函数,生成至少两个待拼接特征矩阵。
其中,图像处理装置,还包括:
第二获取模块,用于获取训练样本集;训练样本集包括样本图像以及与标签图像,标签图像用于表征样本图像中每个像素点所属的对象类别标签;
第二生成模块,用于将训练样本集输入样本图像分割模型,生成样本图像的样本图像特征矩阵;样本图像分割模型包括样本卷积拼接模块;样本图像分割模型包括至少两个对象类别标签;
提取特征模块,用于通过样本卷积拼接模块,提取样本图像特征矩阵中与每个类别标签相关联的预测图像特征矩阵;
调整模型模块,用于根据预测图像特征矩阵以及标签图像,对样本图像分割模型进行调整,得到包含卷积拼接模块的图像分割模型。
其中,调整模型模块,包括:
第六生成单元,用于生成标签图像的标签图像特征矩阵,根据标签图像特征矩阵以及预测图像特征矩阵生成模型损失值;
第三确定单元,用于根据模型损失值调整样本图像分割模型中参数的权值,当模型损失值满足收敛条件时,将调整后的包含卷积拼接模块的图像分割模型确定为图像分割模型。
本申请一方面提供了一种计算机设备,包括:处理器、存储器、网络接口;
上述处理器与上述存储器、上述网络接口相连,其中,上述网络接口用于提供数据通信功能,上述存储器用于存储计算机程序,上述处理器用于调用上述计算机程序,以执行本申请实施例中的方法。
本申请实施例一方面提供了一种计算机可读存储介质,上述计算机可读存储介质存储有计算机程序,上述计算机程序包括程序指令,上述程序指令被处理器执行时,以执行本申请实施例中的方法。
本申请实施例一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中;计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本申请实施例中的方法。
本申请实施例通过获取图像,将图像输入图像分割模型,图像分割模型包括卷积模块以及卷积拼接模块,首先通过卷积模块得到图像的至少两个图像特征矩阵;上述的卷积拼接模块包括至少两个逐点卷积核和至少两个逐深度卷积核,卷积拼接模块所输出的特征具有目标通道数;然后通过每个逐点卷积核分别对至少两个图像特征矩阵进行卷积,即将至少两个图像特征矩阵分别映射至每个逐点卷积核,生成至少两个中间特征矩阵,显而易见,至少两个中间特征矩阵的矩阵个数与至少两个逐点卷积核的卷积核个数相同;至少两个逐点卷积核的卷积核个数小于目标通道数,所以至少两个中间特征矩阵的矩阵个数小于目标通道数;然后根据至少两个逐深度卷积核分别对至少两个中间特征矩阵进行卷积,生成至少两个待拼接特征矩阵。本申请对至少两个中间特征矩阵以及至少两个待拼接特征矩阵进行特征拼接处理,得到至少两个目标特征矩阵,此时,至少两个目标特征矩阵的矩阵个数等于目标通道数,最后根据至少两个目标特征矩阵对图像进行图像识别处理。上述可知,本申请实施例通过对至少两个中间特征矩阵以及至少两个待拼接特征矩阵进行特征拼接处理,可以在卷积拼接模块中极大地降低参数量,进而可以提高图像分割模型的运行速度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种***架构示意图;
图2是本申请实施例提供的一种图像处理的场景示意图;
图3是本申请实施例提出一种图像处理方法的流程示意图;
图4是本申请实施例提供的一种图像处理方法的流程示意图;
图5a是本申请实施例提供的一种卷积拼接模块的结构示意图;
图5b是本申请实施例提供的一种图像分割模型的结构示意图;
图5c是本申请实施例提供的一种卷积拼接模块的网络结构示意图;
图6是本申请实施例提供的一种图像处理的场景示意图;
图7是本申请实施例提供的一种图像处理方法的流程示意图;
图8是本申请实施例提供的一种图像处理装置的结构示意图;
图9是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能***。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的方案涉及人工智能的计算机视觉技术以及深度学习等技术,具体过程通过如下实施例进行说明。
请参见图1,图1是本申请实施例提供的一种***架构示意图。如图1所示,该***可以包括服务器10a以及用户终端集群,用户终端集群可以包括:用户终端10b、用户终端10c、...、用户终端10d,其中,用户终端集群之间可以存在通信连接,例如用户终端10b与用户终端10c之间存在通信连接,用户终端10b与用户终端10d之间存在通信连接,且用户终端集群中的任一用户终端可以与服务器10a存在通信连接,例如用户终端10b与服务器10a之间存在通信连接,用户终端10c与服务器10a之间存在通信连接,其中,上述的通信连接不限定连接方式,可以通过有线或无线通信方式进行直接或间接地连接,也可以通过其他方式,本申请在此不做限制。
服务器10a通过通信连接为用户终端集群提供服务,当用户终端(可以是服务器10b、用户终端10c或用户终端10d)获取到图像,并需要对该图像进行处理时,例如置换图像背景,用户终端可以将图像发送至服务器10a。服务器10a接收到用户终端所发送的图像后,基于提前训练好的图像分割模型对图像进行语义分割,得到图像对应的语义分割图像,服务器10a再基于素材图像、图像以及语义分割图像得到目标图像,上述的目标图像既包含了图像中的前景对象,即目标对象(可以包括人像、动物、车辆等),又包含了素材图像中的背景对象。后续,服务器10a可以将生成的目标图像发送至用户终端,以及将图像、语义分割图像和素材图像关联存储在数据库中。用户终端接收到服务器10a发送的目标图像后,可以在屏幕显示该目标图像。
可选的,服务器10a可以将语义分割图像发送至用户终端,用户终端基于素材图像、图像以及语义分割图像得到目标图像;若用户终端的本地存储了训练好的图像分割模型,可以在用户终端本地将图像处理为语义分割图像,再对语义分割图像进行后续处理。其中,由于训练图像分割模型涉及到大量的离线计算,因此用户终端本地的图像分割模型可以是由服务器10a训练完成后发送至用户终端。
可以理解的是,本申请实施例所提供的方法可以由计算机设备执行,计算机设备包括但不限于终端或服务器。本申请实施例中的服务器10a可以为计算机设备。上述服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。上述终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
其中,图1中的服务器10a、用户终端10b、用户终端10c以及用户终端10d可以包括手机、平板电脑、笔记本电脑、掌上电脑、智能音响、移动互联网设备(MID,mobile internetdevice)、POS(Point Of Sales,销售点)机、可穿戴设备(例如智能手表、智能手环等)等。
下述以更换一张人像图像的背景为例(可以是在服务器10a中处理,也可以是在用户终端中处理),进行说明,请参见图2,图2是本申请实施例提供的一种图像处理的场景示意图。本申请实施例的目的是在不影响分割精度的前提下,较快的实现人像分割,如图2所示,图像20a中包括小卖部、扶梯以及人像(小女孩),即人像是前景对象,其余(也包括扶梯以及小卖部)为背景对象。在将图像20a输入图像分割模型20c之前,先对图像20a进行图像预处理,图像分析中,图像质量的好坏直接影响分割算法的设计与效果的精度,因此在图像分析前,需要进行图像预处理。图像预处理的主要目的是消除图像20a中无关的信息(例如背景对象),恢复有用的真实信息,增强有关信息(例如前景对象)的可检测性、最大限度地简化数据,从而改进特征提取、图像分割、匹配和识别的可靠性,图像预处理的方法包括但不限于以下:
a、图像归一化处理。
图像归一化是计算机视觉、模式识别等领域广泛使用的一种技术。所谓图像归一化,就是通过一系列变换,将待处理的原始图像(如图2中的图像20a)转换成相应的唯一标准形式(该标准形式图像对平移、旋转、缩放等仿射变换具有不变特性)。图像归一化技术的基本工作原理为:首先利用图像中对仿射变换具有不变性的矩阵来确定变换函数的参数,然后利用此参数确定的变换函数把原始图像变换为一个标准形式的图像(该图像与仿射变换无关)。
神经网络中归一化的原因:1)、归一化是为了加快训练网络的收敛性;2)、归一化的具体作用是归纳统一样本的统计分布性,归一化有同一、统一和合一的意思,无论是为了建模还是为了计算,首先基本度量单位要同一,神经网络是以样本在事件中的统计概率来进行训练(概率计算)和预测的,归一化是同一在0-1之间的统计概率分布;3)、当所有样本的输入信号都为正值时,与第一隐含层神经元相连的权值只能同时增加或减小,从而导致学习速度很慢,为了避免出现这种情况,加快网络学习速度,可以对输入信号进行归一化,使得所有样本的输入信号其均值接近于0或与其均方差相比很小;4)、归一化是因为sigmoid函数的取值是0到1之间的,网络最后一个节点的输出也是如此,所以经常要对样本的输出归一化处理。
b、几何变换。
图像几何变换又称为图像空间变换,通过平移、转置、镜像、旋转、缩放等几何变换对采集的图像进行处理,用于改正图像采集***的***误差和仪器位置(成像角度、透视关系乃至镜头自身原因)的随机误差。此外,还需要使用灰度插值算法,因为按照这种变换关系进行计算,输出图像的像素可能被映射到输入图像的非整数坐标上。通常采用的几何变换方法有最近邻插值、双线性插值和双三次插值。
c、图像增强。
增强图像中的有用信息,它可以是一个失真的过程,其目的是要改善图像的视觉效果,针对给定图像的应用场合,有目的地强调图像的整体或局部特性,将原来不清晰的图像变得清晰或强调某些感兴趣的特征,扩大图像中不同物体特征之间的差别,抑制不感兴趣的特征,使之改善图像质量、丰富信息量,加强图像判读和识别效果,满足某些特殊分析的需要。通常采用的图像增强方法有均值滤波、高斯高/低通滤波、中值滤波。
可理解的是,图像的种类很多,可以被分为光学图像、雷达图像等,也可以被分为灰度图像、彩色图像等,所以图像预处理的方法可以按实际应用确定,此处不限定方法。
请再参见图2,对图像20a预处理后,生成图像20b,将图像20b输入图像分割模型20c,图像分割模型20c包括输入模块、一般的卷积模块(下述称作卷积模块)、本申请提出的新型卷积拼接模块200c、反卷积模块(也可称作转置卷积模块)以及输出模块。其中输入模块的参数大小等于调整尺寸后的图像20b的尺寸,当图像20b输入至图像分割模型20c的输入层(即输入模块)后,生成与图像20b对应的原始图像矩阵,随后进入卷积模块,需要说明的是,本申请实施例中的卷积模块可以包括一般的卷积层以及一般的池化层,此处不分开示例,卷积模块从原始图像矩阵中学***均池化运算方法和最大池化运算方法。平均池化运算方法是在一个特征信息集合里计算出一个平均特征信息代表该特征信息集合的特征;最大池化运算是在一个特征信息集合里提取出最大特征信息代表该特征信息集合的特征。
通过上述卷积模块的卷积处理和池化处理,可以提取与图像20b对应的至少两个图像特征矩阵20d,可以理解的是,卷积模块中的卷积层可以只有一个,也可以有多个,同理,池化层可以只有一个,也可以有多个。
请再参见图2,至少两个图像特征矩阵20d作为卷积模块的输出,输入至卷积拼接模块200c,一般的神经网络在进行逐深度(depthwise)卷积前后,均需使用1x1逐点(pointwise)卷积进行特征通道的升维和降维,然而却忽略了1x1逐点卷积带来的大量的参数量和计算量。假设至少两个图像特征矩阵20d的矩阵个数为64,即输入至卷积拼接模块200c中的特征图数量为64,也可以理解为输入至卷积拼接模块200c的特征通道数为64;假设卷积拼接模块200c的输出矩阵个数为64,即卷积拼接模块200c的输出特征图数量为64,也可以理解为卷积拼接模块200c的输出特征通道数为64,假设depthwise卷积核大小为3x3,那么按照一般网络操作,首先需要64个3x3的卷积核分别对每一个特征矩阵进行depthwise卷积,参数量为64x3x3=576,然后使用1x1的pointwise卷积核进行特征矩阵之间的融合操作,参数量为64x64x1x1=4096,可以看到1x1pointwise卷积核的卷积参数量很大。
为解决这一问题,本申请实施例采取卷积拼接方式进行参数量的缩减,请再参见图2,具体做法如下:首先使用32个1x1的逐点卷积核,对64个特征矩阵(即至少两个图像特征矩阵20d)进行卷积,其中,每个逐点卷积核的深度为64,生成至少两个中间特征矩阵20e,其中,至少两个中间特征矩阵20e的矩阵个数为32,即经过32个1x1的逐点卷积核后,输出的特征图数量为32,也可以理解为特征通道数为32,这一步的参数量为64x32x1x1=2048;然后将至少两个中间特征矩阵20e进行3x3的depthwise卷积核操作,因为输入的特征通道数为32,所以需要32个3x3的depthwise卷积核,生成至少两个待拼接特征矩阵200f,其中,至少两个待拼接特征矩阵200f的矩阵个数为32,即特征图数量为32,也可以理解为特征通道数为32,这一步的参数量为32x3x3=288。
在将至少两个待拼接特征矩阵200f输出前,先将至少两个待拼接特征矩阵200f与至少两个中间特征矩阵20e进行特征拼接,例如至少两个中间特征矩阵20e包括中间特征矩阵1、中间特征矩阵2、…、中间特征矩阵31以及中间特征矩阵32,至少两个待拼接特征矩阵200f包括待拼接特征矩阵1、待拼接特征矩阵2、…、待拼接特征矩阵31以及待拼接特征矩阵32,将待拼接特征矩阵1作为第33个特征矩阵,拼接至中间特征矩阵1、中间特征矩阵2、…、中间特征矩阵31以及中间特征矩阵32后面,将待拼接特征矩阵2作为第34个特征矩阵,拼接至中间特征矩阵1、中间特征矩阵2、…、中间特征矩阵31、中间特征矩阵32以及待拼接特征矩阵1后面,…,将待拼接特征矩阵31作为第63个特征矩阵,拼接至中间特征矩阵1、中间特征矩阵2、…、中间特征矩阵31、中间特征矩阵32、待拼接特征矩阵1、待拼接特征矩阵2、…、待拼接特征矩阵30后面,将待拼接特征矩阵32作为第64个特征矩阵,拼接至中间特征矩阵1、中间特征矩阵2、…、中间特征矩阵31、中间特征矩阵32、待拼接特征矩阵1、待拼接特征矩阵2、…、待拼接特征矩阵30、待拼接特征矩阵31后面,得到至少两个目标特征矩阵20g;可选的,将中间特征矩阵1作为第33个特征矩阵,拼接至待拼接特征矩阵1、待拼接特征矩阵2、…、待拼接特征矩阵31以及待拼接特征矩阵32后面,将中间特征矩阵2作为第34个特征矩阵,拼接至待拼接特征矩阵1、待拼接特征矩阵2、…、待拼接特征矩阵31、待拼接特征矩阵32以及中间特征矩阵1后面,…,将中间特征矩阵31作为第63个特征矩阵,拼接至待拼接特征矩阵1、待拼接特征矩阵2、…、待拼接特征矩阵31、待拼接特征矩阵32、中间特征矩阵1、中间特征矩阵2、…、中间特征矩阵30后面,将中间特征矩阵32作为第64个特征矩阵,拼接至待拼接特征矩阵1、待拼接特征矩阵2、…、待拼接特征矩阵31、待拼接特征矩阵32、中间特征矩阵1、中间特征矩阵2、…、中间特征矩阵30、中间特征矩阵31后面,得到至少两个目标特征矩阵20g;此处不限定拼接顺序。
由上述可知,至少两个目标特征矩阵20g的矩阵个数为64,即输出的特征图数量为64,也可以理解为特征通道数为64,然而卷积拼接模块200c的整体参数量为2048+288=2336,几乎只有原参数量4096的一半。
除减少参数量外,卷积拼接模块200c还具有如下优势,第一,使用3x3的逐深度卷积,增大了网络的感受野,有利于较大人像的分割;第二,原本1x1的pointwise卷积操作后只能有一次非线性激活机会,在卷积拼接模块200c中,可以分别在1x1的逐点卷积后和3x3的depthwise卷积操作后均添加非线性激活,增强了网络的非线性表达能力。
可以理解的是,图像分割模型20c中可以的卷积拼接模块200c可以只有一个,也可以有多个,上述是以一个卷积拼接模块200c为例示意,若有多个卷积拼接模块200c,可以参照上述过程计算参数量。
将至少两个目标特征矩阵20g输入转置卷积模块,转置卷积模块是卷积模块以及卷积拼接模块的逆向操作,特征图或特征矩阵的尺寸由小变大,通过转置卷积模块对至少两个目标特征矩阵20g进行反卷积处理,得到特征分割矩阵;将特征分割矩阵确定为图像20b的语义分割图像20h,可以理解的是,本申请实施例为一个二分类,图像分割模型20c有两个标签,一个是人像标签,一个是背景标签,对图像20b中的每一个像素点进行识别,若识别像素点A是人像标签,就将其标记为白色,若识别像素点B是背景标签,就将其标记为黑色,如语义分割图像20h所示,人像区域为白色,背景区域为黑色。
语义分割图像20h的分割边缘处可能存在粗糙的地方,例如分割边缘处200h,因此可以对预测区域(即语义分割图像20h)进行图像后处理,图像后处理的方法包括但不限于均值滤波、高斯高/低通滤波、中值滤波,得到语义分割图像20i。对语义分割图像20i进行第一赋值处理,例如对语义分割图像20i中的白色区域赋值为1,黑色区域赋值0,得到第一赋值图像,第一赋值图像用于提取图像20b中的前景对象,即人像;获取素材图像20j,很明显,素材图像20j中的对象与图像20b中的对象不一致,素材图像20j包括房屋以及树和小草,对语义分割图像20i进行第二赋值处理,例如对语义分割图像20i中的白色区域赋值为0,黑色区域赋值1,得到第二赋值图像,第二赋值图像用于提取素材图像20j中的背景对象;获取第一赋值图像的第一赋值矩阵,获取图像20b的原始矩阵,根据第一赋值矩阵对原始矩阵进行矩阵调整,得到第一目标矩阵,第一目标矩阵用于表征图像20b中的前景对象;获取第二赋值图像的第二赋值矩阵,获取素材图像20j的素材矩阵,根据第二赋值矩阵对素材矩阵进行矩阵调整,得到第二目标矩阵,第二目标矩阵用于表征素材图像20j中的背景对象;对第一目标矩阵以及第二目标矩阵进行矩阵相加,得到目标图像20k,很显然,目标图像20k包括图像20b中的人像以及素材图像20j中的背景对象。
综合上述,可知为实现快速精准的人像分割,请一并参见图3,图3是本申请实施例提出一种图像处理方法的流程示意图,具体为以下步骤:
步骤1:获取图像,此步骤可以包括获取原始图像,即图2中的图像20a以及素材图像20j。
步骤2:图像预处理,对步骤1中的图像20a进行归一化、滤波等处理,生成输入至图像分割模型20c中的图像20b。
步骤3:图像分割模型20c预测人像前景区域,将步骤2中的图像20b输入至图像分割模型20c中的一般卷积模块,生成至少两个图像特征矩阵20d,此处,是本申请实施例的发明点,本申请提出一种新型卷积模块,即图2中的卷积拼接模块200c,卷积拼接模块200c可以对至少两个中间特征矩阵20e以及由至少两个中间特征矩阵20e生成的至少两个待拼接特征矩阵20f进行特征拼接处理,生成与目标通道数一致的至少两个目标特征矩阵20g,可以在图像分割模型20c中极大地降低参数量,进而可以提高图像分割模型20c的运行速度。
步骤4:预测区域后处理,对图像分割模型20c的预测人像前景区域(即语义分割图像20h)进行滤波,得到边缘平滑的人像分割图像,即图2中的语义分割图像20i。
步骤5:生成目标图像,本申请实施例是以更换图像20b中的背景对象为例进行说明,在实际场景中,步骤4所生成的语义分割图像20i可以重构三维图像、解析图像中的目标对象等。
进一步地,请参见图4,图4是本申请实施例提供的一种图像处理方法的流程示意图。如图4所示,该图像处理过程包括如下步骤:
步骤S101,获取图像,将图像输入图像分割模型,生成图像的至少两个图像特征矩阵;图像分割模型包括卷积拼接模块,卷积拼接模块包括至少两个逐点卷积核和至少两个逐深度卷积核;卷积拼接模块所输出的特征具有目标通道数。
具体的,为实现快速高精度的深度学习语义分割,本申请实施例设计一种新型的卷积层—卷积拼接层,基于卷积拼接层构造了卷积拼接模块,最后基于卷积拼接模块搭建一个参数量少,非线性表达能力的图像分割模型对图像进行分割。
请一并参见图5a,图5a是本申请实施例提供的一种卷积拼接模块的结构示意图。如图5a所示,该卷积拼接模块的结构包括输入层、卷积拼接层、标准化(BatchNorm,BN)层、激活层以及卷积层。使用深度学习在进行图像分类或者对象分割时,首先需要对图像做数据预处理,最常见的对图像预处理方法有两种,正常白化处理又叫图像标准化处理,另外一种方法叫做归一化处理;图像标准化是将数据通过去均值实现中心化的处理,根据凸优化理论与数据概率分布相关知识,数据中心化符合数据分布规律,更容易取得训练之后的泛化效果,使得非线性变换函数的输入值落入对输入比较敏感的区域,以此避免梯度消失问题。
请再参见图5a,由于线性模型的表达能力不够,因此需要使用激活函数(激活层),以加入非线性因素,常用的激活函数有Sigmod函数、Tanh函数、修正线性单元(RectifiedLinear Unit,Relu)函数等,其中,ReLU函数具备以下优势:
(1)、ReLU函数解决了梯度消失的问题,至少输入在正区间内,神经元不会饱和;
(2)、由于ReLU线性、非饱和的形式,在随机梯度下降(stochastic gradientdescent,SGD)中能够快速收敛;
(3)、算法速度要快很多,ReLU函数只有线性关系,不需要指数计算,不管在前向传播还是反向传播,计算速度都比sigmoid函数和tanh函数快。
图5a中的卷积层可以包括池化层,在神经网络中,输入图像通过多个连续的卷积层和池化层进行特征提取,逐步将低层特征变为高层特征,通过连续的卷积操作和池化操作(子采样)可以增加更深层次的网络的感受野,捕获更多上下文信息。
请一并参见图5b,图5b是本申请实施例提供的一种图像分割模型的结构示意图。如图5b所示,该图像分割模型的基本结构包括输入模块、一般的卷积模块(下述称作卷积模块)、本申请提出的卷积拼接模块、转置卷积模块以及输出模块,该结构中以卷积模块1、卷积拼接模块2、卷积拼接模块3以及卷积拼接模块4组成编码器,对图像进行下采样特征提取,得到尺寸较小,语义信息丰富的编码图;然后在利用4个转置卷积(deconvolution)模块(即图5b中的转置卷积模块5、转置卷积模块6、转置卷积模块7以及转置卷积模块8)并使用跳跃连接(skip)组成解码器,对编码器得到的编码图像(特征矩阵)进行上采样,得到与原图(例如图2中图像20b)尺寸大小一致的语义分割图像(如图2中的语义分割图像20h)。其中,转置卷积模块5的输入是卷积拼接模块4的输出,转置卷积模块6的输入是卷积拼接模块3的输出与转置卷积模块5的输出之和,即通过跳跃连接将卷积拼接模块3的输出与转置卷积模块5的输出作为转置卷积模块6的输入,通过跳跃连接将卷积拼接模块2的输出与转置卷积模块6的输出作为转置卷积模块7的输入,通过跳跃连接将卷积模块1的输出与转置卷积模块7的输出作为转置卷积模块8的输入,假设卷积拼接模块3的输出为2*2的矩阵,如{[2,3],[4,5]},转置卷积模块5的输出为2*2的矩阵,如{[1,2],[2,4]},则转置卷积模块6的输入可以为{[3,4],[6,9]},需要说明的是,上述数字只是示例转置卷积模块的输入为一个或两个卷积模块(转置卷积模块以及卷积拼接模块或卷积模块)的输出。
请再参见图2,获取图像20a,将图像20a经过图像预处理后,得到图像20b,将图像20b输入图像分割模型20c中的卷积模块,生成图像20b的至少两个图像特征矩阵20d。图像分割模型20c中包括卷积拼接模块200c,本申请实施例以卷积拼接模块2的输入输出过程为例进行说明,其他卷积拼接模块可以根据卷积拼接模块2的输入输出过程理解,即卷积拼接模块200c为卷积拼接模块2。卷积拼接模块200c中包括卷积拼接层,卷积拼接层包括至少两个逐点卷积核和至少两个逐深度卷积核,卷积拼接模块200c所输出的特征具有目标通道数,假设目标通道数为64,至少两个图像特征矩阵20d的矩阵个数为64。
将至少两个图像特征矩阵20d输入卷积拼接模块200c,请一并参见图5c,图5c是本申请实施例提供的一种卷积拼接模块的网络结构示意图。
步骤S102,通过每个逐点卷积核分别对至少两个图像特征矩阵进行卷积,生成至少两个中间特征矩阵;至少两个逐点卷积核的卷积核个数小于目标通道数。
具体的,通过逐点卷积核Ki中每个逐点卷积通道对每个图像特征矩阵进行卷积,生成至少两个中间特征子矩阵Zi,对至少两个中间特征子矩阵Zi进行融合,得到中间特征矩阵Li,逐点卷积核Ki中的一个逐点卷积通道对应至少两个图像特征矩阵中的一个图像特征矩阵;通过逐点卷积核Ki+1中每个逐点卷积通道对每个图像特征矩阵进行卷积,生成至少两个中间特征子矩阵Zi+1,对至少两个中间特征子矩阵Zi+1进行融合,得到中间特征矩阵Li+1,逐点卷积核Ki+1中的一个逐点卷积通道对应至少两个图像特征矩阵中的一个图像特征矩阵;将中间特征矩阵Li以及中间特征矩阵Li+1确定为至少两个中间特征矩阵。
通过每个逐点卷积核分别对至少两个图像特征矩阵进行卷积,生成至少两个待激活中间特征矩阵;将至少两个待激活中间特征矩阵映射至第一激活函数,生成至少两个中间特征矩阵。
如图5c所示,至少两个图像特征矩阵20d的矩阵个数为64,每个图像特征矩阵的尺寸大小均为H*W,本申请实施例先对64个大小为H*W的图像特征矩阵进行降维,首先使用32个1x1的逐点卷积核,对64个图像特征矩阵(即至少两个图像特征矩阵20d)进行卷积。其中,每个逐点卷积核的深度为64,假设64个图像特征矩阵分别为图像特征矩阵1a、图像特征矩阵2a、…、图像特征矩阵63a、图像特征矩阵64a,32个1x1的逐点卷积核分别为逐点卷积核K1、逐点卷积核K2、…、逐点卷积核K31、逐点卷积核K32,逐点卷积核K1中的逐点卷积通道为逐点卷积核K1-1、逐点卷积核K1-2、…、逐点卷积核K1-63、逐点卷积核K1-64,逐点卷积核K2中的逐点卷积通道为逐点卷积核K2-1、逐点卷积核K2-2、…、逐点卷积核K2-63、逐点卷积核K2-64,…,逐点卷积核K31中的逐点卷积通道为逐点卷积核K31-1、逐点卷积核K31-2、…、逐点卷积核K31-63、逐点卷积核K31-64,逐点卷积核K32中的逐点卷积通道为逐点卷积核K32-1、逐点卷积核K32-2、…、逐点卷积核K32-63、逐点卷积核K32-64。
如图5c所示,将64个大小为H*W的图像特征矩阵分别映射至每个逐点卷积核,具体映射方式为:将图像特征矩阵1a映射至逐点卷积核K1中的逐点卷积通道为逐点卷积核K1-1,生成中间特征子矩阵Z1-1,将图像特征矩阵2a映射至逐点卷积核K1中的逐点卷积通道为逐点卷积核K1-2,生成中间特征子矩阵Z1-2,…,将图像特征矩阵63a映射至逐点卷积核K1中的逐点卷积通道为逐点卷积核K1-63,生成中间特征子矩阵Z1-63,将图像特征矩阵64a映射至逐点卷积核K1中的逐点卷积通道为逐点卷积核K1-64,生成中间特征子矩阵Z1-64,然后将中间特征子矩阵Z1-1、中间特征子矩阵Z1-2、…、中间特征子矩阵Z1-63、中间特征子矩阵Z1-64进行特征融合,得到中间特征矩阵L1;同理,将图像特征矩阵1a映射至逐点卷积核K2中的逐点卷积通道为逐点卷积核K2-1,生成中间特征子矩阵Z2-1,将图像特征矩阵2a映射至逐点卷积核K2中的逐点卷积通道为逐点卷积核K2-2,生成中间特征子矩阵Z2-2,…,将图像特征矩阵63a映射至逐点卷积核K1中的逐点卷积通道为逐点卷积核K2-63,生成中间特征子矩阵Z2-63,将图像特征矩阵64a映射至逐点卷积核K2中的逐点卷积通道为逐点卷积核K2-64,生成中间特征子矩阵Z2-64,然后将中间特征子矩阵Z2-1、中间特征子矩阵Z2-2、…、中间特征子矩阵Z2-63、中间特征子矩阵Z2-64进行特征融合,得到中间特征矩阵L2;64个图像特征矩阵与其余逐点卷积核(包括逐点卷积核K3、逐点卷积核K4、…、逐点卷积核K31、逐点卷积核K32)的映射过程,可以参见上述,此处不再一一赘述。
上述可知,根据32个逐点卷积核,可以生成32个中间特征矩阵,分别为中间特征矩阵L1、中间特征矩阵L2、…、中间特征矩阵L31、中间特征矩阵L32。需要注意的是,图5c中的每个中间特征矩阵的尺寸大小均为H*W,是因为卷积核的大小为1*1,且滑动步长设为1,这一步的参数量为64x32x1x1=2048。
可选的,将上述过程得到的32个中间特征矩阵(分别为中间特征矩阵L1、中间特征矩阵L2、…、中间特征矩阵L31、中间特征矩阵L32)先称作待激活中间特征矩阵,将32个待激活中间特征矩阵映射至第一激活函数,生成32个中间特征矩阵,此过程是为了增强了模型的非线性表达能力。
可选的,使用16个1x1的逐点卷积核,对64个图像特征矩阵进行卷积。其中,每个逐点卷积核的深度仍然为64,假设64个图像特征矩阵分别为图像特征矩阵1a、图像特征矩阵2a、…、图像特征矩阵63a、图像特征矩阵64a,16个1x1的逐点卷积核分别为逐点卷积核K1、逐点卷积核K2、…、逐点卷积核K15、逐点卷积核K16,逐点卷积核K1中的逐点卷积通道为逐点卷积核K1-1、逐点卷积核K1-2、…、逐点卷积核K1-63、逐点卷积核K1-64,逐点卷积核K2中的逐点卷积通道为逐点卷积核K2-1、逐点卷积核K2-2、…、逐点卷积核K2-63、逐点卷积核K2-64,…,逐点卷积核K15中的逐点卷积通道为逐点卷积核K15-1、逐点卷积核K15-2、…、逐点卷积核K15-63、逐点卷积核K15-64,逐点卷积核K16中的逐点卷积通道为逐点卷积核K16-1、逐点卷积核K16-2、…、逐点卷积核K16-63、逐点卷积核K16-64。
将64个大小为H*W的图像特征矩阵分别映射至每个逐点卷积核,具体映射过程可以参见上文,此处不再进行赘述,根据16个逐点卷积核,可以生成16个中间特征矩阵,分别为中间特征矩阵L1、中间特征矩阵L2、…、中间特征矩阵L15、中间特征矩阵L16,这一步的参数量为64x16x1x1=1024。
步骤S103,根据至少两个逐深度卷积核分别对至少两个中间特征矩阵进行卷积,生成至少两个待拼接特征矩阵。
具体的,通过逐深度卷积核Pi对中间特征矩阵Li进行卷积,生成待拼接特征矩阵Ji;通过逐深度卷积核Pi+1对中间特征矩阵Li+1进行卷积,生成待拼接特征矩阵Ji+1;将待拼接特征矩阵Ji以及待拼接特征矩阵Ji+1确定为至少两个待拼接特征矩阵。
根据至少两个逐深度卷积核分别对至少两个中间特征矩阵进行卷积,生成至少两个待激活拼接特征矩阵;将至少两个待激活拼接特征矩阵映射至第二激活函数,生成至少两个待拼接特征矩阵。
请再参见图5c,至少两个中间特征矩阵的矩阵个数为32,每个中间特征矩阵的尺寸大小均为H*W,如图5c所示,使用32个3x3的逐深度卷积核,对32个大小为H*W的中间特征矩阵进行逐深度卷积。假设32个中间像特征矩阵分别为中间特征矩阵L1、中间特征矩阵L2、…、中间特征矩阵L31、中间特征矩阵L32,32个3*3的逐深度卷积核分别为逐深度卷积核P1、逐深度卷积核P2、…、逐深度卷积核P31、逐深度卷积核P32。
如图5c所示,将32个大小为H*W的中间特征矩阵一对一的映射至每个逐深度卷积核,具体映射方式为:将中间特征矩阵L1映射至逐深度卷积核P1,生成待拼接特征矩阵J1,将中间特征矩阵L2映射至逐深度卷积核P2,生成待拼接特征矩阵J2,…,将中间特征矩阵L31映射至逐深度卷积核P31,生成待拼接特征矩阵J31,将中间特征矩阵L32映射至逐深度卷积核P32,生成待拼接特征矩阵J32。需要注意的是,图5c中的每个待拼接特征矩阵的尺寸大小均为H*W,是因为滑动步长设为1,且可以对32个中间特征矩阵进行填充,如填充大小为1,则可以保证输入输出的特征矩阵大小一致,若不进行填充,则生成的32个待拼接特征矩阵的尺寸大小将小于中间特征矩阵的尺寸大小,后续特征拼接处理所生成的目标特征矩阵也需要进行尺寸大小修改,以保障目标特征矩阵的尺寸大小一致,上述过程的参数量为32x3x3=288。
可选的,将上述过程得到的32个待拼接特征矩阵(分别为待拼接特征矩阵J1、待拼接特征矩阵J2、…、待拼接特征矩阵J31、待拼接特征矩阵J32)先称作待激活拼接特征矩阵,将32个待激活拼接特征矩阵映射至第二激活函数,生成32个待拼接特征矩阵,此过程是为了增强了模型的非线性表达能力。
需要了解的是,不论是步骤S102中的第一激活函数还是步骤S103中的第二激活函数,均可以为常用激活函数。
可选的,根据至少两个第一逐深度卷积核分别对至少两个中间特征矩阵进行卷积,生成至少两个第一待拼接特征矩阵。
若步骤S102使用16个1x1的逐点卷积核,对64个图像特征矩阵进行卷积,则生成16个中间特征矩阵,分别为中间特征矩阵L1、中间特征矩阵L2、…、中间特征矩阵L15、中间特征矩阵L16,这一步的参数量为64x16x1x1=1024。此时,本过程使用16个3x3的逐深度卷积核,对16个大小为H*W的中间特征矩阵进行逐深度卷积。假设16个中间像特征矩阵分别为中间特征矩阵L1、中间特征矩阵L2、…、中间特征矩阵L15、中间特征矩阵L16,16个3*3的逐深度卷积核分别为逐深度卷积核P1、逐深度卷积核P2、…、逐深度卷积核P15、逐深度卷积核P16;将15个大小为H*W的中间特征矩阵一对一的映射至每个逐深度卷积核,具体映射方式可以参照上述,此处不再进行赘述,生成待拼接特征矩阵J1、生成待拼接特征矩阵J2、…、生成待拼接特征矩阵J15、生成待拼接特征矩阵J16,此时参数量为16x3x3=144。
步骤S104,对至少两个中间特征矩阵以及至少两个待拼接特征矩阵进行特征拼接处理,得到至少两个目标特征矩阵,根据至少两个目标特征矩阵对图像进行图像识别处理;至少两个目标特征矩阵的矩阵个数等于目标通道数。
具体的,将至少两个目标特征矩阵输入转置卷积模块,通过转置卷积模块对至少两个目标特征矩阵进行反卷积处理,得到特征分割矩阵;将特征分割矩阵确定为图像的语义分割图像,根据语义分割图像对图像进行图像识别处理。
卷积拼接模块的输出目标通道数为64,而步骤S103所得到的特征矩阵是32个待拼接特征矩阵,因此在将32个待拼接特征矩阵输出前,先将32个待拼接特征矩阵与32个中间特征矩阵进行特征拼接,由步骤S102可知,32个中间特征矩阵分别为中间特征矩阵L1、中间特征矩阵L2、…、中间特征矩阵L31、中间特征矩阵L32,由步骤S103可知,32个待拼接特征矩阵分别为待拼接特征矩阵J1、待拼接特征矩阵J2、…、待拼接特征矩阵J31、待拼接特征矩阵J32,此处不限定拼接特征矩阵的矩阵顺序,可以将32个待拼接特征矩阵排序在32个中间特征矩阵的前面,即待拼接特征矩阵J1、待拼接特征矩阵J2、…、待拼接特征矩阵J31、待拼接特征矩阵J32、中间特征矩阵L1、中间特征矩阵L2、…、中间特征矩阵L31、中间特征矩阵L32,可以将32个中间特征矩阵排序在32个待拼接特征矩阵的前面,即中间特征矩阵L1、中间特征矩阵L2、…、中间特征矩阵L31、中间特征矩阵L32、待拼接特征矩阵J1、待拼接特征矩阵J2、…、待拼接特征矩阵J31、待拼接特征矩阵J32,还可以交叉排序,例如中间特征矩阵L1、待拼接特征矩阵J1、中间特征矩阵L2、待拼接特征矩阵J2、…、中间特征矩阵L31、待拼接特征矩阵J31、中间特征矩阵L32、待拼接特征矩阵J32,还可以随机排序生成64个目标特征矩阵。
将64个目标特征矩阵输入转置卷积模块,转置卷积模块是卷积模块以及卷积拼接模块的逆向操作,特征图或特征矩阵的尺寸由小变大,通过转置卷积模块对64个目标特征矩阵进行反卷积处理,得到特征分割矩阵;将特征分割矩阵确定为图像的语义分割图像。
可选的,若步骤S102使用16个1x1的逐点卷积核,对64个图像特征矩阵进行卷积,则生成16个中间特征矩阵,分别为中间特征矩阵L1、中间特征矩阵L2、…、中间特征矩阵L15、中间特征矩阵L16,则步骤S103使用16个3x3的逐深度卷积核,对16个大小为H*W的中间特征矩阵进行逐深度卷积,生成16个第一待拼接特征矩阵,对16个中间特征矩阵以及16个第一待拼接特征矩阵进行特征拼接处理,得到32个待确定特征矩阵;由于卷积拼接模块的输出目标通道数为64,因此需要参见步骤S103的过程,使用32个第二逐深度卷积核(尺寸大小为3*3)分别对32个待确定特征矩阵进行卷积,生成32个第二待拼接特征矩阵,对32个待确定特征矩阵以及32个第二待拼接特征矩阵进行特征拼接处理,得到64个目标特征矩阵。本申请实施例是以32个逐点卷积核(逐点卷积核的个数可以为输入通道数的1/2)以及32个逐深度卷积核,或者16个逐点卷积核(逐点卷积核的个数可以为输入通道数的1/4)、16个第一逐深度卷积核以及32个第二逐深度卷积核为例进行特征矩阵拼接过程,在实际应用时,逐点卷积核的个数可以为输入通道数的1/2、1/4,1/8等。
可选的,对语义分割图像进行第一赋值处理,得到第一赋值图像,第一赋值图像用于提取图像中的前景对象;获取素材图像,对语义分割图像进行第二赋值处理,得到第二赋值图像,第二赋值图像用于提取素材图像中的背景对象;获取第一赋值图像的第一赋值矩阵,获取图像的原始矩阵,根据第一赋值矩阵对原始矩阵进行矩阵调整,得到第一目标矩阵,第一目标矩阵用于表征图像中的前景对象;获取第二赋值图像的第二赋值矩阵,获取素材图像的素材矩阵,根据第二赋值矩阵对素材矩阵进行矩阵调整,得到第二目标矩阵,第二目标矩阵用于表征素材图像中的背景对象;对第一目标矩阵以及第二目标矩阵进行矩阵相加,得到目标图像。
请一并参见图6,图6是本申请实施例提供的一种图像处理的场景示意图。如图6所示,获取语义分割图像20i的原始语义矩阵30a,由于要提取图像20b中的前景对象,即人像对象,所以要保留语义分割图像20i中人像对象对应的像素点,根据先验知识以及原始语义矩阵30a的矩阵数值发布,可以对原始语义矩阵30a中小于30的数值均赋值为0,对大于或等于30的数值均赋值为1,则得到第一赋值矩阵30b。同理,由于要提取素材图像20j中的背景对象,所以要保留语义分割图像20i中背景对象对应的像素点,根据先验知识以及原始语义矩阵30a的矩阵数值发布,可以对原始语义矩阵30a中小于30的数值均赋值为1,对大于或等于30的数值均赋值为0,则得到第二赋值矩阵30c,明显地,第二赋值矩阵30c中的数值与第一赋值矩阵30b中的数值相反。
获取图像20b的原始矩阵30d,根据第一赋值矩阵30b对原始矩阵30d进行矩阵调整,即两个矩阵相同位置上的数值相乘,得到第一目标矩阵30e,第一目标矩阵30e中只保留了图像20b中的前景对象;获取素材图像20j的素材矩阵30f,根据第二赋值矩阵30c对素材矩阵30f进行矩阵调整,即两个矩阵相同位置上的数值相乘,得到第二目标矩阵30g,第二目标矩阵30g中只保留了素材图像20j中的背景对象;如图6所示,对第一目标矩阵30e以及第二目标矩阵30g进行矩阵相加,即两个矩阵相同位置上的数值进行相加,得到目标矩阵30h,明显地,目标矩阵30h包含了图像20b中的前景对象以及素材图像20j中的背景对象,最后通过目标矩阵30h得到目标图像20k。
本申请实施例通过获取图像,将图像输入图像分割模型,图像分割模型包括卷积模块以及卷积拼接模块,首先通过卷积模块得到图像的至少两个图像特征矩阵;上述的卷积拼接模块包括至少两个逐点卷积核和至少两个逐深度卷积核,卷积拼接模块所输出的特征具有目标通道数;然后通过每个逐点卷积核分别对至少两个图像特征矩阵进行卷积,即将至少两个图像特征矩阵分别映射至每个逐点卷积核,生成至少两个中间特征矩阵,显而易见,至少两个中间特征矩阵的矩阵个数与至少两个逐点卷积核的卷积核个数相同;至少两个逐点卷积核的卷积核个数小于目标通道数,所以至少两个中间特征矩阵的矩阵个数小于目标通道数;然后根据至少两个逐深度卷积核分别对至少两个中间特征矩阵进行卷积,生成至少两个待拼接特征矩阵。本申请对至少两个中间特征矩阵以及至少两个待拼接特征矩阵进行特征拼接处理,得到至少两个目标特征矩阵,此时,至少两个目标特征矩阵的矩阵个数等于目标通道数,最后根据至少两个目标特征矩阵对图像进行图像识别处理。上述可知,本申请实施例通过对至少两个中间特征矩阵以及至少两个待拼接特征矩阵进行特征拼接处理,可以在卷积拼接模块中极大地降低参数量,进而可以提高图像分割模型的运行速度。
进一步地,请参见图7,图7是本申请实施例提供的一种图像处理方法的流程示意图。如图7所示,该图像处理过程包括如下步骤:
步骤S201,获取训练样本集;训练样本集包括样本图像以及与标签图像,标签图像用于表征样本图像中每个像素点所属的对象类别标签。
具体的,图4对应的实施例中,主要是针对人像图像的语义分割,在实际应用时,只需替换训练样本集,即可实现其他物体的分割,比如动物、车辆、天空等。
步骤S202,将训练样本集输入样本图像分割模型,生成样本图像的样本图像特征矩阵;样本图像分割模型包括样本卷积拼接模块;样本图像分割模型包括至少两个对象类别标签。
具体的,为了样本图像分割模型的训练效果好,可以先对训练样本集中的样本图像进行预处理,图像预处理的方法包括但不限于图像归一化处理、最近邻插值、双线性插值、双三次插值以及对样本图像进行滤波,例如均值滤波、高斯高/低通滤波、中值滤波。
将预处理之后的样本图像以及标签图像输入样本图像分割模型,生成样本图像的样本图像特征矩阵的具体过程请参见图4对应的实施例中的步骤S101,此处不再进行赘述。
步骤S203,通过样本卷积拼接模块,提取样本图像特征矩阵中与每个类别标签相关联的预测图像特征矩阵。
具体过程请参见图4对应的实施例中的步骤S102-步骤S104,此处不再进行赘述。
步骤S204,根据预测图像特征矩阵以及标签图像,对样本图像分割模型进行调整,得到包含卷积拼接模块的图像分割模型。
具体的,生成标签图像的标签图像特征矩阵,根据标签图像特征矩阵以及预测图像特征矩阵生成模型损失值;根据模型损失值调整样本图像分割模型中参数的权值,当模型损失值满足收敛条件时,将调整后的包含卷积拼接模块的图像分割模型确定为图像分割模型。
可以理解的是,样本图像分割模型初期提取的图像特征不完整,因此预测图像特征矩阵与标签图像对应的标签图像特征矩阵存在误差,所以样本图像分割模型存在较大的模型损失值,需要不断地调整样本图像分割模型中参数的权值,直至模型损失值收敛,将调整后的包含卷积拼接模块的图像分割模型确定为图像分割模型。
可选的,设置训练迭代次数,例如,设置训练次数为100,则当训练到100轮次的时候,不再考虑模型损失值,确定图像分割模型。
本申请实施例通过获取图像,将图像输入图像分割模型,图像分割模型包括卷积模块以及卷积拼接模块,首先通过卷积模块得到图像的至少两个图像特征矩阵;上述的卷积拼接模块包括至少两个逐点卷积核和至少两个逐深度卷积核,卷积拼接模块所输出的特征具有目标通道数;然后通过每个逐点卷积核分别对至少两个图像特征矩阵进行卷积,即将至少两个图像特征矩阵分别映射至每个逐点卷积核,生成至少两个中间特征矩阵,显而易见,至少两个中间特征矩阵的矩阵个数与至少两个逐点卷积核的卷积核个数相同;至少两个逐点卷积核的卷积核个数小于目标通道数,所以至少两个中间特征矩阵的矩阵个数小于目标通道数;然后根据至少两个逐深度卷积核分别对至少两个中间特征矩阵进行卷积,生成至少两个待拼接特征矩阵。本申请对至少两个中间特征矩阵以及至少两个待拼接特征矩阵进行特征拼接处理,得到至少两个目标特征矩阵,此时,至少两个目标特征矩阵的矩阵个数等于目标通道数,最后根据至少两个目标特征矩阵对图像进行图像识别处理。上述可知,本申请实施例通过对至少两个中间特征矩阵以及至少两个待拼接特征矩阵进行特征拼接处理,可以在卷积拼接模块中极大地降低参数量,进而可以提高图像分割模型的运行速度。
进一步地,请参见图8,图8是本申请实施例提供的一种图像处理装置的结构示意图。上述图像处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该图像处理装置为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图8所示,该图像处理装置1可以包括:第一获取模块11、第一生成模块12以及拼接特征模块13。
第一获取模块11,用于获取图像,将图像输入图像分割模型,生成图像的至少两个图像特征矩阵;图像分割模型包括卷积拼接模块,卷积拼接模块包括至少两个逐点卷积核和至少两个逐深度卷积核;卷积拼接模块所输出的特征具有目标通道数;
第一生成模块12,用于通过每个逐点卷积核分别对至少两个图像特征矩阵进行卷积,生成至少两个中间特征矩阵;至少两个逐点卷积核的卷积核个数小于目标通道数;
第一生成模块12,还用于根据至少两个逐深度卷积核分别对至少两个中间特征矩阵进行卷积,生成至少两个待拼接特征矩阵;
拼接特征模块13,用于对至少两个中间特征矩阵以及至少两个待拼接特征矩阵进行特征拼接处理,得到至少两个目标特征矩阵,根据至少两个目标特征矩阵对图像进行图像识别处理;至少两个目标特征矩阵的矩阵个数等于目标通道数。
其中,第一获取模块11、第一生成模块12以及拼接特征模块13的具体功能实现方式可以参见上述图4对应实施例中的步骤S101-步骤S104,这里不再进行赘述。
再请参见图8,拼接特征模块13可以包括:第一处理单元131以及第二处理单元132。
第一处理单元131,用于将至少两个目标特征矩阵输入转置卷积模块,通过转置卷积模块对至少两个目标特征矩阵进行反卷积处理,得到特征分割矩阵;
第二处理单元132,用于将特征分割矩阵确定为图像的语义分割图像,根据语义分割图像对图像进行图像识别处理。
其中,第一处理单元131以及第二处理单元132的具体功能实现方式可以参见上述图4对应实施例中的步骤S104,这里不再进行赘述。
再请参见图8,第二处理单元132可以包括:第一赋值子单元1321、第二赋值子单元1322以及生成目标子单元1323。
第一赋值子单元1321,用于对语义分割图像进行第一赋值处理,得到第一赋值图像;第一赋值图像用于提取图像中的前景对象;
第二赋值子单元1322,用于获取素材图像,对语义分割图像进行第二赋值处理,得到第二赋值图像;第二赋值图像用于提取素材图像中的背景对象;
生成目标子单元1323,用于根据素材图像、图像、第一赋值图像以及第二赋值图像生成目标图像;目标图像包括前景对象和背景对象。
其中,第一赋值子单元1321、第二赋值子单元1322以及生成目标子单元1323的具体功能实现方式可以参见上述图4对应实施例中的步骤S104,这里不再进行赘述。
再请参见图8,生成目标子单元1323,具体可以用于获取第一赋值图像的第一赋值矩阵,获取图像的原始矩阵,根据第一赋值矩阵对原始矩阵进行矩阵调整,得到第一目标矩阵;第一目标矩阵用于表征图像中的前景对象;
生成目标子单元,还具体可以用于获取第二赋值图像的第二赋值矩阵,获取素材图像的素材矩阵,根据第二赋值矩阵对素材矩阵进行矩阵调整,得到第二目标矩阵;第二目标矩阵用于表征素材图像中的背景对象;
生成目标子单元,还具体可以用于对第一目标矩阵以及第二目标矩阵进行矩阵相加,得到目标图像。
其中,生成目标子单元1323的具体功能实现方式可以参见上述图4对应实施例中的步骤S104,这里不再进行赘述。
再请参见图8,第一生成模块12具体可以用于根据至少两个第一逐深度卷积核分别对至少两个中间特征矩阵进行卷积,生成至少两个第一待拼接特征矩阵;
拼接特征模块13可以包括:第三处理单元133、第一生成单元134以及第四处理单元135。
第三处理单元133,用于对至少两个中间特征矩阵以及至少两个第一待拼接特征矩阵进行特征拼接处理,得到至少两个待确定特征矩阵;
第一生成单元134,用于根据至少两个第二逐深度卷积核分别对至少两个待确定特征矩阵进行卷积,生成至少两个第二待拼接特征矩阵;
第四处理单元135,用于对至少两个待确定特征矩阵以及至少两个第二待拼接特征矩阵进行特征拼接处理,得到至少两个目标特征矩阵。
其中,第三处理单元133、第一生成单元134以及第四处理单元135的具体功能实现方式可以参见上述图4对应实施例中的步骤S103-步骤S104,这里不再进行赘述。
再请参见图8,第一生成模块12可以包括:第二生成单元121以及第一确定单元122。
第二生成单元121,用于通过逐点卷积核Ki中每个逐点卷积通道对每个图像特征矩阵进行卷积,生成至少两个中间特征子矩阵Zi,对至少两个中间特征子矩阵Zi进行融合,得到中间特征矩阵Li;逐点卷积核Ki中的一个逐点卷积通道对应至少两个图像特征矩阵中的一个图像特征矩阵;
第二生成单元121,还用于通过逐点卷积核Ki+1中每个逐点卷积通道对每个图像特征矩阵进行卷积,生成至少两个中间特征子矩阵Zi+1,对至少两个中间特征子矩阵Zi+1进行融合,得到中间特征矩阵Li+1;逐点卷积核Ki+1中的一个逐点卷积通道对应至少两个图像特征矩阵中的一个图像特征矩阵;
第一确定单元122,用于将中间特征矩阵Li以及中间特征矩阵Li+1确定为至少两个中间特征矩阵。
其中,第二生成单元121以及第一确定单元122的具体功能实现方式可以参见上述图4对应实施例中的步骤S102,这里不再进行赘述。
再请参见图8,第一生成模块12可以包括:第三生成单元123以及第二确定单元124。
第三生成单元123,用于通过逐深度卷积核Pi对中间特征矩阵Li进行卷积,生成待拼接特征矩阵Ji;
第三生成单元123,还用于通过逐深度卷积核Pi+1对中间特征矩阵Li+1进行卷积,生成待拼接特征矩阵Ji+1;
第二确定单元124,用于将待拼接特征矩阵Ji以及待拼接特征矩阵Ji+1确定为至少两个待拼接特征矩阵。
其中,第三生成单元123以及第二确定单元124的具体功能实现方式可以参见上述图4对应实施例中的步骤S103,这里不再进行赘述。
再请参见图8,第一生成模块12可以包括:第四生成单元125。
第四生成单元125,用于通过每个逐点卷积核分别对至少两个图像特征矩阵进行卷积,生成至少两个待激活中间特征矩阵;
第四生成单元125,还用于将至少两个待激活中间特征矩阵映射至第一激活函数,生成至少两个中间特征矩阵。
其中,第四生成单元125的具体功能实现方式可以参见上述图4对应实施例中的步骤S102,这里不再进行赘述。
再请参见图8,第一生成模块12可以包括:第五生成单元126。
第五生成单元126,用于根据至少两个逐深度卷积核分别对至少两个中间特征矩阵进行卷积,生成至少两个待激活拼接特征矩阵;
第五生成单元126,还用于将至少两个待激活拼接特征矩阵映射至第二激活函数,生成至少两个待拼接特征矩阵。
其中,第五生成单元126的具体功能实现方式可以参见上述图4对应实施例中的步骤S103,这里不再进行赘述。
再请参见图8,图像处理装置1还可以包括:第二获取模块14、第二生成模块15、提取特征模块16以及调整模型模块17。
第二获取模块14,用于获取训练样本集;训练样本集包括样本图像以及与标签图像,标签图像用于表征样本图像中每个像素点所属的对象类别标签;
第二生成模块15,用于将训练样本集输入样本图像分割模型,生成样本图像的样本图像特征矩阵;样本图像分割模型包括样本卷积拼接模块;样本图像分割模型包括至少两个对象类别标签;
提取特征模块16,用于通过样本卷积拼接模块,提取样本图像特征矩阵中与每个类别标签相关联的预测图像特征矩阵;
调整模型模块17,用于根据预测图像特征矩阵以及标签图像,对样本图像分割模型进行调整,得到包含卷积拼接模块的图像分割模型。
其中,第二获取模块14、第二生成模块15、提取特征模块16以及调整模型模块17的具体功能实现方式可以参见上述图7对应实施例中的步骤S201-步骤S204,这里不再进行赘述。
再请参见图8,调整模型模块17可以包括:第六生成单元171以及第三确定单元172。
第六生成单元171,用于生成标签图像的标签图像特征矩阵,根据标签图像特征矩阵以及预测图像特征矩阵生成模型损失值;
第三确定单元172,用于根据模型损失值调整样本图像分割模型中参数的权值,当模型损失值满足收敛条件时,将调整后的包含卷积拼接模块的图像分割模型确定为图像分割模型。
其中,第六生成单元171以及第三确定单元172的具体功能实现方式可以参见上述图7对应实施例中的步骤S204,这里不再进行赘述。
本申请实施例通过获取图像,将图像输入图像分割模型,图像分割模型包括卷积模块以及卷积拼接模块,首先通过卷积模块得到图像的至少两个图像特征矩阵;上述的卷积拼接模块包括至少两个逐点卷积核和至少两个逐深度卷积核,卷积拼接模块所输出的特征具有目标通道数;然后通过每个逐点卷积核分别对至少两个图像特征矩阵进行卷积,即将至少两个图像特征矩阵分别映射至每个逐点卷积核,生成至少两个中间特征矩阵,显而易见,至少两个中间特征矩阵的矩阵个数与至少两个逐点卷积核的卷积核个数相同;至少两个逐点卷积核的卷积核个数小于目标通道数,所以至少两个中间特征矩阵的矩阵个数小于目标通道数;然后根据至少两个逐深度卷积核分别对至少两个中间特征矩阵进行卷积,生成至少两个待拼接特征矩阵。本申请对至少两个中间特征矩阵以及至少两个待拼接特征矩阵进行特征拼接处理,得到至少两个目标特征矩阵,此时,至少两个目标特征矩阵的矩阵个数等于目标通道数,最后根据至少两个目标特征矩阵对图像进行图像识别处理。上述可知,本申请实施例通过对至少两个中间特征矩阵以及至少两个待拼接特征矩阵进行特征拼接处理,可以在卷积拼接模块中极大地降低参数量,进而可以提高图像分割模型的运行速度。
进一步地,请参见图9,图9是本申请实施例提供的一种计算机设备的结构示意图。如图9所示,上述计算机设备1000可以包括:处理器1001,网络接口1004和存储器1005,此外,上述计算机设备1000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非易失性的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图9所示,作为一种计算机可读存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及设备控制应用程序。
在图9所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现:
获取图像,将图像输入图像分割模型,生成图像的至少两个图像特征矩阵;图像分割模型包括卷积拼接模块,卷积拼接模块包括至少两个逐点卷积核和至少两个逐深度卷积核;卷积拼接模块所输出的特征具有目标通道数;
通过每个逐点卷积核分别对至少两个图像特征矩阵进行卷积,生成至少两个中间特征矩阵;至少两个逐点卷积核的卷积核个数小于目标通道数;
根据至少两个逐深度卷积核分别对至少两个中间特征矩阵进行卷积,生成至少两个待拼接特征矩阵;
对至少两个中间特征矩阵以及至少两个待拼接特征矩阵进行特征拼接处理,得到至少两个目标特征矩阵,根据至少两个目标特征矩阵对图像进行图像识别处理;至少两个目标特征矩阵的矩阵个数等于目标通道数。
在一个实施例中,图像分割模型包括转置卷积模块;
上述处理器1001在执行根据至少两个目标特征矩阵对图像进行图像识别处理时,具体执行以下步骤:
将至少两个目标特征矩阵输入转置卷积模块,通过转置卷积模块对至少两个目标特征矩阵进行反卷积处理,得到特征分割矩阵;
将特征分割矩阵确定为图像的语义分割图像,根据语义分割图像对图像进行图像识别处理。
在一个实施例中,上述处理器1001在执行根据语义分割图像对图像进行图像识别处理时,具体执行以下步骤:
对语义分割图像进行第一赋值处理,得到第一赋值图像;第一赋值图像用于提取图像中的前景对象;
获取素材图像,对语义分割图像进行第二赋值处理,得到第二赋值图像;第二赋值图像用于提取素材图像中的背景对象;
根据素材图像、图像、第一赋值图像以及第二赋值图像生成目标图像;目标图像包括前景对象和背景对象。
在一个实施例中,上述处理器1001在执行根据素材图像、图像、第一赋值图像以及第二赋值图像生成目标图像时,具体执行以下步骤:
获取第一赋值图像的第一赋值矩阵,获取图像的原始矩阵,根据第一赋值矩阵对原始矩阵进行矩阵调整,得到第一目标矩阵;第一目标矩阵用于表征图像中的前景对象;
获取第二赋值图像的第二赋值矩阵,获取素材图像的素材矩阵,根据第二赋值矩阵对素材矩阵进行矩阵调整,得到第二目标矩阵;第二目标矩阵用于表征素材图像中的背景对象;
对第一目标矩阵以及第二目标矩阵进行矩阵相加,得到目标图像。
在一个实施例中,至少两个逐深度卷积核包括至少两个第一逐深度卷积核以及至少两个第二逐深度卷积核;
上述处理器1001在执行根据至少两个逐深度卷积核分别对至少两个中间特征矩阵进行卷积,生成至少两个待拼接特征矩阵时,具体执行以下步骤:
根据至少两个第一逐深度卷积核分别对至少两个中间特征矩阵进行卷积,生成至少两个第一待拼接特征矩阵;
则对至少两个中间特征矩阵以及至少两个待拼接特征矩阵进行特征拼接处理,得到至少两个目标特征矩阵,包括:
对至少两个中间特征矩阵以及至少两个第一待拼接特征矩阵进行特征拼接处理,得到至少两个待确定特征矩阵;
根据至少两个第二逐深度卷积核分别对至少两个待确定特征矩阵进行卷积,生成至少两个第二待拼接特征矩阵;
对至少两个待确定特征矩阵以及至少两个第二待拼接特征矩阵进行特征拼接处理,得到至少两个目标特征矩阵。
在一个实施例中,至少两个逐点卷积核包括逐点卷积核Ki以及逐点卷积核Ki+1,i为正整数;每个逐点卷积核包括至少两个逐点卷积通道,且至少两个逐点卷积通道的通道数等于至少两个图像特征矩阵的矩阵个数;
上述处理器1001在执行通过每个逐点卷积核分别对至少两个图像特征矩阵进行卷积,生成至少两个中间特征矩阵时,具体执行以下步骤:
通过逐点卷积核Ki中每个逐点卷积通道对每个图像特征矩阵进行卷积,生成至少两个中间特征子矩阵Zi,对至少两个中间特征子矩阵Zi进行融合,得到中间特征矩阵Li;逐点卷积核Ki中的一个逐点卷积通道对应至少两个图像特征矩阵中的一个图像特征矩阵;
通过逐点卷积核Ki+1中每个逐点卷积通道对每个图像特征矩阵进行卷积,生成至少两个中间特征子矩阵Zi+1,对至少两个中间特征子矩阵Zi+1进行融合,得到中间特征矩阵Li+1;逐点卷积核Ki+1中的一个逐点卷积通道对应至少两个图像特征矩阵中的一个图像特征矩阵;
将中间特征矩阵Li以及中间特征矩阵Li+1确定为至少两个中间特征矩阵。
在一个实施例中,至少两个逐深度卷积核包括逐深度卷积核Pi以及逐深度卷积核Pi+1,i为正整数,至少两个逐深度卷积核的卷积核个数等于至少两个中间特征矩阵的矩阵个数;
上述处理器1001在执行根据至少两个逐深度卷积核分别对至少两个中间特征矩阵进行卷积,生成至少两个待拼接特征矩阵时,具体执行以下步骤:
通过逐深度卷积核Pi对中间特征矩阵Li进行卷积,生成待拼接特征矩阵Ji;
通过逐深度卷积核Pi+1对中间特征矩阵Li+1进行卷积,生成待拼接特征矩阵Ji+1;
将待拼接特征矩阵Ji以及待拼接特征矩阵Ji+1确定为至少两个待拼接特征矩阵。
在一个实施例中,上述处理器1001在执行通过每个逐点卷积核分别对至少两个图像特征矩阵进行卷积,生成至少两个中间特征矩阵时,具体执行以下步骤:
通过每个逐点卷积核分别对至少两个图像特征矩阵进行卷积,生成至少两个待激活中间特征矩阵;
将至少两个待激活中间特征矩阵映射至第一激活函数,生成至少两个中间特征矩阵。
在一个实施例中,上述处理器1001在执行根据至少两个逐深度卷积核分别对至少两个中间特征矩阵进行卷积,生成至少两个待拼接特征矩阵时,具体执行以下步骤:
根据至少两个逐深度卷积核分别对至少两个中间特征矩阵进行卷积,生成至少两个待激活拼接特征矩阵;
将至少两个待激活拼接特征矩阵映射至第二激活函数,生成至少两个待拼接特征矩阵。
在一个实施例中,上述处理器1001具体还执行以下步骤:
获取训练样本集,训练样本集包括样本图像以及与标签图像;标签图像用于表征样本图像中每个像素点所属的对象类别标签;
将训练样本集输入样本图像分割模型,生成样本图像的样本图像特征矩阵;样本图像分割模型包括样本卷积拼接模块;样本图像分割模型包括至少两个对象类别标签;
通过样本卷积拼接模块,提取样本图像特征矩阵中与每个类别标签相关联的预测图像特征矩阵;
根据预测图像特征矩阵以及标签图像,对样本图像分割模型进行调整,得到包含卷积拼接模块的图像分割模型。
在一个实施例中,上述处理器1001在执行根据预测图像特征矩阵以及标签图像,对样本图像分割模型进行调整,得到包含卷积拼接模块的图像分割模型时,具体执行以下步骤:
生成标签图像的标签图像特征矩阵,根据标签图像特征矩阵以及预测图像特征矩阵生成模型损失值;
根据模型损失值调整样本图像分割模型中参数的权值,当模型损失值满足收敛条件时,将调整后的包含卷积拼接模块的图像分割模型确定为图像分割模型。
本申请实施例通过获取图像,将图像输入图像分割模型,图像分割模型包括卷积模块以及卷积拼接模块,首先通过卷积模块得到图像的至少两个图像特征矩阵;上述的卷积拼接模块包括至少两个逐点卷积核和至少两个逐深度卷积核,卷积拼接模块所输出的特征具有目标通道数;然后通过每个逐点卷积核分别对至少两个图像特征矩阵进行卷积,即将至少两个图像特征矩阵分别映射至每个逐点卷积核,生成至少两个中间特征矩阵,显而易见,至少两个中间特征矩阵的矩阵个数与至少两个逐点卷积核的卷积核个数相同;至少两个逐点卷积核的卷积核个数小于目标通道数,所以至少两个中间特征矩阵的矩阵个数小于目标通道数;然后根据至少两个逐深度卷积核分别对至少两个中间特征矩阵进行卷积,生成至少两个待拼接特征矩阵。本申请对至少两个中间特征矩阵以及至少两个待拼接特征矩阵进行特征拼接处理,得到至少两个目标特征矩阵,此时,至少两个目标特征矩阵的矩阵个数等于目标通道数,最后根据至少两个目标特征矩阵对图像进行图像识别处理。上述可知,本申请实施例通过对至少两个中间特征矩阵以及至少两个待拼接特征矩阵进行特征拼接处理,可以在卷积拼接模块中极大地降低参数量,进而可以提高图像分割模型的运行速度。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序包括程序指令,该程序指令被处理器执行时实现图4和图7中各个步骤所提供的图像处理方法,具体可参见上述图4和图7各个步骤所提供的实现方式,在此不再赘述。
上述计算机可读存储介质可以是前述任一实施例提供的图像处理装置或者上述计算机设备的内部存储单元,例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(smart media card,SMC),安全数字(secure digital,SD)卡,闪存卡(flash card)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的,具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (11)
1.一种图像处理方法,其特征在于,包括:
获取图像,将所述图像输入图像分割模型,生成所述图像的至少两个图像特征矩阵;所述图像分割模型包括卷积拼接模块,所述卷积拼接模块包括至少两个逐点卷积核和至少两个逐深度卷积核;所述卷积拼接模块所输出的特征具有目标通道数;所述至少两个逐深度卷积核包括至少两个第一逐深度卷积核以及至少两个第二逐深度卷积核;
通过每个逐点卷积核分别对所述至少两个图像特征矩阵进行卷积,生成至少两个中间特征矩阵;所述至少两个逐点卷积核的卷积核个数小于所述目标通道数;
根据所述至少两个第一逐深度卷积核分别对所述至少两个中间特征矩阵进行卷积,生成至少两个第一待拼接特征矩阵;
对所述至少两个中间特征矩阵以及所述至少两个第一待拼接特征矩阵进行特征拼接处理,得到至少两个待确定特征矩阵;
根据所述至少两个第二逐深度卷积核分别对所述至少两个待确定特征矩阵进行卷积,生成至少两个第二待拼接特征矩阵;
对所述至少两个待确定特征矩阵以及所述至少两个第二待拼接特征矩阵进行特征拼接处理,得到至少两个目标特征矩阵,根据所述至少两个目标特征矩阵对所述图像进行图像识别处理;所述至少两个目标特征矩阵的矩阵个数等于所述目标通道数。
2.根据权利要求1所述的方法,其特征在于,所述图像分割模型包括转置卷积模块;
所述根据所述至少两个目标特征矩阵对所述图像进行图像识别处理,包括:
将所述至少两个目标特征矩阵输入所述转置卷积模块,通过所述转置卷积模块对所述至少两个目标特征矩阵进行反卷积处理,得到特征分割矩阵;
将所述特征分割矩阵确定为所述图像的语义分割图像,根据所述语义分割图像对所述图像进行图像识别处理。
3.根据权利要求2所述的方法,其特征在于,所述根据所述语义分割图像对所述图像进行图像识别处理,包括:
对所述语义分割图像进行第一赋值处理,得到第一赋值图像;所述第一赋值图像用于提取所述图像中的前景对象;
获取素材图像,对所述语义分割图像进行第二赋值处理,得到第二赋值图像;所述第二赋值图像用于提取所述素材图像中的背景对象;
获取所述第一赋值图像的第一赋值矩阵,获取所述图像的原始矩阵,根据所述第一赋值矩阵对所述原始矩阵进行矩阵调整,得到第一目标矩阵;所述第一目标矩阵用于表征所述图像中的前景对象;
获取所述第二赋值图像的第二赋值矩阵,获取所述素材图像的素材矩阵,根据所述第二赋值矩阵对所述素材矩阵进行矩阵调整,得到第二目标矩阵;所述第二目标矩阵用于表征所述素材图像中的背景对象;
对所述第一目标矩阵以及所述第二目标矩阵进行矩阵相加,得到目标图像。
4.根据权利要求1所述的方法,其特征在于,所述至少两个逐点卷积核包括逐点卷积核Ki以及逐点卷积核Ki+1,i为正整数;所述每个逐点卷积核包括至少两个逐点卷积通道,且所述至少两个逐点卷积通道的通道数等于所述至少两个图像特征矩阵的矩阵个数;
所述通过每个逐点卷积核分别对所述至少两个图像特征矩阵进行卷积,生成至少两个中间特征矩阵,包括:
通过所述逐点卷积核Ki中每个逐点卷积通道对每个图像特征矩阵进行卷积,生成至少两个中间特征子矩阵Zi,对所述至少两个中间特征子矩阵Zi进行融合,得到中间特征矩阵Li;所述逐点卷积核Ki中的一个逐点卷积通道对应所述至少两个图像特征矩阵中的一个图像特征矩阵;
通过所述逐点卷积核Ki+1中每个逐点卷积通道对每个图像特征矩阵进行卷积,生成至少两个中间特征子矩阵Zi+1,对所述至少两个中间特征子矩阵Zi+1进行融合,得到中间特征矩阵Li+1;所述逐点卷积核Ki+1中的一个逐点卷积通道对应所述至少两个图像特征矩阵中的一个图像特征矩阵;
将所述中间特征矩阵Li以及所述中间特征矩阵Li+1确定为所述至少两个中间特征矩阵。
5.根据权利要求4所述的方法,其特征在于,所述至少两个逐深度卷积核包括逐深度卷积核Pi以及逐深度卷积核Pi+1,i为正整数,所述至少两个逐深度卷积核的卷积核个数等于所述至少两个中间特征矩阵的矩阵个数;
所述根据所述至少两个逐深度卷积核分别对所述至少两个中间特征矩阵进行卷积,生成至少两个待拼接特征矩阵,包括:
通过所述逐深度卷积核Pi对所述中间特征矩阵Li进行卷积,生成待拼接特征矩阵Ji;
通过所述逐深度卷积核Pi+1对所述中间特征矩阵Li+1进行卷积,生成待拼接特征矩阵Ji+1;
将所述待拼接特征矩阵Ji以及所述待拼接特征矩阵Ji+1确定为所述至少两个待拼接特征矩阵。
6.根据权利要求1所述的方法,其特征在于,所述通过每个逐点卷积核分别对所述至少两个图像特征矩阵进行卷积,生成至少两个中间特征矩阵,包括:
通过每个逐点卷积核分别对所述至少两个图像特征矩阵进行卷积,生成至少两个待激活中间特征矩阵;
将所述至少两个待激活中间特征矩阵映射至第一激活函数,生成所述至少两个中间特征矩阵。
7.根据权利要求1所述的方法,其特征在于,还包括:
获取训练样本集;所述训练样本集包括样本图像以及与标签图像,所述标签图像用于表征所述样本图像中每个像素点所属的对象类别标签;
将所述训练样本集输入样本图像分割模型,生成所述样本图像的样本图像特征矩阵;所述样本图像分割模型包括样本卷积拼接模块;所述样本图像分割模型包括至少两个对象类别标签;
通过所述样本卷积拼接模块,提取所述样本图像特征矩阵中与每个类别标签相关联的预测图像特征矩阵;
根据所述预测图像特征矩阵以及所述标签图像,对所述样本图像分割模型进行调整,得到包含所述卷积拼接模块的所述图像分割模型。
8.根据权利要求7所述的方法,其特征在于,所述根据所述预测图像特征矩阵以及所述标签图像,对所述样本图像分割模型进行调整,得到包含所述卷积拼接模块的所述图像分割模型,包括:
生成所述标签图像的标签图像特征矩阵,根据所述标签图像特征矩阵以及所述预测图像特征矩阵生成模型损失值;
根据所述模型损失值调整所述样本图像分割模型中参数的权值,当所述模型损失值满足收敛条件时,将调整后的包含所述卷积拼接模块的图像分割模型确定为所述图像分割模型。
9.一种图像处理装置,其特征在于,包括:
第一获取模块,用于获取图像,将所述图像输入图像分割模型,生成所述图像的至少两个图像特征矩阵;所述图像分割模型包括卷积拼接模块,所述卷积拼接模块包括至少两个逐点卷积核和至少两个逐深度卷积核;所述卷积拼接模块所输出的特征具有目标通道数;所述至少两个逐深度卷积核包括至少两个第一逐深度卷积核以及至少两个第二逐深度卷积核;
第一生成模块,用于通过每个逐点卷积核分别对所述至少两个图像特征矩阵进行卷积,生成至少两个中间特征矩阵;所述至少两个逐点卷积核的卷积核个数小于所述目标通道数;
所述第一生成模块,还用于根据所述至少两个第一逐深度卷积核分别对所述至少两个中间特征矩阵进行卷积,生成至少两个第一待拼接特征矩阵;
拼接特征模块,用于对所述至少两个中间特征矩阵以及所述至少两个第一待拼接特征矩阵进行特征拼接处理,得到至少两个待确定特征矩阵;
所述拼接特征模块,还用于根据所述至少两个第二逐深度卷积核分别对所述至少两个待确定特征矩阵进行卷积,生成至少两个第二待拼接特征矩阵;
所述拼接特征模块,还用于对所述至少两个待确定特征矩阵以及所述至少两个第二待拼接特征矩阵进行特征拼接处理,得到至少两个目标特征矩阵,根据所述至少两个目标特征矩阵对所述图像进行图像识别处理;所述至少两个目标特征矩阵的矩阵个数等于所述目标通道数。
10.一种计算机设备,其特征在于,包括:处理器、存储器以及网络接口;
所述处理器与所述存储器、所述网络接口相连,其中,所述网络接口用于提供数据通信功能,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行权利要求1至8中任一项所述方法的步骤。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令被处理器执行时,执行权利要求1至8中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010674414.8A CN111833360B (zh) | 2020-07-14 | 2020-07-14 | 一种图像处理方法、装置、设备以及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010674414.8A CN111833360B (zh) | 2020-07-14 | 2020-07-14 | 一种图像处理方法、装置、设备以及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111833360A CN111833360A (zh) | 2020-10-27 |
CN111833360B true CN111833360B (zh) | 2024-03-26 |
Family
ID=72923081
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010674414.8A Active CN111833360B (zh) | 2020-07-14 | 2020-07-14 | 一种图像处理方法、装置、设备以及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111833360B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112990279B (zh) * | 2021-02-26 | 2021-11-30 | 西安电子科技大学 | 基于自动编码器的雷达高分辨距离像库外目标拒判方法 |
CN113409201B (zh) * | 2021-06-01 | 2024-03-19 | 平安科技(深圳)有限公司 | 图像增强处理方法、装置、设备及介质 |
CN114494036A (zh) * | 2021-12-28 | 2022-05-13 | 东莞市金锐显数码科技有限公司 | 一种图像饱和度调整方法、装置、计算机设备和存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108805866A (zh) * | 2018-05-23 | 2018-11-13 | 兰州理工大学 | 基于四元数小波变换深度视感知的图像注视点检测方法 |
GB201906560D0 (en) * | 2018-08-24 | 2019-06-26 | Petrochina Co Ltd | Method and apparatus for automatically extracting image features of electrical imaging well logging |
CN110287864A (zh) * | 2019-06-24 | 2019-09-27 | 火石信科(广州)科技有限公司 | 一种读写场景读写元素的智能认定方法 |
CN110298346A (zh) * | 2019-05-23 | 2019-10-01 | 平安科技(深圳)有限公司 | 基于可分割卷积网络的图像识别方法、装置及计算机设备 |
CN110473137A (zh) * | 2019-04-24 | 2019-11-19 | 华为技术有限公司 | 图像处理方法和装置 |
CN110532859A (zh) * | 2019-07-18 | 2019-12-03 | 西安电子科技大学 | 基于深度进化剪枝卷积网的遥感图像目标检测方法 |
CN111222564A (zh) * | 2020-01-02 | 2020-06-02 | 中国科学院自动化研究所 | 基于图像通道相关性的图像鉴别***、方法、装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3514733A1 (en) * | 2018-01-18 | 2019-07-24 | Aptiv Technologies Limited | A device and a method for image classification using a convolutional neural network |
-
2020
- 2020-07-14 CN CN202010674414.8A patent/CN111833360B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108805866A (zh) * | 2018-05-23 | 2018-11-13 | 兰州理工大学 | 基于四元数小波变换深度视感知的图像注视点检测方法 |
GB201906560D0 (en) * | 2018-08-24 | 2019-06-26 | Petrochina Co Ltd | Method and apparatus for automatically extracting image features of electrical imaging well logging |
CN110473137A (zh) * | 2019-04-24 | 2019-11-19 | 华为技术有限公司 | 图像处理方法和装置 |
CN110298346A (zh) * | 2019-05-23 | 2019-10-01 | 平安科技(深圳)有限公司 | 基于可分割卷积网络的图像识别方法、装置及计算机设备 |
CN110287864A (zh) * | 2019-06-24 | 2019-09-27 | 火石信科(广州)科技有限公司 | 一种读写场景读写元素的智能认定方法 |
CN110532859A (zh) * | 2019-07-18 | 2019-12-03 | 西安电子科技大学 | 基于深度进化剪枝卷积网的遥感图像目标检测方法 |
CN111222564A (zh) * | 2020-01-02 | 2020-06-02 | 中国科学院自动化研究所 | 基于图像通道相关性的图像鉴别***、方法、装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111833360A (zh) | 2020-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110796111B (zh) | 图像处理方法、装置、设备及存储介质 | |
CN111833360B (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
CN111401216B (zh) | 图像处理、模型训练方法、装置、计算机设备和存储介质 | |
CN111489287A (zh) | 图像转换方法、装置、计算机设备和存储介质 | |
CN111444881A (zh) | 伪造人脸视频检测方法和装置 | |
CN111553267B (zh) | 图像处理方法、图像处理模型训练方法及设备 | |
CN110222718B (zh) | 图像处理的方法及装置 | |
CN111768438B (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
CN111292262B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
CN111832592A (zh) | Rgbd显著性检测方法以及相关装置 | |
CN111160350A (zh) | 人像分割方法、模型训练方法、装置、介质及电子设备 | |
CN111079764A (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
CN112862828A (zh) | 一种语义分割方法、模型训练方法及装置 | |
CN115205150A (zh) | 图像的去模糊方法、装置、设备、介质及计算机程序产品 | |
CN113066018A (zh) | 一种图像增强方法及相关装置 | |
CN114283352A (zh) | 一种视频语义分割装置、训练方法以及视频语义分割方法 | |
CN116012395A (zh) | 一种基于深度可分离卷积的多尺度融合烟雾分割方法 | |
CN114360073A (zh) | 一种图像识别方法及相关装置 | |
CN113657272A (zh) | 一种基于缺失数据补全的微视频分类方法及*** | |
CN111445545B (zh) | 一种文本转贴图方法、装置、存储介质及电子设备 | |
CN113762261A (zh) | 一种对图像的字符识别方法、装置、设备及介质 | |
CN113538254A (zh) | 图像恢复方法、装置、电子设备及计算机可读存储介质 | |
CN113822117B (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
CN115222578A (zh) | 图像风格迁移方法、程序产品、存储介质及电子设备 | |
CN114648604A (zh) | 一种图像渲染方法、电子设备、存储介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40030883 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |