CN113592009A - 图像语义分割方法、装置、存储介质与电子设备 - Google Patents
图像语义分割方法、装置、存储介质与电子设备 Download PDFInfo
- Publication number
- CN113592009A CN113592009A CN202110898038.5A CN202110898038A CN113592009A CN 113592009 A CN113592009 A CN 113592009A CN 202110898038 A CN202110898038 A CN 202110898038A CN 113592009 A CN113592009 A CN 113592009A
- Authority
- CN
- China
- Prior art keywords
- image
- coding
- decoding
- feature
- semantic segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 134
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000005070 sampling Methods 0.000 claims abstract description 45
- 230000006870 function Effects 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 31
- 238000011176 pooling Methods 0.000 claims description 20
- 239000011800 void material Substances 0.000 claims description 14
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 37
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本公开提供一种图像语义分割方法、图像语义分割装置、计算机可读存储介质与电子设备，涉及图像处理技术领域。所述图像语义分割方法包括：获取待处理图像；将所述待处理图像进行卷积与下采样，得到编码特征图像；利用相同尺寸的无空洞卷积核与空洞卷积核分别对至少一张所述编码特征图像进行卷积，并根据卷积得到的深度特征图像生成所述编码特征图像对应的多尺度特征图像；将所述多尺度特征图像进行上采样，输出语义分割图像。本公开提高了图像语义分割的效率和准确性。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像语义分割方法、图像语义分割装置、计算机可读存储介质与电子设备。
背景技术
随着图像以及视频处理技术的快速发展，图像语义分割在自动驾驶、无人机落点判定、室内导航以及安全防护等场景中具有广泛应用。
现有的通过语义分割网络对图像进行语义分割的方法中，通常需要人工进行逐像素标注以获取大量带标注的样本图像，但是这种方式训练得到的模型往往仅考虑了模型的训练速度，却未能关注到更多的图像细节特征信息，来提高模型的语义分割效果。因此，如何在提高图像语义分割网络训练的准确率的同时，提高图像语义分割网络的效率是现有技术亟待解决的问题。
发明内容
本公开提供了一种图像语义分割方法、图像语义分割装置、计算机可读存储介质与电子设备，进而至少在一定程度上改善现有技术中图像语义分割效率和准确性低的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的第一方面，提供一种图像语义分割方法，包括：获取待处理图像；将所述待处理图像进行卷积与下采样，得到编码特征图像；利用相同尺寸的无空洞卷积核与空洞卷积核分别对至少一张所述编码特征图像进行卷积，并根据卷积得到的深度特征图像生成所述编码特征图像对应的多尺度特征图像；将所述多尺度特征图像进行上采样，输出语义分割图像。
根据本公开的第二方面，提供一种图像语义分割装置，包括：待处理图像获取模块，用于获取待处理图像；编码特征图像获取模块，用于将所述待处理图像进行卷积与下采样，得到编码特征图像；多尺度特征图像获取模块，用于利用相同尺寸的无空洞卷积核与空洞卷积核分别对至少一张所述编码特征图像进行卷积，并根据卷积得到的深度特征图像生成所述编码特征图像对应的多尺度特征图像；语义分割图像输出模块，用于将所述多尺度特征图像进行上采样，输出语义分割图像。
根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的图像语义分割方法及其可能的实现方式。
根据本公开的第四方面，提供一种电子设备，包括：处理器；存储器，用于存储所述处理器的可执行指令。其中，所述处理器配置为经由执行所述可执行指令，来执行上述第一方面的图像语义分割方法及其可能的实现方式。
本公开的技术方案具有以下有益效果：
获取待处理图像；将待处理图像进行卷积与下采样，得到编码特征图像；利用相同尺寸的无空洞卷积核与空洞卷积核分别对至少一张编码特征图像进行卷积，并根据卷积得到的深度特征图像生成编码特征图像对应的多尺度特征图像；将多尺度特征图像进行上采样，输出语义分割图像。一方面，本示例性实施例提出一种新的图像语义分割方法，在编解码过程的基础上，结合相同尺寸的无空洞卷积与空洞卷积的过程，通过卷积下采样、多尺度特征提取以及上采样三个阶段的处理，保证了编码阶段，图像细节特征信息提取的充分性和全面性，使得解码阶段能够更好的恢复图像特征，得到准确率更高的语义分割图像；另一方面，本示例性实施例图像语义分割的算法流程简洁，适用范围广泛，且具有较高的语义分割效率和准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本示例性实施方式中一种***架构的示意图；
图2示出本示例性实施方式中一种电子设备的结构图；
图3示出本示例性实施方式中一种图像语义分割方法的流程图；
图4示出本示例性实施方式中一种图像语义分割方法的子流程图；
图5示出本示例性实施方式中另一种图像语义分割方法的子流程图；
图6示出本示例性实施方式中多尺度特征提取子网络的架构示意图；
图7示出本示例性实施方式中再一种图像语义分割方法的子流程图；
图8示出本示例性实施方式中再一种图像语义分割方法的子流程图；
图9示出本示例性实施方式中一种语义分割网络的架构示意图；
图10示出本示例性实施方式中一种语义分割网络参数更新的流程图；
图11示出本示例性实施方式中一种图像语义分割装置的结构图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
本公开的示例性实施方式提供一种图像语义分割方法。图1示出了本示例性实施方式运行环境的***架构图。如图1所示，该***架构100可以包括用户终端110和服务端，两者之间通过网络形成通信交互。其中，用户终端110包括但不限于智能手机、平板电脑、游戏机、可穿戴设备等；服务端120是指提供互联网服务的后台服务器。
应当理解，图1中各装置的数量仅是示例性的。根据实现需要，可以设置任意数量的用户终端，或者服务端可以是多台服务器形成的集群。
本公开实施方式所提供的图像语义分割方法可以由用户终端110执行，例如在用户终端110中获取待处理图像后，进行语义分割处理，得到语义分割图像；也可以由服务端120执行，例如用户终端110获取待处理图像后，上传到服务端120，使服务端120对待处理图像进行语义分割处理，输出语义分割图像并返回至用户终端110，本公开对此不做限定。
本公开的示例性实施方式提供一种用于实现图像语义分割方法的电子设备，其可以是图1中的用户终端110或服务端120。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行图像语义分割方法。
下面以图2中的移动终端200为例，对上述电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。
如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、USB(Universal Serial Bus，通用串行总线)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏幕290、摄像模组291、指示器292、马达293、按键294以及SIM(Subscriber Identification Module，用户标识模块)卡接口295等。
处理器210可以包括一个或多个处理单元，例如：处理器210可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。编码器可以对图像或视频数据进行编码(即压缩)；解码器可以对图像或视频的码流数据进行解码(即解压缩)，以还原出图像或视频数据。移动终端100可以支持一种或多种编码器和解码器。这样，移动终端100可以处理多种编码格式的图像或视频，例如：JPEG(Joint Photographic Experts Group，联合图像专家组)、PNG(Portable Network Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(Moving Picture Experts Group，动态图像专家组)1、MPEG2、H.263、H.264、HEVC(High Efficiency Video Coding，高效率视频编码)等视频格式。
在一些实施方式中，处理器210可以包括一个或多个接口，通过不同的接口和移动终端200的其他部件形成连接。内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器221可以包括易失性存储器、非易失性存储器等。
外部存储器接口222可以用于连接外部存储器。外部存储器通过外部存储器接口222与处理器210通信，实现数据存储功能。
移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块250可以提供应用在移动终端200上的包括2G/3G/4G/5G等无线通信的解决方案。
传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803、气压传感器2804等，以实现不同的感应检测功能。
图3示出了图像语义分割方法的示例性流程，可以由上述用户终端110或服务端120执行，包括以下步骤S310至S340：
步骤S310，获取待处理图像。
其中，待处理图像是指需要进行语义分割处理的图像，其可以是多种类型的图像，例如人物图像、植物图像、动物图像或者建筑物图像等。待处理图像中可以包括一种或多种对象，例如可以包括人物、植物、动物、建筑物等一种或多种对象。本示例性实施例通过对待处理图像进行语义分割处理，可以确定待处理图像的语义分割结果。其中，语义分割是指在像素级别上对图像进行分类识别，属于同一类别的像素被归为一类，例如在图像中，将属于人的像素归为第一类，属于植物的像素归为第二类，属于车辆的像素归为第三类等，通过对像素的不同分类，可以识别出图像中包含对象的不同语义。
在本示例性实施例中，待处理图像的尺寸或像素可以根据实际需要进行自定义设置，例如直接将像素尺寸为512*512的图像作为待处理图像，或者将原始图像的像素尺寸调整为512*512后作为待处理图像等。另外，待处理图像可以通过多种方式获取，例如可以通过终端设备中配置的摄像头直接采集获取；可以从网络或云端下载得到；也可以从视频流中任意选取一帧或多帧关键帧图像确定等等，本公开对此不做具体限定。
步骤S320，将待处理图像进行卷积与下采样，得到编码特征图像。
本示例性实施例可以采用预先训练的语义分割网络对待处理图像分别进行下采样过程和上采样过程，以确定待处理图像的语义分割图像。具体的，可以先将待处理图像作为语义分割网络的输入数据，进行卷积与下采样处理，从待处理图像中提取图像特征，以得到编码特征图像，通过不同的卷积与下采样处理得到的编码特征图像可以从不同程度上反映待处理图像中图像特征。
本示例性实施例可以以待处理图像为初始图像，通过多个层级的卷积与下采样处理，逐步减小待处理图像的尺寸，得到多张编码特征图像。其中，对待处理图像进行卷积时，可以根据实际需要设置卷积核的尺寸及步长等参数，例如可以采用2*2、3*3或5*5的卷积核进行卷积，步长可以设置为1或其他等。为了保证卷积处理前后图像尺寸的一致性，为后续处理提供便捷，本示例性实施例在进行图像卷积时，可以采用padding(填充像素)的方式进行卷积。对图像进行下采样可以是指对图像进行池化处理的过程，通过对待处理图像进行池化处理，可以逐步缩小图像尺寸，例如对512*512像素尺寸的待处理图像进行池化处理后，可以缩小为256*256像素尺寸的图像，进一步池化，还可以缩小为64*64像素尺寸的图像等等。池化方式可以包括多种，例如最大池化或者平均池化等，本公开对此不做具体限定。
步骤S330，利用相同尺寸的无空洞卷积核与空洞卷积核分别对至少一张编码特征图像进行卷积，并根据卷积得到的深度特征图像生成编码特征图像对应的多尺度特征图像。
其中，空洞卷积核是指采用空洞卷积的方式对编码特征图像进行卷积的处理方式，相比于无空洞卷积，空洞卷积是在标准的卷积核里注入空洞，以此来增加感受野或者接受域，相比于正常的卷积运算，空洞卷积多了间隔数量这一超参数。本示例性实施例可以采用相同尺寸的无空洞卷积核与空洞卷积核分别对至少一张编码特征图像进行卷积处理，其中，编码特征图像可以是步骤S320中得到的任意一张或者多张，例如对最后一次卷积和下采样处理得到的编码特征图像进行上述卷积处理，或者对其中某一次卷积和下采样处理得到的编码特征图像进行上述卷积处理等等，本公开对此不做具体限定。在通过无空洞卷积核与空洞卷积核分别对至少一张编码特征图像进行卷积之后，可以生成编码特征图像对应的多尺度特征图像，该多尺度特征图像可以是由无空洞卷积核与空洞卷积核卷积得到的深度特征图像拼接而成。
在本示例性实施例中，采用相同尺寸的无空洞卷积核与空洞卷积核可以看做是对ASPP(Atrous Spatial Pyramid Pooling，空洞空间卷积池化金字塔)的改进，通常在ASPP结构中会包括不同尺寸的无空洞卷积核与空洞卷积核，例如1个1*1的无空洞卷积核，以及3个采样率不同的3*3的空洞卷积核等。但是这种方式中，1*1的无空洞卷积核主要用于提取特征图输入的信息，不能实现增加特征图感受野的功能，无法在图像语义分割领域实现更好的效果。因此，为了提高特征图的感受野，本示例性实施例采用与空洞卷积核相同尺寸的无空洞卷积核，例如可以采用1个3*3的无空洞卷积核进行无空洞卷积，并采用3个3*3的空洞卷积核分别进行空洞卷积等，以确定多尺度特征图像。
步骤S340，将多尺度特征图像进行上采样，输出语义分割图像。
其中，语义分割图像是指能够反映图像中不同像素点分类结果的图像，例如图像中哪些像素属于人的语义类别，哪些像素点属于植物的语义类别，或者哪些像素点属于车辆的语义类别等等，具体的语义类别可以通过多种方式表示，例如通过预设标识，如“1”表示人，“2”表示动物，“3”表示植物等；或者通过(0，225)中不同的颜色值来表示等等，本公开对此不做具体限定。
在本示例性实施例中，图像的语义分割网络可以通过卷积加池化的操作对输入的待处理图像进行第一阶段的编码处理，得到编码特征图像；通过空洞卷积和无空洞卷积的方式对编码特征图像进行第二阶段的多尺度特征提取处理，得到多尺度特征图像，从图像语义的角度提取了图像特征并进行了特征学习；进一步的，通过第三阶段上采样对多尺度特征图像进行处理，逐步恢复图像的细节特征，最终输出和原始待处理图像分辨率相同的语义分割结果。其中，编码阶段与解码阶段之间，可以存在直接的信息连接，以帮助解码阶段更好地恢复输出的语义分割图像的细节。
上采样时，为了调整多尺度特征图像的通道数，还可以添加卷积层，通过多个卷积加上采样组合层的结构，对多尺度特征图像进行逐步处理。在本示例性实施例中，为了节省***计算资源，上采样可以采用线性插值的方式，此外，根据实际算法与场景需求，还可以采用其他上采样方式，例如反卷积等等，本公开对此不做具体限定。
进一步的，为了在解码过程中保证图像上采样的准确度，同时提高特征学习的深度，对多尺度特征图像进行解码的过程可以采用金字塔结构，即通过多个上采样层的组合设置，将多尺度特征图像逐步恢复到初始分辨率的图像特征。另外，为了提高了语义分割网络对待处理图像的分割和识别能力，还可以在解码阶段中添加注意力层，使获得的输出结果具有更高的准确性，提高相似图像之间的区分度以及网络模型的泛化能力。
综上，本示例性实施方式中，获取待处理图像；将待处理图像进行卷积与下采样，得到编码特征图像；利用相同尺寸的无空洞卷积核与空洞卷积核分别对至少一张编码特征图像进行卷积，并根据卷积得到的深度特征图像生成编码特征图像对应的多尺度特征图像；将多尺度特征图像进行上采样，输出语义分割图像。一方面，本示例性实施例提出一种新的图像语义分割方法，在编解码过程的基础上，结合相同尺寸的无空洞卷积与空洞卷积的过程，通过卷积下采样、多尺度特征提取以及上采样三个阶段的处理，保证了编码阶段，图像细节特征信息提取的充分性和全面性，使得解码阶段能够更好的恢复图像特征，得到准确率更高的语义分割图像；另一方面，本示例性实施例图像语义分割的算法流程简洁，适用范围广泛，且具有较高的语义分割效率和准确性。
在一示例性实施例中，如图4所示，上述编码特征图像可以包括第一编码特征图像至第n编码特征图像，上述图像语义分割方法还可以包括以下步骤：
步骤S410，获取语义分割网络，语义分割网络包括编码子网络，编码子网络包括依次连接的n个编码组合层，每个编码组合层包括一个卷积层与一个下采样层，可以用于进行一次卷积与一次下采样；
则，上述步骤S320可以包括：
步骤S420，将待处理图像输入编码子网络，依次通过n个编码组合层进行卷积与下采样，以输出第一编码特征图像至第n编码特征图像。
本示例性实施例可以通过编码子网络对待处理图像进行编码处理，每个编码子网络可以包括n个编码组合层，每个编码组合层可以包括一个卷积层，用于对输入图像进行卷积处理，一个下采样层，用于对卷积后的图像进行下采样处理，例如进行池化处理等。
将待处理图像输入编码子网络，可以依次通过多个编码组合层进行卷积与下采样，使每个编码组合层输出编码特征图像，其中，编码组合层的数量可以根据实际需要进行设置，例如可以设置4个编码组合层，对待处理图像进行四次卷积与下采样，使得得到的第4编码特征图像为待处理图像大小的1/16。
在一示例性实施例中，上述语义分割网络还可以包括多尺度特征提取子网络，该多尺度特征提取子网络可以包括无空洞卷积层、至少一个空洞卷积层与多尺度拼接层，无空洞卷积层与各空洞卷积层中的卷积核尺寸相同，如图5所示，上述步骤S330可以包括以下步骤：
步骤S510，将第n编码特征图像输入多尺度特征提取子网络，通过无空洞卷积层与各空洞卷积层分别输出第n编码特征图像对应的深度特征图像；
步骤S520，通过多尺度拼接层拼接第n编码特征图像对应的深度特征图像，输出第n编码特征图像对应的多尺度特征图像。
其中，深度特征图像是指无空洞卷积层或空洞卷积层卷积后输出的特征图像，每个卷积层可以对应一个深度特征图像，以图6所示的多尺度特征提取子网络进行举例说明，图像处理过程具体可以包括：将第n编码特征图像610作为输入图像，输入多尺度特征提取子网络600，该多尺度特征提取子网络可以包括1个3*3无空洞卷积核的无空洞卷积层620，以及3个3*3空洞卷积核的空洞卷积层630、空洞卷积层640以及空洞卷积层650，其采样率分别为6、12、18，然后采用各卷积层分别对第n编码特征图像进行处理，可以得到深度特征图像621、深度特征图像631、深度特征图像641以及深度特征图像651；进一步，通过多尺度拼接层660对得到的多张深度特征图像进行拼接，可以确定第n编码特征图像610对应的多尺度特征图像670。需要说明的是，上述结构仅作示例性说明，根据实际需要，可以设置不同的参数，例如卷积尺寸或采样率等。
需要说明的是，在本示例性实施例中，在通过多尺度特征提取子网络对第n编码特征图像进行处理时，该第n编码特征图像可以是编码阶段得到的最后一张编码特征图像，例如对待处理图像进行4次卷积和下采样，得到第一编码特征图像至第四编码特征图像，则多尺度特征提取子网络可以对第四编码特征图像进行处理，生成多尺度特征图像。另外，第n编码特征图像也可以是编码阶段中任意一张编码特征图像，例如也可以是对上述第二编码特征图像或者第三编码特征图像等提取多尺度特征，以生成第二编码特征图像或第三编码特征图像对应的多尺度特征图像。
在一示例性实施例中，上述多尺度特征提取子网络还可以包括池化层；上述步骤S510可以包括：
将第n编码特征图像输入多尺度特征提取子网络，通过无空洞卷积层、各空洞卷积层与池化层分别输出第n编码特征图像对应的深度特征图像。
在图6所示的多尺度特征提取子网络架构的基础上，本示例性实施例还可以添加池化层，对输入的第n编码特征图像进行池化处理，得到一对应的深度特征图像。进一步，将无空洞卷积层、空洞卷积层以及池化层输出的第n编码特征图像对应的深度特征图像进行拼接，可以确定多尺度特征图像。
在一示例性实施例中，上述解码特征图像可以包括第一解码特征图像至第n解码特征图像，语义分割网络还可以包括解码子网络，该解码子网络可以包括依次连接的n个解码组合层，每个解码组合层可以包括一个上采样层，可以用于进行一次上采样；
上述步骤S340可以包括：
将多尺度特征图像输入解码子网络，依次通过n个解码组合层进行上采样，以输出第一解码特征图像至第n解码特征图像，根据第n解码特征图像确定语义分割图像。
与编码子网络的过程类似，本示例性实施例可以采用多个解码组合层对多尺度特征图像进行解码处理，以逐步恢复图像的细节特征，并在不同尺度上对特征做进一步学习，最终输出和原始待处理图像分辨率相同的像素分类结果。其中，解码组合层可以与编码组合层对应，例如编码子网络中进行了4次卷积与下采样，则解码子网络中也可以进行4次上采样。每层解码组合层可以输出一解码特征图像，根据第n解码特征图像可以确定最终的语义分割图像。另外，解码组合层中除了可以进行上采样处理，为了调整图像的通道数，还可以进行卷积处理。
在一示例性实施例中，上述编码组合层中的第一编码组合层至第n-1编码组合层均还包括一个残差块，用于输出残差图像；上述n个解码组合层中的第一解码组合层至第n-1解码组合层均还包括一个残差拼接层，用于将上采样后的图像与残差图像进行拼接；
进一步的，如图7所示，上述将多尺度特征图像输入解码子网络，依次通过n个解码组合层进行上采样，以输出第一解码特征图像至第n解码特征图像，可以包括以下步骤：
步骤S710，将多尺度特征图像输入解码子网络，依次通过第一解码组合层至第n-1解码组合层进行上采样以及与残差图像的拼接，以输出第一解码特征图像至第n-1解码特征图像；
步骤S720，通过第n解码组合层对第n-1解码特征图像进行上采样，以输出第n解码特征图像。
为了保证恢复得到的解码特征图像能够融合更多的图像特征，以更准确的获取语义分割图像，本示例性实施例可以在编码子网络中，从每组编码组合层的输出结果中确定对应的残差图像，用于与解码子网络中对应的解码组合层，即上采样后输出的图像进行拼接，确定对应的解码特征图像。即本示例性实施例通过直连的结构将编码子网络与解码子网络连接起来，以保证解码特征图像的有效性。
另外，为了调整残差图像的通道数，本示例性实施例可以对编码组合层输出的编码特征图像进行特定尺寸卷积核的卷积处理，得到残差图像，例如对通道数为128的编码特征图像采用1*1的卷积核进行卷积处理，得到通道数为64的残差图像，与解码子网络中解码组合层输出的图像拼接生成对应的解码特征图像。
具体的残差图像的拼接过程，如图8所示，在一示例性实施例中，上述图像语义分割方法还可以包括以下步骤：
步骤S810，通过第一编码组合层至第n-1编码组合层中的残差块，分别输出与第一编码特征图像至第n-1编码特征图像一一对应的第一残差图像至第n-1残差图像；
步骤S710中，依次通过第一解码组合层至第n-1解码组合层进行上采样以及与残差图像的拼接，以输出第一解码特征图像至第n-1解码特征图像，可以包括：
步骤S820，通过第一解码组合层对多尺度特征图像进行上采样以及与第n-1残差图像的拼接，以输出第一解码特征图像；
步骤S830，通过第二解码组合层对第一解码特征图像进行上采样以及与第n-2残差图像的拼接，以输出第二解码特征图像；
步骤S840，直到通过第n-1解码组合层对第n-2解码特征图像进行上采样以及与第一残差图像的拼接，以输出第n-1解码特征图像。
图9示出了本示例性实施例中一种语义分割网络结构的示意图，以4个编码组合层进行4次下采样，以及4个解码组合层进行4次上采样为例进行解释说明，该语义分割网络900可以包括编码子网络、多尺度特征提取子网络以及解码子网络。
其中，编码子网络中，图像编码过程可以包括：
获取待处理图像911，该待处理图像可以是512*512像素尺寸的图像，其可以包括3个通道，例如R(红色)通道、G(绿色)通道和B(蓝色)通道；
将待处理图像911输入第一编码组合层912进行卷积和下采样处理后，可以得到第一编码特征图像913，该第一编码特征图像的像素尺寸为256*256，包括128个通道数；
将第一编码特征图像913输入第二编码组合层914进行卷积和下采样处理后，可以得到第二编码特征图像915，该第二编码特征图像的像素尺寸为128*128，包括256个通道数；
将第二编码特征图像915输入第三编码组合层916进行卷积和下采样处理后，可以得到第三编码特征图像917，该第三编码特征图像的像素尺寸为64*64，包括728个通道数；
将第三编码特征图像917输入第四编码组合层918进行卷积和下采样处理后，可以得到第四编码特征图像919，该第四编码特征图像的像素尺寸为32*32，包括2048个通道数；
将第四编码特征图像输入多尺度特征提取子网络920中，可以确定第四编码特征图像对应的多尺度特征图像921；
另外，在编码子网络中，每一编码组合层可以对应输出一残差图像，例如第一编码组合层912输出第一编码特征图像913，对其采用1*1的卷积核进行卷积，可以确定第一残差图像941；第二编码组合层914输出第二编码特征图像915，对其采用1*1的卷积核进行卷积，可以确定第二残差图像942；第三编码组合层916输出第三编码特征图像917，对其采用1*1的卷积核进行卷积，可以确定第三残差图像943；
进一步，可以将多尺度特征图像921输入解码子网络以执行解码过程，本示例性实施例可以在解码子网络中的每个解码组合层中加入卷积处理过程，则可以将多尺度特征图像921输入第一解码组合层931，采用1*1的卷积核对其进行卷积处理，并对卷积后的图像进行上采样，然后将上采样后的图像与第三编码特征图像916对应的第三残差图像943进行拼接，确定第一解码特征图像932；
将第一解码特征图像932输入第二解码组合层933，采用3*3的卷积核进行卷积并进行上采样，将得到的图像与第二编码特征图像915对应的第二残差图像942进行拼接，确定第二解码特征图像934；
将第二解码特征图像934输入第三解码组合层935，采用3*3的卷积核进行卷积并进行上采样，将得到的图像与第一编码特征图像913对应的第一残差图像941进行拼接，确定第三解码特征图像936；
将第三解码特征图像936输入第四解码组合层937，采用3*3的卷积核进行卷积并进行上采样，输出第四解码特征图像938，该第四解码特征图像可以恢复至与待处理图像相同的像素尺寸512*512，进一步根据第四解码图像可以确定语义分割图像。
在一示例性实施例中，如图10所示，上述图像语义分割方法还可以包括以下步骤：
步骤S1010，将样本图像输入待训练的语义分割网络，以输出样本语义分割图像；
步骤S1020，根据样本语义分割图像中每个像素的语义分类结果与样本图像对应的语义标签图像中每个像素的语义分类结果，确定第一损失函数；
步骤S1030，根据样本语义分割图像与语义标签图像的交并比，确定第二损失函数；
步骤S1040，通过第一损失函数与第二损失函数，更新语义分割网络的参数。
具体的，本示例性实施例可以通过样本图像以及样本图像中每个像素的语义分类标签对语义分割网络进行训练，通过调整模型参数，使得样本语义分割图像中每个像素的语义分类结果与样本图像对应的语义标签图像中每个像素的语义分类结果越来越接近，或者直到计算收敛，完成语义分割网络的训练过程。
本示例性实施例可以从两方面考虑定义损失函数，第一方面，可以根据样本语义分割图像中每个像素的语义分类结果与样本图像对应的语义标签图像中每个像素的语义分类结果，确定第一损失函数，在二分类的语义分割场景中，第一损失函数可以通过以下公式表示：
其中，N为表示图像中总的像素点个数，p(xni)表示对当前像素点语义分类结果预测的概率值。
第二方面，为了避免出现过拟合的现象，并充分考虑像素点之间的空间信息，本示例性实施例还可以根据样本语义分割图像与语义标签图像的交并比，来确定第二损失函数LLovasz hinge，其中，交并比指数越大，表示预测结果和实际结果交并越大的时候损失值越小，反之损失值越大。
进一步的，可以根据第一损失函数与第二损失函数共同确定本示例性实施例中语义分割网络的损失函数，其中，为了对第二损失函数进行调整，使得第二损失函数与第一损失函数处于相同的数值范围，还可以对第二损失函数设置调节系数λ，损失函数可以通过以下公式表示：
LTotal＝LBCE+λLLovasz hinge
本示例性实施例在训练时，可以先通过第一损失函数进行训练，提高网络模型的收敛速度，然后加入第二损失函数进行微调，结合语义空间信息，缓解过拟合的情况，从而解决样本图像中内容分布不均衡的情况。
本公开的示例性实施方式还提供一种图像语义分割装置。如图11所示，该图像语义分割装置1100可以包括：待处理图像获取模块1110，用于获取待处理图像；编码特征图像获取模块1120，用于将待处理图像进行卷积与下采样，得到编码特征图像；多尺度特征图像获取模块1130，用于利用相同尺寸的无空洞卷积核与空洞卷积核分别对至少一张编码特征图像进行卷积，并根据卷积得到的深度特征图像生成编码特征图像对应的多尺度特征图像；语义分割图像输出模块1140，用于将多尺度特征图像进行上采样，输出语义分割图像。
在一示例性实施例中，编码特征图像包括第一编码特征图像至第n编码特征图像，图像语义分割装置还包括：语义分割网络获取模块，用于获取语义分割网络，语义分割网络包括编码子网络，编码子网络包括依次连接的n个编码组合层，每个编码组合层包括一个卷积层与一个下采样层；编码特征图像获取模块包括：编码特征图像获取单元，用于将待处理图像输入编码子网络，依次通过n个编码组合层进行卷积与下采样，以输出第一编码特征图像至第n编码特征图像。
在一示例性实施例中，上述语义分割网络还包括多尺度特征提取子网络，多尺度特征提取子网络包括无空洞卷积层、至少一个空洞卷积层与多尺度拼接层；无空洞卷积层与各空洞卷积层中的卷积核尺寸相同；多尺度特征图像获取模块包括：深度特征图像输出单元，用于将第n编码特征图像输入多尺度特征提取子网络，通过无空洞卷积层与各空洞卷积层分别输出第n编码特征图像对应的深度特征图像；多尺度特征图像输出单元，用于通过多尺度拼接层拼接第n编码特征图像对应的深度特征图像，输出第n编码特征图像对应的多尺度特征图像。
在一示例性实施例中，上述多尺度特征提取子网络还包括池化层；深度特征图像输出单元包括：深度特征图像输出子单元，用于将第n编码特征图像输入多尺度特征提取子网络，通过无空洞卷积层、各空洞卷积层与池化层分别输出第n编码特征图像对应的深度特征图像。
在一示例性实施例中，解码特征图像包括第一解码特征图像至第n解码特征图像，语义分割网络还包括解码子网络，解码子网络包括依次连接的n个解码组合层，每个解码组合层包括一个上采样层；语义分割图像输出模块包括：语义分割图像确定单元，用于将多尺度特征图像输入解码子网络，依次通过n个解码组合层进行上采样，以输出第一解码特征图像至第n解码特征图像，根据第n解码特征图像确定语义分割图像。
在一示例性实施例中，n个编码组合层中的第一编码组合层至第n-1编码组合层均还包括一个残差块，用于输出残差图像；n个解码组合层中的第一解码组合层至第n-1解码组合层均还包括一个残差拼接层，用于将上采样后的图像与残差图像进行拼接；语义分割图像确定单元包括：残差图像拼接子单元，用于将多尺度特征图像输入解码子网络，依次通过第一解码组合层至第n-1解码组合层进行上采样以及与残差图像的拼接，以输出第一解码特征图像至第n-1解码特征图像；解码特征图像输出子单元，用于通过第n解码组合层对第n-1解码特征图像进行上采样，以输出第n解码特征图像。
在一示例性实施例中，图像语义分割装置还包括：残差图像拼接模块，用于通过第一编码组合层至第n-1编码组合层中的残差块，分别输出与第一编码特征图像至第n-1编码特征图像一一对应的第一残差图像至第n-1残差图像；残差图像拼接子单元，用于通过第一解码组合层对多尺度特征图像进行上采样以及与第n-1残差图像的拼接，以输出第一解码特征图像；通过第二解码组合层对第一解码特征图像进行上采样以及与第n-2残差图像的拼接，以输出第二解码特征图像；直到通过第n-1解码组合层对第n-2解码特征图像进行上采样以及与第一残差图像的拼接，以输出第n-1解码特征图像。
在一示例性实施例中，图像语义分割装置还包括：样本语义分割图像输出模块，用于将样本图像输入待训练的语义分割网络，以输出样本语义分割图像；第一损失函数确定模块，用于根据样本语义分割图像中每个像素的语义分类结果与样本图像对应的语义标签图像中每个像素的语义分类结果，确定第一损失函数；第二损失函数确定模块，用于根据样本语义分割图像与语义标签图像的交并比，确定第二损失函数；语义分割网络参数更新模块，用于通过第一损失函数与第二损失函数，更新语义分割网络的参数。
上述装置中各部分的具体细节在方法部分实施方式中已经详细说明，因而不再赘述。
本公开的示例性实施方式还提供了一种计算机可读存储介质，可以实现为程序产品的形式，包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3、图4、图5、图7、图8或图10中任意一个或多个步骤。该程序产品可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为***、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。
Claims (11)
1.一种图像语义分割方法，其特征在于，包括：
获取待处理图像；
将所述待处理图像进行卷积与下采样，得到编码特征图像；
利用相同尺寸的无空洞卷积核与空洞卷积核分别对至少一张所述编码特征图像进行卷积，并根据卷积得到的深度特征图像生成所述编码特征图像对应的多尺度特征图像；
将所述多尺度特征图像进行上采样，输出语义分割图像。
2.根据权利要求1所述的方法，其特征在于，所述编码特征图像包括第一编码特征图像至第n编码特征图像，所述方法还包括：
获取语义分割网络，所述语义分割网络包括编码子网络，所述编码子网络包括依次连接的n个编码组合层，每个编码组合层包括一个卷积层与一个下采样层；
所述将所述待处理图像进行卷积与下采样，得到编码特征图像，包括：
将所述待处理图像输入所述编码子网络，依次通过所述n个编码组合层进行卷积与下采样，以输出所述第一编码特征图像至所述第n编码特征图像。
3.根据权利要求2所述的方法，其特征在于，所述语义分割网络还包括多尺度特征提取子网络，所述多尺度特征提取子网络包括无空洞卷积层、至少一个空洞卷积层与多尺度拼接层；所述无空洞卷积层与各所述空洞卷积层中的卷积核尺寸相同；
所述利用相同尺寸的无空洞卷积核与空洞卷积核分别对至少一张所述编码特征图像进行卷积，并根据卷积得到的深度特征图像生成所述编码特征图像对应的多尺度特征图像，包括：
将所述第n编码特征图像输入所述多尺度特征提取子网络，通过所述无空洞卷积层与各所述空洞卷积层分别输出所述第n编码特征图像对应的深度特征图像；
通过所述多尺度拼接层拼接所述第n编码特征图像对应的深度特征图像，输出所述第n编码特征图像对应的多尺度特征图像。
4.根据权利要求3所述的方法，其特征在于，所述多尺度特征提取子网络还包括池化层；
所述将所述第n编码特征图像输入所述多尺度特征提取子网络，通过所述无空洞卷积层与各所述空洞卷积层分别输出所述第n编码特征图像对应的深度特征图像，包括：
将所述第n编码特征图像输入所述多尺度特征提取子网络，通过所述无空洞卷积层、各所述空洞卷积层与所述池化层分别输出所述第n编码特征图像对应的深度特征图像。
5.根据权利要求3所述的方法，其特征在于，所述解码特征图像包括第一解码特征图像至第n解码特征图像，所述语义分割网络还包括解码子网络，所述解码子网络包括依次连接的n个解码组合层，每个解码组合层包括一个上采样层；
所述将所述多尺度特征图像进行上采样，输出语义分割图像，包括：
将所述多尺度特征图像输入所述解码子网络，依次通过所述n个解码组合层进行上采样，以输出所述第一解码特征图像至所述第n解码特征图像，根据所述第n解码特征图像确定所述语义分割图像。
6.根据权利要求5所述的方法，其特征在于，所述n个编码组合层中的第一编码组合层至第n-1编码组合层均还包括一个残差块，用于输出残差图像；所述n个解码组合层中的第一解码组合层至第n-1解码组合层均还包括一个残差拼接层，用于将上采样后的图像与所述残差图像进行拼接；
所述将所述多尺度特征图像输入所述解码子网络，依次通过所述n个解码组合层进行上采样，以输出所述第一解码特征图像至所述第n解码特征图像，包括：
将所述多尺度特征图像输入所述解码子网络，依次通过所述第一解码组合层至第n-1解码组合层进行上采样以及与残差图像的拼接，以输出所述第一解码特征图像至第n-1解码特征图像；
通过第n解码组合层对所述第n-1解码特征图像进行上采样，以输出所述第n解码特征图像。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
通过所述第一编码组合层至第n-1编码组合层中的残差块，分别输出与所述第一编码特征图像至第n-1编码特征图像一一对应的第一残差图像至第n-1残差图像；
所述依次通过所述第一解码组合层至第n-1解码组合层进行上采样以及与残差图像的拼接，以输出所述第一解码特征图像至第n-1解码特征图像，包括：
通过所述第一解码组合层对所述多尺度特征图像进行上采样以及与第n-1残差图像的拼接，以输出所述第一解码特征图像；
通过第二解码组合层对所述第一解码特征图像进行上采样以及与第n-2残差图像的拼接，以输出所述第二解码特征图像；
直到通过所述第n-1解码组合层对第n-2解码特征图像进行上采样以及与所述第一残差图像的拼接，以输出所述第n-1解码特征图像。
8.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将样本图像输入待训练的所述语义分割网络，以输出样本语义分割图像；
根据所述样本语义分割图像中每个像素的语义分类结果与所述样本图像对应的语义标签图像中每个像素的语义分类结果，确定第一损失函数；
根据所述样本语义分割图像与所述语义标签图像的交并比，确定第二损失函数；
通过所述第一损失函数与所述第二损失函数，更新所述语义分割网络的参数。
9.一种语义分割装置，其特征在于，包括：
待处理图像获取模块，用于获取待处理图像；
编码特征图像获取模块，用于将所述待处理图像进行卷积与下采样，得到编码特征图像；
多尺度特征图像获取模块，用于利用相同尺寸的无空洞卷积核与空洞卷积核分别对至少一张所述编码特征图像进行卷积，并根据卷积得到的深度特征图像生成所述编码特征图像对应的多尺度特征图像；
语义分割图像输出模块，用于将所述多尺度特征图像进行上采样，输出语义分割图像。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述的方法。
11.一种电子设备，其特征在于，包括：
处理器；
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110898038.5A CN113592009A (zh) | 2021-08-05 | 2021-08-05 | 图像语义分割方法、装置、存储介质与电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110898038.5A CN113592009A (zh) | 2021-08-05 | 2021-08-05 | 图像语义分割方法、装置、存储介质与电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113592009A true CN113592009A (zh) | 2021-11-02 |
Family
ID=78255640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110898038.5A Withdrawn CN113592009A (zh) | 2021-08-05 | 2021-08-05 | 图像语义分割方法、装置、存储介质与电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113592009A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494810A (zh) * | 2022-01-28 | 2022-05-13 | 北京百度网讯科技有限公司 | 图像处理方法、神经网络及其训练方法、装置和设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108537292A (zh) * | 2018-04-10 | 2018-09-14 | 上海白泽网络科技有限公司 | 语义分割网络训练方法、图像语义分割方法及装置 |
| CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
| CN110490205A (zh) * | 2019-07-23 | 2019-11-22 | 浙江科技学院 | 基于全残差空洞卷积神经网络的道路场景语义分割方法 |
| CN111340814A (zh) * | 2020-03-03 | 2020-06-26 | 北京工业大学 | 一种基于多模态自适应卷积的rgb-d图像语义分割方法 |
| CN111369563A (zh) * | 2020-02-21 | 2020-07-03 | 华南理工大学 | 一种基于金字塔空洞卷积网络的语义分割方法 |
| WO2020215236A1 (zh) * | 2019-04-24 | 2020-10-29 | 哈尔滨工业大学（深圳） | 图像语义分割方法和*** |
-
2021
- 2021-08-05 CN CN202110898038.5A patent/CN113592009A/zh not_active Withdrawn
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110232394A (zh) * | 2018-03-06 | 2019-09-13 | 华南理工大学 | 一种多尺度图像语义分割方法 |
| CN108537292A (zh) * | 2018-04-10 | 2018-09-14 | 上海白泽网络科技有限公司 | 语义分割网络训练方法、图像语义分割方法及装置 |
| WO2020215236A1 (zh) * | 2019-04-24 | 2020-10-29 | 哈尔滨工业大学（深圳） | 图像语义分割方法和*** |
| CN110490205A (zh) * | 2019-07-23 | 2019-11-22 | 浙江科技学院 | 基于全残差空洞卷积神经网络的道路场景语义分割方法 |
| CN111369563A (zh) * | 2020-02-21 | 2020-07-03 | 华南理工大学 | 一种基于金字塔空洞卷积网络的语义分割方法 |
| CN111340814A (zh) * | 2020-03-03 | 2020-06-26 | 北京工业大学 | 一种基于多模态自适应卷积的rgb-d图像语义分割方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114494810A (zh) * | 2022-01-28 | 2022-05-13 | 北京百度网讯科技有限公司 | 图像处理方法、神经网络及其训练方法、装置和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598776B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
| CN112543347B (zh) | 基于机器视觉编解码的视频超分辨率方法、装置、***和介质 | |
| CN113077397B (zh) | 图像美颜处理方法、装置、存储介质与电子设备 | |
| WO2022253249A1 (zh) | 特征数据编解码方法和装置 | |
| WO2023005740A1 (zh) | 图像编码、解码、重建、分析方法、***及电子设备 | |
| CN112270755A (zh) | 三维场景构建方法、装置、存储介质与电子设备 | |
| CN113409203A (zh) | 图像模糊程度确定方法、数据集构建方法与去模糊方法 | |
| CN113658122A (zh) | 图像质量评价方法、装置、存储介质与电子设备 | |
| CN112233041A (zh) | 图像美颜处理方法、装置、存储介质与电子设备 | |
| CN113343895B (zh) | 目标检测方法、目标检测装置、存储介质与电子设备 | |
| CN114494942A (zh) | 视频分类方法及装置、存储介质及电子设备 | |
| CN113592009A (zh) | 图像语义分割方法、装置、存储介质与电子设备 | |
| CN112348739B (zh) | 图像处理方法、装置、设备及存储介质 | |
| CN117409057A (zh) | 全景图深度估计方法、设备及介质 | |
| CN116935166A (zh) | 模型训练方法、图像处理方法及装置、介质、设备 | |
| CN113781336B (zh) | 图像处理的方法、装置、电子设备与存储介质 | |
| CN115330633A (zh) | 图像色调映射方法及装置、电子设备、存储介质 | |
| CN113627314A (zh) | 人脸图像模糊检测方法、装置、存储介质与电子设备 | |
| CN114240750A (zh) | 视频分辨率提升方法及装置、存储介质及电子设备 | |
| CN115471765B (zh) | 一种航拍图像的语义分割方法、装置、设备及存储介质 | |
| CN111859001B (zh) | 图像相似度检测方法、装置、存储介质与电子设备 | |
| CN117390206B (zh) | 生鲜图像存储方法、装置、电子设备和计算机可读介质 | |
| CN117036177A (zh) | 图像恢复模型的确定方法、图像恢复方法及装置 | |
| CN115761246A (zh) | 特征提取模型的训练方法、信息推荐方法、装置和设备 | |
| CN118152601A (zh) | 图像处理方法、图像处理装置、介质与电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20211102 |
|
| WW01 | Invention patent application withdrawn after publication |