CN109509192A - 融合多尺度特征空间与语义空间的语义分割网络 - Google Patents
融合多尺度特征空间与语义空间的语义分割网络 Download PDFInfo
- Publication number
- CN109509192A CN109509192A CN201811216130.3A CN201811216130A CN109509192A CN 109509192 A CN109509192 A CN 109509192A CN 201811216130 A CN201811216130 A CN 201811216130A CN 109509192 A CN109509192 A CN 109509192A
- Authority
- CN
- China
- Prior art keywords
- space
- network
- semantic
- scale
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种融合多尺度特征空间与语义空间的语义分割网络,包括:确定网络编码端的主干网络:VGG16作为编码端网络的主干部分,去掉第五个池化层,减少一次下采样;设计网络解码端的特征空间与语义空间的融合模块;利用多尺度特征空间与语义空间的融合模块进行高分辨率高精度语义分割;输出语义分割结果。
Description
技术领域
本发明属于计算机视觉、模式识别、深度学习和人工智能等领域中的场景理解技术,具体而言,特别是涉及在图像或视频中使用深度卷积神经网络对场景进行像素级语义分割的技术。
背景技术
如图1所示,现有的深度卷积神经网络主干部分为了增大深层网络的感受野和减小计算量,通常经过5次1/2倍下采样到输入图像的1/32倍。经过多次下采样之后,小物体和物体的细节部分的特征(比如边缘部分)逐渐被周围的像素区域融合,小物体特征的区分性不断下降。现有的代表性的基于深度神经网络的语义分割方法,比如FCN[1],在网络最后的预测阶段直接从很小的分辨率放大到原图的尺寸,比如从原图的1/32放大32倍到原图的尺寸。预测阶段过小的分辨率导致小物体和细长的物体部分的特征与周围像素混淆,分类不准,同时在恢复到原图尺寸时在边缘部分出现成片的误分类像素区域。虽然后来改进的工作尝试从网络不同尺度的层进行预测,最后融合不同尺度的预测并放大到原图尺寸。由于网络不同的层的语义级别差异较大,较前的层分类准确度较低,简单的融合多尺度预测带来的提升有限。为了提高预测端特征图的尺度和语义级别,一些编解码结构的网络,比如SegNet[2]和U-net[3],解码部分采用反卷积网络进行特征图上采样的操作,通过将编码网络部分的多尺度特征直接与解码端对应尺度的特征融合不断提升解码端特征的尺度,同时维持高级语义,获得了更加精细准确的分割结果,增加的计算量取决于解码部分网络的复杂度。另外一些网络在编码部分直接采用膨胀卷积来保持特征图分辨率,比如DeepLab[4],在维持网络的感受野不断变大的情况下,保持特征图的尺度最小到原图的1/8,带来了一定的提升,但是计算量也同时增加了。为了进一步改善小物体和物体细节部分的分割准确率,一些工作尝试在解码端进行多尺度的渐进式改善工作。在Refinenet[5]中,作者提出了一种refine模块,能够用来改善解码端特征的多尺度融合并提升解码端特征图分辨率,最终在较大尺度的特征图上做像素级的分类,取得了较大的提升。在GCN[6]中,作者采用较大的卷积核以便物体的特征能够被网络相应层级的感受野完整的覆盖,用来改善物体的分类准确度,同时增加边缘修正模块来改善大卷积核带来的边缘语义模糊问题,通过多尺度不断改善预测图的分辨率,取得不错的效果。
但是,现有的大多数工作都只是将图像语义分割当作图像逐像素分类的任务,没有考虑到语义分割对图像中物体的结构性要求和图像中各类像素区域的结构性特征,特别是同类连续像素区域的结构性和相邻不同类像素区域的差异性,导致出现成片的像素区域分类错误和物体边缘分类的模糊性。
参考文献:
[1]Long,J.,Shelhamer,E.,&Darrell,T.(2015).Fully convolutionalnetworks for semantic segmentation.In IEEE Conference on computer vision andpattern recognition(CVPR),3431-3440.
[2]Badrinarayanan,V.,Kendall,A.,&Cipolla,R.(2017).Segnet:A deepconvolutional encoder-decoder architecture for image segmentation.IEEEtransactions on pattern analysis and machine intelligence,39(12),2481-2495.
[3]Ronneberger,O.,Fischer,P.,&Brox,T.(2015).U-Net:ConvolutionalNetworks for Biomedical Image Segmentation.medical image computing andcomputer assisted intervention,234-241.
[4]Chen,L.C.,Papandreou,G.,Kokkinos,I.,Murphy,K.,&Yuille,A.L.(2018).Deeplab:Semantic image segmentation with deep convolutional nets,atrousconvolution,and fully connected crfs.IEEE transactions on pattern analysisand machine intelligence,40(4),834-848.
[5]Lin,G.,Milan,A.,Shen,C.,&Reid,I.(2017,July).Refinenet:Multi-pathrefinement networks for high-resolution semantic segmentation.In IEEEConference on computer vision and pattern recognition.
[6]Peng,C.,Zhang,X.,Yu,G.,Luo,G.,&Sun,J.(2017).Large Kernel Matters--Improve Semantic Segmentation by Global Convolutional Network.arXiv preprintarXiv:1703.02719.
发明内容
本发明的目的是为了克服现有基于逐像素分类语义分割方法未考虑同类连续像素区域的结构性和不同类相邻像素区域的结构差异性的问题,同时为了改善对小物体和物体细节部分的语义分割,提出融合多尺度特征空间与语义空间的语义分割网络。技术方案如下:
一种融合多尺度特征空间与语义空间的语义分割网络,包括:
(1)确定网络编码端的主干网络:VGG16作为编码端网络的主干部分,去掉第五个池化层,减少一次下采样;
(2)设计网络解码端的特征空间与语义空间的融合模块:针对解码端的某一尺度,融合模块将三条支路的输出串联起来,第一条支路是主干网络支路,融合之前网络的最后一层经过1x1卷积做通道间融合和通道方向的降维,再经过一次倍数为2的上采样;第二条支路为跳连接支路,即使用一个或几个卷积层,对编码端相对于当前主干网络最后一层高一个尺度的特征图进行特征融合和通道方向的降维;第三条支路为各类别像素区域的结构化语义生成支路,即对主干网络当前尺度的特征采用1x1卷积做类别预测,得到与数据库标签类别数相同的预测得分图,这一支由真实语义分割标签进行类别独立的监督,监督使用sigmoid交叉熵损失函数,减少多类类间竞争,获得属于各类的二分类预测图,将每一类别区域作为一个整体处理以加强各类的结构化信息,增强同类像素区域的紧凑性,融合之前需要先将预测得分使用sigmoid函数激活后再进行倍数为2的上采样;三部分相连之后使用一个3x3卷积层来融合三部分信息,紧接着使用一个3x3卷积进行降维;
(3)利用多尺度特征空间与语义空间的融合模块进行高分辨率高精度语义分割:在网络的解码端的多个尺度使用特征空间与语义空间的融合模块,通过引入高分辨率编码端更加准确的定位信息,同时利用特征和预测标签之间的相互促进作用,不断地对解码端特征和预测进行改进,直到获得较高分辨率的特征,并利用softmax交叉熵损失作为最后生成的预测的监督,在较小尺度的类别独立的监督强调类内的一致性,在较大尺度的多类竞争的监督加强类间的区分性,从而得到高分辨率高精度的语义分割预测结果;
(4)输出语义分割结果:给定输入图像,经过编码端网络的特征提取,解码端多尺度特征空间与语义空间的融合,得到高分辨率的预测图,预测图经过上采样到与图像一致的尺度,进而得到输入图像的像素级语义分割图。
附图说明
图1表示语义分割常用网络结构
图2表示融合多尺度特征空间与语义空间的语义分割网络架构
图3表示所提方法与FCN实验结果的对比示例
图4表示基于VGG16的融合多尺度特征空间与语义空间的语义分割网络的一个实施案例
具体实施方式
为了改善小物体,物体细节部分和边缘附近像素的语义分割性能,本发明提出了一种融合多尺度特征空间和语义空间的语义分割网络,基于这个网络实现端到端的高性能语义分割***,由于网络采用全卷积的形式,允许输入图像为任意尺度,只需要在边缘经过适当的补充使得图像的长宽能够被网络最大的下采样倍数整除即可。其中,多尺度特征空间是指网络特征提取部分经过多层卷积和下采样产生的多尺度特征图,多尺度语义空间是指对网络的多个尺度进行监督得到的预测图。网络的主体架构如图2所示。我们所提出的网络主要由编码端和解码端两部分构成。编码端网络实现图像的多级多尺度特征提取。解码端部分用于融合多尺度特征空间和语义空间,以实现对图像的语义分割从粗糙的小尺度到精细的大尺度的不断改善,多尺度特征的不断融合能够改善用于预测的特征图的分辨率同时保持物体细节部分的信息,多尺度语义空间和特征空间的不断融合能够加强同类像素区域的结构紧凑性和不同类像素区域的区分性。其中编码端的网络包含多层卷积和下采样或池化操作,与大多数用于图像分类的网络全连接层之前的部分相似。解码端部分是本技术方案的核心部分,包含多次卷积,上采样或反卷积层以及多个尺度的融合层。在我们的融合层的操作中,融合的信息来源于三个部分:
●主干网络,即融合之前网络的最后一层产生的特征图,融合之前需要进行上采样。
●跳连接,即使用一个或几个卷积层,对编码端相对于当前主干网络最后一层高一个尺度的特征图进行一定的特征融合。
●各类别像素区域的结构化语义图,即对多个尺度特征采用真实语义分割标签进行类别独立的监督,监督使用sigmoid交叉熵损失函数,减少多类类间竞争,获得属于各类的二分类预测图,以加强各类的结构化信息,增强同类像素区域的紧凑性,融合之前需要进行上采样。
在网络经过多个尺度的特征空间与语义空间的融合之后,对最后用于预测的特征图采用多类softmax交叉熵损失函数进行监督,提供多类类间竞争,加强不同类像素区域的区分性。对softmax的输出在每个位置取所有类的最大值即得到最后的语义分割图。
采用本发明所述方法,通过融合多尺度特征空间与语义空间,能够减少小物体和物体细节部分在编码网络前向传播过程中被周围像素混淆的情况,同时能够改善边缘附近像素被成片分错的情况,使得同类像素区域更加紧凑,不同类像素区域区分性更强。相对于Refinenet和GCN方法而言,融合多尺度特征空间与语义空间的语义分割网络,能够同时利用多尺度特征空间的融合改善用于预测端特征图的分辨率和多尺度语义空间的融合改善不同类像素区域的结构化预测和类间区分性。图3展示了我们的方法与FCN的结果的一个对比,图中左边一列是原图,中间一列是FCN的结果,最后一列是我们所提方法的结果,明显看出我们所提的方法在小物体,物体细节部分以及边缘附近像素区域的优势。
本发明的融合多尺度特征空间与语义空间的语义分割网络,可以根据设备的限制调整网络的大小和超参数,以满足性能和效率的平衡。为了证明我们所提出的网络的有效性,我们根据所提技术方案,实现了一个语义分割网络,并在PASCAL VOC2012数据集上进行实验,试验结果表明我们所提出的融合多尺度特征空间与语义空间的语义分割网络能够提升小物体,物体细节部分和边缘附近像素区域语义分割的准确率以及同类像素区域的紧凑性和相邻不同类像素区域的区分性。如图4所示,我们所构造的语义分割网络的具体实施方式如下:
第一步,我们以VGG16作为编码端网络的主干部分,去掉第五个池化层,减少一次下采样。
第二步,网络解码端的特征空间与语义空间的融合模块。针对解码端的某一尺度,融合模块将三条支路的输出串联起来。第一条支路是主干网络支路,融合之前网络的最后一层经过1x1卷积做通道间融合和通道方向的降维,再经过一次倍数为2的上采样。第二条支路为跳连接支路,即使用一个或几个卷积层,对编码端相对于当前主干网络最后一层高一个尺度的特征图进行特征融合和通道方向的降维。第三条支路为各类别像素区域的结构化语义生成支路,即对主干网络当前尺度的特征采用1x1卷积做类别预测,得到与数据库标签类别数相同(Pascal为20类目标加一类背景共21类标签)的预测得分图,这一支由真实语义分割标签进行类别独立的监督,监督使用sigmoid交叉熵损失函数,减少多类类间竞争,获得属于各类的二分类预测图,将每一类别区域作为一个整体处理以加强各类的结构化信息,增强同类像素区域的紧凑性,融合之前需要先将预测得分使用sigmoid函数激活后再进行倍数为2的上采样。三部分相连之后使用一个3x3卷积层来融合三部分信息,紧接着使用一个3x3卷积进行降维。
第三步,利用多尺度特征空间与语义空间的融合模块进行高分辨率高精度语义分割。在网络的解码端的多个尺度使用特征空间与语义空间的融合模块,通过引入高分辨率编码端更加准确的定位信息,同时利用特征和预测标签之间的相互促进作用,不断地对解码端特征和预测进行改进,直到获得较高分辨率的特征,从而得到高分辨率的语义分割预测结果。利用多尺度融合模块直到输出特征图尺寸足够大,这里我们将最后的特征图尺寸定为原图的1/4.
第四步,网络主体构建完成之后为了更好的训练网络,需要选取恰当的损失函数进行监督和训练。我们对于每个融合部分结构化语义预测的监督采用sigmoid交叉熵损失,在提供各类独立的结构预测的同时减少类间竞争,类别独立的监督更加强调类内的一致性。在最后的语义分割预测部分采用softmax交叉熵损失,引入类间竞争,加强类间的区分性,以便得到高分辨率高精度的多分类语义分割图。
第五步,配置训练数据(由Pascal VOC 2012语义分割数据集提供)和训练超参数。网络的训练中我们设置基础学习率为0.0001,每20个循环降为原来的1/10,总循环数为40,batch大小为5,参数正则化权重为1e-5。所有训练均在单卡GTX TITAN X GPU上进行。
第六步,在网络的测试过程不需要训练过程中的监督和损失计算项,可以去掉,简化网络模型用于部署。
本发明的方法与FCN在PascalVOC 2012数据集上的综合性能对比如表1所示,其中32s,16s,8s,4s表示网络最后输出的预测图相对于原图的尺度,4s表示为原图的1/4尺度,其它的可以以此类推,PixelAcc.表示不考虑类别,总体的像素分类的准确率,mIOU表示各类别交并比的平均值,mIOU更能反应语义分割的性能:
表1 Pascal VOC 2012数据集实验对比
Network | PixelAcc. | mIoU |
FCN 32s | 90.5 | 63.6 |
FCN 16s | 91 | 65 |
FCN 8s | 91.1 | 65.4 |
所提方法16s | 91.8 | 68.2 |
所提方法8s | 92.6 | 69.8 |
所提方法4s | 93.2 | 71.3 |
Claims (1)
1.一种融合多尺度特征空间与语义空间的语义分割网络,包括:
(1)确定网络编码端的主干网络:VGG16作为编码端网络的主干部分,去掉第五个池化层,减少一次下采样;
(2)设计网络解码端的特征空间与语义空间的融合模块:针对解码端的某一尺度,融合模块将三条支路的输出串联起来,第一条支路是主干网络支路,融合之前网络的最后一层经过1x1卷积做通道间融合和通道方向的降维,再经过一次倍数为2的上采样;第二条支路为跳连接支路,即使用一个或几个卷积层,对编码端相对于当前主干网络最后一层高一个尺度的特征图进行特征融合和通道方向的降维;第三条支路为各类别像素区域的结构化语义生成支路,即对主干网络当前尺度的特征采用1x1卷积做类别预测,得到与数据库标签类别数相同的预测得分图,这一支由真实语义分割标签进行类别独立的监督,监督使用sigmoid交叉熵损失函数,减少多类类间竞争,获得属于各类的二分类预测图,将每一类别区域作为一个整体处理以加强各类的结构化信息,增强同类像素区域的紧凑性,融合之前需要先将预测得分使用sigmoid函数激活后再进行倍数为2的上采样;三部分相连之后使用一个3x3卷积层来融合三部分信息,紧接着使用一个3x3卷积进行降维;
(3)利用多尺度特征空间与语义空间的融合模块进行高分辨率高精度语义分割:在网络的解码端的多个尺度使用特征空间与语义空间的融合模块,通过引入高分辨率编码端更加准确的定位信息,同时利用特征和预测标签之间的相互促进作用,不断地对解码端特征和预测进行改进,直到获得较高分辨率的特征,并利用softmax交叉熵损失作为最后生成的预测的监督,在较小尺度的类别独立的监督强调类内的一致性,在较大尺度的多类竞争的监督加强类间的区分性,从而得到高分辨率高精度的语义分割预测结果;
(4)输出语义分割结果:给定输入图像,经过编码端网络的特征提取,解码端多尺度特征空间与语义空间的融合,得到高分辨率的预测图,预测图经过上采样到与图像一致的尺度,进而得到输入图像的像素级语义分割图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811216130.3A CN109509192B (zh) | 2018-10-18 | 2018-10-18 | 融合多尺度特征空间与语义空间的语义分割网络 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811216130.3A CN109509192B (zh) | 2018-10-18 | 2018-10-18 | 融合多尺度特征空间与语义空间的语义分割网络 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109509192A true CN109509192A (zh) | 2019-03-22 |
CN109509192B CN109509192B (zh) | 2023-05-30 |
Family
ID=65746720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811216130.3A Active CN109509192B (zh) | 2018-10-18 | 2018-10-18 | 融合多尺度特征空间与语义空间的语义分割网络 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109509192B (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110059769A (zh) * | 2019-04-30 | 2019-07-26 | 福州大学 | 用于街景理解的基于像素重排重建的语义分割方法及*** |
CN110059698A (zh) * | 2019-04-30 | 2019-07-26 | 福州大学 | 用于街景理解的基于边缘稠密重建的语义分割方法及*** |
CN110288524A (zh) * | 2019-05-09 | 2019-09-27 | 广东启迪图卫科技股份有限公司 | 基于增强型上采样和辨别融合机制的深度学习超分辨率方法 |
CN110348537A (zh) * | 2019-07-18 | 2019-10-18 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
CN110633706A (zh) * | 2019-08-02 | 2019-12-31 | 杭州电子科技大学 | 一种基于金字塔网络的语义分割方法 |
CN111223113A (zh) * | 2020-01-07 | 2020-06-02 | 宁波大学 | 基于双重密集上下文感知网络的核磁共振海马体分割算法 |
CN111340189A (zh) * | 2020-02-21 | 2020-06-26 | 之江实验室 | 一种空间金字塔图卷积网络实现方法 |
CN111507215A (zh) * | 2020-04-08 | 2020-08-07 | 常熟理工学院 | 基于时空卷积循环神经网络与空洞卷积的视频目标分割方法 |
CN111914948A (zh) * | 2020-08-20 | 2020-11-10 | 上海海事大学 | 一种基于粗精语义分割网络的海流机叶片附着物自适应识别方法 |
CN111950515A (zh) * | 2020-08-26 | 2020-11-17 | 重庆邮电大学 | 一种基于语义特征金字塔网络的小人脸检测方法 |
CN111968150A (zh) * | 2020-08-19 | 2020-11-20 | 中国科学技术大学 | 一种基于全卷积神经网络的弱监督视频目标分割方法 |
CN112699830A (zh) * | 2021-01-07 | 2021-04-23 | 京东方科技集团股份有限公司 | 图像处理方法、装置及计算机可读存储介质 |
CN112801104A (zh) * | 2021-01-20 | 2021-05-14 | 吉林大学 | 基于语义分割的图像像素级伪标签确定方法及*** |
CN112884772A (zh) * | 2019-11-29 | 2021-06-01 | 北京四维图新科技股份有限公司 | 语义分割架构 |
CN112949416A (zh) * | 2021-02-04 | 2021-06-11 | 东华理工大学 | 一种监督的高光谱多尺度图卷积分类方法 |
CN113205481A (zh) * | 2021-03-19 | 2021-08-03 | 浙江科技学院 | 基于阶梯状递进神经网络的显著性物体检测方法 |
CN113303807A (zh) * | 2021-05-18 | 2021-08-27 | 浙江大学 | 一种心电数据生成方法 |
TWI740309B (zh) * | 2019-07-18 | 2021-09-21 | 大陸商北京市商湯科技開發有限公司 | 圖像處理方法及裝置、電子設備和電腦可讀儲存介質 |
CN113487588A (zh) * | 2020-03-02 | 2021-10-08 | 博动医学影像科技(上海)有限公司 | 冠状动脉的血流速度的计算方法、装置及电子设备 |
CN113538485A (zh) * | 2021-08-25 | 2021-10-22 | 广西科技大学 | 学习生物视觉通路的轮廓检测方法 |
CN114693967A (zh) * | 2022-03-20 | 2022-07-01 | 电子科技大学 | 基于二分类张量增强的多分类语义分割方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170262735A1 (en) * | 2016-03-11 | 2017-09-14 | Kabushiki Kaisha Toshiba | Training constrained deconvolutional networks for road scene semantic segmentation |
CN107704866A (zh) * | 2017-06-15 | 2018-02-16 | 清华大学 | 基于新型神经网络的多任务场景语义理解模型及其应用 |
CN108062756A (zh) * | 2018-01-29 | 2018-05-22 | 重庆理工大学 | 基于深度全卷积网络和条件随机场的图像语义分割方法 |
CN108268870A (zh) * | 2018-01-29 | 2018-07-10 | 重庆理工大学 | 基于对抗学习的多尺度特征融合超声图像语义分割方法 |
-
2018
- 2018-10-18 CN CN201811216130.3A patent/CN109509192B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170262735A1 (en) * | 2016-03-11 | 2017-09-14 | Kabushiki Kaisha Toshiba | Training constrained deconvolutional networks for road scene semantic segmentation |
CN107704866A (zh) * | 2017-06-15 | 2018-02-16 | 清华大学 | 基于新型神经网络的多任务场景语义理解模型及其应用 |
CN108062756A (zh) * | 2018-01-29 | 2018-05-22 | 重庆理工大学 | 基于深度全卷积网络和条件随机场的图像语义分割方法 |
CN108268870A (zh) * | 2018-01-29 | 2018-07-10 | 重庆理工大学 | 基于对抗学习的多尺度特征融合超声图像语义分割方法 |
Non-Patent Citations (2)
Title |
---|
孙汉卿;庞彦伟;: "一种自学习不确定度的神经网络架构" * |
路文超;庞彦伟;何宇清;王建;: "基于可分离残差模块的精确实时语义分割" * |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110059698A (zh) * | 2019-04-30 | 2019-07-26 | 福州大学 | 用于街景理解的基于边缘稠密重建的语义分割方法及*** |
CN110059769A (zh) * | 2019-04-30 | 2019-07-26 | 福州大学 | 用于街景理解的基于像素重排重建的语义分割方法及*** |
CN110059769B (zh) * | 2019-04-30 | 2022-11-18 | 福州大学 | 用于街景理解的基于像素重排重建的语义分割方法及*** |
CN110059698B (zh) * | 2019-04-30 | 2022-12-23 | 福州大学 | 用于街景理解的基于边缘稠密重建的语义分割方法及*** |
CN110288524A (zh) * | 2019-05-09 | 2019-09-27 | 广东启迪图卫科技股份有限公司 | 基于增强型上采样和辨别融合机制的深度学习超分辨率方法 |
CN110348537A (zh) * | 2019-07-18 | 2019-10-18 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
TWI740309B (zh) * | 2019-07-18 | 2021-09-21 | 大陸商北京市商湯科技開發有限公司 | 圖像處理方法及裝置、電子設備和電腦可讀儲存介質 |
CN110633706A (zh) * | 2019-08-02 | 2019-12-31 | 杭州电子科技大学 | 一种基于金字塔网络的语义分割方法 |
CN110633706B (zh) * | 2019-08-02 | 2022-03-29 | 杭州电子科技大学 | 一种基于金字塔网络的语义分割方法 |
CN112884772B (zh) * | 2019-11-29 | 2024-03-19 | 北京四维图新科技股份有限公司 | 语义分割架构 |
CN112884772A (zh) * | 2019-11-29 | 2021-06-01 | 北京四维图新科技股份有限公司 | 语义分割架构 |
CN111223113A (zh) * | 2020-01-07 | 2020-06-02 | 宁波大学 | 基于双重密集上下文感知网络的核磁共振海马体分割算法 |
CN111223113B (zh) * | 2020-01-07 | 2023-04-18 | 宁波大学 | 基于双重密集上下文感知网络的核磁共振海马体分割算法 |
CN111340189B (zh) * | 2020-02-21 | 2023-11-24 | 之江实验室 | 一种空间金字塔图卷积网络实现方法 |
CN111340189A (zh) * | 2020-02-21 | 2020-06-26 | 之江实验室 | 一种空间金字塔图卷积网络实现方法 |
CN113487588B (zh) * | 2020-03-02 | 2024-03-22 | 上海博动医疗科技股份有限公司 | 冠状动脉的血流速度的计算方法、装置及电子设备 |
CN113487588A (zh) * | 2020-03-02 | 2021-10-08 | 博动医学影像科技(上海)有限公司 | 冠状动脉的血流速度的计算方法、装置及电子设备 |
CN111507215A (zh) * | 2020-04-08 | 2020-08-07 | 常熟理工学院 | 基于时空卷积循环神经网络与空洞卷积的视频目标分割方法 |
CN111968150A (zh) * | 2020-08-19 | 2020-11-20 | 中国科学技术大学 | 一种基于全卷积神经网络的弱监督视频目标分割方法 |
CN111914948A (zh) * | 2020-08-20 | 2020-11-10 | 上海海事大学 | 一种基于粗精语义分割网络的海流机叶片附着物自适应识别方法 |
CN111950515B (zh) * | 2020-08-26 | 2022-10-18 | 重庆邮电大学 | 一种基于语义特征金字塔网络的小人脸检测方法 |
CN111950515A (zh) * | 2020-08-26 | 2020-11-17 | 重庆邮电大学 | 一种基于语义特征金字塔网络的小人脸检测方法 |
CN112699830A (zh) * | 2021-01-07 | 2021-04-23 | 京东方科技集团股份有限公司 | 图像处理方法、装置及计算机可读存储介质 |
CN112801104B (zh) * | 2021-01-20 | 2022-01-07 | 吉林大学 | 基于语义分割的图像像素级伪标签确定方法及*** |
CN112801104A (zh) * | 2021-01-20 | 2021-05-14 | 吉林大学 | 基于语义分割的图像像素级伪标签确定方法及*** |
CN112949416A (zh) * | 2021-02-04 | 2021-06-11 | 东华理工大学 | 一种监督的高光谱多尺度图卷积分类方法 |
CN113205481A (zh) * | 2021-03-19 | 2021-08-03 | 浙江科技学院 | 基于阶梯状递进神经网络的显著性物体检测方法 |
CN113303807A (zh) * | 2021-05-18 | 2021-08-27 | 浙江大学 | 一种心电数据生成方法 |
CN113538485B (zh) * | 2021-08-25 | 2022-04-22 | 广西科技大学 | 学习生物视觉通路的轮廓检测方法 |
CN113538485A (zh) * | 2021-08-25 | 2021-10-22 | 广西科技大学 | 学习生物视觉通路的轮廓检测方法 |
CN114693967A (zh) * | 2022-03-20 | 2022-07-01 | 电子科技大学 | 基于二分类张量增强的多分类语义分割方法 |
CN114693967B (zh) * | 2022-03-20 | 2023-10-31 | 电子科技大学 | 基于二分类张量增强的多分类语义分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109509192B (zh) | 2023-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109509192A (zh) | 融合多尺度特征空间与语义空间的语义分割网络 | |
CN109543667B (zh) | 一种基于注意力机制的文本识别方法 | |
Zhou et al. | MFFENet: Multiscale feature fusion and enhancement network for RGB–thermal urban road scene parsing | |
Chen et al. | Semantic image segmentation with deep convolutional nets and fully connected crfs | |
CN111428718B (zh) | 一种基于图像增强的自然场景文本识别方法 | |
CN112766172B (zh) | 一种基于时序注意力机制的人脸连续表情识别方法 | |
CN108509880A (zh) | 一种视频人物行为语义识别方法 | |
CN110175613A (zh) | 基于多尺度特征和编解码器模型的街景图像语义分割方法 | |
CN108509978A (zh) | 基于cnn的多级特征融合的多类目标检测方法及模型 | |
CN111191583A (zh) | 基于卷积神经网络的空间目标识别***及方法 | |
Li et al. | Pedestrian detection based on deep learning model | |
CN110942466B (zh) | 一种基于深度学习技术的脑动脉分割方法及装置 | |
Dandıl et al. | Real-time facial emotion classification using deep learning | |
Xin et al. | Residual attribute attention network for face image super-resolution | |
Li et al. | Advanced deep networks for 3D mitochondria instance segmentation | |
Kamran et al. | Efficient yet deep convolutional neural networks for semantic segmentation | |
CN113674334A (zh) | 基于深度自注意力网络和局部特征编码的纹理识别方法 | |
CN112767417A (zh) | 一种基于级联U-Net网络的多模态图像分割方法 | |
Lu et al. | MFNet: Multi-feature fusion network for real-time semantic segmentation in road scenes | |
Wen et al. | Segmenting medical MRI via recurrent decoding cell | |
Song et al. | Hierarchical edge refinement network for saliency detection | |
Huang et al. | Video frame prediction with dual-stream deep network emphasizing motions and content details | |
Ma et al. | Convolutional transformer network for fine-grained action recognition | |
Jing et al. | Video prediction: a step-by-step improvement of a video synthesis network | |
CN113722536A (zh) | 基于双线性自适应特征交互与目标感知的视频描述方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |