CN114842149A - 一种树状结构数据的图像与分割标签生成模型及应用 - Google Patents
一种树状结构数据的图像与分割标签生成模型及应用 Download PDFInfo
- Publication number
- CN114842149A CN114842149A CN202210556615.7A CN202210556615A CN114842149A CN 114842149 A CN114842149 A CN 114842149A CN 202210556615 A CN202210556615 A CN 202210556615A CN 114842149 A CN114842149 A CN 114842149A
- Authority
- CN
- China
- Prior art keywords
- image
- tree
- branch
- model
- branches
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 46
- 238000000547 structure data Methods 0.000 title claims abstract description 7
- 238000004088 simulation Methods 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 9
- 230000000877 morphologic effect Effects 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims abstract description 4
- 210000002569 neuron Anatomy 0.000 claims description 38
- 238000009826 distribution Methods 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 238000009827 uniform distribution Methods 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 3
- 230000001939 inductive effect Effects 0.000 claims description 3
- 230000014759 maintenance of location Effects 0.000 claims description 3
- 230000005012 migration Effects 0.000 claims description 3
- 238000013508 migration Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 abstract description 9
- 238000013135 deep learning Methods 0.000 abstract description 7
- 238000003709 image segmentation Methods 0.000 abstract description 6
- 210000003437 trachea Anatomy 0.000 abstract description 5
- 210000004556 brain Anatomy 0.000 abstract description 4
- 210000004072 lung Anatomy 0.000 abstract description 3
- 210000004204 blood vessel Anatomy 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 210000001116 retinal neuron Anatomy 0.000 abstract description 2
- 238000002474 experimental method Methods 0.000 description 14
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000002679 ablation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 210000001210 retinal vessel Anatomy 0.000 description 3
- 238000005094 computer simulation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/005—Tree description, e.g. octree, quadtree
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种树状结构数据的图像与分割标签生成模型及应用。所述模型包含基于少量专家知识设计的树状结构图像仿真器模型和基于形态损失函数的生成网络模型。本发明无需任何人工标注信息,即可以生成与真实目标图像风格极为相似的有标签仿真树状结构图像。此项技术可以针对各类医学图像中树状目标(如:大脑神经元,视网膜血管,肺部气管等)进行图像与分割标签生成,数据质量可达到人工标注数据的水平。本发明是首个具备自动生成分割级数据的模型,具有模型配置简单灵活、生成数据质量高,应用范围广泛的优势,可用于取代高成本高耗时的人工标注数据过程,有望彻底解决深度学习在处理医学树状图像分割问题时缺乏标注数据的瓶颈。
Description
技术领域
本发明属于生物医学工程领域,涉及一种树状结构数据的图像与分割标签生成模型及应用。无需任何人工标注信息,即可以生成与真实树状结构图像极为相似的有标签仿真图像,是一种极具潜力的可以解决神经网络依赖高质量标注数据问题的技术,该项技术可以应用在大脑神经元,视网膜血管,肺部气管等多种场景,具有极为广泛的实用价值。
背景技术
树状结构的基本形态可以表示为一种层次的嵌套结构,具有多级分支、三维伸展的形态特征。从一个根节点出发,沿枝干生长形成分支,在每层的分叉节点进行一次***后继续生长,以此形成多层次的树结构。在生物医学图像处理中,树结构图像的分割具有广泛的应用场景,例如包括大脑神经元重建,视网膜血管分割,肺部气管分割等多种场景。
基于数据驱动的深度神经网络是一种可以对树结构图像进行高精确度分割的模型。但实现一个强鲁棒性的深度网络需要大量高质量的专家标注数据作为训练数据。然而,这种树结构图像的标注,尤其是3D图像的标注是极为费时费力的。不同的生物学家在对枝干图像进行分析时可能遗漏某些细微的结构,对一些由于显微镜成像水平限制造成前景的枝干信号淹没在背景噪声的区域,标注人员很难将其区分开。
为了降低获取标注数据的难度,从而帮助这类树结构图像可以使用深度学习这一强有力的模型,我们期望使用计算机模拟生成具有丰富特征的标注数据,来代替繁琐的手工标注工作。
基于计算机模拟的方法包含两大类:基于模型的方法和基于模拟的方法。
基于模型的方法对整个成像过程进行建模。为了使模拟图像更真实,必须仔细考虑许多细节,包括枝干的长度,枝干半径、图像像素强度(或颜色)、成像的特征、噪声等,即使需要从真实图像中详细了解或统计一些参数。用这种方法模拟图像是一项较为耗时耗力的任务,每当图像的条件发生变化时,参数都必须由专家进行调整。
基于学习的方法利用新兴的深度学习技术生成视觉逼真的图像。这类方法通过生成对抗网络学习真实图像中的特征。生成对抗模型主要包含生成器与判别器两个深度神经网络。生成器G的输入为随机数据z,其目标是尽可能的学习真实数据中学习相关知识,输出为G(z)。判别器D的输入为生成器的生成图像G(z)和真实图像x这两类,其作用使最大可能的区分真实图像与生成图像。在模型的每次迭代中,生成器尽可能的想生成与真实图像的相似图像,从而骗过判别器。而判别器尽可能的对真实图像与合成图像进行区分。通过对模拟图像的图像风格进行调整,使得模拟图像足够逼真。但这类方法生成的模拟图像均没有提供像素或体素级的标签,导致其在分割任务中的应用受限。
发明内容
针对上述树状图像分割任务缺乏高质量的训练数据的问题,本发明的目的是提供一种树状结构数据的图像与分割标签生成模型,是一种树状结构图像与分割标签的生成模型,该模型包含两个模块,第一模块为基于少量专家知识设计的树状结构图像仿真器模型,用于生成粗粒度的树状结构图像,第二模块为基于形态损失函数的生成网络模型,用于学习真实树状结构图像风格,对仿真图像细节进行调整。通过两个模块的树状结构图像生成模型,实现自动生成大量高质量的有标签的分割级训练数据,彻底解决深度学习中训练数据缺乏的瓶颈。
为实现上述目的,本发明所设计的一种树状结构数据的图像与分割标签生成模型,包括的两个模块如下:
(1)基于少量专家知识设计的树状结构图像仿真器模型Mγ:通过归纳真实图像的先验知识构建仿真器,生成树状结构仿真图像与其对应的分割标签。树状图像的先验知识包含,树的形态(枝干分叉,枝干粗细和枝干长度)、像素或体素强度直方图、背景噪声和枝干的模糊效应等特征。
(2)基于形态损失函数的生成网络模型R:在保证图像底层分割级标签不变的情况下,学习真实图像的风格与形态特征,对模拟图像的细节纹理和整体像素或体素分布风格进行调整。
优选的,所述步骤(1)构建图像仿真模型Mγ的具体内容为:
(1-1)归纳树状结构图像的内部特征和外部特征建立树状结构图像仿真模型Mγ。内部特征指图像中枝干的几何特征,包含树的深度T,枝干分叉度B,枝干半径R,枝干长度L和枝干方向θ,这5个枝干几何特征。外部特征指图像的纹理特点,枝干强度分布和噪声分布。
(1-2)树状结构图像仿真模型Mγ的内部特征是用于模拟树的形状,在此使用一系列不同半径的节点来模拟典型的树状数据结构:
其中,ni为单个结点,其位置为pi=(xi,yi,zi),半径为ri。结点nj为结点ni的父节点,结点n0为根节点。在此数据结构基础上,对于每个结点ni需要指定其节点半径R、分枝长度L、分枝角度θ、枝干分叉度B和树的深度T。
树的深度T是指从根节点开始,树的分叉次数,按照均匀分布U(Tmin,Tmax)获得,其概率密度为:
其中,Tmax,Tmin分别为最大和最小的树深度。
枝干分叉度B是指分叉处的分叉子枝干树,在此按指数分布获得:
其中,α取1。
每条枝干上节点半径R按均匀分布U(Rmin,Rmax)获得,并且分支半径以δr的速率在每层树的深度上递减:
其中,Rmax,Rmin分别为最大和最小的枝干半径。枝干半径衰减率为δr。特别的,可以适当增加较细分支的比例,提升生成数据的分布中信号较弱的分支比例。
分枝长度L按均匀分布U(L/2,3L/2)获得,并且枝干长度以δl的速率在每层树的深度上递减。
其中,L为根据统计获得枝干的平均长度,枝干长度衰减率为δl。
子枝干的方向根据其父枝干方向确定,通过沿Z轴和Y轴依次旋转,旋转角度为θz和θy。角θy取较小的角度,按照均匀分布U(π/4,π/2)获得,使子枝干与父枝干的方向大致相同:
角θz按照等差数列获得:
其中,B为枝干分叉度,使得子枝干均匀的沿中心轴环绕分布。
通过对以上树状枝干特征的表示,可以实现对树状图像拓扑形态的建模。
(1-3)树状结构图像仿真模型Mγ的外部特征用于对图像的纹理特点,枝干强度分布和噪声分布建模。在树状结构图像中,设定前景为枝干信号,背景为除枝干外的噪声。外部特征考虑的特征包括前景和背景强度分布,成像过程中的模糊效应和噪声模式。
图像中,树状结构的枝干像素或体素强度Mf和背景部分Mb分别采用正态分布Mf~N(μf,σf)和Mb~N(μb,σb)模拟:
其中,μf,σf为前景的均值和方差,μb,σb为背景的均值和方差。
此外,对于图像前景的枝干,使用高斯核进行模糊处理,模拟显微镜成像的效果。同时,在背景中随机的位置添加大小随机的圆形斑点,以模拟图像中常见的斑点状噪声信号。
优选的,所述步骤(2)基于对抗网络的生成器的具体内容为:
(2-1)第二模块的基于形态损失函数的生成网络模型使用生成对抗网络从复杂的真实树状图像数据中学习相关特征,对第一模块模型生成的仿真图像风格进行调整,使之在保持原有底层的分割级标签的情况下,具有真实图像的特征。在我们的生成模型中,来自模拟器Mγ的合成图像z被输入细化器R以生成细化图像R(z)。然后,将真实图像x和精细图像R(z)送入鉴别器D,该鉴别器学习区分真实图像和精细图像。鉴别器D和细化器R可通过以下公式进行优化
(2-2)通过对抗学习的方式,可以学习仿真图像的分布到真实图像的分布之间的映射关系。然而,神经网络在求解这个映射的过程中,极易产生训练不稳定的问题,调整网络R往往会过分强调某些图像特征来欺骗当前的鉴别器网络,导致图像漂移和全黑的问题。此外,在通过调整器R的调整时,其底层的分割标签往往会产生较大的形变。具体的来说,对于树的枝杆,其半径可能会发生变化,导致调整后图像的枝杆变细或***,从而与其原有的分割标签失配。因此,在训练过程中添加对图像外部数据特征,对生成图像与原图像整体分布之间的相似度进行控制:
图像相似度损失:是当前无监督生成学习模型中较为常用的损失函数,其目的是为了控制调优模型在训练中的稳定性,避免模型陷入到单一的映射方式中。我们将数据相似度损失项写为:
||·||1为L1正则项。
我们使用以下两个式子计算|zF∪R(z)F|和|zF∩R(z)F|:
其中,
其中,K为一个较大的值,用于将图像的前景和背景明确的区分开。μ为前景和背景的阈值,可以根据图像预定义好的分割标签自动的统计得到:
其中,pb(x)是图像背景分布。当K值较大时,当且仅当zF和R(z)F均为前景时,|zF∩R(z)F|趋于1,否则趋于0。同理,当zF或R(z)F为前景时,|zF∪R(z)F|趋于1,否则趋于0。使用这个可微分的函数,可以使神经网络在反向传播的过程中可计算。通过这一项,我们可以控制图像在经过调整器后,仍然维持前景和背景的分布。
至此完成树状结构数据的图像与分割标签生成模型构建。
本发明的第二个目的是提供所述的模型的***架构在各类包含树状结构的医学图像分割中的应用,例如神经元分割,气管分割,视网膜血管分割等2D或3D的医学图像分割任务。通过本发明的生成模型,可以自动的生成与上述各类医学树状结构图像极为相似的树状结构仿真图像和其对应的分割级标签,用于取代高成本高耗时的人工标注数据过程。这些带标签的生成数据,可以直接用于训练对应图像的分割网络,用于解决各类图像的分割问题。
所述的第一模块的树状结构图像仿真器模型的应用,需针对不同图像的特点,统计所需的统计先验知识。具体包含图像内部特征(树的深度,枝干分叉度,枝干半径,枝干长度和枝干方向)和图像外部特征(前景和背景的强度分布,噪声特点和模糊效果)。基于以上特征的统计信息,作为构建仿真模型所需的专家知识。
所述的第二模块的基于形态损失函数的生成网络模型的应用,需构建一个端到端的生成式对抗网络,此网络可以通过学习真实树状图像中目标的像素或体素分布特征,实现对仿真图像的风格迁移。特别的,网络训练过程中使用形态损失函数,用于保持图像底层分割标签不变。
本发明是首个具备自动生成树状结构图像与分割级标签的模型,具有模型配置简单灵活、生成数据质量高,应用范围广泛的优势,可用于取代高成本高耗时的人工标注数据过程,有望彻底解决深度学习在处理医学树状图像分割问题时缺乏标注数据的瓶颈,具有极大的实际应用潜力。
附图说明
图1两阶段树状图像生成模型架构示意图。
图2两阶段树状图像生成模型技术流程图。
图3第一阶段仿真器生成的神经元图像与对应标签。
图4第二阶段生成模型的网络架构。
图5神经元树状图像生成模型的消融实验和真实神经元图像对比。
具体实施方式
为了更清楚地了解本发明实施方式,下面将结合附图和具体实施方式进行进一步说明。
实施例1
本实例中,选取小鼠大脑神经元图像作为应用场景示例。神经元形态重建被认为是理解生物大脑工作原理、揭示生命运行机制的核心步骤之一。神经元重建算法的一个重要子任务是对神经元三维图像进行图像分割,将图像中高强度值的神经元的前景与低强度值的噪声背景分割开。
然而,这种三维神经元图像的标注是极为费时费力的。不同的神经学家在对图像进行分析时可能遗漏某些细微的枝干结构;对一些由于光学显微镜成像水平限制造成前景的神经元信号淹没在背景噪声的区域,标注人员很难将其区分开。
为了降低获取标注数据的难度,从而帮助神经元重建任务可以使用深度学习这一强有力的模型,使用本发明提出的一种基于两阶段生成模型的图像仿真方法,实现自动生成高质量的分割级标签的图像数据,解决深度学习在神经元重建任务中训练数据缺乏的瓶颈,模型架构图如图一所示。
本发明提供的树状结构数据生成方法流程如下,如图2所示:
步骤A:构建神经元树状图像仿真器。基于神经元形态的先验知识,如,神经元枝干半径,枝干长度,枝干角度,分叉度数,和神经元树的深度,设计初始的神经元图像仿真器。用户需要根据真实的神经元图像,对以上先验知识进行统计并输入。构建树状结构图像仿真器模型时,具体参数设定如下:树深度Tmin和Tmax设为5和8;结点半径Rmin和Rmax设为2和4;枝干半径衰减率δr设为0.9;分枝长度L设为50;分枝长度衰减率δl设为0.9;生成8bit图像时,前景的均值μf和方差σf设为200和10,背景的均值μb和方差σb设为20和5;生成16bit图像时,前景的均值μf和方差σf设为1000和50,背景的均值μb和方差σb设为20和5。此外,神经元图像仿真器支持多进程并行计算,可快速生成大量仿真数据,包括仿真神经元图像(8-bit或16-bit),和其对应的分割级标签(0-1),如图3所示。
步骤B:生成网络的训练数据切分。由于3D的神经元图像尺寸较大,直接将其输入深度网络中会导致模型巨大且难以训练,因此本模型采用将神经元裁剪成小块的形式,每个小块大小为64*64*32。具体实施方法为,采用滑动窗口的形式,在神经元图像上滑动选取位置,当窗口内包含枝干强度较大的区域时,将图像块裁剪为训练图像。
步骤C:构建基于形态损失函数的生成式对抗网络。第二阶段采用基于生成式对抗网络的模型,包含调整器R和判别器D。将第一阶段的图像z输入到包含n个残差模块的调整器R中,并输出调整后的图像R(z)。然后将生成图像R(z)和真实图像输入判别器网络D中。判别器将尽可能的将生成图像和真实图像区分开,并回传梯度到调整器R,使R在下一次生成中,尽可能生成于真实图像相似的图像,使判别器无法区分。调整器R的网络架构如图4所示。通过两个网络对抗的形式,生成图像与真实图像的风格变得接近,在模型损失值趋于稳定后,即可停止训练。使用训练好的调整器R,将第一阶段的仿真图像作为输入,并输出最终的生成图像。
为了验证本发明的生成模型的可靠性,对模型生成的数据质量进行分析。在此,展示两阶段模型的消融实验生成数据的效果,验证模型各阶段的有效性。
对于两阶段模型的消融实验,包含4组对照组:
实验1:模块一的仿真器(内部特征),只生成具有树状拓扑结构的神经元图像;
实验2:模块一的仿真器(内部特征)+模块二的生成网络,基于实验1,首先生成具有树状拓扑结构的神经元图像,然后使用生成网络对图像细节进行调整;
实验3:模块一的仿真器(内部特征+外部特征),生成具有树状拓扑结构的神经元图像,并添加对前景,背景及噪声的图像外部特征渲染;
实验4:模块一的仿真器(内部特征+外部特征)+模块二的生成网络,基于在实验3,生成具有神经元图像内部特征和外部特征的仿真图像,然后使用生成网络对图像细节进行调整。
消融实验结果如图5所示。实验1采用只结合图像内部特征的神经元图像仿真器,生成的图像具有神经元的形态学特征,但图像的前景和背景都是常数值。实验2在实验1的基础上,结合第二阶段生成网络模型,可以观察到枝干产生了明显的模糊效应,但其前景和背景并不具有真是神经元图像的特征。对于实验3,采用结合图像内部特征和外部特征的神经元图像仿真器,其具备了真实神经元的基本形态和基本的像素或体素强度特征,但其纹理细节仍然不够真实。实验4模型的图像风格与真实图像最为相似。
此外,第一阶段的树状结构图像仿真器可以针对各类图像分别设计,本发明可以方便快速的应用于包括神经元图像重建,气管分割,视网膜血管分割等2D或3D的医学图像有标签数据生成任务中。凡在本发明的精神和原则之内,所作的任何修改,等同替换,改进,均应在本发明的保护范围内。
Claims (7)
1.一种两阶段的树状结构数据的图像与分割标签生成模型,其特征在于,该模型包含两个模块,第一模块为基于少量专家知识设计的树状结构图像仿真器模型,用于生成粗粒度的树状结构图像,第二模块为基于形态损失函数的生成网络模型,用于学习真实树状结构图像风格,对仿真图像细节进行调整;
(1)基于少量专家知识设计的树状结构图像仿真器模型Mγ:通过归纳真实图像的先验知识构建仿真器,生成树状结构仿真图像与其对应的分割标签,树状图像的先验知识包含,树的形态、像素或体素强度直方图、背景噪声和枝干的模糊效应特征;
(2)基于形态损失函数的生成网络模型R:在保证图像底层分割级标签不变的情况下,学习真实图像的风格与形态特征,对模拟图像的细节纹理和整体像素或体素分布风格进行调整。
2.根据权利要求1所述的图像与分割标签生成模型,其特征在于,第一模块中,基于少量专家知识设计的树状结构图像仿真器模型将树状结构图像的特征分为内部特征和外部特征,内部特征关注于图像中枝干的几何图像特征,包括树的深度,枝干分叉度,枝干半径,枝干长度和枝干方向,外部特征指图像的纹理特点,枝干强度分布和噪声分布。
3.根据权利要求2所述的图像与分割标签生成模型,其特征在于,树状结构图像的内部特征用于模拟枝干形状,神经元的基本形态用树形结构表示,其基本形态表示为一种层次的嵌套结构,具有多级分支、三维伸展的形态特征,从一个根节点出发,沿枝干生长形成分支,在每层的分叉节点进行一次***后继续生长,以此形成多层次的树结构,结构的开端,称为根结点,根节点之外的节点,称为子节点,没有连到其他子节点的节点,称为叶子节点,使用一系列不同半径的节点来模拟典型的树状结构:
其中,ni为单个结点,其位置为pi=(xi,yi,zi),半径为ri,结点nj为结点ni的父节点,结点n0为根节点,在此基础上,仿真模型Mγ生成仿真树状结构图像还需要以下参数,包括节点半径R、分枝长度L、分枝角度、枝干分叉度B和树的深度T,按照图像中枝干的形态统计的相关工作的结果设定;
树的深度T是指从根节点开始,树的分叉次数,按照均匀分布U(Tmin,Tmax)获得,其概率密度为:
其中,Tmax,Tmin分别为最大和最小的树深度;
枝干分叉度B是指分叉处的分叉子枝干树,在此按指数分布获得:
其中,α取1;
每条枝干上节点半径R按均匀分布U(Rmin,Rmax)获得,并且分支半径以δr的速率在每层树的深度上递减:
其中,Rmax,Rmin分别为最大和最小的枝干半径,枝干半径衰减率为δr;
分枝长度L按均匀分布U(L/2,3L/2)获得,并且枝干长度以δl的速率在每层树的深度上递减:
其中,L为根据统计获得枝干的平均长度,枝干长度衰减率为δl;
子枝干的方向根据其父枝干方向确定,通过沿Z轴和Y轴依次旋转,旋转角度为θz和θy,角θy取较小的角度,按照均匀分布U(π/4,π/2)获得,使子枝干与父枝干的方向大致相同:
角θz按照等差数列获得:
其中,B为枝干分叉度,使得子枝干均匀的沿中心轴环绕分布。
7.根据权利要求6所述的图像与分割标签生成模型,其特征在于,图像相似度损失是无监督生成学习模型中较为常用的损失函数,其目的是为控制调优模型在训练中的稳定性,避免模型陷入到单一的映射方式中,将数据相似度损失项写为:
‖·‖1为L1正则项;
其中,
其中,K是一个较大的数,其用于将图像的前景和背景明确的区分开,μ为前景和背景的阈值,根据图像预定义好的分割标签自动的统计得到:
其中,pb(x)是图像背景分布,当K值较大时,且当zF和R(z)F均为前景时,|zF∩R(z)F|趋于1,否则趋于0,同理,当zF或R(z)F为前景时,|zF∪R(z)F|趋于1,否则趋于0。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210556615.7A CN114842149A (zh) | 2022-05-19 | 2022-05-19 | 一种树状结构数据的图像与分割标签生成模型及应用 |
PCT/CN2022/131116 WO2023221421A1 (zh) | 2022-05-19 | 2022-11-10 | 一种树状结构数据的图像与分割标签生成模型及应用 |
US18/364,471 US20230377156A1 (en) | 2022-05-19 | 2023-08-02 | Image and segmentation label generative model for tree-structured data and application |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210556615.7A CN114842149A (zh) | 2022-05-19 | 2022-05-19 | 一种树状结构数据的图像与分割标签生成模型及应用 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114842149A true CN114842149A (zh) | 2022-08-02 |
Family
ID=82571838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210556615.7A Pending CN114842149A (zh) | 2022-05-19 | 2022-05-19 | 一种树状结构数据的图像与分割标签生成模型及应用 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114842149A (zh) |
WO (1) | WO2023221421A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023221421A1 (zh) * | 2022-05-19 | 2023-11-23 | 浙江大学 | 一种树状结构数据的图像与分割标签生成模型及应用 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117807782B (zh) * | 2023-12-29 | 2024-06-07 | 南京仁高隆软件科技有限公司 | 一种实现三维仿真模型的方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201809604D0 (en) * | 2018-06-12 | 2018-07-25 | Tom Tom Global Content B V | Generative adversarial networks for image segmentation |
WO2022047625A1 (zh) * | 2020-09-01 | 2022-03-10 | 深圳先进技术研究院 | 一种图像处理方法、***和计算机存储介质 |
CN114494711B (zh) * | 2022-02-25 | 2023-10-31 | 南京星环智能科技有限公司 | 一种图像特征的提取方法、装置、设备及存储介质 |
CN114842149A (zh) * | 2022-05-19 | 2022-08-02 | 浙江大学 | 一种树状结构数据的图像与分割标签生成模型及应用 |
-
2022
- 2022-05-19 CN CN202210556615.7A patent/CN114842149A/zh active Pending
- 2022-11-10 WO PCT/CN2022/131116 patent/WO2023221421A1/zh unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023221421A1 (zh) * | 2022-05-19 | 2023-11-23 | 浙江大学 | 一种树状结构数据的图像与分割标签生成模型及应用 |
Also Published As
Publication number | Publication date |
---|---|
WO2023221421A1 (zh) | 2023-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2023221421A1 (zh) | 一种树状结构数据的图像与分割标签生成模型及应用 | |
CN106548208B (zh) | 一种照片图像快速智能风格化方法 | |
CN106023195B (zh) | 基于自适应遗传算法的bp神经网络图像分割方法及装置 | |
CN108182427A (zh) | 一种基于深度学习模型和迁移学习的人脸识别方法 | |
CN107358626A (zh) | 一种利用条件生成对抗网络计算视差的方法 | |
CN110598843B (zh) | 一种基于判别器共享的生成对抗网络组织结构的训练方法 | |
CN111667490B (zh) | 一种眼底图片视杯视盘分割方法 | |
CN107330902B (zh) | 基于Arnold变换的混沌遗传BP神经网络图像分割方法 | |
CN107516312A (zh) | 一种应用浅层神经网络的中医面色自动分类方法 | |
CN108038859A (zh) | 基于pso和综合评价准则的pcnn图分割方法及装置 | |
CN111709911B (zh) | 一种基于神经网络的卵巢卵泡自动计数的方法 | |
CN113379715A (zh) | 一种水下图像增强和数据集真值图像获得方法 | |
CN116306793A (zh) | 一种基于对比孪生网络的具有目标任务指向性的自监督学习方法 | |
Gunesli et al. | AttentionBoost: Learning what to attend for gland segmentation in histopathological images by boosting fully convolutional networks | |
Liu et al. | Using simulated training data of voxel-level generative models to improve 3D neuron reconstruction | |
CN109948569B (zh) | 一种利用粒子滤波框架的三维混合表情识别方法 | |
Walther et al. | The mid-level vision toolbox for computing structural properties of real-world images | |
CN114399661A (zh) | 一种实例感知主干网络训练方法 | |
CN115018729B (zh) | 一种面向内容的白盒图像增强方法 | |
Cudic et al. | Unpaired mesh-to-image translation for 3D fluorescent microscopy images of neurons | |
CN112907503B (zh) | 基于自适应卷积神经网络的南美白对虾品质检测方法 | |
Garbaruk et al. | Digital image evolution of artwork without human evaluation using the example of the evolving mona lisa problem | |
CN114897884A (zh) | 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法 | |
DE112022002137T5 (de) | Hybrides differenzierbares Rendering für Lichttransportsimulationssysteme und -Anwendungen | |
US20230377156A1 (en) | Image and segmentation label generative model for tree-structured data and application |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |