CN109544512A - 一种基于多模态的胚胎妊娠结果预测装置 - Google Patents
一种基于多模态的胚胎妊娠结果预测装置 Download PDFInfo
- Publication number
- CN109544512A CN109544512A CN201811254848.1A CN201811254848A CN109544512A CN 109544512 A CN109544512 A CN 109544512A CN 201811254848 A CN201811254848 A CN 201811254848A CN 109544512 A CN109544512 A CN 109544512A
- Authority
- CN
- China
- Prior art keywords
- embryo
- image
- pregnancy outcome
- modal
- outcome prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000001161 mammalian embryo Anatomy 0.000 title claims abstract description 79
- 230000035935 pregnancy Effects 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 claims abstract description 25
- 210000000625 blastula Anatomy 0.000 claims abstract description 10
- 238000013434 data augmentation Methods 0.000 claims abstract description 8
- 238000012546 transfer Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 238000003706 image smoothing Methods 0.000 claims description 3
- 230000005055 memory storage Effects 0.000 claims description 2
- 238000012549 training Methods 0.000 abstract description 8
- 238000000338 in vitro Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000004720 fertilization Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000002054 transplantation Methods 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 208000021267 infertility disease Diseases 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 206010021929 Infertility male Diseases 0.000 description 1
- 208000007466 Male Infertility Diseases 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005138 cryopreservation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000008143 early embryonic development Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000013020 embryo development Effects 0.000 description 1
- 210000000981 epithelium Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 208000000509 infertility Diseases 0.000 description 1
- 230000036512 infertility Effects 0.000 description 1
- 231100000535 infertility Toxicity 0.000 description 1
- 230000009027 insemination Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000008774 maternal effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003716 rejuvenation Effects 0.000 description 1
- 230000001850 reproductive effect Effects 0.000 description 1
- 230000001573 trophoblastic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30044—Fetus; Embryo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明公开了一种基于多模态的胚胎妊娠结果预测装置,属于医疗人工智能领域,首先获取体外受精后发育至囊胚期的胚胎图像以及对应的妊娠结果,获取胚胎的囊胚、内细胞团和滋养层细胞的三张图片,以妊娠结果为标签,标注数据,作为原始数据。然后使用高斯核函数对图像进行平滑处理,去除部分噪声,再对图像进行归一化操作。之后对图像进行数据增广,作为输入数据。使用多模态方法融合三张图像的图像,使输入图像包含三个评估方面的特征。将融合后的图像传入ResNet‑50中训练,根据目标标签优化网络,迭代至训练完成。有了模型后,在胚胎移植前,拍摄三张图像,即可传入模型预测妊娠结果,根据输出结果选择高成功率的胚胎,即可提高最终妊娠成功率。
Description
技术领域
本发明涉及医疗人工智能领域,具体地说,涉及一种基于多模态的胚胎妊娠结果预测装置。
背景技术
我国***不育率已经从20年前的2.5%-3%攀升到了12.5%-15%,且呈现出不断增加与年轻化的趋势,据统计,2016年我国***不育患者已超5000万。另一方面,二胎政策的开放带来生育高峰,近年来我国每年约有1600万新生儿,其中约有200-240万新生儿因***不育无法出生。这直接导致了辅助生殖市场需求的激增与规模的扩大。
辅助生殖技术主要指人工授精和体外受精-胚胎移植(In Vitro Fertilizationand Embryo Transfer,IVF-ET)技术两大类,其中后者是主流选择。在40年间,IVF试管婴儿技术经历了三代变化,第三代试管婴儿技术在解决女性***和男性不育基础上,还可通过移植前筛查,满足人们优生优育的需求。
试管婴儿技术采用人工方法让***和***在体外受精,并进行早期胚胎发育,然后移植到母体子宫内妊娠发育,成熟后通过正常方式分娩。在移植前,需要对发育至囊胚期的胚胎进行评估,以选择优质胚胎进行胚胎冷冻或胚胎移植。
评判标准主要为囊胚扩张程度与囊胚形态学评分:囊胚扩张程度可以通过囊胚分期来衡量,根据囊胚腔在胚胎中的发育扩张程度,可将囊胚扩张划分为6个时期,分期越高代表囊胚发育越完全,移植评分越高;囊胚形态学评分又可划分为内细胞团分级和滋养层细胞分级,分别代表内细胞团数目的多少和滋养层细胞的疏密,内细胞数目少、滋养层细胞稀疏的囊胚可获得更高的评分。评估后,得分高于设定值的胚胎才会被选中,参与后续移植操作。
然而,上述评估方法使用“多”、“少”、“疏”、“密”等词语来模糊界定分级标准,在实际操作时,往往会由于评估医师的主观认知产生偏差,且不同医师的评分标准也不尽相同,最终获得的胚胎评估指标不甚标准。据统计,目前国际上IVF的整体妊娠率在50%-60%,其中,移植到母体内的胚胎质量是一个主要的影响因素,因此,若能使用计算机对囊胚期胚胎进行更严格、更准确的评估分级,将大大提升胚胎移植后的妊娠成功率。
1998年,LECUN等人首次提出了卷积神经网络(convolutional neural network,CNN)LeNet模型,后被美国许多银行用来识别支票上的手写数字,且准确率很高。直到2012年,CNN模型在ImageNet竞赛中取得第一,从此CNN在图像处理与目标识别领域被广泛应用,成为深度学习方法在图像处理领域的通用神经网络。
深度学习方法在图像处理领域取得了巨大的成就,这也为使用深度学习技术辅助医生进行诊断提供了可能。目前,以深度学习为基础的计算机辅助诊疗(computer aideddiagnosis,CAD)***,就有着广泛的应用。已有许多***使用CNN对医学图像建立模型,进行病变区域检测、病变级别分类、病情发展预测等工作。然而,当前尚未有使用深度学习算法,进行高效、准确胚胎妊娠预测的***。
发明内容
本发明的目的为提供一种基于多模态的胚胎妊娠结果预测装置,在移植母体前使用多模态卷积神经网络对胚胎质量进行评估,预测其移植妊娠成功率,从而选择优质胚胎进行移植,提高母体最终的妊娠成功率。
为了实现上述目的,本发明提供的基于多模态胚胎妊娠结果预测装置包括:存储器和处理器,存储器存储有计算机可执行指令,处理器与存储器通信连接,并配置为执行存储器存储的计算机可执行指令,存储器中还存储有胚胎妊娠结果预测模型;应用时,计算机可执行指令在被执行时,实现以下步骤:
1)依次对囊胚期的囊胚、内细胞团和滋养层细胞三张图像进行去噪处理、数据增广和归一化处理;
2)对同一胚胎的三张样本图像进行多模态融合,将三张H*W*3样本图像进行拼接,获得H*W*3*3四维张量,其中,H为长度,W为宽度,前一个“3”代表颜色通道,后增加的“3”表示三张图像;
3)将处理得到的四维张量输入胚胎妊娠结果预测模型中,获得妊娠成功概率。
作为优选,胚胎妊娠结果预测模型通过以下步骤获得:
a.对于同一胚胎在囊胚期的囊胚、内细胞团和滋养层细胞三张图像,使用胚胎移植到母体后的最终妊娠结果作为三张图像的标签,保存为样本;
b.采用所述步骤1)和步骤2)的方法对样本图像进行处理得到融合后的图像;
c.利用融合后的图像和对应的标签对ResNet-50网络进行训练,获得胚胎妊娠结果预测模型。
上述技术方案中,基于真实临床案例的胚胎图像,分别对胚胎的囊胚、内细胞团和滋养层细胞对焦拍摄,获取三张图片,以妊娠结果为标签,标注数据,作为原始数据。然后对图像进行平滑去噪,之后对图像进行归一化操作,之后进行数据增广,作为输入数据。使用多模态方法融合三张图像,使输入图像包含三个评估方面的特征,使预测结果更加精准。将融合后的图像传入ResNet-50中训练,根据目标标签优化网络,迭代至训练完成。有了模型后,在胚胎移植前,拍摄三张图像,即可传入模型预测妊娠结果,根据输出结果选择高成功率的胚胎,即可提高最终妊娠成功率。
步骤1)中对样本图像进行去噪处理的方法为:使用高斯模糊函数对样本图像进行平滑去噪,其核函数公式为
其中x和y分别表示噪点的像素位置相对图像中心点的横向距离及纵向距离,σ表示高斯模糊函数的方差。
使用高斯函数进行平滑操作,目的在于:对囊胚期胚胎的评估只涉及到内细胞团的多少和上皮滋养层的结构疏密,细胞内部的细节特征无需太多,因此使用高斯函数进行平滑操作,提取小区域中的整体特征,利于后续网络学习,同时也起到图像降噪效果,提高分类的速度和准确率。
作为优选,针对囊胚、内细胞团和滋养层细胞三种图像中的每张图像进行以下步骤:选用三个高斯函数对样本图像分别进行三次平滑操作,并对每张图像平滑后生成的三张图片,进行加权平均,获得一张平滑结果图。优选三个高斯函数的配置分别为:5*5高斯核,σ=2;3*3高斯核,σ=1;3*3高斯核,σ=0.5。
使用三种不同大小、不同方差的高斯核进行平滑操作,目的在于:胚胎内细胞大小不一,使用不同大小的高斯核提取不同大小的细胞整体特征,且方差不同,提取到的区域特征也不尽相同,因此拼接后可融合更加丰富的图像特征,利于后续网络的训练和学习。
具体操作时,将每种原始图像的三张图像分别传入三个高斯核中进行卷积操作,设置步长为1且对边界进行填充,使模糊后的图像尺寸保持不变。经过卷积操作后得到的图像,从上至下其模糊程度越来越低,下面的结果保留了更多细节特征。将三张模糊后的图像相加,求得平均图像。同一样本的三张图像(同一胚胎的囊胚、内细胞团和滋养层细胞三张图像)使用相同高斯核平滑,确保处理后的图像一致。
对去噪处理后的样本图像进行数据增广的方法为:对去噪处理后的样本图像进行随机镜像翻转、水平或垂直压缩,增加数据量。在增广时对同一胚胎的三张图像做相同的变换操作,确保变换后的三张图像,其胚胎位置与形态结构仍然对应。
对经去噪处理和数据增广后的样本图像进行归一化处理的方法为:对上述获得的图像使用如下公式
其中x为三张样本图像中任一图像P中的像素点,μ、σ分别为该图像所有像素的均值、方差,x'为归一化后的值。
作为优选,ResNet-50的网络结构包括依次连接的卷积层、最大池化层、4个block、平均池化层、全连接层和softmax层;其中,block1包括三个残差模块,block2包括四个残差模块,block3包括五个残差模块,block4包括三个残差模块,每个残差模块包括3个卷积操作与3个Relu函数。block指的是操作块。
作为优选,在block2的最后一次卷积操作引入一个1x1x3的卷积核,对第四维度进行卷积操作,将第四维度的大小变为1。
由于使用多模态方法将三张图片融合,网络输入的数据维度多了一维,因此在block2的最后一层中引入一个1x1x3的卷积核,经过该卷积层后,数据即恢复到H*W*3的标准格式,从而减少后续卷积过程中的数据量,加快运行速度。在网络结构的最后,通过一个全连接层和softmax层,将特征图映射为概率,即可输出输入图像对应胚胎最终妊娠成功的概率。
与现有技术相比,本发明的有益效果为:
本发明的基于多模态的胚胎妊娠结果预测装置使用多模态方法融合多种评估因素,考虑到囊胚期胚胎质量的评估涉及到其扩张程度与发育形态,本发明使用三张包含上述胚胎信息的图像,利用多模态方法将其融合,传入模型进行训练,使模型可学习到更加丰富的评估信息,进行更综合的考量,提高分类准确率。
附图说明
图1为本发明实施例的预测装置在进行胚胎妊娠预测时的流程图;
图2为本发明实施例中使用网络模型中的残差模块;
图3为本发明实施例预测胚胎妊娠成功率的网络模型。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,以下结合实施例及其附图对本发明作进一步说明。
实施例
参见图1至图3,本实施例基于多模态胚胎妊娠结果预测装置包括存储器和处理器,存储器存储有计算机可执行指令,处理器与存储器通信连接,并配置为执行存储器存储的计算机可执行指令,存储器中存储有胚胎妊娠结果预测模型。
胚胎妊娠结果预测模型通过以下步骤得到:
S101获取标注数据
从生殖记录中获取同一胚胎发育至囊胚期的三张图像。分别将相机对焦至胚胎的囊胚、内细胞团和滋养层细胞,拍摄图像,此过程保持相机位置不变,确保三张图像中细胞位置相同。同时获取该胚胎移植到母体后,最终的妊娠结果,使用该结果作为标签对三张图像进行标注,保存为样本。
S102图像平滑、去噪
使用三个高斯模糊函数对原图像进行平滑处理,同时去除图像噪声。配置分别为:5*5高斯核(σ=2);3*3高斯核(σ=1);3*3高斯核(σ=0.5)。
将原始图像分别传入三个高斯核中进行卷积操作,设置步长为1且对边界进行填充,使模糊后的图像尺寸保持不变。将三张模糊后的图像相加,求得平均图像。同一胚胎的三张图像,使用相同高斯核进行平滑,确保一致性。
S103数据增广
对模糊后的图像进行随机镜像翻转、水平压缩与垂直压缩,增加数据量。在增广时需要注意对同一胚胎的三张图像做相同的变换操作,确保变换后的三张图像,其胚胎位置与形态结构仍然对应。
S104数据归一化
图像归一化,对上述获得的图像做归一化处理,使用如下公式
其中μ为图像所有像素的均值,σ为方差,x为图像P中的像素点,x'为归一化后的值。
S105多模态融合
将同一胚胎的三张图像进行多模态融合,每个胚胎对应三张H*W*3的图像,其中3为颜色通道数,将三张图片在第4维度进行拼接,获得H*W*3*3的张量,传入后续模型训练。其中,H为长度,W为宽度,前一个“3”代表颜色通道,后增加的“3”表示三张图像
S106训练模型
以同一胚胎的三张图片作为输入,经过多模态融合后,将H*W*3*3的张量传入图3所示的ResNet-50网络中进行训练。将H*W*3*3的张量传入后续网络,网络结构如图3所示,包括依次连接的7x7卷积层、最大池化层(Max Pool)、4个block、平均池化层(Avg Poo)l、全连接层(即映射层Fc)和softmax层;其中,block1包括三个残差模块,block2包括四个残差模块,block3包括五个残差模块,block4包括三个残差模块,每个残差模块包括3个卷积操作与3个Relu函数。
由于本发明中使用多模态方法将3张图片融合,网络输入的数据维度多了一维,因此在block2的最后一层中,引入一个1x1x3的卷积核,对第四维度进行卷积操作,将其大小变为1,经过该卷积层后,数据即恢复到H*W*3的标准格式。
在网络结构最后,通过一个全连接层和softmax层,将特征图映射为概率,即可输出输入图像对应胚胎最终妊娠成功的概率。
将输出结果与真实标签作比较,计算模型损失,并使用随机梯度下降法更新网络权值,不断迭代此过程,使用训练数据优化网络的性能。
获得以上胚胎妊娠结果预测模型后,在应用时,将胚胎妊娠结果预测模型存储到存储器中,计算机可执行指令被执行以下步骤以实现对妊娠结果的预测:
1)依次对囊胚期的囊胚、内细胞团和滋养层细胞三张图像进行去噪处理、数据增广和归一化处理;具体方法同S102、S103和S104。
2)对同一胚胎的三张样本图像进行多模态融合,将三张H*W*3样本图像进行拼接,获得H*W*3*3四维张量,其中,H为长度,W为宽度,前一个“3”代表颜色通道,后增加的“3”表示三张图像;同S105。
3)将处理得到的四维张量输入胚胎妊娠结果预测模型中,获得妊娠成功概率。
获得的妊娠成功概率可用于辅助医生筛选优质胚胎进行后续移植操作。
Claims (9)
1.一种基于多模态胚胎妊娠结果预测装置,包括:存储器和处理器,所述存储器存储有计算机可执行指令,所述处理器与所述存储器通信连接,并配置为执行存储器存储的计算机可执行指令,其特征在于:
所述存储器中还存储有胚胎妊娠结果预测模型;
应用时,所述计算机可执行指令在被执行时,实现以下步骤:
1)依次对囊胚期的囊胚、内细胞团和滋养层细胞三张图像进行去噪处理、数据增广和归一化处理;
2)对同一胚胎的三张样本图像进行多模态融合,将三张H*W*3样本图像进行拼接,获得H*W*3*3四维张量,其中,H为长度,W为宽度,前一个“3”代表颜色通道,后增加的“3”表示三张图像;
3)将处理得到的四维张量输入胚胎妊娠结果预测模型中,获得妊娠成功概率。
2.根据权利要求1所述的多模态胚胎妊娠结果预测装置,其特征在于,所述的胚胎妊娠结果预测模型通过以下步骤获得:
a.对于同一胚胎在囊胚期的囊胚、内细胞团和滋养层细胞三张图像,使用胚胎移植到母体后的最终妊娠结果作为三张图像的标签,保存为样本;
b.采用所述步骤1)和步骤2)的方法对样本图像进行处理得到融合后的图像;
c.利用融合后的图像和对应的标签对ResNet-50网络进行训练,获得胚胎妊娠结果预测模型。
3.根据权利要求1所述的基于多模态胚胎妊娠结果预测装置,其特征在于,步骤1)中对样本图像进行去噪处理的方法为:使用高斯模糊函数对样本图像进行平滑去噪,其核函数公式为
其中x和y分别表示某一像素点相对高斯核函数中心点的横向距离及纵向距离,σ表示高斯模糊函数的方差。
4.根据权利要求3所述的基于多模态胚胎妊娠结果预测装置,其特征在于,针对囊胚、内细胞团和滋养层细胞三种图像中的每张图像进行以下步骤:选用三个高斯函数对样本图像分别进行三次平滑操作,并对每张图像平滑后生成的三张图片,进行加权平均,获得一张平滑结果图。
5.根据权利要求4所述的基于多模态胚胎妊娠结果预测装置,其特征在于,所述的三个高斯函数的配置分别为:5*5高斯核,σ=2;3*3高斯核,σ=1;3*3高斯核,σ=0.5。
6.根据权利要求1所述的基于多模态胚胎妊娠结果预测装置,其特征在于,步骤1)中对去噪处理后的样本图像进行数据增广的方法为:对去噪处理后的样本图像进行随机镜像翻转、水平或垂直压缩,增加数据量。
7.根据权利要求1所述的基于多模态胚胎妊娠结果预测装置,其特征在于,步骤1)中采用如下公式对经去噪和数据增广处理的样本图像进行归一化处理:
其中x为三张样本图像中任一图像P中的像素点,μ、σ分别为该图像所有像素的均值、方差,x'为归一化后的值。
8.根据权利要求2所述的基于多模态胚胎妊娠结果预测装置,其特征在于,所述的ResNet-50的网络结构包括依次连接的卷积层、最大池化层、4个block、平均池化层、全连接层和softmax层;其中,block1包括三个残差模块,block2包括四个残差模块,block3包括五个残差模块,block4包括三个残差模块,每个残差模块包括3个卷积操作与3个Relu函数。
9.根据权利要求8所述的基于多模态胚胎妊娠结果预测装置,其特征在于,在block2的最后一次卷积操作引入一个1x1x3的卷积核,对第四维度进行卷积操作,将第四维度的大小变为1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811254848.1A CN109544512B (zh) | 2018-10-26 | 2018-10-26 | 一种基于多模态的胚胎妊娠结果预测装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811254848.1A CN109544512B (zh) | 2018-10-26 | 2018-10-26 | 一种基于多模态的胚胎妊娠结果预测装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109544512A true CN109544512A (zh) | 2019-03-29 |
CN109544512B CN109544512B (zh) | 2020-09-18 |
Family
ID=65845135
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811254848.1A Active CN109544512B (zh) | 2018-10-26 | 2018-10-26 | 一种基于多模态的胚胎妊娠结果预测装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109544512B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110210513A (zh) * | 2019-04-23 | 2019-09-06 | 深圳信息职业技术学院 | 数据分类方法、装置及终端设备 |
CN110969616A (zh) * | 2019-12-13 | 2020-04-07 | 北京推想科技有限公司 | 评价***质量的方法及装置 |
CN111681209A (zh) * | 2020-05-15 | 2020-09-18 | 武汉互创联合科技有限公司 | 卵裂球***状态智能检测方法及*** |
CN111785375A (zh) * | 2020-06-18 | 2020-10-16 | 武汉互创联合科技有限公司 | 胚胎***过程分析及妊娠率智能预测方法及*** |
CN111783854A (zh) * | 2020-06-18 | 2020-10-16 | 武汉互创联合科技有限公司 | 胚胎妊娠状态智能预测方法及*** |
CN111933290A (zh) * | 2020-08-14 | 2020-11-13 | 苏州赫亚斯顿智能科技有限公司 | 一种以机器学习模型建置人工生殖受孕预测方法和装置 |
CN112331340A (zh) * | 2020-10-14 | 2021-02-05 | 国家卫生健康委科学技术研究所 | 育龄夫妇妊娠概率的智能预测方法及*** |
CN112587089A (zh) * | 2020-11-19 | 2021-04-02 | 新希望六和股份有限公司 | 基于人工智能的妊娠检测方法、装置、计算机设备和介质 |
CN113469958A (zh) * | 2021-06-18 | 2021-10-01 | 中山大学附属第一医院 | 一种胚胎发育潜能预测方法、***、设备及存储介质 |
WO2023093545A1 (zh) * | 2021-11-23 | 2023-06-01 | 孙孝芳 | 使用人工智能预测人工生殖的胚胎移植的结果的方法及*** |
CN116433652A (zh) * | 2023-05-11 | 2023-07-14 | 中南大学 | 用于确定胚胎移植的妊娠结果的方法、处理器及装置 |
WO2023147760A1 (zh) * | 2022-02-02 | 2023-08-10 | 苏州博致医疗科技有限公司 | 一种体外受精高发育潜能胚胎的筛选方法及*** |
CN116757967A (zh) * | 2023-08-18 | 2023-09-15 | 武汉互创联合科技有限公司 | 胚胎图像碎片去除方法、计算机设备及可读存储介质 |
CN116844160A (zh) * | 2023-09-01 | 2023-10-03 | 武汉互创联合科技有限公司 | 基于主体识别的胚胎发育质量评估*** |
CN117095180A (zh) * | 2023-09-01 | 2023-11-21 | 武汉互创联合科技有限公司 | 基于分期识别的胚胎发育阶段预测与质量评估方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103093087A (zh) * | 2013-01-05 | 2013-05-08 | 电子科技大学 | 一种基于多任务学习的多模态脑网络特征融合方法 |
WO2014001312A1 (en) * | 2012-06-25 | 2014-01-03 | Unisense Fertilitech A/S | Method and apparatus |
US20160078275A1 (en) * | 2013-02-28 | 2016-03-17 | Progyny, Inc. | Apparatus, Method, and System for Image-Based Human Embryo Cell Classification |
US20170262735A1 (en) * | 2016-03-11 | 2017-09-14 | Kabushiki Kaisha Toshiba | Training constrained deconvolutional networks for road scene semantic segmentation |
WO2018025766A1 (en) * | 2016-08-01 | 2018-02-08 | Sony Corporation | Information processing apparatus, information processing method, and program |
CN107981858A (zh) * | 2017-11-27 | 2018-05-04 | 乐普(北京)医疗器械股份有限公司 | 基于人工智能的心电图心搏自动识别分类方法 |
CN108197629A (zh) * | 2017-12-30 | 2018-06-22 | 北京工业大学 | 一种基于标签相关性约束张量分解的多模态医学影像特征提取方法 |
CN108319977A (zh) * | 2018-01-30 | 2018-07-24 | 浙江大学 | 基于通道信息多模态网络的宫颈活检区域识别方法及装置 |
WO2018156778A1 (en) * | 2017-02-22 | 2018-08-30 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Services | Detection of prostate cancer in multi-parametric mri using random forest with instance weighting & mr prostate segmentation by deep learning with holistically-nested networks |
CN108537773A (zh) * | 2018-02-11 | 2018-09-14 | 中国科学院苏州生物医学工程技术研究所 | 针对胰腺癌与胰腺炎性疾病进行智能辅助鉴别的方法 |
-
2018
- 2018-10-26 CN CN201811254848.1A patent/CN109544512B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014001312A1 (en) * | 2012-06-25 | 2014-01-03 | Unisense Fertilitech A/S | Method and apparatus |
CN103093087A (zh) * | 2013-01-05 | 2013-05-08 | 电子科技大学 | 一种基于多任务学习的多模态脑网络特征融合方法 |
US20160078275A1 (en) * | 2013-02-28 | 2016-03-17 | Progyny, Inc. | Apparatus, Method, and System for Image-Based Human Embryo Cell Classification |
US20170262735A1 (en) * | 2016-03-11 | 2017-09-14 | Kabushiki Kaisha Toshiba | Training constrained deconvolutional networks for road scene semantic segmentation |
WO2018025766A1 (en) * | 2016-08-01 | 2018-02-08 | Sony Corporation | Information processing apparatus, information processing method, and program |
WO2018156778A1 (en) * | 2017-02-22 | 2018-08-30 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Services | Detection of prostate cancer in multi-parametric mri using random forest with instance weighting & mr prostate segmentation by deep learning with holistically-nested networks |
CN107981858A (zh) * | 2017-11-27 | 2018-05-04 | 乐普(北京)医疗器械股份有限公司 | 基于人工智能的心电图心搏自动识别分类方法 |
CN108197629A (zh) * | 2017-12-30 | 2018-06-22 | 北京工业大学 | 一种基于标签相关性约束张量分解的多模态医学影像特征提取方法 |
CN108319977A (zh) * | 2018-01-30 | 2018-07-24 | 浙江大学 | 基于通道信息多模态网络的宫颈活检区域识别方法及装置 |
CN108537773A (zh) * | 2018-02-11 | 2018-09-14 | 中国科学院苏州生物医学工程技术研究所 | 针对胰腺癌与胰腺炎性疾病进行智能辅助鉴别的方法 |
Non-Patent Citations (6)
Title |
---|
S. WANG ET AL: ""Tensor optimal scoring for alzheimer"s disease detection"", 《2017 13TH INTERNATIONAL CONFERENCE ON NATURAL COMPUTATION, FUZZY SYSTEMS AND KNOWLEDGE DISCOVERY (ICNC-FSKD)》 * |
VESAL S ET AL: ""Classification of breast cancer histology images using transfer learning"", 《INTERNATIONAL CONFERENCE IMAGE ANALYSIS AND RECOGNITION》 * |
X. XU ET AL: ""Whole Brain fMRI Pattern Analysis Based on Tensor Neural Network"", 《IEEE ACCESS》 * |
刘卷舒等: ""多模态图像融合算法综述"", 《科技创新与应用》 * |
王媛媛等: ""基于卷积神经网络的PET/CT多模态图像识别研究"", 《电视技术》 * |
王诗琪等: ""皮肤科医师与深度卷积神经网络诊断色素痣和脂溢性角化病皮肤镜图像比较"", 《中华皮肤科杂志》 * |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110210513B (zh) * | 2019-04-23 | 2021-04-09 | 深圳信息职业技术学院 | 数据分类方法、装置及终端设备 |
CN110210513A (zh) * | 2019-04-23 | 2019-09-06 | 深圳信息职业技术学院 | 数据分类方法、装置及终端设备 |
CN110969616A (zh) * | 2019-12-13 | 2020-04-07 | 北京推想科技有限公司 | 评价***质量的方法及装置 |
CN110969616B (zh) * | 2019-12-13 | 2020-10-27 | 北京推想科技有限公司 | 评价***质量的方法及装置 |
CN111681209A (zh) * | 2020-05-15 | 2020-09-18 | 武汉互创联合科技有限公司 | 卵裂球***状态智能检测方法及*** |
CN111681209B (zh) * | 2020-05-15 | 2022-06-07 | 武汉互创联合科技有限公司 | 卵裂球***状态智能检测*** |
CN111785375A (zh) * | 2020-06-18 | 2020-10-16 | 武汉互创联合科技有限公司 | 胚胎***过程分析及妊娠率智能预测方法及*** |
CN111783854A (zh) * | 2020-06-18 | 2020-10-16 | 武汉互创联合科技有限公司 | 胚胎妊娠状态智能预测方法及*** |
CN111783854B (zh) * | 2020-06-18 | 2022-06-07 | 武汉互创联合科技有限公司 | 胚胎妊娠状态智能预测方法及*** |
CN111933290A (zh) * | 2020-08-14 | 2020-11-13 | 苏州赫亚斯顿智能科技有限公司 | 一种以机器学习模型建置人工生殖受孕预测方法和装置 |
CN111933290B (zh) * | 2020-08-14 | 2023-10-10 | 北京赫雅智能科技有限公司 | 一种以机器学习模型建置人工生殖受孕预测方法和装置 |
CN112331340B (zh) * | 2020-10-14 | 2021-11-23 | 国家卫生健康委科学技术研究所 | 育龄夫妇妊娠概率的智能预测方法及*** |
CN112331340A (zh) * | 2020-10-14 | 2021-02-05 | 国家卫生健康委科学技术研究所 | 育龄夫妇妊娠概率的智能预测方法及*** |
CN112587089A (zh) * | 2020-11-19 | 2021-04-02 | 新希望六和股份有限公司 | 基于人工智能的妊娠检测方法、装置、计算机设备和介质 |
CN112587089B (zh) * | 2020-11-19 | 2023-04-21 | 新希望六和股份有限公司 | 基于人工智能的妊娠检测方法、装置、计算机设备和介质 |
CN113469958A (zh) * | 2021-06-18 | 2021-10-01 | 中山大学附属第一医院 | 一种胚胎发育潜能预测方法、***、设备及存储介质 |
CN113469958B (zh) * | 2021-06-18 | 2023-08-04 | 中山大学附属第一医院 | 一种胚胎发育潜能预测方法、***、设备及存储介质 |
WO2023093545A1 (zh) * | 2021-11-23 | 2023-06-01 | 孙孝芳 | 使用人工智能预测人工生殖的胚胎移植的结果的方法及*** |
WO2023147760A1 (zh) * | 2022-02-02 | 2023-08-10 | 苏州博致医疗科技有限公司 | 一种体外受精高发育潜能胚胎的筛选方法及*** |
CN116433652A (zh) * | 2023-05-11 | 2023-07-14 | 中南大学 | 用于确定胚胎移植的妊娠结果的方法、处理器及装置 |
CN116433652B (zh) * | 2023-05-11 | 2024-02-23 | 中南大学 | 用于确定胚胎移植的妊娠结果的方法、处理器及装置 |
CN116757967A (zh) * | 2023-08-18 | 2023-09-15 | 武汉互创联合科技有限公司 | 胚胎图像碎片去除方法、计算机设备及可读存储介质 |
CN116757967B (zh) * | 2023-08-18 | 2023-11-03 | 武汉互创联合科技有限公司 | 胚胎图像碎片去除方法、计算机设备及可读存储介质 |
CN116844160A (zh) * | 2023-09-01 | 2023-10-03 | 武汉互创联合科技有限公司 | 基于主体识别的胚胎发育质量评估*** |
CN117095180A (zh) * | 2023-09-01 | 2023-11-21 | 武汉互创联合科技有限公司 | 基于分期识别的胚胎发育阶段预测与质量评估方法 |
CN116844160B (zh) * | 2023-09-01 | 2023-11-28 | 武汉互创联合科技有限公司 | 基于主体识别的胚胎发育质量评估*** |
CN117095180B (zh) * | 2023-09-01 | 2024-04-19 | 武汉互创联合科技有限公司 | 基于分期识别的胚胎发育阶段预测与质量评估方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109544512B (zh) | 2020-09-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109544512A (zh) | 一种基于多模态的胚胎妊娠结果预测装置 | |
CN110197493B (zh) | 眼底图像血管分割方法 | |
CN110659692B (zh) | 基于强化学习和深度神经网络的病理图像自动标注方法 | |
Kumar et al. | Breast cancer classification of image using convolutional neural network | |
CN110276745B (zh) | 一种基于生成对抗网络的病理图像检测算法 | |
JP2021507367A (ja) | 胚の生存率を推定するためのシステムおよび方法 | |
CN111291825B (zh) | 病灶分类模型训练方法、装置、计算机设备和存储介质 | |
CN110070107A (zh) | 物体识别方法及装置 | |
CN105654141A (zh) | 基于Isomap和SVM算法的俯视群养猪个体识别方法 | |
CN117836820A (zh) | 用于人ivf衍生胚胎的结果评价的***和方法 | |
Zhang et al. | Biometric facial identification using attention module optimized YOLOv4 for sheep | |
CN112633257A (zh) | 基于改良卷积神经网络的马铃薯病害识别方法 | |
CN111626969B (zh) | 一种基于注意力机制的玉米病害图像处理方法 | |
CN116543429A (zh) | 基于深度可分离卷积的舌象识别***及方法 | |
CN116543386A (zh) | 一种基于卷积神经网络的农业病虫害图像识别方法 | |
CN116295022A (zh) | 一种基于深度学习多参数融合的猪只体尺测量方法 | |
CN113361353A (zh) | 一种基于DeepLabV3Plus的斑马鱼形态学评分方法 | |
CN115187982B (zh) | 藻类检测方法、装置及终端设备 | |
CN114627123B (zh) | 综合双流加权网络和空间注意力机制的白带细胞检测方法 | |
CN115937590A (zh) | 一种并联融合CNN和Transformer的皮肤病图像分类方法 | |
CN110378880A (zh) | 基于视觉的火化机燃烧时间计算方法 | |
CN116012639A (zh) | 一种基于元学习的早产儿视网膜眼底图像定量化指标及分期方法 | |
CN109816665A (zh) | 一种光学相干断层扫描图像的快速分割方法及装置 | |
CN115394432A (zh) | 基于***超声的辅助检查诊断***、电子设备和存储介质 | |
CN115147640A (zh) | 一种基于改进胶囊网络的脑肿瘤图像分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |