CN111815764B - 基于自监督3d全卷积神经网络的超声三维重建方法 - Google Patents
基于自监督3d全卷积神经网络的超声三维重建方法 Download PDFInfo
- Publication number
- CN111815764B CN111815764B CN202010707414.3A CN202010707414A CN111815764B CN 111815764 B CN111815764 B CN 111815764B CN 202010707414 A CN202010707414 A CN 202010707414A CN 111815764 B CN111815764 B CN 111815764B
- Authority
- CN
- China
- Prior art keywords
- network
- dimensional
- human tissue
- neural network
- ultrasonic image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明提供了一种基于自监督3D全卷积神经网络的超声三维重建方法。首先,扫描得到人体组织的三维超声图;然后,分别单独训练不同尺度的3D卷积核,并将卷积核串联,得到级联后的3D全卷积神经网络;最后,利用级联后网络进行三维超声图重建。由于不同尺度的卷积核代表重建体素时将考虑待重建体素周围不同尺度空间内的体素信息,本发明相比感受野固定的传统方法,具有更高的重建精确度。
Description
技术领域
本发明属智能图像处理技术领域,具体涉及一种基于自监督3D全卷积神经网络的超声三维重建方法。
背景技术
超声三维重建方法主要分为两大类:基于体素差值的重建方法,如R.N.Rohling等人在文献“Rohling R,Gee A,Berman L.A comparison of freehand three-dimensionalultrasound reconstruction techniques[J].Medical Image Analysis,1999,3(4):339.”中提出的像素最近邻插值法方法,R.W.Prager等人在文献“Prager R W,Gee A,Berman L.Stradx:real-time acquisition and visualization of freehand three-dimensional ultrasound.[J].Medical Image Analysis,1999,3(2):129-140.”中提出的体素最近邻方法。这些方法易于实现,但是重建精确度不高。基于函数的重建方法,如黄庆华等人在文献“Huang Q,Huang Y,Hu W,et al.Bezier Interpolation for 3-D FreehandUltrasound[J].IEEE Transactions on Human-Machine Systems,2015,45(45):385-392.”中提出的基于贝塞尔插值的重建方法,使用贝塞尔插值滑动窗口的方式进行三维超声重建,有效提升了速率和精确度。然而,传统方法均只考虑待重建体素邻近范围内的体素信息,具有固定的感受野,因此重建精度存在明显天花板。若在重建过程中使得待重建体素能够有更大感受野的同时还能兼顾小感受野内信息,将会提升重建的精确度。
发明内容
为了提升三维重建方法的重建精确度,本发明提供了一种基于自监督3D全卷积神经网络的超声三维重建方法。3D卷积核可以根据空间内若干个体素值来估计卷积核中心对应的体素值,从而实现重建的效果。本发明采用一种从简单到复杂的网络架构,分别单独训练不同尺度的3D卷积核,并在重建体素时将卷积核串联,其中,不同尺度的卷积核代表重建体素时将考虑待重建体素周围不同尺度空间内的体素信息,因此,相比感受野固定的传统方法,具有更高的精确度。
一种基于自监督3D全卷积神经网络的超声三维重建方法,其特征在于包括以下步骤:
步骤1:使用三维超声自动扫描机器人对人体组织部位进行扫描,得到人体组织的三维超声图,三维超声图中每一个体积元素是一个四维向量,包括体积元素的x坐标、y坐标、z坐标和超声强度值;
步骤2:分别用3*3*3、5*5*5、10*10*10的卷积核构建单层3D卷积神经网络,共得到三个单层3D卷积神经网络;
步骤3:对于每个单层3D卷积神经网络,以步骤1得到的人体组织三维超声图为输入,并随机初始化网络的卷积核权重,然后通过网络损失函数进行反向传播,迭代更新卷积核权重,迭代次数达到一百次时停止更新,得到训练好的网络;其中,网络的损失函数设置如下:
Loss=crossentropy(Y,Y′*mask) (1)
其中,Loss表示损失函数,crossentropy表示二值交叉熵损失,Y为网络输入的人体组织三维超声图,Y′为卷积之后的网络输出值;mask是Y的掩码信息,若Y中某一体积元素的超声强度大于零,则mask中相同位置的体积元素超声强度被置为1,否则为零;
步骤4:将训练好的三个单层3D卷积神经网络按照卷积核由大到小的顺序进行串联,得到级联的3D全卷积神经网络;
步骤5:将人体组织三维超声图输入到级联的3D全卷积神经网络,输出即为重建后的人体组织三维超声图。
本发明的有益效果是:由于采用不同卷积核,根据待重建体素周围不同尺度邻域空间体素信息进行重建,有效克服了传统方法感受野固定的缺点,提升了重建精确度。
附图说明
图1是本发明的一种基于自监督3D全卷积神经网络的超声三维重建方法流程图。
图2是本发明的单层卷积网络训练示意图。
图3是本发明的级联网络模型示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明,本发明包括但不仅限于下述实施例。
如图1所示,本发明提供了一种基于自监督3D全卷积神经网络的超声三维重建方法。其实现过程如下:
1、收集数据。使用三维超声自动扫描机器人对不同人不同组织进行扫查,从而采集到人体多个组织部位的扫描结果,建立人体组织超声3D模型数据库。数据库中包括扫描得到的人体组织的三维超声图,图中每一个体积元素是一个四维向量,包括体积元素的x坐标、y坐标、z坐标和超声强度值。
2、分别用不同尺度卷积核构建若干个单层3D卷积神经网络作为简单网络。
3、分别训练简单网络,如图2所示,损失函数如下:
Loss=crossentropy(Y,Y′*mask) (2)
其中,Loss表示损失函数,crossentropy表示二值交叉熵损失,Y为网络输入,即机器人采集到的原始待重建空间信息,Y′为网络输出值,即卷积之后的重建空间信息;mask是Y的掩码信息,即Y中超声强度大于零的体积元素被置为1,其余体积元素被置为0,即得到mask。*运算代表对应体积元素值相乘。从损失函数可看出,无须人工标注,为自监督方法。
4、将训练好的三个单层3D卷积神经网络按照网络的卷积核依次减小的顺序进行串联,得到级联的3D全卷积神经网络,如图3所示。
5、将步骤1得到的人体组织三维超声图输入到级联的3D全卷积神经网络,输出即为重建后的人体组织三维超声图。
Claims (1)
1.一种基于自监督3D全卷积神经网络的超声三维重建方法,其特征在于包括以下步骤:
步骤1:使用三维超声自动扫描机器人对人体组织部位进行扫描,得到人体组织的三维超声图,三维超声图中每一个体积元素是一个四维向量,包括体积元素的x坐标、y坐标、z坐标和超声强度值;
步骤2:分别用3*3*3、5*5*5、10*10*10的卷积核构建单层3D卷积神经网络,共得到三个单层3D卷积神经网络;
步骤3:对于每个单层3D卷积神经网络,以步骤1得到的人体组织三维超声图为输入,并随机初始化网络的卷积核权重,然后通过网络损失函数进行反向传播,迭代更新卷积核权重,迭代次数达到一百次时停止更新,得到训练好的网络;其中,网络的损失函数设置如下:
Loss=crossentropy(Y,Y′*mask) (1)
其中,Loss表示损失函数,crossentropy表示二值交叉熵损失,Y为网络输入的人体组织三维超声图,Y′为卷积之后的网络输出值;mask是Y的掩码信息,若Y中某一体积元素的超声强度大于零,则mask中相同位置的体积元素超声强度被置为1,否则为零;
步骤4:将训练好的三个单层3D卷积神经网络按照卷积核由大到小的顺序进行串联,得到级联的3D全卷积神经网络;
步骤5:将人体组织三维超声图输入到级联的3D全卷积神经网络,输出即为重建后的人体组织三维超声图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010707414.3A CN111815764B (zh) | 2020-07-21 | 2020-07-21 | 基于自监督3d全卷积神经网络的超声三维重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010707414.3A CN111815764B (zh) | 2020-07-21 | 2020-07-21 | 基于自监督3d全卷积神经网络的超声三维重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111815764A CN111815764A (zh) | 2020-10-23 |
CN111815764B true CN111815764B (zh) | 2022-07-05 |
Family
ID=72861581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010707414.3A Active CN111815764B (zh) | 2020-07-21 | 2020-07-21 | 基于自监督3d全卷积神经网络的超声三维重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111815764B (zh) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10810767B2 (en) * | 2018-06-12 | 2020-10-20 | Siemens Healthcare Gmbh | Machine-learned network for Fourier transform in reconstruction for medical imaging |
CN109598727B (zh) * | 2018-11-28 | 2021-09-14 | 北京工业大学 | 一种基于深度神经网络的ct图像肺实质三维语义分割方法 |
CN109671086A (zh) * | 2018-12-19 | 2019-04-23 | 深圳大学 | 一种基于三维超声的胎儿头部全自动分割方法 |
CN109697740B (zh) * | 2018-12-26 | 2020-09-22 | 上海联影智能医疗科技有限公司 | 图像重建方法、装置和计算机设备 |
CN109829855B (zh) * | 2019-01-23 | 2023-07-25 | 南京航空航天大学 | 一种基于融合多层次特征图的超分辨率重建方法 |
CN110136157B (zh) * | 2019-04-09 | 2021-03-26 | 华中科技大学 | 一种基于深度学习的三维颈动脉超声图像血管壁分割方法 |
CN110807829B (zh) * | 2019-11-05 | 2020-08-18 | 杭州蔡卓医疗设备有限公司 | 一种基于超声成像构建三维心脏模型的方法 |
CN111091616B (zh) * | 2019-11-25 | 2024-01-05 | 艾瑞迈迪医疗科技(北京)有限公司 | 一种三维超声图像的重建方法及装置 |
CN111192269B (zh) * | 2020-01-02 | 2023-08-22 | 腾讯科技(深圳)有限公司 | 模型训练、医学影像分割方法和装置 |
-
2020
- 2020-07-21 CN CN202010707414.3A patent/CN111815764B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN111815764A (zh) | 2020-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109993825B (zh) | 一种基于深度学习的三维重建方法 | |
CN107610194B (zh) | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 | |
CN111445390B (zh) | 基于宽残差注意力的三维医学图像超分辨率重建方法 | |
CN103049892B (zh) | 基于相似块矩阵秩最小化的非局部图像去噪方法 | |
CN112258514B (zh) | 一种ct影像肺血管的分割方法 | |
JP2023550844A (ja) | 深層形状学習に基づく肝臓ct自動分割方法 | |
CN111091616A (zh) | 一种三维超声图像的重建方法及装置 | |
CN113376600B (zh) | 一种基于RSDNet的行人雷达回波去噪方法 | |
CN113781640A (zh) | 基于弱监督学习的三维人脸重建模型建立方法及其应用 | |
CN109035172A (zh) | 一种基于深度学习的非局部均值超声图像去噪方法 | |
CN107590775B (zh) | 一种利用回归树场的图像超分辨率放大方法 | |
Schall et al. | Surface from scattered points | |
CN111369433B (zh) | 基于可分离卷积和注意力的三维图像超分辨率重建方法 | |
CN113112583B (zh) | 基于红外热成像的3d人体重构方法 | |
WO2024148732A1 (zh) | 一种可重光照的人体隐式模型的重建方法和装置 | |
CN113822825B (zh) | 基于3d-r2n2的光学建筑目标三维重建方法 | |
CN110660045A (zh) | 基于卷积神经网络的***识别的半监督方法 | |
CN111815764B (zh) | 基于自监督3d全卷积神经网络的超声三维重建方法 | |
CN112581626B (zh) | 一种基于非参数化和多注意力机制的复杂曲面测量*** | |
Vlašić et al. | Implicit neural representation for mesh-free inverse obstacle scattering | |
CN114972619A (zh) | 一种基于自对齐双重回归的单图像人脸三维重建方法 | |
CN117097876B (zh) | 基于神经网络的事件相机图像重建方法 | |
CN112700508A (zh) | 一种基于深度学习的多对比度mri图像重建方法 | |
CN112837420B (zh) | 基于多尺度和折叠结构的兵马俑点云的形状补全方法及*** | |
CN113744132A (zh) | 基于多重优化的mr图像深度网络超分辨方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |