CN111815764B - 基于自监督3d全卷积神经网络的超声三维重建方法 - Google Patents

基于自监督3d全卷积神经网络的超声三维重建方法 Download PDF

Info

Publication number
CN111815764B
CN111815764B CN202010707414.3A CN202010707414A CN111815764B CN 111815764 B CN111815764 B CN 111815764B CN 202010707414 A CN202010707414 A CN 202010707414A CN 111815764 B CN111815764 B CN 111815764B
Authority
CN
China
Prior art keywords
network
dimensional
human tissue
neural network
ultrasonic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010707414.3A
Other languages
English (en)
Other versions
CN111815764A (zh
Inventor
黄庆华
苗肇基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202010707414.3A priority Critical patent/CN111815764B/zh
Publication of CN111815764A publication Critical patent/CN111815764A/zh
Application granted granted Critical
Publication of CN111815764B publication Critical patent/CN111815764B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供了一种基于自监督3D全卷积神经网络的超声三维重建方法。首先，扫描得到人体组织的三维超声图；然后，分别单独训练不同尺度的3D卷积核，并将卷积核串联，得到级联后的3D全卷积神经网络；最后，利用级联后网络进行三维超声图重建。由于不同尺度的卷积核代表重建体素时将考虑待重建体素周围不同尺度空间内的体素信息，本发明相比感受野固定的传统方法，具有更高的重建精确度。

Description

基于自监督3D全卷积神经网络的超声三维重建方法
技术领域
本发明属智能图像处理技术领域，具体涉及一种基于自监督3D全卷积神经网络的超声三维重建方法。
背景技术
超声三维重建方法主要分为两大类：基于体素差值的重建方法，如R.N.Rohling等人在文献“Rohling R,Gee A,Berman L.A comparison of freehand three-dimensionalultrasound reconstruction techniques[J].Medical Image Analysis,1999,3(4):339.”中提出的像素最近邻插值法方法，R.W.Prager等人在文献“Prager R W,Gee A,Berman L.Stradx:real-time acquisition and visualization of freehand three-dimensional ultrasound.[J].Medical Image Analysis,1999,3(2):129-140.”中提出的体素最近邻方法。这些方法易于实现，但是重建精确度不高。基于函数的重建方法，如黄庆华等人在文献“Huang Q,Huang Y,Hu W,et al.Bezier Interpolation for 3-D FreehandUltrasound[J].IEEE Transactions on Human-Machine Systems,2015,45(45):385-392.”中提出的基于贝塞尔插值的重建方法，使用贝塞尔插值滑动窗口的方式进行三维超声重建，有效提升了速率和精确度。然而，传统方法均只考虑待重建体素邻近范围内的体素信息，具有固定的感受野，因此重建精度存在明显天花板。若在重建过程中使得待重建体素能够有更大感受野的同时还能兼顾小感受野内信息，将会提升重建的精确度。
发明内容
为了提升三维重建方法的重建精确度，本发明提供了一种基于自监督3D全卷积神经网络的超声三维重建方法。3D卷积核可以根据空间内若干个体素值来估计卷积核中心对应的体素值，从而实现重建的效果。本发明采用一种从简单到复杂的网络架构，分别单独训练不同尺度的3D卷积核，并在重建体素时将卷积核串联，其中，不同尺度的卷积核代表重建体素时将考虑待重建体素周围不同尺度空间内的体素信息，因此，相比感受野固定的传统方法，具有更高的精确度。
一种基于自监督3D全卷积神经网络的超声三维重建方法，其特征在于包括以下步骤：
步骤1：使用三维超声自动扫描机器人对人体组织部位进行扫描，得到人体组织的三维超声图，三维超声图中每一个体积元素是一个四维向量，包括体积元素的x坐标、y坐标、z坐标和超声强度值；
步骤2：分别用3*3*3、5*5*5、10*10*10的卷积核构建单层3D卷积神经网络，共得到三个单层3D卷积神经网络；
步骤3：对于每个单层3D卷积神经网络，以步骤1得到的人体组织三维超声图为输入，并随机初始化网络的卷积核权重，然后通过网络损失函数进行反向传播，迭代更新卷积核权重，迭代次数达到一百次时停止更新，得到训练好的网络；其中，网络的损失函数设置如下：
Loss＝crossentropy(Y，Y′*mask) (1)
其中，Loss表示损失函数，crossentropy表示二值交叉熵损失，Y为网络输入的人体组织三维超声图，Y′为卷积之后的网络输出值；mask是Y的掩码信息，若Y中某一体积元素的超声强度大于零，则mask中相同位置的体积元素超声强度被置为1，否则为零；
步骤4：将训练好的三个单层3D卷积神经网络按照卷积核由大到小的顺序进行串联，得到级联的3D全卷积神经网络；
步骤5：将人体组织三维超声图输入到级联的3D全卷积神经网络，输出即为重建后的人体组织三维超声图。
本发明的有益效果是：由于采用不同卷积核，根据待重建体素周围不同尺度邻域空间体素信息进行重建，有效克服了传统方法感受野固定的缺点，提升了重建精确度。
附图说明
图1是本发明的一种基于自监督3D全卷积神经网络的超声三维重建方法流程图。
图2是本发明的单层卷积网络训练示意图。
图3是本发明的级联网络模型示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
如图1所示，本发明提供了一种基于自监督3D全卷积神经网络的超声三维重建方法。其实现过程如下：
1、收集数据。使用三维超声自动扫描机器人对不同人不同组织进行扫查，从而采集到人体多个组织部位的扫描结果，建立人体组织超声3D模型数据库。数据库中包括扫描得到的人体组织的三维超声图，图中每一个体积元素是一个四维向量，包括体积元素的x坐标、y坐标、z坐标和超声强度值。
2、分别用不同尺度卷积核构建若干个单层3D卷积神经网络作为简单网络。
3、分别训练简单网络，如图2所示，损失函数如下：
Loss＝crossentropy(Y，Y′*mask) (2)
其中，Loss表示损失函数，crossentropy表示二值交叉熵损失，Y为网络输入，即机器人采集到的原始待重建空间信息，Y′为网络输出值，即卷积之后的重建空间信息；mask是Y的掩码信息，即Y中超声强度大于零的体积元素被置为1，其余体积元素被置为0，即得到mask。*运算代表对应体积元素值相乘。从损失函数可看出，无须人工标注，为自监督方法。
4、将训练好的三个单层3D卷积神经网络按照网络的卷积核依次减小的顺序进行串联，得到级联的3D全卷积神经网络，如图3所示。
5、将步骤1得到的人体组织三维超声图输入到级联的3D全卷积神经网络，输出即为重建后的人体组织三维超声图。

Claims (1)

1.一种基于自监督3D全卷积神经网络的超声三维重建方法，其特征在于包括以下步骤：
步骤1：使用三维超声自动扫描机器人对人体组织部位进行扫描，得到人体组织的三维超声图，三维超声图中每一个体积元素是一个四维向量，包括体积元素的x坐标、y坐标、z坐标和超声强度值；
步骤2：分别用3*3*3、5*5*5、10*10*10的卷积核构建单层3D卷积神经网络，共得到三个单层3D卷积神经网络；
步骤3：对于每个单层3D卷积神经网络，以步骤1得到的人体组织三维超声图为输入，并随机初始化网络的卷积核权重，然后通过网络损失函数进行反向传播，迭代更新卷积核权重，迭代次数达到一百次时停止更新，得到训练好的网络；其中，网络的损失函数设置如下：
Loss＝crossentropy(Y，Y′*mask) (1)
其中，Loss表示损失函数，crossentropy表示二值交叉熵损失，Y为网络输入的人体组织三维超声图，Y′为卷积之后的网络输出值；mask是Y的掩码信息，若Y中某一体积元素的超声强度大于零，则mask中相同位置的体积元素超声强度被置为1，否则为零；
步骤4：将训练好的三个单层3D卷积神经网络按照卷积核由大到小的顺序进行串联，得到级联的3D全卷积神经网络；
步骤5：将人体组织三维超声图输入到级联的3D全卷积神经网络，输出即为重建后的人体组织三维超声图。
CN202010707414.3A 2020-07-21 2020-07-21 基于自监督3d全卷积神经网络的超声三维重建方法 Active CN111815764B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010707414.3A CN111815764B (zh) 2020-07-21 2020-07-21 基于自监督3d全卷积神经网络的超声三维重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010707414.3A CN111815764B (zh) 2020-07-21 2020-07-21 基于自监督3d全卷积神经网络的超声三维重建方法

Publications (2)

Publication Number Publication Date
CN111815764A CN111815764A (zh) 2020-10-23
CN111815764B true CN111815764B (zh) 2022-07-05

Family

ID=72861581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010707414.3A Active CN111815764B (zh) 2020-07-21 2020-07-21 基于自监督3d全卷积神经网络的超声三维重建方法

Country Status (1)

Country Link
CN (1) CN111815764B (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810767B2 (en) * 2018-06-12 2020-10-20 Siemens Healthcare Gmbh Machine-learned network for Fourier transform in reconstruction for medical imaging
CN109598727B (zh) * 2018-11-28 2021-09-14 北京工业大学 一种基于深度神经网络的ct图像肺实质三维语义分割方法
CN109671086A (zh) * 2018-12-19 2019-04-23 深圳大学 一种基于三维超声的胎儿头部全自动分割方法
CN109697740B (zh) * 2018-12-26 2020-09-22 上海联影智能医疗科技有限公司 图像重建方法、装置和计算机设备
CN109829855B (zh) * 2019-01-23 2023-07-25 南京航空航天大学 一种基于融合多层次特征图的超分辨率重建方法
CN110136157B (zh) * 2019-04-09 2021-03-26 华中科技大学 一种基于深度学习的三维颈动脉超声图像血管壁分割方法
CN110807829B (zh) * 2019-11-05 2020-08-18 杭州蔡卓医疗设备有限公司 一种基于超声成像构建三维心脏模型的方法
CN111091616B (zh) * 2019-11-25 2024-01-05 艾瑞迈迪医疗科技（北京）有限公司 一种三维超声图像的重建方法及装置
CN111192269B (zh) * 2020-01-02 2023-08-22 腾讯科技（深圳）有限公司 模型训练、医学影像分割方法和装置

Also Published As

Publication number Publication date
CN111815764A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN109993825B (zh) 一种基于深度学习的三维重建方法
CN107610194B (zh) 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN111445390B (zh) 基于宽残差注意力的三维医学图像超分辨率重建方法
CN103049892B (zh) 基于相似块矩阵秩最小化的非局部图像去噪方法
CN112258514B (zh) 一种ct影像肺血管的分割方法
JP2023550844A (ja) 深層形状学習に基づく肝臓ｃｔ自動分割方法
CN111091616A (zh) 一种三维超声图像的重建方法及装置
CN113376600B (zh) 一种基于RSDNet的行人雷达回波去噪方法
CN113781640A (zh) 基于弱监督学习的三维人脸重建模型建立方法及其应用
CN109035172A (zh) 一种基于深度学习的非局部均值超声图像去噪方法
CN107590775B (zh) 一种利用回归树场的图像超分辨率放大方法
Schall et al. Surface from scattered points
CN111369433B (zh) 基于可分离卷积和注意力的三维图像超分辨率重建方法
CN113112583B (zh) 基于红外热成像的3d人体重构方法
WO2024148732A1 (zh) 一种可重光照的人体隐式模型的重建方法和装置
CN113822825B (zh) 基于3d-r2n2的光学建筑目标三维重建方法
CN110660045A (zh) 基于卷积神经网络的***识别的半监督方法
CN111815764B (zh) 基于自监督3d全卷积神经网络的超声三维重建方法
CN112581626B (zh) 一种基于非参数化和多注意力机制的复杂曲面测量***
Vlašić et al. Implicit neural representation for mesh-free inverse obstacle scattering
CN114972619A (zh) 一种基于自对齐双重回归的单图像人脸三维重建方法
CN117097876B (zh) 基于神经网络的事件相机图像重建方法
CN112700508A (zh) 一种基于深度学习的多对比度mri图像重建方法
CN112837420B (zh) 基于多尺度和折叠结构的兵马俑点云的形状补全方法及***
CN113744132A (zh) 基于多重优化的mr图像深度网络超分辨方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant