CN113171118B - 一种基于生成式对抗网络的超声检查操作引导方法 - Google Patents

一种基于生成式对抗网络的超声检查操作引导方法 Download PDF

Info

Publication number
CN113171118B
CN113171118B CN202110368381.9A CN202110368381A CN113171118B CN 113171118 B CN113171118 B CN 113171118B CN 202110368381 A CN202110368381 A CN 202110368381A CN 113171118 B CN113171118 B CN 113171118B
Authority
CN
China
Prior art keywords
convolution
ultrasonic
sub
image
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110368381.9A
Other languages
English (en)
Other versions
CN113171118A (zh
Inventor
朱瑞星
黄孟钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shenzhi Information Technology Co ltd
Original Assignee
Shanghai Shenzhi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shenzhi Information Technology Co ltd filed Critical Shanghai Shenzhi Information Technology Co ltd
Priority to CN202110368381.9A priority Critical patent/CN113171118B/zh
Publication of CN113171118A publication Critical patent/CN113171118A/zh
Application granted granted Critical
Publication of CN113171118B publication Critical patent/CN113171118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于生成式对抗网络的超声检查操作引导方法，属于医学影像技术领域，包括：步骤S1，采集超声切片图像、摄像图像，以及第一采集模块的位置信息；步骤S2，三维重建得到体数据；步骤S3，分成多个子体数据，将采集图像与子体数据对应；步骤S4，标记位于任一子体数据时所需移动的方向，得到方向数据集；步骤S5，选择任一位置的超声切片图像、对应的摄像图像，以及对应的子体数据编号作为待训练数据集；步骤S6，根据待训练数据集、方向数据集进行训练；步骤S7，向训练好的模型同时输入摄像图像、超声切片图像，然后生成第一采集模块需要移动的方向。本发明的有益效果在于：提示医生检查时所需移动方向，经验要求不高。

Description

一种基于生成式对抗网络的超声检查操作引导方法
技术领域
本发明涉及医学影像技术领域，尤其涉及一种基于生成式对抗网络的超声检查操作引导方法。
背景技术
B超检查是超声波检查的一种，是一种非手术的诊断性检查，B超可以清晰地显示各脏器及周围器官的各种断面像。对于医生来说，从B超视频中快速、准确的获取含有病灶区域的超声图像，对辅助检查判断至关重要的。但是B超检查的手法受限于超声检测医生的操作经验，经验丰富的超声医生更能准确、快速的检查出病灶区域。
目前，大多数基层医院普遍缺乏经验丰富的超声检测医生，导致基层医院的超声检查结果的准确性低，检测时间长，效率低，且漏检率较高。因此，需要对超声检测医生进行教学培训，而现有的超声检测培训主要依赖于临床实践教学，即超声检测老师在临床阶段通过言传身教的方式向学员展示超声检查的操作手法。现有的临床培训的成本较高，且教学内容不具备再现性，通过短暂的临床教学时间，学员无法完全掌握超声操作手法；同时，培训工具和培训场景单一，无法根据实际应用场景进行教学调整，教学效果不佳，因此针对以上问题，迫切需要设计出一种基于生成式对抗网络的超声检查操作引导方法，以满足实际使用的需要。
发明内容
为了解决以上技术问题，本发明提供了一种基于生成式对抗网络的超声检查操作引导方法。
本发明所解决的技术问题可以采用以下技术方案实现：
本发明提供一种基于生成式对抗网络的超声检查操作引导方法，包括如下步骤：
步骤S1，采用一第一采集模块采集多帧超声切片图像，采用一第二采集模块同步采集多帧所述摄像图像，并采集对应的所述第一采集模块的位置信息，所述摄像图像、所述超声切片图像和所述位置信息一一对应；
步骤S2，根据所述位置信息，对所述超声切片图像进行三维重建，得到一体数据；
步骤S3，将所述体数据分成多个子体数据，将多帧所述摄像图像、所述超声切片图像分别对应到所述子体数据中，得到一子体数据序列；
步骤S4，提供一目标部位的标准切面，根据所述子体数据序列进行标记，得到位于所述子体数据序列中任意一个所述子体数据时，所述第一采集模块向所述目标部位所需移动的方向，得到一方向数据集；
步骤S5，于所述子体数据序列中选择任一位置的所述超声切片图像、对应的所述摄像图像，以及对应的子体数据编号作为待训练数据集，所述子体数据编号表示被选择的所述超声切片图像所在的所述子体数据于所述子体数据序列中的位置；
步骤S6，提供一生成式对抗网络，所述生成式对抗网络包括一生成网络，将被选择的所述超声切片图像和所述摄像图像作为所述生成网络的输入，所述方向数据集作为所述生成网络的输出，进行训练得到生成式对抗网络模型；
步骤S7，向训练好的所述生成式对抗网络模型同时输入所述摄像图像、所述超声切片图像，然后生成所述第一采集模块需要移动的方向。
优选地，提供一预设的行走轨迹，其中预设的所述行走轨迹包覆整个所述待检测部位；
所述步骤S1中，所述第一采集模块沿着预设的所述行走轨迹匀速移动，并采集所述超声切片图像。
优选地，所述步骤S1中，采用编码导轨、或陀螺仪加速度传感器、或慈导航传感器形成所述行走轨迹。
优选地，所述步骤S2中，对所述摄像图像、所述超声切片图像与所述子体数据一一对应处理，随后，对处理好后的多个所述子体数据进行扁平化处理，得到所述子体数据序列，所述子体数据序列中包括所述摄像图像、所述超声切片图像与所述子体数据的对应关系。
优选地，移动方向包括不移动、向左移动、向上移动、向右移动和向下移动；
所述步骤S4中，采集数字编号0～5进行标记，以表征所述第一采集模块需要移动的方向，其中，0表示不移动，1表示向左移动，2表示向上移动，3表示向右移动，4表示向下移动，得到对应每个所述子体数据对应的移动方向，形成所述方向数据集。
优选地，所述步骤S6中，训练好所述生成式对抗网络模型后，对所述生成式对抗网络模型的网络参数进行更新，具体更新步骤如下：
步骤S61中，将所述摄像图像、所述超声切片图像输入所述生成式对抗网络模型中，得到预测的移动方向编号；
步骤S62中，将预测的所述移动方向编号与人工标记的所述移动方向编号进行损失处理，以更新所述生成网络的参数。
优选地，所述生成式对抗网络还包括一判别网络；
所述步骤S63中，将预测的所述移动方向编号与人工标记的所述移动方向编号输入所述判别网络中进行判别，并进行损失处理，以更新所述判别网络和所述生成网络的参数。
优选地，所述生成网络对所述摄像图像和所述超声切片图像分别单独进行卷积处理。
优选地，所述生成网络具体包括：
一第一卷积模块，用于对所述摄像图像进行卷积处理，所述第一卷积模块包括依次连接的第一卷积神经结构、第二卷积神经结构、第三卷积神经结构；
一第二卷积模块，用于对所述超声切片图像进行卷积处理，所述第二卷积模块包括依次连接的第四卷积神经结构、第五卷积神经结构、第六卷积神经结构；
一第一特征联合层，所述第一特征联合层的输入端分别连接所述第二卷积神经结构、以及所述第五卷积神经结构；
一第一最大池化层，连接所述第一特征联合层；
一第二特征联合层，分别连接所述第一卷积模块、所述第二卷积模块和所述第一最大池化层的输出；
一卷积神经结构，连接所述第二特征联合层；
一全连接模块，连接所述卷积神经结构，所述全连接模块包括多个全连接层。
优选地，所述第一卷积模块还包括：
一第二最大池化层，所述第二最大池化层的输入端连接所述第一卷积神经结构的输出端；
一叠加处理层，所述叠加处理层的输入端分别连接所述第二最大池化层的输出端和所述第三卷积神经结构的输出端。
本发明的有益效果在于：
本发明旨在结合摄像图像和超声图像，以及对超声检测设备进行定位，训练模型，在超声检测过程中，通过训练的模型能够提示医生当前超声检测设备需要移动方向，对于医生的超声检测经验要求不高，且相比其他空间定位方法实施简单，成本低；将体数据切片进行训练，减少了深度网络所需的数据采集工作量；生成网络能够同时兼顾图像特征提取的精度和速度。
附图说明
图1为本发明中一种基于生成式对抗网络的超声检查操作引导方法的流程示意图；
图2为本发明中训练生成式对抗网络具体实施例的流程示意图；
图3为本发明中生成式对抗网络具体实施例的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
本发明提供一种基于生成式对抗网络的超声检查操作引导方法，属于医学影像技术领域，如图1所示，包括如下步骤：
步骤S1，采用一第一采集模块采集多帧超声切片图像，采用一第二采集模块同步采集多帧摄像图像，并采集对应的第一采集模块的位置信息，摄像图像、超声切片图像和位置信息一一对应；
步骤S2，根据位置信息，对超声切片图像进行三维重建，得到一体数据；
步骤S3，将体数据分成多个子体数据，将多帧摄像图像、超声切片图像分别对应到子体数据中，得到一子体数据序列；
步骤S4，提供一目标部位的标准切面，根据子体数据序列进行标记，得到位于子体数据序列中任意一个子体数据时，第一采集模块向目标部位所需移动的方向，得到一方向数据集；
步骤S5，于子体数据序列中选择任一位置的超声切片图像、对应的摄像图像，以及对应的子体数据编号作为待训练数据集，子体数据编号表示被选择的超声切片图像所在的子体数据于子体数据序列中的位置；
步骤S6，提供一生成式对抗网络，生成式对抗网络包括一生成网络，将被选择的超声切片图像和摄像图像作为生成网络的输入，方向数据集作为生成网络的输出，进行训练得到生成式对抗网络模型；
步骤S7，向训练好的生成式对抗网络模型同时输入摄像图像、超声切片图像，然后生成第一采集模块需要移动的方向。
具体的，本发明包括第一采集模块和第二采集模块，其中第一采集模块为B超探头，用于紧贴人体体表，以采集超声切片图像；第二采集模块为摄像头，摄像头固定设置在高处，例如紧贴设置天花板上，或通过支架固定在天花板，摄像头能够采集超声检测的全局图像，至少包含待检测部位的整体特征。
具体包括网络训练和场景应用两部分：
网络训练：先利用B超探头和摄像头采集待检测部位的超声切片图像Bn、摄像图像An，以及B超探头的位置信息，上述超声切片图像、摄像图像，以及B超探头的位置信息于同一时刻采集，且一一对应，其中，待检测部位可以是人体的任意可用于超声检测的器官；利用空间位置信息，对超声探头采集的超声切片图像进行三维重建，对采集的超声数据采用插值法形成体数据；
根据待检测部位将体数据分块，得到多个子体数据，将上述采集的摄像图像、超声切片图像分别对应到子体数据中，对其进行扁平化处理，序列化处理，得到子体数据序列，建立摄像图像、超声切片图像和子体数据的对应关系；
从子体数据序列中，标记当前所在的子体数据的位置时，超声探头需要移动向人体部位的标准切面的方向，得到对应每个子体数据的移动方向标记，形成方向数据集，其中，在网络训练过程中，上述人体部位的标准切面由人为标记提供；
在待检测部位的子体数据序列中选取任意位置的切片图像，以及对应的上边沿最接近的摄像图像，并记录该切片图像对应的子体数据编号，子体数据编号用于表征被选择的超声切片图像对应的子体数据在子体数据序列中的位置；并且由于摄像图像、超声切片图像和子体数据相对应，根据对应的子体数据也可得到对应的上边沿最接近的摄像图像，将被选择的切片图像，以及对应的摄像图像作为待训练数据集，优选的，采用对体数据切片形成数据集，减少了深度网络所需的数据采集工作量；
将待训练数据集输入生成式对抗网络进行训练，输入为被选择的超声切片图像和摄像图像，输出为上述对应的方向数据集中每个子体数据对应的移动方向；其中，上述生成式对抗网络包括一生成网络和一判别网络，对生成网络和判别网络进行训练，得到生成网络和判别网络中各层对应的参数；
上述生成网络由对摄像图像和超声切片图像分别处理的单独卷积处理块，连接层，合成卷积层和全连接层组成，生成网络针对摄像图像整体变化不大，主要通过大视野的卷积层，以提高图像对细节的识别率；由于超声图像是灰度图像，变化较大，注重结构，因此不需要太多特征。
场景应用：在场景培训过程中，同时向训练好的生成式对抗网络模型输入摄像图像、超声切片图像，即可得到B超探头需要移动的方向，引导学员使用B超探头进一步扫查到标准切面的位置，对学员进行实时引导。
在一个较佳的实施例中，提供一预设的行走轨迹，其中预设的行走轨迹包覆整个待检测部位；
步骤S1中，第一采集模块沿着预设的行走轨迹匀速移动，并采集超声切片图像。
在一个较佳的实施例中，步骤S1中，采用编码导轨、或陀螺仪加速度传感器、或慈导航传感器形成行走轨迹。
具体的，B超探头安装在编码导轨上，编码导轨包括编码器，B超探头在编码导轨的带动下，沿着预设的行走轨迹匀速移动，并采集超声切片图像，利用编码器得到探头的位置信息，其中上述预设的行走轨迹能够完全覆盖待检测部位。
在一个较佳的实施例中，步骤S2中，对摄像图像、超声切片图像与子体数据一一对应处理，随后，对处理好后的多个子体数据进行扁平化处理，得到子体数据序列，子体数据序列中包括摄像图像、超声切片图像与子体数据的对应关系。
在一个较佳的实施例中，移动方向包括不移动、向左移动、向上移动、向右移动和向下移动；
步骤S4中，采集数字编号0～5进行标记，以表征第一采集模块需要移动的方向，其中，0表示不移动，1表示向左移动，2表示向上移动，3表示向右移动，4表示向下移动，得到对应每个子体数据对应的移动方向，形成方向数据集。
在一个较佳的实施例中，步骤S6中，训练好生成式对抗网络模型后，对生成式对抗网络模型的网络参数进行更新，如图2所示，具体更新步骤如下：
步骤S61中，将摄像图像、超声切片图像输入生成式对抗网络模型中，得到预测的移动方向编号；
步骤S62中，将预测的移动方向编号与人工标记的移动方向编号进行loss损失处理，以更新生成网络的参数，这里的参数对应于生成网络的各层。
在一个较佳的实施例中，生成式对抗网络还包括一判别网络；
步骤S63中，将预测的移动方向编号与人工标记的移动方向编号输入判别网络中进行判别，并进行loss损失处理，以更新判别网络和生成网络的参数。
在一个较佳的实施例中，生成网络对摄像图像和超声切片图像分别单独进行卷积处理。
具体的，生成网络根据各自图像的特点，对摄像图像和B超图像单独处理，兼顾了图像特征提取的精度和速度。
在一个较佳的实施例中，生成网络具体包括：
一第一卷积模块，用于对摄像图像进行卷积处理，第一卷积模块包括依次连接的第一卷积神经结构、第二卷积神经结构、第三卷积神经结构；
一第二卷积模块，用于对超声切片图像进行卷积处理，第二卷积模块包括依次连接的第四卷积神经结构、第五卷积神经结构、第六卷积神经结构；
一第一特征联合层，第一特征联合层的输入端分别连接第二卷积神经结构、以及第五卷积神经结构；
一第一最大池化层，连接第一特征联合层；
一第二特征联合层，分别连接第一卷积模块、第二卷积模块和第一最大池化层的输出；
一卷积神经结构，连接第二特征联合层；
一全连接模块，连接卷积神经结构，全连接模块包括多个全连接层。
在一个较佳的实施例中，第一卷积模块还包括：
一第二最大池化层，第二最大池化层的输入端连接第一卷积神经结构的输出端；
一叠加处理层，叠加处理层的输入端分别连接第二最大池化层的输出端和第三卷积神经结构的输出端。
具体的，在本实施例中，如图3所示，生成网络包括第一卷积模块、第二卷积模块、第一特征联合层、第一最大池化层、第二特征联合层、卷积神经结构、全连接模块。
其中，第一卷积模块包括三个卷积神经结构，第一卷积神经结构、第二卷积神经结构和第三卷积神经结构；
第一卷积神经结构包括：一卷积层和一线性整流激活函数ReLU，线性整流激活函数连接卷积层；其中，卷积层包括64个大小为5*5的卷积核，步长为2；
第二卷积神经结构包括：一卷积层、一批量规范化层(Batch Normalization，BN)和一线性整流激活函数ReLU，批量规范化层连接卷积层，线性整流激活函数连接批量规范化层；其中，卷积层包括128个大小为3*3的卷积核，步长为2；
第三卷积神经结构包括：一卷积层、一批量规范化层BN和一线性整流激活函数ReLU，批量规范化层连接卷积层，线性整流激活函数连接批量规范化层；其中，卷积层包括256个大小为3*3的卷积核，步长为2；
还包括：第二最大池化层和叠加处理层add，第二最大池化层的输入端连接第二卷积神经结构的输入端；叠加处理层的输入端分别连接第二最大池化层的输出端和第三卷积神经结构的输出端。
其中，第二卷积模块同样包括三个卷积神经结构，第四卷积神经结构、第五卷积神经结构和第六卷积神经结构；
第四卷积神经结构包括：一卷积层、一批量规范化层BN和一线性整流激活函数ReLU，批量规范化层连接卷积层，线性整流激活函数连接批量规范化层；其中，卷积层包括32个大小为3*3的卷积核，步长为2；
第五卷积神经结构包括：一卷积层、一批量规范化层BN和一线性整流激活函数ReLU，批量规范化层连接卷积层，线性整流激活函数连接批量规范化层；其中，卷积层包括64个大小为3*3的卷积核，步长为2；
第六卷积神经结构包括：一卷积层、一批量规范化层BN和一线性整流激活函数ReLU，批量规范化层连接卷积层，线性整流激活函数连接批量规范化层；其中，卷积层包括128个大小为3*3的卷积核，步长为2；
第一特征联合层concatenate分别连接第二卷积神经结构和第五卷积神经结构，特征联合concatenate是通道数的合并，描述图像本身的特征增加，而每一特征下的信息是没有增加；
第一最大池化层连接第一特征联合层；
第二特征联合层分别连接第一卷积模块、第二卷积模块和第一最大池化层的输出，采用2次concatenate的特征融合增加了之间的特征复用，减少了整体的特征数，提高计算效率；
卷积神经结构的输入连接第二特征联合层，该卷积神经结构包括一卷积层、一批量规范化层BN和一线性整流激活函数ReLU，批量规范化层连接卷积层，线性整流激活函数连接批量规范化层；其中，卷积层包括512个大小为3*3的卷积核，步长为2；
全连接模块连接卷积神经结构的输出，全连接模块包括三个全连接层FC，第一全连接层、第二全连接层和第三全连接层，第一全连接层包括4096个神经元，第二全连接层包括256个神经元，第三全连接层包括M个神经元，M可根据实际训练应用场景调整。
先提供一应用于甲状腺扫查的引导具体实施例以对本实施例进行阐释和说明：
将固定摄像头在高处，利用超声探头对甲状腺部位进行扫查，其中，甲状腺部位分成左部，右部和峡部三个部分，每个部分单独安装编码导轨，将超声探头固定在编码导轨上，摄像头和超声设备统一触发，匀速采集摄像图像、超声切片图像，利用导轨上编码器计算空间位置信息，根据位置信息，采用插值法对采集的超声切片图像形成每个部分的体数据；对每个部分的体数据切成子体数据，标记子体数据向目标部位(目标子体数据)需要移动方向的编号；对子数据集进行任意切片，并寻找切片图像的上边沿位置，以及采集超声切片图像最接近的上边沿位置所对应的摄像头图像配对作为输入，当前子体数据需要移动方向编号作为输出的真实值，形成数据集，将数据集输入生成式对抗网络训练，得到训练好的生成网络，在场景培训过程中使用生成网络进行推断，引导学员进一步扫查到标准切面的位置。
本发明的有益效果在于：
本发明旨在结合摄像图像和超声图像，以及对超声检测设备进行定位，训练模型，在超声检测过程中，通过训练的模型能够提示医生当前超声检测设备需要移动方向，对于医生的超声检测经验要求不高，且相比其他空间定位方法实施简单，成本低；将体数据切片进行训练，减少了深度网络所需的数据采集工作量；生成网络能够同时兼顾图像特征提取的精度和速度。
以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (8)

1.一种基于生成式对抗网络的超声检查操作引导方法，其特征在于，包括如下步骤：
步骤S1，采用一第一采集模块采集多帧超声切片图像，采用一第二采集模块同步采集超声检测的全局图像的多帧摄像图像，并采集对应的所述第一采集模块的位置信息，所述摄像图像、所述超声切片图像和所述位置信息一一对应；
步骤S2，根据所述位置信息，对所述超声切片图像进行三维重建，得到一体数据；
步骤S3，根据待检测部位将所述体数据分块，得到多个子体数据，将多帧所述摄像图像、所述超声切片图像分别对应到所述子体数据中，得到一子体数据序列；所述步骤S3中，对所述摄像图像、所述超声切片图像与所述子体数据一一对应处理，随后，对处理好后的多个所述子体数据进行扁平化处理和序列化处理，得到所述子体数据序列，所述子体数据序列中包括所述摄像图像、所述超声切片图像与所述子体数据的对应关系；
步骤S4，提供一目标部位的标准切面，根据所述子体数据序列进行标记，得到位于所述子体数据序列中任意一个所述子体数据时，所述第一采集模块向所述目标部位所需移动的方向，得到一方向数据集；
步骤S5，于所述子体数据序列中选择任一位置的所述超声切片图像、对应的上边沿最接近的所述摄像图像，以及对应的子体数据编号作为待训练数据集，所述子体数据编号表示被选择的所述超声切片图像所在的所述子体数据于所述子体数据序列中的位置；
步骤S6，提供一生成式对抗网络，所述生成式对抗网络包括一生成网络，将被选择的所述超声切片图像和所述摄像图像作为所述生成网络的输入，所述方向数据集作为所述生成网络的输出，进行训练得到生成式对抗网络模型；所述生成网络对所述摄像图像和所述超声切片图像分别单独进行卷积处理；
步骤S7，向训练好的所述生成式对抗网络模型同时输入所述摄像图像、所述超声切片图像，然后生成所述第一采集模块需要移动的方向。
2.根据权利要求1所述的一种基于生成式对抗网络的超声检查操作引导方法，其特征在于，提供一预设的行走轨迹，其中预设的所述行走轨迹包覆整个所述待检测部位；
所述步骤S1中，所述第一采集模块沿着预设的所述行走轨迹匀速移动，并采集所述超声切片图像。
3.根据权利要求2所述的一种基于生成式对抗网络的超声检查操作引导方法，其特征在于，所述步骤S1中，采用编码导轨、或陀螺仪加速度传感器、或慈导航传感器形成所述行走轨迹。
4.根据权利要求1所述的一种基于生成式对抗网络的超声检查操作引导方法，其特征在于，移动方向包括不移动、向左移动、向上移动、向右移动和向下移动；
所述步骤S4中，采集数字编号0～5进行标记，以表征所述第一采集模块需要移动的方向，其中，0表示不移动，1表示向左移动，2表示向上移动，3表示向右移动，4表示向下移动，得到对应每个所述子体数据对应的移动方向，形成所述方向数据集。
5.根据权利要求1所述的一种基于生成式对抗网络的超声检查操作引导方法，其特征在于，所述步骤S6中，训练好所述生成式对抗网络模型后，对所述生成式对抗网络模型的网络参数进行更新，具体更新步骤如下：
步骤S61中，将所述摄像图像、所述超声切片图像输入所述生成式对抗网络模型中，得到预测的移动方向编号；
步骤S62中，将预测的所述移动方向编号与人工标记的所述移动方向编号进行损失处理，以更新所述生成网络的参数。
6.根据权利要求5所述的一种基于生成式对抗网络的超声检查操作引导方法，其特征在于，所述生成式对抗网络还包括一判别网络；
步骤S63中，将预测的所述移动方向编号与人工标记的所述移动方向编号输入所述判别网络中进行判别，并进行损失处理，以更新所述判别网络和所述生成网络的参数。
7.根据权利要求1所述的一种基于生成式对抗网络的超声检查操作引导方法，其特征在于，所述生成网络具体包括：
一第一卷积模块，用于对所述摄像图像进行卷积处理，所述第一卷积模块包括依次连接的第一卷积神经结构、第二卷积神经结构、第三卷积神经结构；
一第二卷积模块，用于对所述超声切片图像进行卷积处理，所述第二卷积模块包括依次连接的第四卷积神经结构、第五卷积神经结构、第六卷积神经结构；
一第一特征联合层，所述第一特征联合层的输入端分别连接所述第二卷积神经结构、以及所述第五卷积神经结构；
一第一最大池化层，连接所述第一特征联合层；
一第二特征联合层，分别连接所述第一卷积模块、所述第二卷积模块和所述第一最大池化层的输出；
一卷积神经结构，连接所述第二特征联合层；
一全连接模块，连接所述卷积神经结构，所述全连接模块包括多个全连接层。
8.根据权利要求7所述的一种基于生成式对抗网络的超声检查操作引导方法，其特征在于，所述第一卷积模块还包括：
一第二最大池化层，所述第二最大池化层的输入端连接所述第一卷积神经结构的输出端；
一叠加处理层，所述叠加处理层的输入端分别连接所述第二最大池化层的输出端和所述第三卷积神经结构的输出端。
CN202110368381.9A 2021-04-06 2021-04-06 一种基于生成式对抗网络的超声检查操作引导方法 Active CN113171118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110368381.9A CN113171118B (zh) 2021-04-06 2021-04-06 一种基于生成式对抗网络的超声检查操作引导方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110368381.9A CN113171118B (zh) 2021-04-06 2021-04-06 一种基于生成式对抗网络的超声检查操作引导方法

Publications (2)

Publication Number Publication Date
CN113171118A CN113171118A (zh) 2021-07-27
CN113171118B true CN113171118B (zh) 2023-07-14

Family

ID=76922986

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110368381.9A Active CN113171118B (zh) 2021-04-06 2021-04-06 一种基于生成式对抗网络的超声检查操作引导方法

Country Status (1)

Country Link
CN (1) CN113171118B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114848019A (zh) * 2022-04-19 2022-08-05 山东大学 基于柔性协作机器人的自动心脏超声检测***及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106388865A (zh) * 2016-11-26 2017-02-15 汕头市超声仪器研究所有限公司 一种引导人工采集超声波切面图像的方法
CN111223092A (zh) * 2020-02-28 2020-06-02 长沙大端信息科技有限公司 胎儿超声切面图像自动质控***及检测方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111432733B (zh) * 2017-09-07 2021-10-26 皮乌尔影像股份有限公司 用于确定超声探头的运动的设备和方法
US11534136B2 (en) * 2018-02-26 2022-12-27 Siemens Medical Solutions Usa, Inc. Three-dimensional segmentation from two-dimensional intracardiac echocardiography imaging
CN110021037B (zh) * 2019-04-17 2020-12-29 南昌航空大学 一种基于生成对抗网络的图像非刚性配准方法及***
CN110070576A (zh) * 2019-04-29 2019-07-30 成都思多科医疗科技有限公司 一种基于深度学习网络的超声采图智能定位方法和***
CN110503654B (zh) * 2019-08-01 2022-04-26 中国科学院深圳先进技术研究院 一种基于生成对抗网络的医学图像分割方法、***及电子设备
CN110974294A (zh) * 2019-12-19 2020-04-10 上海尽星生物科技有限责任公司 超声扫描方法及装置
CN112215843B (zh) * 2019-12-31 2021-06-11 无锡祥生医疗科技股份有限公司 超声智能成像导航方法、装置、超声设备及存储介质
CN111544036A (zh) * 2020-05-12 2020-08-18 上海深至信息科技有限公司 一种超声导航***及方法
CN111657997A (zh) * 2020-06-23 2020-09-15 无锡祥生医疗科技股份有限公司 超声辅助引导方法、装置及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106388865A (zh) * 2016-11-26 2017-02-15 汕头市超声仪器研究所有限公司 一种引导人工采集超声波切面图像的方法
CN111223092A (zh) * 2020-02-28 2020-06-02 长沙大端信息科技有限公司 胎儿超声切面图像自动质控***及检测方法

Also Published As

Publication number Publication date
CN113171118A (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
CN112215843B (zh) 超声智能成像导航方法、装置、超声设备及存储介质
US10796605B2 (en) System and method for three-dimensional augmented reality guidance for use of equipment
CN111528859B (zh) 基于多模态深度学习技术的儿童adhd筛查评估***
JP2019514476A (ja) 超音波イメージングプローブの位置決め
KR20190046471A (ko) 의료 영상 처리 방법 및 그에 따른 의료 영상 처리 장치
US20190050984A1 (en) Method and system for supporting medical personnel
WO2018194762A1 (en) Articulating arm for analyzing anatomical objects using deep learning networks
CN113171118B (zh) 一种基于生成式对抗网络的超声检查操作引导方法
Sharma et al. Multi-modal learning from video, eye tracking, and pupillometry for operator skill characterization in clinical fetal ultrasound
Angra et al. Amalgamation of virtual reality, augmented reality and machine learning: A review
CN113274051B (zh) 超声辅助扫查方法、装置、电子设备和存储介质
CN111466952B (zh) 一种超声内镜与ct三维图像实时转化方法和***
KR101339452B1 (ko) 가상 관절경 수술 시뮬레이션장치
US11766234B2 (en) System and method for identifying and navigating anatomical objects using deep learning networks
CN116212254A (zh) 自动机器人辅助超声引导放疗***及其方法
CN116782850A (zh) 超声波模拟***
Beacon et al. Assessing the suitability of Kinect for measuring the impact of a week-long Feldenkrais method workshop on pianists’ posture and movement
JP2022090787A (ja) 超音波診断システム及び操作支援方法
US20220338836A1 (en) System and method for guiding positioning and orienting of an ultrasound probe
CN114663432B (zh) 骨骼模型修正方法和装置
CN117671012B (zh) 术中内窥镜绝对与相对位姿计算的方法、装置及设备
KR20230146437A (ko) 동영상 데이터를 이용한 의료 인공지능 모델 학습 방법
CN114973887A (zh) 一种多模块结合实现超声影像一体化的交互显示***
US20210000445A1 (en) Systems and methods for automated body scanning
CN116726458A (zh) 数据处理方法、装置、增强实现设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant