CN110598675B - 一种超声胎儿姿态的识别方法、存储介质及电子设备 - Google Patents

一种超声胎儿姿态的识别方法、存储介质及电子设备 Download PDF

Info

Publication number
CN110598675B
CN110598675B CN201910907068.0A CN201910907068A CN110598675B CN 110598675 B CN110598675 B CN 110598675B CN 201910907068 A CN201910907068 A CN 201910907068A CN 110598675 B CN110598675 B CN 110598675B
Authority
CN
China
Prior art keywords
fetal
posture
volume data
ultrasonic
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910907068.0A
Other languages
English (en)
Other versions
CN110598675A (zh
Inventor
杨鑫
高睿
史文龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Duying Medical Technology Co ltd
Original Assignee
Shenzhen Duying Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Duying Medical Technology Co ltd filed Critical Shenzhen Duying Medical Technology Co ltd
Priority to CN201910907068.0A priority Critical patent/CN110598675B/zh
Publication of CN110598675A publication Critical patent/CN110598675A/zh
Application granted granted Critical
Publication of CN110598675B publication Critical patent/CN110598675B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种超声胎儿姿态的识别方法、存储介质及电子设备，所述识别方法包括获取胎儿的待识别的超声容积数据；将所述待识别的超声容积数据输入已训练的姿态识别模型，其中，所述姿态识别模型基于训练样本集训练得到，所述训练样本集包括多组训练样本，每组训练样本包括超声容积数据以及胎儿姿态信息；通过所述姿态识别模型识别所述待识别的超声容积数据对应的姿态信息，并根据所述姿态信息确定胎儿姿态。本发明通过已训练的姿态识别模型从超声容积数据中提取胎儿姿态相关信息，并根据提取信息估计胎儿姿态，这样可以根据输入的超声容积数据可以准确、鲁棒而快速自动确定胎儿姿态，帮助医生对产前胎儿超声图像进行更高效、准确的分析。

Description

一种超声胎儿姿态的识别方法、存储介质及电子设备
技术领域
本发明涉及超声技术领域，特别涉及一种超声胎儿姿态的识别方法、存储介质及电子设备。
背景技术
产前超声中的胎儿姿态是指产前胎儿超声图像中胎儿身体呈现的几何结构状态，对胎儿姿态的准确估计会对诸多临床诊断任务产生帮助，如参数测量、切面探测、运动功能检查、发育状态监测。然而，由于三维超声图像观察难度高且不同胎儿的姿态多样性高以及三维图像的高维度，使得医生很难依靠现有工具来判别产前三维超声图像中的胎儿姿态。
因而现有技术还有待改进和提高。
发明内容
本发明要解决的技术问题在于，针对现有技术的不足，提供一种超声胎儿姿态的识别方法、存储介质及电子设备。
为了解决上述技术问题，本发明所采用的技术方案如下：
一种超声胎儿姿态的识别方法，其包括：
获取胎儿的待识别的超声容积数据；
将所述待识别的超声容积数据输入已训练的姿态识别模型，其中，所述姿态识别模型基于训练样本集训练得到，所述训练样本集包括多组训练样本，每组训练样本包括超声容积数据以及胎儿姿态信息；
通过所述姿态识别模型识别所述待识别的超声容积数据对应的姿态信息，并根据所述姿态信息确定胎儿姿态。
所述的超声胎儿姿态的识别方法，其中，所述姿态识别模型的训练过程具体包括：
预设模型根据训练样本集中的超声容积数据，生成所述超声容积数据对应的生成姿态信息；
所述预设模型根据所述生成姿态信息以及所述超声容积数据对应的胎儿姿态信息，对所述预设模型的模型参数进行修正，并继续执行根据训练样本集中超声容积数据，生成所述超声容积数据对应的生成姿态信息的步骤，直至所述预设模型的训练情况满足预设条件，以得到已训练的姿态识别模型。
所述的超声胎儿姿态的识别方法，其中，所述训练样本中的胎儿姿态信息包括至少一张由表示胎儿姿态的关键点生成的热力图，热力图对应胎儿姿态关键点的位置信息。
所述的超声胎儿姿态的识别方法，其中，所述训练样本中的胎儿姿态信息包括若干分割图，每张分割图对应一个胎儿部位，每张分割图对应的胎儿部位互不相同。
所述的超声胎儿姿态的识别方法，其中，所述预设模型根据训练样本集中的超声容积数据，生成所述超声容积数据对应的生成姿态信息之前包括：
对所述训练样本集进行数据增强处理，并将数据增强处理后的训练样本集作为训练样本集。
所述的超声胎儿姿态的识别方法，其中，所述姿态识别模型为基于携带关键点的热力图的训练样本集训练得到的；所述通过所述姿态识别模型识别所述待识别的超声容积数据对应的姿态信息，并根据所述姿态信息确定胎儿姿态具体包括：
通过所述姿态识别模型识别所述待识别的超声容积数据对应的姿态信息，其中，所述姿态信息包括若干热力图；
获取各热力图对应的关键点，并根据获取到的所有关键点确定胎儿姿态。
所述的超声胎儿姿态的识别方法，其中，所述姿态识别模型为基于携带胎儿部位的分割图的训练样本集训练得到的；所述通过所述姿态识别模型识别所述待识别的超声容积数据对应的姿态信息，并根据所述姿态信息确定胎儿姿态具体包括：
通过所述姿态识别模型识别所述待识别的超声容积数据对应的姿态信息，其中，所述姿态信息包括若干分割图；
获取各分割图对应的各胎儿部位的位置信息，并获取到的所有胎儿姿态确定胎儿姿态。
所述的超声胎儿姿态的识别方法，其中，所述通过所述姿态识别模型识别所述待识别的超声容积数据对应的姿态信息，并根据所述姿态信息确定胎儿姿态具体包括：
通过所述姿态识别模型识别所述待识别的超声容积数据对应的姿态信息；
对所述姿态信息进行后处理，并根据后处理得到的姿态信息确定胎儿姿态。
一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的超声胎儿姿态的识别方法中的步骤。
一种电子设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如上任一所述的超声胎儿姿态的识别方法中的步骤。
有益效果：与现有技术相比，本发明提供了一种超声胎儿姿态的识别方法、存储介质及电子设备，所述识别方法包括获取胎儿的待识别的超声容积数据；将所述待识别的超声容积数据输入已训练的姿态识别模型，其中，所述姿态识别模型基于训练样本集训练得到，所述训练样本集包括多组训练样本，每组训练样本包括超声容积数据以及胎儿姿态信息；通过所述姿态识别模型识别所述待识别的超声容积数据对应的姿态信息，并根据所述姿态信息确定胎儿姿态。本发明通过已训练的姿态识别模型从超声容积数据中提取胎儿姿态相关信息，并根据提取信息估计胎儿姿态，这样可以根据输入的超声容积数据可以准确、鲁棒而快速自动确定胎儿姿态，有助于医生更高效、准确地识别胎儿姿态，并利用胎儿姿态信息于其他临床任务。
附图说明
图1为本发明提供的超声胎儿姿态的识别方法的流程图。
图2为本发明提供的胎儿姿态的关键点的一个示意图。
图3为本发明提供的胎儿姿态的关键点的另一个示意图。
图4为本发明提供的根据胎儿姿态信息识别的胎儿正中矢状面的一个视角的示意图。
图5为本发明提供的根据胎儿姿态信息识别的胎儿正中矢状面的另一个视角的示意图。
图6为本发明提供的电子设备的结构原理图。
具体实施方式
本发明提供一种超声胎儿姿态的识别方法、存储介质及电子设备，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语 (包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
下面结合附图，通过对实施例的描述，对发明内容作进一步说明。
本实施提供了一种超声胎儿姿态的识别方法，如图1所示，所述方法包括：
S10、获取胎儿的待识别的超声容积数据。
具体地，所述超声容积数据可以是通过探头阵列扫描获取得到，也可以是外部设备发送的，其中，所述超声容积数据包括超声扫描数据以及超声扫描数据相对应空间位置参数。此外，在获取到超声容积数据后，可以根据所述超声容积数据进行超声容积成像，以得到超声图像。
S20、将所述待识别的超声容积数据输入已训练的姿态识别模型，其中，所述姿态识别模型基于训练样本集训练得到，所述训练样本集包括多组训练样本，每组训练样本包括超声容积数据以及胎儿姿态信息。
具体地，所述姿态识别模型为预先训练的，用于根据超声容积数据识别该超声容积数据对应的胎儿姿态信息，并且所述姿态识别模型为基于预设的训练样本集训练得到的。所述姿态识别模型的输入项为超声容积数据，所述姿态模型的输出项为胎儿姿态信息，即当将超声容积数据输入至姿态识别模型后，姿态识别模型可以输出该超声容积数据对应的胎儿姿态信息。
进一步，在本实施例的一个实现方式中，在将待识别的超声容积数据输入已训练的姿态识别模型后，可以对该待识别的超声容积数据进行预处理，以提高姿态识别模型对待识别的超声容积数据识别的精确性。其中，所述预处理可以为归一化处理，即对待识别的超声容积数据进行归一化处理。在本实施例中，所述待识别的超声容积数据可以为超声容积图像，从而待识别的超声容积数据进行归一化处理可以为对超声容积图像进行归一化处理。当然，在实际应用中，所述预处理还可以包括其他处理，例如，去噪等。
进一步，在本实施例的一个实现方式中，所述姿态识别模型的训练过程具体包括：
M10、预设模型根据训练样本集中的超声容积数据，生成所述超声容积数据对应的生成姿态信息；
M20、所述预设模型根据所述生成姿态信息以及所述超声容积数据对应的胎儿姿态信息，对所述预设模型的模型参数进行修正，并继续执行根据训练样本集中超声容积数据，生成所述超声容积数据对应的生成姿态信息的步骤，直至所述预设模型的训练情况满足预设条件，以得到已训练的姿态识别模型。
具体地，所述训练样本集包括多组训练样本，每组训练样本均包括超声容积数据以及胎儿姿态信息，其中，所述胎儿姿态信息为所述超声容积数据中胎儿的胎儿姿态信息。同时，对于训练样本集中的每一组训练样本，该训练样本中的超声容积数据与训练样本集中除该训练样本外的任一训练样本中的超声容积数据均不相同。此外，每一组训练样本中的胎儿姿态信息为同一类型的胎儿姿态信息，例如，每一组训练样本中的胎儿姿态信息均为携带关键点的热力图，并且每一组训练样本中的携带关键点的热力图均为该组训练样本中超声容积数据对应的；再如，每一组训练样本中的胎儿姿态信息均为携带胎儿部位的分割图，并且每一组训练样本中的携带胎儿部位的分割图均为该组训练样本中超声容积数据对应的。
进一步，在本实施例的一个实现方式中，所述训练样本中的胎儿姿态信息包括至少一张由表示胎儿姿态的关键点生成的热力图，热力图对应胎儿姿态关键点的位置信息。所述若干关键点可以以坐标形式表示，即胎儿姿态信息为可确认胎儿姿态位置的若干关键点的坐标信息，其中，所述若干关键点的坐标信息可以是由专家手动标注得到。例如，胎儿姿态信息包括n个关键点的坐标信息，那么超声容积数据携带有n个标注，该超声容积数据对应n张热力图，每一张热力图对应一个关键点。其中，每个关键点对应的热力图的图像尺寸与超声容积数据的尺寸相同，是由以关键点位置为中心的多变量高斯分布生成。当然，值得说明的是：当胎儿姿态信息为若干热力图时，输入预设模型训练过程的胎儿姿态信息为各关键点对应的热力图。同时，训练样本组中每组训练样本中胎儿姿态信息包含的关键点数量以及种类均相同，仅是每个关键点对应的热力图可以不同。例如，每组训练样本中胎儿姿态信息均包含左右肩关节、左右肘关节、左右手踝关节、左右膝关节、左右髋关节、左右脚踝关节、头部以及颈部等。
进一步，在本实施例的一个实现方式中，所述训练样本中的胎儿姿态信息包括若干分割图，每张分割图对应一个胎儿部位，每张分割图对应的胎儿部位互不相同。所述分割图可以是根据胎儿各身体部位分割得到，其中，所述胎儿姿态部位可以包括头、身、腿、臂以及手等。所述胎儿各身体部位的分割结果可以是专家手动标注得到。例如，超声容积数据具有n 个分割部位，那么胎儿姿态信息包括n+1张分割图，所述n+1张分割图包括各分割部分对应的分割图以及超声容积数据的背景对应的分割图。当然，值得说明的是：当胎儿姿态信息为若干分割图时，输入预设模型训练过程的胎儿姿态信息为若干分割图。同时，训练样本组中每组训练样本中胎儿姿态信息包含的分割图数量相同，并且每组训练样本若干分割图包含胎儿各身体部位相同。例如，每组训练样本中胎儿姿态信息均包含左右手、左右脚、左右腿、左右手臂、头部和颈部等。
进一步，在本实施例的一个实现方式中，所述训练样本中的胎儿姿态信息包括若干关键点的三维空间坐标，胎儿姿态信息为可确认胎儿姿态位置的若干关键点的三维空间坐标信息，其中，所述若干关键点的三维空间坐标信息可以是由专家手动标注得到。例如，胎儿姿态信息包括n个关键点的三维空间坐标信息，那么超声容积数据携带有n个标注，如图2和3 所示，该超声容积数据对应n个关键点。当然，值得说明的是：当胎儿姿态信息为若干关键点的坐标时，输入预设模型训练过程的胎儿姿态信息即为各关键点的坐标。同时，训练样本组中每组训练样本中胎儿姿态信息包含的关键点数量以及种类均相同，仅是每个关键点对应的热力图可以不同。例如，每组训练样本中胎儿姿态信息均包含左右肩关节、左右肘关节、左右手踝关节、左右膝关节、左右髋关节、左右脚踝关节、头部以及颈部等。
进一步，在本实施例的一个实现方式中，所述训练样本中的胎儿姿态信息包括若干三维目标包围框，每个包围框对应胎儿的一个部位，不同包围框对应的胎儿部位互不相同。所述三维目标包围框可以是根据胎儿各身体部位位置得到，其中，所述胎儿姿态部位可以包括头、身、腿、臂以及手等。所述胎儿各身体部位的包围框可以是专家手动标注得到。例如，超声容积数据具有n个检测的身体部位，那么胎儿姿态信息包括n个包围框。当然，值得说明的是：当胎儿姿态信息为若干目标包围框时，输入预设模型训练过程的胎儿姿态信息为若干目标包围框。同时，训练样本组中每组训练样本中胎儿姿态信息包含的目标包围框数量相同，并且每组训练样本各若干目标包围框对应的胎儿身体部位相同。
进一步，所述预设模型可以为深度学习模型，所述深度学习模型是一种判别模型，在基于训练样本集对该深度学习模型进行训练是可以采用反向传播算法进行训练。此外，在根据所述生成姿态信息以及所述超声容积数据对应的胎儿姿态信息，对所述预设模型的模型参数进行修正时，可以采用随机阶梯下降法求解法对所述模型参数进行修正。在本实施例的一个实现方式中，所述深度学习模型为三维全卷积神经网络，并且在所述三维全卷积神经网络中采用跳跃连接以及残差模块，通过所述跳跃连接以及残差模块可以提高三维全卷积神经网络的训练速度，并其可以增加三维全卷积神经网络的深度，以提高三维全卷积神经网络的表达能力。
进一步，在本实施例的一个实现方式中，在预设模型根据训练样本集中的超声容积数据，生成超声容积数据对应的生成姿态信息之前，可以对所述训练样本集进行数进行预处理，以提高姿态识别模型的识别精度。其中，所述预处理可以为归一化处理，即对待识别的超声容积数据进行归一化处理。在本实施例中，所述待识别的超声容积数据可以为超声容积图像，从而待识别的超声容积数据进行归一化处理可以为对超声容积图像进行归一化处理。当然，在实际应用中，所述预处理还可以包括其他处理，例如，去噪、灰度化等。
进一步，在本实施例的一个实现方式中，在预设模型根据训练样本集中的超声容积数据，生成超声容积数据对应的生成姿态信息之前，可以对所述训练样本集进行数据增强处理。相应的，所述预设模型根据训练样本集中的超声容积数据，生成所述超声容积数据对应的生成姿态信息之前包括：
对所述训练样本集进行数据增强处理，并将数据增强处理后的训练样本集作为训练样本集。
具体地，所述数据增强处理指的是对训练样本集中的训练样本进行数据增强处理，所述数据增强处理可以包括旋转、缩放以及镜像等。也就是说，对所述训练样本集中的各组训练样本随机进行旋转、缩放或者镜像处理，以得到处理后的训练样本，并将处理后的训练样本添加到训练样本集内，这样可以增加训练样本的多样性和减弱过拟合，提高姿态识别模型的识别精度，特别可以减弱模型在臂和腿识别上的左右混乱问题。当然，值得说明的，当在训练过程中包括预处理步骤时，所述预处理步骤可以在增加增强处理步骤之前，即先对训练样本集中的训练样本进行预处理，在预处理完成后，再对预处理后的训练样本集进行数据增强处理。
S30、通过所述姿态识别模型识别所述待识别的超声容积数据对应的姿态信息，并根据所述姿态信息确定胎儿姿态。
具体地，所述姿态信息为通过所述姿态识别模型识别到，待识别的超声容积数据对应的姿态信息，所述姿态信息根据所述姿态识别模型采用的训练样本中的胎儿姿态信息相对应，当训练样本中的胎儿姿态信息为若干关键点的热力图时，所述姿态信息为若干关键点的热力图；当训练样本中的胎儿姿态信息为若干分割图时，所述姿态信息为若干分割图。
进一步，在本实施例的一个实现方式中，当所述姿态识别模型为基于携带关键点的热力图的训练样本集训练得到的姿态识别模型时，所述通过所述姿态识别模型识别所述待识别的超声容积数据对应的姿态信息，并根据所述姿态信息确定胎儿姿态具体包括：
S31、通过所述姿态识别模型识别所述待识别的超声容积数据对应的姿态信息，其中，所述姿态信息包括若干热力图；
S32、获取各热力图对应的关键点，并根据获取到的所有关键点确定胎儿姿态。
具体地，所述若干热力图中每张热力图均携带一个关键点，并且可以通过该热力图确定该关键点的坐标信息，这样根据若干热力图可以获取到若干关键点的坐标信息，在根据若干关键的坐标信息可以确定胎儿姿态，例如，如图4和5所示。此外，在获取各热力图中各关键点的坐标信息是将各热力图置于相同三维坐标系上，分别获取各热力图携带的关键点的坐标信息。当然，值得说明的，在获取到各关键点的坐标信息后，根据所有关键点的坐标信息确定胎儿姿态可以采用现有的方法，这里就不一一赘述，这样是可以实现根据所有关键点的坐标信息确定胎儿姿态的方法均属于本申请的包含方法。
进一步，在本实施例的一个实现方式中，当所述姿态识别模型为基于携带胎儿部位的分割图的训练样本集训练得到的姿态识别模型时，所述通过所述姿态识别模型识别所述待识别的超声容积数据对应的姿态信息，并根据所述姿态信息确定胎儿姿态具体包括：
S31a、通过所述姿态识别模型识别所述待识别的超声容积数据对应的姿态信息，其中，所述姿态信息包括若干分割图；
S32a、获取各分割图对应的各胎儿部位的位置信息，并获取到的所有胎儿姿态确定胎儿姿态。
具体地，所述若干分割图中每张分割图均携带一个胎儿身体部位，在获取到分割图后，可以各分割图对应的各胎儿部位的位置信息，之后在根据各分割图对应的各胎儿部位的位置信息确定胎儿姿态。在获取到若干分割图后，可以将各分割图置于相同三维坐标系上，分别获取各分割图携带的胎儿身体部位的位置信息，其中，各张热力图最大值所在点即该张热力图的关键点。当然，值得说明的，在获取到各胎儿身体部位的位置信息后，根据所有胎儿身体部位的位置信息确定胎儿姿态可以采用现有的方法，这里就不一一赘述，这样是可以实现根据所有胎儿身体部位的位置信息确定胎儿姿态的方法均属于本申请的包含方法。
进一步，在本实施例的一个实现方式中，为了提供胎儿姿态识别的准确性，在获取到姿态信息后，可以对获取到姿态信息进行后处理，再根据后处理得到的姿态信息确定胎儿姿态。相应的，所述通过所述姿态识别模型识别所述待识别的超声容积数据对应的姿态信息，并根据所述姿态信息确定胎儿姿态具体包括：
S31b、通过所述姿态识别模型识别所述待识别的超声容积数据对应的姿态信息；
S32b、对所述姿态信息进行后处理，并根据后处理得到的姿态信息确定胎儿姿态。
具体地，所述后处理包括对胎儿姿态左右手臂和/或左右腿的姿态矫正，通过对姿态信息进行后处理，可以去除姿态信息携带噪声和偏差，提高根据姿态信息识别得到的胎儿姿态的准确性。
基于上述超声胎儿姿态的识别方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的超声胎儿姿态的识别方法中的步骤。
基于上述超声胎儿姿态的识别方法，本发明还提供了一种电子设备，如图6所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface) 23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及电子设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种超声胎儿姿态的识别方法，其特征在于，其包括：
获取胎儿的待识别的超声容积数据；
将所述待识别的超声容积数据输入已训练的姿态识别模型，其中，所述姿态识别模型基于训练样本集训练得到，所述训练样本集包括多组训练样本，每组训练样本包括超声容积数据以及胎儿姿态信息；
通过所述姿态识别模型识别所述待识别的超声容积数据对应的姿态信息，并根据所述姿态信息确定胎儿姿态；
所述姿态识别模型为基于携带胎儿部位的分割图的训练样本集训练得到的，所述训练样本中的胎儿姿态信息包括若干分割图，每张分割图对应一个胎儿部位，每张分割图对应的胎儿部位互不相同；所述通过所述姿态识别模型识别所述待识别的超声容积数据对应的姿态信息，并根据所述姿态信息确定胎儿姿态具体包括：
通过所述姿态识别模型识别所述待识别的超声容积数据对应的姿态信息，其中，所述姿态信息包括若干分割图；
获取各分割图对应的各胎儿部位的位置信息，并获取到的所有胎儿姿态确定胎儿姿态；
获取到若干分割图后，将各分割图置于相同三维坐标系上，分别获取各分割图携带的胎儿身体部位的位置信息。
2.根据权利要求1所述的超声胎儿姿态的识别方法，其特征在于，所述姿态识别模型的训练过程具体包括：
预设模型根据训练样本集中的超声容积数据，生成所述超声容积数据对应的生成姿态信息；
所述预设模型根据所述生成姿态信息以及所述超声容积数据对应的胎儿姿态信息，对所述预设模型的模型参数进行修正，并继续执行根据训练样本集中超声容积数据，生成所述超声容积数据对应的生成姿态信息的步骤，直至所述预设模型的训练情况满足预设条件，以得到已训练的姿态识别模型。
3.根据权利要求2所述的超声胎儿姿态的识别方法，其特征在于，所述预设模型根据训练样本集中的超声容积数据，生成所述超声容积数据对应的生成姿态信息之前包括：
对所述训练样本集进行数据增强处理，并将数据增强处理后的训练样本集作为训练样本集。
4.根据权利要求1所述超声胎儿姿态的识别方法，其特征在于，所述通过所述姿态识别模型识别所述待识别的超声容积数据对应的姿态信息，并根据所述姿态信息确定胎儿姿态具体包括：
通过所述姿态识别模型识别所述待识别的超声容积数据对应的姿态信息；
对所述姿态信息进行后处理，并根据后处理得到的姿态信息确定胎儿姿态，所述后处理包括对胎儿姿态左右手臂和/或左右腿的姿态矫正。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1～4任意一项所述的超声胎儿姿态的识别方法中的步骤。
6.一种电子设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
所述通信总线实现处理器和存储器之间的连接通信；
所述处理器执行所述计算机可读程序时实现如权利要求1-4任意一项所述的超声胎儿姿态的识别方法中的步骤。
CN201910907068.0A 2019-09-24 2019-09-24 一种超声胎儿姿态的识别方法、存储介质及电子设备 Active CN110598675B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910907068.0A CN110598675B (zh) 2019-09-24 2019-09-24 一种超声胎儿姿态的识别方法、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910907068.0A CN110598675B (zh) 2019-09-24 2019-09-24 一种超声胎儿姿态的识别方法、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN110598675A CN110598675A (zh) 2019-12-20
CN110598675B true CN110598675B (zh) 2022-10-11

Family

ID=68863007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910907068.0A Active CN110598675B (zh) 2019-09-24 2019-09-24 一种超声胎儿姿态的识别方法、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110598675B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489129A (zh) * 2020-12-18 2021-03-12 深圳市优必选科技股份有限公司 位姿识别模型训练方法、装置、位姿识别方法和终端设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766874A (zh) * 2017-09-07 2018-03-06 沈燕红 一种超声容积生物学参数的测量方法及测量***
CN108717531A (zh) * 2018-05-21 2018-10-30 西安电子科技大学 基于Faster R-CNN的人体姿态估计方法
CN109685023A (zh) * 2018-12-27 2019-04-26 深圳开立生物医疗科技股份有限公司 一种超声图像的面部关键点检测方法及相关装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170273663A1 (en) * 2016-03-24 2017-09-28 Elwha Llc Image processing for an ultrasonic fetal imaging device
CN109069119B (zh) * 2016-04-26 2021-10-22 皇家飞利浦有限公司 用于超声胎儿成像的3d图像合成
CN107424145A (zh) * 2017-06-08 2017-12-01 广州中国科学院软件应用技术研究所 基于三维全卷积神经网络的核磁共振图像的分割方法
CN109918975B (zh) * 2017-12-13 2022-10-21 腾讯科技（深圳）有限公司 一种增强现实的处理方法、对象识别的方法及终端
CN108154104B (zh) * 2017-12-21 2021-10-15 北京工业大学 一种基于深度图像超像素联合特征的人体姿态估计方法
CN109063301B (zh) * 2018-07-24 2023-06-16 杭州师范大学 一种基于热力图的单幅图像室内物体姿态估计方法
CN109671086A (zh) * 2018-12-19 2019-04-23 深圳大学 一种基于三维超声的胎儿头部全自动分割方法
CN109727240B (zh) * 2018-12-27 2021-01-19 深圳开立生物医疗科技股份有限公司 一种三维超声图像的遮挡组织剥离方法及相关装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766874A (zh) * 2017-09-07 2018-03-06 沈燕红 一种超声容积生物学参数的测量方法及测量***
CN108717531A (zh) * 2018-05-21 2018-10-30 西安电子科技大学 基于Faster R-CNN的人体姿态估计方法
CN109685023A (zh) * 2018-12-27 2019-04-26 深圳开立生物医疗科技股份有限公司 一种超声图像的面部关键点检测方法及相关装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
FetusMap: Fetal Pose Estimation in 3D Ultrasound;Xin Yang等;《MICCAI 2019: Medical Image Computing and Computer Assisted Intervention》;20191010;281-289 *
Real-Time Deep Pose Estimation With Geodesic Loss for Image-to-Template Rigid Registration;Seyed Sadegh Mohseni Salehi等;《IEEE Transactions on Medical Imaging》;20180821;第38卷(第2期);470-481 *
Weakly Supervised Localisation for Fetal Ultrasound Images;Nicolas Toussaint等;《Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support》;20180920;192-200 *
基于树形图结构模型的人体姿态估计;韩贵金;《西安邮电大学学报》;20130331;第18卷(第03期);83-86 *
基于深度图像的人体关节点定位的方法研究;吕洁;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20140715(第(2014)07期);I138-777 *

Also Published As

Publication number Publication date
CN110598675A (zh) 2019-12-20

Similar Documents

Publication Publication Date Title
US20200210702A1 (en) Apparatus and method for image processing to calculate likelihood of image of target object detected from input image
JP4985516B2 (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP7046553B2 (ja) 撮像装置を備える磁気追跡システムの重ね合わせ法
CN110652317B (zh) 一种产前胎儿超声容积图像中标准切面的自动定位方法
US20150015602A1 (en) System and method for selective determination of point clouds
JP6331517B2 (ja) 画像処理装置、システム、画像処理方法、および画像処理プログラム
US20150297313A1 (en) Markerless tracking of robotic surgical tools
CN111091562B (zh) 一种消化道病灶大小测量方法及***
JP6387831B2 (ja) 特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム
CN111582186A (zh) 基于视觉和触觉的物体边缘识别方法、装置、***及介质
CN105103164A (zh) 基于视图分类的模型初始化
CN112102294A (zh) 生成对抗网络的训练方法及装置、图像配准方法及装置
CN113706473A (zh) 超声图像中病灶区域的长短轴确定方法和超声设备
CN110598675B (zh) 一种超声胎儿姿态的识别方法、存储介质及电子设备
CN110991292A (zh) 动作识别比对方法、***、计算机存储介质和电子装置
JP2020098588A (ja) ノイズ先行物を用いる曲線オブジェクトセグメンテーション
CN116869652B (zh) 基于超声图像和电子皮肤的手术机器人及其定位方法
Mehryar et al. Automatic landmark detection for 3d face image processing
Wang et al. Enhanced extended-field-of-view ultrasound for musculoskeletal tissues using parallel computing
CN104361601A (zh) 一种基于标记融合的概率图形模型图像分割方法
WO2014106747A1 (en) Methods and apparatus for image processing
CN114723659A (zh) 穴位检测效果确定方法、装置及电子设备
CN113744234A (zh) 一种基于gan的多模态脑部图像配准方法
US20210201512A1 (en) Method and apparatus for registering live medical image with anatomical model
JP2019039864A (ja) 手認識方法、手認識プログラム及び情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant