CN112991166A - 智能辅助导引方法、超声设备及存储介质 - Google Patents

智能辅助导引方法、超声设备及存储介质 Download PDF

Info

Publication number
CN112991166A
CN112991166A CN201911294041.5A CN201911294041A CN112991166A CN 112991166 A CN112991166 A CN 112991166A CN 201911294041 A CN201911294041 A CN 201911294041A CN 112991166 A CN112991166 A CN 112991166A
Authority
CN
China
Prior art keywords
ultrasonic
data
detected
wide
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911294041.5A
Other languages
English (en)
Inventor
甘从贵
张义
赵明昌
陈建军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Chison Medical Technologies Co Ltd
Original Assignee
Wuxi Chison Medical Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Chison Medical Technologies Co Ltd filed Critical Wuxi Chison Medical Technologies Co Ltd
Priority to CN201911294041.5A priority Critical patent/CN112991166A/zh
Publication of CN112991166A publication Critical patent/CN112991166A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明公开了一种智能辅助导引方法、超声设备及存储介质，涉及超声设备技术领域，具体公开了一种超声主机，其中，包括：外壳、电路结构和散热结构，所述外壳包括第一壳体和第二壳体，所述第一壳体和所述第二壳体扣合后形成第一容纳腔和第二容纳腔，所述第一容纳腔与所述第二容纳腔之间通过第一密封防水结构隔开，且所述第一壳体和所述第二壳体的连接处中与所述第一容纳腔对应的区域均设置有第二密封防水结构，所述电路结构位于所述第一容纳腔内，所述散热结构位于所述第二容纳腔内，所述第一壳体和所述第二壳体与所述第二容纳腔对应的区域均设置有风孔。本发明还公开了一种便携式超声成像设备。本发明提高了的超声主机得散热效率和使用寿命。

Description

智能辅助导引方法、超声设备及存储介质
技术领域
本发明涉及超声技术领域，具体涉及一种智能辅助导引方法、超声设备及存储介质。
背景技术
超声成像因为其无创性、实时性、操作方便、价格便宜等诸多优势，使其成为临床上应用最为广泛的诊断工具之一。操作者(例如，医生)使用超声探头在对患者进行检测时，图像区域的识别和探头位置的移动都依赖于操作者的个人经验，当操作者需要对某些形状比较大的组织区域进行诊断时，需要反复对某些特定区域进行查询，而操作者可能不能及时查找到，从而影响出图诊断效率，导致诊断效果不佳。
发明内容
有鉴于此，本发明实施例之一提供了一种智能辅助导引方法，从而便于操作者查询超声探头的当前位置，以及通过引导信息快速地移动到目标查询区域。
所述智能辅助导引方法包括：获取宽景图像数据，所述宽景图像数据对应的内容包括待检测对象；至少基于所述宽景图像数据，获取提示信息，所述提示信息至少包括超声探头的当前位置信息和/或路径信息，所述路径信息用于引导所述超声探头从当前位置移动至目标区域所在的位置。
在一些实施例中，所述获取宽景图像数据，所述宽景图像数据对应的内容包括待检测对象，包括：利用超声探头获取待检测对象的第一超声数据，所述第一超声数据包括连续的超声图像序列；至少基于所述第一超声数据，获得所述待检测对象的宽景图像数据。
在一些实施例中，所述至少基于所述第一超声数据，获得所述待检测对象的宽景图像数据，包括：利用宽景拼接模型对所述第一超声数据进行处理，获得所述待检测对象的宽景图像数据。
在一些实施例中，所述至少基于所述宽景图像数据，获取提示信息，包括：利用特征识别模型对所述第一超声数据进行处理，识别出所述第一超声数据中的每帧超声图像对应的特征区域；至少基于所述特征区域，获得所述待检测对象的特征区域信息，所述特征区域信息至少包括所述特征区域与所述待检测对象的对应关系；至少基于所述待检测对象的宽景图像数据和所述待检测对象的特征区域信息，获得所述第一超声数据中的每帧超声图像与所述待检测对象的对应关系；对所述待检测对象的宽景图像数据和所述第一超声数据中的超声图像序列与所述待检测对象的对应关系进行处理，获得对应的提示信息。
在一些实施例中，所述特征识别模型为深度学习模型，所述特征识别模型通过以下方法得到：获取训练集，所述训练集包括多个样本超声图像和标记数据，所述样本超声图像对应的内容的检测对象是相同的，所述标记数据至少包括所述样本超声图像中对应的特征区域；利用所述训练集对初始模型进行训练，得到特征识别模型。
在一些实施例中，还包括：获取查询信息，所述查询信息至少包括第二超声数据，所述第二超声数据利用超声探头对所述待检测对象检测获得，所述第二超声数据至少包括所述待检测对象的一帧超声图像时；将所述第二超声数据中的每帧超声图像与所述待检测对象的宽景图像数据进行匹配处理，获得所述第二超声数据中的每帧超声图像在所述宽景图像数据中的对应关系；基于所述第一超声数据中的每帧超声图像与所述待检测对象的对应关系和所述第二超声数据中的每帧超声图像在所述宽景图像数据中的对应关系，获得提示信息，所述提示信息至少包括所述第二超声数据与所述待检测对象的对应关系。
在一些实施例中，还包括：当所述查询信息还包括目标特征区域时，所述提示信息还包括路径信息，所述路径信息引导超声探头从当前位置移动至目标特征区域所在的位置。
在一些实施例中，所述查询信息为宽景图像查看命令时，显示获得的所述宽景图像数据。
本发明实施例提供的方法，通过获取到的待检测对象的连续的超声图像序列得到宽景图像数据和超声图像与待检测对象的对应关系，从而实现定位的功能，并可以通过输入当前超声图像，利用宽景图像来自动定位当前超声图像帧与宽景图像的对应关系，从而确定所述当前超声图像在所述连续超声图像序列中位置，并快速定位当前超声图像对应的超声探头在所述待检测对象中的位置，从而当操作者需要到某一特定区域进行扫查时，可以通过输入查询信息，基于所述当前超声图像帧与宽景图像的对应关系，提供提示信息，快速引导超声探头移动至目标特征区域。
本发明实施例之一提供了一种超声设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明实施例所述的智能辅助导引方法。
本发明实施例之一提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行本发明实施例所述的智能辅助导引方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例所示的智能辅助导引方法100的流程图；
图2是本发明实施例所示的宽景图像处理方法200的流程图；
图3是本发明实施例所示的对应关系获取方法300的流程图；
图4是本发明实施例所示的特征识别模型训练方法400的流程图；
图5是本发明实施例所示的超声设备500的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，所述智能辅助导引方法100可以包括：
步骤110：获取宽景图书数据，所述宽景图像数据对应的内容包括待检测对象。在一些实施例中，可以利用超声探头获取待检测对象的第一超声数据，所述第一超声数据包括连续的超声图像序列；至少基于所述第一超声数据，获得所述待检测对象的宽景图像数据。
在一些实施例中，可以利用宽景拼接模型对所述第一超声数据进行处理，获得所述待检测对象的宽景图像数据。宽景图像数据是利用超声探头在同一平面内移动采集的多个二维切面图像，通过处理形成一幅大视野、高分辨率的宽景图像，从而方便医生诊断。
所述宽景拼接模型可以包括：图像配准模块，图像融合模块及图像边缘优化模块。所述图像配准模块用于图像配准处理，包括获取角点、角点位移和变换矩阵，所述图像融合模块用于图像融合处理，包括对由所述图像配准模块获得的变换矩阵与预设的位移阈值进行比较，通过比较结果判断是否将该图像进行图像融合处理，所述图像边缘优化模块用于图像边缘优化处理，包括对得到的整幅宽景图像进行边缘优化。所述宽景拼接模型的内容可以参见图2的相关描述，在此不再赘述。
在一些实施例中，可以通过超声设备(例如，彩色超声设备、黑白超声设备、掌上超声设备等)、数据库(例如，PACS***)等方式获取到第一超声数据，所述超声数据应当是操作者(例如，医生)在连续的时间段内对待检测对象的连续扫查获得的。例如，可以利用彩色超声设备对病患的肺部进行连续扫查，获得该病患肺部的超声数据。所述扫查的方式可以包括但不限于机械扇扫查、相控扇扫查、线阵式线性扫查、凸阵式扇形扫查、环形阵扇形扫查等。例如，可以在乳腺皮肤表面涂以耦合剂，利用超声探头直接接触皮肤表面对乳腺进行连续的S型条扫，获得乳腺的超声数据。在实际的应用中，可以根据扫查的探头类型、待扫查的病患区域或组织选择相应的扫查方式，本发明实施例在此不做具体限定。在一些实施例中，所述待检测对象可以包括：待测器官或待测组织等。所述待测器官可以包括但不限于脑部、肺部、心脏、肾脏、肝脏等。所述待测组织可以包括但不限于上皮组织、***、神经组织、肌肉组织等。在一些实施例中，可以根据待检测对象的不同类型采用不同的探头，例如，对肝脏或孕妇进行检测时，可以采用凸阵探头，在对心脏进行检测时，可以采用相控阵探头等。
步骤120：至少基于所述宽景图像数据，获取提示信息，所述提示信息至少包括超声探头的当前位置信息和/或路径信息，所述路径信息用于引导所述超声探头从当前位置移动至目标区域所在的位置。
在一些实施例中，可以通过人工标记(例如，医生手工标记)或者预设的模型的方法识别出第一超声数据中的特征区域。在一些实施例中，可以利用特征识别模型对所述第一超声数据进行处理，获得所述第一超声图像中的每帧超声图像对应的特征区域，从而通过所述特征区域信息来得到所述第一超声数据中的超声图像序列与所述待检测对象的对应关系。在一些实施例中，所述对应关系可以包括表示所述超声探头获取到对应的超声图像时在所述待检测对象上的三维空间位置信息。所述对应关系的相关内容可以参考图3-4的具体描述，在此不再赘述。
在一些实施例中，还可以通过人工标记(例如，医生手工标记)的方法标记出超声图像中的特征区域，并在宽景图像中进行显示。
在一些实施例中，可以获取查询信息，所述查询信息可以包括第二超声数据，所述第二超声数据可以通过超声探头扫查获得，当所述第二超声数据至少包括所述待检测对象的一帧超声图像时，可以将所述第二超声数据中的每帧超声图像与所述待检测对象的宽景图像进行匹配处理，获得所述第二超声数据中的每帧超声图像在所述宽景图像中的对应关系；可以基于所述第一超声数据中的每帧超声图像与所述待检测对象的对应关系和所述第二超声数据中的每帧超声图像在所述宽景图像中的对应关系，获得提示信息，所述提示信息至少包括所述第二超声数据与所述待检测对象的对应关系。
在一些实施例中，所述查询信息可以是输入的一帧超声图像，通过与宽景图像进行比较匹配，获得所述超声图像在所述宽景图像中的位置信息。例如，当超声设备通过获取待检测对象的第一超声数据已经获得宽景图像后，操作者(例如，医生)利用超声探头对所述待检测对象再次进行扫查，获得若干帧新的超声图像，将所述新的超声图像作为查询信息，则超声设备可以返回显示当前超声图像在所述宽景图像中的位置，所述位置可以利用坐标信息(例如，笛卡尔坐标系)进行显示。
在一些实施例中，当所述查询信息还包括目标特征区域时，所述提示信息还可以包括路径信息，所述路径信息引导超声探头从当前位置移动至目标特征区域。例如，当操作者想要再次扫查待检测对象的某一特定区域时，可以在宽景图像上再次输入查询信息，所述查询信息可以是目标特征区域，超声设备基于所述目标特征区域以及当前超声图像，输出路径信息，从而引导超声探头移动至目标区域所在位置。在一些实施例中，所述路径信息中探头的移动可以通过以下方法获得：将当前超声图像和宽景图像分别输入图像配准模块，计算对应的仿射变换矩阵，仿射变换矩阵中包含x和y的平移量(例如，可以以像素为单位)，再将以像素为单位的平移量乘于宽景图像的分辨率即可以获得超声探头对应的实际平移量，从而移动至目标区域。例如，当操作者对病患的乳腺进行扫查时，通过连续的扫查，获得所述病患乳腺的宽景图像，操作者再次对所述病患的乳腺的某区域进行扫查，将所述区域对应的当前超声图像作为输入的查询信息，超声设备通过所述乳腺的宽景图像和当前超声图像，获得所述当前超声图像对应的区域在所述宽景图像中的位置信息，并进行显示，当操作者需要在之前通过特征识别模型识别出的特征区域再次进行扫查诊断时，可以在显示的宽景图像上选择需要的目标特征区域所在的图像作为查询信息，然后超声设备通过所述当前超声图像和宽景图像，获得引导超声探头移动至目标区域所在位置的路径信息。
在一些实施例中，所述查询信息还可以是全景图像查看命令，通过输入所述全景图像查看命令，从而显示获得的全景图像，便于操作者快速排查是否存在漏检区域，从而对漏检区域进行快速定位。
如图2所示，宽景图像处理方法200可以包括：
步骤210：对获取到的连续超声图像序列进行图像配准处理。
所述步骤210具体包括获取角点检测、角点位移计算和变换矩阵。在一些实施例中，可以使用角点检测算法(例如，Shi-Tomasi算法)对当前超声图像和宽景图像进行处理，获取多对角点，所述宽景图像在操作者利用超声探头对待检测对象检测的时候不断创建，并基于观测向量正交性的FindCornerSubPix算法进行角点物理位置的确定。在一些实施例中，可以将角点位置精确到亚像素级别，且角点数不少于4对。在一些实施例中，可以使用RANSAC算法，再从所述获得的多对角点中选取最能代表当前超声图像与所述宽景图像之间真实位移和角度变化的3对角点，以所述者3对角点作为输入参数，获得当前超声图像对应宽景图的仿射变换矩阵。
在一些实施例中，所述仿射变换矩阵可以为
Figure BDA0002319985390000071
当前超声图像与所述全景图像对应的点可利用该仿射变换矩阵进行转换处理：
Figure BDA0002319985390000072
其中x、y分别代表全景图像任意一点的横坐标与纵坐标，x'、y'分别代表当前超声图像相对应点的横坐标与纵坐标，m02、m12分别代表当前超声图像的点相对于所述宽景图像对应点的横向位移量与纵向位移量，即当前超声图像的平移量(Δx,Δy)。
步骤220：对获取到的连续超声图像序列进行图像融合处理。
在一些实施例中，对图像配准模块获得的变换矩阵Md-(d+1)进行与预设的位移阈值mThreshold_x、mThreshold_y比较；若满足公式(1)：
m02≥mThreshold_x||m12≥mThreshold_y (1)
则进行一次图像融合处理；否则，则选取顺序向下的一帧图像，将该帧超声图像与所述宽景图像作为一对，发送到所述图像配准模块，得到(d+2)帧图像与(d+1)帧图像的仿射变换矩阵M(d+1)-(d+2)，令Md-(d+2)＝Md-(d+1)×M(d+1)-(d+2)，取出Md-(d+2)中的m02、m12，即(d+2)帧图像的点相对于d帧图像对应点的横向位移量与纵向位移量，若满足公式(1)，则进行一次图像融合处理，否则，依照图像序列顺序重复以上步骤，依次求出Md-k＝Md-(k-1)×M(k-1)-k，直至满足公式(1)。
步骤230：对获取到的宽景图像进行图像边缘优化处理。
在一些实施例中，可以对宽景图像进行拼接、缝合处理，并对缝合的边界进行平滑处理，让缝合边界区域自然过渡，并消除宽景图像边缘因旋转、位移造成的锯齿。
如图3所示，通过对应关系获取方法可以获得所述第一超声图像数据中的超声图像序列与所述待检测对象的对应关系，所述方法300可以包括：
步骤310：可以利用特征识别模型对所述第一超声图像数据进行处理，识别出所述第一超声图像中的每帧超声图像对应的特征区域。
在一些实施例中，所述特征识别模型可以是事先已经训练好的深度学习模型。所述特征识别模型的输入数据为超声图像，输出数据为所述超声图像的特征区域信息。在一些实施例中，当超声设备获取到超声图像的特征区域后，可以利用标识符、矩形框、圆形标记等方式，将所述特征区域识别出来。在一些实施例中，所述特征识别模型可以采用FasterRCNN模型，还可以是RetinaNet、SSD、YOLO、Cascade RCNN、CornerNet、CenterNet、ExtremeNet、RepPoints等等。所述特征识别模型的内容可以参见图4的相关描述，在此不再赘述。
在一些实施例中，所述特征区域信息可以包括超声图像中的特征区域以及所述特征区域在所述超声图像的位置信息，所述特征区域的位置信息可以利用坐标信息(例如，笛卡尔坐标)进行表示，即所述位置信息可以表示所述特征区域在所述超声图像中的位置。在一些实施例中，可以将识别出的特征区域在所述宽景图像中进行标记，即所述宽景图像中可以显示所述特征区域。在一些实施例中，所述宽景图像数据可以包括所述特征区域信息。
步骤320：可以至少基于所述特征区域，获得所述待检测对象的特征区域信息，所述特征区域信息至少包括所述特征区域与所述待检测对象的对应关系。
在一些实施例中，可以通过所述特征区域信息(例如，包括所述特征区域在所述超声图像中的位置信息)来获得所述特征区域与所述待检测对象的对应的关系，所述对应关系可以表示所述特征区域与所述待检测对象上的位置信息。
步骤330：至少基于所述待检测对象的宽景图像数据和所述待检测对象的特征区域信息，获得所述第一超声数据中的每帧超声图像与所述待检测对象的对应关系在一些实施例中，在利用宽景拼接模型生成宽景图像时，可以根据输入的第一超声数据建立输入的每帧超声图像与宽景图像之间的对应关系，然后获得当前超声图像与宽景图像之间的变换矩阵以及移动关系，同时，通过手工识别或者利用预设的模型进行特征区域的检测，基于所述特征信息，获取宽景图像与所述待检测对象之间的对应关系。
例如，当操作者(例如，医生)指定当前超声图像的特定区域(例如，乳腺实体区域)为特征区域，则可以根据所述操作者输入的当前超声图像建立输入超声图像帧与宽景图像之间的对应关系；利用图像配准模块，先计算获得当前输入超声图像与宽景图像的变换矩阵及对应移动关系，然后把操作者输入的特征区域标注到宽景图像上，并建立宽景图像与三维乳腺实体之间的对应关系。
又例如，当使用自动模式时(例如，利用特征识别模型对输入超声图像进行处理)，对所述当前超声图进行特征区域的检测，(例如，***、乳腺左边缘、乳腺右边缘等)，并输出特征区域信息，基于所述特征区域信息，利用图像配准模块，获得当前超声图像与所述宽景图像的变换矩阵及对应移动关系，然后把所述特征区域标记到宽景图像上，从而建立宽景图像与三维乳腺实体之间的对应关系。
步骤340：对所述待检测对象的宽景图像数据和所述第一超声数据中的超声图像序列与所述待检测对象的对应关系进行处理，获得对应的提示信息。
在一些实施例中，所述移动关系可以通过以下方法获得：将当前超声图像和宽景图像分别输入图像配准模块，计算对应的仿射变换矩阵，仿射变换矩阵中包含x和y的平移量(以像素为单位)，再将以像素为单位的平移量乘于超声图像的分辨率即可以获得超声探头对应的实际平移量，从而移动至目标区域。
如图4所示，所述特征识别模型训练方法400包括：
步骤410：获取训练集，所述训练集包括多个样本超声图像和标记数据，所述样本超声图像对应的内容的检测对象是相同的，所述标记数据至少包括所述样本超声图像的特征区域。
在一些实施例中，所述样本超声图像中对应的内容的检测对象可以包括：器官或组织等。所述器官可以包括但不限于脑部、肺部、心脏、肾脏、肝脏等。所述组织可以包括但不限于上皮组织、***、神经组织、肌肉组织等。
在一些实施例中，所述特征区域信息可以包括所述特征区域的位置信息，所述位置信息可以通过坐标信息(例如，笛卡尔坐标)来表示该特征区域在所述样本超声图像中的具***置。在一些实施例中，可以通过利用标记符标记出所述样本超声图像中的特征区域。所述标记符可以是圆形符号、正方形符号、矩形符号等，本实施例对于标记符不做具体形式的限定，只要能够标记出特征区域即可。
在一些实施例中，所述特征区域可以是检测对象中需要判断的病灶、关键点区域等。例如，当所述检测对象为乳腺时，所述特征区域可以包括但不限于***、乳腺左边缘、乳腺右边缘、乳腺上边缘、乳腺下边缘等。如上所述，乳腺边缘中不包含腺体，且有明显肋骨等特征，上下左右边缘的不同根据肋骨形态、脂肪形态的不同加于区分；***的特征择包含明显的声影特征，不同于其他非***部位。在一些实施例中，可以通过人工标记(例如，医生标记)或者预设的识别算法对样本超声图像进行处理，标记出特征区域。在一些实施例中，可以通过采集不同年龄段、不同体重范围的人群，分别收集乳腺上边缘、下边缘、左边缘、右边缘及正常乳腺腺体的超声图像作为样本超声图像，并在所述样本超声图像中标注出***、乳腺上边缘、乳腺下边缘、乳腺左边缘和乳腺右边缘等特征区域以及对应的位置信息作为标记数据。
步骤420：利用所述训练集对初始模型进行训练，得到特征识别模型。
在一些实施例中，所述初始模型可以具有多个初始模型参数，例如，学习率，超参数等。所述初始模型参数可以是默认值，也可以根据实际应用情况进行调整修改。当满足某一预设条件时，例如，训练样本数达到预定的数量，模型的检测正确率大于某一预定准确率阈值，或损失函数(Loss Function)的值小于某一预设值，训练过程停止，训练完成后获取到特征识别模型。
如图5所示，图5是本发明实施例提供的一种超声设备的结构示意图，如该超声设备500可以包括：至少一个处理器510，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口530，存储器540，至少一个通信总线520。其中，通信总线520用于实现这些组件之间的连接通信。其中，通信接口520可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口530还可以包括标准的有线接口、无线接口。存储540可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
其中，通信总线520可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线520可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类别的总线。
其中，存储器540可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器840还可以包括上述种类的存储器的组合。
其中，处理器510可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器510还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器540还用于存储程序指令。处理器510可以调用程序指令，实现如本申请图1-4实施例中所示的智能辅助导引方法。
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的智能辅助导引方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种智能辅助导引方法，其特征在于，所述方法包括：
获取宽景图像数据，所述宽景图像数据对应的内容包括待检测对象；
至少基于所述宽景图像数据，获取提示信息，所述提示信息至少包括超声探头的当前位置信息和/或路径信息，所述路径信息用于引导所述超声探头从当前位置移动至目标区域所在的位置。
2.根据权利要求1所述的方法，其特征在于，所述获取宽景图像数据，所述宽景图像数据对应的内容包括待检测对象，包括：
利用超声探头获取待检测对象的第一超声数据，所述第一超声数据包括连
续的超声图像序列；
至少基于所述第一超声数据，获得所述待检测对象的宽景图像数据。
3.根据权利要求2所述的方法，其特征在于，所述至少基于所述第一超声数据，获得所述待检测对象的宽景图像数据，包括：
利用宽景拼接模型对所述第一超声数据进行处理，获得所述待检测对象的宽景图像数据。
4.根据权利要求2所述的方法，其特征在于，所述至少基于所述宽景图像数据，获取提示信息，包括：
利用特征识别模型对所述第一超声数据进行处理，识别出所述第一超声数据中的每帧超声图像对应的特征区域；
至少基于所述特征区域，获得所述待检测对象的特征区域信息，所述特征区域信息至少包括所述特征区域与所述待检测对象的对应关系；
至少基于所述待检测对象的宽景图像数据和所述待检测对象的特征区域信息，获得所述第一超声数据中的每帧超声图像与所述待检测对象的对应关系；
对所述待检测对象的宽景图像数据和所述第一超声数据中的超声图像序列与所述待检测对象的对应关系进行处理，获得对应的提示信息。
5.根据权利要求4所述的方法，其特征在于，所述特征识别模型为深度学
习模型，所述特征识别模型通过以下方法得到：
获取训练集，所述训练集包括多个样本超声图像和标记数据，所述样本超声图像对应的内容的检测对象是相同的，所述标记数据至少包括所述样本超声图像中对应的特征区域；
利用所述训练集对初始模型进行训练，得到特征识别模型。
6.根据权利要求4所述的方法，其特征在于，还包括：
获取查询信息，所述查询信息至少包括第二超声数据，所述第二超声数据利用超声探头对所述待检测对象检测获得，所述第二超声数据至少包括所述待检测对象的一帧超声图像时；
将所述第二超声数据中的每帧超声图像与所述待检测对象的宽景图像数据进行匹配处理，获得所述第二超声数据中的每帧超声图像在所述宽景图像数据中的对应关系；
基于所述第一超声数据中的每帧超声图像与所述待检测对象的对应关系和所述第二超声数据中的每帧超声图像在所述宽景图像数据中的对应关系，获得提示信息，所述提示信息至少包括所述第二超声数据与所述待检测对象的对应关系。
7.根据权利要求6所述的方法，其特征在于，还包括：
当所述查询信息还包括目标特征区域时，所述提示信息还包括路径信息，所述路径信息引导超声探头从当前位置移动至目标特征区域所在的位置。
8.根据权利要求6所述的方法，其特征在于，所述查询信息为宽景图像查看命令时，显示获得的所述宽景图像数据。
9.一种超声设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-8中任一项所述智能辅助导引方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的智能辅助导引方法。
CN201911294041.5A 2019-12-16 2019-12-16 智能辅助导引方法、超声设备及存储介质 Pending CN112991166A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911294041.5A CN112991166A (zh) 2019-12-16 2019-12-16 智能辅助导引方法、超声设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911294041.5A CN112991166A (zh) 2019-12-16 2019-12-16 智能辅助导引方法、超声设备及存储介质

Publications (1)

Publication Number Publication Date
CN112991166A true CN112991166A (zh) 2021-06-18

Family

ID=76343236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911294041.5A Pending CN112991166A (zh) 2019-12-16 2019-12-16 智能辅助导引方法、超声设备及存储介质

Country Status (1)

Country Link
CN (1) CN112991166A (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070276246A1 (en) * 2005-03-22 2007-11-29 Shengtz Lin Ultrasound image acquisition guiding device and method
CN101455576A (zh) * 2007-12-12 2009-06-17 深圳迈瑞生物医疗电子股份有限公司 超声宽景成像的方法、装置与***
WO2011062035A1 (ja) * 2009-11-17 2011-05-26 オリンパスメディカルシステムズ株式会社 生検支援システム
CN104013424A (zh) * 2014-05-28 2014-09-03 华南理工大学 一种基于深度信息的超声宽景成像方法
WO2015039302A1 (en) * 2013-09-18 2015-03-26 Shenzhen Mindray Bio-Medical Electronics Co., Ltd Method and system for guided ultrasound image acquisition
JP5939601B1 (ja) * 2015-03-12 2016-06-22 学校法人早稲田大学 超音波プローブの位置姿勢提示システム、画像生成装置及びそのプログラム
CN105982696A (zh) * 2015-02-06 2016-10-05 无锡触典科技有限公司 实时宽景超声成像装置及方法
CN106923862A (zh) * 2017-03-17 2017-07-07 苏州佳世达电通有限公司 一种超声扫描导引装置及超声扫描导引方法
CN107451615A (zh) * 2017-08-01 2017-12-08 广东工业大学 基于Faster RCNN的甲状腺***状癌超声图像识别方法及***
CN108670302A (zh) * 2018-06-06 2018-10-19 西北工业大学 一种基于2.5维超声宽景成像的脊柱三维结构再现方法
CN108670301A (zh) * 2018-06-06 2018-10-19 西北工业大学 一种基于超声影像的脊柱横突定位方法
CN109276296A (zh) * 2018-12-02 2019-01-29 沈阳聚声医疗***有限公司 一种基于二维超声影像的穿刺针可视化方法
CN109452953A (zh) * 2018-09-26 2019-03-12 深圳达闼科技控股有限公司 一种调整检测位置的方法、装置、超声探头以及终端
CN110232383A (zh) * 2019-06-18 2019-09-13 湖南省华芯医疗器械有限公司 一种基于深度学习模型的病灶图像识别方法及病灶图像识别***

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070276246A1 (en) * 2005-03-22 2007-11-29 Shengtz Lin Ultrasound image acquisition guiding device and method
CN101455576A (zh) * 2007-12-12 2009-06-17 深圳迈瑞生物医疗电子股份有限公司 超声宽景成像的方法、装置与***
WO2011062035A1 (ja) * 2009-11-17 2011-05-26 オリンパスメディカルシステムズ株式会社 生検支援システム
WO2015039302A1 (en) * 2013-09-18 2015-03-26 Shenzhen Mindray Bio-Medical Electronics Co., Ltd Method and system for guided ultrasound image acquisition
CN105611877A (zh) * 2013-09-18 2016-05-25 深圳迈瑞生物医疗电子股份有限公司 引导超声图像采集的方法和***
CN104013424A (zh) * 2014-05-28 2014-09-03 华南理工大学 一种基于深度信息的超声宽景成像方法
CN105982696A (zh) * 2015-02-06 2016-10-05 无锡触典科技有限公司 实时宽景超声成像装置及方法
JP5939601B1 (ja) * 2015-03-12 2016-06-22 学校法人早稲田大学 超音波プローブの位置姿勢提示システム、画像生成装置及びそのプログラム
CN106923862A (zh) * 2017-03-17 2017-07-07 苏州佳世达电通有限公司 一种超声扫描导引装置及超声扫描导引方法
CN107451615A (zh) * 2017-08-01 2017-12-08 广东工业大学 基于Faster RCNN的甲状腺***状癌超声图像识别方法及***
CN108670302A (zh) * 2018-06-06 2018-10-19 西北工业大学 一种基于2.5维超声宽景成像的脊柱三维结构再现方法
CN108670301A (zh) * 2018-06-06 2018-10-19 西北工业大学 一种基于超声影像的脊柱横突定位方法
CN109452953A (zh) * 2018-09-26 2019-03-12 深圳达闼科技控股有限公司 一种调整检测位置的方法、装置、超声探头以及终端
CN109276296A (zh) * 2018-12-02 2019-01-29 沈阳聚声医疗***有限公司 一种基于二维超声影像的穿刺针可视化方法
CN110232383A (zh) * 2019-06-18 2019-09-13 湖南省华芯医疗器械有限公司 一种基于深度学习模型的病灶图像识别方法及病灶图像识别***

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ALEXANDRE KRUPA等: "Guidance of an ultrasound probe by visual servoing", 《ADVANCED ROBOTICS》, vol. 20, no. 11, 2 April 2012 (2012-04-02), pages 1203 - 1218 *
冯希玉: "实时宽景医学超声图像获取的相关技术与算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2015, 15 May 2015 (2015-05-15), pages 138 - 736 *
曾昭峥: "基于2.5D超声宽景成像的脊柱侧凸三维结构再现方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, no. 01, pages 066 - 981 *
曾昭峥: "基于2.5D超声宽景成像的脊柱侧凸三维结构再现方法研究", 中国优秀硕士学位论文全文数据库 医药卫生科技辑, no. 01, pages 066 - 981 *
王玲: "医学超声宽景成像技术的研究与设计", 《万方数据知识服务平台》, 3 August 2016 (2016-08-03), pages 1 - 54 *

Similar Documents

Publication Publication Date Title
CN108520519B (zh) 一种图像处理方法、装置及计算机可读存储介质
CN107480677B (zh) 一种识别三维ct图像中感兴趣区域的方法及装置
CN110338840B (zh) 三维成像数据的显示处理方法和三维超声成像方法及***
US7916919B2 (en) System and method for segmenting chambers of a heart in a three dimensional image
US8218849B2 (en) Method and system for automatic landmark detection using discriminative joint context
WO2019062835A1 (zh) 超声图像处理方法及***、超声诊断设备
WO2022141882A1 (zh) 一种基于历史病理信息的病灶识别模型构建装置及***
JP5334692B2 (ja) 制約されたマージナル空間学習を使用して３ｄ解剖学的オブジェクトを検出するための方法およびシステム
Nurmaini et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation
CN110570350A (zh) 一种二维卵泡检测方法、装置和超声设备及可读存储介质
US11954860B2 (en) Image matching method and device, and storage medium
BR112015004061B1 (pt) Sistema de geração de imagens por ultrassom para a inspeção de um objeto em um volume, e método para a provisão de uma imagem por ultrassom tridimensional de um objeto em um volume.
CN112057107A (zh) 超声扫查方法、超声设备及***
CN111462049A (zh) 一种乳腺超声造影视频中病灶区形态自动标注方法
JPWO2020027228A1 (ja) 診断支援システム及び診断支援方法
CN110738633B (zh) 一种机体组织的三维图像处理方法及相关设备
CN105551042B (zh) 一种扫描床标记点位置的确定方法和装置
CN115690556B (zh) 一种基于多模态影像学特征的图像识别方法及***
CN112991166A (zh) 智能辅助导引方法、超声设备及存储介质
WO2023070946A1 (zh) 基于超声图像的测量设备、方法、介质及电子设备
US20240099692A1 (en) Guided acquisition of a 3d representation of an anatomical structure
JP2019115487A (ja) 超音波撮像装置、画像処理装置、及び方法
US11341661B2 (en) Method and apparatus for registering live medical image with anatomical model
CN116205929A (zh) 一种超声融合成像方法及设备、存储介质
CN114360695A (zh) 乳腺超声扫查分析辅助***、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination