CN110648327B - 基于人工智能的超声影像视频自动追踪方法和设备 - Google Patents

基于人工智能的超声影像视频自动追踪方法和设备 Download PDF

Info

Publication number
CN110648327B
CN110648327B CN201910947137.0A CN201910947137A CN110648327B CN 110648327 B CN110648327 B CN 110648327B CN 201910947137 A CN201910947137 A CN 201910947137A CN 110648327 B CN110648327 B CN 110648327B
Authority
CN
China
Prior art keywords
image
target
neural network
frame
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910947137.0A
Other languages
English (en)
Other versions
CN110648327A (zh
Inventor
殷晨
赵明昌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chison Medical Technologies Co ltd
Original Assignee
Chison Medical Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chison Medical Technologies Co ltd filed Critical Chison Medical Technologies Co ltd
Priority to CN201910947137.0A priority Critical patent/CN110648327B/zh
Publication of CN110648327A publication Critical patent/CN110648327A/zh
Application granted granted Critical
Publication of CN110648327B publication Critical patent/CN110648327B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于人工智能的超声影像视频自动追踪方法和设备，通过神经网络的训练和使用，实现超声影像中目标位置的自动识别和跟踪，节省了医生手动标记的时间，且目标位置获取准确快速，可以在实时跟踪的同时结合当前的造影图像即时生成TIC曲线，提升了超声影像中目标识别和追踪的效率和准确性。

Description

基于人工智能的超声影像视频自动追踪方法和设备
技术领域
本发明涉及神经网络技术领域，特别涉及一种基于人工智能的超声影像视频自动追踪方法和设备。
背景技术
在常见的超声图像检查过程中，譬如肾脏和肝脏等脏器，对于可疑肿块、囊肿、血管瘤等病变组织需要借用造影分析其性质，通过分析病变组织内造影的时间强度曲线(TIC，Time Intensity Curve)的变化特征来分析病灶位置的良恶性。
在现有的分析过程中，一般都是由医生手动标注疑似的病变组织，然后每一帧计算其造影图像强度得出对应的TIC曲线，而传统的方法局限于医生手动标注感兴趣的目标，导致效率较低，而且每一帧标注的目标位置可能随着探头的移动或角度的变换，以及器官自身的搏动而使计算结果有所偏差，因此最终的结果存在一定的误差，影响计算的准确率。
发明内容
本发明实施例的目的在于提供一种基于人工智能的超声影像视频自动追踪方法、超声设备及存储介质，以解决现有技术中通过医生手动标注计算会导致的计算效率和准确率低的问题。
为了解决上述技术问题，本申请的实施例采用了如下技术方案：一种基于神经网络的超声影像追踪方法，包括：获取待处理超声影像的第N帧图像作为所述待处理超声影像的起始帧图像；将所述第N帧图像作为第一神经网络的输入参数，确定所述第一神经网络的输出参数，所述第一神经网络的输出参数为目标在所述第N帧图像中的第一位置信息，其中，所述第一神经网络为已训练的用于识别超声影像中目标位置的神经网络；将所述第一位置信息作为第二神经网络的第一输入参数，将所述待处理超声影像的第N+1帧图像作为第二神经网络的第二输入参数，通过所述第二神经网络追踪所述目标在所述第N+1帧中的第二位置信息，其中，N为正整数，所述第二神经网络为已训练的用于识别图像之间相似性的神经网络。
进一步，所述确定所述第一神经网络的输出参数，包括：获取所述第一神经网络输出的所述目标在第N帧图像中的至少一个位置信息；确定每个所述位置信息对应的置信度；根据所述置信度大于第一阈值的位置信息确定所述目标在所述第N帧图像中的第一位置信息。
进一步，所述第一位置信息至少包括以下信息：所述目标在所述第N帧图像中中心点的坐标、所述目标在所述第N帧图像中的长度和宽度。
进一步，将所述待处理超声影像的第N+1帧图像作为第二神经网络的第二输入参数，包括：在所述第N+1帧图像上确定第一搜索区域，其中，所述第一搜索区域的中心点坐标为所述目标在第N帧图像的中心点坐标，所述第一搜索区域的大小为所述目标在所述在第N帧图像中的大小的预设倍数；将所述第一搜索区域作为所述第二输入参数。
进一步，所述通过所述第二神经网络追踪所述目标在所述第N+1帧中的第二位置信息，包括：通过所述第二神经网络在所述第一搜索区域中确定与所述第N帧中所述第一位置信息处的图像具有相似性的子区域；将所述子区域的位置信息确定为所述目标在所述第N+1帧中的所述第二位置信息。
进一步，所述通过所述第二神经网络在所述第一搜索区域中确定与所述第N帧中所述第一位置信息处的图像具有相似性的子区域，包括：计算所述第一搜索区域中的各个像素点与所述第N帧中所述第一位置信息处的图像中心点之间的距离；将所述第一搜索区域中所有所述距离小于第二阈值的像素点组成的区域确定为所述与所述第N帧中所述第一位置信息处的图像具有相似性的子区域。
进一步，所述通过所述第二神经网络追踪所述目标在所述第N+1帧中的第二位置信息，包括：计算所述第一搜索区域中各个点与所述目标在所述第N帧图像中中心点之间的相似性得分，将所述相似性得分最高的点的坐标作为所述第N+1帧图像中目标中心点的坐标；确定所述目标在所述第N+1帧图像中的长度和宽度，其中，所述目标在所述第N+1帧图像中的长度和宽度与所述目标在所述第N帧图像中的长度和宽度相同；确定所述第N+1帧图像中目标中心点的坐标、所述目标在所述第N+1帧图像中的长度和宽度作为所述目标在第N+1帧图像中的位置信息进行输出。
本发明实施例还公开了一种神经网络的训练方法，包括：获取第一超声样本影像，所述超声样本影像中标注有目标的位置；根据所述超声样本影像训练第一神经网络，训练后的所述第一神经网络用于识别超声影像中的所述目标的第一位置信息；获取第二神经网络，所述第二神经网络为用于计算两帧图像的相似度的网络；获取第二超声样本影像，所述第二超声样本影像中标注有相邻两帧中所述目标的位置；根据所述第二超声样本影像训练所述第二神经网络，训练后的所述第二神经网络用于根据前一帧中所述目标所处的位置识别得到所述目标在当前帧中的位置。
本发明实施例还公开了一种超声设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器在执行所述存储器上的计算机程序时实现上述的基于人工智能的超声影像视频自动追踪方法的步骤。
本发明实施例还公开了一种存储介质，其特征在于，所述存储介质上存储有计算机程序，在所述计算机程序被处理器执行时，执行上述的基于人工智能的超声影像视频自动追踪方法。
本发明实施例的有益效果在于：通过神经网络的训练和使用，实现超声影像中目标位置的自动识别和跟踪，节省了医生手动标记的时间，且目标位置获取准确快速，可以在实时跟踪的同时结合当前的造影图像即时生成TIC曲线，提升了超声影像中目标识别和追踪的效率和准确性。
附图说明
图1为本发明第一实施例中超声影像处理方法的流程图；
图2为本发明第二实施例中神经网络的训练方法流程图；
图3为本发明第二实施例中目标标注示意图；
图4为本发明第二实施例中第二神经网络结构示意图；
图5为本发明第三实施例中超声设备的结构示意图。
具体实施方式
此处参考附图描述本申请的各种方案以及特征。
应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。
包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。
通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。
还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式，它们具有如权利要求所述的特征并因此都位于借此所限定的保护范围内。
当结合附图时，鉴于以下详细说明，本申请的上述和其他方面、特征和优势将变得更为显而易见。
此后参照附图描述本申请的具体实施例；然而，应当理解，所申请的实施例仅仅是本申请的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。
本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本申请的相同或不同实施例中的一个或多个。
本发明的第一实施例提供了一种基于人工智能的超声影像视频自动追踪方法，主要可以由具备计算处理功能的超声设备或连接有超声设备的计算机或服务器进行实现，其流程图如图1所示，主要包括步骤S101至S103：
S101，获取待处理超声影像的第N帧图像作为待处理超声影像的起始帧图像。
待处理的超声影像可以是与超声设备连接后，实时获取到的由超声探头反馈的超声影像，也可以是已经扫描完毕，存储在存储设备或云端的一段已有超声影像。在进行病灶的识别和跟踪之前，首先需要对待处理超声影像进行预处理，主要包括去除敏感部分，仅保留有效超声影像等操作，随后需要将视频格式的待处理超声影像解码成单帧图像，将其中的第N帧图像作为首先进行处理的图像，N为正整数。优选地，第N帧图像通常为超声影像的第一帧图像，也可以为用户根据实际扫描情况自主选择的任意一帧图像。
S102，将第N帧图像作为第一神经网络的输入参数，确定第一神经网络的输出参数，第一神经网络的输出参数为目标在第N帧图像中的第一位置信息。
本实施例中所涉及到的待识别和追踪的目标，主要是脏器中可能存在的疑似肿块、囊肿、血管瘤等病灶，后续实施例中则直接使用“病灶”进行描述。
本实施例中所提到的第一神经网络是一个多层的卷积神经网络，其目的是用于进行超声影像中病灶位置的识别，是后续进行病灶位置跟踪的基础，可以通过计算机或服务器在使用前预先进行训练而来。本实施例中的第一神经网络是一个已经实现训练好的卷积神经网络，并且根据待识别的病灶的类型和特性不同，可以针对不同病灶类型分别训练对应的第一神经网络，如用于识别囊肿的神经网络、用于识别肿块的神经网络、用于识别血管瘤的神经网络等等，在训练上述针对不同病灶类型的神经网络时，对应使用不同的训练样本即可。
第一神经网络训练好以后，即可进行待处理超声影像中病灶位置的识别，其输入参数为待处理超声影像的第N帧图像，即用户希望使用的待识别超声影像的起始帧的图像，优选为归一化后的待处理超声影像的第一帧图像，经过第一神经网络计算后，将其输出结果确定为病灶在第N帧图像中的第一位置信息，完成病灶在待处理超声影像中的识别。具体地，第一位置信息至少包括以下信息：病灶在第N帧图像中中心点的坐标、病灶在第N帧图像中的长度和宽度，通过确定病灶中心点以及病灶的长度和宽度，即可确定病灶在第一帧图像中的具***置和大小等信息。需要注意的是，若识别病灶时以矩形标记作为病灶的标识，则第一位置信息包括病灶在第N帧图像中的长度和宽度，若识别病灶时以其他形状的标记来作为病灶的标识，则使用该形状对应的参数来作为病灶的第一位置信息，例如，使用圆形作为病灶的标识，则将该病灶的圆心坐标(中心点的坐标)和半径的大小作为第一位置信息，若使用椭圆形作为病灶的标识，则将该病灶的焦点的坐标和长半轴、短半轴的大小作为第一位置信息。
进一步地，若第一神经网络同时输出了至少一个病灶在第N帧图像中的位置信息，则通过每个位置信息的置信度来确定最终的病灶位置。置信度代表神经网络识别病灶的概率，置信度越高则证明该病灶识别的越准确，因此在第一神经网络输出多个病灶的位置信息时，则确定每个位置信息对应的置信度，在从中确定出置信度大于第一阈值的位置信息作为病灶在第N帧图像中的第一位置信息。若同时存在多个位置信息的置信度均大于第一阈值，则从中选出置信度最大的位置信息，作为病灶在第N帧图像中的第一位置信息。
S103，将第一位置信息作为第二神经网络的第一输入参数，将待处理超声影像的第N+1帧图像作为第二神经网络的第二输入参数，通过第二神经网络追踪目标在第N+1帧中的第二位置信息。
本实施例中所提到的第二神经网络同样是一个多层的卷积神经网络，其目的是用于进行超声影像中病灶位置的实时跟踪。本实施例中的第二神经网络是一个已经实现训练好的卷积神经网络，虽然其目的是进行病灶位置的实时跟踪，但是实质上是通过进行待追踪目标与待搜索图像之间各个位置的相似性对比，来实现待搜索图像中待追踪目标位置的确定的，所以第二神经网络的本质是一个可以得到图像相似性的神经网络，即该神经网络可以不再依赖所跟踪的目标是什么，它能所达到的功能就是对于相似性比较高的位置能输出一个相对比较高的置信度，因此训练目标可以是任意的。本实施例中可以结合计算机视觉，选用一个已知稳定的跟踪模型，再对其进行微调以提升其泛化能力，以进一步提高该模型在本实施例中的追踪能力，实际实现时，第二神经网络可以为孪生网络。
第二神经网络训练完毕后，即可根据第一神经网络输出的病灶位置，对应进行该病灶在后续图像中的跟踪识别。在实际使用时，第二神经网络的第一输入参数为病灶在第N帧图像中的位置信息，主要包括病灶在第N帧图像中中心点P0的坐标(cx1，cy1)、病灶在第N帧图像中的长度w1和宽度h1等内容；待处理超声影像的第N+1帧图像作为第二神经网络的第二输入参数，为了减少第二神经网络的实际计算量，可首先在第N帧图像中确定一个第一搜索区域，将第一搜索区域作为第二神经网络的第二输入参数，其中，第一搜索区域的中心点坐标为病灶在第N帧图像中的中心点坐标，第一搜索区域的大小为病灶在第N帧图像中的大小的预设倍数，例如可以设置第一搜索区域的长度和宽度为病灶在第N帧图像中的长度和宽度的预设倍数。
在实际使用时，第一神经网络输出的病灶在第N帧图像中的第一位置信息还可以根据标记病灶所使用的标识不同而产生变化，对应在计算第一搜索区域时也可根据上述变化进行调整。例如，使用圆形作为病灶的标识，第一神经网络输出的第一位置信息则为该病灶的圆心坐标(中心点的坐标)和半径的大小，对应的第一搜索区域也相应调整成圆形，并将第一搜索区域的中心点坐标设为该病灶的圆心坐标，第一搜索区域的半径则设置为第一位置信息中病灶半径的预设倍数等。
以病灶的标识为矩形为例，在追踪病灶在第N+1帧中的第二位置信息时，首先通过第二神经网络在第一搜索区域中确定与第N帧第一位置信息处的图像具有相似性的子区域，再将该子区域的位置信息确定为病灶在第N+1帧中的第二位置信息。需要注意的是，相似性是指两个图形的结构相似，通过第二神经网络中确定出的子区域应当与病灶在第N帧中的第一位置信息处的图像具有相似的结构，才可将该子区域确定为病灶在第N+1帧中的位置信息。具体地，本实施例中所使用的在第N+1帧中确定子区域的方式为根据第一搜索区域中各个像素点与第N帧中第一位置信息处的图像中心点之间的距离确定，当某一像素点对应计算出的距离小于预设的第二阈值时，证明该像素点可能落在了病灶在第一搜索区域的范围内，将所有距离小于第二阈值的像素点所组成的区域作为子区域，即可对应得出病灶在第一搜索区域的具***置，该子区域的位置信息即为病灶在第N+1帧中的第二位置信息，如该子区域的中心点坐标即为第二位置信息中的中心点坐标，该子区域的长和宽作为第二位置信息中的长和宽。具体地，第二阈值可根据第一位置信息结合第一搜索区域与病灶在第N帧图像之间的预设倍数进行确定。
Figure BDA0002221394260000071
其中，c是在输入图像中病灶的中心点的坐标，p是神经网络输出的图像中各个点与中心点之间的距离，R为各个输入图像中病灶相对于中心点的半径，
Figure BDA0002221394260000081
为神经网络的缩放系数，也即上述所说的第二阈值即为
Figure BDA0002221394260000082
实际实现时，第二神经网络即可输出S(p)′的值，也即可以得到得分图，在得到得分图之后即可根据得分最高的点来确定第二位置信息，比如：将相似性得分最高的点的坐标作为第N+1帧图像中病灶中心点的坐标，假设得分最高的点的坐标为(cx2，cy2)，则结合第二神经网络的缩放系数
Figure BDA0002221394260000083
(即预设倍数)，确定病灶在第N+1帧图像中的中心点P’0坐标为
Figure BDA0002221394260000084
Figure BDA0002221394260000085
随后根据病灶在第N帧图像中的长度w1和宽度h1确定病灶在第N+1帧图像中的长度w2和宽度h2，在本实施例中病灶在第N+1帧图像中的长度和宽度与病灶在第N帧图像中的长度和宽度相同，即w1＝w2，h1＝h2；最后，将第N+1帧图像中病灶中心点的坐标(cx2，cy2)、病灶在第N+1帧图像中的长度w2和宽度h2作为在第N+1帧图像中的第二位置信息进行输出。
应当注意的是，本实施例中所述的第N帧图像为待处理超声影像的在识别时的起始帧图像，其可以为待处理超声影像的第一帧图像或用户选择的任意一帧图像，病灶在该帧图像中的位置信息通过第一神经网络确定而来，而病灶在起始帧的后续帧中的跟踪识别则通过第二神经网络，通过计算当前帧与病灶在前一帧的位置信息之间的相似性来进行病灶位置的跟踪识别，即，病灶在第N+1帧中的位置信息根据病灶在第N帧中的位置信息确定，病灶在第N+2帧中的位置信息根据病灶在第N+1帧中的位置信息确定，以此类推直至确定病灶在待识别超声图像的最后一帧图像中的位置信息，或确定病灶在用户预设的待处理的最后一帧图像中的位置信息。
本实施例通过神经网络的训练和使用，实现超声影像中病灶位置的自动识别和跟踪，节省了医生手动标记的时间，且病灶位置获取准确快速，可以在实时跟踪的同时结合当前的造影图像即时生成TIC曲线，提升了超声影像中目标识别和追踪的效率和准确性。
本发明的第二实施例提供了一种神经网络的训练方法，其流程图如图2所示，主要包括：
S201，获取第一超声样本影像，超声样本影像中标注有目标的位置；
S202，根据超声样本影像训练第一神经网络，训练后的第一神经网络用于识别超声影像中的目标的第一位置信息；
S203，获取第二神经网络，第二神经网络为用于计算两帧图像的相似度的网络；
S204，获取第二超声样本影像，第二超声样本影像中标注有相邻两帧中目标的位置；
S205，根据第二超声样本影像训练第二神经网络，训练后的第二神经网络用于根据前一帧中目标所处的位置识别得到目标在当前帧中的位置。
下面结合图3描述第一神经网络的训练过程。
第一神经网络的目的是识别超声影像中的病灶位置，因此需要大量已知病灶位置的历史超声影像作为第一超声样本影像，对第一神经网络进行训练。应当注意的是，这里选择的大量的第一超声样本影像，应当为包括同一类型的病灶对应的历史超声影像，这样训练出的神经网络才能用于实现识别超声影像中该类型病灶的位置。
比如，请参考图3，图中白色矩形框即为某一超声样本图像中病灶的位置。其中，若某一超声样本影像中同时存在多处病灶，则可以同时标注多个病灶位置，在标注时，可以按照高敏感性和提特异性的顺序进行。需要注意的是，标注病灶位置的方式不限于使用矩形框进行标记，也可根据实际使用情况或个人习惯等其他因素，使用圆形框或其他形状的标记框进行标记，本实施例中优选使用矩形框，但不限制仅使用矩形框。
在进行训练时，首先进行神经网络的初始化，将神经网络的权重参数设置为0到1之间的随机值，然后将每个训练样本的未进行病灶位置标注的第N帧图像进行归一化，将归一化后的图像作为第一神经网络训练时的实际输入参数，得到输出结果后与对应标注过病灶实际位置信息的图像进行对比，根据对比结果确定第一神经网络对应的第一损失函数，并依此对第一神经网络进行优化迭代，不断调整第一神经网络的权重，直至第一损失函数的值最小停止，此时认为第一神经网络训练完成，训练后的第一神经网络即可用于识别超声影像中的病灶的第一位置信息。
进一步地，第二神经网络为用于计算两帧图像的相似度的网络，在训练第二神经网络时，其所使用的训练样本为标注有相邻两帧中病灶的位置的第二超声样本影像，根据第二超声样本影像训练第二神经网络，训练后的第二神经网络用于根据前一帧中病灶所处的位置识别得到病灶在当前帧中的位置。下面结合图4描述第二神经网络的训练过程。
第二神经网络具有两个输入参数，其中，第一输入参数为目标在第二超声样本影像中的前一帧图像的位置信息，且该信息可以为手动标记，也可以在前一帧图像作为起始帧时，根据第一神经网络中输出的病灶的位置信息确定，经过裁剪和归一化后，作为第二神经网络训练过程中的第一输入参数x，具体地，第一输入参数输入的病灶的大小采用缩放填充边缘的方式，填充的边缘值像素为当前病灶图像的均值，保证和原始的病灶图像比例一致；第二输入参数y为训练样本第N帧图像的当前帧图像，第二神经网络的目的就是在超声影像中不断确定与待追踪目标最相似的位置的过程。为了减少计算量，可以在当前帧图像中划定一搜索区域，由于本实施例中病灶的位置不会实时移动，只会随着扫描角度或脏器搏动产生轻微的变化，因此只需要以上一帧确定的病灶位置为基准，向四周进行小范围的扩大即可，既能保证病灶的位置不会超出该范围，又能降低神经网络的计算量，具体地，在病灶使用矩形标记作为其标识时，该搜索区域以上一帧图像中确定的病灶的中心点坐标为中心，其大小为上一帧图像中确定的病灶的大小的预设倍数，或其长度和宽度为病灶的长度和宽度的预设倍数即可。在病灶使用其他形状的标记作为标识时，对应使用其他形状的参数来表示该病灶的位置信息即可，对应确定搜索区域时也进行相应的调整，下文中计算得分图的公式中所对应的参数也应当根据病灶标记的不同进行适应性的调整，具体调整方式根据用户选用的病灶标记确定，本实施例在此不进行限制。
第一输入参数x和第二输入参数y经过的网络结构相同，训练参数也一致并且共享，该网络可以看作成一个孪生网络，如图5所示，两个输入参数经过该神经网络的输出分别为
Figure BDA0002221394260000101
和
Figure BDA0002221394260000102
再将二者进行卷积运算，类似卷积层，
Figure BDA0002221394260000103
可以理解成卷积层的参数，最终得到一个相似性的得分图，即第二神经网络的输出结果，代表待追踪目标和搜索区域之间相似性的得分表，分值越大的位置代表与待追踪目标越相似，分值最大的位置即为待追踪目标在搜索区域内的位置的中心。
应当注意的是，训练第二神经网络时作为参考的得分图需要根据训练样本手动生成，由于训练输入的图像都具有一中心点，对应得分图计算公式如下：
Figure BDA0002221394260000111
其中，c是在各个输入图像中病灶的中心点的坐标，p是神经网络输出的图像中各个点与中心点之间的距离，R为各个输入图像中病灶相对于中心点的半径，
Figure BDA0002221394260000114
为神经网络的缩放系数。
将手动计算的得分图S(p)′作为第二神经网络的第二损失函数，本实施例中的第二损失函数则采用交叉熵求和去平均值的方式计算，具体公式如下：
Figure BDA0002221394260000112
其中，f(p)是交叉熵函数，其公式为：
f(p)＝-[S(p)logS(p)′+(1-S(p)log(1-S(p)′))] 公式(3)
由第二神经网络输出的得分图为S(p)，手动得出的真实得分图为S(p)′，根据公式(3)计算出f(p)之后，对应得出loss(S)，并根据loss(S)的值不断进行第二神经网络的优化，直至loss(S)的值最小时，第二神经网络训练完成。
假设得分最高的点的坐标为(cx2，cy2)，则结合第二神经网络的缩放系数
Figure BDA0002221394260000115
(即预设倍数)，确定病灶在第下一帧图像中的中心点P’0坐标为
Figure BDA0002221394260000113
其中，病灶在当前帧中的中心点坐标为：(cx1，cy1)。随后根据病灶在第N帧图像中的长度w1和宽度h1确定病灶在第N+1帧图像中的长度w2和宽度h2，在本实施例中病灶在下一图像中的长度和宽度与病灶在第N帧图像中的长度和宽度相同，即w1＝w2，h1＝h2；最后，将下一帧帧图像中病灶中心点的坐标(cx2，cy2)、病灶在第N+1帧图像中的长度w2和宽度h2作为在第N+1帧图像中的第二位置信息进行输出。
本发明的第三实施例提供了一种超声设备，其结构示意图如图5所示，至少包括存储器100、处理器200，还可以包括扫描探头、显示屏、键盘、等其他进行超声处理所必须的硬件设备，存储器100上存储有计算机程序，处理器200在执行存储器100上的计算机程序时实现如下步骤S1至S3：
S1，获取待处理超声影像的第N帧图像作为待处理超声影像的起始帧图像；
S2，将第N帧图像作为第一神经网络的输入参数，确定第一神经网络的输出参数，所述第一神经网络的输出参数为目标在第N帧图像中的第一位置信息，其中，第一神经网络为已训练的用于识别超声影像中目标位置的神经网络；
S3，将第一位置信息作为第二神经网络的第一输入参数，将待处理超声影像的第N+1帧图像作为第二神经网络的第二输入参数，通过第二神经网络追踪目标在第N+1帧中的第二位置信息，其中，N为正整数，第二神经网络为已训练的用于识别图像之间相似性的神经网络。
本实施例中第一位置信息至少包括以下信息：目标在第N帧图像中中心点的坐标、目标区域在第N帧图像中的长度和宽度。
处理器200在执行存储器100上的确定第一神经网络的输出参数为目标在第N帧图像中的第一位置信息的步骤时，具体执行如下计算机程序：获取第一神经网络输出的目标在第N帧图像中的至少一个位置信息；确定每个位置信息对应的置信度；根据置信度大于第一阈值的位置信息确定目标在第N帧图像中的第一位置信息。
处理器200在执行存储器100上的将待处理超声影像的第N+1帧图像作为第二神经网络的第二输入参数的步骤时，具体执行如下计算机程序：在第N+1帧图像上确定第一搜索区域，其中，第一搜索区域的中心点坐标为目标在第N帧图像的中心点坐标，第一搜索区域的大小为目标在在第N帧图像中的大小的预设倍数；将第一搜索区域作为第二输入参数。
处理器200在执行存储器100上的通过第二神经网络追踪目标在第N+1帧中的第二位置信息的步骤时，具体执行如下计算机程序：通过第二神经网络在第一搜索区域中确定与第N帧中第一位置信息处的图像具有相似性的子区域；将子区域的位置信息确定为目标在第N+1帧中的第二位置信息。
处理器200在执行存储器100上的通过第二神经网络在第一搜索区域中确定与第N帧中第一位置信息处的图像具有相似性的子区域的步骤时，具体执行如下计算机程序：计算第一搜索区域中的各个像素点与第N帧中第一位置信息处的图像中心点之间的距离；将第一搜索区域中所有距离小于第二阈值的像素点组成的区域确定为与第N帧中第一位置信息处的图像具有相似性的子区域。
处理器200在执行存储器100上的通过第二神经网络追踪目标在第N+1帧中的第二位置信息的步骤时，具体执行如下计算机程序：计算第一搜索区域中各个点与目标在第N帧图像中中心点之间的相似性得分，将相似性得分最高的点的坐标作为第N+1帧图像中目标中心点的坐标；确定目标在第N+1帧图像中的长度和宽度，其中，目标在第N+1帧图像中的长度和宽度与目标在第N帧图像中的长度和宽度相同；确定第N+1帧图像中目标中心点的坐标、目标在第N+1帧图像中的长度和宽度作为目标在第N+1帧图像中的位置信息进行输出。
本实施例通过神经网络的训练和使用，实现超声影像中目标位置的自动识别和跟踪，节省了医生手动标记的时间，且目标位置获取准确快速，可以在实时跟踪的同时结合当前的造影图像即时生成TIC曲线，提升了超声影像中目标识别和追踪的效率和准确性。
本发明的第四实施例提供了一种存储介质，该存储介质上存储有计算机程序，在计算机程序被处理器执行时，执行如本发明第一实施例中的基于神经网络的超声影像追踪方法。
此外，尽管已经在本文中描述了示例性实施例，其范围包括任何和所有基于本发明的具有等同元件、修改、省略、组合(例如，各种实施例交叉的方案)、改编或改变的实施例。权利要求书中的元件将被基于权利要求中采用的语言宽泛地解释，并不限于在本说明书中或本申请的实施期间所描述的示例，其示例将被解释为非排他性的。因此，本说明书和示例旨在仅被认为是示例，真正的范围和精神由以下权利要求以及其等同物的全部范围所指示。
以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本发明。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反，本发明的主题可以少于特定的公开的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。
以上对本发明多个实施例进行了详细说明，但本发明不限于这些具体的实施例，本领域技术人员在本发明构思的基础上，能够做出多种变型和修改实施例，这些变型和修改都应落入本发明所要求保护的范围之内。

Claims (7)

1.一种基于人工智能的超声影像视频自动追踪方法，其特征在于，包括：
获取待处理超声影像的第N帧图像作为所述待处理超声影像的起始帧图像；
将所述第N帧图像作为第一神经网络的输入参数，确定所述第一神经网络的输出参数，所述第一神经网络的输出参数为目标在所述第N帧图像中的第一位置信息，其中，所述第一神经网络为已训练的用于识别超声影像中目标位置的神经网络，所述第一位置信息至少包括以下信息：所述目标在所述第N帧图像中中心点的坐标、所述目标在所述第N帧图像中的长度和宽度；
将所述第一位置信息作为第二神经网络的第一输入参数，将所述待处理超声影像的第N+1帧图像作为第二神经网络的第二输入参数，通过所述第二神经网络追踪所述目标在所述第N+1帧中的第二位置信息，其中，N为正整数，所述第二神经网络为已训练的用于识别图像之间相似性的神经网络；
其中，将所述待处理超声影像的第N+1帧图像作为第二神经网络的第二输入参数，包括：
在所述第N+1帧图像上确定第一搜索区域，其中，所述第一搜索区域的中心点坐标为所述目标在第N帧图像的中心点坐标，所述第一搜索区域的大小为所述目标在所述在第N帧图像中的大小的预设倍数；
将所述第一搜索区域作为所述第二输入参数；
所述通过所述第二神经网络追踪所述目标在所述第N+1帧中的第二位置信息，包括：
计算所述第一搜索区域中各个点与所述目标在所述第N帧图像中中心点之间的相似性得分，将所述相似性得分最高的点的坐标作为所述第N+1帧图像中目标中心点的坐标；
确定所述目标在所述第N+1帧图像中的长度和宽度，其中，所述目标在所述第N+1帧图像中的长度和宽度与所述目标在所述第N帧图像中的长度和宽度相同；
确定所述第N+1帧图像中目标中心点的坐标、所述目标在所述第N+1帧图像中的长度和宽度作为所述目标在第N+1帧图像中的位置信息进行输出。
2.根据权利要求1所述的方法，其特征在于，所述确定所述第一神经网络的输出参数，包括：
获取所述第一神经网络输出的所述目标在第N帧图像中的至少一个位置信息；
确定每个所述位置信息对应的置信度；
根据所述置信度大于第一阈值的位置信息确定所述目标在所述第N帧图像中的第一位置信息。
3.根据权利要求1所述的方法，其特征在于，所述通过所述第二神经网络追踪所述目标在所述第N+1帧中的第二位置信息，包括：
通过所述第二神经网络在所述第一搜索区域中确定与所述第N帧中所述第一位置信息处的图像具有相似性的子区域；
将所述子区域的位置信息确定为所述目标在所述第N+1帧中的所述第二位置信息。
4.根据权利要求3所述的方法，其特征在于，所述通过所述第二神经网络在所述第一搜索区域中确定与所述第N帧中所述第一位置信息处的图像具有相似性的子区域，包括：
计算所述第一搜索区域中的各个像素点与所述第N帧中所述第一位置信息处的图像中心点之间的距离；
将所述第一搜索区域中所有所述距离小于第二阈值的像素点组成的区域确定为所述与所述第N帧中所述第一位置信息处的图像具有相似性的子区域。
5.一种神经网络的训练方法，其特征在于，包括：
获取第一超声样本影像，所述超声样本影像中标注有目标的位置；
根据所述超声样本影像训练第一神经网络，训练后的所述第一神经网络用于识别超声影像中的所述目标的第一位置信息，所述第一位置信息至少包括以下信息：所述目标在第N帧图像中中心点的坐标、所述目标在第N帧图像中的长度和宽度；
获取第二神经网络，所述第二神经网络为用于计算两帧图像的相似度的网络；
获取第二超声样本影像，所述第二超声样本影像中标注有相邻两帧中所述目标的位置；
根据所述第二超声样本影像训练所述第二神经网络，训练后的所述第二神经网络用于根据前一帧中所述目标所处的位置识别得到所述目标在当前帧中的位置；
其中，第二神经网络的第一输入参数为所述第一位置信息，第二神经网络的第二输入参数为待处理超声影像的第N+1帧图像，第二神经网络计算第一搜索区域中各个点与所述目标在所述第N帧图像中中心点之间的相似性得分，将所述相似性得分最高的点的坐标作为所述第N+1帧图像中目标中心点的坐标；确定所述目标在所述第N+1帧图像中的长度和宽度，其中，所述目标在所述第N+1帧图像中的长度和宽度与所述目标在所述第N帧图像中的长度和宽度相同；确定所述第N+1帧图像中目标中心点的坐标、所述目标在所述第N+1帧图像中的长度和宽度作为所述目标在第N+1帧图像中的位置信息进行输出；其中，所述第一搜索区域的中心点坐标为所述目标在第N帧图像的中心点坐标，所述第一搜索区域的大小为所述目标在所述在第N帧图像中的大小的预设倍数。
6.一种超声设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器在执行所述存储器上的计算机程序时实现权利要求1至4中任一项所述的基于神经网络的超声影像追踪方法的步骤。
7.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，在所述计算机程序被处理器执行时，执行权利要求1至4中任一项所述的基于神经网络的超声影像追踪方法。
CN201910947137.0A 2019-09-29 2019-09-29 基于人工智能的超声影像视频自动追踪方法和设备 Active CN110648327B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910947137.0A CN110648327B (zh) 2019-09-29 2019-09-29 基于人工智能的超声影像视频自动追踪方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910947137.0A CN110648327B (zh) 2019-09-29 2019-09-29 基于人工智能的超声影像视频自动追踪方法和设备

Publications (2)

Publication Number Publication Date
CN110648327A CN110648327A (zh) 2020-01-03
CN110648327B true CN110648327B (zh) 2022-06-28

Family

ID=68993629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910947137.0A Active CN110648327B (zh) 2019-09-29 2019-09-29 基于人工智能的超声影像视频自动追踪方法和设备

Country Status (1)

Country Link
CN (1) CN110648327B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311635A (zh) * 2020-02-08 2020-06-19 腾讯科技（深圳）有限公司 一种目标定位方法、装置及***
CN115668278A (zh) * 2020-05-29 2023-01-31 华为技术有限公司 图像处理方法及相关设备
CN111816281B (zh) * 2020-06-23 2024-05-14 无锡祥生医疗科技股份有限公司 超声影像查询装置
CN111862044B (zh) * 2020-07-21 2024-06-18 深圳蓝湘智影科技有限公司 超声图像处理方法、装置、计算机设备和存储介质
CN116965930B (zh) * 2023-09-22 2023-12-22 北京智愈医疗科技有限公司 一种基于超声图像的手术器械位移监测装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976400A (zh) * 2016-05-10 2016-09-28 北京旷视科技有限公司 基于神经网络模型的目标跟踪方法及装置
CN106909885A (zh) * 2017-01-19 2017-06-30 博康智能信息技术有限公司上海分公司 一种基于目标候选的目标跟踪方法及装置
CN107833239A (zh) * 2017-10-26 2018-03-23 辽宁工程技术大学 一种基于加权模型约束的寻优匹配目标跟踪方法
CN108898086A (zh) * 2018-06-20 2018-11-27 腾讯科技（深圳）有限公司 视频图像处理方法及装置、计算机可读介质和电子设备
CN109726683A (zh) * 2018-12-29 2019-05-07 北京市商汤科技开发有限公司 目标对象检测方法和装置、电子设备和存储介质
CN109886356A (zh) * 2019-03-08 2019-06-14 哈尔滨工程大学 一种基于三分支神经网络的目标追踪方法
CN110111362A (zh) * 2019-04-26 2019-08-09 辽宁工程技术大学 一种局部特征块相似匹配目标跟踪方法
CN110223324A (zh) * 2019-06-05 2019-09-10 东华大学 一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105976400A (zh) * 2016-05-10 2016-09-28 北京旷视科技有限公司 基于神经网络模型的目标跟踪方法及装置
CN106909885A (zh) * 2017-01-19 2017-06-30 博康智能信息技术有限公司上海分公司 一种基于目标候选的目标跟踪方法及装置
CN107833239A (zh) * 2017-10-26 2018-03-23 辽宁工程技术大学 一种基于加权模型约束的寻优匹配目标跟踪方法
CN108898086A (zh) * 2018-06-20 2018-11-27 腾讯科技（深圳）有限公司 视频图像处理方法及装置、计算机可读介质和电子设备
CN109726683A (zh) * 2018-12-29 2019-05-07 北京市商汤科技开发有限公司 目标对象检测方法和装置、电子设备和存储介质
CN109886356A (zh) * 2019-03-08 2019-06-14 哈尔滨工程大学 一种基于三分支神经网络的目标追踪方法
CN110111362A (zh) * 2019-04-26 2019-08-09 辽宁工程技术大学 一种局部特征块相似匹配目标跟踪方法
CN110223324A (zh) * 2019-06-05 2019-09-10 东华大学 一种基于鲁棒特征表示的孪生匹配网络的目标跟踪方法

Also Published As

Publication number Publication date
CN110648327A (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
CN110648327B (zh) 基于人工智能的超声影像视频自动追踪方法和设备
CN111784721B (zh) 基于深度学习的超声内窥图像智能分割与量化方法及***
WO2020108366A1 (zh) 图像分割方法、装置、计算机设备及存储介质
CN110751636B (zh) 一种基于改进型编解码网络的眼底图像视网膜动脉硬化检测方法
CN108364297B (zh) 血管图像分割方法、终端、存储介质
US20210393240A1 (en) Ultrasonic imaging method and device
Nadeem et al. Fuzzy logic based computational model for speckle noise removal in ultrasound images
CN111260701B (zh) 多模态视网膜眼底图像配准方法及装置
CN113989407B (zh) Ct影像中肢体部位识别模型训练方法及***
Petkova et al. Noise adaptive Wiener filtering of images
CN115311531A (zh) 一种RefineDet网络模型的探地雷达地下空洞目标自动检测方法
CN116958962A (zh) 一种基于改进YOLOv8s的疏果前石榴果实检测方法
CN109512463B (zh) 超声弹性成像位移估计方法、***、终端及可读存储介质
CN107169978B (zh) 超声图像边缘检测方法及***
CN116523802B (zh) 一种用于肝脏超声图像的增强优化方法
Ma et al. Edge-guided cnn for denoising images from portable ultrasound devices
CN112633113A (zh) 跨摄像头的人脸活体检测方法及***
JP2005354201A (ja) 画像処理装置及び画像処理方法
CN114419375B (zh) 图像分类方法、训练方法、装置、电子设备以及存储介质
CN108447066B (zh) 胆道图像分割方法、终端、存储介质
Avalokita et al. Automatic fetal head circumference measurement in 2D ultrasound images based on optimized fast ellipse fitting
US20210251601A1 (en) Method for ultrasound imaging and related equipment
CN117392040A (zh) 一种标准切面的识别方法、***、装置及存储介质
CN113808105A (zh) 一种基于超声扫查的病灶检测方法
Ren et al. Automated segmentation of left ventricular myocardium using cascading convolutional neural networks based on echocardiography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant