CN114052795B - 一种结合超声自主扫描的病灶成像及防误扎治疗*** - Google Patents

一种结合超声自主扫描的病灶成像及防误扎治疗*** Download PDF

Info

Publication number
CN114052795B
CN114052795B CN202111261523.8A CN202111261523A CN114052795B CN 114052795 B CN114052795 B CN 114052795B CN 202111261523 A CN202111261523 A CN 202111261523A CN 114052795 B CN114052795 B CN 114052795B
Authority
CN
China
Prior art keywords
focus
ultrasonic
scanning
information
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111261523.8A
Other languages
English (en)
Other versions
CN114052795A (zh
Inventor
陈芳
叶浩然
张道强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202111261523.8A priority Critical patent/CN114052795B/zh
Publication of CN114052795A publication Critical patent/CN114052795A/zh
Application granted granted Critical
Publication of CN114052795B publication Critical patent/CN114052795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/12Surgical instruments, devices or methods, e.g. tourniquets for ligaturing or otherwise compressing tubular parts of the body, e.g. blood vessels, umbilical cord
    • A61B17/12009Implements for ligaturing other than by clamps or clips, e.g. using a loop with a slip knot
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00022Sensing or detecting at the treatment site
    • A61B2017/00075Motion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Vascular Medicine (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Reproductive Health (AREA)
  • Surgical Instruments (AREA)

Abstract

本发明公开了一种结合超声自主扫描的病灶成像及防误扎治疗***,包括:超声扫描探头,外挂式扫描控制模块,术中成像指导显示模块,融合序列注意力的病灶量化模块和防误扎弹性治疗针模块。本发明不依赖于昂贵的计算服务器平台和机械臂设备,即可实现术中自主成像与超声扫描以获得全面的病灶信息,并在治疗端配备了防误扎弹性治疗针,保证了手术治疗的准确性和安全性。

Description

一种结合超声自主扫描的病灶成像及防误扎治疗***
技术领域
本发明涉及超声医学技术领域,尤其是一种结合超声自主扫描的病灶成像及防误扎治疗***。
背景技术
与传统外科手术相比,超声引导的微创手术,通过超声成像设备获得人体内部组织及病灶的结构信息,并呈现给医生,帮助医生确定治疗针与治疗器械的操作方式,对病灶进行治疗。由于超声能实现实时、便携式的成像,且成像引导下创伤小、并发症少、术后恢复快,超声引导的微创手术已成为现代治疗方式的新突破。超声引导的微创手术中,通过超声成像快速准确获得病症信息,并保证治疗器械对病灶进行安全的定位与治疗,能够为医生操作提高引导,减少术中伤害,提高手术安全性。
传统的超声引导的微创手术需要临床医师对超声成像的信息进行判别,并依靠临床经验判断超声探头的扫描方向和扫描角度。同时,医生在超声图像的辅助下,将治疗针穿入到病灶附近后,用治疗针对病灶进行穿刺、切除等治疗操作。可见,这样的成像与治疗方式,严重依赖于医生的临床经验,难以保证超声对病灶的完整成像,而且,治疗针的操作也难以精细化控制,容易导致误操作引起的病灶区大量出血。为了解决以上问题,相关研究提出将图像智能分析技术引入超声引导的微创手术中,即对超声图像中的病灶进行自动分割和追踪后,把相关信息反馈给医生。但是,这样的方式,只能对已经采集到的超声图像中的病灶信息进行提取,不能给出准确的成像指导信息,难以保证超声探头对病灶区域进行完整成像。同时,目前图像智能分析技术的引入,需要医院采购昂贵的计算服务器平台,临床适用性低。另外,在治疗器械的安全操作方面,相关研究主要使用多自由度的机械臂来实现治疗器械的精细控制,以减少手术中出现错误操作,保证安全性。但这样的方式,需要为已有的治疗器械配备昂贵的机械臂,而且需要对医生进行较长时间的培训学习,才能与现有手术操作流程进行有效融合。
因此,目前超声引导的微创手术中,现有的超声图像分析方式不能给出病灶完整切面扫描方式的提示信息,对医生的操作手法要求很高,无法实现自主式扫描成像。而且,目前的治疗器械防误操作方案,主要采用机械臂控制的方式。临床使用前,需要医生进行较长时间的培训学习。可见,目前尚无既能在成像方面提供医生术中成像指导,又能在治疗方面进行有效的防误扎操作的新型引导***。
发明内容
本发明所要解决的技术问题在于,提供一种结合超声自主扫描的病灶成像及防误扎治疗***,其不依赖于昂贵的计算服务器平台和机械臂设备,即可实现术中自主成像与超声扫描以获得全面的病灶信息,并在治疗端配备了防误扎弹性治疗针,保证了手术治疗的准确性和安全性。
为解决上述技术问题,本发明提供一种结合超声自主扫描的病灶成像及防误扎治疗***,包括:超声扫描探头,外挂式扫描控制模块,术中成像指导显示模块,融合序列注意力的病灶量化模块和防误扎弹性治疗针模块;针对超声扫描探头,通过三维打印得到探头外挂件,在探头外挂件上配备了基于强化学习的外挂式扫描控制模块,提出了一个深度强化学习的成像引导模型,提供给医生病灶扫描的指引信息;通过术中成像指导显示模块,直观地给医生展示成像指引信息,保证医生对超声探头的扫描方向进行自主调整,获得完整的病灶信息;对于获得的较完整病灶信息,利用融合序列注意力的病灶量化模块,解算出病灶的大小、形态信息;最后,防误扎弹性治疗针模块会进一步根据病灶大小、形态信息,调整弹性控制力的大小,保证弹性治疗针与病灶接触力在安全的用力范围内,以防止错误用力导致的病灶大出血问题。
优选的,外挂式扫描控制模块将已采集的超声序列作为有界环境,并将病灶结构状态的先验图像作为标准采集面,通过将当前采集图像与病灶标准面作对比,作为目标任务,在目标任务指引下,有界环境作为智能体交互的载体,用于接收动作、输出状态并计算当前动作的奖励,智能体是一个基于多尺度特征提取与融合的深度卷积网络;在迭代过程中,有界环境输出当前状态即当前采集的超声图像,并与病灶标准采面作对比以作为当前状态对比量,然后智能体接收该状态对比量,进行数据处理,得到响应的反馈,该动作进一步对环境进行改变,从而得到新的状态以及当前动作的奖励,在迭代过程中,智能体通过Q值序列学习算法,学习到初步的超声扫描引导动作;接下来,通过自适应成像姿态搜索策略,细化超声扫描引导动作,在自适应成像姿态搜索策略中,初步得到的超声扫描引导动作结合已采集超声序列,获得超声三维体,然后通过三维关键点提取,将结构关键点通过动态时空建模单元,该单元利用时间递归神经网络的形式对三维关键点的时空信息进行结算,并输出最终的成像引导信息,包括扫描方向。
优选的,术中成像指导显示模块通过扫描轨迹与病灶相对位置信息和当前扫描方向指示箭头来完成主观化的展示,帮助医生进行超声扫描方向的准确调整;基于强化学习的外挂式扫描控制模块输出的成像引导信息主要包括超声探头下一步扫描的指导方向,即相对于当前采集点,下一步扫描的方向指引;术中成像指导显示模块首先导入病灶的三维模型,并将超声探头下一步扫描的方向指引信息通过方向指示箭头叠加在病灶三维模型空间中,直观展示扫描方向;然后,将向指示箭头的箭头尖端与三维模型中心点的三维距离信息,通过显示器,展示给医生,给医生定量的扫描方向信息;最后,将超声扫描过程中所有扫描方向指示箭头的箭头尖端点,进行连接,并利用三维点插值,进一步得到扫描轨迹的三维展示。
优选的,融合序列注意力的病灶量化模块对超声探头扫描得到的较完整病灶信息进行量化求解;引入病灶区域序列变化注意力单元,利用多帧超声序列中病灶连续性,来辅助当前超声图像中病灶结构的准确获取,在病灶区域序列变化注意力单元中,输入为采集的超声序列XM∈RT×3×H×W,其中,T代表超声序列帧数,H代表超声图像长度,W代表超声图像宽度;首先,考虑到病灶组织方往往呈现为暗黑区域,边界模糊,因此病灶区域序列变化注意力单元利用局部相位信息及局部相位滤波技术来完成病灶边界增强;然后,对边界增强后的超声序列利用5个图像卷积操作来提取超声序列中每一帧图像的特征,得到病灶区域的特征;因为超声图像序列中连续帧的病灶区域大小具有连续性,且病灶区域内图像灰度信息在连续帧图像中存在差异,反映了整体病灶在不同成像切面下的组织成分差异,因此,病灶区域序列变化注意力单元通过计算前后连续帧图像中病灶区域相关性,得到超声图像序列中病灶区域内组织成分的相关对比信息IM∈RT×3×H×W;最后,通过对连续超声图像中相关对比信息IM∈RT×3×H×W,进行sigmoid非线性激活映射,得到病灶区域序列变化注意力权重WM∈RT×3×H×W,用于辅助当前采集的超声图像中病灶量化分析;
在融合序列注意力的病灶量化模块中,对于当前采集的超声图像,通过当前帧病灶定位与分析单元,进行病灶当前信息的初步提取;首先,通过图像金字塔和直方图均衡化操作,对病灶位置进行初步定位;然后,利用初步的病灶定位结果,结合形状变形模型,实现病灶边界的优化分割,得到当前采集超声图像中病灶的边界CO∈R3×H×W和病灶大小S等信息;获得了病灶区域序列变化注意力权重WM∈RT×3×H×W和当前采集超声图像中病灶的边界CO∈R3×H×W和病灶大小S后,将序列变化注意力权重WM∈RT×3×H×W与病灶的边界CO∈R3×H×W和病灶大小S进行权重加权乘法操作,得到病灶不同切面下病灶大小和边界的变化曲线;最后,对于变化曲线,提取曲线特征作为病灶大小与边界量化的结果。
优选的,防误扎弹性治疗针模块通过第一级弹性控制单元,对治疗针的操作力度进行约束;第一级弹性控制单元包含了弹性件和锥形体,该输入信号为病灶大小变化曲线峰值,当曲线峰值超过设定阈值α时,该控制单元的弹性件会自动连接到阻力通孔,使得锥形体转动形变小;当形体转动形变小时,与之相连的力驱动控制单元所产生的传动力也较小,保证了治疗针的操作力度经传输后减弱;经力驱动控制单元后的操作力,进一步经弹性件,传到第二级弹性控制单元,来对操作力进行二次约束,保证操作力在安全的用力范围内;第二级弹性控制单元的入信号为病灶边界变化曲线的波动率和偏度值,当波动率和偏度值超过阈值β时,该控制单元的弹性件阻力会变为病灶弹力大小的两倍,使得与之相连的锥形体转动力小于两倍病灶弹力大小;锥形体转动力小,则治疗针尖端操作力也随之较小,可有效防止错误用力导致的病灶大出血问题。
本发明的有益效果为:本发明利用外挂式扫描控制技术,并结合含两级控制的防误扎弹性治疗针模块,在不依赖于昂贵的计算服务器平台和机械臂设备的情况下,即可进行超声自主扫描,实现病灶完整成像,且保证了病灶治疗接触力在安全的用力范围内,可防止错误用力导致的病灶大出血问题,保证了手术治疗的准确性和安全性。
附图说明
图1为本发明的***结构示意图。
图2为本发明在使用时的连接示意图。
图3为本发明基于强化学习的外挂式扫描引导控制方法示意图。
图4为本发明融合序列注意力的病灶量算法示意图。
图5为本发明防误扎弹性治疗针示意图。
具体实施方式
如图1所示,一种结合超声自主扫描的病灶成像及防误扎治疗***,包括:超声扫描探头,外挂式扫描控制模块,术中成像指导显示模块,融合序列注意力的病灶量化模块和防误扎弹性治疗针模块。首先,通过三维扫描和三维打印为所用的超声探头打印一个匹配度高的探头外挂件。在探头外挂件上,配备了现场可编程门阵列(FPGA)实现的基于强化学习的外挂式扫描控制模块,该模块提出了一个深度强化学习的成像引导模型,可提供给医生病灶扫描的指引信息;所获得的超声扫描成像指导信息通过术中成像指导显示模块,直观地给医生展示成像指引信息,帮助医生对超声探头的扫描方向进行自主调整,获得完整的病灶信息。术中成像指导显示模块主要通过对基于强化学习的外挂式扫描控制模块输出的扫描指引轨迹与病灶相对位置信息和当前扫描方向指示箭头来完成直观展示,以保证实现完整的病灶扫描;对于获得的较完整病灶信息,进一步利用融合序列注意力的病灶量化模块,解算出病灶的大小、形态信息。在融合序列注意力的病灶量化模块中,通过对已采集得到的超声序列中病灶区域,进行分析,得到病灶区域序列变化注意力权重,并与当前扫描切面超声图像中的病灶信息进行比较,计算出病灶不同切面下大小与边界变化曲线,并预测得到病灶大小与边界量化结果。最后,防误扎弹性治疗针模块会进一步根据病灶大小、形态的量化信息,通过弹性控制单元,调整操作力的大小,保证弹性治疗针与病灶接触力在安全的用力范围内,以防止错误用力导致的病灶大出血问题。本发明在使用时的连接示意图如图2所示。
基于强化学习的外挂式扫描控制模块,设计了一个方便可拆卸的成像扫描引导计算与控制单元,进行超声自主扫描,以实现病灶完整成像。首先,通过三维扫描和打印为所用的超声探头打印一个匹配度高的探头外挂件。在该超声探头外挂件上,配备了现场可编程门阵列(FPGA)实现的基于强化学习的成像扫描引导计算与控制模型。如图3所示,该模型将使用深度强化学习作为整体框架的基础模块,来实现成像扫描引导计算。在该模块中,将已采集的超声序列作为有界环境,并将病灶结构状态的先验图像作为标准采集面。通过将当前采集图像与病灶标准面作对比,作为目标任务。在目标任务指引下,有界环境进一步作为智能体交互的主要载体,用于接收动作,输出状态并计算当前动作的奖励。这里,智能体是一个基于多尺度特征提取与融合的深度卷积网络。在迭代过程中,有界环境输出当前状态即当前采集的超声图像,并与病灶标准采面作对比以作为当前状态对比量。然后智能体接收该状态对比量,进行数据处理,得到响应的反馈,即动作(超声扫描引导),该动作进一步对环境进行改变,从而得到新的状态以及当前动作的奖励。在迭代过程中,智能体通过Q值序列学习算法,学习到初步的超声扫描引导动作。接下来,通过自适应成像姿态搜索策略,进一步细化超声扫描引导动作。在自适应成像姿态搜索策略中,初步得到的超声扫描引导动作结合已采集超声序列,获得超声三维体。然后通过三维关键点提取,将结构关键点通过动态时空建模单元,该单元利用时间递归神经网络的形式对三维关键点的时空信息进行结算,并输出最终的成像引导信息,包括扫描方向等。
术中成像指导显示模块主要通过扫描轨迹与病灶相对位置信息和当前扫描方向指示箭头来完成主观化的展示,帮助医生进行超声扫描方向的准确调整。基于强化学习的外挂式扫描控制模块输出的成像引导信息主要包括超声探头下一步扫描的指导方向,即相对于当前采集点,下一步扫描的方向指引。术中成像指导显示模块首先导入病灶的三维模型,并将超声探头下一步扫描的方向指引信息通过方向指示箭头叠加在病灶三维模型空间中,直观展示扫描方向。然后,将向指示箭头的箭头尖端与三维模型中心点的三维距离信息,通过显示器,展示给医生,给医生定量的扫描方向信息。最后,将超声扫描过程中所有扫描方向指示箭头的箭头尖端点,进行连接,并利用三维点插值,进一步得到扫描轨迹的三维展示。
融合序列注意力的病灶量化模块主要对超声探头扫描得到的较完整病灶信息进行量化求解。考虑到采集的超声图像序列中病灶结构具有连续性,要想从当前采集的超声图像中准确量化病灶信息,需要参考之前超声图像帧的相关信息,因此,引入了病灶区域序列变化注意力单元,利用多帧超声序列中病灶连续性,来辅助当前超声图像中病灶结构的准确获取。如图4所示,在病灶区域序列变化注意力单元中,输入为采集的超声序列XM∈RT ×3×H×W(其中,T代表超声序列帧数,H代表超声图像长度,W代表超声图像宽度)。首先,考虑到病灶组织方往往呈现为暗黑区域,边界模糊,因此病灶区域序列变化注意力单元利用局部相位信息及局部相位滤波技术来完成病灶边界增强。然后,对边界增强后的超声序列利用5个图像卷积操作来提取超声序列中每一帧图像的特征,得到病灶区域的特征。进一步的,因为超声图像序列中连续帧的病灶区域大小具有连续性,且病灶区域内图像灰度信息在连续帧图像中存在差异,反映了整体病灶在不同成像切面下的组织成分差异。因此,病灶区域序列变化注意力单元通过计算前后连续帧图像中病灶区域相关性,得到超声图像序列中病灶区域内组织成分的相关对比信息IM∈RT×3×H×W。最后,通过对连续超声图像中相关对比信息IM∈RT×3×H×W,进行sigmoid非线性激活映射,得到病灶区域序列变化注意力权重WM∈RT ×3×H×W,用于辅助当前采集的超声图像中病灶量化分析。
在融合序列注意力的病灶量化模块中,对于当前采集的超声图像,通过当前帧病灶定位与分析单元,进行病灶当前信息的初步提取。首先,通过图像金字塔和直方图均衡化操作,对病灶位置进行初步定位。然后,利用初步的病灶定位结果,结合形状变形模型,实现病灶边界的优化分割,得到当前采集超声图像中病灶的边界CO∈R3×H×W和病灶大小S等信息。获得了病灶区域序列变化注意力权重WM∈RT×3×H×W和当前采集超声图像中病灶相关信息(病灶的边界CQ∈R3×H×W和病灶大小S)后,将序列变化注意力权重WM∈RT×3×H×W与病灶的边界CQ∈R3×H×W和病灶大小S进行权重加权乘法操作,得到病灶不同切面(即序列)下病灶大小和边界的变化曲线。最后,对于变化曲线,提取曲线特征(如波动率、偏度、曲线下面积、峰值等)作为病灶大小与边界量化的结果。
如图5所示,在防误扎弹性治疗针模块会进一步根据病灶大小、形态的定量信息,调整弹性控制力的大小,保证弹性治疗针与病灶接触力在安全的用力范围内,以防止错误用力导致的病灶大出血问题。防误扎弹性治疗针模块,首先通过第一级弹性控制单元,对治疗针的操作力度进行约束。第一级弹性控制单元包含了弹性件和锥形体,该输入信号为病灶大小变化曲线峰值,当曲线峰值超过设定阈值α时,该控制单元的弹性件会自动连接到阻力通孔,使得锥形体转动形变小。当形体转动形变小时,与之相连的力驱动控制单元所产生的传动力也较小,保证了治疗针的操作力度经传输后减弱。经力驱动控制单元后的操作力,进一步经弹性件,传到第二级弹性控制单元,来对操作力进行二次约束,保证操作力在安全的用力范围内。第二级弹性控制单元的入信号为病灶边界变化曲线的波动率和偏度值,当波动率和偏度值超过阈值β时,该控制单元的弹性件阻力会变为病灶弹力大小的两倍,使得与之相连的锥形体转动力小于两倍病灶弹力大小。锥形体转动力小,则治疗针尖端操作力也随之较小,可有效防止错误用力导致的病灶大出血问题。

Claims (3)

1.一种结合超声自主扫描的病灶成像及防误扎治疗***,其特征在于,包括:超声扫描探头,外挂式扫描控制模块,术中成像指导显示模块,融合序列注意力的病灶量化模块和防误扎弹性治疗针模块;针对超声扫描探头,通过三维打印得到探头外挂件,在探头外挂件上配备了基于强化学习的外挂式扫描控制模块,利用深度强化学习的成像引导模型,提供给医生病灶扫描的指引信息;通过术中成像指导显示模块,直观地给医生展示成像指引信息,保证医生对超声探头的扫描方向进行自主调整,获得完整的病灶信息;对于获得的较完整病灶信息,利用融合序列注意力的病灶量化模块,解算出病灶的大小、形态信息;最后,防误扎弹性治疗针模块会进一步根据病灶大小、形态信息,调整弹性控制力的大小,保证弹性治疗针与病灶接触力在安全的用力范围内,以防止错误用力导致的病灶大出血问题;
外挂式扫描控制模块将已采集的超声序列作为有界环境,并将病灶结构状态的先验图像作为标准采集面,通过将当前采集图像与病灶标准面作对比,作为目标任务,在目标任务指引下,有界环境作为智能体交互的载体,用于接收动作、输出状态并计算当前动作的奖励,智能体是一个基于多尺度特征提取与融合的深度卷积网络;在迭代过程中,有界环境输出当前状态即当前采集的超声图像,并与病灶标准采面作对比以作为当前状态对比量,然后智能体接收该状态对比量,进行数据处理,得到响应的反馈,该动作进一步对环境进行改变,从而得到新的状态以及当前动作的奖励,在迭代过程中,智能体通过Q值序列学习算法,学习到初步的超声扫描引导动作;接下来,通过自适应成像姿态搜索策略,细化超声扫描引导动作,在自适应成像姿态搜索策略中,初步得到的超声扫描引导动作结合已采集超声序列,获得超声三维体,然后通过三维关键点提取,将结构关键点通过动态时空建模单元,该单元利用时间递归神经网络的形式对三维关键点的时空信息进行结算,并输出最终的成像引导信息,包括扫描方向;
融合序列注意力的病灶量化模块对超声探头扫描得到的较完整病灶信息进行量化求解;引入病灶区域序列变化注意力单元,利用多帧超声序列中病灶连续性,来辅助当前超声图像中病灶结构的准确获取,在病灶区域序列变化注意力单元中,输入为采集的超声序列XM∈RT×3×H×W,其中,T代表超声序列帧数,H代表超声图像长度,W代表超声图像宽度;首先,考虑到病灶组织呈现为暗黑区域,边界模糊,因此病灶区域序列变化注意力单元利用局部相位信息及局部相位滤波技术来完成病灶边界增强;然后,对边界增强后的超声序列利用5个图像卷积操作来提取超声序列中每一帧图像的特征,得到病灶区域的特征;因为超声图像序列中连续帧的病灶区域大小具有连续性,且病灶区域内图像灰度信息在连续帧图像中存在差异,反映了整体病灶在不同成像切面下的组织成分差异,因此,病灶区域序列变化注意力单元通过计算前后连续帧图像中病灶区域相关性,得到超声图像序列中病灶区域内组织成分的相关对比信息IM∈RT×3×H×W;最后,通过对连续超声图像中相关对比信息IM∈RT ×3×H×W,进行sigmoid非线性激活映射,得到病灶区域序列变化注意力权重WM∈RT×3×H×W,用于辅助当前采集的超声图像中病灶量化分析;
在融合序列注意力的病灶量化模块中,对于当前采集的超声图像,通过当前帧病灶定位与分析单元,进行病灶当前信息的初步提取;首先,通过图像金字塔和直方图均衡化操作,对病灶位置进行初步定位;然后,利用初步的病灶定位结果,结合形状变形模型,实现病灶边界的优化分割,得到当前采集超声图像中病灶的边界CQ∈R3×H×W和病灶大小S信息;获得了病灶区域序列变化注意力权重WM∈RT×3×H×W和当前采集超声图像中病灶的边界CQ∈R3 ×H×W和病灶大小S后,将序列变化注意力权重WM∈RT×3×H×W与病灶的边界CQ∈R3×H×W和病灶大小S进行权重加权乘法操作,得到病灶不同切面下病灶大小和边界的变化曲线;最后,对于变化曲线,提取曲线特征作为病灶大小与边界量化的结果。
2.如权利要求1所述的结合超声自主扫描的病灶成像及防误扎治疗***,其特征在于,术中成像指导显示模块通过扫描轨迹与病灶相对位置信息和当前扫描方向指示箭头来完成主观化的展示,帮助医生进行超声扫描方向的准确调整;基于强化学习的外挂式扫描控制模块输出的成像引导信息主要包括超声探头下一步扫描的指导方向,即相对于当前采集点,下一步扫描的方向指引;术中成像指导显示模块首先导入病灶的三维模型,并将超声探头下一步扫描的方向指引信息通过方向指示箭头叠加在病灶三维模型空间中,直观展示扫描方向;然后,将向指示箭头的箭头尖端与三维模型中心点的三维距离信息,通过显示器,展示给医生,给医生定量的扫描方向信息;最后,将超声扫描过程中所有扫描方向指示箭头的箭头尖端点,进行连接,并利用三维点插值,进一步得到扫描轨迹的三维展示。
3.如权利要求1所述的结合超声自主扫描的病灶成像及防误扎治疗***,其特征在于,防误扎弹性治疗针模块通过第一级弹性控制单元,对治疗针的操作力度进行约束;第一级弹性控制单元包含了弹性件和锥形体,该输入信号为病灶大小变化曲线峰值,当曲线峰值超过设定阈值α时,该控制单元的弹性件会自动连接到阻力通孔,使得锥形体转动形变小;当形体转动形变小时,与之相连的力驱动控制单元所产生的传动力也较小,保证了治疗针的操作力度经传输后减弱;经力驱动控制单元后的操作力,进一步经弹性件,传到第二级弹性控制单元,来对操作力进行二次约束,保证操作力在安全的用力范围内;第二级弹性控制单元的入信号为病灶边界变化曲线的波动率和偏度值,当波动率和偏度值超过阈值β时,该控制单元的弹性件阻力会变为病灶弹力大小的两倍,使得与之相连的锥形体转动力小于两倍病灶弹力大小;锥形体转动力小,则治疗针尖端操作力也随之较小,有效防止错误用力导致的病灶大出血问题。
CN202111261523.8A 2021-10-28 2021-10-28 一种结合超声自主扫描的病灶成像及防误扎治疗*** Active CN114052795B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111261523.8A CN114052795B (zh) 2021-10-28 2021-10-28 一种结合超声自主扫描的病灶成像及防误扎治疗***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111261523.8A CN114052795B (zh) 2021-10-28 2021-10-28 一种结合超声自主扫描的病灶成像及防误扎治疗***

Publications (2)

Publication Number Publication Date
CN114052795A CN114052795A (zh) 2022-02-18
CN114052795B true CN114052795B (zh) 2023-11-07

Family

ID=80235681

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111261523.8A Active CN114052795B (zh) 2021-10-28 2021-10-28 一种结合超声自主扫描的病灶成像及防误扎治疗***

Country Status (1)

Country Link
CN (1) CN114052795B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101006933A (zh) * 2006-01-23 2007-08-01 西门子公司 用于显示三维对象的方法和设备
CN101053531A (zh) * 2007-05-17 2007-10-17 上海交通大学 基于多模式增敏成像融合的早期肿瘤定位跟踪方法
CN105447872A (zh) * 2015-12-03 2016-03-30 中山大学 一种在超声影像中自动识别肝脏肿瘤类型的方法
CN206597027U (zh) * 2016-10-09 2017-10-31 深圳华大智造科技有限公司 一种超声扫描装置辅助***
AU2017268489B1 (en) * 2016-12-02 2018-05-17 Avent, Inc. System and method for navigation to a target anatomical object in medical imaging-based procedures
CN108272502A (zh) * 2017-12-29 2018-07-13 战跃福 一种ct三维成像引导的消融针导向手术方法及***
US10032281B1 (en) * 2017-05-03 2018-07-24 Siemens Healthcare Gmbh Multi-scale deep reinforcement machine learning for N-dimensional segmentation in medical imaging
CN109074665A (zh) * 2016-12-02 2018-12-21 阿文特公司 用于在基于医学成像的程序中导航到目标解剖对象的***和方法
CN110347860A (zh) * 2019-07-01 2019-10-18 南京航空航天大学 基于卷积神经网络的深度图像描述方法
CN110381846A (zh) * 2017-03-06 2019-10-25 辛可索诺有限责任公司 血管阻塞诊断方法、设备及***
CN111260786A (zh) * 2020-01-06 2020-06-09 南京航空航天大学 一种智能超声多模态导航***及方法
CN111477318A (zh) * 2020-04-25 2020-07-31 华南理工大学 一种用于远程操纵的虚拟超声探头跟踪方法
CN112370161A (zh) * 2020-10-12 2021-02-19 珠海横乐医学科技有限公司 基于超声图像特征平面检测的手术导航方法及介质
CN112612274A (zh) * 2020-12-22 2021-04-06 清华大学 用于超声检查机器人的自主运动决策控制方法及***
CN113218400A (zh) * 2021-05-17 2021-08-06 太原科技大学 一种基于深度强化学习的多智能体导航算法
WO2021169126A1 (zh) * 2020-02-25 2021-09-02 平安科技(深圳)有限公司 病灶分类模型训练方法、装置、计算机设备和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI473598B (zh) * 2012-05-18 2015-02-21 Univ Nat Taiwan Breast ultrasound image scanning and diagnostic assistance system
US10573031B2 (en) * 2017-12-06 2020-02-25 Siemens Healthcare Gmbh Magnetic resonance image reconstruction with deep reinforcement learning
JP7418352B2 (ja) * 2018-05-16 2024-01-19 コーニンクレッカ フィリップス エヌ ヴェ 機械学習を使用する手術中の自動腫瘍識別

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101006933A (zh) * 2006-01-23 2007-08-01 西门子公司 用于显示三维对象的方法和设备
CN101053531A (zh) * 2007-05-17 2007-10-17 上海交通大学 基于多模式增敏成像融合的早期肿瘤定位跟踪方法
CN105447872A (zh) * 2015-12-03 2016-03-30 中山大学 一种在超声影像中自动识别肝脏肿瘤类型的方法
CN206597027U (zh) * 2016-10-09 2017-10-31 深圳华大智造科技有限公司 一种超声扫描装置辅助***
AU2017268489B1 (en) * 2016-12-02 2018-05-17 Avent, Inc. System and method for navigation to a target anatomical object in medical imaging-based procedures
CN109074665A (zh) * 2016-12-02 2018-12-21 阿文特公司 用于在基于医学成像的程序中导航到目标解剖对象的***和方法
CN110381846A (zh) * 2017-03-06 2019-10-25 辛可索诺有限责任公司 血管阻塞诊断方法、设备及***
US10032281B1 (en) * 2017-05-03 2018-07-24 Siemens Healthcare Gmbh Multi-scale deep reinforcement machine learning for N-dimensional segmentation in medical imaging
CN108272502A (zh) * 2017-12-29 2018-07-13 战跃福 一种ct三维成像引导的消融针导向手术方法及***
CN110347860A (zh) * 2019-07-01 2019-10-18 南京航空航天大学 基于卷积神经网络的深度图像描述方法
CN111260786A (zh) * 2020-01-06 2020-06-09 南京航空航天大学 一种智能超声多模态导航***及方法
WO2021169126A1 (zh) * 2020-02-25 2021-09-02 平安科技(深圳)有限公司 病灶分类模型训练方法、装置、计算机设备和存储介质
CN111477318A (zh) * 2020-04-25 2020-07-31 华南理工大学 一种用于远程操纵的虚拟超声探头跟踪方法
CN112370161A (zh) * 2020-10-12 2021-02-19 珠海横乐医学科技有限公司 基于超声图像特征平面检测的手术导航方法及介质
CN112612274A (zh) * 2020-12-22 2021-04-06 清华大学 用于超声检查机器人的自主运动决策控制方法及***
CN113218400A (zh) * 2021-05-17 2021-08-06 太原科技大学 一种基于深度强化学习的多智能体导航算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
三维超声影像导航机器人***的临床应用;刘少丽;杨向东;冯涛;陈恳;梁萍;;中国生物医学工程学报(第06期);全文 *

Also Published As

Publication number Publication date
CN114052795A (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
US20220296312A1 (en) Anatomical feature tracking
AU2015264243B2 (en) Image guided autonomous needle insertion device for vascular access
JP2021527522A (ja) 手術ロボット外科手術のための人工知能
CN114224448B (zh) 穿刺路径规划装置、设备和计算机可读存储介质
WO2023095492A1 (ja) 手術支援システム、手術支援方法、及び手術支援プログラム
CN114052795B (zh) 一种结合超声自主扫描的病灶成像及防误扎治疗***
CN111466952B (zh) 一种超声内镜与ct三维图像实时转化方法和***
Guo et al. Study on the automatic surgical method of the vascular interventional surgical robot based on deep learning
Huang et al. Effective hybrid attention network based on pseudo-color enhancement in ultrasound image segmentation
Bi et al. Machine Learning in Robotic Ultrasound Imaging: Challenges and Perspectives
US20220327704A1 (en) Method for determining location of target of body
CN103236213A (zh) 基于光学双目定位的心房颤动导管消融模拟
CN110890139A (zh) 一种智能小儿外科手术创口清洗引流控制***及方法
CN112561900A (zh) 一种基于超声成像的静脉穿刺机器人扎针速度控制方法
CN114430671A (zh) 用于超声成像中的目标定位的自动闭环超声平面转向以及相关联的设备、***和方法
JP7148193B1 (ja) 手術支援システム、手術支援方法、及び手術支援プログラム
US11986248B2 (en) Apparatus and method for matching the real surgical image with the 3D-based virtual simulated surgical image based on POI definition and phase recognition
EP4111982A1 (en) Systems and apparatuses for navigation and procedural guidance of laser leaflet resection under intracardiac echocardiography
Chen Towards practical ultrasound ai across real-world patient diversity
Lyu et al. A CNN-based Method for Guidewire Tip Collisions Detection in Vascular Interventional Surgery
Liu et al. UDCR: Unsupervised Aortic DSA/CTA Rigid Registration Using Deep Reinforcement Learning and Overlap Degree Calculation
Du et al. Guidewire Endpoint Detection Based on Pixel‐Adjacent Relation during Robot‐Assisted Intravascular Catheterization: In Vivo Mammalian Models
US10639100B2 (en) Determining ablation location using probabilistic decision-making
Mei et al. Real Time Detection and Tracking of Guide Wire/Catheter for Interventional Embolization Robot based on Deep Learning
CN116807577A (zh) 全自动静脉穿刺设备和全自动静脉穿刺方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant