CN114052795B - 一种结合超声自主扫描的病灶成像及防误扎治疗*** - Google Patents
一种结合超声自主扫描的病灶成像及防误扎治疗*** Download PDFInfo
- Publication number
- CN114052795B CN114052795B CN202111261523.8A CN202111261523A CN114052795B CN 114052795 B CN114052795 B CN 114052795B CN 202111261523 A CN202111261523 A CN 202111261523A CN 114052795 B CN114052795 B CN 114052795B
- Authority
- CN
- China
- Prior art keywords
- focus
- ultrasonic
- scanning
- information
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 63
- 230000001225 therapeutic effect Effects 0.000 title claims description 9
- 239000000523 sample Substances 0.000 claims abstract description 30
- 238000011002 quantification Methods 0.000 claims abstract description 18
- 230000008859 change Effects 0.000 claims description 33
- 230000009471 action Effects 0.000 claims description 22
- 230000003902 lesion Effects 0.000 claims description 20
- 238000002604 ultrasonography Methods 0.000 claims description 18
- 230000002787 reinforcement Effects 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 13
- 238000000034 method Methods 0.000 claims description 13
- 208000032843 Hemorrhage Diseases 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000012804 iterative process Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000010146 3D printing Methods 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000004445 quantitative analysis Methods 0.000 claims description 3
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000013139 quantization Methods 0.000 claims 2
- 238000007670 refining Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 7
- 239000003795 chemical substances by application Substances 0.000 description 8
- 238000002324 minimally invasive surgery Methods 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000007639 printing Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/12—Surgical instruments, devices or methods, e.g. tourniquets for ligaturing or otherwise compressing tubular parts of the body, e.g. blood vessels, umbilical cord
- A61B17/12009—Implements for ligaturing other than by clamps or clips, e.g. using a loop with a slip knot
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00022—Sensing or detecting at the treatment site
- A61B2017/00075—Motion
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Vascular Medicine (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Reproductive Health (AREA)
- Surgical Instruments (AREA)
Abstract
本发明公开了一种结合超声自主扫描的病灶成像及防误扎治疗***,包括:超声扫描探头,外挂式扫描控制模块,术中成像指导显示模块,融合序列注意力的病灶量化模块和防误扎弹性治疗针模块。本发明不依赖于昂贵的计算服务器平台和机械臂设备,即可实现术中自主成像与超声扫描以获得全面的病灶信息,并在治疗端配备了防误扎弹性治疗针,保证了手术治疗的准确性和安全性。
Description
技术领域
本发明涉及超声医学技术领域,尤其是一种结合超声自主扫描的病灶成像及防误扎治疗***。
背景技术
与传统外科手术相比,超声引导的微创手术,通过超声成像设备获得人体内部组织及病灶的结构信息,并呈现给医生,帮助医生确定治疗针与治疗器械的操作方式,对病灶进行治疗。由于超声能实现实时、便携式的成像,且成像引导下创伤小、并发症少、术后恢复快,超声引导的微创手术已成为现代治疗方式的新突破。超声引导的微创手术中,通过超声成像快速准确获得病症信息,并保证治疗器械对病灶进行安全的定位与治疗,能够为医生操作提高引导,减少术中伤害,提高手术安全性。
传统的超声引导的微创手术需要临床医师对超声成像的信息进行判别,并依靠临床经验判断超声探头的扫描方向和扫描角度。同时,医生在超声图像的辅助下,将治疗针穿入到病灶附近后,用治疗针对病灶进行穿刺、切除等治疗操作。可见,这样的成像与治疗方式,严重依赖于医生的临床经验,难以保证超声对病灶的完整成像,而且,治疗针的操作也难以精细化控制,容易导致误操作引起的病灶区大量出血。为了解决以上问题,相关研究提出将图像智能分析技术引入超声引导的微创手术中,即对超声图像中的病灶进行自动分割和追踪后,把相关信息反馈给医生。但是,这样的方式,只能对已经采集到的超声图像中的病灶信息进行提取,不能给出准确的成像指导信息,难以保证超声探头对病灶区域进行完整成像。同时,目前图像智能分析技术的引入,需要医院采购昂贵的计算服务器平台,临床适用性低。另外,在治疗器械的安全操作方面,相关研究主要使用多自由度的机械臂来实现治疗器械的精细控制,以减少手术中出现错误操作,保证安全性。但这样的方式,需要为已有的治疗器械配备昂贵的机械臂,而且需要对医生进行较长时间的培训学习,才能与现有手术操作流程进行有效融合。
因此,目前超声引导的微创手术中,现有的超声图像分析方式不能给出病灶完整切面扫描方式的提示信息,对医生的操作手法要求很高,无法实现自主式扫描成像。而且,目前的治疗器械防误操作方案,主要采用机械臂控制的方式。临床使用前,需要医生进行较长时间的培训学习。可见,目前尚无既能在成像方面提供医生术中成像指导,又能在治疗方面进行有效的防误扎操作的新型引导***。
发明内容
本发明所要解决的技术问题在于,提供一种结合超声自主扫描的病灶成像及防误扎治疗***,其不依赖于昂贵的计算服务器平台和机械臂设备,即可实现术中自主成像与超声扫描以获得全面的病灶信息,并在治疗端配备了防误扎弹性治疗针,保证了手术治疗的准确性和安全性。
为解决上述技术问题,本发明提供一种结合超声自主扫描的病灶成像及防误扎治疗***,包括:超声扫描探头,外挂式扫描控制模块,术中成像指导显示模块,融合序列注意力的病灶量化模块和防误扎弹性治疗针模块;针对超声扫描探头,通过三维打印得到探头外挂件,在探头外挂件上配备了基于强化学习的外挂式扫描控制模块,提出了一个深度强化学习的成像引导模型,提供给医生病灶扫描的指引信息;通过术中成像指导显示模块,直观地给医生展示成像指引信息,保证医生对超声探头的扫描方向进行自主调整,获得完整的病灶信息;对于获得的较完整病灶信息,利用融合序列注意力的病灶量化模块,解算出病灶的大小、形态信息;最后,防误扎弹性治疗针模块会进一步根据病灶大小、形态信息,调整弹性控制力的大小,保证弹性治疗针与病灶接触力在安全的用力范围内,以防止错误用力导致的病灶大出血问题。
优选的,外挂式扫描控制模块将已采集的超声序列作为有界环境,并将病灶结构状态的先验图像作为标准采集面,通过将当前采集图像与病灶标准面作对比,作为目标任务,在目标任务指引下,有界环境作为智能体交互的载体,用于接收动作、输出状态并计算当前动作的奖励,智能体是一个基于多尺度特征提取与融合的深度卷积网络;在迭代过程中,有界环境输出当前状态即当前采集的超声图像,并与病灶标准采面作对比以作为当前状态对比量,然后智能体接收该状态对比量,进行数据处理,得到响应的反馈,该动作进一步对环境进行改变,从而得到新的状态以及当前动作的奖励,在迭代过程中,智能体通过Q值序列学习算法,学习到初步的超声扫描引导动作;接下来,通过自适应成像姿态搜索策略,细化超声扫描引导动作,在自适应成像姿态搜索策略中,初步得到的超声扫描引导动作结合已采集超声序列,获得超声三维体,然后通过三维关键点提取,将结构关键点通过动态时空建模单元,该单元利用时间递归神经网络的形式对三维关键点的时空信息进行结算,并输出最终的成像引导信息,包括扫描方向。
优选的,术中成像指导显示模块通过扫描轨迹与病灶相对位置信息和当前扫描方向指示箭头来完成主观化的展示,帮助医生进行超声扫描方向的准确调整;基于强化学习的外挂式扫描控制模块输出的成像引导信息主要包括超声探头下一步扫描的指导方向,即相对于当前采集点,下一步扫描的方向指引;术中成像指导显示模块首先导入病灶的三维模型,并将超声探头下一步扫描的方向指引信息通过方向指示箭头叠加在病灶三维模型空间中,直观展示扫描方向;然后,将向指示箭头的箭头尖端与三维模型中心点的三维距离信息,通过显示器,展示给医生,给医生定量的扫描方向信息;最后,将超声扫描过程中所有扫描方向指示箭头的箭头尖端点,进行连接,并利用三维点插值,进一步得到扫描轨迹的三维展示。
优选的,融合序列注意力的病灶量化模块对超声探头扫描得到的较完整病灶信息进行量化求解;引入病灶区域序列变化注意力单元,利用多帧超声序列中病灶连续性,来辅助当前超声图像中病灶结构的准确获取,在病灶区域序列变化注意力单元中,输入为采集的超声序列XM∈RT×3×H×W,其中,T代表超声序列帧数,H代表超声图像长度,W代表超声图像宽度;首先,考虑到病灶组织方往往呈现为暗黑区域,边界模糊,因此病灶区域序列变化注意力单元利用局部相位信息及局部相位滤波技术来完成病灶边界增强;然后,对边界增强后的超声序列利用5个图像卷积操作来提取超声序列中每一帧图像的特征,得到病灶区域的特征;因为超声图像序列中连续帧的病灶区域大小具有连续性,且病灶区域内图像灰度信息在连续帧图像中存在差异,反映了整体病灶在不同成像切面下的组织成分差异,因此,病灶区域序列变化注意力单元通过计算前后连续帧图像中病灶区域相关性,得到超声图像序列中病灶区域内组织成分的相关对比信息IM∈RT×3×H×W;最后,通过对连续超声图像中相关对比信息IM∈RT×3×H×W,进行sigmoid非线性激活映射,得到病灶区域序列变化注意力权重WM∈RT×3×H×W,用于辅助当前采集的超声图像中病灶量化分析;
在融合序列注意力的病灶量化模块中,对于当前采集的超声图像,通过当前帧病灶定位与分析单元,进行病灶当前信息的初步提取;首先,通过图像金字塔和直方图均衡化操作,对病灶位置进行初步定位;然后,利用初步的病灶定位结果,结合形状变形模型,实现病灶边界的优化分割,得到当前采集超声图像中病灶的边界CO∈R3×H×W和病灶大小S等信息;获得了病灶区域序列变化注意力权重WM∈RT×3×H×W和当前采集超声图像中病灶的边界CO∈R3×H×W和病灶大小S后,将序列变化注意力权重WM∈RT×3×H×W与病灶的边界CO∈R3×H×W和病灶大小S进行权重加权乘法操作,得到病灶不同切面下病灶大小和边界的变化曲线;最后,对于变化曲线,提取曲线特征作为病灶大小与边界量化的结果。
优选的,防误扎弹性治疗针模块通过第一级弹性控制单元,对治疗针的操作力度进行约束;第一级弹性控制单元包含了弹性件和锥形体,该输入信号为病灶大小变化曲线峰值,当曲线峰值超过设定阈值α时,该控制单元的弹性件会自动连接到阻力通孔,使得锥形体转动形变小;当形体转动形变小时,与之相连的力驱动控制单元所产生的传动力也较小,保证了治疗针的操作力度经传输后减弱;经力驱动控制单元后的操作力,进一步经弹性件,传到第二级弹性控制单元,来对操作力进行二次约束,保证操作力在安全的用力范围内;第二级弹性控制单元的入信号为病灶边界变化曲线的波动率和偏度值,当波动率和偏度值超过阈值β时,该控制单元的弹性件阻力会变为病灶弹力大小的两倍,使得与之相连的锥形体转动力小于两倍病灶弹力大小;锥形体转动力小,则治疗针尖端操作力也随之较小,可有效防止错误用力导致的病灶大出血问题。
本发明的有益效果为:本发明利用外挂式扫描控制技术,并结合含两级控制的防误扎弹性治疗针模块,在不依赖于昂贵的计算服务器平台和机械臂设备的情况下,即可进行超声自主扫描,实现病灶完整成像,且保证了病灶治疗接触力在安全的用力范围内,可防止错误用力导致的病灶大出血问题,保证了手术治疗的准确性和安全性。
附图说明
图1为本发明的***结构示意图。
图2为本发明在使用时的连接示意图。
图3为本发明基于强化学习的外挂式扫描引导控制方法示意图。
图4为本发明融合序列注意力的病灶量算法示意图。
图5为本发明防误扎弹性治疗针示意图。
具体实施方式
如图1所示,一种结合超声自主扫描的病灶成像及防误扎治疗***,包括:超声扫描探头,外挂式扫描控制模块,术中成像指导显示模块,融合序列注意力的病灶量化模块和防误扎弹性治疗针模块。首先,通过三维扫描和三维打印为所用的超声探头打印一个匹配度高的探头外挂件。在探头外挂件上,配备了现场可编程门阵列(FPGA)实现的基于强化学习的外挂式扫描控制模块,该模块提出了一个深度强化学习的成像引导模型,可提供给医生病灶扫描的指引信息;所获得的超声扫描成像指导信息通过术中成像指导显示模块,直观地给医生展示成像指引信息,帮助医生对超声探头的扫描方向进行自主调整,获得完整的病灶信息。术中成像指导显示模块主要通过对基于强化学习的外挂式扫描控制模块输出的扫描指引轨迹与病灶相对位置信息和当前扫描方向指示箭头来完成直观展示,以保证实现完整的病灶扫描;对于获得的较完整病灶信息,进一步利用融合序列注意力的病灶量化模块,解算出病灶的大小、形态信息。在融合序列注意力的病灶量化模块中,通过对已采集得到的超声序列中病灶区域,进行分析,得到病灶区域序列变化注意力权重,并与当前扫描切面超声图像中的病灶信息进行比较,计算出病灶不同切面下大小与边界变化曲线,并预测得到病灶大小与边界量化结果。最后,防误扎弹性治疗针模块会进一步根据病灶大小、形态的量化信息,通过弹性控制单元,调整操作力的大小,保证弹性治疗针与病灶接触力在安全的用力范围内,以防止错误用力导致的病灶大出血问题。本发明在使用时的连接示意图如图2所示。
基于强化学习的外挂式扫描控制模块,设计了一个方便可拆卸的成像扫描引导计算与控制单元,进行超声自主扫描,以实现病灶完整成像。首先,通过三维扫描和打印为所用的超声探头打印一个匹配度高的探头外挂件。在该超声探头外挂件上,配备了现场可编程门阵列(FPGA)实现的基于强化学习的成像扫描引导计算与控制模型。如图3所示,该模型将使用深度强化学习作为整体框架的基础模块,来实现成像扫描引导计算。在该模块中,将已采集的超声序列作为有界环境,并将病灶结构状态的先验图像作为标准采集面。通过将当前采集图像与病灶标准面作对比,作为目标任务。在目标任务指引下,有界环境进一步作为智能体交互的主要载体,用于接收动作,输出状态并计算当前动作的奖励。这里,智能体是一个基于多尺度特征提取与融合的深度卷积网络。在迭代过程中,有界环境输出当前状态即当前采集的超声图像,并与病灶标准采面作对比以作为当前状态对比量。然后智能体接收该状态对比量,进行数据处理,得到响应的反馈,即动作(超声扫描引导),该动作进一步对环境进行改变,从而得到新的状态以及当前动作的奖励。在迭代过程中,智能体通过Q值序列学习算法,学习到初步的超声扫描引导动作。接下来,通过自适应成像姿态搜索策略,进一步细化超声扫描引导动作。在自适应成像姿态搜索策略中,初步得到的超声扫描引导动作结合已采集超声序列,获得超声三维体。然后通过三维关键点提取,将结构关键点通过动态时空建模单元,该单元利用时间递归神经网络的形式对三维关键点的时空信息进行结算,并输出最终的成像引导信息,包括扫描方向等。
术中成像指导显示模块主要通过扫描轨迹与病灶相对位置信息和当前扫描方向指示箭头来完成主观化的展示,帮助医生进行超声扫描方向的准确调整。基于强化学习的外挂式扫描控制模块输出的成像引导信息主要包括超声探头下一步扫描的指导方向,即相对于当前采集点,下一步扫描的方向指引。术中成像指导显示模块首先导入病灶的三维模型,并将超声探头下一步扫描的方向指引信息通过方向指示箭头叠加在病灶三维模型空间中,直观展示扫描方向。然后,将向指示箭头的箭头尖端与三维模型中心点的三维距离信息,通过显示器,展示给医生,给医生定量的扫描方向信息。最后,将超声扫描过程中所有扫描方向指示箭头的箭头尖端点,进行连接,并利用三维点插值,进一步得到扫描轨迹的三维展示。
融合序列注意力的病灶量化模块主要对超声探头扫描得到的较完整病灶信息进行量化求解。考虑到采集的超声图像序列中病灶结构具有连续性,要想从当前采集的超声图像中准确量化病灶信息,需要参考之前超声图像帧的相关信息,因此,引入了病灶区域序列变化注意力单元,利用多帧超声序列中病灶连续性,来辅助当前超声图像中病灶结构的准确获取。如图4所示,在病灶区域序列变化注意力单元中,输入为采集的超声序列XM∈RT ×3×H×W(其中,T代表超声序列帧数,H代表超声图像长度,W代表超声图像宽度)。首先,考虑到病灶组织方往往呈现为暗黑区域,边界模糊,因此病灶区域序列变化注意力单元利用局部相位信息及局部相位滤波技术来完成病灶边界增强。然后,对边界增强后的超声序列利用5个图像卷积操作来提取超声序列中每一帧图像的特征,得到病灶区域的特征。进一步的,因为超声图像序列中连续帧的病灶区域大小具有连续性,且病灶区域内图像灰度信息在连续帧图像中存在差异,反映了整体病灶在不同成像切面下的组织成分差异。因此,病灶区域序列变化注意力单元通过计算前后连续帧图像中病灶区域相关性,得到超声图像序列中病灶区域内组织成分的相关对比信息IM∈RT×3×H×W。最后,通过对连续超声图像中相关对比信息IM∈RT×3×H×W,进行sigmoid非线性激活映射,得到病灶区域序列变化注意力权重WM∈RT ×3×H×W,用于辅助当前采集的超声图像中病灶量化分析。
在融合序列注意力的病灶量化模块中,对于当前采集的超声图像,通过当前帧病灶定位与分析单元,进行病灶当前信息的初步提取。首先,通过图像金字塔和直方图均衡化操作,对病灶位置进行初步定位。然后,利用初步的病灶定位结果,结合形状变形模型,实现病灶边界的优化分割,得到当前采集超声图像中病灶的边界CO∈R3×H×W和病灶大小S等信息。获得了病灶区域序列变化注意力权重WM∈RT×3×H×W和当前采集超声图像中病灶相关信息(病灶的边界CQ∈R3×H×W和病灶大小S)后,将序列变化注意力权重WM∈RT×3×H×W与病灶的边界CQ∈R3×H×W和病灶大小S进行权重加权乘法操作,得到病灶不同切面(即序列)下病灶大小和边界的变化曲线。最后,对于变化曲线,提取曲线特征(如波动率、偏度、曲线下面积、峰值等)作为病灶大小与边界量化的结果。
如图5所示,在防误扎弹性治疗针模块会进一步根据病灶大小、形态的定量信息,调整弹性控制力的大小,保证弹性治疗针与病灶接触力在安全的用力范围内,以防止错误用力导致的病灶大出血问题。防误扎弹性治疗针模块,首先通过第一级弹性控制单元,对治疗针的操作力度进行约束。第一级弹性控制单元包含了弹性件和锥形体,该输入信号为病灶大小变化曲线峰值,当曲线峰值超过设定阈值α时,该控制单元的弹性件会自动连接到阻力通孔,使得锥形体转动形变小。当形体转动形变小时,与之相连的力驱动控制单元所产生的传动力也较小,保证了治疗针的操作力度经传输后减弱。经力驱动控制单元后的操作力,进一步经弹性件,传到第二级弹性控制单元,来对操作力进行二次约束,保证操作力在安全的用力范围内。第二级弹性控制单元的入信号为病灶边界变化曲线的波动率和偏度值,当波动率和偏度值超过阈值β时,该控制单元的弹性件阻力会变为病灶弹力大小的两倍,使得与之相连的锥形体转动力小于两倍病灶弹力大小。锥形体转动力小,则治疗针尖端操作力也随之较小,可有效防止错误用力导致的病灶大出血问题。
Claims (3)
1.一种结合超声自主扫描的病灶成像及防误扎治疗***,其特征在于,包括:超声扫描探头,外挂式扫描控制模块,术中成像指导显示模块,融合序列注意力的病灶量化模块和防误扎弹性治疗针模块;针对超声扫描探头,通过三维打印得到探头外挂件,在探头外挂件上配备了基于强化学习的外挂式扫描控制模块,利用深度强化学习的成像引导模型,提供给医生病灶扫描的指引信息;通过术中成像指导显示模块,直观地给医生展示成像指引信息,保证医生对超声探头的扫描方向进行自主调整,获得完整的病灶信息;对于获得的较完整病灶信息,利用融合序列注意力的病灶量化模块,解算出病灶的大小、形态信息;最后,防误扎弹性治疗针模块会进一步根据病灶大小、形态信息,调整弹性控制力的大小,保证弹性治疗针与病灶接触力在安全的用力范围内,以防止错误用力导致的病灶大出血问题;
外挂式扫描控制模块将已采集的超声序列作为有界环境,并将病灶结构状态的先验图像作为标准采集面,通过将当前采集图像与病灶标准面作对比,作为目标任务,在目标任务指引下,有界环境作为智能体交互的载体,用于接收动作、输出状态并计算当前动作的奖励,智能体是一个基于多尺度特征提取与融合的深度卷积网络;在迭代过程中,有界环境输出当前状态即当前采集的超声图像,并与病灶标准采面作对比以作为当前状态对比量,然后智能体接收该状态对比量,进行数据处理,得到响应的反馈,该动作进一步对环境进行改变,从而得到新的状态以及当前动作的奖励,在迭代过程中,智能体通过Q值序列学习算法,学习到初步的超声扫描引导动作;接下来,通过自适应成像姿态搜索策略,细化超声扫描引导动作,在自适应成像姿态搜索策略中,初步得到的超声扫描引导动作结合已采集超声序列,获得超声三维体,然后通过三维关键点提取,将结构关键点通过动态时空建模单元,该单元利用时间递归神经网络的形式对三维关键点的时空信息进行结算,并输出最终的成像引导信息,包括扫描方向;
融合序列注意力的病灶量化模块对超声探头扫描得到的较完整病灶信息进行量化求解;引入病灶区域序列变化注意力单元,利用多帧超声序列中病灶连续性,来辅助当前超声图像中病灶结构的准确获取,在病灶区域序列变化注意力单元中,输入为采集的超声序列XM∈RT×3×H×W,其中,T代表超声序列帧数,H代表超声图像长度,W代表超声图像宽度;首先,考虑到病灶组织呈现为暗黑区域,边界模糊,因此病灶区域序列变化注意力单元利用局部相位信息及局部相位滤波技术来完成病灶边界增强;然后,对边界增强后的超声序列利用5个图像卷积操作来提取超声序列中每一帧图像的特征,得到病灶区域的特征;因为超声图像序列中连续帧的病灶区域大小具有连续性,且病灶区域内图像灰度信息在连续帧图像中存在差异,反映了整体病灶在不同成像切面下的组织成分差异,因此,病灶区域序列变化注意力单元通过计算前后连续帧图像中病灶区域相关性,得到超声图像序列中病灶区域内组织成分的相关对比信息IM∈RT×3×H×W;最后,通过对连续超声图像中相关对比信息IM∈RT ×3×H×W,进行sigmoid非线性激活映射,得到病灶区域序列变化注意力权重WM∈RT×3×H×W,用于辅助当前采集的超声图像中病灶量化分析;
在融合序列注意力的病灶量化模块中,对于当前采集的超声图像,通过当前帧病灶定位与分析单元,进行病灶当前信息的初步提取;首先,通过图像金字塔和直方图均衡化操作,对病灶位置进行初步定位;然后,利用初步的病灶定位结果,结合形状变形模型,实现病灶边界的优化分割,得到当前采集超声图像中病灶的边界CQ∈R3×H×W和病灶大小S信息;获得了病灶区域序列变化注意力权重WM∈RT×3×H×W和当前采集超声图像中病灶的边界CQ∈R3 ×H×W和病灶大小S后,将序列变化注意力权重WM∈RT×3×H×W与病灶的边界CQ∈R3×H×W和病灶大小S进行权重加权乘法操作,得到病灶不同切面下病灶大小和边界的变化曲线;最后,对于变化曲线,提取曲线特征作为病灶大小与边界量化的结果。
2.如权利要求1所述的结合超声自主扫描的病灶成像及防误扎治疗***,其特征在于,术中成像指导显示模块通过扫描轨迹与病灶相对位置信息和当前扫描方向指示箭头来完成主观化的展示,帮助医生进行超声扫描方向的准确调整;基于强化学习的外挂式扫描控制模块输出的成像引导信息主要包括超声探头下一步扫描的指导方向,即相对于当前采集点,下一步扫描的方向指引;术中成像指导显示模块首先导入病灶的三维模型,并将超声探头下一步扫描的方向指引信息通过方向指示箭头叠加在病灶三维模型空间中,直观展示扫描方向;然后,将向指示箭头的箭头尖端与三维模型中心点的三维距离信息,通过显示器,展示给医生,给医生定量的扫描方向信息;最后,将超声扫描过程中所有扫描方向指示箭头的箭头尖端点,进行连接,并利用三维点插值,进一步得到扫描轨迹的三维展示。
3.如权利要求1所述的结合超声自主扫描的病灶成像及防误扎治疗***,其特征在于,防误扎弹性治疗针模块通过第一级弹性控制单元,对治疗针的操作力度进行约束;第一级弹性控制单元包含了弹性件和锥形体,该输入信号为病灶大小变化曲线峰值,当曲线峰值超过设定阈值α时,该控制单元的弹性件会自动连接到阻力通孔,使得锥形体转动形变小;当形体转动形变小时,与之相连的力驱动控制单元所产生的传动力也较小,保证了治疗针的操作力度经传输后减弱;经力驱动控制单元后的操作力,进一步经弹性件,传到第二级弹性控制单元,来对操作力进行二次约束,保证操作力在安全的用力范围内;第二级弹性控制单元的入信号为病灶边界变化曲线的波动率和偏度值,当波动率和偏度值超过阈值β时,该控制单元的弹性件阻力会变为病灶弹力大小的两倍,使得与之相连的锥形体转动力小于两倍病灶弹力大小;锥形体转动力小,则治疗针尖端操作力也随之较小,有效防止错误用力导致的病灶大出血问题。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111261523.8A CN114052795B (zh) | 2021-10-28 | 2021-10-28 | 一种结合超声自主扫描的病灶成像及防误扎治疗*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111261523.8A CN114052795B (zh) | 2021-10-28 | 2021-10-28 | 一种结合超声自主扫描的病灶成像及防误扎治疗*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114052795A CN114052795A (zh) | 2022-02-18 |
CN114052795B true CN114052795B (zh) | 2023-11-07 |
Family
ID=80235681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111261523.8A Active CN114052795B (zh) | 2021-10-28 | 2021-10-28 | 一种结合超声自主扫描的病灶成像及防误扎治疗*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114052795B (zh) |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101006933A (zh) * | 2006-01-23 | 2007-08-01 | 西门子公司 | 用于显示三维对象的方法和设备 |
CN101053531A (zh) * | 2007-05-17 | 2007-10-17 | 上海交通大学 | 基于多模式增敏成像融合的早期肿瘤定位跟踪方法 |
CN105447872A (zh) * | 2015-12-03 | 2016-03-30 | 中山大学 | 一种在超声影像中自动识别肝脏肿瘤类型的方法 |
CN206597027U (zh) * | 2016-10-09 | 2017-10-31 | 深圳华大智造科技有限公司 | 一种超声扫描装置辅助*** |
AU2017268489B1 (en) * | 2016-12-02 | 2018-05-17 | Avent, Inc. | System and method for navigation to a target anatomical object in medical imaging-based procedures |
CN108272502A (zh) * | 2017-12-29 | 2018-07-13 | 战跃福 | 一种ct三维成像引导的消融针导向手术方法及*** |
US10032281B1 (en) * | 2017-05-03 | 2018-07-24 | Siemens Healthcare Gmbh | Multi-scale deep reinforcement machine learning for N-dimensional segmentation in medical imaging |
CN109074665A (zh) * | 2016-12-02 | 2018-12-21 | 阿文特公司 | 用于在基于医学成像的程序中导航到目标解剖对象的***和方法 |
CN110347860A (zh) * | 2019-07-01 | 2019-10-18 | 南京航空航天大学 | 基于卷积神经网络的深度图像描述方法 |
CN110381846A (zh) * | 2017-03-06 | 2019-10-25 | 辛可索诺有限责任公司 | 血管阻塞诊断方法、设备及*** |
CN111260786A (zh) * | 2020-01-06 | 2020-06-09 | 南京航空航天大学 | 一种智能超声多模态导航***及方法 |
CN111477318A (zh) * | 2020-04-25 | 2020-07-31 | 华南理工大学 | 一种用于远程操纵的虚拟超声探头跟踪方法 |
CN112370161A (zh) * | 2020-10-12 | 2021-02-19 | 珠海横乐医学科技有限公司 | 基于超声图像特征平面检测的手术导航方法及介质 |
CN112612274A (zh) * | 2020-12-22 | 2021-04-06 | 清华大学 | 用于超声检查机器人的自主运动决策控制方法及*** |
CN113218400A (zh) * | 2021-05-17 | 2021-08-06 | 太原科技大学 | 一种基于深度强化学习的多智能体导航算法 |
WO2021169126A1 (zh) * | 2020-02-25 | 2021-09-02 | 平安科技(深圳)有限公司 | 病灶分类模型训练方法、装置、计算机设备和存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI473598B (zh) * | 2012-05-18 | 2015-02-21 | Univ Nat Taiwan | Breast ultrasound image scanning and diagnostic assistance system |
US10573031B2 (en) * | 2017-12-06 | 2020-02-25 | Siemens Healthcare Gmbh | Magnetic resonance image reconstruction with deep reinforcement learning |
JP7418352B2 (ja) * | 2018-05-16 | 2024-01-19 | コーニンクレッカ フィリップス エヌ ヴェ | 機械学習を使用する手術中の自動腫瘍識別 |
-
2021
- 2021-10-28 CN CN202111261523.8A patent/CN114052795B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101006933A (zh) * | 2006-01-23 | 2007-08-01 | 西门子公司 | 用于显示三维对象的方法和设备 |
CN101053531A (zh) * | 2007-05-17 | 2007-10-17 | 上海交通大学 | 基于多模式增敏成像融合的早期肿瘤定位跟踪方法 |
CN105447872A (zh) * | 2015-12-03 | 2016-03-30 | 中山大学 | 一种在超声影像中自动识别肝脏肿瘤类型的方法 |
CN206597027U (zh) * | 2016-10-09 | 2017-10-31 | 深圳华大智造科技有限公司 | 一种超声扫描装置辅助*** |
AU2017268489B1 (en) * | 2016-12-02 | 2018-05-17 | Avent, Inc. | System and method for navigation to a target anatomical object in medical imaging-based procedures |
CN109074665A (zh) * | 2016-12-02 | 2018-12-21 | 阿文特公司 | 用于在基于医学成像的程序中导航到目标解剖对象的***和方法 |
CN110381846A (zh) * | 2017-03-06 | 2019-10-25 | 辛可索诺有限责任公司 | 血管阻塞诊断方法、设备及*** |
US10032281B1 (en) * | 2017-05-03 | 2018-07-24 | Siemens Healthcare Gmbh | Multi-scale deep reinforcement machine learning for N-dimensional segmentation in medical imaging |
CN108272502A (zh) * | 2017-12-29 | 2018-07-13 | 战跃福 | 一种ct三维成像引导的消融针导向手术方法及*** |
CN110347860A (zh) * | 2019-07-01 | 2019-10-18 | 南京航空航天大学 | 基于卷积神经网络的深度图像描述方法 |
CN111260786A (zh) * | 2020-01-06 | 2020-06-09 | 南京航空航天大学 | 一种智能超声多模态导航***及方法 |
WO2021169126A1 (zh) * | 2020-02-25 | 2021-09-02 | 平安科技(深圳)有限公司 | 病灶分类模型训练方法、装置、计算机设备和存储介质 |
CN111477318A (zh) * | 2020-04-25 | 2020-07-31 | 华南理工大学 | 一种用于远程操纵的虚拟超声探头跟踪方法 |
CN112370161A (zh) * | 2020-10-12 | 2021-02-19 | 珠海横乐医学科技有限公司 | 基于超声图像特征平面检测的手术导航方法及介质 |
CN112612274A (zh) * | 2020-12-22 | 2021-04-06 | 清华大学 | 用于超声检查机器人的自主运动决策控制方法及*** |
CN113218400A (zh) * | 2021-05-17 | 2021-08-06 | 太原科技大学 | 一种基于深度强化学习的多智能体导航算法 |
Non-Patent Citations (1)
Title |
---|
三维超声影像导航机器人***的临床应用;刘少丽;杨向东;冯涛;陈恳;梁萍;;中国生物医学工程学报(第06期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114052795A (zh) | 2022-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220296312A1 (en) | Anatomical feature tracking | |
AU2015264243B2 (en) | Image guided autonomous needle insertion device for vascular access | |
JP2021527522A (ja) | 手術ロボット外科手術のための人工知能 | |
CN114224448B (zh) | 穿刺路径规划装置、设备和计算机可读存储介质 | |
WO2023095492A1 (ja) | 手術支援システム、手術支援方法、及び手術支援プログラム | |
CN114052795B (zh) | 一种结合超声自主扫描的病灶成像及防误扎治疗*** | |
CN111466952B (zh) | 一种超声内镜与ct三维图像实时转化方法和*** | |
Guo et al. | Study on the automatic surgical method of the vascular interventional surgical robot based on deep learning | |
Huang et al. | Effective hybrid attention network based on pseudo-color enhancement in ultrasound image segmentation | |
Bi et al. | Machine Learning in Robotic Ultrasound Imaging: Challenges and Perspectives | |
US20220327704A1 (en) | Method for determining location of target of body | |
CN103236213A (zh) | 基于光学双目定位的心房颤动导管消融模拟 | |
CN110890139A (zh) | 一种智能小儿外科手术创口清洗引流控制***及方法 | |
CN112561900A (zh) | 一种基于超声成像的静脉穿刺机器人扎针速度控制方法 | |
CN114430671A (zh) | 用于超声成像中的目标定位的自动闭环超声平面转向以及相关联的设备、***和方法 | |
JP7148193B1 (ja) | 手術支援システム、手術支援方法、及び手術支援プログラム | |
US11986248B2 (en) | Apparatus and method for matching the real surgical image with the 3D-based virtual simulated surgical image based on POI definition and phase recognition | |
EP4111982A1 (en) | Systems and apparatuses for navigation and procedural guidance of laser leaflet resection under intracardiac echocardiography | |
Chen | Towards practical ultrasound ai across real-world patient diversity | |
Lyu et al. | A CNN-based Method for Guidewire Tip Collisions Detection in Vascular Interventional Surgery | |
Liu et al. | UDCR: Unsupervised Aortic DSA/CTA Rigid Registration Using Deep Reinforcement Learning and Overlap Degree Calculation | |
Du et al. | Guidewire Endpoint Detection Based on Pixel‐Adjacent Relation during Robot‐Assisted Intravascular Catheterization: In Vivo Mammalian Models | |
US10639100B2 (en) | Determining ablation location using probabilistic decision-making | |
Mei et al. | Real Time Detection and Tracking of Guide Wire/Catheter for Interventional Embolization Robot based on Deep Learning | |
CN116807577A (zh) | 全自动静脉穿刺设备和全自动静脉穿刺方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |