CN111260786B - 一种智能超声多模态导航***及方法 - Google Patents

一种智能超声多模态导航***及方法 Download PDF

Info

Publication number
CN111260786B
CN111260786B CN202010009280.8A CN202010009280A CN111260786B CN 111260786 B CN111260786 B CN 111260786B CN 202010009280 A CN202010009280 A CN 202010009280A CN 111260786 B CN111260786 B CN 111260786B
Authority
CN
China
Prior art keywords
dimensional
bone structure
ultrasonic
information
bone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010009280.8A
Other languages
English (en)
Other versions
CN111260786A (zh
Inventor
陈芳
万鹏
张道强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202010009280.8A priority Critical patent/CN111260786B/zh
Publication of CN111260786A publication Critical patent/CN111260786A/zh
Application granted granted Critical
Publication of CN111260786B publication Critical patent/CN111260786B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Robotics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Graphics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种智能超声多模态导航***及方法，可以实现术中无辐射的手术环境，通过智能的超声采集、定位及融入空时特征机制的实时影像处理，并以多维导航信息呈现方式为医生提供实时三维术中信息引导。

Description

一种智能超声多模态导航***及方法
技术领域
本发明涉及手术导航技术领域，尤其是一种智能超声多模态导航***及方法。
背景技术
手术微创化是近些年来外科发展的重要趋势，在骨科表现为越来越多的微创治疗技术的出现，如椎间孔镜、髋关节镜、经皮椎弓根钉、经皮椎体成型、以及髓内钉内固定等技术。微创治疗通过尽量小的外科创伤实现精准的手术，为了满足这一需求，通常需要使用术中影像进行引导，临床上最常用的是术中X线和计算机断层(CT)，然而术中大量使用X线，会带来大量辐射，对于患者及医生的健康都造成潜在的威胁，同时由于单次X线与CT的非实时性，造成漂移等误差，也影响了手术的准确性甚至增加了手术并发症的风险。超声是近年来逐渐应用于手术引导的成像工具，具有其独特的优势，在于：(1)超声对于人体无辐射危害，不会影像患者和医生的健康；(2)超声是实时成像的，连续、不间断的追踪，不受术中移位的影响；(3)超声可获得不同组织的显像，特别是骨表面的形态特征，较体外定位装置更直接，更加准确。
当今超声引导的介入性操作，主要应用在超声引导穿刺活检、神经阻滞等手术。然而目前超声引导并未广泛应用于临床，特别是骨科微创治疗中，主要存在以下几个问题：(1)目前的超声引导中，未实现超声图像中关键骨解剖结构的自动识别，需要临床医生掌握超声下各个骨解剖结构的超声影像特征，进行人工解剖结构判别，临床实用性差；(2)超声本身的成像特点决定了遇到气体、骨骼等界面，其后方结构无法显示，只能提供给医生局部的术中三维骨结构信息；(3)现有术前术中结构融合方法，需要操作者或者医生手动找到术前结构匹配的关键点，需要较长的学习曲线，并且配准融合精度有限。
发明内容
本发明所要解决的技术问题在于，提供一种智能超声多模态导航***及方法，能够实现无辐射的手术环境，通过智能的超声采集、定位及融入空时特征机制的实时影像处理，并以多维导航信息呈现方式为医生提供丰富的引导信息。
为解决上述技术问题，本发明提供一种智能超声多模态导航***，包括：超声实时采集传输模块、图像位姿获取模块、自适应空时特征重标定的骨结构识别模块、术前术中骨结构快速融合模块、植入器械定位模块和导航信息多维显示模块；超声实时采集传输模块，通过高性能视频传输卡，将实时二维超声图像序列从超声成像设备传输至自适应空时特征重标定的骨结构识别模块；图像位姿获取模块，利用磁定位仪，采集超声成像探头的三维空间信息，并结合超声探头标定技术，获取二维超声图像序列的空间位姿，用于辅助智能三维重建；自适应空时特征重标定的骨结构识别模块，提出基于自适应空时特征重标定的多尺度卷积神经网络算法，实现二维超声图像序列中骨结构的智能检测识别及三维关键结构分布预测，并结合超声图像序列的位姿信息实现骨结构三维重建；术前术中骨结构快速融合模块，将重建的术中局部骨结构与术前的全局骨结构模型配准融合，校正术前的骨结构模型，以确保校正后的骨结构能体现术中信息，且该模块利用骨结构识别模块中提供的三维关键结构分布信息，实现快速鲁棒的术前术中骨结构融合；植入器械定位模块，其通过细小电磁线圈实现骨植入器械的三维位置追踪；导航信息多维显示模块，将术前术中骨结构融合信息与器械位置信息进行实时渲染与显示，实现多种方式的导航信息呈现。
优选的，导航信息的显示方式包括普通显示器、虚拟现实及增强现实多种方式。
相应的，一种智能超声多模态导航***的导航方法，包括如下步骤：
(1)通过超声实时采集传输模块获取术中局部骨结构的二维超声图像序列，并通过超声图像位姿获取模块采集超声图像序列中每帧图像的三维位姿信息；
(2)通过自适应空时特征重标定的卷积神经网络实时分割二维超声图像序列中的骨结构，并利用步骤(1)获取的图像位姿信息，实现三维骨结构模型重建；
(3)通过基于三维关键结构分布信息的快速配准技术，实现术前术中骨结构快速融合，确保校正后的全局骨结构能体现术中信息；
(4)将步骤(3)获得的校正后的全局骨结构模型传输至导航信息多维显示模块，在不依赖术中X线辐射成像的情况下，提供实时三维术中导航信息。
优选的，步骤(2)中，通过自适应空时特征重标定的卷积神经网络实时识别分割二维超声图像中的骨结构，并利用步骤(1)获取的图像位姿信息，实现三维骨结构模型重建具体为：
将二维超声图像序列S＝[S1,S2,S3,…SN]逐帧通过全卷积神经网络FCN提取单帧高级语义特征，N为输入超声序列帧数，FCN由6个级联卷积操作构成，为了增大卷积层感受野，在第3个和第6个卷积层增加滑动步长以实现两次降采样操作，FCN＝{conv1_16,conv2_16,conv3_16,conv4_32,conv5_32,conv6_32,}，其中convi_j表示第i个卷积操作且j表示第i个卷积层输出的特征通道数，第n帧超声图像经全卷积网络FCN映射为32通道的特征张量Fn，且其尺寸为原图的四分之一Fn＝FCN(Sn)；
接下来对连续超声图像进行帧间特征重标定，即基于连续超声图像特征，为每帧特征张量Fn学***均池化来聚合原特征张量Fn，并通过全连接层来学习帧间非线性依赖关系，对N维权重向量进行非线性softmax归一化，得到所有特征张量的权重W＝[w1,w2,w3…wn]，及重加权的特征张量F′nF′n＝Fn*wn，wn为第n个特征张量的权重；然后，进行连续帧信息融合，利用卷积长短期记忆网络ConvLSTM对重标定的帧间特征时序建模，融合当前帧之前的所有帧信息，得到
Figure GDA0004121878250000031
卷积长短期记忆网络通过记忆门控和卷积运算同时融合时间特征和空间特征；
在骨结构语义特征解码部分，引入多尺度空间特征重标定机制；骨结构语义特征解码网络由5个ConvLSTM解码器单元级联构成，每个单元实现了不同空间尺度的骨结构预测；多尺度空间特征重标定即利用每个解码器单元ConvLSTMk的骨结构预测结果
Figure GDA0004121878250000032
对其输出特征张量/>
Figure GDA0004121878250000033
N为输入超声序列帧数，进行空间加权，加权运算为/>
Figure GDA0004121878250000034
该操作消除背景及不相关区域的干扰，其中n表示第n帧，(s,t)表示2维空间位置，该部分可自适应地调整各空间卷积特征描述符的权重，从而保证对局部细节区域投入更多注意力，提高网络的分割准确性；另外，通过结合多尺度空间特征解码，获得三维关键结构分布图/>
Figure GDA0004121878250000035
优选的，步骤(3)中，通过基于三维关键结构分布信息的快速配准技术，实现术前术中骨结构快速融合，确保校正后的全局骨结构能体现术中信息，具体为：充分利用智能化骨结构分割模块输出的三维关键结构分布图A，进行关键结构快速定位及结构点、边缘、定向弧度曲面的自动检测；不同尺度上网络的共同关注点即为骨结构重建及融合中的关键结构，以结构分布图的均值
Figure GDA0004121878250000036
作为阈值，其中S，T为超声图像尺寸，N为超声图像序列帧数，生成关键结构图，如下
Figure GDA0004121878250000037
关键结构的分布信息决定了局部骨结构和术前骨结构配准融合过程中结构点几何位置匹配集
Figure GDA0004121878250000041
基于该几何位置匹配集，搜索最优几何变换T；其中配准相似性测度采用基于高斯核平滑的三维互信息(NMI)，
Figure GDA0004121878250000042
这里，H(·)表示三维图像熵/>
Figure GDA0004121878250000043
z表示几何位置匹配集TS中的结构点，M为TS中的结构点个数，P(z)为高斯核平滑估计的概率密度，计算如下
Figure GDA0004121878250000044
，其中intra代表术中骨结构，Mintra代表术中骨结构点数目；
H(pre,intra)表示术中局部骨结构和术前全局骨结构的联合熵，
Figure GDA0004121878250000045
其中，pre代表术前骨结构，Mpre代表术前骨结构点数目，c＝[intra(c),pre(T(c))]T,c∈TS为结构匹配点组成的随机向量，并基于拟牛顿法，进行最优几何变换T的搜索，在得到关键结构点几何位置匹配集的几何变换T后，进一步采用双线性插值来拟合相邻点的几何变换并作用于术前骨结构模型，实现三维骨结构的快速配准融合。
优选的，步骤(4)中，显示方式包括普通显示器、虚拟现实及增强现实多种方式。
本发明的有益效果为：可以实现无辐射的手术环境，通过智能的超声采集、定位、时空特征重标定的超声影像识别及结合三维结构分布先验的术前术中信息快速融合，可以通过多维导航信息呈现方式为医生提供实时三维术中信息引导。
附图说明
图1为本发明的***结构示意图。
图2为本发明在使用时的连接示意图。
图3为本发明的超声智能分析示意图。
图4为本发明的基于结构先验的骨结构配准融合模块结构示意图。
具体实施方式
如图1-图4所示，一种智能超声多模态导航***，包括：超声实时采集传输模块，通过高性能视频传输卡，将实时二维超声图像序列从超声成像设备传输至自适应空时特征重标定的骨结构识别模块；图像位姿获取模块，利用磁定位仪，采集超声成像探头的三维空间信息，并结合超声探头标定技术，获取二维超声图像序列的空间位姿，用于辅助智能三维重建；自适应空时特征重标定的骨结构识别模块，提出基于自适应空时特征重标定的多尺度卷积神经网络算法，实现二维超声图像序列中骨结构的智能检测识别及三维关键结构分布预测，并结合超声图像序列的位姿信息实现骨结构三维重建；术前术中骨结构快速融合模块，将重建的术中局部骨结构与术前的全局骨结构模型配准融合，校正术前的骨结构模型，以确保校正后的骨结构能体现术中信息。且该模块利用骨结构识别模块中提供的三维关键结构分布信息，实现快速鲁棒的术前术中骨结构融合；植入器械定位模块，其通过细小电磁线圈实现骨植入器械的三维位置追踪；导航信息多维显示模块，将术前术中骨结构融合信息与器械位置信息进行实时渲染与显示，实现多种方式的导航信息呈现。
超声实时采集传输模块中，利用外置式的高清视频传输采集卡，基于RTP/RTCP/RTSP/HTTP等视频流传输协议，以不低于60帧/秒的传输速率，将超声成像设备端的二维超声图像序列实时同步传入到多模态经皮植入导航***的高性能图像处理工作站，实现超声成像设备与导航工作站间端到端实时的通讯与数据传输。该模块可保证手术过程中骨结构超声图像序列的实时采集与传输。
图像位姿获取模块中，磁场发生器形成一个可知强度和分布的交变电磁场，同时在超声波成像探头上安装一个电磁传感器，当磁场变化时，传感器接收线圈内产生感应电流，通过电流信号放大及模拟数字信号转换，对接收电流信号进行处理，可以获得传感器相对于磁场发生器的三维位置和方位信息。并进一步利用超声探头标定技术，获得传感器与超声探头成像端的相对位姿。结合传感器位姿及传感器与超声探头成像端的相对位姿，可在无手术盲区的要求下，为导航***提供高精度的二维超声图像序列的空间位姿信息，用于辅助智能三维重建。
自适应空时特征重标定的骨结构分割模块，考虑三维骨结构在固定扫描方向上超声影像序列的连续性特点，提出了结合超声序列信息融合和多尺度空间注意力机制的自适应空时特征重标定的深度卷积神经网络，对连续超声序列中的骨结构进行实时连续分割识别。目前大多数超声图像分割算法独立地对超声序列中的每一帧进行结构检测、分割，忽视了超声成像中实时性和连续性特点。尤其对于沿固定方向扫描的二维超声图像序列，三维骨结构连续性特点应该被充分利用，以增强三维重建的骨结构在不同切面上的连续性。自适应空时特征重标定的深度卷积神经网络中，骨结构的语义特征提取不再是基于单帧超声图像，而是基于连续的超声序列。通过在时间维度上对连续帧的抽象语义特征加权及融合来提高深度网络模型对三维骨结构连续性的学习能力。该设计机制更加符合术中二维超声图像在固定方向上扫描成像的特点，前后帧骨结构先验信息的引入可以作为当前帧检测、分割的重要辅助信息。
首先，该模块将二维超声图像序列S＝[S1,S2,S3,…SN]逐帧通过全卷积神经网络FCN提取单帧高级语义特征，N为输入超声序列帧数，FCN由6个级联卷积操作构成。为了增大卷积层感受野，在第3个和第6个卷积层增加滑动步长以实现两次降采样操作。FCN＝{conv1_16,conv2_16,conv3_16,conv4_32,conv5_32,conv6_32,}，其中convi_j表示第i个卷积操作且j表示第i个卷积层输出的特征通道数，第n帧超声图像经全卷积网络FCN映射为32通道的特征张量Fn，且其尺寸为原图的四分之一，Fn＝FCN(Sn)。
接下来对连续超声图像进行帧间特征重标定，即基于连续超声图像特征，为每帧特征张量Fn学***均池化来聚合原特征张量Fn，并通过全连接层来学习帧间非线性依赖关系，对N维权重向量进行非线性softmax归一化，可得到所有特征张量的权重W＝[w1,w2,w3…wn]，及重加权的特征张量F′n＝Fn*wn(wn为第n个特征张量的权重)。然后，进行连续帧信息融合，利用卷积长短期记忆网络ConvLSTM对重标定的帧间特征时序建模，融合当前帧之前的所有帧信息，得到
Figure GDA0004121878250000061
卷积长短期记忆网络通过记忆门控和卷积运算可同时融合时间特征和空间特征，一定程度上也可以理解为一种时间加权机制。
在骨结构语义特征解码部分，为了进一步提高解码器网络对目标区域的关注度，引入多尺度空间特征重标定机制。骨结构语义特征解码网络由5个ConvLSTM解码器单元级联构成，每个单元实现了不同空间尺度的骨结构预测。多尺度空间特征重标定即利用每个解码器单元ConvLSTMk的骨结构预测结果
Figure GDA0004121878250000062
对其输出特征张量/>
Figure GDA0004121878250000063
Figure GDA0004121878250000064
(N为输入超声序列帧数)进行空间加权,加权运算为/>
Figure GDA0004121878250000065
该操作可消除背景及不相关区域的干扰，其中n表示第n帧，(s,t)表示2维空间位置。该部分通过多尺度，自适应地调整各空间卷积特征描述符的权重，从而保证对局部细节区域投入更多注意力，提高网络的分割准确性。另外，通过结合多尺度空间特征解码，可获得三维关键结构分布图/>
Figure GDA0004121878250000071
不同尺度的预测结果/>
Figure GDA0004121878250000072
可引导更高分辨率的语义特征解码。该机制模拟了临床医生在病灶分割实践中由粗到细的判别过程，病灶分割过程被分解为病灶定位、轮廓提取和轮廓细化等步骤。层次化分割的网络设计也更加符合临床病灶定位实践，提高了模型的可解释性。通过自适应空时特征重标定的骨结构分割识别模块，一方面可实现二维超声图像序列中骨结构的智能检测分割，同时可获得三维关键结构分布图A，实现术中和术前骨结构的快速融合。
术前术中骨结构配准融合模块中，首先，结合超声图像序列位姿信息和骨结构识别结果，实现术中局部骨结构三维重建。虽然，术中超声智能分割重建提供了骨结构的实时信息，但其只涵盖了局部骨结构表面信息。为了获得能体现术中场景的全局骨结构引导信息，该模块提出将术前获取的全局骨模型与术中局部骨结构进行跨模态三维融合，以确保融合后的骨结构能体现完整的术中信息。考虑到术中三维影像融合的实时性是临床应用的重要参考指标，为了实现快速、鲁棒的术中结构信息融合，该模块结合三维关键结构分布图的先验信息，实现关键结构点快速定位，通过曲面匹配，使得校正后全局术前骨模型更加准确、可靠。区别于传统特征点匹配算法，该模块无需额外的特征点检测机制，通常三维影像特征检测算法计算代价较大，特别是对于纹理较少的骨超声图像区域特征密度低，特征提取困难。
该模块充分利用智能化骨结构分割模块输出的三维关键结构分布图A，进行关键结构快速定位及结构点、边缘、定向弧度曲面的自动检测；不同尺度上网络的共同关注点即为骨结构重建及融合中的关键结构，以结构分布图的均值
Figure GDA0004121878250000073
(其中S，T为超声图像尺寸，N为超声图像序列帧数)作为阈值,生成关键结构图，如下
Figure GDA0004121878250000074
该方法计算简单、且无需人工阈值设定，可实现实时操作，因此，适用于快速的关键结构定位。由于图像的特征点比图像的像素点要少很多，通过关键特征点的融合不仅提高了骨模型校正的准确度，而且大大提高了融合的效率，缩减了融合的时间。
关键结构的分布信息决定了局部骨结构和术前骨结构配准融合过程中结构点几何位置匹配集
Figure GDA0004121878250000081
基于该几何位置匹配集，搜索最优几何变换T。其中配准相似性测度采用基于高斯核平滑的三维互信息(NMI)，
Figure GDA0004121878250000082
这里，H(·)表示三维图像熵/>
Figure GDA0004121878250000083
(z表示几何位置匹配集TS中的结构点，M为TS中的结构点个数)。P(z)为高斯核平滑估计的概率密度，计算如下
Figure GDA0004121878250000084
，其中intra代表术中骨结构，Mintra代表术中骨结构点数目。
H(pre,intra)表示术中局部骨结构和术前全局骨结构的联合熵，
Figure GDA0004121878250000085
其中，pre代表术前骨结构，Mpre代表术前骨结构点数目。c＝[intra(c),pre(T(c))]T,c∈TS为结构匹配点组成的随机向量。基于拟牛顿法，进行最优几何变换T的搜索，在得到关键结构点几何位置匹配集的几何变换T后，进一步采用双线性插值来拟合相邻点的几何变换并作用于术前骨结构模型，实现三维骨结构的快速配准融合。
植入器械定位模块中，通过在植入器械远端的电磁传感器和磁场发生器，实现植入器械的实时跟踪定位，该方案在最大程度减少射线辐射要求下，能够为基于超声的导航***提供快速、高精度三维植入器械位姿信息，实现无手术盲区的高精度定位。
导航信息多维显示模块中，测定病人与术前术中骨结构及植入器械的位置与方向角后，确定各个***之间的坐标变化关系，使得超声导航***建模的术前术中骨结构及植入器械模型与真实病人坐标系实现统一。将术前术中骨结构融合信息与器械位置信息进行实时渲染与显示，一方面通过多种方式的导航信息呈现方式展示给医生，辅助医生完成手术。不同的导航信息呈现方式可包括基于普通二维显示器的显示方式、基于头戴式或非头戴式的虚拟现实显示方式，以及增强现实显示方式等。另一方面，还可通过5G网络实时传输，将超声导航***建模的术前术中骨结构及植入器械模型进行远程传输，并结合手术机器人技术，实现远程机器人手术引导。

Claims (6)

1.一种智能超声多模态导航***，其特征在于，包括：超声实时采集传输模块、图像位姿获取模块、自适应空时特征重标定的骨结构识别模块、术前术中骨结构快速融合模块、植入器械定位模块和导航信息多维显示模块；超声实时采集传输模块，通过高性能视频传输卡，将实时二维超声图像序列从超声成像设备传输至自适应空时特征重标定的骨结构识别模块；图像位姿获取模块，利用磁定位仪，采集超声成像探头的三维空间信息，并结合超声探头标定技术，获取二维超声图像序列的空间位姿，用于辅助智能三维重建；自适应空时特征重标定的骨结构识别模块，提出基于自适应空时特征重标定的多尺度卷积神经网络算法，实现二维超声图像序列中骨结构的智能检测识别及三维关键结构分布预测，并结合超声图像序列的位姿信息实现骨结构三维重建；术前术中骨结构快速融合模块，将重建的术中局部骨结构与术前的全局骨结构模型配准融合，校正术前的骨结构模型，以确保校正后的骨结构能体现术中信息，且该模块利用骨结构识别模块中提供的三维关键结构分布信息，实现快速鲁棒的术前术中骨结构融合；植入器械定位模块，其通过细小电磁线圈实现骨植入器械的三维位置追踪；导航信息多维显示模块，将术前术中骨结构融合信息与器械位置信息进行实时渲染与显示，实现多种方式的导航信息呈现。
2.如权利要求1所述的智能超声多模态导航***，其特征在于，导航信息的显示方式包括普通显示器、虚拟现实及增强现实多种方式。
3.一种智能超声多模态导航***的导航方法，其特征在于，包括如下步骤：
(1)通过超声实时采集传输模块获取术中局部骨结构的二维超声图像序列，并通过超声图像位姿获取模块采集超声图像序列中每帧图像的三维位姿信息；
(2)通过自适应空时特征重标定的卷积神经网络实时分割二维超声图像序列中的骨结构，并利用步骤(1)获取的图像位姿信息，实现三维骨结构模型重建；
(3)通过基于三维关键结构分布信息的快速配准技术，实现术前术中骨结构快速融合，确保校正后的全局骨结构能体现术中信息；
(4)将步骤(3)获得的校正后的全局骨结构模型传输至导航信息多维显示模块，在不依赖术中X线辐射成像的情况下，提供实时三维术中导航信息。
4.如权利要求3所述的智能超声多模态导航***的导航方法，其特征在于，步骤(2)中，通过自适应空时特征重标定的卷积神经网络实时识别分割二维超声图像中的骨结构，并利用步骤(1)获取的图像位姿信息，实现三维骨结构模型重建具体为：
将二维超声图像序列S＝[S1，S2，S3，…SN]逐帧通过全卷积神经网络FCN提取单帧高级语义特征，N为输入超声序列帧数，FCN由6个级联卷积操作构成，为了增大卷积层感受野，在第3个和第6个卷积层增加滑动步长以实现两次降采样操作，FCN＝{conv1_16，conv2_16，conv3_16，conv4_32，conv5_32，conv6_32，}，其中convi_j表示第i个卷积操作且j表示第i个卷积层输出的特征通道数，第n帧超声图像经全卷积网络FCN映射为32通道的特征张量Fn，且其尺寸为原图的四分之一Fn＝FCN(Sn)；
接下来对连续超声图像进行帧间特征重标定，即基于连续超声图像特征，为每帧特征张量Fn学***均池化来聚合原特征张量Fn，并通过全连接层来学习帧间非线性依赖关系，对N维权重向量进行非线性softmax归一化，得到所有特征张量的权重W＝[w1，w2，w3…wn]，及重加权的特征张量FnF′n＝Fn*wn，wn为第n个特征张量的权重；然后，进行连续帧信息融合，利用卷积长短期记忆网络ConvLSTM对重标定的帧间特征时序建模，融合当前帧之前的所有帧信息，得到
Figure FDA0004121878230000021
卷积长短期记忆网络通过记忆门控和卷积运算同时融合时间特征和空间特征；
在骨结构语义特征解码部分，引入多尺度空间特征重标定机制；骨结构语义特征解码网络由5个ConvLSTM解码器单元级联构成，每个单元实现了不同空间尺度的骨结构预测；多尺度空间特征重标定即利用每个解码器单元ConvLSTMk的骨结构预测结果
Figure FDA0004121878230000022
对其输出特征张量/>
Figure FDA0004121878230000023
N为输入超声序列帧数，进行空间加权，加权运算为/>
Figure FDA0004121878230000024
该操作消除背景及不相关区域的干扰，其中n表示第n帧，(s，t)表示2维空间位置，该部分可自适应地调整各空间卷积特征描述符的权重，从而保证对局部细节区域投入更多注意力，提高网络的分割准确性；另外，通过结合多尺度空间特征解码，获得三维关键结构分布图/>
Figure FDA0004121878230000025
5.如权利要求3所述的智能超声多模态导航***的导航方法，其特征在于，步骤(3)中，通过基于三维关键结构分布信息的快速配准技术，实现术前术中骨结构快速融合，确保校正后的全局骨结构能体现术中信息，具体为：充分利用智能化骨结构分割模块输出的三维关键结构分布图A，进行关键结构快速定位及结构点、边缘、定向弧度曲面的自动检测；不同尺度上网络的共同关注点即为骨结构重建及融合中的关键结构，以结构分布图的均值
Figure FDA0004121878230000031
作为阈值，其中S，T为超声图像尺寸，N为超声图像序列帧数，生成关键结构图，如下
Figure FDA0004121878230000032
关键结构的分布信息决定了局部骨结构和术前骨结构配准融合过程中结构点几何位置匹配集
Figure FDA0004121878230000033
基于该几何位置匹配集，搜索最优几何变换T；其中配准相似性测度采用基于高斯核平滑的三维互信息(NMI)，
Figure FDA0004121878230000034
这里，H(·)表示三维图像熵/>
Figure FDA0004121878230000035
z表示几何位置匹配集TS中的结构点，M为TS中的结构点个数，P(z)为高斯核平滑估计的概率密度，计算如下
Figure FDA0004121878230000036
，其中intra代表术中骨结构，Mintra代表术中骨结构点数目；
H(pre,intra)表示术中局部骨结构和术前全局骨结构的联合熵，
Figure FDA0004121878230000037
其中，pre代表术前骨结构，Mpre代表术前骨结构点数目，c＝[intra(c),pre(T(c))]T,c∈TS为结构匹配点组成的随机向量，并基于拟牛顿法，进行最优几何变换T的搜索，在得到关键结构点几何位置匹配集的几何变换T后，进一步采用双线性插值来拟合相邻点的几何变换并作用于术前骨结构模型，实现三维骨结构的快速配准融合。
6.如权利要求3所述的智能超声多模态导航***的导航方法，其特征在于，步骤(4)中，显示方式包括普通显示器、虚拟现实及增强现实多种方式。
CN202010009280.8A 2020-01-06 2020-01-06 一种智能超声多模态导航***及方法 Active CN111260786B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010009280.8A CN111260786B (zh) 2020-01-06 2020-01-06 一种智能超声多模态导航***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010009280.8A CN111260786B (zh) 2020-01-06 2020-01-06 一种智能超声多模态导航***及方法

Publications (2)

Publication Number Publication Date
CN111260786A CN111260786A (zh) 2020-06-09
CN111260786B true CN111260786B (zh) 2023-05-23

Family

ID=70950241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010009280.8A Active CN111260786B (zh) 2020-01-06 2020-01-06 一种智能超声多模态导航***及方法

Country Status (1)

Country Link
CN (1) CN111260786B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402429B (zh) * 2020-06-08 2020-09-15 成都索贝数码科技股份有限公司 一种尺度还原、三维重建方法、***、存储介质及设备
CN111724365B (zh) * 2020-06-16 2021-11-09 中国科学院自动化研究所 血管内动脉瘤修复手术的介入器械检测方法、***及装置
CN111862199B (zh) * 2020-06-17 2024-01-09 北京百度网讯科技有限公司 定位方法、装置、电子设备和存储介质
CN111832656A (zh) * 2020-07-17 2020-10-27 复旦大学 医用人机交互辅助***及含该程序的计算机可读存储介质
CN111915623B (zh) * 2020-07-22 2022-06-21 山东大学 一种使用门控和自适应注意力的图像分割方法和装置
CN112070742B (zh) * 2020-09-07 2023-09-26 杭州师范大学 基于自适应感受野3d空间注意力的脑影像分类装置
CN112184817B (zh) * 2020-09-30 2022-12-02 四川大学华西医院 一种臂丛神经图像识别方法及***
CN112668410B (zh) * 2020-12-15 2024-03-29 浙江大华技术股份有限公司 分拣行为检测方法、***、电子装置和存储介质
CN112633342B (zh) * 2020-12-16 2022-08-16 武汉大学 一种基于深度学习的人体超声检测实时引导策略
CN113133813A (zh) * 2021-04-01 2021-07-20 上海复拓知达医疗科技有限公司 基于穿刺过程的动态信息显示***及方法
CN113133814A (zh) * 2021-04-01 2021-07-20 上海复拓知达医疗科技有限公司 基于增强现实的穿刺手术导航装置及计算机可读存储介质
CN113344994B (zh) * 2021-06-21 2024-04-16 京东科技信息技术有限公司 图像配准方法、装置、电子设备及存储介质
KR20240056618A (ko) * 2021-10-14 2024-04-30 엑소 이미징, 인크. 컨볼루셔널 신경망에 기초한 이미지 프로세싱을 위한 방법 및 시스템
CN114052795B (zh) * 2021-10-28 2023-11-07 南京航空航天大学 一种结合超声自主扫描的病灶成像及防误扎治疗***
CN115408483B (zh) * 2022-08-29 2023-04-14 中国人民解放军32021部队 一种北斗导航服务定位性能智能预测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102319117A (zh) * 2011-06-16 2012-01-18 上海交通大学医学院附属瑞金医院 基于磁导航融合实时超声信息的大血管内介入物植入***
CN103371870A (zh) * 2013-07-16 2013-10-30 深圳先进技术研究院 一种基于多模影像的外科手术导航***
CN103735312A (zh) * 2013-12-11 2014-04-23 中国科学院深圳先进技术研究院 多模影像超声引导手术导航***

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7953470B2 (en) * 2000-10-23 2011-05-31 Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts Method, device and navigation aid for navigation during medical interventions
WO2009042644A2 (en) * 2007-09-25 2009-04-02 Perception Raisonnement Action En Medecine Methods and apparatus for assisting cartilage diagnostic and therapeutic procedures

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102319117A (zh) * 2011-06-16 2012-01-18 上海交通大学医学院附属瑞金医院 基于磁导航融合实时超声信息的大血管内介入物植入***
CN103371870A (zh) * 2013-07-16 2013-10-30 深圳先进技术研究院 一种基于多模影像的外科手术导航***
CN103735312A (zh) * 2013-12-11 2014-04-23 中国科学院深圳先进技术研究院 多模影像超声引导手术导航***

Also Published As

Publication number Publication date
CN111260786A (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN111260786B (zh) 一种智能超声多模态导航***及方法
US11504095B2 (en) Three-dimensional imaging and modeling of ultrasound image data
US8147503B2 (en) Methods of locating and tracking robotic instruments in robotic surgical systems
US8108072B2 (en) Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US8073528B2 (en) Tool tracking systems, methods and computer products for image guided surgery
Penney et al. Registration of freehand 3D ultrasound and magnetic resonance liver images
Huang et al. Anatomical prior based vertebra modelling for reappearance of human spines
CN110264504B (zh) 一种用于增强现实的三维配准方法和***
US10105120B2 (en) Methods of, and apparatuses for, producing augmented images of a spine
US20030039405A1 (en) Image position matching apparatus and image processing apparatus
CN110288653B (zh) 一种多角度超声图像融合方法、***及电子设备
Su et al. Comparison of 3d surgical tool segmentation procedures with robot kinematics prior
CN111588467B (zh) 基于医学影像的三维空间坐标转换为影像二维坐标的方法
CN114399527A (zh) 单目内窥镜无监督深度和运动估计的方法及装置
Alsinan et al. Bone shadow segmentation from ultrasound data for orthopedic surgery using GAN
Turan et al. A fully dense and globally consistent 3d map reconstruction approach for gi tract to enhance therapeutic relevance of the endoscopic capsule robot
KR100346363B1 (ko) 자동 의료 영상 분할을 통한 3차원 영상 데이터 구축방법/장치, 및 그를 이용한 영상유도 수술 장치
Rasoulian et al. Augmentation of paramedian 3D ultrasound images of the spine
CN108804861B (zh) 一种具有真实力反馈的脊柱微创手术培训***及方法
Hussain et al. Strain-initialized robust bone surface detection in 3-D ultrasound
US20230123621A1 (en) Registering Intra-Operative Images Transformed from Pre-Operative Images of Different Imaging-Modality for Computer Assisted Navigation During Surgery
Chen et al. Development of Automatic Assessment Framework for Spine Deformity using Freehand 3D Ultrasound Imaging System
Huang et al. Image registration based 3D TEE-EM calibration
CN111743628A (zh) 一种基于计算机视觉的自动穿刺机械臂路径规划的方法
Wang et al. Dynamic 3D reconstruction of gastric internal surface under gastroscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant