CN117064446B - 基于血管内超声的血管动态三维重建*** - Google Patents
基于血管内超声的血管动态三维重建*** Download PDFInfo
- Publication number
- CN117064446B CN117064446B CN202311322255.5A CN202311322255A CN117064446B CN 117064446 B CN117064446 B CN 117064446B CN 202311322255 A CN202311322255 A CN 202311322255A CN 117064446 B CN117064446 B CN 117064446B
- Authority
- CN
- China
- Prior art keywords
- image sequence
- frame
- data
- dimensional
- dimensional reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002608 intravascular ultrasound Methods 0.000 title claims abstract description 45
- 230000002792 vascular Effects 0.000 title claims abstract description 16
- 210000004204 blood vessel Anatomy 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 238000002604 ultrasonography Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000006243 chemical reaction Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 16
- 239000013598 vector Substances 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 3
- 230000010247 heart contraction Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000000737 periodic effect Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 230000008602 contraction Effects 0.000 claims description 2
- 230000003902 lesion Effects 0.000 claims description 2
- 150000002632 lipids Chemical class 0.000 claims description 2
- 238000007620 mathematical function Methods 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims 1
- 230000000747 cardiac effect Effects 0.000 abstract description 8
- 238000003384 imaging method Methods 0.000 description 6
- 238000003745 diagnosis Methods 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 208000024172 Cardiovascular disease Diseases 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 208000007536 Thrombosis Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 208000029078 coronary artery disease Diseases 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000002526 effect on cardiovascular system Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013146 percutaneous coronary intervention Methods 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000007211 cardiovascular event Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 210000004351 coronary vessel Anatomy 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000001990 intravenous administration Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000000541 pulsatile effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 231100000216 vascular lesion Toxicity 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000036642 wellbeing Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0891—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of blood vessels
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
- A61B8/5276—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts due to motion
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Vascular Medicine (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明涉及血管重建技术领域，公开了基于血管内超声的血管动态三维重建***，***包括：超声设备，用于采集待测血管内的超声信息；处理器，连接所述超声设备，所述处理器，包括：数据处理模块，用于将血管内超声信息，生成模拟图像序列；门控帧提取模块，用于从模拟图像序列中提取门控帧图像，得到门控帧图像序列；缺失帧生成模块，用于对门控帧图像序列，进行时序特征提取，生成缺失帧图像序列；三维重建模块，用于基于门控帧图像序列和缺失帧图像序列，得到三维重建图像。不仅可以有效的去除血管内超声中的运动伪影问题，还可以对提取关键帧后的血管内超声序列进行缺失帧补偿，最后基于心脏运动周期实现了心脏血管的动态三维重建。
Description
技术领域
本发明涉及血管重建技术领域，特别是涉及基于血管内超声的血管动态三维重建***。
背景技术
本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
心血管疾病对全民健康、福祉和预期寿命有重大影响。目前，影像诊断技术已聚焦急性心血管事件发生前的靶器官重构与功能的显示和评估。血管内超声（IVUS）成像自问世以来，长期以来一直因其在经皮冠状动脉介入治疗（PCI）手术中的实用性而吸引着介入医生。血管内超声技术是近年来应用于临床诊断血管病变的一项新技术。它是一种无创性的超声技术和有创性的导管技术相结合，使用末端连接有超声探针的特殊导管进行的医学成像技术。
血管内超声不仅能反应血管内腔的变化同时也能反应含有斑块的管腔横断截面结构、血管壁厚度、形态以及斑块成分等。根据血管内超声提供的管腔横截面信息，不仅可以准确的测量管腔直径和容积以及斑块的大小，更重要的是可以提供斑块的组织信息，从而辅助冠心病的诊断和有效的介入治疗。
然而，通过血管内超声成像获得的二维图像并不能很好的反映血管内部的空间结构信息，因此，通过图像处理技术对二维图像进行三维重建，是现代医学发展的必然需求。相较于传统的二维可视化而言，三维可视化可以更好的展现血管内支架贴壁和血栓形成等情况。这是一项耗时且冗长的巨大工程，需要长久的深入研究，但它对于心血管疾病的诊疗具有十分重大的意义。
采用血管内超声图像重构感兴趣血管段三维模型的主要难点在于：采集到的血管内超声图像序列中存在运动伪影，造成无法精确的进行血管壁的提取。另外，成像***光纤以 1~3 mm/s 的速度沿血管纵向扫描回撤，造成相邻血管内超声帧图像之间的间距较大；此外，血管内超声一次成像过程中包含多个心动周期，而同一周期内，血管进行舒张与收缩时，血管管腔的面积平均改变10%；同时，血管重建时由于存在血管分支和弯曲程度较大的血管处表面自相交；这些因素都极大的影响了三维重建的精度。
发明内容
为了解决现有技术的不足，本发明提供了基于血管内超声的血管动态三维重建***；不仅可以有效的去除血管内超声中的运动伪影问题，还可以对提取关键帧后的血管内超声序列进行缺失帧补偿，最后基于心脏运动周期实现了心脏血管的动态三维重建。
基于血管内超声的血管动态三维重建***，包括：
超声设备，用于采集待测血管内的超声信息；
处理器，连接所述超声设备，所述处理器，包括：
门控帧提取模块，从真实图像序列中提取门控帧图像，得到门控帧图像序列；
数据处理模块，基于提出的门控帧图像，生成完整序列下的模拟图像序列；
缺失帧生成模块，对模拟图像序列，进行时序特征提取，生成缺失帧图像序列；
三维重建模块，基于门控帧图像序列和缺失帧图像序列，得到三维重建图像。
上述技术方案中的一个技术方案具有如下优点或有益效果：
本发明通过采集并处理心脏血管内超声图像，并利用时序流形的方法按照心脏跳动的规律进行动态三维重建，不仅可以有效的去除血管内超声中的运动伪影问题，还可以对提取关键帧后的血管内超声序列进行缺失帧补偿，最后基于心脏运动周期实现了心脏血管的动态三维重建，提升了血管三维重建的精度。相较于传统的二维可视化而言，三维可视化可以更好的展现血管内支架贴壁和血栓形成等情况，对于心血管疾病的诊疗具有十分重大的意义。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例一的***功能模块图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
实施例一
本实施例提供了基于血管内超声的血管动态三维重建***；
如图1所示，基于血管内超声的血管动态三维重建***，包括：
超声设备，用于采集待测血管内的超声信息；
处理器，连接所述超声设备，所述处理器，包括：
门控帧提取模块，从真实图像序列中提取门控帧图像，得到门控帧图像序列；
数据处理模块，基于提出的门控帧图像，生成完整序列下的模拟图像序列；
缺失帧生成模块，对模拟图像序列，进行时序特征提取，生成缺失帧图像序列；
三维重建模块，基于门控帧图像序列和缺失帧图像序列，得到三维重建图像。
进一步地，所述超声设备，用于采集血管内超声图像信息，是将指引导管放置到冠状动脉口，将指引导丝送至靶血管的远端，将血管内超声导管沿着指引导丝送至需要进行检查的病变位置的远端，采用自靶血管的远端至近端以设定的速度连续回撤的方式进行检查，通过声波扫描和反射，显示血管横截面图像和血管壁斑块分布，从而连续采集设定时间段内的血管腔内影像。
示例性地，利用介入式超声设备采集血管内超声图像。血管内超声(intravenousultrasound，IVUS)是指无创性的超声技术和有创性的导管技术相结合，使用末端连接有超声探针的特殊导管进行的医学成像技术。通过心导管将微型化的超声换能器置入心血管腔内，多晶片换能器环形阵列或单晶片换能器高速旋转(1800转分)完成动态血管截面扫描，通过成像处理***，回波信号强弱以灰阶形式显示，二维横截面成像，显示心血管断面形态。
进一步地，所述门控帧提取模块，包括：
输入单元，用于输入真实采集图像序列；
变换单元，用于采用拉普拉斯特征映射，将真实图像序列由高维空间映射到低维空间，得到低维特征向量；
聚类单元，用于对不同的帧的低维特征向量进行聚类，选出聚类中心，将聚类中心作为门控帧图像。
门控帧，指的是位于心脏跳动舒张末期的所在帧。
进一步地，所述变换单元，用于采用拉普拉斯特征映射，将模拟图像序列由高维空间映射到低维空间，得到低维特征向量，具体包括：
假设数据实例的数目为n，目标子空间的维数（即最终的降维目标的维度）为m；定义大小的矩阵Y，其中每一个行向量/>是数据实例/>在目标m维子空间中的向量表示（即降维后的数据实例/>），那么拉普拉斯映射优化的目标函数为：
其中，，/>是数据样本/>，/>在m维子空间中的向量表示，/>为构建邻接矩阵，具体表述为：
其中，是指定常数。
如果两个数据样本 i和 j相似，那么 i 和 j在降维后子空间中与在原空间中一样，尽量接近。
应理解地，门控指的是通过在检测到生理事件时触发数据采集来实现，或通过连续采集数据并随后将其与心脏或呼吸周期相关联；门控关键帧指的是心脏在舒张末期时采集到的图像帧。
应理解地，首先输入的是连续的血管内超声IVUS图像帧，应用流形学习方法中的拉普拉斯特征映射，将高维血管内超声IVUS图像序列降到低维流形中，利用低维特征向量，构建一个距离函数来反映心脏运动规律，利用邻近传播聚类算法AP (Affinitypropagation)，通过在不同点之间不断的传递信息，从而最终选出聚类中心，完成聚类。将血管内超声IVUS图像中处于心脏舒张末期作为聚类中心，提取关键帧，组成门控序列。
进一步地，所述数据处理模块，包括：
面积确定单元，用于确定血管内管腔面积；
轮廓生成单元，用于根据管腔面积的周期性变化，随着血管的长轴生成连续的血管横截面轮廓；
图像序列生成单元，用于根据血管内管腔面积和血管横截面轮廓，生成模拟图像序列。
进一步地，所述面积确定单元，用于确定血管内管腔面积，具体包括：
血管内管腔面积的表达式定义为：
其中，表示确定最大面积的扩展因子，/>是时间参数，/>是以/>为单位的心率，/>是决定最大面积出现的时间的常数，管腔面积在t = 0时达到管腔面积最小值/>，在/>时达到管腔面积最大值/>。
进一步地，所述轮廓生成单元，用于根据管腔面积的周期性变化，随着血管的长轴生成连续的血管横截面轮廓，具体包括：
假设第一帧是在舒张末期采集的，表明管腔面积在第一帧中达到最小值（即n =0），第n+1帧中的管腔轮廓通过如下扩展或收缩帧n中的轮廓来获得：
其中，和/>分别表示帧n和帧n + l中的管腔轮廓上的第/>个点的极坐标，/>和/>分别表示极角和极半径，并且/>是确定管腔轮廓扩张或收缩的程度的缩放因子，/>的范围在[0，1]的区间内，/>是时间参数。
对于管腔轮廓，被设置为1。
对于钙化斑块，，这是由于它们与管腔相比弹性差。
对于纤维脂质斑块，设置，因为它们与管腔相比具有更好的弹性。
以这种方式，从先前帧中的轮廓获得后续帧中的血管壁轮廓，包括管腔轮廓、中膜/外膜边界和斑块轮廓。其中，第一帧图像为真实数据，也就是门控帧图像。
应理解地，冠状血管腔在心动周期期间随着心跳和脉动血流周期性地扩张或收缩。由于心率的规则周期性结构，管腔面积表示为：时间函数，/>在一个周期期间在舒张末期达到最小/>，在收缩末期达到最大/>。
进一步地，所述缺失帧生成模块，包括：
将模拟图像序列，输入到训练后的时序数据生成模型中，生成缺失帧图像。
应理解地，基于流行监督和度量学习，结合生成模型，生成缺失帧。
进一步地，所述训练后的时序数据生成模型，训练阶段包括：
构建相互连接的生成器和判别器；
将随机噪声输入到生成器，通过计算协方差矩阵，完成从欧几里得空间到黎曼空间的转换，得到第一转换数据，将第一转换数据输入到第一流行注意力模块中，进行特征提取，得到第一特征，将第一特征进行从黎曼空间到欧几里得空间的转换，得到第二转换数据；
将真实的图像序列，通过计算协方差矩阵，完成从欧几里得空间到黎曼空间的转换，得到第三转换数据，将第三转换数据输入到第二流行注意力模块中，进行特征提取，得到第二特征，将第二特征进行从黎曼空间到欧几里得空间的转换，得到第四转换数据；
通过计算判别器的损失函数作为第二转换数据与第四转换数据的差异度，损失函数值越小，则差异度越小，损失函数值不再下降时，停止训练，得到训练后的时序数据生成模型。
生成器损失函数：
其中，为噪声数据，/>指的是生成函数，/>为判别函数，为二分类交叉熵损失，/>的函数表达式为：
其中，x为输入，target是目标（一般取0或1），ln函数指的是常数 e（欧拉数，约等于2.71828）为底的对数函数。
判别器比较第二转换数据与第四转换数据的差异度，差异度通过判别器损失函数获得，
r是真实数据，z是噪声数据。代表的是判别器判断结果与真实数据之间的差距，损失值越小，代表着生成器生成的数据越真实。
代表的是真实数据与1的差距，值越小，说明判别器对真实数据的判别能力更好。
目的是让判别器将生成器生成的数据判别为假，让生成器生成更加真实的数据。
对于判别器，如果得到的是生成器生成的图片，判别器应该输出 0，如果是真实的图片应该输出1。
GAN的生成器和判别器通过博弈的手段来不断的对两个模型进行迭代的优化。开始训练时会初始化两个模型的参数，之后会从真实数据集中获取样本，同时随机生成噪声，并用初始化的生成器生成样本，这些样本将会用于训练判别器，这一步是为了先获得一个能够准确判别图像真假的判别器，这样才能够根据判别器的反馈来优化生成器。获得较好的判别器以后，利用判别器对生成的样本进行判别，结果将用来优化生成器。完成一个训练以后，将会重复该过程，只不过此时的判别器和生成器已经经过前一阶段优化。
整个生成模块包括两部分，生成器和判别器。生成器输入随机噪声，经过计算协方差矩阵，完成从欧几里得空间到黎曼空间的转换，然后经过流形注意力模块进行特征提取，最后进行黎曼空间-欧几里得空间的逆变换。判别器用来判断是生成器生成的还是实际数据，首先接收到输入的真实图像序列，然后经过计算协方差矩阵实现欧几里得空间到黎曼空间的转换，输入到流形注意力模块，输出的特征再进行黎曼空间-欧几里得空间变换，变换后的数据和生成器生成的数据判断真假。
进一步地，第一流行注意力模块和第二流行注意力模块的工作原理是一样的，所述第一流行注意力模块，结合Transformer中的自注意力机制，输入序列数据，转换矩阵/>:
其中，指的是变换矩阵，/>指的是在输入数据/>经过变换矩阵以后的查询矩阵、关键矩阵、和值矩阵。Softmax是一种数学函数，通常用于将一组任意实数转换为表示概率分布的实数。Exp指的以e为底的指数函数，代表e的次方。
进一步地，从欧几里得空间到黎曼空间的转换，或，从黎曼空间到欧几里得空间的转换，均是通过操作进行的，使用/>将流形缩减为平坦空间。
其中，指的是展开函数，/>是特征值函数，/>是/>的特征向量矩阵，是/>的特征值。
进一步地，所述三维重建模块，用于基于门控帧图像序列和缺失帧图像序列，得到三维重建图像，具体重建过程包括：
将真实的第一帧血管内超声图像，和生成的缺失帧数据，按照心脏跳动的时间规律进行排列，最终实现血管内超声的动态三维重建。
进一步地，所述***还包括：显示设备，显示设备与处理器连接，用于实时的显示动态三维重建的结果。
本发明利用流形生成的方式进行血管内动态三维重建，在提高三维重建速度和精准度的前提下，更好的显示血管的空间结构信息，更有助于医生的直观判断，提高患者就诊效率，减少医生工作量，对于冠心病的辅助诊断有着重大意义。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.基于血管内超声的血管动态三维重建***，其特征是，包括：
超声设备，用于采集待测血管内的超声信息；
处理器，连接所述超声设备，所述处理器，包括：
门控帧提取模块，从真实图像序列中提取门控帧图像，得到门控帧图像序列；
数据处理模块，基于提出的门控帧图像，生成完整序列下的模拟图像序列；
缺失帧生成模块，对模拟图像序列，进行时序特征提取，生成缺失帧图像序列；
三维重建模块，基于门控帧图像序列和缺失帧图像序列，得到三维重建图像；
所述门控帧提取模块，包括：
输入单元，用于输入真实采集图像序列；
变换单元，用于采用拉普拉斯特征映射，将真实图像序列由高维空间映射到低维空间，得到低维特征向量；
聚类单元，用于对不同的帧的低维特征向量进行聚类，选出聚类中心，将聚类中心作为门控帧图像；
所述数据处理模块，包括：
面积确定单元，用于确定血管内管腔面积；
轮廓生成单元，用于根据管腔面积的周期性变化，随着血管的长轴生成连续的血管横截面轮廓；
图像序列生成单元，用于根据血管内管腔面积和血管横截面轮廓，生成模拟图像序列；
所述缺失帧生成模块，包括：
将模拟图像序列，输入到训练后的时序数据生成模型中，生成缺失帧图像；
所述训练后的时序数据生成模型，训练阶段包括：
构建相互连接的生成器和判别器；
将随机噪声输入到生成器，通过计算协方差矩阵，完成从欧几里得空间到黎曼空间的转换，得到第一转换数据，将第一转换数据输入到第一流行注意力模块中，进行特征提取，得到第一特征，将第一特征进行从黎曼空间到欧几里得空间的转换，得到第二转换数据；
将真实的图像序列，通过计算协方差矩阵，完成从欧几里得空间到黎曼空间的转换，得到第三转换数据，将第三转换数据输入到第二流行注意力模块中，进行特征提取，得到第二特征，将第二特征进行从黎曼空间到欧几里得空间的转换，得到第四转换数据；
通过计算判别器的损失函数作为第二转换数据与第四转换数据的差异度，损失函数值越小，则差异度越小，损失函数值不再下降时，停止训练，得到训练后的时序数据生成模型；
所述三维重建模块，用于基于门控帧图像序列和缺失帧图像序列，得到三维重建图像，具体重建过程包括：
将真实的第一帧血管内超声图像，和生成的缺失帧数据，按照心脏跳动的时间规律进行排列，最终实现血管内超声的动态三维重建；
第一流行注意力模块和第二流行注意力模块的工作原理是一样的，所述第一流行注意力模块，结合Transformer中的自注意力机制，输入序列数据，转换矩阵：
其中，指的是变换矩阵，/>指的是在输入数据/>经过变换矩阵以后的查询矩阵、关键矩阵、值矩阵；Softmax是数学函数，用于将一组任意实数转换为表示概率分布的实数；Exp指的以e为底的指数函数，代表e的次方。
2.如权利要求1所述的基于血管内超声的血管动态三维重建***，其特征是，所述超声设备，用于采集血管内超声图像信息，是将指引导管放置到冠状动脉口，将指引导丝送至靶血管的远端，将血管内超声导管沿着指引导丝送至需要进行检查的病变位置的远端，采用自靶血管的远端至近端以设定的速度连续回撤的方式进行检查，通过声波扫描和反射，显示血管横截面图像和血管壁斑块分布，从而连续采集设定时间段内的血管腔内影像。
3.如权利要求1所述的基于血管内超声的血管动态三维重建***，其特征是，所述变换单元，用于采用拉普拉斯特征映射，将模拟图像序列由高维空间映射到低维空间，得到低维特征向量，具体包括：
假设数据实例的数目为n，目标子空间的维数为m；定义大小的矩阵Y，其中每一个行向量/>是数据实例/>在目标m维子空间中的向量表示，那么拉普拉斯映射优化的目标函数为：
其中，，/>是数据样本/>，/>在m维子空间中的向量表示，/>为构建邻接矩阵，具体表述为：
其中，是指定常数。
4.如权利要求1所述的基于血管内超声的血管动态三维重建***，其特征是，所述面积确定单元，用于确定血管内管腔面积，具体包括：
血管内管腔面积的表达式定义为：
其中，表示确定最大面积的扩展因子，/>是时间参数，/>是以/>为单位的心率，是决定最大面积出现的时间的常数，管腔面积在t = 0时达到管腔面积最小值/>，在时达到管腔面积最大值/>。
5.如权利要求1所述的基于血管内超声的血管动态三维重建***，其特征是，所述轮廓生成单元，用于根据管腔面积的周期性变化，随着血管的长轴生成连续的血管横截面轮廓，具体包括：
假设第一帧是在舒张末期采集的，表明管腔面积在第一帧中达到最小值，第n+1帧中的管腔轮廓通过如下扩展或收缩帧n中的轮廓来获得：
其中，和/>分别表示帧n和帧n + l中的管腔轮廓上的第/>个点的极坐标，/>和/>分别表示极角和极半径，并且/>是确定管腔轮廓扩张或收缩的程度的缩放因子，/>的范围在[0，1]的区间内，/>是时间参数；对于管腔轮廓，/>被设置为1；对于钙化斑块，；对于纤维脂质斑块，设置/>。
6.如权利要求1所述的基于血管内超声的血管动态三维重建***，其特征是，从欧几里得空间到黎曼空间的转换，或，从黎曼空间到欧几里得空间的转换，均是通过操作进行的，使用/>将流形缩减为平坦空间：
其中，指的是展开函数，/>是特征值函数，/>是/>的特征向量矩阵，是/>的特征值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311322255.5A CN117064446B (zh) | 2023-10-13 | 2023-10-13 | 基于血管内超声的血管动态三维重建*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311322255.5A CN117064446B (zh) | 2023-10-13 | 2023-10-13 | 基于血管内超声的血管动态三维重建*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117064446A CN117064446A (zh) | 2023-11-17 |
| CN117064446B true CN117064446B (zh) | 2024-01-12 |
Family
ID=88711979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311322255.5A Active CN117064446B (zh) | 2023-10-13 | 2023-10-13 | 基于血管内超声的血管动态三维重建*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117064446B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5476096A (en) * | 1994-02-09 | 1995-12-19 | Vingmed Sound A/S | Analysis and measurement of temporal tissue variations |
| CN101283929A (zh) * | 2008-06-05 | 2008-10-15 | 华北电力大学 | 一种血管三维模型的重建方法 |
| US10140733B1 (en) * | 2017-09-13 | 2018-11-27 | Siemens Healthcare Gmbh | 3-D vessel tree surface reconstruction |
| CN111771138A (zh) * | 2018-02-27 | 2020-10-13 | 皇家飞利浦有限公司 | 具有用于根据欠采样超声数据产生图像的神经网络的超声*** |
| CN112652052A (zh) * | 2020-12-15 | 2021-04-13 | 山东大学 | 一种基于血管分支配准的冠状动脉三维重建方法及*** |
| CN114331877A (zh) * | 2021-12-14 | 2022-04-12 | 山东大学 | 一种血管内超声影像修复方法及*** |
| CN115393534A (zh) * | 2022-10-31 | 2022-11-25 | 深圳市宝润科技有限公司 | 基于深度学习的锥束三维dr重建的方法及*** |
| CN115496672A (zh) * | 2021-06-17 | 2022-12-20 | 通用电气精准医疗有限责任公司 | 用于计算机断层摄影图像重建的***和方法 |
| CN115661225A (zh) * | 2022-12-26 | 2023-01-31 | 深圳微创踪影医疗装备有限公司 | 三维血管图像重建方法、装置、计算机设备、存储介质 |
| CN115965750A (zh) * | 2023-03-16 | 2023-04-14 | 深圳微创踪影医疗装备有限公司 | 血管重建方法、装置、计算机设备和可读存储介质 |
| CN116188452A (zh) * | 2023-03-17 | 2023-05-30 | 昆明理工大学 | 医学图像层间插值及三维重建方法 |
| CN116188677A (zh) * | 2022-12-19 | 2023-05-30 | 同济大学 | 血管介入手术区域三维重建方法、***及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120283569A1 (en) * | 2011-05-04 | 2012-11-08 | Boston Scientific Scimed, Inc. | Systems and methods for navigating and visualizing intravascular ultrasound sequences |
-
2023
- 2023-10-13 CN CN202311322255.5A patent/CN117064446B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5476096A (en) * | 1994-02-09 | 1995-12-19 | Vingmed Sound A/S | Analysis and measurement of temporal tissue variations |
| CN101283929A (zh) * | 2008-06-05 | 2008-10-15 | 华北电力大学 | 一种血管三维模型的重建方法 |
| US10140733B1 (en) * | 2017-09-13 | 2018-11-27 | Siemens Healthcare Gmbh | 3-D vessel tree surface reconstruction |
| CN111771138A (zh) * | 2018-02-27 | 2020-10-13 | 皇家飞利浦有限公司 | 具有用于根据欠采样超声数据产生图像的神经网络的超声*** |
| CN112652052A (zh) * | 2020-12-15 | 2021-04-13 | 山东大学 | 一种基于血管分支配准的冠状动脉三维重建方法及*** |
| CN115496672A (zh) * | 2021-06-17 | 2022-12-20 | 通用电气精准医疗有限责任公司 | 用于计算机断层摄影图像重建的***和方法 |
| CN114331877A (zh) * | 2021-12-14 | 2022-04-12 | 山东大学 | 一种血管内超声影像修复方法及*** |
| CN115393534A (zh) * | 2022-10-31 | 2022-11-25 | 深圳市宝润科技有限公司 | 基于深度学习的锥束三维dr重建的方法及*** |
| CN116188677A (zh) * | 2022-12-19 | 2023-05-30 | 同济大学 | 血管介入手术区域三维重建方法、***及装置 |
| CN115661225A (zh) * | 2022-12-26 | 2023-01-31 | 深圳微创踪影医疗装备有限公司 | 三维血管图像重建方法、装置、计算机设备、存储介质 |
| CN115965750A (zh) * | 2023-03-16 | 2023-04-14 | 深圳微创踪影医疗装备有限公司 | 血管重建方法、装置、计算机设备和可读存储介质 |
| CN116188452A (zh) * | 2023-03-17 | 2023-05-30 | 昆明理工大学 | 医学图像层间插值及三维重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于流形学习的血管内超声图像序列关键帧的提取及应用;毛海群;南方医科大学学报;第35卷(第4期);492-498 * |
| 基于生成对抗性网络的低剂量CT图像重建***开发;吴清江;中国优秀硕士学位论文全文数据库（电子期刊）;I138-1851 * |
| 基于生成对抗网络的医学图像超分辨率重建;李锦欣;中国优秀硕士学位论文全文数据库（电子期刊）;E060-12 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117064446A (zh) | 2023-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5944917B2 (ja) | 身体内腔分岐を検出及び表示するためのコンピュータ可読媒体及び同コンピュータ可読媒体を含むシステム | |
| US7215802B2 (en) | System and method for vascular border detection | |
| PANDIAN et al. | Three‐dimensional and four‐dimensional transesophageal echocardiographic imaging of the heart and aorta in humans using a computed tomographic imaging probe | |
| Nelson et al. | Three-dimensional ultrasound imaging | |
| CN108038848A (zh) | 基于医学影像序列斑块稳定性指标的快速计算方法及*** | |
| US20080287795A1 (en) | System And Method For Identifying A Vascular Border | |
| CN114145719B (zh) | 双模冠脉血管图像三维融合的方法和融合*** | |
| CN101164499A (zh) | 用于三维和四维对比成像的***和方法 | |
| CN110415248A (zh) | 一种基于超声的血管监测方法、装置、设备及存储介质 | |
| CN116705330B (zh) | 确定血管壁的弹性特征的方法、计算设备和介质 | |
| US20230008714A1 (en) | Intraluminal image-based vessel diameter determination and associated devices, systems, and methods | |
| JP2006510412A (ja) | 動脈パラメータを推定する超音波装置 | |
| CN116030968A (zh) | 一种基于血管内超声影像的血流储备分数预测方法和装置 | |
| Zheng et al. | A deep learning method for motion artifact correction in intravascular photoacoustic image sequence | |
| TW201936120A (zh) | 超音波影像均勻度檢測方法及其系統 | |
| JP7371105B2 (ja) | 血管特性を調査するための方法及びシステム | |
| CN117064446B (zh) | 基于血管内超声的血管动态三维重建*** | |
| Zheng et al. | A computer-based simulator for intravascular photoacoustic images | |
| WO2023054467A1 (ja) | モデル生成方法、学習モデル、コンピュータプログラム、情報処理方法及び情報処理装置 | |
| CN111180075B (zh) | 基于心脏杂音建立的动力学模型和计算机模拟仿真的方法 | |
| Ciompi et al. | Reconstruction and analysis of intravascular ultrasound sequences | |
| Xiao | Key Technologies of New Type of Intravascular Ultrasound Image Processing | |
| Jansen et al. | Local and global distensibility assessment of abdominal aortic aneurysms in vivo from probe tracked 2D ultrasound images | |
| WO2023189261A1 (ja) | コンピュータプログラム、情報処理装置及び情報処理方法 | |
| WO2023054442A1 (ja) | コンピュータプログラム、情報処理装置及び情報処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |