CN101188024A - 融合3d体绘制图像上拾取和根据拾取动作更新相应视图 - Google Patents
融合3d体绘制图像上拾取和根据拾取动作更新相应视图 Download PDFInfo
- Publication number
- CN101188024A CN101188024A CNA2007101849754A CN200710184975A CN101188024A CN 101188024 A CN101188024 A CN 101188024A CN A2007101849754 A CNA2007101849754 A CN A2007101849754A CN 200710184975 A CN200710184975 A CN 200710184975A CN 101188024 A CN101188024 A CN 101188024A
- Authority
- CN
- China
- Prior art keywords
- volume
- point
- view
- result
- intersection point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 30
- 230000004927 fusion Effects 0.000 claims abstract description 26
- 238000012546 transfer Methods 0.000 claims abstract description 3
- 150000001875 compounds Chemical class 0.000 claims description 15
- 229910052788 barium Inorganic materials 0.000 claims description 3
- DSAJWYNOEDNPEQ-UHFFFAOYSA-N barium atom Chemical compound [Ba] DSAJWYNOEDNPEQ-UHFFFAOYSA-N 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000002601 radiography Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000000704 physical effect Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000000178 monomer Substances 0.000 description 2
- 238000011477 surgical intervention Methods 0.000 description 2
- 230000037237 body shape Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 125000004435 hydrogen atom Chemical group [H]* 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Generation (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了融合3D体绘制图像上拾取和根据拾取动作更新相应视图。一种在多重配准体积的复合前融合的体绘制图像上进行加权点拾取的方法包括：选择所绘制的像素，通过所绘制的像素寻找投影射线，寻找投影射线与融合体积的相交段，根据横向交点来横穿该相交段，并且对于每个横向交点：在横向交点处查找每个体积的体积样本，在体积样本上应用可选的转移函数和阴影，在体积样本之间执行加权的融合操作，对融合结果和属于先前横向交点的先前融合结果进行复合，评价在每个横向交点处导致最终复合结果的结果条件，输出达到结果条件的横向交点的坐标以作为拾取点。
Description
技术领域
本发明涉及象诸如MR、CT、PET之类的医学扫描器生成的规则网格体积集的可视化。
更具体而言，本发明涉及多重体积的融合的3D体绘制。
背景技术
对于以无创的方式检查患者的体内的需要允许本发明具有几种体积扫描模式，比如MR、CT或PET。这些扫描器产生在叠加于被研究对象上的精细体积网格上测量的物理性质的大体积数据集。
各种扫描模式根据不同测量物理性质产生揭示诊断信息的数据集。这使得每种扫描模式更适合于特定检查。CT扫描器更适合于可视化具有不同密度的解剖部分(象例如骨)之间的边界。由于根据与氢原子的结合来区分组织，所以MR扫描器在区分软组织方面更好。PET扫描器测量代谢活动，从而使得它们适合于检测癌症的早期。除了所测量的物理性质之外，扫描器的测量分辨率也有很大不同，CT具有高分辨率，MR具有中等分辨率，而PET具有低分辨率。
有时一种特定扫描器所揭示的信息对于精确诊断或外科干预来说是不够的。在这些情况下患者需要由多重扫描模式进行扫描。由于对于患者的被扫描部分中的每个位置具有这些多重扫描体积数据集，所以现在有多重测量值将要被考虑。多重测量值的组合允许更精确的诊断或外科干预的更精确计划。最常见的是，PET和CT体积被组合以允许癌症的更好治疗。
多重体积数据集的组合使用的另一个实例出现在特定疾病的发展的评价或比较手术前和手术后状况的跟踪研究中。在这种情况下，来自相同或不同扫描模式在不同时间实例的扫描结果的体积数据集将被组合。
一旦多重体积数据集可用，检查者就希望将多重体积作为一个融合体积来可视化。融合体积将作为一个扫描体积呈现给检查者，其中每个体积网格交点具有多重测量值。为了在多重测量值之间进行区别，它们常常被赋予不同颜色。融合操作可以根据混合算子和可变融合权重来混合多重颜色。这使检查者能够单独地或以任何融合组合来可视化任一多重体积。
由于多重体积数据集的测量网格可以在分辨率和方向上不同，因此它们需要被配准。配准过程将保证多重体积的测量网格被定标和旋转以使它们映射到患者中的相同位置。刚性配准由多重数据集的定标和旋转组成。非刚性配准也考虑到患者可能的变形。当身体形状在每个扫描实例不同时，需要非刚性配准将测量网格正确地映射到患者中的相同位置。
以前仅仅可以以2D方式通过滚动切片的叠层来检查体积数据集。每个切片表示患者与虚拟切割平面的相交图像。为了以3D直接检查体积数据集，已经发明了在3D表示中显示体积的体绘制方法。这些方法包括直接体绘制(DVR)、最大强度投影(MIP)、最小强度投影(MinIP)、平均强度投影、数字射线照相重建(DRR)、双对比钡灌肠模拟(DCBE)。这些体绘制方法使检查者能够以3D来旋转、缩放和平移体积数据集。
由于融合的体绘制，所以将多重配准体积数据集作为3D中的一个融合体积来可视化变得可能。检查者常常希望选择融合的3D体绘制图像的特定像素和在患者中的相应3D位置上执行动作。寻找与绘制的像素有关的相应3D位置被称为拾取(picking)。所期望的拾取动作可以包括：围绕所拾取的3D位置重定其他显示视图的中心，将包括测量值和标记的3D注释添加到所拾取的3D位置，利用所拾取的3D位置作为种子点开始分割操作。
假定每个像素是多重配准的体绘制图像之间的融合操作的结果，这使得如何寻找所拾取的3D位置不是显而易见的。
直到现在，在体绘制图像上的拾取被限制为基于单体积的体绘制。在基于多重体积的融合的体绘制的情况下，在现有技术中没有方法被知道用于执行拾取。
在文献中描述了体积融合的几种方式。
出版物[1]：Maria Ferre，Anna Puig和Dani Tost的“A framework forfusion methods and rendering techniques of multimodal volume data”；Computer Animation and Virtual Worlds Archive，Vol.15，Issue 2(2004年5月)描述了在融合的体绘制流水线的所有阶段应用融合的各种方式。融合由在不同流水线阶段的所计算的性质的加权平均值来执行。权重可以是固定的或者是数据范围相关的。
出版物[2]：Ravi Managuli，Yang Mo Yoo，Yongmin Kim的“Multi-volume Rendering for Three-dimensional Power Doppler Imaging”，IEEEUltrasonics Symposium，2005描述了类似的融合技术并且在复合融合和后融合之间进行区分，类似于出版物[1]的材料/阴影融合和颜色融合。然而，复合融合进行来自两个体积之一的体素的数据相关选择而不是加权。
出版物[3]：F.Rssler，Eduardo Tejada，Thomas Fangmeier，ThomasErtl，Markus Knauff的“GPU-based multi-volume rendering for thevisualization of functional brain image”，SimVis 2006(305-318)描述了适合于在GPU上执行的交替的切片复合体积融合技术，这类似于[1]的材料/阴影融合，而不进行加权。
并非所有以上融合方法都适合于拾取。绘制后的融合单独地绘制体积，并且之后融合所绘制的图像。对于这种技术，融合的拾取未被定义。拾取可以在n个单独绘制的体积上被执行，从而导致n个拾取结果，但是不可能将这n个拾取结果组合成在视觉上有意义的一个拾取点。为了避开该问题，现有技术将融合拾取限制到用于融合的体积之一。出版物[4]：Gobbetti E等人的“Interactive Virtual Angioscopy”，Proceedings IEEEVisualization，pages 435-438，IEEE Computer Society Press(1998年10月)描述了单体积拾取的实施。
本发明的一个方面是提供一种在多重体积的融合的体绘制图像上拾取的方法。
本发明的另一方面是根据依赖于拾取点的拾取动作来更新单独或融合的体积的其他同时显示的视图。
发明内容
上述方面通过具有权利要求1中所述的特定特征的方法来实现。
本发明提供一种在多重配准体积的复合前融合的体绘制图像上进行加权点拾取的方法，该方法包括以下步骤：
-选择所绘制的像素，
-通过所绘制的像素来寻找投影射线，
-寻找投影射线与融合体积的相交段，
-根据横向交点来横穿该相交段，
对于每个横向交点：
-在横向交点处查找每个体积的体积样本，
-在体积样本上应用可选的转移函数和阴影，
-在体积样本之间执行加权的融合操作，
-将融合结果与属于先前横向交点的先前融合结果进行复合，
-评价在每个横向交点处导致最终复合结果的结果条件，
-输出达到结果条件的横向交点的坐标以作为拾取点。
在从属权利要求中阐述了本发明的优选实施例的特定特征。
融合权重可以被交互地改变并且影响拾取结果。由于复合前融合(在复合之前的融合)，所以拾取点将自然地对应于用户将如何直观地关联所绘制选择的像素与3D中的一点。当一个体积具有小权重因子时，加权的融合拾取将倾向于选择在所述体积上具有更强权重并且因此具有更高可见度的3D点，除非在所选择绘制的像素的相交射线段，前者的密度高而后者的密度低。
当前描述的融合拾取可以应用于体绘制、最大强度投影(MIP)或最小强度投影(MinIP)。
对于体绘制，复合公式被改变以对体绘制的线积分进行从前向后迭代积分。当复合的不透明度值超过典型为95％的某个值时达到结果条件。
对于MIP或MinIP，复合公式被改变以计算在所算出的融合值和先前计算的复合值之间的最大值或最小值。在融合结果达到最大或最小值的横向交点处满足结果条件。
在一个实施例中，根据依赖于拾取点的拾取动作来更新单独或融合的体积的其他同时显示的视图。拾取动作可以围绕拾取点来重定视图的中心。
在一个可选实施例中，拾取动作是添加3D注释，例如3D标记和3D测量值，并且拾取点是参考点。
在又一可选实施例中，拾取动作是分割，并且拾取点是种子点。
其他显示的视图可以包括MPR。
其他显示的视图可以包括3D体绘制视图，所述3D体绘制视图包括外部3D视图、内窥镜3D视图、感兴趣体积视图、厚MPR等。
在所有这些情况下的体绘制方法包括下列之一：直接体绘制，最大强度投影(MIP)，最小强度投影MinIP，平均强度投影，数字射线照相重建(DRR)，双对比钡灌肠模拟(DCBE)。
其他显示的视图可以包括分割结果的绘制和3d注释的绘制。
本发明的方法通常作为适于执行所述方法的步骤的计算机程序被实施。
所述计算机程序通常被存储在计算机可读载体介质上。
Claims (14)
1.一种在多重配准体积的复合前融合的体绘制图像上进行加权点拾取的方法，包括以下步骤：
-选择所绘制的像素，
-通过所绘制的像素寻找投影射线，
-寻找投影射线与融合体积的相交段，
-根据横向交点来横穿该相交段，
对于每个横向交点：
-在横向交点处查找每个体积的体积样本，
-在体积样本上应用可选的转移函数和阴影，
-在体积样本之间执行加权的融合操作，
-对融合结果和属于先前横向交点的先前融合结果进行复合，
-评价在每个横向交点处导致最终复合结果的结果条件，
-输出达到结果条件的横向交点的坐标以作为拾取点。
2.根据权利要求1所述的方法，其中权重值被交互地改变以影响体积融合，并且因此影响拾取点。
3.根据权利要求1所述的方法，其中复合方法包括体绘制，并且结果条件超过某个复合的不透明度值。
4.根据权利要求1所述的方法，其中复合方法包括最大强度投影(MIP)或最小强度投影(MinIP)，并且结果条件达到最大或最小复合值。
5.根据权利要求1所述的方法，其中根据依赖于拾取点的拾取动作来更新单独或融合的体积的其他同时显示的视图。
6.根据权利要求5所述的方法，其中拾取动作围绕拾取点来重定视图的中心。
7.根据权利要求5所述的方法，其中拾取动作是添加包括3D标记和3D测量值的3D注释，并且拾取点是参考点。
8.根据权利要求5所述的方法，其中拾取动作是分割，并且拾取点是种子点。
9.根据权利要求5所述的方法，其中其他显示的视图包括MPR。
10.根据权利要求5所述的方法，其中其他显示的视图包括3D体绘制视图，所述3D体绘制视图包括外部3D视图、内窥镜3D视图、感兴趣体积视图、厚MPR。
11.根据权利要求5所述的方法，其中其他显示的视图包括分割结果的绘制和3D注释的绘制。
12.根据权利要求1所述的方法，其中体绘制方法包括直接体绘制、最大强度投影(MIP)、最小强度投影MinIP、平均强度投影、数字射线照相重建(DRR)、双对比钡灌肠模拟(DCBE)。
13.一种计算机程序产品，其在计算机上运行时适于执行权利要求1所述的步骤。
14.一种计算机可读载体介质，包括适于执行权利要求1所述的步骤的计算机可执行程序代码。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP06124363A EP1923836A1 (en) | 2006-11-20 | 2006-11-20 | Picking on fused 3D volume rendered images and updating corresponding views according to a picking action. |
| EP06124363.0 | 2006-11-20 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101188024A true CN101188024A (zh) | 2008-05-28 |
| CN101188024B CN101188024B (zh) | 2012-11-14 |
Family
ID=37944730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2007101849754A Expired - Fee Related CN101188024B (zh) | 2006-11-20 | 2007-10-31 | 融合3d体绘制图像上拾取和根据拾取动作更新相应视图 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7973787B2 (zh) |
| EP (2) | EP1923836A1 (zh) |
| CN (1) | CN101188024B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102395999A (zh) * | 2009-04-15 | 2012-03-28 | 皇家飞利浦电子股份有限公司 | 医学图像数据的量化 |
| CN103150749A (zh) * | 2011-08-11 | 2013-06-12 | 西门子公司 | 多层体积光线投射中的浮动感兴趣体积 |
| CN106236118A (zh) * | 2016-07-18 | 2016-12-21 | 上海联影医疗科技有限公司 | 图像信息显示交互装置及方法 |
| CN108171738A (zh) * | 2018-01-25 | 2018-06-15 | 北京雅森科技发展有限公司 | 基于脑功能模板的多模态医学图像配准方法 |
| CN109360233A (zh) * | 2018-09-12 | 2019-02-19 | 沈阳东软医疗***有限公司 | 图像融合方法、装置、设备及存储介质 |
| CN111135562A (zh) * | 2019-12-25 | 2020-05-12 | 北京像素软件科技股份有限公司 | 地块拾取方法、装置、电子设备及计算机可读存储介质 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2098994A1 (en) * | 2008-03-04 | 2009-09-09 | Agfa HealthCare NV | System for real-time volume rendering on thin clients via a render server |
| JP6667231B2 (ja) * | 2015-08-31 | 2020-03-18 | キヤノン株式会社 | 情報処理装置、画像処理装置、情報処理システム、情報処理方法、及びプログラム。 |
| CN110675490B (zh) * | 2019-09-27 | 2023-04-28 | 武汉中旗生物医疗电子有限公司 | 一种三维超声渲染成像方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE69726025T2 (de) * | 1996-06-13 | 2004-09-16 | K.U. Leuven Research & Development | Verfahren und vorrichtung zum erhalten einer dreidimensionalen form |
| US6618054B2 (en) * | 2000-05-16 | 2003-09-09 | Sun Microsystems, Inc. | Dynamic depth-of-field emulation based on eye-tracking |
| US6982697B2 (en) * | 2002-02-07 | 2006-01-03 | Microsoft Corporation | System and process for selecting objects in a ubiquitous computing environment |
| EP1567988A1 (en) * | 2002-10-15 | 2005-08-31 | University Of Southern California | Augmented virtual environments |
| WO2005031635A1 (en) * | 2003-09-25 | 2005-04-07 | Paieon, Inc. | System and method for three-dimensional reconstruction of a tubular organ |
-
2006
- 2006-11-20 EP EP06124363A patent/EP1923836A1/en not_active Withdrawn
-
2007
- 2007-09-26 EP EP07117214.2A patent/EP1923840B1/en active Active
- 2007-10-26 US US11/925,237 patent/US7973787B2/en active Active
- 2007-10-31 CN CN2007101849754A patent/CN101188024B/zh not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102395999A (zh) * | 2009-04-15 | 2012-03-28 | 皇家飞利浦电子股份有限公司 | 医学图像数据的量化 |
| CN103150749A (zh) * | 2011-08-11 | 2013-06-12 | 西门子公司 | 多层体积光线投射中的浮动感兴趣体积 |
| US9390557B2 (en) | 2011-08-11 | 2016-07-12 | Siemens Aktiengesellschaft | Floating volume-of-interest in multilayer volume ray casting |
| CN106236118A (zh) * | 2016-07-18 | 2016-12-21 | 上海联影医疗科技有限公司 | 图像信息显示交互装置及方法 |
| CN108171738A (zh) * | 2018-01-25 | 2018-06-15 | 北京雅森科技发展有限公司 | 基于脑功能模板的多模态医学图像配准方法 |
| CN108171738B (zh) * | 2018-01-25 | 2022-02-01 | 北京雅森科技发展有限公司 | 基于脑功能模板的多模态医学图像配准方法 |
| CN109360233A (zh) * | 2018-09-12 | 2019-02-19 | 沈阳东软医疗***有限公司 | 图像融合方法、装置、设备及存储介质 |
| CN111135562A (zh) * | 2019-12-25 | 2020-05-12 | 北京像素软件科技股份有限公司 | 地块拾取方法、装置、电子设备及计算机可读存储介质 |
| CN111135562B (zh) * | 2019-12-25 | 2023-10-20 | 北京像素软件科技股份有限公司 | 地块拾取方法、装置、电子设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101188024B (zh) | 2012-11-14 |
| EP1923836A1 (en) | 2008-05-21 |
| EP1923840B1 (en) | 2018-12-26 |
| EP1923840A3 (en) | 2010-02-10 |
| US7973787B2 (en) | 2011-07-05 |
| US20080117211A1 (en) | 2008-05-22 |
| EP1923840A2 (en) | 2008-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101188024B (zh) | 融合3d体绘制图像上拾取和根据拾取动作更新相应视图 | |
| CN104299222B (zh) | 医用图像处理装置以及医用图像处理方法 | |
| CN109801254B (zh) | 医学成像中的传递函数确定 | |
| CA2466811A1 (en) | Imaging system and method for cardiac analysis | |
| JP4105176B2 (ja) | 画像処理方法および画像処理プログラム | |
| CN101529475A (zh) | 3d图像结合2d投影图像的呈现 | |
| JPH10502194A (ja) | 三次元像の構築及び表示を行う方法及びシステム | |
| RU2419882C2 (ru) | Способ визуализации секущих плоскостей для изогнутых продолговатых структур | |
| CN107004305A (zh) | 医学图像编辑 | |
| US10342633B2 (en) | Medical image data processing system and method | |
| US20100316272A1 (en) | Methods and apparatus for generating a modified intensity projection image | |
| CN111836584B (zh) | 超声造影成像方法、超声成像装置和存储介质 | |
| JP2004174241A (ja) | 画像形成方法 | |
| Ropinski et al. | Multimodal vessel visualization of mouse aorta PET/CT scans | |
| CN100583161C (zh) | 用于显示以立体数据组成像的对象的方法 | |
| CN108876783B (zh) | 图像融合方法及***、医疗设备和图像融合终端 | |
| CN108573514B (zh) | 一种图像的三维融合方法及装置、计算机存储介质 | |
| US20150320507A1 (en) | Path creation using medical imaging for planning device insertion | |
| EP3996050A1 (en) | Image rendering method for tomographic image data | |
| JP7114362B2 (ja) | 医用画像処理装置及び医用画像処理プログラム | |
| CN109872351A (zh) | 一种医学图像配准与三维重建***及方法 | |
| CN111724388B (zh) | 医学图像数据的可视化 | |
| Zhang et al. | Generation of Digital Reconstruction Radiation Image and Display System Design | |
| Zamaludin | Three-Dimensional (3D) Reconstruction of Computer Tomography Cardiac Images Using Visualization Toolkit (VTK) | |
| Chung | Calibration of Optical See-Through Head Mounted Display with Mobile C-arm for Visualization of Cone Beam CT Data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121114 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |