CN106981098A - 虚拟场景组分的视角表示 - Google Patents

Abstract

本公开涉及虚拟场景组分的视角表示。更具体地涉及一种通过输出图像用于布置在真实场景内的至少一个虚拟场景组分的视角表示的方法和装置。为此目的，从第一视角通过深度图像传感器捕获真实场景的深度图像数据，并且通过2D摄像机从第二视角捕获真实场景的2D图像数据。此外，参照来自深度图像数据的深度信息创建真实场景的虚拟三维场景模型，并且至少一个虚拟场景组分被***到三维虚拟模型中。最后，通过对应于第二视角的2D图像数据到包含虚拟场景组分的虚拟三维场景模型上的视角投影来生成输出数据。

Description

虚拟场景组分的视角表示

技术领域

本发明涉及一种使用对应于真实场景的深度信息用于布置在真实场景内的虚拟场景组分特别是扫描区域边界的视角表示的方法和装置。

背景技术

在使用医学影像设备执行测量之前，通常有必要首先建立所谓的“扫描区域”，即，旨在在“扫描路线”期间，从其中记录图像数据或获取原始数据，以从其中生成期望的图像数据的区域。

通常借助于定位片(topogram)来建立扫描区域，其对应于来自单个投影方向的传统X射线投影并且绘制“诊断”影像的感兴趣区域(例如，检查对象的心脏和肺)。然后可以例如手动地在定位片上叠加实际图像获取的开始点和结束点。用于从三维体积获取图像数据的扫描区域的开始点和结束点对应于通常相对于检查对象的纵轴垂直表示的空间平面。尽管如此，定位片的记录涉及附加的剂量暴露，其自身与通常在放射学领域流行的ALARA原理冲突。

在不限制普遍适用性的情况下，在下文中检查对象被假定为患者，通常为人。然而，患者原则上还可以为动物。因此，在下文中还同义地使用两个术语“检查对象”和“患者”。然而，检查对象还可以为植物或非生命对象(例如，历史文物等)。

可选地，可以通过手动选择在检查对象上经由激光标记线通过光瞄准装置表示的开始线和结束线来限定扫描区域，其中，所述检查对象位于为影像设备的部分的对象桌台(患者台)上并且可以相对于扫描仪(例如，CT设备的门架)在纵向方向(z方向)上移动。在这种情况下，患者的纵轴通常平行于对象桌台的纵向，并且对象桌台通常位于扫描仪外部。开始线和结束线在对象桌台的基本横向(x方向)上延伸，从而扫描区域被限定在患者的纵向上。然而，这种通过光瞄准装置的设置是相对时间密集的。另外，患者可能认为激光标记线是讨厌的事。

还可能的是位于对象桌台上的检查对象的二维图像使用摄像机被记录并且显示在设备的控制终端或类似处的显示器上，其中，扫描区域的开始位置和结束位置可以通过叠加线表示在图像中。然而，不幸的是，通过线在图像中的扫描区域的开始点和结束点的表示不正确。根据所有的光射线在一点(即，针孔光阑)处交叉的***模型，摄像机中的图像的生成可以与***模型比较。摄像机的每个像素被分配光射线，该光射线包含可以潜在绘制到该像素上的空间中的那些点。摄像机的图像中的每个像素对应于穿过像素和针孔光阑的光射线交叉对象的位置处的对象的色调值或颜色值。因此，所有的像素的光射线形成光射线的发散束。

这不对应于CT扫描的绘制几何。通过对象的移动方向(z方向)上的两个平行平面划界扫描区域。对应于摄像机的图像中的这些平面的像素仅在非常特定的条件(即，在远心绘制的情况下)下形成直线，远心绘制即摄像机距离***模型中的对象的距离(几乎)无限远，或当摄像机本身的“针孔光阑”位于将被指示的空间平面中(即，开始位置或结束位置的正上方)。远心绘制结构上难以实现，因为摄像机的入口透镜***将需要为至少对象的尺寸。另一方面，显然地，位于被指示的空间平面中的摄像机可以针对空间平面的仅一个选择被准确实现，并且因此原则上同时用于开始位置和结束位置是不合适的。

由于几何结构，特别是摄像机需要大孔径角以从其位置(例如房间的天花板上或CT设备的门架上)完全捕获检查对象的事实，产生的误差不是微不足道的并且通过使用2D摄像机捕获的图像精确设置扫描区域是不可能的。

假设深度信息适用于对象或场景的每个绘制点，则通过***模型产生的线表示中的误差可以被补偿。这种情况下的深度信息旨在包括以像素表示的对象点距2D摄像机的距离。参照该深度信息，可以校正在对象点和针孔光阑之间的光射线的路线(course)并且因此确定表示所涉及的对象点的实际像素。通过这种方式，可以利用恰当的视角表示2D图像中的扫描区域边界。

然而，这种方法是非灵活的并且局限于2D图像中实际绘制的真实场景的那些组分。到可以通过2D摄像机视角中的真实场景组分隐藏的其它类型复杂虚拟场景组分(例如，介入规划的背景下的自动移动操作仪表的轨道或同样被隐藏的真实场景的真实组分(例如，通过检查对象的皮肤或表面被隐藏的内部器官或元件))的2D图像中的集成之前是不可能的或使用现有方法是非常复杂的。

发明内容

因此，本发明的目的是提供一种用于布置在真实场景内的虚拟场景组分的视角表示的备选方法和装置，所述方法和装置在部署方面特别地灵活从而克服上述缺点。

通过根据独立权利要求的方法和装置实现本目的。开发和优势实施例变型在相应从属权利要求中详述。

下面参照所要求保护的方法并参照所要求保护的装置两者描述问题的发明解决方案。该上下文中引用的特征、优点或备选实施例也可以同样地传递到其它所要保护的主体，反之亦然。换言之，针对方法的发明权利要求例如还可以通过与装置结合描述或保护的特征被开发。在这种情况下，方法的相应功能特征通过相应的发明模块或单元延伸。

本发明涉及一种通过输出图像用于布置在真实场景内的至少一个虚拟场景组分的视角表示的方法。方法包括：

-通过深度图像传感器从第一视角捕获真实场景的深度图像数据，

-通过2D摄像机从第二视角捕获真实场景的2D度图像数据，

-参照来自深度图像数据的深度信息创建真实场景的虚拟三维场景模型，

-将至少一个虚拟场景组分***到三维虚拟场景模型中，

-通过对应于第二视角的2D图像数据到包含虚拟场景组分的虚拟三维场景模型上的视角投影来生成输出图像。

根据本发明的方法的必要方法步骤为从第一视角捕获检查对象的深度图像数据。进一步必要方法步骤为从第二视角捕获2D图像数据。2D图像数据包括例如使用RGB数据对应于针对每个像素所绘制的对象点的颜色值，其中，属性R-红色、B-蓝色以及G-绿色在三维颜色空间之上延伸。除了颜色值，深度图像数据还包括相对于摄像机的真实场景的逐像素绘制的对象点的距离或深度信息、D距离，例如深度图像数据为RGBD数据。其它数据形式和颜色空间是可能的。特别地，2D和3D数据可以通过已知方法从一个颜色度量(colormetric)转换为另一个(例如，YUV、YCbCr或CMYK)。

发明人发现可以在作为用于生成所绘制的真实场景的三维场景模型的基础的进一步步骤中有利地使用深度图像数据。场景模型描述真实场景的虚拟数学演示，描述真实场景的真实场景组分相对于任意坐标系或相对于彼此的位置、路线、布置和/或定向等。

在这种情况下，真实场景被理解为彼此相对于被绘制的任意实际存在的事物、对象等的布置。特别地，真实场景可以对应于检查房间，在检查房间中，检查对象位于医学影像设备的患者桌台上。如下面更详细解释的，这对应于本发明的主要应用。

根据本发明，现在可以容易地将任意类型和任意数量的虚拟场景组分特别是三维虚拟场景组分***到该虚拟场景中。虚拟场景组分可以为不实际包含在真实场景中并且因此不通过深度传感器和/或2D摄像机绘制的任意对象或元件。例如，在所述场景模型中关于其位置、布置、定向的其类型、性质和信息等可以通过用户提前建立，或可以参照患者数据，特别是关于所述患者骨骼的信息，根据随后规划的检查被自动提出，并且在没有用户输入的情况下显示给用户以确认或建立。因此，可以从用户输入确定例如虚拟场景组分的数学描述，同时考虑关于虚拟场景模型中的其它场景组分的数据，虚拟场景组分的数学描述然后可以被***到虚拟场景模型中。

通过将对应于第二视角的2D图像数据透视地投影到包含虚拟场景组分的虚拟三维场景模型上来产生包含至少一个虚拟场景组分的视角表示的输出图像。包括所***的虚拟场景组分的三维虚拟场景模型因此被转换为2D摄像机的视角，使得虚拟场景组分被正确地表示在2D图像数据的视角中。以这种方式，观察者有利地被提供有真实场景的表示，该真实场景对应于2D摄像机图像的图像印象但是包括也作用于所***的虚拟场景组分的对应的视角正确的畸变。

本发明因此基于根据深度信息从虚拟场景组分到所捕获的2D图像数据的视角的转换的偏离，以提出整个真实场景的虚拟建模，虚拟场景组分可以容易地集成到该整个真实场景中以便然后表示包括来自2D视角的虚拟组分的整个模型。

这导致正确的、可以理解的并且由于视角的选择对于用户特别熟悉的并且等同于真实场景的位置规划表示。这由于视角的选择产生对于用户来说恰当的、可以理解的并且特别熟悉的并且等同于真实场景的位置计划表示。不需要为了检查规划的目的，患者对放射的附加的暴露，并且也不需要患者台进行任何费力的向前和向后移动。检查时间对于患者来说可以最小化，因为患者在影像设备中的持续时间被最小化。装置在制造、操作、服务和维修方面变得更经济，因为组件可以被完全地省略或较小强度的使用。此外，该方法的特征在于特别高程度的灵活，因为1)根据本发明的方法允许包含从任意选择的第三视角观察的所***的虚拟场景组分的真实场景，并且2)任意数量和任意类型的虚拟场景组分可以以正确的视角(即，由于视角，允许真实场景组分的任意可能的隐藏)被表示。

根据发明的第一优选实施例变型，通过渲染器提供视角投影。

在这种情况下，渲染器被理解为用于生成三维身体或对象的表示或可视的渲染软件或渲染管线。体积渲染器将开始点作为将被渲染的身体或对象的三维虚拟模型。这通常为虚拟表面模型或虚拟体积模型。例如，以网络形式的表面模型描述了将被绘制的真实场景的身体或对象的界面或表面，然而体积模型还可以描述诸如绘制的身体或对象的弹性、密度或类似的物理性质。可以特别地通过体素形式的体积元素来描述体积信息。针对各个体积元素的值通常以所谓的色调值的形式提供。

例如，通常通过医学影像设备获得体素值。通常通过例如计算机断层摄影(CT)进行测量，并且提供对于各种记录位置的投影，体素值从各个记录位置重建。其它可能性包括超声方法或核自旋记录(MRT)。然后，体素值通常以所谓的色调值的形式提供，色调值表示对于该位置处的对象的各个密度的测量。

使用体素值，体积渲染在二维显示表面(例如，医学影像设备的显示屏)上生成对象或身体的三维表示。在这种情况(可能具有通过***从体素得到对象点的中间阶段)下，从体素生成所谓的像素，并且二维图像显示的图像由所述像素组成。为了在二维显示器上可视化三个维度，通常实施所谓的阿尔法合成和/或阿尔法分解。使用这种标准方法，体素或由体素形成的体积点均被分配颜色和透明度值或更精确的不透明度值(术语不透明度常规上用于表达身体的各个层的透明度或遮盖力)。特别地，对象点被分配例如三元组形式的三种颜色和参数化表示不透明度的所谓的阿尔法值，三元组编码红色、绿色和蓝色(所谓的RGB值)的组分。这些变量一起形成了颜色值RGBA，颜色值RGBA可以与其它对象点的颜色值组合或混合以给出像素的颜色值(通常通过所谓的阿尔法混合，用于部分透明对象的可视化)。

为了分配合适的颜色值，通常使用照射模型。这种照射模型允许为了可视化目的在对象的建模或模拟照射期间的光效应(通常在对象的表面上的光的反射；可以是对象的外表面或内层的表面)。

在相关文献中引用一系列照射模型。例如，Phong模型或Blinn-Phong模型被广泛使用。

对于体积渲染最经常使用的方法之一是所谓的射线投射(ray casting)，或为了表示或可视化身体的光照射的模拟。

在射线投射的情况下，从假想观察者的眼睛(这也被称为虚拟渲染器摄像机)开始的假想射线传输通过身体或对象。沿着射线，用于采样点的RGBA值根据体素被确定并且被组合以通过阿尔法合成或阿尔法混合形成用于二维图像的像素。在这种情况下，通常通过作为已知“明暗法(shading)”方法的部分的前述照射模型中的一个照射模型来考虑光效应。

因此，2D图像数据沿着2D摄像机的光射线被发明性地透视地投影到场景模型上。2D摄像机的第二视角因此适用于虚拟场景模型。换言之，虚拟渲染器摄像机以与2D摄像机相同的姿态被布置，使得包括至少一个虚拟场景组分的真实场景的现实的表示可以从2D摄像机的视角方向被计算和被显示。

该方法第一基于发现渲染软件至少在增强现实领域被非常广泛地使用，并且特别地发现内部开发的单独渲染管线(例如，西门子syngo的体积渲染(VRT)特征)适用于执行本发明方法的目的并且可以用于无偿实现本发明。本发明因此依赖于现有的技术解决方案框架。第二，发明人已经认识到与深度信息结合使用的增强现实领域的现有的算法公式可以被转移到通过将虚拟场景组分集成到具有正确视角的2D表示的发明所处理的技术问题。此外，除了观察方向中的变化，渲染软件的使用还有利地允许被包含在虚拟场景模型中的并且涉及所表示的真实场景的图像数据的操纵(例如，着色或剪裁等)。这意味着透视地正确表示可以根据应用情况具有较高的信息内容。

根据进一步优选的实施例变型，参考2D摄像机和/或深度图像传感器的外部和/或内部摄像机参数来实现视角投影。当摄像机被校准时，均产生外部和内部摄像机参数两者。作为内部校准的部分，确定摄像机的内部几何结构，例如，摄像机的焦距。作为内部校准的部分，还可以确定针对诸如像差的光误差的修正功能。在内部校准期间，还可以对传感器的定心、摄像机的光学元件的未对准和/或其它影像误差留余量。以这种方式获得的内部摄像机参数可以用于修正已经被捕获的图像数据的目的。

作为外部校准的部分，确定摄像机在空间坐标中的姿态。这种空间坐标还指外部坐标或世界坐标。姿态是定向和位置的组合。因此可以通过旋转矩阵和位置矢量描述姿态。另外，外部校准还可以包括颜色传感器与深度图像传感器的深度传感器之间的位置差。

内部校准和外部校准均需要求解方程组。因此，必须提供已知的信息以确定方程组的未知的参数。该未知的参数为例如焦距或旋转矩阵中的条目(entry)。

然而通常必要的是仅一次执行内部校准用于确定摄像机参数，常常必要的是在摄像机的服务寿命期间(例如，每当摄像机的姿态改变时)多次执行外部校准。

可以用在本上下文中的校准方法对于本领域技术人员来说是已知的并且因此不再进一步详细解释。

为实现2D图像数据到虚拟场景模型上的正确投影，2D摄像机和深度图像传感器的外部摄像机参数必须已知。针对此的校准可以相对于全球坐标系，特别地医学影像设备的坐标系，或直接在2D摄像机和深度传感器之间进行。为了在本发明的上下文中确定摄像机参数的目的，可以执行校准，或可以假设摄像机参数已知。

如果从相同或近似相同的视角捕获2D图像数据和深度图像数据，则产生本发明的特别简单实施例的变型。换言之，第一视角和第二视角没有差别或仅细微差别。这具有根据本发明的方法的投影步骤可以被证明特别简单的优势，因为现在可能的是在这种情况下仅需要考虑内部摄像机参数。此外，该方法允许使用仅一个摄像机记录2D图像数据和深度图像数据，其中2D图像数据然后对应于例如深度图像传感器的颜色传感器的颜色数据。

在本发明的示例中，同时或接近同时地(即，近似同时，例如仅具有最大1s或更少的小时间间隔)捕获2D图像数据和深度图像数据。以这种方式，真实场景内的不期望的移动不反应在图像数据中并且不导致2D图像数据和深度图像数据之间的不正确的关系。

根据发明的方法的优选实施例变型，虚拟三维场景模型为表面模型。其特征在于其仅在使用深度图像数据时产生。因此，其表示绘制在真实场景中的对象、身体、元件等的全部界面或表面。特别地，该模型不包含关于绘制的真实场景中的对象的性质、内部结构和/或物理特性的任何信息。模型数学地描述了界面或表面。在这种情况下，深度图像数据优选地经受多边形化以获得所绘制的表面的最优描述。可能的多边形化算法包括例如三角测量，其中，通过相邻三角形的顺序模拟表面。这种方法因此特别适用，因为其也经常由渲染软件使用。也可以是其它模型描述，例如，切割立方体运算。备选地，还可以使用基于模型的描述通过自由形式的表面近似该表面。这里，仅关于在真实场景中绘制的那些表面的深度图像数据中的信息的使用对于主要应用情况(即，扫描区域划界线的透视地正确的表示)是完全充分的，因为在这种情况下，仅2D摄像机的视角必须通过渲染软件被模拟并且在这个意义上被“包括”。

然而，如上所述，发明不限于表面模型形式的场景模型。特别地，关于真实场景中的对象的性质、内部结构等的附加信息可以从其它数据源得到并且加强场景模型。例如，关于来自先前检查的检查对象的现有图像数据可以从医学影像单元(特别是CT记录、MRT记录等形式的图像数据)获得。该图像数据具有与场景模型已知的几何关系，或这种关系可以通过已知的注册方法建立，使得来自图像数据的图像信息，特别是关于性质、内部结构和/或物理特性的信息可以被集成到场景模型中。

如上所述，根据发明的特别优选的实施例变型，真实场景包括位于医学影像设备的患者台上的检查对象，并且至少一个虚拟场景组分对应于扫描区域的扫描区域边界，图像数据针对扫描区域通过医学影像设备被捕获。这被理解为包括定位片的记录，即使定位片不涉及传统意义上的“扫描”。因此还可以根据发明将定位片划界。扫描区域边界可以优选地采用以任意轮廓的曲线沿所绘制的真实场景的表面延伸的边界轮廓线的形式。特别地，边界轮廓线相对于其上布置检查对象的对象桌台的移动方向横向地延伸，或在定位片的情况下，在从相对于检查对象的移动方向垂直的表面偏离的任意表面中横向地延伸。然而，扫描区域边界还可以被配置在任意期望的位置作为扫描区域划界平面。

发明允许扫描区域被非常精确地限定，因为扫描区域边界的路线可以基于场景模型被现实地模拟。

明显地，可以将多于一个的虚拟场景组分引入到场景模型中。在发明的一个示例中，呈扫描区域的至少两个边界轮廓线和/或边界线形式的虚拟场景组分可以以开始线和结束线的形式被引入，扫描区域被限定在开始线和结束线之间。然后开始线和结束线被至少表示在患者的横侧外轮廓内，但是它们还可以延伸超过所述轮廓，特别地超过2D图像的整个宽度。可选地还可能的是集成其它虚拟场景组分例如针对介入仪器或类似的一个或多个轨迹。

在本上下文中，发明方法被证明特别有利，因为除了从对应于2D图像(发明的主要应用情况)的第二视角的观察之外，现在虚拟场景模型还允许任意期望的进一步观察方向，使得观察者可以获得虚拟场景组分相对于真实场景的布置/位置的包罗万象的总体印象。此外，可以通过除了虚拟场景组分之外的进一步图像信息加强场景模型，使得在每个情况下对应于来自任意期望源(例如，来自由医学影像设备进行的先前记录)的附加场景组分的例如患者的内部器官或在2D图像中隐藏的真实场景的内部组分可以被容易地集成到模型中。

如在简介中提及的，在发明的又一实施例变型中，扫描区域边界可以对应于几乎投影到检查对象上的光标记或激光标记。通过这种方式，发明性地可以给成像设备的用户一种对扫描区域的先前设置熟悉的图像印象。由于通过渲染器实施发明，附加地可以构造或现实地模拟任意期望的照射效应或其它类型的视觉效应。

由于使用渲染软件，本发明还允许进行修改(视角变化、着色、剪裁等)。在这种情况下，通过在两个必要效应之间进行区分来实现现实的表示。第一效应为阴影形成。该效应源于以下事实：对于通过对象的模拟线上的点，对象点和虚拟光源或光源之间的路径包括障碍，即在一些情况下，光束不能够畅通地到达对象点。原则上，用于计算该阴影影响的最简单的方法是以光源的方向从所关心的点发送射线(或发送射线到各个光源)，以便因此确定光的哪部分能够穿透至该点。

漫射光具有不同的效应(术语“环境光遮蔽”常常用在专业文献中)。该效应归因于漫射光并且因此非常重要，因为其揭示了不能由直射光单独可见的结构。通常，光漫射首先导致对象被来自所有方向的光撞击。该漫射光可以被物质吸收，从而通过散射光部分产生对象的不均匀的照射。这种效应的典型示例是房间的角落，其比房间的中央看起来更暗。使用例如与用于确定阴影形成的相同的方法来检查漫射光的吸收。然而，由于漫射光不来自一个固定的源而来自所有方向，因此射线从局部对应于表面的半球随机地发送，然而可以检查漫射光被吸收了多少。为了确定照射性质目的的射线的发送被称为射线追踪，并且通过“环境光遮蔽”采样的随机射线被称为蒙特卡洛射线追踪。

根据发明的方法的又一实施例变型，基于用户输入执行虚拟场景组分到虚拟三维模型中的***。这允许根据用户的参数选择以特别灵活的方式修改虚拟场景组分。

根据发明的另一实施例变型，在这种情况下，对于用户可以特别有利的是具有使用2D图像数据确定虚拟场景组分的布置的选择。这指虚拟场景组分在三维场景模型中的布置。为此，可以规定2D图像数据经由例如显示器装置(诸如例如，LCD显示器)将被显示给用户，并且对于用户，能够通过输入装置(例如，与光标关联的鼠标或触敏显示器)来修改所述数据。这有利地大程度上对应于对于用户来说已知的程序。

根据发明的另一实施例变型，例如在可见波长(即，380nm和780nma之间)的范围中捕获检查对象的2D图像数据。2D图像优选地视觉表示为颜色图像。备选地，表示为灰度图像(具有例如256阴影)同样是可行的。然而，例如780nm和1000nm之间的红外范围中的2D图像数据的记录也是可能的。

根据发明方法的优选实施例变型，检查对象的深度图像数据在红外波长的范围(例如，780nm和1000nm之间)中被捕获。这允许深度图像数据以特别可靠的方式被确定。用于确定深度图像数据的其它波长范围同样是可能的。

发明进一步涉及一种通过输出图像用于布置在真实场景内的虚拟场景组分的视角表示的装置，其包括：

-深度图像传感器，其从第一视角捕获真实场景的深度图像数据，

-2D摄像机，其从第二视角捕获真实场景的2D图像数据，

-模型创建单元，其参考来自深度图像数据的深度信息来产生真实场景的虚拟三维场景模型，

-***单元，其将虚拟场景组分***到三维虚拟场景模型中，

-生成单元，其通过对应于第二视角的2D图像数据到包含虚拟场景组分的虚拟三维场景模型上的视角投影来生成输出图像。

特别地，深度图像传感器可以优选地被设计为TOF摄像机(“飞行时间”摄像机)，例如包括光子混合检测器(RMD)，其通过具有光学可见光或红外光的传播时间方法工作。这种单元相对经济。备选地，传感器还可以通过立体图像方法或通过使用结构光的照射或其组合的照射来提供3D数据。2D摄像机可以是产生真实场景的2D图像数据的照相机或录像机。

如下面进一步详细解释的，模型创建单元和/或***单元和/或生成单元可以以例如软件或软件模块的形式被设计和集成在例如医学影像设备的控制单元中。单个单元可以组合在物理单元中，或被设计为分开的单元，特别是分散化的单元。在任意情况下，它们具有到彼此的数据连接(无线或基于线)以便能够交换针对各个过程步骤所需的数据。特别地，***单元和/或生成单元可以是通常实现为硬件的现有渲染管线的组件。

在发明的优选实施例变型中，2D摄像机和深度图像数据传感器被组合以形成摄像机单元。这允许从相同或几乎相同的视角在2D和3D中记录图像数据。在这种情况下的摄像机单元意味着至少摄像机均被布置在壳体中。可以规定2D图像摄像机和深度图像传感器的光轴具有扫描区域最大尺寸的近似±1％的最大偏差。例如，如果扫描区域在z方向上具有0.5m的长度，则2D图像摄像机和深度图像传感器的光轴的最大偏差将近似为5mm。摄像机单元与位于真实场景中的检查对象或其几何中央之间的距离为例如2m±50％，即在1m和3m之间。以这种方式，可以减少检查对象的深度图像数据由于检查对象的自遮蔽而包含错误数据的风险。因此可以在没有深度图像传感器的***或外推的情况下，完全确定扫描区域，深度图像数据可以具有劣化效果。因此还更易于防止特别在深度图像数据中的过低的分辨率以及因此太少的像素。备选地，2D摄像机和深度图像数据传感器不仅可以在空间上组合而且可以结构上和逻辑上组合。以这种配置的类型，在上述一个变型中，摄像机单元被特别地设计为3D摄像机并且被配置为生成除深度图像数据之外的2D图像数据，其中，例如，2D图像数据可以产生为来自颜色传感器的检测器数据。

摄像机单元可以容易地安装在例如房间天花板或医学影像设备的框架上，并且(通过无线地或基于线的方式)被耦合到所述设备的控制单元用于发信号的目的。

发明还涉及一种医学影像设备，特别地涉及一种包括根据本发明的装置的计算机断层摄影设备。

附图说明

下面参照附图并且基于示例性实施例再一次更详细地解释本发明。在这种情况下，在各个附图中，相同的组件通过相同的附图标记指示。附图通常未按照比例绘制。

图1示出根据本发明的示例性实施例的呈计算机断层摄影装置形式的医学影像设备，

图2示出根据本发明的示例性实施例的本发明方法的流程图，以及

图3a-3f示出参照检查对象的所捕获的图像数据、检查对象的场景模型视图以及根据本发明产生的输出图像的本发明方法的示例性实施例。

具体实施方式

图1示出呈计算机断层摄影装置形式的医学影像设备。这里示出的计算机断层摄影具有记录单元17，其包括放射源8和放射检测器9。记录单元17在记录X射线投影期间关于***轴线5旋转，并且X射线源在记录期间发射X射线2。

患者3在X射线投影的记录期间位于台6上。患者台6连接到台基座4，使得其支撑患者台6和患者3。患者台6被如此配置为用于移动患者3沿着记录方向通过记录单元17的开口10。通常通过***轴5描述记录方向，记录单元17在记录X射线投影期间关于***轴5旋转。在这个示例中，患者的身体轴与***轴5相同。两个轴位于三维笛卡尔坐标系的Z轴(未示出)。在螺旋式(spiral)记录的情况下，患者台6被连续地移动通过开口10，而同时记录单元17关于患者3旋转并且记录X射线投影。因此，X射线在患者3的表面上描绘出螺旋。

X射线记录装置具有摄像机单元18。这包括2D摄像机，其在具有3D摄像机或深度图像传感器(例如，呈立体摄像机、飞行时间摄像机或干涉***或类似的形式)的共享壳体中生成包含呈灰度或颜色值的患者3的绘制的(mapped)场景的二维表示，并且包括针对相应记录技术的必要组件，例如合适的光源和检测单元。在该示例中，摄像机单元18被布置在患者台6上方并且通过保持装置15永久地连接到图像记录装置。摄像机单元18还可以附接到可旋转记录单元17。特别地，在可旋转记录单元17可以倾斜的情况下，摄像机单元18同时自然地倾斜。备选地，具有患者3的无约束视野的摄像机单元18以静态或移动方式被布置在检查房间中，例如，在检查房间的天花板上，或布置在可以在检查房间中自由移动的站台上。

在该示例性实施例中，真实场景对应于患者3在患者台6上的检查房间。因为2D摄像机和深度图像传感器均被组合在摄像机单元中，所以在该示例性实施例中，摄像机的第一视角和第二视角相同或几乎相同。

在该示例性实施例中，摄像机单元18的视场足够大以在长度和宽度方面完全捕获患者3。视场的其它实施例也是可能的。

计算机断层摄影装置具有计算机12，其连接到显示单元11和输入单元7，显示单元11例如用于X射线图像记录的图形显示或2D摄像机的2D图像数据。显示单元11可以例如为LCD、等离子或OLED显示屏。其还可以为也被设计为输入单元7的触敏显示屏。这种触敏显示屏可以集成到成像设备中或设计为移动设备的一部分。输入单元7例如为键盘、鼠标、所谓的“触摸屏”或也可以为用于声音输入的麦克风。输入单元7还可以被如此配置为识别用户的移动并且将这些转化为相应的指令。输入单元7允许用户例如将显示的2D图像数据的虚拟场景组分的位置、布置、路线等(例如在这种情况下的扫描区域的边界轮廓线)传递到X射线图像装置，或修改关于所述场景组分的现有细节。

计算机12连接到可旋转记录单元17以用于交换数据的目的。通过连接14，用于X射线图像记录的控制信号从计算机12传递到记录单元17并且已经针对患者3记录的投影数据可以传递到计算机12，以用于图像重建的目的。连接14为基于线的连接或无线连接并且以传统方式实现。计算机12还特别地经由相同的连接14而连接到摄像机单元18，以用于交换控制信号或图像数据的目的。

计算机12具有运算单元16。所述运算单元16被设计为图像处理单元或图像数据处理单元。特别地，其在由摄像机单元18记录的图像数据方面被配置为根据本发明的方法执行全部计算步骤。为此，运算单元16包括用于从深度图像传感器20的深度图像数据创建或生成三维虚拟场景模型的模型创建单元21、在正确的位置将例如如由用户录入的虚拟场景组分集成到场景模型的***单元22、以及从包含通过将所述场景模型转换为第二视角的虚拟场景组分的场景模型生成输出图像的生成单元23。为此，生成单元23指外部和/或内部摄像机参数，其允许每个情况下的两个摄像机的位置/姿态差异和/或内部绘制性质或绘制误差。优选地针对将被可检索地或分散地存储在计算机12的存储器(未示出)中的或根据本发明的方法的上下文中确定的所述摄像机参数做出规定。特别地，所述***单元22和生成单元23优选为现有渲染管线的部分。

运算单元16可以与计算机可读数据介质13交互，特别地以通过包含程序代码的计算机程序执行根据本发明的方法。此外，计算机程序可以可检索地存储在机器可读介质上。特别地，机器可读介质可以为CD、DVD、蓝光光盘、记忆棒或固定盘。运算单元16以及其子组件因此同样地可以以硬件或软件的形式开发。例如，运算单元16可以被设计为所谓的FPGA(“现场可编程门阵列”)或包括运算逻辑单元。

在这里示出的实施例变型中，计算机12的存储器被用于存储至少一个计算机程序，该至少一个计算机程序在计算机程序执行在计算机12上时，执行本发明方法的全部方法步骤。用于执行本发明方法的方法步骤的计算机程序包括程序代码。此外，计算机程序可以被设计为可执行文件和/或存储在计算***上而不是计算机12上。例如，X射线图像记录装置可以以这样的方式被配置：计算机12将用于至少执行本发明方法的计算机程序经由内联网或经由因特网加载到其内部工作存储器中。

图2描述了根据本发明的方法的示例性实施例。在第一步骤S21中，从第一视角捕获真实场景的深度图像数据DD。在这种情况下的捕获包括通过深度图像传感器20记录包含深度信息的深度图像数据DD，以及将深度图像数据DD传递到后处理运算单元16，或单独地包括通过深度图像传感器20记录包含深度信息的深度图像数据DD。通过深度图像数据DD捕获的真实场景绘制其背部躺在患者台6上的患者3。如图3a中示意性地并且特别地未按照比例绘制所表示的，深度图像数据DD完全示出患者3，但是还可以包括关于患者台6的图像信息，以及可以进一步包括位于所绘制的患者环境中的并且在深度图像传感器的视场中的场景组分。备选地，深度图像传感器的视场可以仅捕获患者3的身体的一个部分或一个区域。对于每个图像点或每个像素，深度图像数据DD包括关于真实场景的三维表面结构的深度信息，以及描述对象点距深度图像传感器20的距离的值的深度信息。在深度图像数据DD中，高度与灰度值的变化相关联。在例如患者3具有显著的高度的情况下(例如，如在胸部区域中、腹部区域中、手臂处或面部中所表示)，灰度值高(暗)。在患者3具有适度高度的情况下(例如，在脖子区域中或在膝盖高度的腿部处)，灰度值低(亮)。特别地，因此在第一视角捕获患者3关于其形状或路线的表面。在红外波长范围(780-1000nm)中记录深度图像数据DD。

在步骤S22中，2D图像数据DD(图3b)以相片或视频图像的形式被捕获，其中，步骤S22与步骤S21同时或至少时间上接近地发生。该捕获包括：在第二视角，通过2D或3D摄像机获取2D图像数据ID并将2D图像数据传递到后处理运算单元16，或单独地包括在第二视角，通过2D或3D摄像机获取2D图像数据ID。由于同时或时间上接近记录深度图像数据DD和2D图像数据ID，可以避免或减少例如由于患者3的移动导致的数据记录之间的图像信息的任何变化。2D图像数据ID在光波长范围(380-780nm)中被捕获。

在这种情况下，第一视角和第二视角相同，因为深度图像传感器20和2D摄像机19通过单个摄像机单元18实现。摄像机19、20的外部摄像机参数因此均相同。然而，通过外部摄像机参数准确描述的并且可以通过几何变换(例如，平移或旋转)互相转换的任意期望的并且特别地不同的姿态并且因此的记录视角对于两个摄像机来说是可想到的。

在进一步步骤S23中，模型创建单元21通过将深度信息转换到虚拟三维表面模型SM中，从深度图像数据DD提取包括患者3的真实场景的三维表面形状。为此，例如表示表面的路线的点云被***以给出然后例如通过相邻三角形的顺序以模型形式描述的平滑的三维表面。备选地，如通过示例的方式在图3c中示出的，表面模型SM描述了通过沿患者3的身体轴观看的真实场景的表面形成的表面轮廓。

应当注意的是，表面模型SM关于由于例如叠加缺失的、或在深度图像数据DD中被省略或未示出的场景表面的区域可以是完整的，以便获得完整的例如连续的三维表面模型。这可以通过已知的外插方法或类似方法实现。特别地，该过程然后也允许从不同于摄像机单元18的记录视角的视角观察真实场景，而不必产生由于缺失图像信息对观察者来说麻烦的图像印象。然而，在一些情况下，这需要关于真实场景的表面的2D图像信息的外插，以便有意义的图像印象可以被传达给用户。

备选地和/或附加地，模型创建单元21还可以为此目的使用来自其它数据源的图像数据来创建体积模型。特别地，还可以使用例如来自先前检查的患者3的X射线图像记录(表示例如在其位置、形状、尺寸和/或物理特性等方面的相关区域的内部器官)。如果必要，深度图像数据和X射线图像记录之间的空间关系可以通过已知的注册方法建立，从而允许附加的图像信息被正确地定位在场景模型内。

然而，在本示例性实施例中省略场景模型的这种延伸。

在步骤S24中，至少一个虚拟场景组分VSC被***到三维场景模型SM中。为此目的，首先需要具有或创建虚拟场景组分VSC的几何描述。在该示例性实施例中，旨在***扫描区域边界，特别是扫描区域的开始线。在这种情况下，开始线位于开始平面中，其在该示例性实施例中相对于患者纵轴5竖直并且垂直地延伸。开始平面通常表示为2D图像数据ID(图3d中的虚线)中的直线。这仅用作示例性说明并且不需要对应于实际的开始平面。然而，该线的路线不考虑2D图像数据ID的视角畸变或绘制误差，因此直线的路线通常不表示绘制的真实场景的表面和开始平面之间的交叉的曲线的准确路线。为了克服这些不准确，可以规定通常用于规划检查的2D图像数据ID将经由显示单元11呈现给用户，并且通过输入单元7(特别是触摸屏)为用户标记应当位于开始平面内的患者的表面上的位置。还可以规定用户在真实场景中通过解剖学标志或附加的参考标记引导，其在标记位置时帮助用户。备选地，可以规定计算机12根据期望的检查和/或感兴趣的身体区域建议位置，并且用户确认或拒绝所建议的位置。在本情况下，应该位于开始平面内的位置X通过示例的方式在患者3的胸部区域中标记(图3d)。仍在步骤S24中，现在可以确定平面P(图3e)，平面P相对于患者纵轴5竖直并且垂直地延伸，并且包括所标记的位置X。同时，外部和/或内部摄像机参数可以用在一般应用情况中，以产生2D图像数据ID与深度图像数据DD或场景模型SM之间的正确空间关系。由位置X限定的平面沿轮廓曲线(即，所谓的边界轮廓线BCL)切割患者3的表面或对应于场景模型SM的真实场景。该边界轮廓线BCL的路线基于场景模型SM确定并被***到场景模型SM中(图3e)。

在步骤S25中，生成单元23从场景模型SM，通过沿2D摄像机19的光射线将2D图像数据ID投影到场景模型SM上来确定输出图像OI(图3f)，场景模型SM包括针对2D摄像机19的视角的虚拟场景组分VSC。这产生对于用户现实的、熟悉的并且特别地视角正确的边界轮廓线BCL的表示。在本上下文中，内部摄像机参数可以用于补偿2D摄像机19和/或深度图像传感器20的绘制误差。

输出图像OI不能根据图3b在透视地表示的图像信息方面与2D图像数据ID区别，并且因此输出图像OI对应于与真实场景等同的表示。然而，不同于2D图像数据，输出图像OI还包括边界轮廓线BCL的透视地正确表示。其特征在于其路线至少在患者身体的区域中不同于开始平面的传统标记线(虚线)的路线。确切地讲，相对于虚线，其根据来自深度图像数据DD的高度信息在患者3的头部方向上移动。在台6和患者3的外轮廓的区域中，虚线和边界轮廓线BCL在每个情况下重合，因为高度在那里为零。假设在这种情况下为了简单，台6的高度在高度方向被限定为基准“零”。为此原因，深度图像数据DD中的台6也均匀地为白色，因为台6的全部区域位于近似相同的高度水平处。

因此，先前错误地被排除的患者身体的区域现在属于扫描区域。虚线仅被包括在图3f中以更好的图示相对于边界轮廓线BCL的差异，但是虚线不包含在输出图像本身中。

当然可以采用任意其它期望的摄像机位置，特别是对于2D摄像机和深度图像传感器不同的位置，从该位置，包含虚拟场景组分VSC的真实场景可以在正确的视角中被观察。

还可以根据上述的过程，***另一虚拟场景组分和/或不是扫描区域的扫描区域边界的虚拟场景组分。

应当注意的是，上面详细描述的方法和所图示的装置仅仅是示例性实施例，从而在不脱离本发明的范围的情况下，本领域技术人员可以以全部方式对示例性实施例进行修改。特别地，示例性实施例的本发明方法的各个步骤可以被挑选出并且在通常可能且合适的情况下，与其它示例性实施例的方法步骤组合。尽管本发明被描述为与例如计算机断层摄影设备一起使用，但是这不排除本发明与其它医学影像设备一起有利地使用，例如：

-其它X射线设备，例如，用于创建传统X射线扫描或荧光检查；

-磁共振断层摄影设备(MRT)；

-闪烁扫描器、正电子放射断层摄影装置(PET)、单光子发射计算机断层摄影装置(SPECT)；

-声谱仪或彩色多普勒装置；

-诊断温度记录器；

-电阻抗断层摄影装置(EIT)；或

-内窥镜。

下面再一次简单地总结本发明。根据本发明，虚拟建模用于全部真实的和虚拟的场景组分。此外，为了允许虚拟场景组分的灵活表示，本发明使用已知的渲染管线，特别是已内部开发地渲染管线。为此目的，虚拟场景组分必须集成到真实场景中，真实场景首先从关于真实场景的先前捕获的3D深度信息转换为3维模型，即虚拟化。还规定从相同或不同的视角捕获真实场景的2D图像数据以及捕获3D深度信息。使用来自2D摄像机和3D摄像机的校准的外部和/或内部摄像机参数，2D图像数据沿着光射线被投影到真实场景的虚拟三维模型上。如果相同的摄像机参数被应用到所谓的虚拟“渲染摄像机”，则虚拟化的真实场景以未劣化的即视角正确的方式表示，并且可以通过虚拟场景组分在“增强现实”的意义上加强。在没有附加虚拟场景组分的情况下，输出图像的像素根据来自2D摄像机的视角的2D图像数据准确地重现。将任意期望的虚拟场景组分加入到该表示的自由允许诸如通过激光标记器的照射的复杂效应的附加绘制。当虚拟化真实场景时，例如，对于RGBD图像(深度图像数据)的任何像素，针对2D摄像机的焦点的并且被相应地缩放的矩形，可以在距2D摄像机(从深度图像数据获得)的距离处被建模为虚拟场景组分。。矩形可以根据深度信息的局部梯度倾斜以便反射的定向部分随后被正确地建模，或互连以形成连续的表面网络。渲染器或图形管线然后从任意期望的视角创建场景的视图。如果虚拟摄像机被带入具有2D摄像机的线中，考虑已知的摄像机参数(例如，视场、图像畸变等)，则2D图像数据以未劣化的形式表示，因为矩形从初始的视角彼此无缝地并排表示。任意选择的另外虚拟场景组分通过渲染器被正确地表示(即，相对于真实建模的场景组分的遮挡等)。作为允许2D相机的视角畸变的结果，由此实现的关于输出图像的图像印象不能与2D图像数据区分。

Claims (14)

1.一种通过输出图像(OI)的、用于布置在真实场景内的至少一个虚拟场景组分(VSC)的视角表示的方法，其中所述方法包括：

-通过深度图像传感器(20)，从第一视角捕获(S21)所述真实场景的深度图像数据(DD)；

-通过2D摄像机(19)，从第二视角捕获(S22)所述真实场景的2D图像数据(ID)；

-参照来自所述深度图像数据的深度信息来创建(S23)所述真实场景的虚拟三维场景模型(SM)；

-将至少一个虚拟场景组分***(S24)到所述三维虚拟场景模型中；以及

-通过对应于所述第二视角的所述2D图像数据到包括所述虚拟场景组分的所述虚拟三维场景模型上的视角投影来生成输出图像。

2.根据权利要求1所述的方法，其中，通过渲染器实现所述视角投影。

3.根据权利要求1或2所述的方法，其中，参照所述2D摄像机和/或所述深度图像传感器的外部和/或内部摄像机参数来实现所述视角投影。

4.根据前述权利要求中的一项所述的方法，其中从相同的视角捕获所述2D图像数据和所述深度图像数据。

5.根据前述权利要求中的一项所述的方法，其中所述虚拟三维场景模型为表面模型。

6.根据前述权利要求中的一项所述的方法，其中所述真实场景包括位于医学影像设备的患者台(6)上的检查对象(3)，并且所述至少一个虚拟场景组分对应于扫描区域边界SRB，特别是对应于边界轮廓线BCL，其中，图像数据将通过所述医学影像设备针对所述扫描区域被捕获。

7.根据权利要求6所述的方法，其中所述扫描区域边界对应于虚拟地投影到所述检查对象上的光标记或激光标记。

8.根据前述权利要求中的一项所述的方法，其中基于用户输入实现所述虚拟场景组分到所述虚拟三维场景模型中的所述***。

9.根据权利要求8所述的方法，其中使用所述2D图像数据来确定所述虚拟场景组分的布置。

10.根据前述权利要求中的一项所述的方法，其中在光学/可见波长范围内捕获所述真实场景的所述2D图像数据。

11.根据前述权利要求中的一项所述的方法，其中在红外波长范围内捕获所述真实场景的所述深度图像数据。

12.一种通过输出图像(OI)的、用于布置在真实场景内的至少一个虚拟场景组分(VSC)的视角表示的装置，其中所述装置包括：

-深度图像传感器(20)，其从第一视角捕获所述真实场景的深度图像数据(DD)；

-2D摄像机(19)，其从第二视角捕获所述真实场景的2D图像数据(ID)；

-模型创建单元(21)，其参照来自所述深度图像数据的深度信息来创建所述真实场景的虚拟三维场景模型(SM)；

-***单元(22)，其将至少一个虚拟场景组分***到所述三维虚拟场景模型中；以及

-生成单元(23)，其通过对应于所述第二视角的所述2D图像数据到包括所述虚拟场景组分的所述虚拟三维场景模型上的视角投影来生成输出图像。

13.根据权利要求12所述的装置，其中所述2D摄像机和所述深度图像数据传感器被组合以形成摄像机单元(18)。

14.一种医学影像设备，特别是计算机断层摄影设备，其包括如权利要求12或13中的一项所述的装置。