CN101802873A - 增强现实的非真实感绘制 - Google Patents

Abstract

本发明公开了一种用于绘制场景的捕捉图像的方法和***，所述方法和***通过根据捕捉到的图像像素分配像素透明度值，提供穿过绘制的图像的透视景象，例如穿过在场景背后的绘制的现实增强对象绘制图像的透视景象。所述方法和***在绘制的图像中保存场景的某个结构，而不需要场景的模型。

Description

增强现实的非真实感绘制

技术领域

本发明涉及一种绘制图像的方法，尤其提供了遮挡暗示，例如在医学上的增强现实显示中。

背景技术

增强现实(AR)正成为手术过程中的一种有价值的工具。在手术任务的过程中提供实时的、被记录的手术前数据不需要参考离线图像并且有助于将这些数据记录到真实的组织。感兴趣对象的可视化通过AR提供的“透视景象”变成可实现的。

近年来，越来越多地在微创手术(MIS)中使用医疗遥控设备。通过遥控设备辅助的MIS，微处理器控制的机械手臂增强了灵巧性，允许动作调整以减少总的手移动，以及允许执行在其他情况下不可能执行的微尺度任务。

手术遥控设备的独特操作设置提供了理想的平台，用以通过手术前/手术时的图像或计算机生成的图形增大视野。AR的行效性和临床效益已经在神经手术和整形手术中得到了广泛的认可。然而，AR在心脏和胸腔手术和肠胃手术中的应用仍然有限，其原因是由于组织变形的复杂性为AR显示带来了巨大的挑战。

AR的无缝合成依赖于许多因素，这些因素和虚拟对象显示的方式以及其与真实场景在视觉上的相互作用有关。AR中的主要问题之一是正确处理遮挡。尽管虚拟环境和现实环境的部分遮挡的处理能够通过手术场景的精确3D重建实现，但是尤其是随着实时3D组织变形恢复的新技术的出现，大部分手术AR应用包含了在暴露的组织表面背后的解剖结构的叠覆。解剖结构的叠覆对于例如冠状动脉搭桥是很重要的，在所述冠状动脉搭桥中，改良的解剖可视化和机能可视化允许更精确的手术中导航和血管切除。在***切除手术中，围绕物解剖的3D可视化导致改良了神经血管束保护以及提高了自制率和效力率。

虽然在立体景象环境中提供有用的平面参考，但是传统覆盖的AR具有不精确的深度感知问题。即便对象在正确的深度绘制，但大脑也感知到对象在表面的上方浮动(例如参见由Johnson LG等人撰写的文章，刊登在Studies in Health Technology and Informatics 2003第94期第131-136页的“Surface transparency makes stereo overlaysunpredictable：the implications for augmented reality”；以及由Swan JE等人撰写的文章，刊登在IEEE Transactions on Visualization and ComputerGraphics 2007第13(3)期第429-442页的“Egocentric Depth Judgmentsin Optical，See-Through Augmented Reality”)。

对于被感知为嵌入在组织内的对象，我们的大脑期待一定程度的遮挡。为了解决AR中深度感知的问题，已经开发了许多绘制技术和显示策略以允许精确地感知虚拟结构相对于暴露的组织表面的3D深度。在Sielhorst T等人撰写的刊登在Medical Image Computingand Computer-Assisted Intervention-MICCAI 20062006第364-372页的文章“Depth Perception-A Major Issue in Medical AR：Evaluation Study byTwenty Surgeons”中，已经研究过在医疗AR中的深度感知问题。与上述两篇引用的参考文章一致，已经发现如果AR对象被绘制为不透明的，那么该AR对象的深度感知就很差，因为即便该AR对象被绘制在其背景正确的深度，它也看来似乎浮在外体表面的上面。两种改良深度感知的方法已经被确定：将体表面和AR对象都绘制成透明的或者用其内部定义的窗口绘制体表面，以便该窗口提供遮挡线索，由此在该窗口内可以看到在另外的情况下被体表面遮挡的AR对象。关于前一个方法(透明绘制)，虽然其可以导致改良某些表面的深度感知，但是在通常情况下，绘制两个覆盖的透明表面导致在遮挡处的视觉线索冲突，这使得深度感知很差(参见上述引用Johnson等人的文章)。后一个方法(绘制窗口)的缺点是关于窗口内体表面的所行信息都丢失了。

2006年10月，在丹麦哥本哈根召开的关于医疗成像与计算机辅助手术的增强现实环境的国际学术研讨会(International Workshopon Augmented Reality environments for Medical Imaging andComputer-aided Surgery(AMI-ARCS 2006))中，C.Bichimeir和N.Navab的文章“In Virtual Window for Improved Depth Perception in Medical AR”(http://ar.in.tum.de/pub/bichlmeier2006window/bichlmeier2006window.pd f可在线获取)中已经研究了在维护关于窗口内体表面信息的同时改良通过窗口方法获得的深度感知的各种方法。下列方法已经被考虑：根据体表面的形状调整窗口的形状、用由于虚拟光源而造成的强光效果将窗口表面绘制成像玻璃一样、使用简单结构纹理描绘窗口平面、为窗口模拟有限尺寸的框架以及将AR对象的背景设置为透明的或是不透明的。除了最后一个，所有这些方法的缺点是必须知道体表面的3D模型，以便窗口轮廓或表面能够按照该3D模型来绘制。这种3D模型很难，尤其是在体表面在成像过程中形变或以其他方式改变的情况下。

发明内容

根据本发明的一个方面，本发明提供了一种根据权利要求1中定义的绘制捕捉到的数字图像的方法。

有利的是，通过基于捕捉到的图像本身设置相应的非真实感绘制(NPR)图像的透明度值，就可能定义部分透明的窗口，该窗口保存图像的某部分结构以提供遮挡线索，使得深度感知变成可能的(在绘制二维图像的情况下)或者对其有辅助作用(在绘制三维图像的情况下)。由于所述方法是基于图像数据本身，所以该方法不需要图像下面的场景的模型。

如上所述，所述NPR图像可以绘制成二维视图或者可以捕捉第二个图像以定义立体视图。在任何情况下，可以绘制在捕捉到的图像后面的虚拟(例如AR)对象。

透明度值的分配可以在窗口内完成，使得NPR捕捉的图像在窗口外保持不透明，当不能透过窗口看到对象时遮挡该对象。为了更自然地显示场景或为了在立体视图中帮助定影两个窗口，透明度值可以自窗口内向外逐渐地混合。窗口位置可以根据观察者的视线来定义，通过连续跟踪观察者的视线或仅在接收到来自观察者的更新请求时更新位置。当然，如果是立体观看，那么两张(左和右)NPR图像中的窗口可以偏移由依照立体视图的相机位置和参数确定的量。

透明度值可以被确定为在捕捉到的图像中相应位置的标准化图像强度梯度的函数。计算所述图像强度梯度可以包括确定关于图像坐标的偏导数，图像坐标由相应位置上的图像强度分割。

如上所述的确定NPR图像透明度的方法可以被看作是设置透明度值的方法的举例，该方法通过为NPR图像的区域定义凸出图并分配透明度值来设置透明度值，透明度值作为同一凸出图中各相应位置的值的函数。可以安排所述凸出图捕捉图像的凸出特征，例如，因为该特征从下面的场景背景中突出或因为颜色和/或强度的对比而显著的特征。特别地，所述凸出图可以被定义为在图像下面的场景中局部坡度的函数，例如如基于图像中的阴影估计的。所述局部坡度可以被估计为在图像中各标准化的强度梯度的函数。

除了分配透明度值以保留更不透明或更透明的突出特征和使得一区域内或窗口内的背景更透明或更不透明以外，所述凸出图也可以被用来为NPR图像的像素分配色值，例如使用颜色标尺。尤其是，透明度值和色值可以被分配，以便在NPR图像后面绘制的对象在被凸出图中具有高值的区域中的像素遮挡时，可以被感知为透过透明区域(窗口)被观察。

在一个应用中，虚拟对象可以从医学成像数据中获得，例如肿瘤的CT图像或MRI图像。尤其是，可以使用立体内窥镜捕捉这种图像，例如在胸腔小孔手术中。然而，应当理解，上述绘制方法并不局限于医学AR应用，而是更普遍适用于绘制在捕捉到的场景背后、观察者常规视野外的虚拟对象的AR应用。

本发明的又一个方面是提供如权利要求21所要求保护的一种用于绘制数字图像的***。

本发明再一个方面是提供如权利要求41所定义的一种遥控设备手术控制台。

本发明的其他方面延伸到如权利要求42所定义的计算机程序。

为了避免歧义，本文中使用的术语NPR图像(非真实感绘制的图像的缩写)用于指被捕捉和经过处理的数字图像，所述数字图像例如作为纹理被应用到对应于3D计算机图形模型中的图像平面的平面，所述3D计算机图形模型中也包含AR对象。当然，该3D计算机图形模型可以被绘制为2D图像或是立体3D图像。

附图说明

现在，将通过例子和参考附图描述本发明的实施例，附图包括：图1是至少部分图像的非真实感绘制方法的流程图，例如显示在图像中捕捉到的场景的背后绘制的对象；图2是用于绘制2D或3D的相应的NPR图像和AR对象的算法的流程图；图3描述相应的***；图4描述使用在处理过程中的遮罩函数(mask function)；和图5描述使用所描述的方法绘制AR视图的例子。

具体实施方式

应用于医学AR显示的绘制图像的本方法的基本思想是，在保持充足的细节以帮助导航和深度感知的同时将暴露的解剖表面绘制为半透明层。一个实施例以基于pq-空间的非真实感绘制(NPR)为基础，提供了嵌入式虚拟对象的透视景象，同时保留了暴露的解剖表面的明显的解剖细节。为了这个目的，基于pq-空间表示的表面几何图形首先被导出，这里，p和q分别代表图像表面沿着x轴和y轴的倾斜度(坡度)。举例来说，这可以通过引入多个光照条件，采用光度立体技术实现。然而对于变形组织，问题是不适当地造成的并且在内窥镜装置中引入多光源是不可行的。但是，对于相机和光源都靠近被成像的表面的情况(参见Rashid HU和Burger P.撰写的Differentialalgorithm for the determination of shape from shading using a point lightsource，发表在Image and Vision Computing 1992第10(2)期，第119-127页，作为参考合并于此)，该问题可以被简化，例如在气管镜和内窥镜中。在这种情况下，对于近点光源，在x，y坐标上的图像强度的值由下式给出： $E(x,y)=\frac{s_0\mathrm{\ρ}(x,y)\cos \mathrm{\θ}}{r^2}---\left(1\right)$ 其中，s₀是光源强度常数，ρ(x，y)是反照率或反射系数，r是光源和表面点(x，y，z)之间的距离，以及θ是入射光线与表面的法线

之间的夹角。在梯度空间内，表面的法向矢量等于 $\hat{n}=\frac{(p,q,-1)}{\sqrt{1+p^2+q^1}}---\left(2\right)$ 其中p和q分别代表在x和y方向的表面坡度。对于场景中平滑的朗伯(Lambertian)表面，由等式1给出的图像强度可以简化为 $E(x,y)=s_0{\mathrm{\ρ}}_{\mathrm{average}}\frac{{(1-p_{0}x-q_{0}y)}^3}{Z_0^2{(1-p_0{x}_0-q_0{y}_0)}^2{(1+p_0^2+q_0^2)}^{1/2}{(1+x^2+y^2)}^{3/2}}---\left(3\right)$ 该等式定义了表面法线为(p₀，q₀，-1)时在(x，y)点的图像强度E(x，y)与在相应表面点(x₀Z₀，y₀Z₀，Z₀)的场景辐射率之间的关系，其中ρ_average表示在表面的小邻域内的平均反照率，s₀是光源强度常数。在点光源照明下的朗伯表面是一种理想的表面材料，其满足两种情况：(1)从任何视角方向都显示出相同的亮度，和(2)其反射所有的入射光。

通过使用在等式3中的图像强度的偏导数，在图像位置(x，y)对x/y的标准化偏导数R_x/y可以只用图坐标和局部坡度写成： $R_x=\frac{1}{E}\frac{\∂E}{\∂x}=-3(\frac{p_0}{(1-p_{0}x-q_{0}y)}+\frac{x}{(1+x^2+y^2)})$ $R_y=\frac{1}{E}\frac{\∂E}{\∂y}=-3(\frac{q_0}{(1-p_{0}x-q_{0}y)}+\frac{y}{(1+x^2+y^2)})---\left(4\right)$

该等式可以重写成对p₀和q₀(根据在(x，y)及其相邻位置的图像强度可确定在图像位置(x，y)的标准化的偏导数或标准化的梯度R_x/y)的两个线性等式：A₁p₀+B₁q₀+C₁＝0                                         (4)A₂p₀+B₂q₀+C₂＝0其中A₁＝(-x₀·R_x+3)·(1+x₀ ²+y₀ ²)-3·x₀ ²B₁＝-R_x·(1+x₀ ²+y₀ ²)·y₀-3·x₀·y₀C₁＝R_x·(1+x₀ ²+y₀ ²)+3·x₀                  (6)A₂＝-R_y·(1+x₀ ²+y₀ ²)·x₀-3·x₀·y₀B₂＝(-y₀·R_y+3)·(1+x₀ ²+y₀ ²)-3·y₀ ²C₂＝R_y·(1+x₀ ²+y₀ ²)+3·y₀其给出在图像的各个点(x，y)的p₀和q₀的以下表达式： $p_0=\frac{B_2{C}_1-B_1{C}_2}{B_1{A}_2-A_1{B}_2}---\left(5\right)$ $q_0=\frac{-A_2{C}_1+A_1{C}_2}{B_1{A}_2-A_1{B}_2}---\left(6\right)$

成像表面的p值和q值捕捉暴露的解剖结构的3D细节并且被用于着重强调凸出特征(该特征是从表面突出的特征并且因此具有高梯度)，同时使得平滑渐变的背景表面半透明。应当理解的是p值和q值可以使用任何适合的技术来计算。为了产生期望的可视提示，与观察平面(低p，q)平行的场景表面被绘制成不同程度透明的，同时倾斜结构(高p，q)被强调和绘制成不同程度不透明的。对于每个图像点(x，y)，表面坡度的测量通过下式从p值和q值生成S(x，y)＝log(abs(p₀)+abs(q₀)+1)        (7)其中，S(x，y)的高值对应于大梯度。事实上，这提供凸出图或凸起图像(salient image)。对数函数将p和q的高值变小以为了显示限制动态范围。通过对凸出图S应用宽高斯滤波器以产生平滑的背景图B，由此消除在图像中可能是表示噪声或小表面变量而不是表示“真正”的凸出特征的高频变量。如在下文中被详细描述的那样，凸起图像和背景图像使用遮罩结合，以便S的低像素值由在相应(x，y)像素的B值来替代。

现在转向上述凸出图的实际应用，参考图1，在生成捕捉的图像(或其一个区域)的非真实感绘制图的方法2中，使用该非真实感绘制图作为投影在计算机图形模型中的图像平面上的纹理，在步骤4，定义用于NPR处理的感兴趣区(ROI)。这可能包括整个图像或者其中的一个子区域。在步骤6，感兴趣区被预处理，包括将像素的色值(如果是彩色的)转换为灰度并且应用温和平滑函数，例如3×3像素高斯平滑函数。在步骤8，如上所述，使用任何公知的用于计算偏导数的方法从感兴趣区中捕捉到的图像计算凸出图，例如只是区分正研究像素的像素值与在相关方向(例如x方向)上相邻像素的像素值。根据在ROI中的每个像素或位置的偏导数和图像强度(例如灰度值)来计算所述凸出图。

在步骤10中，凸出图通过将其与平滑背景图B(例如，可以通过应用6×6像素，可延伸为7像素的宽带高斯滤波器从S得到B)结合来去噪声(降噪)。S和B依照遮罩函数结合为：S(x，y)＝mask(x，y)·S(x，y)+(1-mask(x，y))·B(x，y)   (10)使得凸出图与背景图混合，其中S在S是高值的地方占优势，而B在S是低值的地方占优势。可以使用具有许多控制点的样条(例如CatmullRom样条)定义所述遮罩函数。一种适合的遮罩函数在图5中描述为S(x，y)的函数。当然也可以使用其他遮罩函数，例如具有S(x，y)的适当极限值的阶跃函数。另一个例子可以是合适的多项式函数。

在步骤12中，使用色标卡尺依据凸出图S(x，y)为去噪声的感兴趣区中的像素分配色值。一种合适的色标的范围可以是从S的最小值的黑色，通过蓝色，到最大值的白色。这些合成颜色依据窗口函数，例如径向窗口函数f(r)被应用于NPR图像，使得合成颜色被应用在窗口内而图像的原始颜色保留在窗口外。f(r)的一个例子是阶跃函数，在这种情况下，窗口具有的形状边缘离散地从合成颜色转换到图像颜色。为了获得平滑的转变，在另一个例子中，f(r)定义转换区域

其中r²＝(x-x_center)²+(y-y_center)²和r₀确定窗口的大小。借助定义平滑转换，如果适用，那么有助于在立体图像(见下述)中定影两个(左和右)窗口。

在步骤14中，依据S(x，y)和窗口函数f(r)设置同一窗口中的NPR图像像素透明度，以便S的最小值对应于完全(或者接近完全，假定为95％)透明并且S的最大值对应于完全(或接近完全，假定为95％)不透明并且透明度值例如与NPR图像的其余部分使用f(r)混合。

为了避免疑惑，可以参见使用f(r)的混合操作的例子，因为将处理过的非真实感绘制图像(NPI)与捕捉到的图像(CI)混合，以得到NPR图像，如下所述：NPRimage＝f(r)·CI+(1-f(r))·NPI。   (8)

可以采用许多方法设置窗口的放置(也就是f(r)的原点，在上述例子中为(x_center，y_center))。例如，在一些实施例中，窗口位置是基于绘制在图像平面背后的AR对象的位置而被预先定义，尤其是如果在视场内只绘制单个对象。可替代地，在一些实施例中，窗口位置可以基于观察者的视线(例如使用眼睛跟踪设备被探测)被确定，所述窗口位置可以被连续地更新，或者也可以在观察者发出更新窗口位置的请求(或在一些实施例中，如果当前没有显示窗口，那么在窗口被打开时，依据观察者的定相显示窗口)时依据观察者的定相更新。如果是绘制完整的AR场景而不是单个对象，那么这种动态的窗口显示尤其有用。

参考图2和图3，现在描述用于将捕捉到的场景的图像与增强现实对象一起显示的***和方法。在步骤16，场景的图像通过成像设备22被捕捉并且被传输到处理单元24。在一些实施例中，捕捉到的图像被处理为投影在要显示在计算机图形模型中的场景平面对象上的纹理。所述计算机图形模型可以使用许多方法实现，例如在一些实施例中使用在C++程序中的OpenGL图形库。

正确的透视图(和3D绘制情况中的视差)已经包括在捕捉的图像中(在立体相机成像设备情况下的左捕捉图像和右捕捉图像)但是有关计算机图像模型中增强现实对象的深度信息对于一致处理遮挡是十分重要的。

对于立体相机和显示器，在左视图和右视图中增强现实对象的位置必须与捕捉的图像的视差匹配。这种匹配是通过立体相机与视图间的必然产生的变换的校准实现的。在组合的场景中，捕捉的图像由于其已经包括视差而被显示在左视图和右视图的相同位置上，而所述增强现实对象被绘制在左视图和右视图的不同位置上，从而匹配捕捉到的图像的视差。在一些实施例中使用OpenGL变换，获得的变换作为立体相机校准的一部分被利用。

在一些示例实现中，为每个(左和右)显示开启OpenGL窗口，并且NPR图像在每个窗口中以适当的深度(如下所示)被显示(例如，应用于作为投影屏幕的场景平面对象)。接着使用各个(左和右)相机的相机校准为每个窗口绘制AR对象。相似地，在一些实现中，使用相机校准数据设置每个OpenGL窗口中ROI和/或窗口的相对位置使之与立体视图一致。从这个方面来说，即使窗口位移并不确切地与立体图像一致，平滑混合的窗口有助于将两个窗口定影于一个立体视图中。例如，在一些实现中，适合于有立体感内窥镜相机的一个近似将使用相机位移作为窗口位移。

为了确保每个像素都被正确地着色，NPR图像(场景对象平面)的z坐标相对于相机框架中AR对象的位置必须更靠近计算机图形模型中的相机位置，使得在场景对象遮挡其背后的AR对象的地方(或在场景对象的低透明度部分控制相应像素的着色的地方)，像素采用场景对象的色值。因为只有在AR对象位于由成像设备22(否则真实对象在捕捉到的图像中将为可见的)捕捉的表而的背后时，由上述讨论的非真实感处理提供的遮挡线索才是必须的，所以假设对于在一些实施例中的绘制，场景对象通常在AR对象的前面并且，例如计算机图形模型的观察截椎体的前平面被用作为场景对象，在一些实施例中，(多个)捕捉到的图像被投影在该场景对象上。这就确保了遮挡的正确处理而不会影响(多个)捕捉到的图像的透视图(perspective)或视差，所述透视图和视差由真实相机的位置来定义。

替代地，在一些实施例中，NPR图像的位置处于或接近于相机聚焦平面或者可以使用范围探索来恢复场景平面的深度，以设置NPR图像深度(例如参见，由Stoyanov D.等人撰写的文献，发表于Computer Aided Surgery 2005年7月第10(4)期，第199-208页，作为参考合并于此)。在一些实施例中用于深度恢复的技术包括使用来自眼睛跟踪的观察者的眼睛转向(Mylonas GP等人撰写的文献，发表在Proceedings of the second International Workshop on Medical Imaging andAugmented Reality，MIAR(2004)(关于医疗图像和现实增强的第二届国际专题研讨会的会议汇编)，北京，第311-319页)、立体的深度恢复例如稀疏技术、阴影的形状或两种的结合(由Stoyanov D等人撰写，MICCAI(2)2004，第41-48页)或使用结构光(Koninckx TP和Van GoolL，IEEE PAMI，vol28，no.3，2006)、基准标记或激光范围探索(由Mitsuhior H等人撰写，Medical Image Analysis 10(2006)，第509-519页)，所有都作为参考合并于此。

在步骤18，确定虚拟AR对象在计算机图形模型中的位置。AR对象输入26提供从医学成像例如从MRI数据或CT数据获得的AR对象的坐标数据。在图像被获取以将图像数据从医学成像设备框架转换到参考身体框架之前，所述数据必须用固定在病人身体上的参考框架中的坐标表示，例如，使用固定在病人身体上的基准标记。

为了使AR对象与捕捉到的场景图像一起精确显示，由基准标记定义的、来自参考身体框架的所述AR对象坐标需要从参考框架输入28被转换成参考成像设备相机框架，所述参考框架输入28同时跟踪相机位置和方向以及基准标记，例如如在本技术领域中公知的，通过使用三维跟踪设备跟踪基准标记以确定参考身体框架相对于参考相机框架的位置和方向。

如果相机位置是已知的(例如在遥控设备手术控制台中相机的位置可以由支持相机的遥控臂的位置获得的情况下)，那么在固定于手术室的坐标框架中的这个已知位置和***数据一起被使用，以在尤其是与遥控设备手术控制台中的应用相关的一些实现中，实行必要的坐标变换。在相机的移动性更强(例如在安装在头部的视频透视装置中)的其他设备中，其中，相机的位置同样也需要被跟踪，以能够实行所要求的坐标变换。所要求的测量和变换的细节被描述在Vogt S等人撰写的文章，发表在International Journal of Computer Vision2006，第70(2)期，第179-190页的“Reality Augmentation for MedicalProcedures：System Architecture，Single Camera Marker Tracking and SystemEvaluation”，其作为参考合并于此。

在步骤2(应当明白，步骤的顺序并不限于与在图2中显示的情况，步骤可以以其他的顺序执行，当然，其必须服从的限制是图像必须在被处理前被捕捉)，捕捉到的图像的NPR处理如上所述参照图1执行，可能从窗口位置输入30获取关于窗口位置的输入，所述窗口位置输入30在一些实施例中包括眼睛***和用于开启或关闭窗口或者为上述窗口选择窗口位置的用户界面。

一旦被捕捉到的图像已经被处理并且作为NPR图像应用于场景对象，并且AR对象的3D位置已经如上所述地被定义，那么场景对象和AR对象被绘制，用于在步骤20显示在显示设备32上。所述场景对象和AR对象可能是相应计算机图形模型的2D视图，其中显示设备是简单的监视器，或者所述场景对象和AR对象也有可能是3D视图，其由左图像和右图像组成，其中显示设备能够显示立体图像。

在一些实施例中，上述***和方法并入微创遥控设备手术控制台，例如美国Mountain View(山景城)的Intuitive Surgical有限公司生产的达芬奇(da Vinci)遥控设备手术控制台。所述控制台为远程控制微创手术工具提供遥控操作和通过固定位置的立体显示设备提供立体视觉反馈，所述立体显示设备为操作人员的每只眼睛分别提供来自立体内窥镜的左图像和右图像。捕捉到的图像如上所述被处理并且接着可以将其与AR对象(例如表示肿瘤)一起绘制。

图5a和图5b分别显示来自遥控设备辅助的肺叶切除术的肺组织的左眼视图和右眼视图。图5c和图5d显示具有AR对象的透明AR覆盖的同一视图，在所述视图中，场景和对象都被透明地绘制，如同在上述参考的Vogt等人采用的透视视频方法。图5e和图5f分别描绘图5a和图5b的场景的左视图和右视图，该左视图和右视图使用上面描述的方法与AR对象一起被处理，并且图g和图h分别显示使用平滑径向窗口结合的图a和图b以及图e和图f的视图。如可以被清晰地看到的那样，窗口提供了更自然的三维场景判读，因为可以透过窗口看到AR对象，同时窗口中保存的特性为外科医生保留参考信息并且也通过遮挡提供附加的深度线索。

应该理解对上述实施例的多种修改都是可能的。例如，可以显示一个以上对象并且可以任意改变上述方法步骤的顺序，其仅受限于某些步骤需要其之前某些步骤的结果。此外，用于确定透明度值的上述方法保留了图像的凸出特征，同时提供了下面的对象的透视图，该方法将适用于很多其他类型的场景、对象和应用，而不是仅限于上述场景、对象和应用。

当然，同样也应该理解，尽管描述了特殊实施例，但要求保护的主题并不限于特殊实施例或实施的范围。例如，一个实施例可以在硬件中实现，从而例如操作一台设备或设备的组合，而另一实施例可以是在软件中实现。相似地，实施例可以在固件或硬件、软件和/或固件的任意组合中实现。相似地，尽管要求保护的主题不限于这方面的范围，但实施例可以包括一种或多种构件，例如载波、存储媒介或存储介质。所述存储介质例如一个或多个CD-ROM、固态存储器，光磁碟和/或磁碟或磁带，例如在其上可以存储指令，所述指令被***，例如计算机***、计算平台或其他***执行时可以导致执行与要求保护的主题相一致的方法实施例，例如前述多个实施例之一。一个实施例可以包括电信媒介上，例如电信网上的载波信号。合适的载波信号的例子包括射频信号、光信号和/或电信号。

作为一个可能的例子，计算平台或计算机可以包括一个或多个处理单元或处理器、一个或多个输入/输出设备，例如显示器、键盘和/或鼠标、和/或一个或多个存储器，例如静态随机存取存储器、动态随机存取存储器、闪存和/或硬盘驱动器。

在上述描述中，已经描述要求保护的主题的不同方面。出于说明的目的，给出了特定的数量、***和/或配置，以提供对要求保护的主题的彻底的理解。然而，对于受益于本公开的本领域技术人员来说，该要求保护的主题可以在不需要特定细节的情况下被实际应用是显而易见的。在其他情况下，省略和/或简化公知的特征，以突出该要求保护的主题。虽然某些特征在这里已经被说明和/或描述，但本领域技术人员将想到许多修改、替代、变化和/或等价物。因此，应当理解，所附权利要求意在包含在要求保护的主题的范围内的所有这种修改和/或改变。

Claims (43)

1.一种绘制捕捉的数字图像的方法，所述数字图像由相机捕捉并且由多个图像像素定义为非真实感绘制的NPR图像，所述NPR图像由多个NPR图像像素定义，每个NPR图像像素都具有相关的NPR透明度值，其中至少一些NPR图像像素的透明度值是依据相应的、捕捉的图像的像素来确定。

2.根据权利要求1所述方法，包括在所述NPR图像背后绘制虚拟对象。

3.根据权利要求1或2所述方法，包括绘制另一捕捉的图像作为另一NPR图像，以定义立体视图。

4.根据权利要求1、2或3所述方法，包括在所述NPR图像内定义窗口并且依据相应的捕捉的图像的像素在所述窗口内分配所述透明度值。

5.根据权利要求4所述方法，包括将所述窗口外的透明度值设置为不透明。

6.根据权利要求5所述方法，包括从所述窗口内到所述窗口外逐渐地混合所述透明度值。

7.根据权利要求4-6中任意一项所述方法，包括依据观察者的视线定义窗口位置。

8.根据权利要求7所述方法，其中在收到来自所述观察者的更新请求时更新所述窗口位置。

9.根据权利要求7所述方法，其中连续地更新所述窗口位置以跟踪所述观察者的视线。

10.根据从属于权利要求3时的权利要求4-7中任意一项所述方法，包括定义另一窗口，在所述另一窗口中透明度值在所述另一NPR图像中被分配，所述另一窗口根据所述立体视图被定位在相对于所述窗口有偏移的位置上。

11.根据上述任意一项权利要求所述方法，包括确定所述透明度值，其作为在所述捕捉的图像的相应位置上的标准化图像强度梯度的函数。

12.根据权利要求11所述方法，其中计算所述标准化的梯度包括确定关于图像坐标的偏导数，所述图像坐标由在所述捕捉的图像的相应位置上的图像强度分割。

13.根据上述任意一项权利要求所述方法，包括为所述NPR图像的一个区域定义凸出图并且为所述NPR图像的像素分配透明度值，所述透明度值作为该凸出图的相应值的函数。

14.根据权利要求13所述方法，其中所述凸出图被定义为在所述捕捉的图像的下面的场景中的局部坡度的函数。

15.根据权利要求14所述方法，其中基于在所述捕捉的图像中的阴影估计所述局部坡度。

16.根据权利要求14或15所述方法，其中所述局部坡度被估计为在所述捕捉的图像中相应的标准化强度梯度的函数

17.根据权利要求13-16中任意一项所述方法，包括为所述NPR图像的像素分配色值，所述色值为所述凸出图的相应值的函数。

18.根据权利要求17所述方法，其中所述透明度值和色值被分配，以便在所述NPR图像背后绘制的对象被感知成透过所述凸出图的值较低的区域被观察而在所述凸出图具有较高值的地方被遮挡。

19.根据从属于权利要求2时的上述任意一项权利要求所述方法，其中所述对象来自医学成像数据。

20.根据权利要求19所述方法，其中所述图像使用立体内窥镜捕捉。

21.一种绘制捕捉的数字图像的***，所述数字图像由相机捕捉并且由多个图像像素定义为NPR图像，所述NPR图像由多个NPR图像像素定义，每个NPR图像像素都具有相关的透明度值，所述***包括透明度计算器，该透明度计算器被安排为根据相应的捕捉的图像的像素计算至少一部分所述NPR图像像素的透明度值。

22.根据权利要求21所述***，该***进一步被安排为在所述NPR图像背后绘制虚拟对象。

23.根据权利要求21或22所述***，该***被安排为使用所述透明度计算器绘制另一捕捉的图像，其作为另一NPR图像以定义立体视图。

24.根据权利要求21、22或23所述方法，其中所述透明度计算器被安排为在所述NPR图像内的窗口内分配透明度值。

25.根据权利要求24所述***，该***被安排为设置所述窗口外的透明度值为不透明。

26.根据权利要求25所述***，该***被安排为从所述窗口内到所述窗口外逐渐地混合所述透明度值。

27.根据权利要求24-26所述***，该***包括具有表示观察者的视线的输入的窗口化模块，其用于依据所述观察者的视线定义窗口位置。

28.根据权利要求27所述***，其中所述窗口化模块被安排为在接收到来自所述观察者的更新请求时更新所述窗口位置。

29.根据权利要求27所述***，其中所述窗口化模块被安排为连续更新所述窗口位置以跟踪所述观察者的视线。

30.根据从属于权利要求23时的权利要求24-29中任意一项所述***，其中所述透明度计算器被安排为在另一NPR图像中的另一窗口内分配透明度值，所述另一窗口根据所述立体视图被定位在相对于所述NPR图像中的所述窗口有偏移的位置上。

31.根据权利要求21-30中任意一项所述***，其中所述透明度计算器被安排为确定所述透明度值，其作为在所述捕捉的图像的各自相应位置上的标准化图像强度梯度的函数。

32.根据权利要求31所述***，其中所述透明度计算器被安排为通过确定关于图像坐标的偏导数以计算所述标准化图像强度梯度，所述图像坐标由在所述各自相应位置上的图像强度分割。

33.根据权利要求21-32中任意一项所述***，其中所述透明度计算器被安排为给所述捕捉的图像的区域定义凸出图并且将透明度值分配给所述NPR图像的像素，其作为所述凸出图的相应值的函数。

34.根据权利要求33所述***，其中所述透明度计算器被安排为定义所述凸出图作为在所述捕捉的图像下面的所述场景中的局部坡度的函数。

35.根据权利要求34所述***，其中所述透明度计算器被安排为基于所述捕捉的图像的阴影估计所述局部坡度。

36.根据权利要求34或35所述***，其中所述透明度计算器被安排为估计所述局部坡度，其被估计为在所述捕捉的图像中各自的标准化强度梯度的函数。

37.根据权利要求33-36中任意一项所述***，其包括颜色计算器，该颜色计算器被安排为将色值分配给所述NPR捕捉的图像的像素，其作为所述凸出图的相应值的函数。

38.根据权利要求37所述***，其中所述NPR捕捉的图像的透明度计算器和颜色计算器被安排为分配各自的值，以便在所述NPR捕捉的图像背后绘制的对象被感知成透过所述凸出图具有较低值的区域被观察并且在所述凸出图具有较高值的地方被遮挡。

39.根据从属于权利要求22时的权利要求21-38中任意一项所述***，其中所述虚拟对象来自医学成像数据。

40.根据权利要求39所述***，其中所述图像使用立体内窥镜捕捉。

41.一种用于微创手术的遥控设备手术控制台，其包括用于捕捉手术场景的立体图像的立体内窥镜和用于观察捕捉到的图像的立体察看装置，所述控制台包括如权利要求21-40中任意一项所述的***，该***被安排为绘制从所述立体内窥镜接收到的图像并且将其显示在立体察看装置上。

42.一种计算机程序，当其运行在计算机上时，实现权利要求1-20中任意一项所述的方法。

43.一种计算机可读媒介或载波信号，用于编码权利要求42所述的计算机程序。

Images