CN100457020C - 扫描内窥镜 - Google Patents

扫描内窥镜 Download PDF

Info

Publication number
CN100457020C
CN100457020C CNB2004800242382A CN200480024238A CN100457020C CN 100457020 C CN100457020 C CN 100457020C CN B2004800242382 A CNB2004800242382 A CN B2004800242382A CN 200480024238 A CN200480024238 A CN 200480024238A CN 100457020 C CN100457020 C CN 100457020C
Authority
CN
China
Prior art keywords
scanning
light
light beam
endoscope
fiber
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2004800242382A
Other languages
English (en)
Other versions
CN1870932A (zh
Inventor
克里斯托弗·A·维克勒夫
马利克·I·阿姆贾德
约翰·R·刘易斯
弗兰克·B·梅廷
克里斯琴·S·L·赖尔森
徐建华
克拉伦斯·T·泰格林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microvision Inc
Original Assignee
Microvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microvision Inc filed Critical Microvision Inc
Publication of CN1870932A publication Critical patent/CN1870932A/zh
Application granted granted Critical
Publication of CN100457020C publication Critical patent/CN100457020C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Endoscopes (AREA)

Abstract

一种可服从刚性或柔性方式的扫描内窥镜,使光束扫过视场,收集由扫描光束散射的光,检测散射的光,并且产生图像。该内窥镜可以包括一个或多个容纳控制器、光源和检测器的箱体;及可分离的容纳扫描机构的尖端。光源可以包括将它们的输出组合成多色束的激光发射器。可以发射紫外或者红外波长的光以产生超光谱图像。检测器可被置于远端或者近端位置,使收集的光通过光纤传送到该检测器。可以组合多个扫描元件以产生立体图像或者其他成像形式。该内窥镜可以包括润滑剂输送***,使其便于穿过体腔并且减少对病人的损伤。成像部件特别精巧,在一些实施例中是由MEMS扫描器和光纤构成,有助于安置在诸如工作通道、润滑液出口等其他尖轮廓之间的间隙中。

Description

扫描内窥镜
技术领域
本发明涉及扫描束***,特别涉及使用扫描束成像的内窥镜和腹腔镜。
背景技术
本申请基于2003年6月23日提交的临时专利申请号为60/482,376、发明人为威克劳夫(Wiklof)等、题为“扫描内窥镜”的申请提出,并以该申请日要求优先权。
视频内窥镜和腹腔镜从20世纪80年代开始得到普遍的应用。腹腔镜是可用于最低限度的侵入性手术的硬质装置。典型意义上地,腹腔镜使用一个其近端外部接***有一个数字照相机的手柄。该数字照相机通过一个探入患者体腔的,内部排列着一系列首尾相连的棒状透镜的管子来采集视频图像。照相机通过电线将信号传送到通常包括一台显示器的控制台。同样典型地安置在控制台上的是通常为氙气灯的光源。光源通过与其耦合的光纤给手柄传送光线。然后光线又经过在腹腔镜的管子里通过的光纤进入体腔。通常,光纤的末端在管子的末端呈同心圆状,或者在管子外端形成部分弧形。在使用时,经过调节照明源强度,可在视频监视器给出适当亮度的图像。
内窥镜是典型的可弯曲装置,可用于诊断或其他程序。现代的内窥镜(和一些腹腔镜)使用末端尖顶数字照相机采集光信号,并将之转换为电信号,然后将电信号通过可弯曲的管子送到手柄。该信号随后传送到控制台进行显示,该操作与腹腔镜的操作方式相似。除了照明光纤通常在照相机镜头两侧的一对孔径处终止外,照明源以与腹腔镜相似的方式送到体腔。除了可用于将内窥镜尖顶对准临床医生希望观察或推进该管子的方向的操控装置以外,内窥镜通常还包括灌入通道和工作通道。内窥镜和腹腔镜可以是末视的或者侧视的。在末视装置中,视场直接定位在装置末端的前方。侧视装置的视场位于偏离管子末端轴向70°或者其他角度的位置。该视场根据应用可有不同的变化。例如,结肠镜(一种用于检查结肠的内窥镜)通常具有140°对角线视场角,而腹腔镜的对角线视场角接近70°。
器械可以通过许多内窥镜的工作通道。镊子和其他装置经改进可穿过工作通道的内径而进入体腔,使临床医生可以用它们来取得组织样本等。在腹腔镜检查领域,一般是通过单个微切口将器械引入程序。通常器械也跟腹腔镜一样通过套针或是套环,以将切口排成列,防止包扎不当或损伤并保持封口。
腹腔镜和内窥镜都可使用象素化传感器阵列如电荷耦合器件(CCD)或者互补金属氧化物半导体(CMOS)装置。在象素化成像器中,每个象素对应着阵列的一个元件,而每个元件以选定的采样间隔从视场的共轭点接受光能。每个元件将光信号转化为与其共轭点的亮度成比例的电信号。
今天的数字内窥镜和腹腔镜可能遇到图像质量和动态范围受限的问题,并经常表现出其它不如意的常见后果。尤其在末端成像***中,直径限制已经成为提高解析度的普遍阻碍。
发明内容
本发明多方面涉及扫描束成像***,特别涉及扫描束内窥镜、腹腔镜及其他用于从相对不易达到的地方采集图像的成像装置。在许多方面也可用于其他扫描或者扫描束成像装置包括小型条形码成像器、内孔窥视仪、机器视觉照相机等。
本发明在很多方面也适用于医学和非医学领域内的刚性和弹性应用。在许多情况下,术语“内窥镜”和“腹腔镜”可互换地使用,并可理解为较宽范围内的特殊器械,包括胃窥镜,肠窥镜,S状结肠镜,结肠镜,喉镜,鼻腔镜,气管镜,十二指肠镜,胆总管镜,肾镜,膀胱内部检验镜,子宫镜,腹腔镜,关节内窥镜等等。
在本发明的某个典型实施例中,多个彩色光源,例如窄光谱的光源相结合实际上形成白光。该白光通过一条或多条光纤传送到末端尖顶形成光束,由该光束对视场(FOV)进行扫描。至少一部分被FOV反射、散射、折射,或其他扰动的光线经采集后转换为电信号。将光束的位置和收集到的光的数量信息进行结合就形成了数字图像。根据某个可选实施例,有关光束位置的信息取决于图像本身。
根据一个典型实施例,彩色光源可以是红色、绿色、蓝色的激光、发光二极管或者其他装置。根据另一典型实施例,具有不同特性的多种数目的光源可以被结合来形成扫描束。例如,一对彼此只有几个纳米波长差别的红色光源可以用于提高对于红色物体的分辨力。在另一个例子中,波长分布在红光、绿光和蓝光之间的光源可被用于建立具备四个、五个、六个,甚至更多色域信道的***。另一个例子中,波长在红外线、紫外线或者之外的光源可被合成为可扩展的光谱***。
根据其它典型实施例,具有治疗特性的光源可用于医疗。例如,高能红外线可用于烧灼,紫外线可用于激活向光性的药物等。窄波长光源结合后可用来避免曝光于不需要的波长的光下,比如向光性的药物或者光诊断化学制品普遍使用时,仅希望它们在特定波长位置被激活。治疗束可由医师或者远程专家选择性地激活,或者也可以基于其图像特性自动进行激活。它们可在整个视场,视场的某部分,或者视场中特别的、少数视点区域里被激活。
根据其它典型实施例,多个光源可以合成为本身彩色不平衡的光束。在这种例子中,图像可以电子方式实现彩色平衡。根据其它的典型实施例,不必使用多个彩色光源,但是最好相关地使用一个或多个宽带光源。
根据某些实施例,光束同心地通过扫描镜的中央,由第一反射镜反射后,回到扫描镜,以扫描整个视场。这个同心束的路径很有用,比如可用于减小成像末梢的尺寸。束的偏振特性和第一反射镜可操控或者选择使得信号强度最大化,并使得偏离视场的光线最小化。根据可选的实施例,即使偏振不匹配,但用半透明反射镜仍可将部分光线返回反射镜。
光束中的光线可以被视场表面散射、传送、吸收、和/或反射,并可能遇到多个通过体腔的传播路径。部分如上述方式传输的该光线被聚集于一个或多个采集点。这个或这些采集点可能包含非成像采集和检测装置,例如设置于末端的光电二极管。可选地,该采集装置可以包含光纤,用于采集光线并传送到远端的检测单元,该检测单元可将光线转换为电信号以便进一步处理。例如,这些采集光纤可以圆周型排列于扫描仪组件的***。可选地,光线可以由扫描镜再次扫描并且以反聚焦或共焦的方式聚集。另一种选择是,采集光纤可以贯穿顶端排列在灌入通道和工作通道等之间的间隙。还有一种选择是,可将分离的采集光纤***体腔,如以工具的形式,套管针或其他装置远距离地从成像端采集分散的光线。再一种选择,将顶端至少制成部分透明,以增加可收集光线的面积。
根据某些典型实施例,所述内窥镜或者腹腔镜,可以用设置于手柄上的光源和/或检测器。根据可选的典型实施例,内窥镜或者腹腔镜可以包括含有光源和/或检测器的控制台。光线可以通过一个连接器传输到或者从光纤和控制台传出,所述连接器可以包括电子连接,用于提供动力以及监控扫描器、为手柄提供显示信号、控制***的操作等。
根据典型实施例,扫描器可以是MEMS扫描器,其可使用例如渐进扫描模式或者双边正弦扫描模式。在某些实施例中,扫描器由磁场驱动进行操作。在其它可选的实施例中,扫描器可由静电驱动,也可由静电与磁场组合方式驱动,或者由其他共知的装置,如压电或者双压电晶片元件驱动。所述MEMS扫描器可以是大体积微机械MEMS扫描器、表面微机械装置,或者是本领域共知的其他类型。反射镜的表面可以是平的,或者可选择地包含光学功率以帮助束成形。
根据有些典型实施例,所述视场受驱动信号的振幅控制,较小的振幅信号产生稍小的角度偏移因而视场较小,而较大的振幅信号产生较大的角度偏移因而视场较大。
根据某个典型的实施例,束校准或聚焦装置,例如一个或以上的透镜、反射镜、光圈和抛光的光纤端面,可用于使光束成形。一个或以上的校准装置可通过改变位置或形状控制光束的形状。光束的形状可根据视场作相应的改变,以便保持视点尺寸相对于视点间隔的填充因数相对不变。可选地或是补充地,束的形状可由用户或者自动装置控制以保持聚焦。
根据某个典型的实施例,所述工作通道可以是自动的,例如根据图像分析自动进行。管子顶端的外罩或护套可以包括润滑油和/或药物出口以助于减少对其他药物的需要以及减少患者的不适、致病率和/或死亡率。
根据某个典型的实施例,聚光方法可以是对束进行横向极化,以减少或消除镜面反射。
根据某个典型的实施例,所述装置可以包括监控方法,例如血色素氧化监控或者二氧化碳监控。可使用多普勒测量法确定血流量。
根据另一个典型的实施例,所述视场可以用强度可变的光源进行照射。该强度可变的光源可以这样形成,例如通过在扫描一束或多束光穿过至少一部分视场的同时调整该单束或多束光的强度。这样,对更暗和/或更远的区域可以更多地照明,同时对更亮和/或更近的区域可以减少照射。
根据另一典型的实施例,视场或部分视场的色平衡可以通过用不同颜色的照明装置对场景作差别照明而得到调节。可以用这样的方式来驱动所述照明装置,即将部分场景信息所占整个场景信息的比例作为用以驱动可变照明数据的倒数。当到达一个界限时,对视场的差别照射可以在检测器上形成充分均匀的光散射。这样,通过驱动差别照明装置的帧缓存器可以完全或充分地恢复图像信息。这个模式对于非图像检测器例如PIN光电二极管、雪崩光电二极管、光电倍增管等特别有效。
根据其它典型的实施例,扫描束照明装置可以与如象素化成像器等图像检测器相结合。考虑到更快、更小或者其他改良的传感器,应用多种照明源可以有效地扩展***的动态范围。通过对更远或更暗的区域应用额外的照明光强,多种照明源可以类似地用于扩展设备的景深。
根据另一典型的实施例,为获得图像数据可以对视场进行探测。在这个例子中,用特别明亮的照明源接通一段时间来确定一个或者少许暗处或远处的视点的光学特征,然后在足够满足安全或其他的要求的时间内关闭该照明源。在随后的帧中,也可以对其他的视点进行类似的探测。
附图说明
图1为一个简单的扫描束成像器的结构图。
图2为可调整照明装置功率的装置和方法的结构图。
图3为说明对FOV照明和动态调整的照明装置的初始状态的实施例的概念图。照明源的能量保持恒定,探测器所接收到的散射的能量与视点的表面亮度成比例变化。
图4a为一个照明装置会聚状态的草图,该照明装置用于提供平面场的或者水平的散射。照明源的能量以与每个视点的表面亮度成反比的模式变化,从而使得探测器实际上接收到同样数量的能量。
图4b为一个照明装置会聚状态的草图,该照明装置用于略微压缩FOV的动态范围,但仍然保持表面亮度的差异。
图5为经由图4a中的方法得到的会聚照明装置的光强对应一维FOV的几帧图像的理想波形图。
图6为说明象素值如何被会聚的流程图。
图7为说明两束典型的扫描束对理想二维FOV进行扫描的非会聚状态图。
图8为对图7中两束扫描束使用图像处理得到的局部帧内会聚图。
图9为图7和图8种两束扫描束使用进一步图像处理得到的帧内伪会聚状态图。
图10为内窥镜***的等比例图。
图11为强调内窥镜***内不同组成部分之间关系的结构图。
图12扫描尖端组件的纵剖面图。
图13为扫描内窥镜成像端的横截面图。
图14为某实施例中对光的两个偏振具有差别反射的扫描端组件的内拱顶表面的纵剖面图。
图15为扫描组件的等比例图。
图16为成像端的光学元件的等比例图。
图17为与图12-16中所描述的类似的末端光学设计的光路追迹图。
图18为包括排列在扫描组件和工作通道四周的孔隙内的探测光纤在内的尖端布局图。
图19为带润滑剂传送的末端的等比例图。
图20为具备立体的或者两眼体视成像能力的内窥镜的尖端布局图。
图21为同时输出两束扫描束的控制器的结构图。
图22为一对频率复合束的波形图。
图23为检测器组件的等比例图。
图24为光源组件的等比例图。
图25为紧凑的三色光源的侧视图,这里输出的束是通过X立方合成的。
图26a为内窥镜近端的结构图。
图26b为内窥镜远末端的结构图。
图27为正弦扫描模式的理想图形。
具体实施方式
图1所示为扫描束成像器102的结构图。照明源104产生第一光束106。扫描器108反射第一光束以产生第二扫描光束110使之穿越视场(FOV),光束110由图中110a和110b这两个位置表示。扫描光束110继而照亮了FOV上的视点112,以分别对应束位置110a和110b的位置112a和112b表示。当束110照亮了点112,该照明光束110经反射、吸收、散射、折射或者被该物体或材料的特性所影响的其它方式而产生散射的光能量。该散射光能的一部分114,在图上分别由从点位置112a和112b放射出来的散射光线114a和114b表示,其传播至一个或多个检测器116,检测器116接收光线,然后根据所接收的光能数量产生相应的电信号。该电信号驱动控制器118,其建立数字图像并借助接口120传输该图像以进行进一步处理,解码、存档、打印、显示或其他处理或应用。
光源104可以包括多个发射器,例如发光二极管(LEDs)、激光、热源、电弧光源、荧光源、气体放电源,或者其他种类的照明装置。在某些实施例中,照明源104包含一个波长范围在大约635到670纳米(nm)的红色激光二极管。在另一实施例中,照明源104包含三个激光器:一个红色二极管激光器、一个绿色的二极管-泵浦的固态(DPSS)激光器和一个蓝色的DPSS激光器,三者的波长分别约为635nm、532nm和473nm。虽然可以直接调制激光二极管,但是DPSS激光器一般要求外部调制,例如声光调制器。在使用外部调制器的情况,该调制器也应考虑作为光源104的一部分。在使用多个发射器的情况下,光源104可以包括束合成光学装置,以便将一些或者所有的发射器发出的光合成为单束光。光源104也可以包括束成形光学装置,例如一个或多个准直透镜和/或光阑。另外,虽然在先前的实施例中所用束的波长都在可见光的范围内,但是本发明的领域内还可包含其他的波长。
光束106虽然图示为单束,但可以包含多束,会聚于单个扫描器108或者多个分离的扫描器108。
有些实施例中使用MEMS扫描器。MEMS扫描器可以是下列例子中所描述的类型:美国专利6,140,979号、题为“带收缩、定时和失真校正的扫描显示”及其一般指定;专利6,245,590号,题为“频率可调谐振扫描器及其制造方法”及其一般指定;专利6,285,489号,题为“带辅助臂的频率可调谐振扫描器”及其一般指定;专利6,331,909号,题为“频率可调谐振扫描器”及其一般指定;专利6,362,912号,题为“带馈入转换的扫描成像设备”及其一般指定;专利6,384,406号,题为“扭力谐振结构的有效调谐”及其一般指定;专利6,433,907号,题为“带多个扫描组件的扫描显示”及其一般指定;专利6,512,622号,题为“扭力谐振结构的有效调谐”及其一般指定;专利6,515,278号,题为“频率可调谐振扫描器及其制造方法”及其一般指定;专利6,515,781号,题为“带馈入转换的扫描成像设备”及其一般指定;和/或专利6,525,310号,题为“频率可调谐振扫描器”及其一般指定;所列皆可作为参考。
二维MEMS扫描器108高速扫描单束光或多束光,使其在一帧期间内覆盖整个二维FOV或者二维FOV中选定的区域。例如,典型帧频为60Hz。通常,一个或两个扫描轴作谐振运动较有利。在一个实施例中,其中一个轴作约为19KHz的谐振运动,同时另一个轴按锯齿模式做非谐振运动,从而创建了渐进的扫描模式。一种渐进双向扫描模式,其用单束以大约19KHz扫描频率在水平方向上扫描,以60Hz扫描频率在垂直方向上以锯齿模式扫描,,该方法可接近SVGA的分辨率。在一个这样的***中,水平扫描动作由静电驱动,垂直扫描动作则由磁力驱动。可选地,水平扫描和垂直扫描都可以由磁性地或电容性地驱动。静电驱动可以包括静电金属板、栅格驱动或类似方法。在不同的实施例中,两个轴可以被正弦或谐振驱动。
依赖应用或者配置,有多种检测器是适合的。例如,在一个实施例中,检测器可以包括一个与放大器和数字转换器相连接的简单的PIN光电二极管。在这种配置中,束的位置信息可以从扫描器获得,或者可选地,从光学装置中获得,图像分辨率由扫描视点112的大小和形状决定。在多色彩成像的情况下,检测器116可以包含更精密的分解和滤波,以便在检测前将散射光分选入其部件。作为PIN光电二极管的替代物,雪崩光电二极管(APDs)或者光电倍增管(PMTs)对于某些应用是更有利的,尤其在弱光应用中。
在不同的方法中,简单的光电探测器例如PIN光电二极管,APDs和PMTs视应用而定可以排列成正对整个FOV,也可以正对部分FOV,可以回聚地集中光线,或者共焦地集中光线。在一些实施例中,光电探测器116通过滤光镜消除多数的环境光线来聚集光线。
该装置可以由单色光、全色光乃至超光谱来实现。在一些实施例中,在许多彩色相机上所用的常规RGB通道之间加入彩色通道,也是可行的。这里,术语灰度和相关讨论应理解为涉及这些各个实施例以及本发明领域内的其他方法或应用。在如下所述的控制装置和方法中,象素灰度级可以包含单色***中的单一值,或者可以包含彩色或超光谱***中的RGB三个值或更多值。所述控制可以个别地用于个别通道的输出光强(例如红色、绿色和蓝色通道),可以通用于所有通道或者应用于子通道。
在一些实施例中,照明装置可以发射偏振光,或者单独的起偏器(未图示)可以用于对该光束进行偏振。在这种情况下,检测器116可以包括对扫描束110进行横向极化的起偏器。这样布置可以通过减少镜面反射对图像带来的影响而有助于提高图像质量。
图2为调节照明光强的控制方案的结构图。首先,驱动电路可以根据由帧缓冲器202中的数字数据值所体现的图形,对光源进行驱动。该帧缓冲器202驱动可变照明装置109,该照明装置109可以包含例如图1中的照明源和扫描器。对于每个视点和区域,检测器116都会检测出散射光的数量并将光信号转换为电信号。检测器116可以包括A/D转换器,可用于将输出的电信号转换为二进位值。可以将所检测的值看作余差。该余差由反转器208反转,可选择由可选的帧内图像处理器210进行处理。该反转的余差或经处理的值随后由加法器212同帧缓冲器202内的相应值相加。这个处理过程贯穿整个帧或FOV而进行,直到扫描完所有的视点并且这些点相应的帧缓冲值都已修改。然后重复该过程得到第二帧、第三帧等。直到聚合所有视点的余差。在一些实施例中,尤其是在如图4a所述的实施例中,帧缓冲器中的图形代表了该点的FOV实际图像的反转,类似于照相底片代表着相应实际图像的反转。
反转器208,可选择的帧内处理器210,以及加法器212组成水准测量电路213。
帧缓冲器202中的图形由反转器214读取并反转。该反转的图形可以由可选帧间图像处理器216控制进行可选的帧内图像处理,然后通过输入输出接口120进行输出显示、存储、进行另外的处理,等等。
可选的帧内图像处理器210包括基于行和帧的处理功能,用以操作和控制成像器控制。例如,处理器210可以设置反馈增益和偏移量以在数值上适应不同的照明装置控制器和检测器输出,可以设置增益以消除或限制***的发散倾向,还可以用于加速会聚以及提高***灵敏度。对于后一方面另有详细论述。为了易于理解,这里假设检测器和照明装置的控制值在数值上相似,即检测器灰度差的一个级别等同于照明装置输出差的一个级别。
作为图2中的设备进行会聚后的结果,将少量信号散射回检测器的那些视点变成由较高光强的光照射,同时将大量信号散射回检测器的那些视点变成由较低光强的光照射。在会合上,从每个点接收到的所有光能可达到实际上相等。
表面亮度有差异的原因之一在于被照射物质的吸光率特性。该差异的另一原因在于与检测器的距离不同。由于本***中照明源内在的适应性,经常会发生的附加结果是景深变大。此外,该增加的景深可由比其他可能的方式具更低照明输出功率和更低功耗的***加以实现。由于充分或近似恰当数量的光强输出至任何一个点,这些视点基本不会被过度照明。对比其他的***必须充分地照射到所有的视点,以便获取FOV中最暗的所关注的视点反射回的确定的能量,本***可仅对那些所关注的特定最暗的视点输出较高的照射能量,而其他具有较高的表面亮度的视点接收到较少的照明能量。此外,照明输出能量常常受舒适或安全要求的限制。由于这种安全规程通常取决于对在相对长的时间段内对相应人眼瞳孔的大小而言,相对大的视点的整体入射能量的度量,所以一个对照明能量在时间和空间上都有限制的***,其固有的优势在于可达到数值上更低、名义上更安全的等级。因此,在某些应用中,该***可在限定的安全等级上达到高扫描范围。
可选的帧内图像处理器210和/或可选的帧间图像处理器216可相互协作,以确保遵守所期望的安全等级或者其他亮度限制。该操作通过例如***逻辑或硬件来执行,其限制任何对应于帧缓冲器中象素照明值的范围的局部化的视点群的总能量值。进一步的逻辑可使随后的各帧中之前强度被限制的象素的照明强度得到加强。事实上,相比其他允许具有装置安全等级的***,该***可选择性地使某些象素能得到更高强度的照明(在有限的时间段内)。这样,该***可以在多帧内探测FOV的远处和/或暗处区域,获取这些视点的灰度值,而不会超出期望的强度限制。
参照图3、4a和4b,图2所示装置的效果可以更为有效地可视化。图3所示为帧缓冲器202典型的起始状态相应的情形。可变照明装置109产生的光束110显示在图中三个位置110a、110b和110c,它们各自对三个相应的视点112a、112b和112c进行照明。所示视点112a具有相对低的表面亮度,视点112b具有中等的表面亮度,以及视点112c,具有相对高的表面亮度,分别显示为暗灰色、中等灰色和淡灰色阴影。
在对应图3的起始状态中,照明束110可对所有位置都供以中等能量照射,图中示为与视点112a、112b和112c相接的中长虚线。这样,暗视点112a、中等亮度的视点112b和亮视点112c分别将微弱散射的信号114a、中等散射的信号114b和强散射的信号114c反射回检测器116。微弱散射的信号114a图示为短虚线,中等散射的信号114b图示为中长虚线,以及强散射的信号114c图示为实线。
图4a所示情形中帧缓冲器202已经会聚于平面视场回应。在会聚之后,由可变照明装置109产生的光束110照射强度与其所接触的112每个视点处的表面亮度成反比。特别地,暗视点112a由相对较强的照明束110a照射,结果是反射回中等强度的散射信号114a到检测器116。中等亮视点112b由中等强度的照明束110b进行照射,结果是反射回中等强度的散射信号114b到检测器116。亮视点112c由相对较弱的照明束110c进行照射,结果是反射回中等强度的散射信号114c到检测器116。在图4a所示的情况下,图像信息不再完全地取决于返回到检测器的信号的强度,而是取决于用来对FOV照明的光束的强度。
当然也可能并在某些情况中可优选不对FOV采取这样的照射方式以便让所有的视点都反射基本相同的能量到检测器。例如,可优选将返回的信号略为压缩以保持散射信号的相对强度,但要按需要将它们上下移动以便落在检测器116的动态范围之内。图4b为所述的不同操作。在这种情况中,照明束110的强度已经过可变照明装置109的调整。略微提高束110a的强度可提高散射信号114a的强度以高于检测器116的检测底限,但仍保持散射信号114a的强度低于其他的由具较高表面亮度的视点112b所散射的信号114b。该检测下限可以相当于如量子效率限度、光子噪声限度、电噪声限度或其他限度。相反,表面较亮的视点112c由束110c照射,略微降低其强度以降低散射信号114c的强度,使之低于检测器116的检测上限,但其强度仍然保持高于其他具较低表面亮度的视点112b返回的散射信号114b。该检测器116的检测上限可相当于,例如积分检测器,如CCD或CMOS阵列、与非象素化检测器,如PIN二极管有关的A/D转换器的非线性部分,的全容量,或者其他由设计者设置的实际或任意的极限。当然,其他具有落入检测器界限内的散射信号的视点处相应的照明束强度可以根据应用的要求以线性或非线性的方式进行近似地调节。例如,在应用中若灰度信息适当,一组表面亮度连续增加的视点可由能量连续减少的束进行照射,将导致反射系数值分布在检测器的动态范围内。相反,在应用中如果需要将灰度系数和对比度最大化,选择照射能量时则适合基于全局或局部的阈值算法,该算法将促使散射信号强度沿一个或其它方向达到检测器的下限或上限。
图5所示例子为,沿着一条线性路径的数个视点的反射系数值如何能收敛为基本恒定的反射系数值,同时灰度值保持与扫描路径的照明光束强度轮廓相反。FOV111包含扫描路径112,该扫描路径具有的多个视点可按反射系数的值或表面亮度级别进行分类。反射系数类别包括白色视点502,浅灰色视点504,中等灰色的视点506和黑视点508。示于FOV 111之下的是几条垂直排列的波形。波形510所示为与扫描路径112相应的照明装置功率。在这个例子中,该照明装置功率在第一次扫描中保持恒定在00级别,所述级别共有7个,以二进位值标记,其范围从-11到+11。
波形511是动态范围限制为三种状态:00(象征性的),≥+01,和≤-01的检测器的理想响应。其忽略了光学影响如高斯畸变,且假设其增益等于照明装置增益,即±01检测器单元对应±01照明装置单元。在波形511中,从白色视点502散射出的00强度的束照射检测器。这从检测器值512在白色视点502相应位置的曲线(≥+01)处可看到。相反,从中等灰色的视点506和黑视点508反射的00强度的束,在视点506和508相应的波形位置516引起≤-01的不可检测的响应。浅灰视点504散射中等能量的信号,与检测器响应等级为00的514波形相应。
根据图2的过程,检测器波形511经反转后加到照明装置波形509上,以产生新的照明装置波形521。由于最初的照明装置波形509是恒定的,故照明装置波形521仅为检测器波形511的反转,具有高检测能量区域512相应的-01低强度区域522,中等检测能量区域514相应的00中等强度区域524,以及低检测能量区域516相应的+01高强度区域526。
束112随后再次扫描FOV 111,所用照明装置功率波形521可以如帧缓冲器的形式实现。检测器波形531由束112的第二次穿越产生。这次,中灰色的视点506与浅灰视点504一起落入检测器的动态范围,但仍有视点落在检测器的范围之外。检测器波形531经反转后加到先前的照明装置波形521上,以产生第三次穿越的照明装置波形541,其包含白色视点112相应的强度等级542的-10,浅灰视点504相应的等级544的00,中等灰色的视点506相应的等级546的+01,以及黑视点508相应的等级548的+11。束112最终使用照明装置功率波形541扫描FOV111。结果检测器强度波形551恒定并处于检测器的动态范围513内,表示完成会聚。因此照明装置功率波形541的反转成为穿越FOV111的线性扫描路径112的图像。所以,对照510对视点进行比较后,我们可以发现白色视点502的灰度值为+10,浅灰视点504的灰度值为00,中等灰色的视点506的灰度值为-01,以及黑视点508的灰度值为-10。
可见,***可记录动态范围可大于检测器的动态范围的图像。在图5的例子中,图像有5个确定级别的灰度范围(-10to+10),而检测器仅有一个确定的灰度级。
图6为调整照明强度的实施例的逻辑流程图。经步骤602对帧缓冲器进行初始化。在某些实施例中,可设定固定的初始值,位于其范围的中间、低端或高端附近。可选地,可设计准随机模式以对值的范围进行测试。在其他实施例中,其值可从当前帧中的先前象素获知,某些方法将在图8和图9中描述。在更多其他实施例中,其值可从先前帧或先前图像获知。
使用初始帧缓冲器值时,步骤604和606a分别为对视点进行照明和检测该视点的散射信号。如果在每个判断步骤608中检测到的信号太强,则经步骤610减弱照明强度,且该过程从步骤604和606开始重复。如果检测到的信号不是太强,经每个步骤612测试该信号是否太弱。如果该信号太弱,则经步骤614调高照明强度,且该过程从步骤604和606开始重复。
步骤608和612的阈值可用多种方式设置。对于积分检测器,例如CCD检测器,低阈值可设到噪声等效功率(NEP)(如,相应于光子点噪声或者电子点噪声),高阈值可设到全容量。即时检测器如典型的的光电二极管,其检测范围的上限以非线性响应限定,下限以NEP限定。因此,低阈值和高阈值可由这些界限设定以使灰度分辨率最大化。可选地,低阈值和高阈值可根据图像属性、应用、用户参数选择、照明强度范围、电能节约模式等设定。
另外,步骤608和612中所用的低阈值和高阈值,在穿越FOV时是可变的。例如,当使用图4b所示的动态范围压缩器时,指定视点的照明装置能量可根据照明能量范围和/或从穿越FOV的相应视点的范围内检测到的散射进行选择。例如,其实中等灰色的视点112b可以仅需少量的照明强度,以将其散射或反射系数提高到当没有额外的较暗视点的检测所需要的最小等级;若存在额外的较暗视点112a说明步骤612的最小阈值已为该视点略为提高,以将其表面亮度提高到足够处于检测器动态范围内,为额外的较暗视点腾出空位,使之也落在动态范围之内。
当落入检测器允许的范围的散射信号接收之后,检测器值经过任选步骤616被反转并在任选步骤618中传送以进行进一步的处理、存储或者显示。步骤616和618为根据应用确定的一般任选步骤。
对于包括扫描束成像的应用,以及当照明装置功率本身包括象素信息的重要部分,有必要对象素照明装置功率进行反转和传送。另一方面,当低阈值和高阈值之间的范围很大(分别对于步骤608和612),照明装置功率可用于,利用大部分保留在检测器值中的象素信息,从根本上相对地补偿穿越FOV的大范围差异。这可用于例如当照明装置功率调制用于补偿全部FOV的反射率、范围、透射率、或者其它在总体意义上可以更改信号的作用。对于有些应用,大部分或全部的有用的图像信息可以通过在进一步的处理中所忽略的检测器和照明装置功率而确定。
除此之外或者,如前所述,检测器值可经过任选步骤620传送,取代了传送照明装置功率以便进行进一步操作。在某些应用中,尤其是那些其中检测器动态范围非常有限的应用中,从所选的照明强度得到的检测器值中的有效图像信息非常少,且可省略传输检测器的值。
在其它应用中,图像数据中重要有用的部分可存在于照明装置功率和检测器值两者之中。这种类型应用的例子之一是,其中照明装置功率用于扩大装置的工作范围,同时大部分图像信息存在于检测器的值中,但照明强度保留的少量表面象素亮度信息成为了象素值最重要的少量部分。
上述一套方法的反馈或前馈控制方案可由,例如取决于实施例的要求和限制的算法调节或者查找表来实现。
这里描述的***的两个可能的副作用是时间或空间的解析度的降低。即,在图像会聚的过程中,若图像相对于扫描器有所移动,就必须重会聚(增加延迟期),并且/或者可导致生成对应于具有相对检测器动态范围有高对比的边缘的模糊的视点的值(有效减少空间解析度)。克服这个问题的一个方法是充分提高帧频和/或空间解析度,使得任何模糊的视点短暂出现或数量少到可以忽略不计。另一技术可参阅图2,其中可选的帧内图像处理器210和可选的帧间图像处理器216可协作来加速会聚。
如上所述,可选的帧内图像处理器210包括基于行和帧的处理功能元件,用以操控成像器控制,并能加速会聚以及扩大***的灵敏度。特别地,为控制源强度等级,可选的帧内图像处理器210可将灰度值载入帧缓冲器,以取代通常由反转的剩余附加载入的值。帧内图像处理器210也可将值载入帧缓冲器中除当前经处理的象素外的其它象素中。
图7、图8和图9所示为可选的帧内图像处理器210和可选的帧间图像处理器216所用的方法,用以提高会聚的速度或者降低会聚的时间,同时图7所示为图5过程中的一帧相应的操作。图7所示为两条邻近的扫描线112a和112b在二维的FOV 111中穿越。在这个例子中,扫描线112a为从左到右扫描而扫描线112b为从右到左的扫描。FOV111包含三个区域:中灰色区域506,及与其各边相邻的浅灰区域504a和504b,且扫描线112a和112b穿过该浅灰区域504a和504b。叠合在该扫描线上的是个别象素702和704。为清晰起见,只以少数象素示意。这个讨论中重要的区域为与从浅灰到中灰色以及反向移动相应的每条扫描线中的该少数象素。该象素的阴影表明确定的或者非确定的灰度值取决于扫描束成像器。为了该讨论,设扫描线112a和112b的照明装置功率初值设为恒定值509。
将图7和图5相比较,浅灰区域504相应的象素702a、702b、702c和702d在第一次扫描中确定,如同图5中的灰色等级00区域。因此,象素702表示为浅灰色,与相应的FOV视点的实际灰色等级相等。当扫描线112a依次从左至右穿越从区域504a到区域506的移动段,右边缘相应的象素704a图示为黑色。这表示它们的值不确定。即,检测器接收了低于其最低灵敏度或最低限度的信号,所以不能确定区域506的实际灰色等级是比检测器可检测的动态范围暗一点还是暗得多。沿扫描线进一步进行该过程,区域506中的视点相应的所有象素在当前帧中不能确定(尽管,经过图5的过程后,那些随后的帧的视点的照明强度将会减弱,且象素704a随后就可确定)。当扫描线112a穿越从区域506到区域504b的边缘时,其再次接收到足够的光能量以使信号落在检测器的范围内,且象素702b因此而确定并显示为浅灰色阴影,与区域504b内的视点的阴影相应。随后的从右至左的扫描线112b重复该过程,同时区域504a和504b相应的象素可确定,而区域506相应的象素不能确定(暗色)。
图8所示为使某些视点会聚更快的技术。图8中的技术可使得某些不确定的(暗色)象素先于随后的帧得到确定。其负效应为又产生了一些其它的不确定(浅色)象素。另外的不确定的象素的详细特征、浅色与暗色之比已不重要;这些是图8的特殊例子的功能。如图7,扫描线112a产生了与区域504a中的视点相应的确定的浅灰色象素702a。如前,在穿越从区域504a到区域506的边缘之后,象素值变为不确定的704a象素。然而,这次使用了自适应的照明装置功率,以便当束仍在区域506内时恢复确定度。在一个或更多的象素值变为不确定(暗色)之后,照明装置功率将加大直到检测到的能量提高到检测器下限之上,因此产生了确定的中等灰色的象素802a。当扫描线穿越从区域506到504b的边缘,之后的象素804a不能确定(浅色)。这可能由于照明装置功率设置为适于较暗区域506的等级,以致较亮区域504b的过多信号覆盖了检测器。与扫描路径从区域504a到506的边缘穿越之后所发生的方式相似,照明装置功率降低,直到反射的能量再次处于检测器的动态范围之内,以致浅灰象素702b的确定。该过程在之后的扫描112b中重复。
从对图8的检视可看到,超过动态范围的边缘被穿越之后产生了三部分不确定象素。因此,在这个例子中,可选的帧内图像处理器210的逻辑要求三部分连续的不确定(暗色)象素,或者不确定(浅色)象素在将照明强度分别重设为更高或更低之前被获取。当检测器动态范围相对FOV动态范围较小和/或当FOV中存在相对图像定位性的较高频、较细微特征时,先于照明装置功率的调整而设置较大量的同一标记的不确定象素采集可能有帮助。这样可以减少加速处理中产生不稳定性的倾向。当特征较明显或者当检测器的动态范围增大时,较少量的不确定象素采集可能更加合适。进一步改进并优选的实施例自动将会聚加速器增益的设置基于所观察的和/或先前记载的FOV特征,例如表面特征尺寸分布和表面动态范围。
照明装置功率调整步骤尺度通常为检测器动态范围和会聚算法的一个功能。例如,对于动态范围小的检测器,通常优选其初始照明装置调整幅度不大于检测器的动态范围的调整。对于具有显著特征和/或大的动态范围(相对于检测器动态范围)的图像,具备可变的照明装置控制步骤尺度会比较有利,用更多的步骤以加速帧内会聚。可应用已知的多种搜索算法。
对于检测器动态范围相对FOV的表面动态范围较大的情况,较有利的方法是动态地调整照明装置功率以保持散射信号位于检测器动态范围的中间。这样当穿越边缘时可以提高***对会聚丢失的抗扰性。
当选择将初始照明装置功率设为恒定值,可使用具有可变输出的初始强度模式,例如体现为帧缓冲器中的位图。特别当检测器动态范围非常狭窄时,这样可以有助于加快通常具有较大特征的场景会聚。作为预加载搜索算法的该操作包含照明装置功率多样化。
图9所示为加速会聚的方法,其可以克服图8中的额外不确定(浅色)象素804a和804b的负作用。图9中的技术利用了多数图像的特征,所述图像中给定区域中的相邻视点趋向于具有相似的灰度值。特别地,沿着一边缘上的视点趋向于具有与该同一边缘上相邻视点相似的灰度值。沿着相对的边缘则相反。因此,适于将象素702a的确定的浅灰度值用作为象素804b的不确定值的合理的推测值。相似地,象素802b的灰度值可替代象素704a的不确定值,象素802a的确定值替代不确定的象素704b,以及象素702c的确定值替代不确定的象素804a。图9所示的该方法用箭头表示,其指向从确定象素至它们相关的不确定象素。该程序在扫描112a和112b后实行,以填入未知值并在后继帧的过程中产生伪会聚图像以便校验。还可预先实行一类似的程序,即使用一条扫描线的照明映射作为后继的扫描线的该照明映射的起始点。经过一些扫描线的周期后,开始出现边缘,进一步使图像处理器获知该帧中的未经扫描的象素的可能值。在图像处理技术领域中的技术人员所知的边缘检测和其他应用算法适用于该应用。
作为照明装置功率的反馈或前馈控制的可选办法,如上所述,或者作为所述控制的可选执行办法,***可根据一个或多个照明装置功率遮蔽来选择照明装置功率。对于前窥结肠镜的情况,例如,FOV的中心通常可比FOV的***结合了更多的距离特征。在这种情况中,较为有利的是使用“中心增强”遮蔽以在FOV中心附近的区域的一个或更多通道中选择更高的照明装置功率。类似地,检测器或检测器光纤的角度灵敏度变化,检测器或者检测光纤的分布状态,以及其他作用可减低FOV某些部分的聚光率。而“采集增强”遮蔽可用于在FOV中采集率降低的相应位置处采用更高的照明装置功率。
照明装置功率遮蔽可以是固定的,其适用于例如克服采集率的变化、或者具有可重复的图像性质的特殊应用中。可选地,照明装置功率遮蔽可由用户选择,其适用于例如当外科医生希望立即对远距离区域进行照明时。照明装置功率遮蔽也可根据应用或者图像特性进行自动选择。这样对照明装置功率遮蔽的自动选择可有助于,通过减少或消除进行反馈(或前馈)算法或者基于象素到象素的查找表的需要,从而减少了对于图像处理功能的需求。
回顾图2中的探测暗视点和/或远距离视点的讨论,并结合前述的图9的讨论,可发现增进这种远距离视点的会聚时间的方法。由于周围的象素可能合理地具有近似灰度值,故通过应用少量穿越区域的脉冲探测,***可以为迅速会聚合理地确定初始象素值的设置,并通过在确定值中插值选择象素值。经过几帧的期间后,***最后可以探测暗区中的所有象素,以提供完全的FOV灰度信息,而用其他的方式无法获知。为了防止对激光的曝光过度,设置规则和脉冲方法要慎重定义。
可选的帧间图像处理器216执行基于帧的图像处理,可用于使***获悉边缘跟踪和探测功能,并可将帧缓冲器值转换为适于显示或进一步处理的值。可选的帧间图像处理器216可以包括,补偿移动FOV的图像自动校直,白平衡补偿,灰度系数校正(灰度扩充,压缩,或转换),全过程校正(全过程扩充,压缩,或转换),象素插值,对无效象素值的抑制,噪声的降低,以及合成帧缓冲器和检测器的数据。
可选的帧间图像处理器216的许多功能是基于边缘检测和跟踪技术,例如用于边缘检测的梯度或Sobel算子和用于跟踪的局部极大/极小值提取。这些或其他的用于边缘检测和局部极大/极小值提取的技术为图像处理领域的技术人员所公知。同样,当可选的帧内图像处理器210操作时,可能将不确定值留在帧缓冲器中。可选的帧间图像处理器216可通过跟踪不确定的象素以及可选地将这些数据与其他FOV信息结合来从输出中“剔除”这些值。
当几个边缘具有同一的移动向量,可选的帧间图像处理器216可以推断出整个FOV相对于***的位移,并计算出所发生的偏斜以及执行自动校直算法。
白平衡处理可以补偿源效率或功率的差异以及检测器效率的差异。存储校准值可使该过程非常简单明了。为模拟环境照明效果,可选的帧间图像处理器216可将值转化为有效照明色温。
可选的帧间图像处理器216可使用噪声相关原则降低噪声以区别帧缓冲器数据中的变化,该数据与场景及原始噪声的结构相关,并应用平滑函数来“清理”图像。这些技术都为现有技术领域中公知的。
图10为内窥镜***的等比例图。控制组件1002、监视器1004和可选的泵1006可安置于推车1008上。这些组件整合之后在下文称为控制台1010。包含1010在内的组件项可以任意地分开或组合设置以适应实际应用。控制台1010通过外部电缆1014与手柄1012连通,该外部电缆1014经连接器1016与控制台1010连接。连接器1016具有两个部分1016a和1016b(未清楚地图示),可连接也可断开。手柄1012与内窥镜顶端1018连接,该内窥镜顶端可以是柔性的,也可以是刚性的(通常指腹腔镜)。末端1019,例如可以是易操纵的顶端,包括用于扫描视场束的设备,收集散射的光能量,并将该散射的光能量各自的信号通过内窥镜1018,手柄1012,和外部电缆1014传送进控制台1010。
手柄1012可包括可选的控制器1020,该控制器可包括例如亮度,缩放,静态照相,FOV角度,顶端清洗,灌入,润滑剂配送,及其他的有利于用户即时可知的输入。此外,当内窥镜1018为柔性时,手柄1012可包括操纵控制1022,用于控制末端1019与内窥镜1018其他部分所成的角度。手柄1012还可进一步包括工作通道装置1024,可将各种工具穿过内窥镜1018的工作通道后放入该装置,充分在末端1019的末端现出,以执行各种外科手术,诊断,或者其他任务。
可选的泵1006可包括灌入软管,其与手柄1012连接。灌入软管1026可经连接器1028与可选的泵1006连接。经灌入软管1026泵出的溶液压入内窥镜1018可选的灌入通道。可选地,可选的泵1006可包括分流软管1030,其连接于控制组件1002,分流软管1030承载的流体随后并入控制组件1002内其他的信号线,并经连接器1016和外部电缆1014送到手柄1012并送入内窥镜1018。该可选的设备布置可使用户条用较少的外部软管和外部电缆。
作为泵1006的可选项或者附加项,可应用吸水管以除去作业空间内多余的流体和残留物。
控制台1010也可包括附加控制器1032和/或指示器1034,示于控制组件1002中。这些控制器和指示器可为,例如当对图10中的设备进行装配或修理时有用的类型。
图11为着重描述内窥镜***中不同元件之间关系的结构图。控制组件1002包含的几个逻辑的和/或物理的元件协作可在监控器1004上产生图像。视频处理器和控制器1102的形式可为微机主板,可接收控制输入并对控制组件1002中其他元件的操作模式进行控制。另外,视频处理器和控制器1102可包括图像处理功能。
实时处理器1104,其可体现为,例如设置于视频处理器和控制器1102上的PCI板,作为选择,可以是视频处理器和控制器1102所带的物理逻辑装置。实时处理器1104与光源组件1106,扫描器控制组件1110,及检测器组件1116组合。光源组件1106可以可选地分离安置,其包括一个或多个照明装置,这些照明装置产生光能量,用于成像顶端进行束扫描。光源组件1106经光纤1108输出光能量,其顺次经连接器1016与外部电缆1014连接,这里所述的连接器具有两个部分1016a和1016b。在途经内窥镜1018、通过手柄1012后对FOV进行扫描的光,经内窥镜顶端收集后,相应的各个返回的信号经过内窥镜1018,手柄1012,和外部电缆1014,并通过连接器1016回到控制器组件1002。
在某些实施例中,通过外部设备传送回的各个信号为光信号。因此返回信号线1114可以是通往检测器组件1116的一根光纤或者一束光纤。在检测器组件1116中,与FOV特征相应的光学信号转化为电信号,返回到实时处理器1104以进行实时处理,并对视频处理器和控制器1102给出分析。与光信号相应的电信号可得到放大,并在传送到实时处理器1104前由检测器组件1116进行数字化。可选地,可将模拟信号传给实时处理器1104并在其中进行模数转换。检测器组件1116和实时处理器1104可结合为一个物理元件。
在可选的实施例中,FOV的光样本可在顶端由一个或多个图像检测器如光电二极管转换为电信号,这样,返回信号线1114可体现为电线,而检测器组件1116可略去。当执行末端的光电转换时,较有利的做法是放大成像顶端检测到的信号,同时降低阻抗,降低电噪声,并提高检测器或检测器的敏感度。此外,最好在末端成像顶端1019执行模数转换,或者可选地在手柄1012中执行,以便降低较长信号线的阻抗,该信号线穿过外部电缆1014,手柄1012,在进行末端模数转换的情况下还穿过内窥镜1018。这样,信号线1114可以包含数字线和连接器1016,该连接器用于联结至少某些数字信号。
实时处理器1104可以任选地执行信号水准测量,调节与FOV中各个视点表面亮度相应的光源组件输出。
扫描器控制组件1110控制成像顶端的光束扫描器。在扫描器具有完整的定位传感的情况,其也可处理可指示扫描器位置的传感线。因此扫描器控制线1112可包括双向的控制线。扫描器控制组件1110可直接给扫描器提供驱动电流。可选地,扫描器控制组件1110可以对理想的扫描器驱动器的信号样本提供转化为驱动电流的操作,该转换在更末端的区域例如手柄1012或者成像顶端1019进行。这样,如同其他可选项,最好从控制台1010提供DC或者AC功率经连接器1016到末端组件。
对于确定扫描器相对于扫描器控制线1112的位置,可选地或者附属地,确定扫描器相对于通过返回信号线1114的FOV样本信号的位置会比较有利。这样,实时处理器1104可以用与接收的光信号相应的方式驱动扫描器控制组件1110。
扫描器可由控制组件1002驱动,或可选地,***可用实际的扫描器频率来驱动***,通俗地说叫“摇尾狗”。
此外,控制线1117可通到手柄1012,以便经用户对控制器1020和可选的操纵控制器1022的操作而输出控制信号。当执行操控时,在控制台的控制下优于严格来自于操控控制器1022和控制电线之间的物理连接,控制线1117可另外将控制信号带到控制操控设备。控制线1117可另外地承载指示器或显示器的信息到手柄1012以传送给用户。
视频处理器和控制器1102有接口1118,其可包含几条分离的输入/输出线。视频输出可到达监视器1004。可连接记录装置1102以捕捉视频信息,记录处理过程。此外,内窥镜成像***1001可连接到网络或因特网1122用于远程专家输入,远程检查,存档,资料库修复等。视频处理器和控制器1102可任选地将经过I/O1118接收到的数据与图像数据结合,并以得自包括成像顶端1019的多个源的信息驱动监视器1004。
除此之外,或作为监视器1004的可选项,显示器可作为一个或多个远程装置的输出,例如置顶显示器。这样,背景信息例如观察全景可与FOV和/或视频处理器和控制器1102中的其他信息相结合,以产生上下相关的信息显示。
泵1006的控制线可源于手柄1012并经过控制组件1002。图11所示为灌入经灌入分流管1030到达控制组件并经过连接器1016送出的情况。
未图示的是额外可选的特征,例如润滑剂、生理盐水和/或麻醉剂泵。
图12为扫描组件1201的纵剖面图。该扫描组件由封装和支撑扫描器108的外罩1202和相关联的装置组成。光纤1204可为例如单模光纤,为扫描组件供应光线并由金属环1206固定在外罩1202上。光纤1204的末端可经抛光,以令初始光束1208产生预知的发散角。初始束1208由光束成形镜片整形后,产生形状适于在***的其它部分内传输的光束。可知,该光束成形镜片1210的全部或部分可以移动或者可变形状以控制光束的发散,中间部分的位置以及中间部分的角度。在整形后,成形的光束1211通过在MEMS扫描器108的中间的孔径发出,从第一反射表面反射回到扫描器的前部,然后从扫描组件输出,即为扫描光束110。
作为光束整形镜片1210的可选项或附加项,可使用能反射的光束整形光学元件,其可任选地与扫描镜108组合。该装置在美国的专利申请号为09/400,350,题为“带修正的光学扫描***”中有讲解,申请日为2000年9月11,属于共同发明人克拉伦斯(Clarence T),泰格林(Tegreene)和戴维·狄更希茨(David Dickensheets),以作参考。
在图12的某些实施例中,在外罩1202末端固定有圆顶1212。圆顶1212提供许多功能。该圆顶1212的内部包括第一反射表面,这里示为圆顶的整个内部。可选地,第一反射表面可悬置于圆顶和扫描器之间,或者第一反射表面可以是圆顶的一个特殊形状,例如带有反射末端的突出支柱。由此可见,圆顶的内部表面提供了第一反射表面。此外,圆顶的内部和/或外部可具备光学权重,因而可当光束通过其内部时可以进一步对光束进行整形,形成扫描束110。此外,圆顶1212可为外罩1202提供真空密封,因此保护了内部的光学元件避免接触外部环境。
控制和/或电源线1214通过金属环1206。导线1214连接到扫描器108,提供驱动信号,任选地,还提供位置反馈。反射镜位置可用掺杂的压阻元件确定,所述压阻元件可参阅一个或以上的MEMS扫描器专利说明内容。电导线1214也可包括控制和反馈连接,用以控制光束整形镜片1210的聚焦特性。
可选地,反射镜位置可用光学方式确定。传感元件1216可以用于例如检测一个或多个扫描的末端,这样来提供同步信息。传感元件1216可为例如光电二极管,其给控制台1010传送信号,并且当扫描光束110照在其上时,特别还会向扫描器控制组件1110传送信号。可选地,传感元件1216可以是反射率已知的光学元件,其逆着光束路径并通过光纤1204传送回溯的光信号。这样,分光镜,瞬间连接器,或者等同的元件可组合在光源组件1106中,以捕捉返回的信号以便于检测和传送到其它控制元件,例如实时处理器1104。
配准槽1216可形成于外罩1202内以助于将扫描组件1201与扫描顶端1019配准。
图13扫描内窥镜末梢成像顶端1019的横截面图。扫描组件1201被检测器元件1302环绕,检测器元件1302依次被外壳1304环绕。检测器元件1302可为例如多模光纤,其可传送反射信号回到末端1018并到达控制器1002中的检测器组件1116上。检测器元件1302间可存在间隙1306。
作为光纤光学装置的替代,检测器元件1302可包含光电转换器例如光电二极管。外壳1304在弹性内窥镜中可以是弹性的,而在刚性腹腔镜或等同的刚性装置中可以是刚性的。作为可选项,外壳1304可以置入另一个作为实际的装置遮蔽物的壳体中。
图14为某实施例中对光的两个偏振具有差别反射的扫描端组件的内拱顶表面的纵剖面图。内表面1212a可包含两层,四分之一波旋转器1402和反射起偏器1404。反射起偏器通常包括以子波长间隔平行的导体,其允许偏振方向平行于它们方向的光通过,同时偏振方向垂直于它们方向的成分被反射。该起偏器的例子公开在美国专利号为6,449,092,题为“具有减小轴向色差的可延伸的红色波段边缘的反射起偏器”的专利中,可作参考。
当入射的经整形的具有特殊偏振1406的束1211,通过四分之一波片1402时,其偏振态旋转了45°。在优选实施例中,其旋转到与反射起偏器1404的传播轴垂直。因此,经过四分之一波片以后,被反射的光束是1408,并将其偏振态再旋转45°形成偏振1410,并垂直于入射偏振1406。被反射的束1408随后由扫描器108(未图示)反射后成为扫描光束110。
反射起偏器1404可仅覆盖圆顶1212内部的部分,与来自束1211的入射光一致。可选地,圆顶的整个内部都可由反射起偏器1404覆盖。在扫描束110再次遇到反射起偏器1404的情况,其在第三次通过四分之一波片1402时先将自身偏振旋转45°。这次,扫描束110的偏振旋转到平行于反射起偏器1404的传播轴,因此能通过圆顶1212。
如上所述,该反射起偏器和其他与偏振相关的结构都可用半透明的反射镜代替。
图15为扫描组件1201的等比例图,所图示为管状外罩1202的末梢固定有圆顶1212。扫描组件1201也包括配准槽1216,形成于外罩1202里端,同时光纤1204和电导线1214在扫描组件1201的里端会合。扫描组件1201可具有例如约2.5mm或更小的外径,并具有约20mm或更小的长度。
图16为末端成像顶端1019的光学元件的等比例图,可使读者更好地透视图12中所示的扫描组件特征的相应布局,且光检测元件1302具体为光纤。接合元件1602可用于提高检测器光纤的机械强度和/或提高光纤1302的有效数值孔径,以及提供对散射或反射光更有效的聚集。在其中检测器光纤的高指数芯线较软的实施例中,元件1602可使用透明材料例如塑料或玻璃以控制所述芯线在适当位置。在另一个实施例中,使用能提高检测光纤1302的数值孔径N.A.较为有利。该N.A.增强元件有利于聚集较大FOV的外部光线例如从120°到140°的FOV。对于该应用,技术人员已知的多种材料都可应用,例如聚四氟乙烯(PTFE),或者其它具有类似光学特性的材料。
在某些实施例中,接合元件1602可包括对扫描光束110是横向极化的起偏器(未图示)。该起偏器可有助于抑制视场中的镜面反射,因此减少了影响图像质量的闪烁。
在这个实施例中,所有组件由外壳1304所环绕。
图17为与图12-16中所描绘的末端光学装置类似的光迹线图。输入束1208由球面透镜1210成形以穿过MEMS扫描器108(该处图示为多个离散位置)中的孔径,之后其从圆顶1212的内表面1212a反射回反射镜108。扫描束110的多个位置示为束110a到110g。扫描束穿过圆顶1212时,同时由内表面1212a和外表面1212b整形,所产生光束形状示为扫描束位置110a到110g。
图18为顶端布局,包括工作通道和排列在扫描组件和工作通道周围间隙内的检测光纤。外壳1304围住的是扫描组件1201和工作通道1802。工作通道1802适用于传递外科手术工具,诊断工具,或流体如用于膨胀的空气,冲洗用的生理盐水,或者用于去除和处理的活动流体。在其他实施例中,通道1802或者一个或多个检测光纤1302可由润滑剂传送通道或药物通道代替。图18的顶端布局适用于刚性腹腔镜和弹性内窥镜。
重要的是本发明的特性在于可将围绕在顶端周围的检测元件分布在可用空间,而不用考虑维持相对于图像的确切方向。
图19为带润滑剂传送的末端的等比例图。外壳1304的顶端由末端盖1902包覆,该末端盖包括整体的光学接合片1602和扫描组件圆顶1212。所示返回光纤1306位于末端盖1902的整体光学接合片部分之后。末端盖1902的边角1903为圆角以放松内窥镜穿过的机体组织,同时将损伤最小化。末端盖1902进一步包括至少一个润滑剂传送口1906,通过该传送口可以进行润滑剂的传送以进一步放松所穿过的身体组织和/或体腔的通道。润滑剂可间歇或连续地从润滑剂传送口1906送出。由于大量的患者损伤是由于内窥镜检查程序涉及迫使内窥镜在GI***中弯曲,故该润滑剂传送***可以减低患者的损伤和不适。在一个实施例中,润滑剂可应需而得,做法是临床医生推动手柄上的活塞把润滑剂从润滑剂管送下并送出润滑剂传送孔1906。在这个实施例中,润滑剂可存储在注射器中。在另一个实施例中,临床医生可使用泵,以将润滑剂从润滑剂传送孔泵出。在又一个实施例中,润滑剂可自动送出。
许多种润滑剂都可使用。使用水溶性润滑剂如K-Y浆在某些应用中较为有利。
图20所示为内窥镜顶端布局具有立体或体视成像能力。扫描组件1201a和1201b排列在顶端的远景位置以便在它们各自的视场之间产生视差。在图20的实施例中,它们在一条定义为视场“地平线”的水平弦上分开排列。如需要可以任意地转换视角。所示工作通道1802位于扫描组件之间或之下。如果空间允许,检测光纤1302可围绕其它部件排列。在某些实施例中,可优选在间隙内填入尽可能多的检测光纤穿过末端以将返回的信号强度最大化。所示润滑剂口1906围绕成像顶端1019外圈排列。
在操作中,来自扫描组件1201a和1201b的束可以同时或交替地扫描它们各自的视场,所述视场可完全重叠。如果同时扫描,该束可编码以便于对返回的信号进行分离。例如,两个组件之间的波长可能会些许地互相偏离,需要使用光学设备将信号分离。在另一个实施例中,该束可周期性编码以便于电学领域的分离信号。
可使用具有多个扫描组件的顶端,例如,用以扩大复合视场,提供缩放能力,提供更高的解析度,或者扫描在其他物中不同波长的光。在创建扩大的复合视场的情况,各个扫描组件的视场可以平铺或者些微重叠以生成整个图像,其尺寸要大于任何由个别扫描组件生成的图像。有关图像平铺的详细描述可参考一个或以上一般指定的美国专利。
对于以多个扫描组件提供缩放能力的情况,这样的***可连续,自动或选择性地运转。在该***的一个例子中,可配置第一扫描组件以提供可穿越带匹配解析度的140°FOV的SVGA寻址能力-即,设置突出的视点尺度以充分匹配在某些工作范围的象素间距或工作范围的范围。可配置第二扫描组件以提供可穿越在一个或多个工作范围带有匹配解析度的70°FOV的SVGA寻址能力。这样,可设置第二扫描组件,以半数与第一视点尺度半径的视点尺度扫描等同的工作范围。可选地,可配置第二扫描组件,以两倍于第一扫描组件的工作范围,扫描等同的视点。本领域中的技术人员可熟知其他组合。
对于使用多个扫描组件以提供更高解析度的实施例,可有多种模式。在第一种模式中,多个扫描组件可充分扫描等同的视场,但方式为,一个扫描组件根据其他扫描组件进行的视点扫描,扫描交叉或交错的视点。在另一模式中,可配置多个扫描组件,这样一个扫描组件扫描另一扫描组件的FOV的一个可能采样较少的区域。对于共振MEMS扫描器,例如,扫描器在FOV中心具有最高的角速度,该情况可引起视点在FOV中心附近相互分散。对于特定的应用最好有用于扫描另一扫描组件的FOV中心的扫描组件,这样可在该区域提供更好的取样。
在另一个实施例中,一或多个扫描组件可以被配置,从而与在可视波长中成像用的一个扫描组件相比,可任意地在不同的帧频或者在不同的FOV,提供超光谱图像。例如,为获得相似的解析度,红外波长需要更大的反射镜,但也能够容许比可见波长程度更高的镜变形。红外扫描组件可配备比可视扫描组件更大的、具有程度更高的动态变形的反射镜。相似地,紫外扫描组件可配备比可视扫描组件更小的、具有较少的动态变形的镜子。在另一方案中,某种反射或者透射材料可能不具有适应于超光谱波长的属性。采用更适合于超光谱波长的材料的其它的扫描组件可以被使用。例如,紫外扫描组件可配备有萤石透镜和UV最优化的反射体和/或起偏器。红外扫描组件可以配备有透镜,反射体,和/或长波长最优化的起偏器。
图21是用于复合和分离两个同步扫描光束的控制器的结构图。例如,光束可以由如图20的尖端设计排列的扫描器组件扫描。图21的实施例使用同步照明和检测以分离来自多个扫描器组件1201的信号,这里显示的是两个特定的扫描器组件1201a和1201b。定时器-控制器2102控制在光源组件1106上的照明装置信道和在检测器组件1116上的检测器信道的同步。该功能含义和可供选择的同步实施例显示在图22中。
与图21相关的实施例可以同步配对的照明装置和检测器的节奏。检测电路被调谐到适应照明装置的脉冲频率,从而拒绝由非配对的照明装置产生的光。
定时器-控制器2102可以包括多个RF源2106a,2106b等。可选择地,它可以产生或者使用一个其后用于同步单独的RF信号2106a,2106b等的RF信号。
光源组件1106包括多个分别由照明装置驱动信号2103a,2103b等驱动的照明装置104a,104b等。照明装置104a,104b等可以由外部调制器2104a,2104b等进行调制,或者可以选择进行内部调制。在许多应用中,照明装置104可以包括多个单独的光源,它们被复合从而形成合成照明,例如红、蓝和绿(RGB)激光器,它的RGB光被复合,从而形成实质上的白光。
RF源2106a和2106b分别控制外部调制器2104a和2104b,去分别调制由照明装置104a和104b产生的光,分别至信道A和B。调制的照明信道A和B通过光纤1204a和1204b被分别送至成像尖端部,分别进入扫描组件A 1201a和扫描组件B 1201b。扫描组件1201a和1201b分别产生扫描光束110a和110b,各自按照说明的方式进行调制。
散射光信号114由光收集器1302收集。在光收集器1302是非成像的情况下,它们不能够空间地识别来自信道A和B产生的扫描视点的散射之间的区别。然而,散射光信号114包括多种调制信号(在例子中是两种),每个潜在地包含许多波长(在例子中是三个)。调制的信号可以按照它们的调制特性进行分离,同时波长可以按照它们对于介质镜、滤波器、折射等的不同反映进行分离。光收集器1302将合成的散射光信号传送至检测器组件1116,按照图10和11,该检测器组件1116,举例说可以被放置在远离于成像尖端部的控制台中。
在检测器组件1116中,散射光信号被分离成它的波长成分,例如RGB。合成信号2121通过介质镜2122被分离成,举例说可以包含蓝光的第一波长信号2124a,和包含实质上除了被分离出的第一波长信号2124a以外的所有呈现的波长的剩余的合成信号2126。相似地,第二波长,例如绿,可以通过介质镜2128被分离为第二波长信号2124b和剩余的合成信号2124c。对于当前的例子,只有三种波长呈现在散射信号114和合成信号2121中,因此剩余的合成信号2124c实质上只包含红光。
RGB光信号2124c,2124b和2124a被分别传送到相关的光检测器和放大器电路116c,116b和116a。在检测器/放大器(这里分别标示为检测器/前置放大器)中,光信号被转换成相应的电信号,其具有适于进一步处理的特性。
信道A和B解调器与各检测(波长)信道相连。信道A解调器2136,2142和2148被调谐从而解调通过RF源A2106a和调制器A2104a输入到照明信道A、以频率或光谱为特征的信号。信道B解调器2138,2144和2150被调谐从而解调通过RF源B 2106b和调制器B 2104b输入到照明信道B,由频谱或光谱表征的信号。这样,解调信号2137,2143和2149对应于与扫描组件A 1201a关联的RGB视频信号,并且解调信号2139,2145和2151对应于与扫描组件B关联的RGB视频信号。
一种将检测器调谐至一个脉冲调制频率的方法是使用锁相放大器,它在一或多个特定的频率放大信号。锁相放大器可以包括电路,从而将检测到的调制信号转换到基带或者,可选择地,可以将调制信号传递到控制器。控制器将信号转换成图像并且执行应用所需的恰当的功能。
在一些实施例中,信道A表现为在FOV上的“左眼”透视图,而信道B表现为在FOV上的“右眼”透视图。当扫描组件1201a和1201b按照图20的尖端部设计排列时,就是这样的一个实施例。
为适于应用,图21的装置可以被重新排列,结合,分离,进行置换等。
接近SVGA解析度的扫描光束成像器可以具有属于20MHz一类的数据率。一种操作带有扫描光束成像器的同步检测器的方法是使光束处于比数据率高的频率上。例如,光束可以被调制到数据率的20到200倍的速率上,导致400MHz到4GHz的脉冲率。然而,这样高的脉冲率对于检测器是个挑战,经常会导致很大的光子发射噪音和实际设计上的困难。在一些实施例中,脉冲率可以运转在小倍数的数据率上,例如处于1到10倍的数据率,导致更便于操作的20到200MHz的脉冲率。
图21的设备可以在预置的脉冲频率运转。较为理想地,特别在低频倍实施例中,为了确保脉冲调制周期的数量相等,应该维持象素时钟和同步脉冲调制之间的恒定的相位关系。然而,谐振扫描技术不具有恒定的旋转速度。
对于谐振扫描***,恒定频率脉冲调制可以同恒定象素时钟率和可变象素间隔一起使用。在这种方式中,较为理想地,将图像处理***实际采样位置之间,从而产生恒定的节距输出。在此情况下,可编址限值被设定在扫描中当光束通过FOV的中心时的最高速度点。在扫描光束移动较慢的各扫描端点处的更***的区域被过度采样(over-sampled)。通常,在恰当位置应用二维线性内插法,已被发现可产生优良的图像质量并且具有相对适度的处理需求。2002年5月17日提交的美国临时专利申请,申请号为60/381,569,名称为IMAGEQUALITY CONSIDERATIONS IN BISINUSOIDALLY SCANNED RETINALSCANNING DISPLAY SYSTEMS,作为普通指定并据此参考引用,教导了***象素值的方法,特别关于双正弦扫描(bi-sinusoidal scanning)。
可选地,恒定的象素间距可以通过改变象素时钟和同步脉冲调制频率来维持。改变通过FOV的象素时钟的方法和装置被描述在申请号为10/118,861,名称为ELECTRONICALLY SCANNED BEAM DISPLAY的美国专利申请中,作为普通指定并据此参考引用。
图22所示为一对复合光束波形的理想图示。线性视场111a和111b分别表示扫描信道A和B的扫描路径。FOV 111a包括按所示排列的光亮区502a和灰度区506a。FOV 111b包括按所示排列的围绕着灰度区506b的两个光亮区502b和502b’。注意,FOV 111a和111b可以是,并且在这个例子当中是,至少根据特征排列,彼此截然不同。
波形2202a表示信道A照明装置的调制图案,如图所示,与信道AFOV对准。波形的高的部分表示照明装置在“开”状态,同时低的部分表示“关”状态。注意,如果结合图2至6的照明装置功率调制,照明调制波形可能比图22中所显示的更复杂。然而,对于信道的信号复合和信号分离,原理仍然是相同的。
相似地,波形2202b表示信道B照明装置的调制图案,如图所示,与信道B FOV对准。注意,信道A和B照明装置调制为不同的瞬时频率,以便区别和分离。按照图示,信道A和B都显示为在所示的间隔上调制在恒定的频率。在一些应用中,可能需要保证信道被调制为彼此的非整数倍。
波形2204表示检测器接收到的理想化的混合响应。波形2206a和2206b表示波形2204的信道特定成分,也就是说,它们可以从波形2204中测定和添加从而产生波形2204。波形2206a表示信道A的调制响应,而波形2206b表示信道B的调制响应。可以注意到,光亮区502产生在高度上两个单位的响应,灰色区域506产生在高度上一个单位的响应,并且波形2202a和2202b的“关”周期导致空响应。
波形2208a和2208b分别表示信道A和B的复合的基带响应。可以看到,光亮区域502建立高状态,而灰色区域506建立低状态。注意,为了产生这些基带波形,为了方便,我们采用将调制周期的“关”部分设置成等同于随后的“开”部分的响应的惯例。波形2208a和2208b可以分别,依次地,解释或者显示为线性图像2209a和2209b。A信道图像2209a具有光亮区域2210a和黑暗区域2212a,而B信道图像2209b具有围绕着黑暗区域2212b的两个光亮区域2210b和2210b’。因此可以看到,图22的信号复合/信号分离方案导致多个图像被同时捕获并且被恰当地解码。
图23是检测组件1116的等比图。在检测组件1116中,散射光信号被分离成它的波长成分,例如RGB。对于一些应用,例如那些使用荧光或者其他颜色转换图像技术的应用,需要用它检测从照明装置发射出的其他的或者二中择一的波长。
光学基2302是一种机械组件,在该机械组件上,光学组件安装并校准。另外,该光学基提供机械强度并且,随意地,热沉浸。如图23中所示,进入检测光纤在光纤底座2304处终止,进一步的光传输通过自由空间光学进行。聚焦透镜2306将光束成形,聚焦透镜2306出现在光纤底座上。反射镜2122,可以是介质镜,将蓝色光束2124a分离,并将它指向蓝光检测装置。剩余的合成信号2126,包括绿和红光,由介质镜2128分离。介质镜2128将绿光2124b指向绿光检测装置,留下红光2124c通过红光检测装置。
蓝绿和红光检测装置包括分别是蓝、绿或红滤光器2308,2310或2312,和光电倍增管(PMT)116。滤镜用于进一步将检测器与任何色度亮度干扰隔离,色度亮度干扰可以表现为不期望的波长的光。对于一个实施例,HAMMAMATSU模型R1527 PMT发现可以提供满意的结果。该管具有接近10,000,000的内部增益,2.2毫微秒的响应时间,8×24毫米的侧视有效面积,和0.1的量子效率。其他商用PMT也可以令人满意。
对于该设备的PMT实施例,两个阶段的放大,各阶段都提供接近15dB的增益,总增益在30dB,使信号升到适于模数转换的级别。信道间的增益量有些微的不同(范围从红光信道30.6dB的增益到蓝光信道31.2dB的增益),但不会让人感到特别严重,因为随后的处理会维持白平衡。
在另一实施例中,雪崩光电二极管(APD)用于代替PMT。所用APD包括热电(TE)冷却器,TE冷却器控制器,和传输电阻放大器。输出信号被输送通过另一个使用标准低噪音放大器的5X增益。
除了PMT和APD外,其他光检测器也可以被采用。
图24是光源组件或具有提供RGB照明的三激光发射器的照明装置104的等比图。蓝、绿和红色激光2404a,2404b和2404c分别通过基本相同的光学部件照明,直到它们被合成。在一个实施例中,蓝色激光2404a是B&W TEK 10mW二极管泵浦固体激光器(DPSS)发射于473纳米(nm)的激光;绿色激光2404b是B&W TEK 15mW DPSS发射于532nm的激光;以及红色激光2404c是HITACHI 35mW圆形激光二极管发射于635nm的激光。对于软件实现白平衡的应用,没有必要使信道之间的输出功率(或在检测器非一致时的视在功率)一致。
蓝、绿和红色激光2404a,2404b和2404c的光束在分别通过声光调节器(AOM)2408a,2408b和2408c之前通过聚焦透镜2406a,2406b和2406c。聚焦透镜设置为将光束聚焦在AOM晶体的中心。在通过AOM2408a,2408b和2408c之后,蓝、绿和红色光束分别通过光束阻体2410a,2410b和2410c,然后通过准直透镜2412a,2412b和2412c。光束阻体是垂直缝隙,它阻挡除第一阶衍射谐波之外的从AOM出现的所有波。平行板光学(PPO)设备2414a,2414b和2414c用于按垂直和侧向的位移对准光束。介质镜2416a和2416c分别将蓝色和红色光束转向光束合成器2418,在它内部,绿光是直接引入的。在一个实施例中,光束合成器2418是一个X-cube分光合色棱镜。介质镜2420将合成的光束,其现在显现出发白,重新定向指向显微镜的物镜2422,显微镜的物镜将光束聚焦在由CF光纤底座2424支持的照明光纤核上。三轴测微计2426用于将光纤核对准光束。在一个实施例中,显微镜的物镜2422是一个色散控制的20X物镜。照明光纤(未示出)是成角形末端的单模玻璃纤,具有3.5微米的核和125微米的覆层。
尽管图24的照明装置组件104由非定制部件构成,采用定制或者非定制部件的等同设计也可能是恰当的。在一些实施例中,比较理想的是,建立完整的光纤耦合***。在这个和其他的情况下,例如可以采用渐消耦合有效地进行光束合成。
一个可选的直接调制的照明装置104的例子显示在图25中。图25是具有三个发射器的紧密型照明装置或者光源组件104。图25的发射器,可以是激光二极管或者发光二极管,可以按需直接调制。例如,当一个实施例采用将照明装置和检测器放入手柄1012中时,这可能特别有利。发射器2404a,2404b和2404c,举例说,可以是RGB激光器或者边缘发光的LED,由底座2502a,2502b和2505c分别支持。底座2502可包括用于对准照明装置的构造。通过发射器2404a,2404b和2404c输出的光束由X-cube分光合色棱镜2504合成并且沿共同的轴输出合成光束106。X-cube分光合色棱镜2504可以是商用的双折射设备。输出光束106沿安装桶2506而下,并且通过输出光学镜1106,这里所示为一双合透镜(doublet),对准或聚焦。可选地,输出光学镜1106可以包括一个单镜头和/或一个光阑(未示出)。间隔器2508a和2508b改变三个照明装置2404a,2404b和2404c和输出光学镜1106之间的光程长度,从而补偿色差。
图26a和26b包含扫描内窥镜或腹腔镜的可选实施例的块状图。近端主体1012,可包含一个手持部和/或一个分离的控制台,连接在尖端部1018上。近端主体1012和尖端部1018是可拆装的连接,从而实现尖端部的可更换性,和实现尖端部的可任意一次性使用。控制器1002,可以与近端主体1012结合或者从近端主体1012上分离,可操作地连接到近端主体1012中的一个或者多个照明装置和检测器上。接口1118提供与外部数据源和接收器之间的通讯,例如显示器,致动器,远程专家***等。
在一些实施例中,照明装置可以分别包括分离的蓝、绿和红色激光2404a,2404b和2404c。激光发射器的输出在光束合成器2418中合成为单一的光信号。光束混合器2418然后可以连接到照明装置光纤1204上,并且照明能量发送到尖端部。
在尖端部1018的末端1019,光从照明光纤1204中射出,扫描通过视场111。在如此处图表所示的该特定的实施例中,输出光束106a通过转向镜1212a被重定向至扫描镜108的方向,所述的转向镜1212a举例说可以是金属或者介质镜。通过透明保护层1212,扫描光束110发射向视场111方向。
部分反射或者散射光114通过透明保护层1212返回,由返回光纤1302收集。在图示的特定实施例中,分离的检测光纤1302a,1302b和1302c分别用于收集和返回蓝、绿和红色信号。通过分别在蓝、绿和红光纤1302a,1302b和1302c上放置滤镜2308,2310和2312,光信号可以得到分离。可选光耦合元件1602a,1602b和1602c可被用于增加检测光纤的光收集效率,从而增强光学信号强度或者使其更加均匀地通过视场。
蓝、绿和红检测光纤1302a、1302b和1302c分别将光能传输到尖端部并且将它传输到近端主体1012中的蓝、绿和红检测器116a、116b和116c。检测器116将接收到的光能转换成电信号,以便通过控制器1002处理并且解码成图像。
作为尖端部安装的光纤的替代形式,该光纤可以更直接地与带有运载所有波长的接收到的光能的所有检测器光纤的检测器连接。如此安排,虽然可能导致需要更大的收集光学尺寸或者降低的信号强度,但有利于隔离检测器信道并且降低光学上的色度亮度干扰。
与诸如旋转多边形的恒定旋转速度的扫描器相比,高速MEMS反射镜和其他谐振起偏器可以按正弦扫描率来刻画其特征。为了降低在成像尖端部的能量需求和尺寸限制,一些实施例可以允许双扫描轴的谐振扫描。图27中显示了作为理想结果的双谐振或者双正弦扫描模式。在某些实例中,扫描模式沿着利萨茹(Lissajous)图案特点的路径而行。所示直线矩阵2702被双谐振扫描路径2704覆盖。在此例中,直线矩阵的垂直和水平线之间的交叉点表示理想的象素位置,而双谐振扫描路径2704表示扫描视点带来的实际路径。如我们所看到的,实际的扫描路径不是非常精确地与所有的直线象素位置对准。因此这些值可以通过内插法(interpolating)测定。
选择双谐振频率的方法以及实现图像质量最优化的方法在一美国专利申请中有类似的讨论,该申请的题目是“双正弦扫描的视网膜扫描显示***中有关图像质量的考虑因素”,发明人是玛格丽特·布朗(Margaret Brown),马克·弗里曼(Marc Freeman)和约翰·R·刘易斯(John R.Lewis),申请号是10/441,916,申请日是2003年5月19日,这里一般指定并参考引入。该专利申请,除其他内容以外,教导了内插象素值的方法,特别关于双正弦扫描。
对于谐振扫描***,恒定的频率脉冲调制可以使用恒定的象素时钟率和可变的象素间隔。对于此模式,较为理想的是,应用图像处理,在实际采样位置之间进行内插,从而产生恒定距离的输出。在此例中,可编址界限被设定在扫描中光束通过FOV的中心时的最高速率点处。在扫描光束移动较慢的各扫描端部的更***的区域是过采样的(over-sampled)。通常,现已发现应用二维的线性内插法可以产生良好的图像质量并且具有现对适中的处理需求。
另外,通过改变象素时钟和同步脉冲调制频率可以维持恒定的象素间隔。改变通过FOV的象素时钟的方法和装置在美国专利申请10/118,861中有说明,该申请的题目是ELECTRONICALLY SCANNED BEAMDISPLAY,发明人是:格雷戈里·斯科特·布莱特(Gregory Scott Bright),斯科特·W·(Scott W.Straka),(菲利普·C·布莱克)Philip C.Black,詹姆士·G·摩尔(James G.Moore);约翰·R·刘易斯(John R.Lewis),哈坎·尤里(Hakan Urey),克拉伦斯·T·泰格林(Clarence T.Tegreene),申请日是2002年9月4日,这里一般指定并参考引入。
通过使用时钟分配器(频率比率大于1∶1)或者第二时钟,人们可以使用这里公开的装置同样地控制脉冲调制频率与象素时钟同步。这可以与图21的装置结合使用,从而分别产生照明装置A 104a和照明装置B 104b使用的可分离的光调制。
本发明的前面的概述、附图的简要说明以及详细的说明对本发明的实施例进行了描述,目的是便于帮助读者理解。在本发明的范围内,还可以有其他的结构、方法和等同物。同样地,这里所述的本发明的范围应该仅由权利要求进行限定。

Claims (33)

1、一种扫描光束成像器,包括:
照明装置,可产生偏振光;
照明光纤,具有近端和远端,近端对准以接收来自所述照明装置的光,所述照明光纤可将光从它的近端传输至远端;
扫描器,可将来自所述照明光纤的远端的光导引越过视场;
起偏器,其对于来自所述照明装置的光横向极化;
至少一根检测光纤,与所述照明光纤分离,所述的至少一根检测光纤具有远端和近端,该所述的至少一根检测光纤的远端处于通过所述起偏器从视场接收至少部分导引光的位置;至少一个光检测器,位于从所述至少一根检测光纤的近端接收光的位置;和
光束成形光学元件,其介于所述照明光纤的远端和所述扫描器之间,所述光束成形光学元件的特性是可调整的,从而改变扫描光束的形状。
2、如权利要求1的扫描光束成像器,其中,所述光束成形光学元件的可调整的特性包括所述光束成形光学元件的可变的位置。
3、如权利要求1的扫描光束成像器,其中,所述光束成形光学元件的可调整的特性包括所述光束成形光学元件的可变的形状。
4、如权利要求1的扫描光束成像器,还包括:
至少一个光收集光学元件,其被定位以收集来自视场的光并且将收集到的光耦合到所述至少一根检测光纤中。
5、如权利要求4的扫描光束成像器,其中,所述至少一个光收集光学元件包括基本透明的塑料材料。
6、如权利要求1的扫描光束成像器,其中,
所述至少一根检测光纤包括多根检测光纤,和
所述至少一个光检测器包括多个光检测器。
7、如权利要求6的扫描光束成像器,还包括:
与所述多根检测光纤耦合的多个滤镜,其中,各所述多个滤镜基本上阻止了特定波长的光传输到各所述多个光检测器。
8、如权利要求1的扫描光束成像器,其中,所述至少一个光检测器包括多个光检测器,并且其中所述的扫描光束成像器还包括:
至少一个波长分离器,用于去除由所述至少一根检测光纤负载的光的一部分并且将去除的光部分指引向所述多个光检测器的其中之一。
9、如权利要求8的扫描光束成像器,其中,所述波长分离器包含介质镜。
10、如权利要求8的扫描光束成像器,其中,所述至少一个波长分离器介于所述至少一根检测光纤的近端和所述多个光检测器其中之一之间。
11、如权利要求1的扫描光束成像器,其中,所述扫描器包括可移动所述照明光纤的远端的机构。
12、如权利要求1的扫描光束成像器,其中,所述扫描器包括活动镜,被调准以接收来自所述照明光纤远端的光并且可控制反射该光。
13、如权利要求12的扫描光束成像器,其中,所述扫描器包括MEMS扫描器。
14、一种扫描光束内窥镜,包括:
光发射器,可产生偏振光;
光纤,与所述光发射器操控耦合,用于从近端向远端位置传输光;
扫描器,其定位以接收来自所述光纤的远端的光束,所述扫描器***控耦合以扫描该光束通过视场;
起偏器,其对于来自所述发射器的光横向极化并且其被定位以接收来自所述视场的光;
至少一个光检测器,其被定位以通过所述起偏器接收来自视场的光;和
光束成形光学元件,其介于所述光纤的远端和所述扫描器之间,所述光束成形光学元件的特性是可调整的,从而改变扫描光束的形状。
15、如权利要求14的扫描光束内窥镜,其中,
所述至少一个光检测器包括多个光检测器。
16、如权利要求15的扫描光束内窥镜,还包括:
多个光学滤镜,各光学滤镜与所述多个光检测器中的一个进行光学耦合,以基本阻止来自视场的一个或多个波长的光的传播。
17、如权利要求14的扫描光束内窥镜,其中,
所述至少一个光检测器包括靠近所述光纤远端安装的光电二极管,所述光电二极管调节对入射在其上的来自视场的光作出响应的电信号。
18、如权利要求17的扫描光束内窥镜,还包括:
在所述光电二极管附近安装的模数转换器,所述模数转换器***控耦合以将所述光电二极管产生的模拟电信号转换成数字电信号,用于传输到接近所述光纤的近端。
19、一种扫描光束内窥镜,包括:
照明装置,输出多个波长的光;
照明光纤,与所述照明装置耦合,具有近端和远端;
在两个轴上谐振的扫描器,接收来自所述照明光纤的远端的光并且使该光扫描越过视场;
检测器,接收由视场散射的光;和
光束成形光学元件,其介于所述照明光纤的远端和所述扫描器之间,所述光束成形光学元件的特性是可调整的,从而改变扫描光束的形状。
20、如权利要求19的扫描光束内窥镜,其中,所述具有多个波长的光是宽带光。
21、如权利要求19的扫描光束内窥镜,其中,所述具有多个波长的光由多种分离的窄带颜色组成。
22、如权利要求21的扫描光束内窥镜,其中,存在三种对应于红、绿和蓝的分离的窄带颜色。
23、如权利要求21的扫描光束内窥镜,其中,该分离的窄带颜色中的至少一个是在不容易被肉眼识别的电磁波谱区域中。
24、一种扫描内窥镜尖端,包括:
照明光纤,用于接收来自近端可分离体的照明光,并且将照明光传导至远尖端;
扫描器,在所述远尖端中至少两个轴向上谐振驱动,其被定位以接收来自所述照明光纤的远端的照明光并且使该照明光扫描越过视场;
一根或多根检测光纤,置于所述远尖端内以接收来自视场的光并且将接收到的光传导至近端,用于传输至近端可分离体;和
光束成形光学元件,其介于所述照明光纤的远端和所述扫描器之间,所述光束成形光学元件的特性是可调整的,从而改变扫描光束的形状。
25、如权利要求24的扫描内窥镜尖端,还包括:
外护套,从近端延伸到远端位置并在其中承载所述光纤。
26、如权利要求25的扫描内窥镜尖端,还包括:
多根电导线,负载在所述外护套中,具有用于接收来自近端可分离体的电信号,并且传导该电信号到所述扫描器。
27、如权利要求26的扫描内窥镜尖端,其中,所述电导线的一根以上还从所述远端将信号传导至所述近端,以便传导至近端可分离体。
28、如权利要求24的扫描内窥镜尖端,还包括:
尖端连接器,附接在所述光纤的所述近端,所述尖端连接器可拆分地耦合到位于可分离体上的体连接器。
29、一种扫描光束成像器,包括:
多个光束扫描器,用于扫描光束越过视场;和
一个或多个非成像检测器元件,其被定位以接收来自视场的光;
光束成形光学元件,其介于所述扫描器和非成像检测器元件之间,所述光束成形光学元件的特性是可调整的,从而改变扫描光束的形状。
30、如权利要求29的扫描光束成像器,还包括:
分离的照明源,与各所述多个光束扫描器耦合;和
一个或多个信号分离器,与所述一个或多个非成像检测器元件耦合,用于在对应于与各该多个光束扫描器对应的所述接收到的光的信号之间进行区分。
31、如权利要求30的扫描光束成像器,其中,
各所述分离的照明源输出在特征频率上调制的光;且
其中所述一个或多个信号分离器按频率调制分离信号。
32、如权利要求30的扫描光束成像器,其中,
各所述分离的照明源输出一个或多个特征波长的光,并且
其中所述一个以上的信号分离器按波长分离信号。
33、如权利要求30的扫描光束成像器,其中有两个光束扫描器;且
各光束扫描器的视场基本相同;
从而所述扫描光束成像器产生立体图像。
CNB2004800242382A 2003-06-23 2004-06-22 扫描内窥镜 Expired - Fee Related CN100457020C (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US48237603P 2003-06-23 2003-06-23
US60/482,376 2003-06-23
US10/873,540 2004-06-21

Publications (2)

Publication Number Publication Date
CN1870932A CN1870932A (zh) 2006-11-29
CN100457020C true CN100457020C (zh) 2009-02-04

Family

ID=37444408

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004800242382A Expired - Fee Related CN100457020C (zh) 2003-06-23 2004-06-22 扫描内窥镜

Country Status (1)

Country Link
CN (1) CN100457020C (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101648598B1 (ko) 2008-11-18 2016-08-16 스트리커 코포레이션 피드백 조절 시스템을 갖는 내시경 led 광원
EP2380483B1 (en) * 2009-11-06 2013-03-27 Olympus Medical Systems Corp. Endoscope
CN101788688B (zh) * 2010-03-04 2012-12-26 清华大学 微型集成化非合作目标探测装置
CN103269634A (zh) * 2010-09-21 2013-08-28 科诺瓦公司 用于分析和治疗身体管腔的***和方法
CN102100536B (zh) * 2010-12-10 2012-11-21 广州宝胆医疗器械科技有限公司 具有红外线热扫描功能的电子十二指肠镜***
CN102058376B (zh) * 2011-01-31 2012-07-11 广州宝胆医疗器械科技有限公司 一种新型三维立体电子宫腔镜***及其使用方法
WO2012105157A1 (ja) 2011-02-01 2012-08-09 パナソニック株式会社 立体画像撮影装置および内視鏡
WO2012132750A1 (ja) * 2011-03-31 2012-10-04 オリンパスメディカルシステムズ株式会社 走査型内視鏡装置
KR101238765B1 (ko) * 2011-09-22 2013-03-04 주식회사 옵티메드 일회용 내시경
EP2803312A4 (en) * 2012-01-11 2015-11-25 Olympus Corp LIGHT IRRADIATION DEVICE, SCANNING ENDOSCOPE DEVICE, AND METHODS OF MANUFACTURING THE SAME
CN103841877B (zh) * 2012-05-23 2016-03-23 奥林巴斯株式会社 扫描型内窥镜用校准器具
CN102955250B (zh) * 2012-10-26 2014-12-24 无锡微奥科技有限公司 一种基于mems微镜的光学扫描装置
JP6086741B2 (ja) * 2013-01-29 2017-03-01 オリンパス株式会社 走査型観察装置とその作動方法
US10687697B2 (en) 2013-03-15 2020-06-23 Stryker Corporation Endoscopic light source and imaging system
JP6120624B2 (ja) * 2013-03-18 2017-04-26 オリンパス株式会社 光ファイバスキャナ、照明装置および観察装置
CN106164739B (zh) * 2013-06-19 2021-10-29 优化扫描有限公司 光学扫描器和被扫描的透镜光学探头
US9339178B2 (en) * 2013-12-23 2016-05-17 Novartis Ag Forward scanning optical probes and associated devices, systems, and methods
CN105590578A (zh) * 2014-10-20 2016-05-18 深圳富泰宏精密工业有限公司 自动开启蓝光滤波器护眼***及方法
CN104792234B (zh) * 2015-04-08 2016-06-29 北京工业大学 一种多功能内窥镜检测装置
US10959608B2 (en) * 2016-03-31 2021-03-30 Tohoku University Optical imaging device
US10690904B2 (en) 2016-04-12 2020-06-23 Stryker Corporation Multiple imaging modality light source
CN107505702B (zh) * 2017-09-06 2020-01-03 四川梓冠光电科技有限公司 一种微机电型可调光衰减器
CN108323182A (zh) * 2018-01-02 2018-07-24 深圳达闼科技控股有限公司 一种光谱测量***
CN109040698B (zh) * 2018-09-07 2020-12-22 上海联影医疗科技股份有限公司 一种用于医疗设备中的监控***和方法
CN110403562B (zh) * 2019-07-24 2021-10-12 青岛大学附属医院 一种直杆不可分离式的无限视角的硬管内窥镜

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3726281A (en) * 1971-12-08 1973-04-10 Bard Inc C R Self-lubricating catheter
DE2929562A1 (de) * 1978-07-20 1980-01-31 Olympus Optical Co Medizinisches instrument
DE2915271A1 (de) * 1979-04-14 1980-10-16 Storz Karl Endoskop, insbesondere resektoskop
US5200838A (en) * 1988-05-27 1993-04-06 The University Of Connecticut Lateral effect imaging system
CN1326557A (zh) * 1998-09-15 2001-12-12 巴黎公共救济院 具有高观察质量的体内观察设备
US20010055462A1 (en) * 2000-06-19 2001-12-27 Seibel Eric J. Medical imaging, diagnosis, and therapy using a scanning single optical fiber system
DE10111354A1 (de) * 2001-03-08 2002-09-19 Winter & Ibe Olympus Endoskopisches Intstument mit Gleitmittelbeaufschlagung
US20020139920A1 (en) * 1999-06-08 2002-10-03 University Of Washington Image acquisition with depth enhancement

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3726281A (en) * 1971-12-08 1973-04-10 Bard Inc C R Self-lubricating catheter
DE2929562A1 (de) * 1978-07-20 1980-01-31 Olympus Optical Co Medizinisches instrument
DE2915271A1 (de) * 1979-04-14 1980-10-16 Storz Karl Endoskop, insbesondere resektoskop
US5200838A (en) * 1988-05-27 1993-04-06 The University Of Connecticut Lateral effect imaging system
CN1326557A (zh) * 1998-09-15 2001-12-12 巴黎公共救济院 具有高观察质量的体内观察设备
US6470124B1 (en) * 1998-09-15 2002-10-22 Assistance Publique - Hopitaux De Paris Device for observation inside a body providing improved quality of observation
US20020139920A1 (en) * 1999-06-08 2002-10-03 University Of Washington Image acquisition with depth enhancement
US20010055462A1 (en) * 2000-06-19 2001-12-27 Seibel Eric J. Medical imaging, diagnosis, and therapy using a scanning single optical fiber system
DE10111354A1 (de) * 2001-03-08 2002-09-19 Winter & Ibe Olympus Endoskopisches Intstument mit Gleitmittelbeaufschlagung

Also Published As

Publication number Publication date
CN1870932A (zh) 2006-11-29

Similar Documents

Publication Publication Date Title
CN100457020C (zh) 扫描内窥镜
US7448995B2 (en) Scanning endoscope
CN101184427B (zh) 内窥镜及内窥镜装置
US20190343392A1 (en) System and Method for Multi-Color Laser Imaging and Ablation of Cancer Cells Using Fluorescence
US5430475A (en) Electronic endoscope apparatus having micro array on photoelectric conversion surface
US20090012361A1 (en) Apparatus and methods relating to color imaging endoscope systems
CN2551172Y (zh) 具有红外线的内视镜
CN102036599B (zh) 用于组合的全色反射和近红外成像的成像***
CN103619234B (zh) 光源装置
CN1310615C (zh) 深度增强的图像采集
US9335269B2 (en) Optical control device, control device, optical scope, and scanning optical device
US20030174208A1 (en) Device, system and method for capturing in-vivo images with three-dimensional aspects
CN1802122A (zh) 同时进行实时多模式成像和它的光谱学使用
CN1341003A (zh) 用于内窥镜的自发荧光成象***
CN101360460B (zh) 摄像***
CN104812289A (zh) 内窥镜装置
CN103251370A (zh) 内窥镜***、该内窥镜***的处理器装置和图像生成方法
JP6768859B2 (ja) 超音波と光学を組み合わせる超音波ヘッド
CN101940463B (zh) 活体荧光内窥成像***
CN110955039B (zh) 相差显微成像***及其成像方法
JP3191932B2 (ja) 計測用内視鏡装置
CN113749771A (zh) 分子影像近红外二区荧光导航***
CN208524828U (zh) 一种成像光谱内窥镜***
US20040054255A1 (en) Endoscopic instrument for use in cavities
CN116262030A (zh) 双目内窥镜及其双目内窥镜成像***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090204

Termination date: 20200622

CF01 Termination of patent right due to non-payment of annual fee