CN114026845A - 在荧光成像***中使用多个发射器的场景的偏移照明 - Google Patents

Abstract

描述了在荧光成像***中使用多个发射器的偏移照明。本发明公开了一种***，该***包括用于发射电磁辐射脉冲的发射器和包括用于感测所反射的电磁辐射的像素阵列的图像传感器。该发射器包括用于发射不同波长的电磁辐射的第一发射器和第二发射器。该***使得由该发射器发射的该电磁辐射脉冲的至少一部分包括具有约770nm至约795nm和/或约795nm至约815nm的波长的电磁辐射。

Description

在荧光成像***中使用多个发射器的场景的偏移照明

技术领域

本公开涉及数字成像，并且具体地涉及缺光环境中的荧光成像。

背景技术

科技的进步已提供了医用成像能力的进步。内窥镜可用于观察身体内部并检查身体的器官或腔体的内部。内窥镜用于调查患者的症状、确认诊断或提供医学治疗。医学内窥镜可用于观察多种身体***和部分，诸如胃肠道、呼吸道、尿道、腹腔等。内窥镜还可用于外科规程，诸如整形外科规程、在关节或骨上进行的规程、在神经***上进行的规程、在腹腔内进行的规程，等等。

在内窥镜成像的一些情况下，以彩色方式查看空间可能是有益的或必要的。数字彩色图像包括累积形成具有一定范围的色调的图像的至少三个层或“颜色通道”。颜色通道中的每个测量光谱带的光的强度和色度。通常，数字彩色图像包括红色、绿色和蓝色光谱带的颜色通道(这可称为红绿蓝或RGB图像)。红色、绿色和蓝色颜色通道中的每个包括红色、绿色或蓝色光谱带的亮度信息。将单独的红色、绿色和蓝色层的亮度信息组合以产生彩色图像。因为彩色图像由单独的层构成，所以常规的数字相机图像传感器包括颜色滤光器阵列，该颜色滤光器阵列允许红色、绿色和蓝色可见光波长击中所选择的像素传感器。每个单独的像素传感器元件对红色、绿色或蓝光波长敏感，并且将仅返回该波长的图像数据。将来自像素传感器的总阵列的图像数据组合以生成RGB图像。至少三种不同类型的像素传感器占据大量的物理空间，使得完整的像素阵列无法适配在内窥镜的小远侧端部中。

因为传统的图像传感器无法适配在内窥镜的远侧端部中，所以图像传感器传统上位于内窥镜的手持件单元中，该手持件单元由内窥镜操作者保持并且不放置在体腔内。在此类内窥镜中，光沿着内窥镜的长度从手持件单元传输到内窥镜的远侧端部。该配置具有显著限制。具有该配置的内窥镜是精密的，并且当其在常规使用期间发生碰撞或冲击时可容易地不对准或损坏。这可显著降低图像的质量，并且内窥镜需要频繁修理或更换。

具有放置在手持件单元中的图像传感器的传统内窥镜进一步限于仅捕获彩色图像。然而，在一些具体实施中，除了彩色图像数据之外，还可能期望用荧光图像数据捕获图像。荧光是已吸收光或其它电磁辐射的物质发射的光。当荧光物质经受紫外光或其他波长的电磁辐射时，某些荧光物质“发光”或发出人眼可见的不同颜色。当辐射源停止时，某些荧光材料将几乎立即停止发光。

当分子、原子或纳米结构的轨道电子被光或其它电磁辐射激发，然后通过从激发态发射光子而弛豫至其基态时，出现荧光。激发轨道电子或在弛豫期间由光子发射的电磁辐射的具体频率取决于原子、分子或纳米结构。荧光成像具有许多实际应用，包括矿物学、地质学、医学、化学传感器的光谱学、检测生物过程或信号，等等。荧光可用于生物化学和医学中作为用于跟踪或分析生物分子的非破坏性手段。一些荧光试剂或染料可被构造成能够附着到某些类型的组织，从而引起对该类型的组织的关注。

然而，荧光成像需要电磁辐射的特定发射和能够读取特定荧光试剂的特定弛豫波长的特定成像传感器。不同的试剂或染料对不同波长的电磁辐射敏感，并且在发荧光时发射不同波长的电磁辐射。荧光成像***可为高度专业化的，并且可针对某种试剂或染料进行调整。此类成像***用于有限的应用，并且在单个成像过程期间无法使不止一种试剂或结构发荧光。使用各自被配置用于使不同的试剂发荧光的多个不同的成像***非常昂贵。另外，可能有利的是在单个成像过程中施用多种荧光试剂，并且在单个叠加图像中观察多种试剂。

根据前述内容，本文描述了用于在缺光环境中进行荧光成像的***、方法和装置。此类***、方法和装置可提供多个数据集，用于识别身体内的关键结构并且提供关于体腔的精确且有价值的信息。

附图说明

参考以下附图描述了本公开的非限制性和非完全性的具体实施，其中除非另外指明，否则在各个视图中类似的附图标号指示类似的部分。参照以下说明和附图将更好地理解本公开的优点，其中：

图1是具有成对的发射器和像素阵列的用于在缺光环境中进行数字成像的***的示意图；

图2为用于向缺光环境提供照明以用于内窥镜成像的***；

图2A为互补***硬件的示意图；

图3A至图3D为用于构建曝光帧的传感器的操作循环的图示；

图4A为电磁发射器的实施方案的操作的图示；

图4B为改变所发射电磁脉冲的持续时间和量值以提供曝光控制的图示；

图5为将图3A至图4B的传感器的操作循环、电磁发射器和所发射电磁脉冲组合的本公开的实施方案的图示，其示出了操作期间的成像***；

图6A为用于在t(0)至t(1)的时间段内记录具有全光谱光的视频的方法的示意图；

图6B为用于通过在t(0)至t(1)的时间段内脉冲分段的光谱光来记录视频的过程的示意图；

图7A至图7E示出了在一定的时间间隔内用于记录全光谱光和分区光谱光两者的视频帧的方法的示意图；

图8是在控制信号和发射器发射电磁辐射之间的延迟或抖动的图形显示；

图9是包括中心纤维和多个周围纤维的光纤束的横截面图；

图10是用于将电磁辐射发送到光纤束的顶帽式轮廓和高斯轮廓的图形显示；

图11是示出了与相机的视场相比来自光纤束的电磁辐射(光)的输出的侧视图；

图12是示出了来自光纤束的电磁辐射的输出的侧视图，其中单根纤维的端部旨在提供电磁辐射的更均匀分布；

图13是示出了来自光纤束的电磁辐射的输出的侧视图，其中光纤束包括塑料纤维和耦接在该输出部附近的玻璃纤维；

图14是示出了来自光纤束的电磁辐射的输出的侧视图，该光纤束包括位于该输出部附近的漫射器；

图15是根据抖动规格的用于驱动发射器以照明场景的方法的示意性流程图；

图16是用于向缺光环境中的成像场景提供电磁辐射的方法的示意性流程图；

图17A至图17C示出了具有多个发射器的光源；

图18示出了在输出处经由漫射器输出以照明缺光环境中的场景的单根光纤；

图19示出了根据本公开的原理和教导内容被分成可由光源的发射器发射的多个不同子光谱的电磁光谱的一部分；

图20是示出用于生成包括由脉冲光的不同分区产生的多个曝光帧的图像帧的发射和读出时序的示意图；

图21示出了包括用于过滤电磁辐射波长的单个截止滤光器的成像***；

图22示出了包括用于过滤电磁辐射波长的多个截止滤光器的成像***；

图23A和图23B分别示出了具有多个像素阵列用于产生三维图像的成像传感器的具体实施的透视图和侧视图，其中多个像素阵列和图像传感器构建在多个基板上；

图24A和图24B示出了根据本公开的原理和教导内容的具有用于产生三维图像的多个像素阵列的具体实施；并且

图25A和图25B分别示出了构建在多个基板上的成像传感器的具体实施的透视图和侧视图，其中形成像素阵列的多个像素列位于第一基板上，并且多个电路列位于第二基板上，图中显示了一像素列和其相关联的或对应的电路列之间的电连接和通信。

具体实施方式

本文公开了可主要适用于医学应用诸如医学内窥镜成像的用于数字成像的***、方法和装置。本公开的一个实施方案是用于在缺光环境中发荧光和彩色成像的内窥镜***。本文所公开的此类方法、***和基于计算机的产品提供用于医学机器人应用，诸如用于执行成像规程、外科规程等的机器人的使用的成像或诊断能力。

本公开的一个实施方案是一种包括用于发射电磁辐射脉冲照明场景的发射器的内窥镜成像***。发射器包括多个激光器束(在本文中可另选地被称为构成整体发射器的独立“发射器”)，这些激光器束可彼此独立地操作并且发射不同波长的电磁辐射。构成发射器的多个激光器束可各自被配置为在不同分区或波长的电磁光谱下脉冲电磁辐射。电磁辐射脉冲可被脉冲到光纤束，并且该光纤束然后可将脉冲的电磁辐射携带到内窥镜的远侧端部以照明场景。当电磁辐射到达光纤束时，使用多个激光器束的这种具体实施会引发问题。例如，光纤束内的单个纤维可接收不同波长的光、不同的功率水平的光，或者可接收比其他单个纤维更多或更少的光。这会导致场景的非均匀照明。

根据前述内容，本公开的实施方案包括居间光学元件和/或一个或多个二向色镜。该居间光学元件和该一个或多个二向色镜可组合使用以向光纤束提供均匀光。该居间光学元件可定位在发射器和光纤束之间。该居间光学元件可包括例如漫射器、混合棒、透镜或用于促进均匀轻混合物的一些其他光学部件。在一个实施方案中，存在用于发射器的每个激光器束的二向色镜。用于第一激光器束的第一二向色镜可被配置为反射由该第一激光器束脉冲一定波长的电磁辐射。用于第二激光器束的第二二向色镜可被配置为反射由该第二激光器束脉冲一定波长的电磁辐射等。因此，二向色镜可被配置为反射由某个激光器束脉冲的电磁辐射，并且对可以由发射器的其他激光器束脉冲的其他波长的电磁辐射透明。在一个实施方案中，二向色镜成角度且定位在内窥镜***内，使得由发射器脉冲的电磁辐射撞击二色镜并且然后改变被脉冲到光纤束中的方向。该光纤束然后可携带光通过内窥镜***以照明场景。这种用于偏移照明的***使得能够使用多个不同的激光器、激光器束或发射器，而没有照明场景或通过光纤束传输的非均匀光的风险。

常规内窥镜被设计成使得图像传感器被放置在手持件单元内的装置的近侧端部处。该配置要求入射光通过精确耦合的光学元件行进内窥镜的长度。精确的光学元件在正常使用期间可容易地不对准，并且这可导致图像失真或图像丢失。本公开的实施方案将图像传感器放置在内窥镜本身的远侧端部中的空间高度受限的环境内。当与本领域中已知的具体实施相比时，这提供了更大的光学简单性。然而，该方法的可接受的解决方案并不简单，而是带来了一系列工程挑战。

当最小化图像传感器的总体尺寸使得图像传感器可适配在内窥镜的远侧末端内时，可存在显著的图像质量损失。可通过减少像素数量和/或每个单独像素的感测区域来减小图像传感器的像素阵列的面积。这些修改中的每一种修改都影响所得图像的分辨率、灵敏度和动态范围。传统的内窥镜成像***旨在借助于分段像素阵列(诸如拜耳图案阵列)来感测稳定的宽带照明并且提供颜色信息。根据与分段像素阵列相关联的缺陷，本文公开了使用不包括单独的像素滤光器的单色(可称为“颜色不定的”)像素阵列的另选***和方法。在本文所公开的实施方案中，通过用不同波长的电磁辐射对发射器进行脉冲来提供颜色信息。本文所公开的脉冲成像***可生成上面叠加有荧光成像数据的彩色图像。

在一个实施方案中，通过响应于不同波长的电磁辐射脉冲捕获独立的曝光帧来确定颜色信息。另选脉冲可包括红色、绿色和蓝光波长，用于生成由红色曝光帧、绿色曝光帧和蓝色曝光帧组成的RGB图像帧。在另选的具体实施中，另选脉冲可包括用于生成由亮度数据、红色度数据和蓝色度数据组成的YCbCr图像帧的光的亮度(“Y”)、红色度(“Cr”)和蓝色度(“Cb”)脉冲。彩色图像帧还可包括来自叠加在RGB或YCbCr图像帧上的荧光曝光帧的数据。荧光脉冲可包括用于引发光谱响应的一个或多个电磁辐射脉冲。在一个实施方案中，荧光发射包括具有约770nm至约790nm；或约795nm至约815nm的波长的电磁辐射中的一种或多种。使脉冲电磁辐射的波长交替允许利用全像素阵列并且避免拜耳图案像素阵列引入的伪影。

在一些情况下，希望生成具有多种数据类型或彼此重叠的多个图像的内窥镜成像。例如，希望生成还包括叠加在彩色图像上的荧光成像数据的彩色(RGB或YCbCr)图像。具有这种性质的叠加图像可使得执业医生或计算机程序能够基于荧光成像数据识别关键身体结构。历史上，这将需要使用多个传感器***，所述多个传感器***包括用于彩色成像的图像传感器和用于荧光成像的一个或多个附加的图像传感器。在此类***中，多个图像传感器将具有多种类型的像素传感器，这些像素传感器各自对不同范围的电磁辐射敏感。在本领域已知的***中，这包括用于生成彩色图像的三种单独类型的像素传感器，以及用于在不同波长的电磁光谱下生成荧光图像数据的附加的像素传感器。这些多个不同的像素传感器占据过大的物理空间，并且无法位于内窥镜的远侧末端处。在本领域已知的***中，一个或多个相机不放置在内窥镜的远侧末端处，而是放置在内窥镜手持件或机器人单元中。这造成了许多缺点并且导致内窥镜非常精密。当内窥镜在使用期间发生碰撞或冲击时，精密的内窥镜可能被损坏并且图像质量可能降低。考虑到前述内容，本文所公开的是用于在缺光环境中进行内窥镜成像的***、方法和装置。本文所公开的***、方法和装置提供了用于在单个成像过程中采用多种成像技术同时允许一个或多个图像传感器设置在内窥镜的远侧末端中的装置。

荧光成像

本文所公开的***、方法和装置提供了用于在缺光环境中生成荧光成像数据的装置。该荧光成像数据可用于识别体腔或其他缺光环境内的某些物质、组织、组分或过程。在某些实施方案中，荧光成像被提供给执业医生或计算机实施的程序以使得能够对体内的某些结构或组织进行识别。此类荧光成像数据可叠层在黑白或RGB图像上以提供附加信息和上下文。

荧光是已吸收光或其它电磁辐射的物质发射的光。当荧光物质经受紫外光或其它波长的电磁辐射时，某些荧光物质可“发光”或发出人眼可见的不同颜色。当辐射源停止时，某些荧光材料将几乎立即停止发光。

当分子、原子或纳米结构的轨道电子被光或其它电磁辐射激发，然后通过从激发态发射光子而弛豫至其基态时，出现荧光。激发轨道电子或在弛豫期间由光子发射的电磁辐射的具体频率取决于具体的原子、分子或纳米结构。在大多数情况下，由该物质发射的光具有比被该物质吸收的辐射更长的波长，并因此具有更低的能量。然而，当所吸收的电磁辐射强烈时，一个电子可以吸收两个光子。这种双光子吸收可导致具有比所吸收的辐射更短的波长并因此具有更高的能量的辐射的发射。另外，所发射的辐射也可具有与所吸收的辐射相同的波长。

荧光成像具有许多实际应用，包括矿物学、地质学、医学、化学传感器的光谱学、检测生物过程或信号等。荧光尤其可用于生物化学和医学中作为用于跟踪或分析生物分子的非破坏性手段。生物分子，包括某些组织或结构，可通过分析生物分子在被某些波长的电磁辐射激发后的荧光发射来跟踪。然而，相对较少的细胞组分是天然荧光的。在某些具体实施中，可视化本质上不发荧光的某些组织、结构、化学过程或生物过程可能是有利的。在此类具体实施中，可向身体施用染料或试剂，该染料或试剂可包括具有荧光特性的分子、蛋白质或量子点。然后，试剂或染料可在被某些波长的电磁辐射激发之后发荧光。不同的试剂或染料可包括将在特定波长的电磁辐射下发荧光的不同的分子、蛋白质和/或量子点。因此，可能需要用特定频带的电磁辐射激发试剂或染料以实现荧光并在体内识别期望的组织、结构或过程。

荧光成像可在医学领域中提供可用于诊断目的和/或可在医学规程期间实时可视化的有价值的信息。可向身体施用特定试剂或染料以使某些组织、结构、化学过程或生物过程发荧光。试剂或染料的荧光可突出显示身体结构，诸如血管、神经、特定器官等。另外，试剂或染料的荧光可突出显示病症或疾病，诸如癌细胞或经历可能与病症或疾病相关联的某些生物或化学过程的细胞。荧光成像可由执业医生或计算机程序实时使用，以用于在外科肿瘤提取期间区分例如癌细胞和非癌细胞。荧光成像还可用作非破坏性手段，以用于随时间推移跟踪和可视化体内原本人眼不可见或在RGB图像中不可辨别的病症。

用于生成荧光成像数据的***、方法和装置可与试剂或染料配合使用。已知一些试剂或染料附着到某些类型的组织并且在特定波长的电磁波谱下发荧光。在一个具体实施中，将试剂或染料施用于经过配置在被某些波长的光激活时发荧光的患者。本文所公开的内窥镜成像***用于激发试剂或染料并且使其发荧光。通过内窥镜成像***捕获试剂或染料的荧光，以帮助识别体腔中的组织或结构。在一个具体实施中，向患者施用多种试剂或染料，该多种试剂或染料各自被配置为发出不同波长的荧光以及/或者提供不同的结构、组织、化学反应、生物过程等的指示。在此类具体实施中，内窥镜成像***发射适用波长中的每个适用波长，以使适用试剂或染料中的每种发荧光。这可消除针对多种试剂或染料中的每种执行各个成像规程的需要。

成像试剂可增强制药、医学、生物技术、诊断和医学规程行业中的成像能力。许多成像技术诸如X射线、计算机断层摄影术(CT)、超声、磁共振成像(MRI)和核医学主要分析解剖结构和形态，而不能检测到分子水平的变化。荧光试剂、染料和探头(包括量子点纳米粒子和荧光蛋白)通过提供关于成像区域内存在的某些组织、结构、化学过程和/或生物过程的附加信息来辅助医学成像技术。使用荧光试剂成像实现细胞跟踪和/或某些分子生物标志物的跟踪。荧光试剂可用于对癌症、感染、炎症、干细胞生物学等进行成像。许多荧光试剂和染料正在被开发并且应用于以非破坏性方式可视化和跟踪生物过程。此类荧光试剂可由某些波长或波长带的电磁辐射激发。类似地，这些荧光试剂在发荧光时可发出某些波长或波长带的弛豫能量，并且所发出的弛豫能量可由传感器读取以确定试剂或染料的位置和/或边界。

在本公开的一个实施方案中，内窥镜成像***脉冲电磁辐射以用于激发荧光试剂或染料中的电子。内窥镜成像***可在单个成像过程期间脉冲多个不同波长的电磁辐射，以用于使多种不同试剂或染料发荧光。内窥镜包括对一种或多种试剂或染料的弛豫波长敏感的图像传感器。由图像传感器生成的成像数据可用于识别一种或多种试剂或染料的位置和边界。内窥镜***还可以在可见光的红色带、绿色带和蓝色带中脉冲电磁辐射，使得荧光成像可叠加在RGB视频流上。

脉冲成像

本公开的一些具体实施包括传感器和***组合设计的各个方面，该设计能够在受限的照明环境中以减少的像素数生成高清晰度图像。这通过以下方式来实现：逐帧地脉冲单光波长，并且使用受控光源结合高帧捕获速率和特别设计的对应单色传感器在单个不同颜色波长之间切换或交替每个帧。另外，可脉冲可见光谱外的电磁辐射以使得能够生成荧光图像。像素可以是颜色不定的，使得每个像素生成针对每个电磁辐射脉冲的数据，该每个电磁辐射脉冲包括红色、绿色和蓝色可见光波长以及可用于荧光成像的其他波长的脉冲。

本公开的***为一种在缺光环境中使用的内窥镜成像***。该***包括内窥镜，该内窥镜包括图像传感器，其中该图像传感器被配置为感测用于生成多个曝光帧的反射的电磁辐射，该多个曝光帧可被组合以生成上面叠加有荧光数据的彩色图像帧。该***包括用于发射电磁辐射脉冲的发射器。该***包括与图像传感器和发射器电子通信的控制器(可另选地称为“控制电路”)。该控制器响应于对应于发射器的占空比的信号来控制发射器的占空比。图像传感器包括可发送和接收信息的双向焊盘。图像传感器的双向焊盘在被分成三个限定状态的帧周期中操作，该三个限定状态包括滚动读出状态、服务项目状态和配置状态。该***包括设置在控制器中的振荡器和连接到控制器的频率检测器。该频率检测器响应于来自控制器的对应于振荡器频率的信号来控制图像传感器的时钟频率。该***使得时钟信号数据在服务项目阶段和配置阶段期间从图像传感器的双向焊盘传输到控制器。该***使得曝光帧在不使用输入时钟或数据传输时钟的情况下同步。

为了促进对根据本公开的原理的理解的目的，现在将参考附图中所示的实施方案，并且将使用特定的语言来描述这些实施方案。然而，应当理解，因此并不旨在限制本公开的范围。本文所示的本发明特征的任何改变和进一步修改，以及如本文所示的本公开的原理的任何附加的应用(其对于相关领域的技术人员和了解本公开内容的人通常将会发生)将被认为在受权利要求书保护的公开的范围内。

在公开和描述用于在缺光环境中产生图像的结构、***和方法之前，应当理解，本公开不限于本文所公开的特定结构、配置、工艺步骤和材料，因为此类结构、配置、工艺步骤和材料可一定程度地变化。另外应当理解，本文所用的术语只是为了描述具体实施方案的目的，并不旨在进行限制，因为本发明的范围将仅由所附权利要求书及其等同形式来限定。

在描述及对本公开的主题提出权利要求时，将根据下列定义使用以下术语。

应当指出的是，如本说明书和所附权利要求书中使用的单数形式“一种”、“一个”和“该”包括多个指代物，除非上下文中明确表示其它含义。

如本文所用，术语“包括”、“包含”、“其特征在于”以及它们的语法同等成分是非遍举的或开放式的术语，不排除额外的、未述及的要素或方法步骤。

如本文所用，短语“由……组成”及其语法同等成分排除未载入权利要求书的任何要素或步骤。

如本文所用，短语“主要由……组成”及其语法同等成分将权利要求的范围限制于规定的材料或步骤以及本质上不影响被要求保护的本公开的之一种或多种基本及新颖特征的材料或步骤。

如本文所用，术语“近侧”广义上是指靠近起始点的部分的概念。

如本文所用，术语“远侧”一般是指与近侧相反，因此根据上下文其是指距离起始点较远的部分或最远的部分的概念。

如本文所用，颜色传感器或多光谱传感器是那些已知具有颜色滤光器阵列(CFA)的传感器，在其上以便将入射电磁辐射过滤为其单个分量。在电磁光谱的可见范围中，此类CFA可以基于拜尔模板或其修改形式，以便分离光线中的绿色、红色和蓝色光谱分量。

如本文所用，单色传感器是指无过滤功能的成像传感器。因为像素是颜色不定的，所以其有效空间分辨率明显高于传统单传感器相机中的像素颜色(通常采用拜耳图案过滤)对等物。因为单个像素之间浪费的入射光子更少，因此单色传感器也可具有更高的量子效率。

如本文所用，发射器是能够生成和发射电磁脉冲的装置。发射器的各种实施方案可被配置为发射脉冲并且具有来自整个电磁频谱内的非常特定的频率或频率范围。脉冲可包括可见范围和不可见范围的波长。发射器可循环打开和关闭以产生脉冲，或者可以用快门机构产生脉冲。发射器可具有可变功率输出电平，或者可以用辅助装置诸如光圈或滤光器来控制。发射器可发射可通过颜色过滤或快门动作产生脉冲的宽光谱或全光谱电磁辐射。发射器可包括单独地或协同起作用的多个电磁源。

应当指出，如本文所用，术语“光”既是粒子又是波长，并且旨在表示可被像素阵列122检测的电磁辐射，并且可包括来自电磁辐射的可见光谱和不可见光谱的波长。本文所用的术语“分区”是指电磁光谱的预定波长范围，其小于整个光谱，或者换句话讲，构成电磁光谱的某一部分的波长。如本文所用，发射器是关于所发射的电磁光谱的一部分可控制的光源，或是可操作其部件的物理性质、发射强度或发射持续时间或以上所有的光源。发射器可发射任何抖动的、漫射的或准直的发射中的光，并且可通过数字方式或通过模拟方法或***来进行控制。如本文所用，电磁发射器是电磁能量爆发源，并且其包括光源，诸如激光、LED、白炽光、或可进行数字控制的任何光源。

现在参见附图，图1示出了用于在缺光环境中进行顺序脉冲成像的***100的示意图。***100可被部署成生成RGB图像，其中荧光成像数据叠加在RGB图像上。***100包括发射器102和像素阵列122。发射器102在缺光环境112中脉冲电磁辐射的分区，并且像素阵列122感测所反射的电磁辐射的实例。发射器102和像素阵列122按顺序工作，使得电磁辐射的分区的一个或多个脉冲产生由像素阵列122感测的图像数据。

应当指出，如本文所用，术语“光”既是粒子又是波长，并且旨在表示可被像素阵列122检测的电磁辐射，并且可包括来自电磁辐射的可见光谱和不可见光谱的波长。本文所用的术语“分区”是指电磁光谱的预定波长范围，其小于整个光谱，或者换句话讲，构成电磁光谱的某一部分的波长。如本文所用，发射器是关于所发射的电磁光谱的一部分可控制的光源，或是可操作其部件的物理性质、发射强度或发射持续时间或以上所有的光源。发射器可发射任何抖动的、漫射的或准直的发射中的光，并且可通过数字方式或通过模拟方法或***来进行控制。如本文所用，电磁发射器是电磁能量爆发源，并且其包括光源，诸如激光、LED、白炽光、或可进行数字控制的任何光源。

图像传感器的像素阵列122可与发射器102以电子方式配对，使得发射器102和像素阵列122在操作期间被同步用于接收发射和***内所进行的调节。发射器102可被调谐成发射激光形式的电磁辐射，该电磁辐射可被脉冲以照明缺光环境112。发射器102可以对应于像素阵列122的操作和功能的间隔脉冲。发射器102可脉冲多个电磁分区中的光，使得像素阵列接收电磁能量并且产生与每个特定电磁分区在时间上对应的数据集。例如，图1示出了一个具体实施，其中发射器102发射电磁辐射的四个不同分区，包括红色104、绿色106、蓝色108和荧光激发110波长。荧光激发110波长可包括电磁辐射的多个不同分区，电磁辐射的多个不同分区被选择为使存在于缺光环境112内的多种荧光试剂发荧光。荧光激发110波长可被选择为使存在于缺光环境112中的特定荧光试剂发荧光。

在图1中未示出的可供选择的实施方案中，光的脉冲发射包括亮度(“Y”)发射、红色度(“Cr”)发射和蓝色度(“Cb”)发射，而不是脉冲的红色104发射、脉冲的绿色106发射和脉冲的蓝色108发射。在一个实施方案中，控制器或发射器102根据颜色变换系数来将电磁辐射脉冲模块化以提供亮度和/或色度信息，这些颜色变换系数将来自红色、绿色和蓝色光能空间的光能转换为亮度、红色度和蓝色度光能空间。光的脉冲发射还可包括调制的蓝色度(“Y+Cb”)脉冲和/或调制的红色度(“Y+Cr”)脉冲。

缺光环境112包括反射红色114、绿色116和/或蓝色118光的组合的结构、组织和其他元件。被感知为红色114的结构将反射回脉冲的红色104光。从红色结构反射离开导致在脉冲的红色104发射之后由像素阵列122感测的红色105。由像素阵列122感测的数据产生红色曝光帧。被感知为绿色116的结构将反射回脉冲的绿色106光。从绿色结构反射离开导致在脉冲的绿色106发射之后由像素阵列122感测的绿色107。由像素阵列122感测的数据产生绿色曝光帧。被感知为蓝色118的结构将反射回脉冲的蓝色108光。从蓝色结构反射离开导致在脉冲的蓝色108发射之后由像素阵列122感测的蓝色109。由像素阵列122感测的数据产生蓝色曝光帧。

当结构为颜色的组合时，结构将反射回脉冲的红色104发射、脉冲的绿色106发射和/或脉冲的蓝色108发射的组合。例如，被感知为紫色的结构将反射回来自脉冲的红色104发射和脉冲的蓝色108发射的光。由像素阵列122感测的所得数据将指示光在脉冲的红色104发射和脉冲的蓝色108发射之后在相同区域中被反射。当所得红色曝光帧和蓝色曝光帧组合而形成RGB图像帧时，RGB图像帧将指示结构为紫色。

在缺光环境112包括荧光试剂或染料或包括一个或多个荧光结构、组织或其他元件的实施方案中，脉冲方案可包括某些荧光激发波长的发射。可选择某些荧光激发波长来使已知的荧光试剂、染料或其他结构发荧光。荧光结构将对荧光激发波长敏感并且将发射荧光弛豫波长。在荧光激发波长的发射之后，荧光弛豫波长将由像素阵列122感测。由像素阵列122感测的数据产生荧光曝光帧。荧光曝光帧可与多个其他曝光帧组合以形成图像帧。荧光曝光帧中的数据可叠加在RGB图像帧上，该RGB图像帧包括来自红色曝光帧、绿色曝光帧和蓝色曝光帧的数据。

在其中缺光环境112包括对电磁波谱的某些分区发出光谱响应的结构、组织或其他材料的实施方案中，脉冲方案可包括电磁辐射的超光谱分区的发射，以用于引发来自存在于缺光环境112中的结构、组织或其他材料的光谱响应。该光谱响应包括某些波长的电磁辐射的发射或反射。该光谱响应可由像素阵列122感测并且产生超光谱曝光帧。超光谱曝光帧可与多个其他曝光帧组合以形成图像帧。超光谱曝光帧中的数据可叠加在RGB图像帧上，该RGB图像帧包括来自红色曝光帧、绿色曝光帧和蓝色曝光帧的数据。

在一个实施方案中，脉冲方案包括激光标测的发射或工具跟踪图案。在激光标测的发射或工具跟踪图案之后由像素阵列122感测的所反射电磁辐射导致激光标测曝光帧。激光标测曝光帧中的数据可以被提供给对应的***以识别例如在缺光环境112中存在的工具之间的距离、缺光环境112中的场景的三维表面拓扑、场景内的结构或对象的距离、尺寸或位置，等等。该数据可叠加在RGB图像帧上或以其他方式提供给***的用户。

发射器102可以是激光发射器，该激光发射器能够发射脉冲的红色104光以用于生成用于识别缺光环境112内的红色114元件的感测的红色105数据。发射器102还能够发射脉冲的绿色106光，以用于生成用于识别缺光环境内的绿色116元件的感测的绿色107数据。发射器102还能够发射脉冲的蓝色108光，以用于生成用于识别缺光环境内的蓝色118元件的感测的蓝色109数据。发射器102还能够发射脉冲的荧光激发110波长的电磁辐射，以用于识别缺光环境112内的荧光试剂120。通过用脉冲荧光激发110光激发荧光试剂120，然后(由像素阵列122)感测特定荧光试剂120的荧光弛豫111波长来识别该荧光试剂120。发射器102能够以任何期望的顺序发射脉冲的红色104、脉冲的绿色106、脉冲的蓝色108和脉冲的荧光激发110波长。

像素阵列122感测经反射的电磁辐射。感测的红色105、感测的绿色107、感测的蓝色109和感测的荧光弛豫111数据中的每种可被称为“曝光帧”。为每个曝光帧分配特定的颜色或波长分区，其中该分配基于来自发射器102的脉冲的颜色或波长分区的定时。曝光帧与所分配的特定颜色或波长分区的组合可被称为数据集。即使像素122不是专用颜色，也可基于关于发射器的先验信息为任何给定数据集分配颜色。

例如，在操作期间，在脉冲的红色104光在缺光环境112中脉冲之后，像素阵列122感测所反射的电磁辐射。所反射的电磁辐射产生曝光帧，并且曝光帧被归类为感测的红色105数据，因为它在时间上与脉冲的红色104光相对应。曝光帧连同其在时间上与脉冲的红色104光对应的指示为“数据集”。对于由发射器102发射的电磁辐射的每次分配，重复该过程。由像素阵列122创建的数据包括识别缺光环境中的红色114分量并且在时间上与脉冲的红色104光相对应的感测的红色105曝光帧。该数据还包括识别缺光环境中的绿色116分量并且在时间上与脉冲的绿色106光相对应的感测的绿色107曝光帧。该数据还包括识别缺光环境中的蓝色118分量并且在时间上与脉冲的蓝色108光相对应的感测的蓝色109曝光帧。该数据还包括识别荧光试剂120并且在时间上与脉冲的荧光激发110波长的光相对应的感测的荧光弛豫111曝光帧。

在一个实施方案中，将表示红色、绿色和蓝色电磁脉冲的三个数据集组合以形成单个图像帧。因此，红色曝光帧、绿色曝光帧和蓝色曝光帧中的信息被组合以形成单个RGB图像帧。表示其他波长分区的一个或多个附加数据集可以叠加在单个RGB图像帧上。该一个或多个附加数据集可表示例如响应于介于770nm和790nm之间以及介于795nm和815nm之间的脉冲激发110波长的荧光成像。

应当理解，在不脱离本公开的范围的情况下，本公开不限于任何特定的颜色组合或任何特定的电磁分区，并且任何颜色组合或任何电磁分区均可用于代替RED、GREEN和BLUE，诸如青色、洋红色和黄色；紫外线；红外线；前述的任何组合或任何其它颜色组合，包括所有可见波长和不可见波长。在图中，待成像的缺光环境112包括红色114、绿色116和蓝色118部分，并且还包括荧光试剂120。如图所示，来自电磁脉冲的反射光仅包含对象的具有对应于脉冲颜色分区的特定颜色的部分的数据。这些单独的颜色(或颜色间隔)数据集然后可用于通过在126处组合数据集来重建图像。多个曝光帧(即，多个数据集)中的每个曝光帧中的信息可以由控制器124、控制单元、相机控制单元、图像传感器、图像信号处理流水线或一些其他计算资源组合，这些计算资源可被配置为在126处处理多个曝光帧并且组合数据集。数据集可被组合以在内窥镜单元自身内或由一些其他处理资源在场外生成单个图像帧。

图2为用于向缺光环境(诸如用于内窥镜成像)提供照明的***200。***200可与本文所公开的***、方法或装置中的任一者结合使用。***200包括发射器202、控制器204、跳线波导206、波导连接器208、内腔波导210、内腔212和具有附带的光学部件(诸如透镜)的图像传感器214。发射器202(可以统称为“光源”)生成行进穿过跳线波导206和内腔波导210的光以照明内腔212的远侧端部处的场景。发射器202可用于发射任何波长的电磁能量，包括可见波长、红外、紫外、超光谱、荧光激发、激光标测脉冲方案或其他波长。可将内腔212***患者体内以进行成像，诸如在规程或检查期间。如虚线216所示输出光。可使用图像传感器214捕获由光照明的场景并且向医生或一些其他医学人员显示该场景。控制器204可向发射器202提供控制信号以控制何时向一个场景提供照明。在一个实施方案中，发射器202和控制器204位于内窥镜所连接的相机控制单元(CCU)或外部控制台内。如果图像传感器214包括CMOS传感器，则可在所谓的消隐周期期间以图像传感器214的读出周期之间的一系列照明脉冲周期性地向该场景提供光。因此，光可以受控方式被脉冲，以避免重叠到图像传感器214的像素阵列中的图像像素的读出周期中。

在一个实施方案中，内腔波导210包括一根或多根光纤。这些光纤可由低成本材料(诸如塑料)制成，以允许内腔波导210和/或内窥镜的其他部分的处理。在一个实施方案中，内腔波导210是直径为500微米的单根玻璃纤维。跳线波导206可永久性地附接到发射器202。例如，跳线波导206可从发射器202内的发射器接收光，并且在连接器208的位置处向内腔波导210提供光。在一个实施方案中，跳线波导106包括一个或多个玻璃光纤。跳线波导可包括用于将光引导至内腔波导210的任何其他类型的波导。连接器208可将跳线波导206选择性地耦接到内腔波导210，并且允许跳线波导206内的光通过内腔波导210。在一个实施方案中，内腔波导210直接被耦合到光源，而无需任何居间跳线波导206。

图像传感器214包括像素阵列。在一个实施方案中，图像传感器214包括用于生成三维图像的两个或更多个像素阵列。图像传感器214可构成另外两个图像传感器，这两个图像传感器各自具有独立的像素阵列并且可彼此独立地操作。图像传感器214的像素阵列包括有源像素和光学黑色(“OB”)或光学盲像素。有源像素可以是能够感测任何波长的电磁辐射的成像数据的透明“颜色不定的”像素。当像素阵列被“重置”或校准时，在像素阵列的消隐周期期间读取光学黑色像素。在一个实施方案中，当正在读取光学黑色像素时，光在像素阵列的消隐周期期间脉冲。在已读取光学黑色像素之后，在像素阵列的读出周期期间读取有源像素。有源像素可由在消隐周期期间脉冲的电磁辐射充电，使得有源像素准备好在像素阵列的读出周期期间由图像传感器读取。

图2A是互补***硬件诸如专用或通用计算机的示意图。在本公开范围内的具体实施也可包括用于承载或存储计算机可执行指令和/或数据结构的物理及其他非暂态计算机可读介质。此类计算机可读介质可为可通过通用或专用计算机***访问的任何可用介质。存储计算机可执行指令的计算机可读介质为计算机存储介质(装置)。承载计算机可执行指令的计算机可读介质为传输介质。因此，以举例而非限制性的方式，本公开的具体实施可包括至少两种明显不同种类的计算机可读介质：计算机存储介质(装置)和传输介质。

计算机存储介质(装置)包括RAM、ROM、EEPROM、CD-ROM、固态硬盘(“SSD”)(例如，基于RAM)、闪存存储器、相变存储器(“PCM”)、其他类型的存储器、其他光盘存储器、磁盘存储器或其他磁存储器装置、或任何其他可用于存储期望的呈计算机可执行指令或数据结构的形式的程序代码工具并且可通过通用或专用计算机来访问的介质。

“网络”是指一个或多个数据链路，其能够使电子数据在计算机***和/或模块和/或其它电子装置之间进行传输。在一个具体实施中，传感器与相机控制单元可网络化，以便彼此通信，以及与通过它们所连接网络进行连接的其它部件进行通信。当信息通过网络或另外的通信连接(硬连接、无线或者硬连接或无线的组合)传送或提供至计算机时，计算机合理地将该连接视作传输介质。传输介质可包括网络和/或数据链路，该网络和/或数据链路可用于承载期望的呈计算机可执行指令或数据结构的形式的程序代码工具并且可通过通用或专用计算机来访问。上述组合也应涵盖在计算机可读介质的范围内。

另外，在到达各种计算机***部件时，呈计算机可执行指令或数据结构的形式的程序代码工具，其可由传输介质自动传送至计算机存储介质(装置)(反之亦然)。例如，通过网络或数据链路接收的计算机可执行指令或数据结构可缓存于网络接口模块(例如，“NIC”)内的RAM中，然后最终传送至计算机***RAM和/或计算机***的非易失性计算机存储介质(装置)中。RAM还可包括固态硬盘(SSD或基于PCIx的实时存储器分层存储装置，诸如FusionIO)。因此，应当理解，计算机存储介质(装置)可包括在计算机***部件中，该计算机***部件还(或甚至主要)利用了传输介质。

计算机可执行指令包括(例如)在由一个或多个处理器执行时使通用计算机、专用计算机或专用处理装置执行某些功能或功能群的指令和数据。计算机可执行指令可为(例如)二进制、中间格式指令(诸如汇编语言)、或者甚至为源代码。尽管在语言上针对结构特征和/或方法步骤阐述了本发明的主题，然而应当理解，随附权利要求书中所限定的主题未必仅限于上文所述的特征或步骤。更确切地说，上文所述的特征和步骤是作为实施权利要求书的例子形式而公开的。

本领域的技术人员应当理解，本公开可在网络计算环境中实现，该网络计算环境具有多种类型的计算机***配置，包括个人电脑、台式计算机、笔记本电脑、信息处理器、控制单元、相机控制单元、手持装置、手持件、多处理器***、基于微处理器的或可编程的电子消费品、网络PC、小型计算机、大型计算机、移动电话、PDA、平板电脑、传呼机、路由器、交换机、各种存储装置等等。应当指出的是，任意上述计算装置都可由实体机构提供或位于实体机构内。本公开也可在分布式***环境中实现，其中本地和远程计算机***通过网络连接起来(通过硬连接数据链路、无线数据链路或硬连接数据链路与无线数据链路的组合)，两者均可执行任务。在分布式***环境中，程序模块可位于本地和远程存储器存储装置二者中。

另外，在适当的情况下，本文所述的功能可通过硬件、软件、固件、数字部件或模拟部件中的一种或多种来执行。例如，可对一种或多种专用集成电路(ASIC)或现场可编程门阵列进行编程以执行本文所述的一种或多种***和程序。在整个下面的描述和权利要求中所用的某些术语是指特定的***部件。本领域的技术人员应当理解，部件可具有不同的名称。本文并非旨在在名称上而非功能上不同的部件之间进行辨别。

图2A为示出示例性计算装置250的框图。计算装置250可用于执行各种程序，诸如本文所讨论的那些程序。计算装置250可用作服务器、客户端或任何其他计算实体。计算装置250可执行本文所讨论的各种监控功能，并且可执行一种或多种应用程序，诸如本文所述的应用程序。计算装置250可为各种计算装置中的任意一种，诸如台式计算机、笔记本电脑、服务器电脑、掌上电脑、相机控制单元、平板电脑，等等。

计算装置250包括一个或多个处理器252、一个或多个存储器装置254、一个或多个接口256、一个或多个大容量存储装置258、一个或多个输入/输出(I/O)装置260，以及显示装置280，所有器件均耦合到总线262。处理器252包括一个或多个处理器或控制器，该一个或多个处理器或控制器执行存储于存储器装置254和/或大容量存储装置258中的指令。处理器252还可以包括各种类型的计算机可读介质，诸如高速缓存存储器。

存储器装置254包括各种计算机可读介质，诸如易失性存储器(例如，随机存取存储器(RAM)264)和/或非易失性存储器(例如，只读存储器(ROM)266)。存储器装置254还可包括可重写ROM，诸如闪存存储器。

大容量存储装置258包括各种计算机可读介质，诸如磁带、磁盘、光盘、固态存储器(例如，闪存存储器)，等等。如图2中所示，特定的大容量存储装置为硬盘驱动器274。各种驱动器也可包括在大容量存储装置258中以能够从各种计算机可读介质中进行读取和/或写入。大容量存储装置258包括可移动介质276和/或不可移动介质。

I/O装置260包括允许向计算装置250输入或从计算装置检索数据和/或其他信息的各种装置。示例性I/O装置260包括数字成像装置、电磁传感器和发射器、光标控制装置、键盘、小键盘、麦克风、监视器或其他显示装置、扬声器、打印机、网络接口卡、调制解调器、透镜、CCD或其他图像捕获装置，等等。

显示装置280包括能够向计算装置250的一个或多个用户显示信息的任何类型的装置。显示装置280的示例包括监视器、显示终端、视频投影装置，等等。

接口256包括能够使计算装置250与其他***、装置或计算环境进行交互的各种接口。示例性接口256可包括任何数量的不同网络接口270，诸如连接局域网(LAN)、广域网(WAN)、无线网和互联网的接口。其他接口包括用户接口268和***装置接口272。接口256还可包括一个或多个用户接口元件268。接口256还可包括一个或多个***接口，诸如用于打印机、指示装置(鼠标、触控板等)、键盘等的接口。

总线262使处理器252、存储器装置254、接口256、大容量存储装置258和I/O装置260能够彼此通信，并且与耦合到总线262的其他装置或部件通信。总线262表示若干类型的总线结构(诸如***总线、PCI总线、IEEE1394总线、USB总线等)中的一种或多种。

出于示例性目的，本文所示的程序和其他可执行程序器件为分立块体，但应当理解，此类程序和部件可在各个时间驻留在计算装置250的不同存储部件中，并且由(一个或多个)处理器252执行。或者，本文所述的***和程序可通过硬件来实现，或通过硬件、软件和/或固件的组合来实现。例如，可对一种或多种专用集成电路(ASIC)或现场可编程门阵列进行编程以执行本文所述的一种或多种***和程序。

图3A示出了在滚动读出模式或在传感器读出300期间使用的传感器的操作循环。帧读出周期可在竖直线310处开始并且可由该竖直线表示。读出周期302由对角线或斜线表示。传感器可逐行读出，向下倾斜边缘的顶部为传感器顶行312，并且向下倾斜边缘的底部为传感器底行314。在最后一行读出和下一读出周期之间的时间可被称为消隐周期316。应当指出，传感器像素行中的一些可覆盖有光屏蔽件(例如，金属涂层或另一种材料类型的任何其它大体上黑色的层)。这些被覆盖的像素行可被称为光学黑色行318和320。光学黑色行318和320可用作校正算法的输入。如图3A所示，这些光学黑色行318和320可位于像素阵列的顶部上或像素阵列的底部或像素阵列的顶部和底部。

图3B示出了控制曝光至像素从而被像素集成或聚积的电磁辐射(例如，光)的量的方法。应当理解，光子是电磁辐射的基本粒子。光子被每个像素集成、吸收或累积并转换为电荷或电流。电子快门或卷帘式快门(虚线322所示)可用于通过重置像素来开始集成时间。然后光将集成直到下一读出周期为止。电子快门322的位置可在两个读出周期302之间移动，以便控制针对给定量的光的像素饱和度。应当指出，该技术允许在两个不同行之间的集成时间恒定，但在从顶行移动到底行时引入延迟。

图3C示出了电子快门322已被移除的情况。在该配置中，入射光的集成可在读出周期302期间开始，并且可在下一读出周期302结束，该下一读出周期也限定下一集成的开始。

图3D示出了没有电子快门322但在消隐周期316期间具有受控和脉冲光330的配置。这确保所有行看到的光与从相同光脉冲330发出的光相同。换句话讲，每行将在黑暗环境中开始其集成，这可位于读出帧(m)的光学黑色后行320以获得最大的光脉冲宽度，并且然后将接收光通并且将在黑暗环境中结束其集成，这可位于下一后续读出帧(m+1)的光学黑色前行318以获得最大的光脉冲宽度。在例如图3D中，由光脉冲生成的图像将仅在帧(m+1)读出期间可用，而不会干扰帧(m)和帧(m+2)。应当指出，使光脉冲仅在一个帧中读出并且不干扰相邻帧的条件是在消隐周期316期间击发给定的光脉冲。因为光学黑色行318、320对光不敏感，所以可将帧(m)的光学黑色后行320时间和帧(m+1)的光学黑色前行318时间添加至消隐周期316，以确定光脉冲330的击发时间的最大范围。

如图3A所示，传感器可循环多次以接收每种脉冲颜色或波长(例如，电磁光谱上的红色、绿色、蓝色或其他波长)的数据。每个循环可以是定时的。在一个实施方案中，循环可定时以在16.67ms的间隔内操作。在另一个实施方案中，循环可定时以在8.3ms的间隔内操作。应当理解，本公开设想了其它的定时间隔，并且旨在落入本公开的范围内。

图4A以图形方式示出了电磁发射器的实施方案的操作。发射器可定时以对应于传感器的循环，使得电磁辐射在传感器操作循环内和/或传感器操作循环的一部分期间发射。图4A示出了402处的脉冲1、404处的脉冲2和406处的脉冲3。在一个实施方案中，发射器可在传感器操作循环的读出周期302期间脉冲。在一个实施方案中，发射器可在传感器操作循环的消隐周期316期间脉冲。在一个实施方案中，发射器可脉冲持续时间，该持续时间在两个或更多个传感器操作循环的部分期间。在一个实施方案中，发射器可在消隐周期316期间或在读出周期302的光学黑色部分320期间开始脉冲，并且在读出周期302期间或下一后续循环的读出周期302的光学黑色部分318期间结束脉冲。应当理解，只要发射器的脉冲和传感器的循环相对应，上述的任何组合旨在落入本公开的范围内。

图4B以图形方式表示改变发射的电磁脉冲(例如，在412处的脉冲1、在414处的脉冲2、在416处的脉冲3)的持续时间和量值以控制曝光。具有固定输出量值的发射器可在上文结合图3D和图4A所述的任何循环期间脉冲一定间隔，以向像素阵列提供所需的电磁能量。具有固定输出量值的发射器可在较长的时间间隔内脉冲，从而为像素提供更多的电磁能量，或者发射器可在较短的时间间隔脉冲，从而提供较少的电磁能量。是否需要较长或较短的时间间隔取决于操作条件。

与调节发射器脉冲固定输出量值的时间间隔相比，可增大发射量值本身以便向像素提供更多的电磁能量。类似地，减小脉冲的量值可为像素提供较少的电磁能量。应当指出，如果需要的话，***的实施方案可具有同时调节量值和持续时间的能力。另外，可调节传感器以根据最佳图像质量的需要来增加其灵敏度和持续时间。图4B示出了改变脉冲的量值和持续时间。在图示中，412处的脉冲1具有比414处的脉冲2或416处的脉冲3更高的量值或强度。另外，412处的脉冲1具有比在414处的脉冲2或416处的脉冲3更短的持续时间，使得由该脉冲提供的电磁能量由图示中所示脉冲下的面积示出。在图示中，当与412处的脉冲1或416处的脉冲3相比时，414处的脉冲2具有相对低的量值或强度以及较长的持续时间。最后，在图示中，当与412处的脉冲1和414处的脉冲2相比时，416处的脉冲3具有中间量值或强度和持续时间。

图5为根据本公开的原理和教导内容的组合图3A至图3D和图4A的操作循环、电磁发射器和发射的电磁脉冲以在操作期间显示成像***的本公开的实施方案的图示。如在图中可见，电磁发射器主要在图像传感器的消隐周期316期间脉冲辐射，使得像素将被充电并且在图像传感器循环的读出周期302期间准备读取。图5中的虚线表示电磁辐射的脉冲(来自图4A)。电磁辐射脉冲主要在图像传感器的消隐周期316期间发射，但可与图像传感器的读出周期302叠层。

曝光帧包括在读出周期302期间由图像传感器的像素阵列读取的数据。曝光帧可与在读出周期302之前由发射器发射的脉冲的类型的指示组合。曝光帧和脉冲类型的指示的组合可被称为数据集。可组合多个曝光帧以生成黑白或RGB彩色图像。另外，超光谱、荧光和/或激光标测成像数据可叠加在黑白或RGB图像上。

在一个实施方案中，曝光帧是在消隐周期316之后发生的读出周期302期间由像素阵列感测的数据。电磁辐射的发射在消隐周期316期间发射。在一个实施方案中，电磁辐射的发射的一部分与读出周期302重叠。消隐周期316在像素阵列的光学黑色像素正在被读取时发生，并且读出周期302在像素阵列的有源像素正在被读取时发生。消隐周期316可与读出周期302重叠。

图6A和图6B示出了用于记录图像帧的过程。可将多个图像帧串在一起以生成视频流。单个图像帧可包括来自多个曝光帧的数据，其中曝光帧是在电磁辐射的发射之后由像素阵列感测的数据。图6A示出了通常用彩色图像传感器实现的传统过程，该彩色图像传感器具有颜色滤光器阵列(CFA)以针对每个像素滤除某些波长的光。图6B是本文所公开的过程，并且可利用接收所有波长的电磁辐射的单色“颜色不定的”图像传感器来实现。

图6A所示的过程在时间t(0)至时间t(1)期间发生。该过程从白光发射602开始并且感测白光604。在606处，基于604处的感测来处理并且显示图像。

图6B所示的过程在时间t(0)至时间t(1)期间发生。该过程从绿光612的发射开始，并且在绿光612的发射之后感测所反射的电磁辐射614。该过程继续红光616的发射，并且在红光616的发射之后感测所反射的电磁辐射618。该过程继续蓝光620的发射，并且在蓝光620的发射之后感测所反射的电磁辐射622。该过程继续进行荧光激发波长624的一次或多次发射，并且在电磁辐射624的荧光激发波长的一次或多次发射的每一次发射之后感测所反射的电磁能量626。在628处基于所感测的反射电磁能量实例614、618、622和626中的每个实例来处理和显示图像。

图6B所示的方法提供较高分辨率的图像并且提供用于生成还包括荧光成像数据的RGB图像的装置。当使用光的分区光谱时(如图6B所示)，可使传感器对所有波长的电磁能量敏感。在图6B所示的过程中，指示单色像素阵列在每个循环中感测来自电磁能量全光谱的预先确定的分区的电磁能量。因此，为了形成图像，传感器仅需以全光谱光内不同的多个分区进行循环。基于多个循环来组合最终图像。因为来自每个颜色分区帧循环的图像(与CFA像素阵列相比)具有较高的分辨率，所以当分区的光帧被组合时产生的所得图像也具有较高的分辨率。换句话讲，因为阵列内的每个像素(而不是至多，具有CFA的传感器中的每隔一个像素)感测给定脉冲和给定场景的能量的幅值，仅相隔一段时间，因此针对每个场景产生较高分辨率的图像。

如在图6A至图6B中所示的实施方案中在时间t(0)和t(1)之间可从图形看出，用于图6B中的分区光谱***的传感器对图6A中的全光谱***中的每个全光谱***循环了至少四次。在一个实施方案中，显示装置(LCD面板)以每秒50至60帧的速度工作。在此类实施方案中，图6B中的分区光***可以200帧/秒至240帧/秒的速率操作，以保持所显示视频的连续性和平滑性。在其它实施方案中，可存在不同的捕获和显示帧速率。此外，平均捕获速率可以是显示速率的任何倍数。

在一个实施方案中，可能期望并非所有分区在***帧速率内均相等地表示。换句话讲，并非所有光源都必须以相同的规律性脉冲，以便根据用户的需要来强调和取消强调所记录场景的各个方面。还应当理解，电磁频谱的不可见分区和可见分区可在***内脉冲到一起，其中它们的相应数据值被接合(stitch)到视频输出中，以用于向用户显示。

实施方案可包括如下脉冲循环图案：

i.绿色脉冲；

ii.红色脉冲；

iii.蓝色脉冲；

iv.绿色脉冲；

v.红色脉冲；

vi.蓝色脉冲；

vii.荧光激发脉冲；

viii.(重复)

实施方案可包括如下脉冲循环图案：

i.亮度脉冲；

ii.红色度脉冲；

iii.亮度脉冲；

iv.蓝色度脉冲；

v.荧光激发脉冲；

vi.(重复)

实施方案可包括如下脉冲循环图案：

i.亮度脉冲；

ii.红色度脉冲；

iii.亮度脉冲；

iv.蓝色度脉冲；

v.亮度脉冲；

vi.红色度脉冲；

vii.亮度脉冲；

viii.蓝色度脉冲；

ix.荧光激发脉冲；

x.(重复)

如在该示例中可见，荧光激发分区可以与其他分区脉冲的速率不同的速率脉冲。这样做可强调场景的某个方面，其中荧光成像数据仅与视频输出中的其他数据重叠以做出期望的强调。应当指出，在红色、绿色和蓝色分区的顶部上方添加荧光分区并不一定要求序列化的***以全光谱非串行***的速率的四倍操作，因为每个分区不必在脉冲图案中相等地表示。如在该实施方案中所见，添加在脉冲图案(上述示例中的荧光激发)中表示较少的分区脉冲将导致小于传感器的循环速度的20％的增加，以适应不规则的分区采样。

在各种实施方案中，脉冲循环图案还可以任何合适的顺序包括以下波长中的任一个波长。此类波长可特别适用于激发荧光试剂，以通过基于荧光试剂弛豫发射感测荧光试剂的弛豫发射来生成荧光成像数据：

i.770±20nm；

ii.770±10nm；

iii.770±5nm；

iv.790±20nm；

v.790±10nm；

vi.790±5nm；

vii.795±20nm；

viii.795±10nm；

ix.795±5nm；

x.815±20nm；

xi.815±10nm；

xii.815±5nm；

xiii.770nm至790nm；和/或

xiv.795nm至815nm。

可将分区循环划分为适应或近似各种成像和视频标准。在一个实施方案中，分区循环包括如下如图7A至图7D中最佳地示出的红色、绿色和蓝色光谱中的电磁能量的脉冲。由发射器进行的电磁辐射脉冲的发射与像素阵列的读出之间的定时关系在图7A至图7D中进一步示出。

在一个实施方案中，发射器发射一个或多个超光谱发射以引发光谱响应。超光谱发射包括具有约513-545nm、约565-585nm和/或约900-1000nm的波长的电磁辐射中的一种或多种。在此类实施方案中，相干光源802包括用于513-545nm分区的至少一个激光发射器、用于565-585分区的至少一个激光发射器，以及用于900-1000nm分区的至少一个激光发射器。应当理解，在不脱离本公开的范围的情况下，可发射用于引发光谱响应的附加的超光谱发射。

在一个实施方案中，发射器发射用于使试剂发荧光的一个或多个荧光激发发射。荧光激发发射包括具有约460-470nm、529-537nm、633-643nm、775-785nm、800-810nm、970-980nm、575-579nm、519-527nm、770-790nm和/或795-815nm的波长的电磁辐射中的一种或多种。在此类实施方案中，相干光源802可包括用于前述电磁辐射的分区中的每一个分区的至少一个激光发射器。应当理解，在不脱离本公开的范围的情况下，可发射用于使试剂发荧光的附加的荧光激发发射。

在图7A中，已通过在由竖直灰色虚线所示的工作范围内调制光脉冲宽度或持续时间来实现不同的光强度。图7A示出了四帧循环内、三个波长的脉冲混合与图像传感器的像素阵列的读出循环之间的一般定时关系。在一个实施方案中，在控制器的控制下存在三个单色脉冲光源。例如用R-G-B-G脉冲图案捕获单色红色、单色绿色和单色蓝色曝光帧的周期性序列，并且由图像信号处理器链组合成sRGB图像帧。

在图7B中，已通过调制光功率或电磁发射器(其可为激光器或LED发射器)的功率，但保持脉冲宽度或持续时间恒定来实现不同的光强度。

图7C示出了光功率和光脉冲宽度均被调制从而得到更大灵活性的情况。分区循环可使用青色洋红色黄色(CMY)、红外线、紫外线、高光谱和荧光，使用与可见脉冲源混合的不可见脉冲源以及产生图像所需的任何其他色彩空间或近似于当前已知或尚未开发的期望的视频标准。还应当理解，***能够在运行中的色彩空间之间切换以提供所需图像输出质量。

在使用色彩空间绿色-蓝色-绿色-红色(如图7D中所示)的实施方案中，可能期望比色度分量更频繁地脉冲亮度分量，因为用户通常对光量值差异比对光色差更敏感。可使用如图7D中所示的单色图像传感器来利用该原理。在图7D中，包含最多亮度信息的绿色可在(G-B-G-R-G-B-G-R……)方案中更频繁地脉冲或具有更大强度以获得亮度数据。此类配置将创建具有可察觉的更多细节的视频流，而不创建和传输不可察觉的数据。

在一个实施方案中，所有三个光源与被调制为在相同的曝光帧中提供纯亮度信息的光能一致地脉冲。可根据从RGB颜色空间转换为YCbCr颜色空间的颜色转换系数来调制光能。应当理解，颜色转换可根据任何合适的标准诸如ITU-R BT.709HD标准、ITU-R BT.601标准、ITU-R BT.2020标准或任何其他合适的标准或公式来实现。该转换可根据ITU-RBT.709HD标准如下执行：

除了亮度信息的调制之外，全彩图像还需要红色度分量和蓝色度分量。然而，应用于亮度分量的算法不能直接应用于色度分量，因为该算法是带符号的，如一些RGB系数为负的事实中所反映的。在一个实施方案中，提高亮度的程度，使得所有最终脉冲能量均为正值。只要图像信号处理器中的颜色融合过程知道色度曝光帧的组成，它们就可以通过从相邻帧中减去适当量的亮度来解码。脉冲能量比例由下式给出：

Y＝0.183·R+0.614·G+0.062·B

Cb＝λ·Y-0.101·R-0.339·G+0.439·B

Cr＝δ·Y+0.439·R-0.399·G-0.040·B

其中

如果λ因子等于0.552，则抵消红色分量和绿色分量。在这种情况下，蓝色度信息可提供有纯蓝光。类似地，如果δ因子等于0.650，则抵消蓝色分量和绿色分量，并且红色度信息可提供有纯红光。该实施方案是数字帧重建的方便的近似。

在照明域中执行白平衡的实施方案中，除了白平衡调制之外，还施加调制。

在一个实施方案中，复制较弱分区的脉冲可用于产生已针对较弱脉冲进行调节的输出。例如，认为蓝色激光相对于硅基像素的灵敏度弱，并且与红光或绿光相比，蓝色激光难以产生，因此可在帧循环期间更频繁地脉冲以补偿光的弱性。这些附加脉冲可随时间推移连续地完成，或者通过使用多个激光器同时脉冲以产生所需补偿效果。应当注意，通过在消隐周期(在此期间传感器不读出像素阵列的时间)期间脉冲，传感器对同一种类的激光器之间的差异/失配不敏感，并且简单地聚积光以用于期望的输出。在另一个实施方案中，最大光脉冲范围可能从帧到帧是不同的。这示出于图7E，其中光脉冲从帧到帧是不同的。传感器可被构建成能够以两帧或三帧或四帧或n帧的重复图案对不同消隐周期进行编程。

在图7E中，示出了四个不同的光脉冲，并且脉冲1可例如在脉冲4之后重复，并且可具有消隐周期不同的四帧的图案。该技术可用于将最大功率的分区放置于最小消隐周期上，并且因此允许最弱的分区在后续帧中的一帧上具有更宽的脉冲而无需增加读出速度。重建帧仍可具有帧到帧的规则图案，因为其由许多脉冲帧构成。

图8示出了控制信号802和电磁辐射的发射804之间的延迟或抖动的图形显示。在一个实施方案中，控制信号802表示提供给发射器的驱动器的信号。驱动器被配置为使发射器202发射电磁辐射脉冲。在一个实施方案中，驱动器是控制器204的部件，或者可独立于控制器204并与控制器204通信。在一个实施方案中，驱动器是控制器204。在一个实施方案中，驱动器是发射器202的部件或与发射器202通信。如图所示，在控制信号802达到其峰值(即，接通)和发射器202发射804电磁辐射之间存在持续时间的延迟t1。在控制信号802降低(即，关闭)和电磁辐射的发射804结束之间存在持续时间的延迟t2。

例如，延迟t1和t2可包括一些恒定延迟以及由发射器的驱动器中的抖动引起的一些非恒定变化。例如，当控制信号802被传输到驱动器时，并且当发射器202实际上发射电磁辐射的发射804时，可能存在恒定延迟。此延迟可以非常短，并且可基于在驱动器和发射器之间发生电通信所需的时间。延迟的非恒定变化可以是发射器的驱动器中、控制器204中和或发射器本身中的抖动的结果。

***或***的部件(诸如发射器的驱动器)经历的抖动可通过被称为抖动规格的值来描述。抖动规格是描述***经历的抖动量或抖动持续时间的数值。在图8所示的示例中，延迟t1具有比延迟t2短的持续时间。在该示例中，延迟t1可表示在启动控制信号802之后经历的恒定延迟，并且发射器发射电磁辐射的发射804。t2和t1之间的差异可表示***经历的抖动。该值可被称为抖动规格。

在一个实施方案中，抖动规格是表示用于启动或断开电磁辐射脉冲的发射的恒定或可预测延迟的变化量的数值。在此类实施方案中，***经历在驱动器向发射器发信号以发射电磁辐射脉冲和发射器实际上何时发起电磁辐射脉冲之间的恒定、可预测延迟。类似地，在当发射器应当断开电磁辐射脉冲时和当发射器实际上断开电磁辐射脉冲时之间可能存在恒定、可预测延迟。这种恒定、可预测延迟不表示抖动规格。相反，抖动规格是这种恒定、可预测延迟的变化。在图8所示的示例中，时间t2和t1之间的差异表示恒定、可预测延迟的变化。

抖动不受***的用户的控制。抖动规格表示***中存在的不可预测和非恒定时间变化的量。如果抖动规格相对于电磁辐射脉冲太大，则在所产生的曝光帧中会出现图像质量的显著降低或图像亮度变化。例如，在如本文所讨论的视频内窥镜***中，长抖动规格可以使视频流内的不同排的曝光帧具有不同亮度。这导致在视频流中闪烁和总体质量降低。长抖动规格可导致光在图像传感器的读出周期302期间发射。如果在读出周期302期间脉冲电磁辐射，则将发生像素读数中像素和像素行之间的显著变化，并且这降低所得视频流中的图像质量。

在示例性具体实施中，控制器204具有电磁辐射脉冲的持续时间的10％的抖动规格。在该示例中，脉冲可从其期望持续时间的90％变化到其期望持续时间的110％。这可导致视频的图像帧内曝光帧的或排之间的亮度变化高达三分之一。

在一个实施方案中，如果抖动规格具有长于阈值量的持续时间，则电磁辐射脉冲在持续时间内受到限制，以避免重叠到读出周期302中。脉冲持续时间上的限制可需要通过增加捕获的曝光帧之间的时间和/或增加消隐期316的持续时间来降低帧速率。这可能导致对图像亮度的减少，并且这可进一步降低图像传感器捕获详细图像的能力。

在一个实施方案中，如果抖动规格具有短于阈值量的持续时间，则发射器202的脉冲序列和图像传感器的读出序列204保持不变。在一个实施方案中，阈值指示抖动规格必须为1微秒或更小。在一个实施方案中，阈值指示抖动规格必须为50纳秒或更小。在一个实施方案中，阈值指示抖动规格必须小于图像传感器读出一排像素阵列的所花费的时间。在一个实施方案中，阈值指示抖动规格必须小于图像传感器读出像素阵列的单个像素所花费的时间。在一个实施方案中，阈值指示抖动规格可小于或等于图像传感器的读出周期302的10％至25％，或图像传感器读出像素阵列中的所有有效像素所需的时间。例如，在此类实施方案中，如果像素阵列包括400排，则抖动规格必须小于或等于读出像素阵列中的400排中的40至100排所需的时间。因此，由像素阵列捕获的光的变化量可足够低，以减少图像闪烁并且/或者在读出周期302之间提供尽可能多的光。

在一个实施方案中，通过实施控制器204或发射器202的驱动器中的较高时钟速率或更准确的时钟来减少(缩短)抖动规格。发射器202的驱动器的减小的抖动规格和公差可解决不耐受驱动的问题，从而导致所得视频流中的伪像。

在一个实施方案中，相机控制单元(CCU)向控制器204或发射器202提供信号以避免与图像传感器的读出周期302重叠电磁辐射脉冲。CCU可确定用于向控制器204和/或发射器202发送信号以避免重叠到像素阵列中的有效(即，不是光学黑色)像素的读出中。CCU可使发射器202发射的时间电磁辐射的持续时间最大化，而不重叠图像传感器的读出周期302。

图9示出了用于将电磁辐射从发射器202携带到缺光环境以照明场景的光纤束900的横截面。在图9所示的示例性实施方案中，光纤束900包括七个纤维，但是应当理解，纤维的数量仅是说明性的，并且在脱离本公开的范围的情况下可以使用任何合适数量的纤维。纤维束包括中心纤维902和多个周围纤维904。

在一个实施方案中，限制纤维的总数量以减小光纤束900的横截面积。光纤束900可包括合适数量的纤维，用于提供足够的光分散，同时允许小的横截面积。这可能是期望的，因为内窥镜内腔的横截面积在需要小的内窥镜的一些应用中是至关重要的。在一个实施方案中，光纤束900可包括2至150根纤维。较少数量的纤维可减少携带光纤束900所需的费用和横截面积。然而，更多数量的纤维改善了冗余。在一个实施方案中，光纤束900包括5至100根纤维或5至50根纤维或7至15根纤维。在一个实施方案中，光纤束包括七个纤维，如图9所示。

当光纤束900具有较小数量的纤维时，可能期望每个纤维接收相同量的电磁辐射和相同量的特定波长的电磁辐射。例如，如果电磁辐射主要通过中心纤维902传输，则中心纤维902将接收大部分电磁辐射，并且场景将被彩色或亮度不均匀地照明。另外，如果更多的光进入一根纤维而不是另一根，则可在光纤束900中携带的电磁辐射的总量(功率)会减少。例如，如果向纤维提供高于一定能量水平或强度的电磁辐射，则纤维可具有熔断极限，这些极限可导致纤维熔化或以其他方式失效。因此，如果电磁辐射更均匀地分布在纤维上，则可能增加场景的功率和照明。

在一个实施方案中，发射器202在向光纤束900提供电磁辐射之前混合两个或更多个波长的电磁辐射。这可在发射器202包括用于发射不同波长的电磁辐射的两个或更多个独立激光器束时实现。发射器202可包括例如用于发射第一波长的第一激光器束和用于发射第二波长的第二激光器束。发射器202可混合电磁辐射，使得来自第一激光器束的光和来自第二激光器束的光以相同或基本上相同的角度进入跳线波导(或另一波导)。可通过相对于彼此以相同的角度定位激光器束来实现相同或基本上相同的角度。在一个实施方案中，二向色镜通过反射一种波长的电磁辐射，同时对另一波长透明而允许相同或基本上相同的角度。在一个实施方案中，发射器202包括漫射器、混合棒、透镜或其他光学元件，以在进入光纤束900之前混合光。

在一个实施方案中，发射器202向波导提供均匀分布的光强度。在为波导收集光的区域内的光的峰值强度可基本上等于或接近该区域内的光的平均强度。提供给收集区域的光可具有顶帽式轮廓，使得每根纤维收集和/或接收相同或类似强度的光。发射器202可通过以一定角度向收集区域的表面提供激光来提供或接近顶帽式轮廓。例如，发射器可202可包括高斯或其他非恒定强度轮廓。通过使激光器束相对于收集区域成角度，将高斯轮廓展平为更加恒定的轮廓或顶帽式轮廓。可使用透镜、漫射器、混合棒或类似物来生成顶帽式轮廓。

图10以图形方式示出了顶帽式轮廓1002和高斯轮廓1004。水平轴线表示水平距离，并且垂直轴线表示光强度。图中文字标记有1006的排表示光纤束900的收集区域1006的边界或宽度。图中文字标记有1008的排表示用于纤维或其他波导的熔断水平1008。

使用高斯轮廓1004，将大部分电磁辐射发送到中心纤维902。当大部分能量位于中心纤维902中时，剩余周围纤维904可远低于熔断水平1008。例如，使用高斯轮廓1004，能量总量的增加可导致中心纤维902显著超过熔断水平1008，而多个周围纤维904远低于熔断水平1008。

使用顶帽式轮廓1002，所有纤维都携带相同的能量水平。该能量水平可靠近熔断水平1008或低于熔断水平1008。例如，使用顶帽式轮廓1002，由光纤束900携带的总能量可显著增加，因为光纤束900可被集中地推到熔断水平1008附近，而没有熔断任何单根光纤的风险。

图10示出了通过实施顶帽式轮廓1002在任何单根纤维达到熔断水平1008之前提供更多能量。例如，高斯轮廓1004和顶帽式轮廓1002可向光纤束900提供相同量的瓦特数，而顶帽式轮廓1002在达到熔断水平1008之前仍可显著增加。因此，可使用塑料纤维来实现能量递送的总量的显著改善。在一些情况下，可以通过实施顶帽式轮廓1002来实现光纤束900所携带的瓦特数的50％或更大的增加。在一个实施方案中，塑料纤维可具有用于由一个或多个发射器发射的光/电磁能量的熔断能量水平，高于该熔断能量水平则会损坏塑料纤维，其中光能量横跨多个塑料纤维传播开以允许包括塑料纤维的光纤束900携带更大量的能量，而不达到纤维中的任一根纤维的熔断水平1008。

在一个实施方案中，顶帽式轮廓1002和高斯轮廓1004由发射器202组合以用于与塑料光纤束900一起使用。发射器202和/或跳线波导可不包括塑料波导。然而，发射器202可将高斯轮廓1004与顶帽式轮廓1002混合，以允许在内腔波导处与塑料光纤束900一起使用。在一个实施方案中，鉴于当在不同的材料(例如，从漫射器到玻璃纤维、到塑料纤维和/或返回到玻璃纤维或漫射器)之间移动电磁辐射时可引起的损耗，混合顶帽式轮廓1002允许更大的功率递送。更大的功率递送可抵消先前或后续转变中的损耗，使得仍可递送足够的光以照明场景。

图11是示出了和相机视场相比的来自光纤束1102的输出的侧视图。在一个实施方案中，塑料纤维具有0.63的数值孔径，其中视场为100度，如虚线1106所示。玻璃纤维具有0.87的数值孔径，其中视场为120度，如实线1104所示。然而，在视场内发射的光在小于该视场的光锥内具有近似高斯轮廓。例如，用于塑料纤维的几乎所有光可在80度的锥内，如点划线1108所示。因此，曝光帧的中心区域可能太亮而边缘太暗。

图12是示出了相对于图11中所示的输出来自光纤束1202的具有更均匀的光分布的输出的侧视图。在图12所示的实施方案中，通过瞄准光离开光纤束1202的纤维的端部来实现均匀分布的光。瞄准远离中心的纤维使视场中的锥加宽，并且在输出端处没有光损耗。每根光纤的一端可保持在期望位置以分布光，其中来自纤维的光锥的组合提供均匀的照明。光纤束1202包括多根纤维和指示由单根纤维输出的锥的取向的排1204。在一个实施方案中，诸如物理模具或具有孔的片材的固定装置将纤维的端部保持在期望的取向。纤维可以用于场景的均匀照明的最佳取向来取向。光纤束1202中的纤维的末端可位于内窥镜的远侧末端附近，并且可指向围绕以焦点或相机透镜轴为中心的区域传播光。

图13是示出了从塑料纤维1304转变到连接器1308处的玻璃纤维1306的光纤束1302的输出的侧视图。在该实施方案中，内腔波导包括塑料纤维1304，然后在输出处或附近转变到玻璃纤维1306。玻璃纤维1306通常具有比塑料纤维1304更高的数值孔径和更宽的视场。因此，如光锥1310所示，实现了更宽且更均匀的光能分布。穿过塑料纤维1304的光通过连接器1308被引导到玻璃纤维1306。此耦接可发生在内窥镜的内腔的内窥镜的手持件单元内。连接器1308可定位在手持件或内腔中以限制使用的玻璃纤维1306的量。从塑料纤维1304通过手持件或内腔中的锥形件移动到玻璃纤维1306可产生与传统内窥镜相同的视场。然而，与瞄准实施方案相比(其在输出处没有经历光损耗)，光损耗可能是显著的，诸如约25％。

图14是示出了使用漫射器1408来自光纤束1402的光输出的侧视图。在该实施方案中，内腔波导包括塑料纤维1404，然后在输出处或附近转变到漫射器1408。漫射器1408可包括任何合适的光学漫射器，诸如混合棒等。示例性漫射器包括全息漫射器。当与玻璃纤维相比时，输出处的漫射器1408可产生较大角度的视场。然而，漫射器1408的效率较低，诸如与图12中所示的瞄准实施方案相比效率为约40％至60％。

塑料纤维通常比玻璃纤维便宜。降低的价格可导致制造照明***的显著节省。因为玻璃仅可用于输出部附近的短距离，或者根本不使用玻璃，所以可实现显著的成本节约。

在一个实施方案中，单根纤维替换光纤束。单根纤维可大于构成光纤束的典型纤维，使得单根纤维能够处理比用于相同横截面积的较小纤维束更大的功率。单根纤维可从控制台延伸并穿过内腔以向身体内部或其他缺光环境提供光。单根纤维可作为从发射器202或跳线波导延伸并且穿过内腔的内腔波导操作。电磁辐射可由发射器202直接提供给具有顶帽式轮廓的单根纤维。

由于塑料纤维可仅具有0.63或0.65的数值孔径，因此大多数电磁辐射可仅以70或80度的角度发出。在单根纤维的输出处，漫射器可被定位成传播输出光并且在相机的视场内创建更均匀的照明。在一个实施方案中，漫射器的类型或漫射器的存在可基于相机使用的视场。例如，腹腔镜手术可允许更窄的视场，诸如70度，而关节镜手术可使用更宽的视场，诸如110度。因此，漫射器可用于关节镜检查，而对于腹腔镜检查而言漫射器可不存在。

应当理解，用于输出电磁辐射(光)的实施方案可包括图11至图14中所示的实施方案中的一个或多个实施方案的组合。例如，可将塑料纤维转变到玻璃纤维，并且玻璃纤维可旨在提供更均匀和改进的照明。

图15是示出了用于向缺光环境中的成像场景提供光的示例性方法1500的示意性流程图。方法1500可由照明***(诸如图1的***100)执行。

方法1500开始，并且图像传感器基于由图像传感器接收到的光在1502处生成并读出来自图像传感器的针对图像的像素数据，其中用于读出一排像素数据的时间长度包括排读出长度。发射器在1504处发射光以用于照明由图像传感器观察到的场景。驱动器在1506处驱动发射器发射，其中驱动器包括小于或等于排读出长度的抖动规格。控制器在1508处控制驱动器以驱动发射器以在图像传感器的读出周期之间生成光脉冲。

图16是示出了用于向缺光环境中的成像场景提供光的示例性方法1600的示意性流程图。方法1600可由照明***(诸如图1的***100)执行。

方法1600开始并且第一发射器和第二发射器在1602处发射包括第一波长和第二波长的光。多根光纤在1604处将由第一发射器和第二发射器生成的光引导至内窥镜环境中的场景。多根光纤在1606a处接收来自多根光纤中的每根光纤处的第一发射器和第二发射器的基本上等量的光(混合光)。

图17A至图17C各自示出了具有多个发射器的光源1700。多个发射器可另选地被称为“激光器束”，其中每个发射器/激光器束可独立于其他发射器/激光器束操作并且/或者脉冲不同分区或波长的电磁光谱。光源1700在本文中可统称为“发射器”。多个发射器包括第一发射器1702、第二发射器1704和第三发射器1706。可包括附加的发射器，如下文进一步讨论。发射器1702、1704和1706可包括发射具有不同波长的光的一个或多个激光发射器。例如，第一发射器1702可发射与蓝色激光一致的波长，第二发射器1704可发射与绿色激光一致的波长，并且第三发射器1706可发射与红色激光一致的波长。例如，第一发射器1702可包括一个或多个蓝色激光器，第二发射器1704可包括一个或多个绿色激光器，并且第三发射器1706可包括一个或多个红色激光器。激光器1702、1704、1706朝收集区域1708发射激光器束，该收集区域可以是波导、透镜或用于收集光和/或向波导(诸如图2的跳线波导206或内腔波导210)提供光的其他光学部件的位置。

在一个具体实施中，发射器1702、1704和1706发射超光谱波长的电磁辐射。某些超光谱波长可刺穿组织并且使执业医生能够“透视”前方的组织以识别位于前方的组织后面的化学过程、结构、化合物、生物过程，等等。可具体地选择超光谱波长以识别已知具有特定光谱响应的特定疾病、组织状况、生物过程、化学过程、组织的类型，等等。

在已向患者施用有助于识别某些组织、结构、化学反应、生物过程等的试剂或染料的具体实施中，发射器1702、1704和1706可发射用于使试剂或染料发荧光的波长。此类波长可基于施用给患者的试剂或染料来确定。在此类实施方案中，发射器可能需要是高度精确的，以便发射所需波长以使某些试剂或染料发荧光或活化。

在一个具体实施中，发射器1702、1704和1706发射激光标测模式，用于标测场景的形貌和/或用于计算场景中对象之间的尺寸和距离。在一个实施方案中，内窥镜成像***与多个工具诸如外科手术刀、牵开器、夹钳等结合使用。在此类实施方案中，发射器1702、1704和1706中的每一个发射器可发射激光标测图案，使得激光标测图案单独地投影到每个工具上。在此类实施方案中，可分析每个工具的激光标测数据以识别工具与场景中其他对象之间的距离。

在图17B的实施方案中，发射器1702、1704、1706各自以不同角度向收集区域1708递送激光。角度的变化可导致电磁能量在输出波导中的位置的变化。例如，如果光在收集区域1708处立即进入纤维束(玻璃或塑料)中，则变化的角度可导致不同量的光进入不同的纤维。例如，角度可导致横跨收集区域1708的强度变化。此外，来自不同发射器的光可不会被均匀地混合，因此一些纤维可接收不同量的不同颜色的光。不同纤维中的光的颜色或强度的变化可导致场景的非最佳照明。例如，递送光或光强度的变化可在场景和所捕获图像处导致。

在一个实施方案中，居间光学元件可放置在纤维束和发射器1702、1704、1706之间，以在进入纤维或其他波导中之前混合不同颜色(波长)的光。示例性居间光学元件包括漫射器、混合棒、一个或多个镜片，或用于混合光使得给定纤维接收每种颜色(波长)的相同量的其它光学部件。例如，纤维束中的每根纤维可具有相同的颜色。该混合可导致每根纤维中的相同的颜色，但是，在一些实施方案中，仍可导致递送到不同纤维的不同的总亮度。在一个实施方案中，居间光学元件也可在收集区域上传播或均匀地传播光，使得每根纤维携带相同总量的光(例如，光可能在顶帽式轮廓中散开)。漫射器或混合棒可导致光损失。

尽管收集区域1708在图17A中表示为物理部件，但收集区域1708可以只是递送来自发射器1702、1704和1706的光的区域。在一些情况下，收集区域1708可包括光学部件，诸如漫射器、混合棒、透镜，或处于发射器1702、1704、1706和输出波导之间的任何其他居间光学部件。

图17C示出了具有以相同或基本上相同的角度向收集区域1708提供光的发射器1702、1704、1706的光源1700的实施方案。光以基本上垂直于收集区域1708的角度提供。光源1700包括多个二向色镜，该多个二向色镜包括第一二向色镜1710、第二二向色镜1712和第三二向色镜1714。二向色镜1710、1712、1714包括反射第一波长的光但透射第二波长(或对其透明)的光的镜。例如，第三二向色镜1714可反射由第三发射器提供的蓝色激光，而对第一发射器1702和第二发射器1704各自提供的红光和绿光透明。第二二向色镜1712可对来自第一发射器1702的红光是透明的，但对来自第二发射器1704的绿光是反射的。如果包括其它颜色或波长，则可选择二向色镜以反射对应于至少一个发射器的光并且对其它发射器透明。例如，第三二向色镜1714反射来自第三发射器1706的光，但对其“后面”的发射器诸如第一发射器1702和第二发射器1704透明。在其中存在数十或数百个发射器的实施方案中，每个二向色镜可反射对应发射器和其前面的发射器，同时对其后面的发射器透明。这可允许数十或数百个发射器将电磁能量以基本上相同的角度发射到收集区域1708。

因为这些二向色镜允许其他波长透射或穿过，这些波长中的每一个波长可从相同的角度和/或以相同的中心点或焦点到达收集区域1708。从相同的角度和/或相同的焦点/中心点提供光可显著改善在收集区域1708处的接收和颜色混合。例如，特定纤维可接收不同的颜色，这些颜色的比例与它们由发射器1702、1704、1706和镜1710、1712、1714透射/反射的比例相同。与图17B的实施方案相比，可在收集区域处显著改善光混合。在一个实施方案中，本文所讨论的任何光学部件可在收集区域1708处使用，以在向纤维或纤维束提供光之前收集光。

图17C示出了具有也以相同或基本上相同的角度向收集区域1708提供光的发射器1702、1704、1706的光源1700的实施方案。例如，入射在收集区域1708上的光从垂直偏移。角度1716指示从垂直偏移的角度。在一个实施方案中，激光发射器1702、1704、1706可具有高斯横截面强度轮廓。如前所述，纤维之间的光能量的改善的分布可通过形成更平坦或顶帽形的强度轮廓来实现。在一个实施方案中，随着角度1716的增大，横跨收集区域1708的强度接近顶帽式轮廓。例如，通过增大角度1716直到轮廓足够平坦，顶帽式轮廓甚至可近似为非平坦输出光束。顶帽式轮廓也可使用一个或多个透镜、漫射器、混合棒，或处于发射器1702、1704、1706和输出波导、纤维或光纤束之间的任何其他居间光学部件来实现。

图18是示出了在输出处经由漫射器1804输出的单根光纤1802的示意图。在一个实施方案中，光纤1802具有500微米的直径、0.65的数值孔径，并且在没有漫射器1804的情况下发射约70度或80度的光锥1806。使用漫射器1804，光锥1806可具有约110度或120度的角度。光锥1806可以是所有光到达并且均匀分布的地方的大部分。漫射器1804可允许由图像传感器观察到的场景的电磁能量的更均匀分布。

在一个实施方案中，内腔波导210包括约500微米的单个塑料或玻璃光纤。塑料纤维的成本较低，但通过耦合、漫射或其他损耗，其宽度可允许纤维将足够量的光传携带到场景。例如，较小的纤维可能不能携带与较大纤维一样多的光或功率。内腔波导210可包括单根或多根光纤。内腔波导210可直接从光源或者经由跳线波导接收光。漫射器可用于加宽光输出206以获得图像传感器214或其他光学部件的期望的视场。

虽然在图17A至图17C中示出了三个发射器，但在一些实施方案中可使用数量从一个到数百个或更多个不等的发射器。发射器可具有它们发射的不同波长或光谱的光，并且这些光可用于连续覆盖电磁光谱的所需部分(例如，可见光谱以及红外光谱和紫外光谱)。发射器可被配置为发射可见光诸如红光、绿光和蓝光，并且可进一步被配置为发射电磁辐射的超光谱发射、用于使试剂发荧光的荧光激发波长和/或用于计算参数和场景中对象之间的距离的激光标测图案。

图19示出了被分成二十个不同子光谱的电磁光谱1900的一部分。子光谱的数量仅为示例性的。在至少一个实施方案中，光谱1900可被分成数百个子光谱，每个子光谱具有小波带。光谱可从红外光谱1902延伸，穿过可见光谱1904，并且进入紫外光谱1906。子光谱各自具有覆盖光谱1900的一部分的波带1908。每个波带可由上波长和下波长限定。

超光谱成像包括来自横跨电磁光谱1900的成像信息。电磁辐射的超光谱脉冲可包括跨越电磁光谱1900的一个或多个部分或整个电磁光谱1900的多个子脉冲。电磁辐射的超光谱脉冲可包括电磁辐射的波长的单个分区。所得超光谱曝光帧包括在电磁辐射的超光谱脉冲之后由像素阵列感测的信息。因此，超光谱曝光帧可包括电磁光谱1900的任何合适分区的数据，并且可包括电磁光谱1900的多个分区的多个曝光帧。在一个实施方案中，超光谱曝光帧包括多个超光谱曝光帧，使得组合的超光谱曝光帧包括整个电磁光谱1900的数据。

在一个实施方案中，针对每个子光谱，至少一个发射器(诸如激光发射器)包括在光源(诸如光源202、1700)中以提供对整个光谱1900的完整且连续的覆盖。例如，用于提供对所示子光谱的覆盖的光源可包括至少20个不同的发射器，每个子光谱至少有一个发射器。在一个实施方案中，每个发射器覆盖40纳米的光谱。例如，一个发射器可发射500nm至540nm的波带内的光，而另一个发射器可发射540nm至580nm的波带内的光。在另一个实施方案中，发射器可覆盖其它尺寸的波带，这取决于可用发射器的类型或成像需要。例如，多个发射器可包括覆盖500nm至540nm的波带的第一发射器、覆盖540nm至640nm的波带的第二发射器，以及覆盖640nm至650nm的波带的第三发射器。每个发射器可覆盖范围从远红外、中红外、近红外、可见光、近紫外和/或远紫外的电磁光谱的不同片段。在一些情况下，可包括相同类型或波长的多个发射器以提供用于成像的足够输出功率。特定波带所需的发射器数量可取决于单色传感器对波带的灵敏度和/或该波带中发射器的功率输出能力。

可选择由发射器提供的波带宽度和覆盖率以提供光谱的任何所需组合。例如，使用非常小的波带宽度(例如，10nm或更小)的光谱的连续覆盖可允许高度选择性的超光谱和/或荧光成像。波带宽度可允许选择性地发射一种或多种特定荧光试剂的激发波长。另外，波带宽度可允许选择性地发射超光谱电磁辐射的某些分区，以用于识别特定结构、化学过程、组织、生物过程，等等。因为波长来自可选择性激活的发射器，所以可实现在检查期间对一种或多种特定荧光试剂发荧光的极大灵活性。另外，可实现通过超光谱成像来识别一个或多个对象或过程的极端灵活性。因此，更多的荧光和/或高光谱信息可在更少的时间内并且在单次检查内实现，这原本需要多次检查、由于染料的施用或污渍而延迟，等等。

图20是示出了用于生成图像的发射和读出的时序图2000的示意图。实线表示用于捕获一系列曝光帧2004至2014的读出周期(峰2002)和消隐周期(谷)。该一系列曝光帧2004至2014可包括可用于生成可叠层在RGB视频流上的激光标测数据、超光谱数据和/或荧光数据的一系列重复曝光帧。在一个实施方案中，单个图像帧包括来自多个曝光帧的信息，其中一个曝光帧包括红色图像数据，另一个曝光帧包括绿色图像数据，并且另一个曝光帧包括蓝色图像数据。另外，单个图像帧可包括超光谱图像数据、荧光图像数据和激光标测数据中的一者或多者。组合多个曝光帧以产生单个图像帧。单个图像帧是具有超光谱成像数据的RGB图像。曝光帧系列包括第一曝光帧2004、第二曝光帧2006、第三曝光帧2008、第四曝光帧2010、第五曝光帧2012和第N曝光帧2026。

另外，可组合使用超光谱图像数据、荧光图像数据和激光标测数据来识别关键组织或结构，并且进一步测量那些关键组织或结构的尺寸。例如，可将超光谱图像数据提供给对应的***以识别身体中的某些关键结构，诸如神经、输尿管、血管、癌组织，等等。关键结构的位置和标识可从对应的***接收，并且还可用于使用激光标测数据生成关键结构的拓扑结构。例如，对应的***基于超光谱成像数据确定癌性肿瘤的位置。由于癌性肿瘤的位置基于超光谱成像数据是已知的，因此可基于激光标测数据来计算癌性肿瘤的形貌和距离。当基于荧光成像数据识别癌性肿瘤或其他结构时，该示例也可适用。

在一个实施方案中，基于电磁能量的至少一个脉冲生成每个曝光帧。电磁能量脉冲被图像传感器反射并检测，并且随后在后续读出(2002)中读出。因此，每个消隐周期和读出导致用于特定电磁能量光谱的曝光帧。例如，第一曝光帧2004可基于第一一个或多个脉冲2016的光谱生成，第二曝光帧2006可基于第二一个或多个脉冲2018的光谱生成，第三曝光帧2008可基于第三一个或多个脉冲2020的光谱生成，第四曝光帧2010可基于第四一个或多个脉冲2022的光谱生成，第五曝光帧2012可基于第五一个或多个脉冲的光谱生成，并且第N曝光帧2026可基于第N一个或多个脉冲2026的光谱生成。

脉冲2016至2026可包括来自单个发射器或来自两个或更多个发射器的组合的能量。例如，可选择包括在单个读出周期中或多个曝光帧2004至2014内的光谱以用于对特定组织或状况进行所需检查或检测。根据一个实施方案，一个或多个脉冲可包括用于生成RGB或黑色图像的可见光谱的光，而一个或多个附加脉冲被发射为感测对超光谱波长的电磁辐射的光谱响应。例如，脉冲2016可包括红光，脉冲2018可包括蓝光，并且脉冲2020可包括绿光，而剩余脉冲2022至2026可包括用于检测特定组织类型、使试剂发荧光和/或标测场景形貌的波长和光谱。又如，单个读出周期的脉冲包括由可用于检测特定组织类型的多个不同发射器生成的光谱(例如，电磁光谱的不同片段)。例如，如果波长的组合导致像素具有超过或低于阈值的值，则该像素可被分类为对应于特定类型的组织。每一帧可用于进一步缩小存在于该像素(例如，以及图像中的每个像素)处的组织的类型，以基于组织的光谱响应和/或组织中是否存在荧光试剂来提供组织和/或组织的状态(患病/健康)的非常具体的分类。

多个帧2004至2014被示出为具有不同长度的读出周期以及具有不同长度或强度的脉冲。消隐周期、脉冲长度或强度等可基于单色传感器对特定波长的灵敏度、发射器的功率输出能力和/或波导的携带能力来选择。

在一个实施方案中，双图像传感器可用于获得三维图像或视频馈送。三维检查可允许对检查区域的三维结构的改善的理解以及对该区域内的不同组织或物质类型的标测。

在一个示例性具体实施中，向患者提供荧光试剂，并且荧光试剂被配置成粘附到癌细胞。已知荧光试剂在被电磁辐射的特定分区辐射时发荧光。荧光试剂的弛豫波长也是已知的。在示例性具体实施中，用如本文所述的内窥镜成像***对患者进行成像。内窥镜成像***脉冲红色、绿色和蓝光波长的光的分区，以生成患者身体内部的RGB视频流。另外，内窥镜成像***对施用给患者的荧光试剂的激发波长的电磁辐射进行脉冲。在示例中，患者具有癌细胞，并且荧光试剂已粘附到癌细胞。当内窥镜成像***使荧光试剂的激发波长脉冲时，荧光试剂将发荧光并且发出弛豫波长。如果癌细胞存在于由内窥镜成像***成像的场景中，则荧光试剂也将存在于场景中，并且在发荧光后由于激发波长的发射而发出其弛豫波长。内窥镜成像***感测荧光试剂的弛豫波长，从而感测场景中荧光试剂的存在。因为已知荧光试剂粘附到癌细胞，所以荧光试剂的存在进一步指示场景内癌细胞的存在。内窥镜成像***从而识别场景内癌细胞的位置。内窥镜成像***还可发射激光标测脉冲方案，用于生成场景的拓扑结构并且计算场景内的对象的尺寸。(如由荧光成像数据所识别的)癌细胞的位置可与基于激光标测数据计算的拓扑结构和尺寸信息组合。因此，可识别癌细胞的精确位置、大小、尺寸和拓扑结构。可将该信息提供给执业医生以帮助切除癌细胞。另外，可将该信息提供给机器人外科***，以使外科***能够切除癌细胞。

在另一个示例性具体实施中，用内窥镜成像***对患者进行成像，以识别关于患者组织病变的定量诊断信息。在该示例中，疑似或已知患者患有一种可利用超光谱成像跟踪以观察疾病在患者组织中的进程的疾病。内窥镜成像***脉冲红色、绿色和蓝光波长的光的分区，以生成患者身体内部的RGB视频流。另外，内窥镜成像***使一个或多个超光谱波长的光脉冲，从而允许***“透视”一些组织并且生成受疾病影响的组织的成像。内窥镜成像***感测所反射的超光谱电磁辐射以生成患病组织的超光谱成像数据，从而识别患病组织在患者体内的位置。内窥镜成像***还可发射激光标测脉冲方案，用于生成场景的拓扑结构并且计算场景内对象的尺寸。(如由超光谱成像数据所识别的)患病组织的位置可与用激光标测数据计算的拓扑结构和尺寸信息组合。因此，可识别患病组织的精确位置、大小、尺寸和拓扑结构。可将该信息提供给执业医生以帮助切除、成像或研究患病组织。另外，可将该信息提供给机器人外科***，以使外科***能够切除患病组织。

图21是具有单个截止滤光器的成像***2100的示意图。***2100包括内窥镜2106或具有用于缺光环境的光源2108的其他合适的成像装置。内窥镜2106包括图像传感器2104和滤光器2102，该滤光器用于在到达图像传感器2104之前滤除不需要的波长的光或其他电磁辐射。光源2108传输可在缺光环境诸如体腔中照明表面2112的光。光2110从表面2112反射并在击中图像传感器2104之前穿过滤光器2102。

滤光器2102可用于已施用荧光试剂或染料的具体实施中。在此类实施方案中，光源2108发射激发波长以用于使荧光试剂或染料发荧光。通常，由荧光试剂或染料发射的弛豫波长将具有与激发波长不同的波长。可选择滤光器2102来滤除激发波长，并且仅允许弛豫波长穿过滤光器并被图像传感器2104感测。

在一个实施方案中，滤光器2102被配置为滤除电磁辐射的引起试剂或染料发荧光的激发波长，使得仅允许发荧光的试剂或染料的预期弛豫波长穿过滤光器2102并到达图像传感器2104。在一个实施方案中，滤光器2102滤除至少介于770nm和790nm之间的荧光试剂激发波长。在一个实施方案中，滤光器2102滤除至少介于795nm和815nm之间的荧光试剂激发波长。在一个实施方案中，滤光器2102滤除至少介于770nm和790nm之间以及介于795nm和815nm之间的荧光试剂激发波长。在这些实施方案中，滤光器2102滤除试剂的激发波长，并且允许由图像传感器2104读取荧光试剂的仅弛豫波长。图像传感器2104可以是波长不定图像传感器，并且滤光器2102可被配置为允许图像传感器2104仅接收荧光试剂的弛豫波长而不接收试剂的发射激发波长。然后由图像传感器2104确定的数据可指示由试剂或染料的位置确定的关键身体结构、组织、生物过程或化学过程的存在。

滤光器2102还可用于尚未施用荧光试剂或染料的具体实施中。可选择滤光器2102以允许对应于所需光谱响应的波长穿过图像传感器2104并由该图像传感器读取。图像传感器2104可以是单色图像传感器，使得可将所捕获图像的超过阈值或低于阈值的像素表征为对应于某些光谱响应或荧光发射。由图像传感器2104捕获的像素确定的光谱响应或荧光发射可指示某些身体组织或结构、某些病症、某些化学过程等的存在。

图22是具有多个截止滤光器的成像***2200的示意图。***2200包括内窥镜2206或具有用于缺光环境的光源2208的其他合适的成像装置。内窥镜2206包括图像传感器2204和两个滤光器2202a、2202b。应当理解，在另选的实施方案中，***2200可包括任何数量的滤光器，并且可针对某些目的选择滤光器的数量和滤光器的类型，例如，用于采集特定身体组织、身体病症、化学过程等的成像信息。滤光器2202a、2202b被配置用于防止图像传感器2204感测到不需要的波长的光或其他电磁辐射。滤光器2202a、2202b可被配置为从可由光源2208发射的白光或其他电磁辐射中滤除不需要的波长。

相对于图21还描述本公开，滤光器2202a、2202b可用于已施用荧光试剂或染料的具体实施中。滤光器2202a、2202b可被配置用于阻挡试剂或染料的发射激发波长，并且允许图像传感器2204仅读取试剂或染料的弛豫波长。此外，滤光器2202a、2202b可用于尚未施用荧光试剂或染料的具体实施中。在此类具体实施中，可选择滤光器2202a、2202b以允许对应于期望光谱响应的波长穿过图像传感器2204并由该图像传感器读取。

多个滤光器2202a、2202b可各自被配置为用于滤除电磁光谱的不同范围的波长。例如，一个滤光器可被配置用于滤除长于所需波长范围的波长，并且附加滤光器可被配置用于滤除短于所需波长范围的波长。两个或更多个滤光器的组合可导致仅某些波长或波长带由图像传感器2204读取。

在一个实施方案中，滤光器2202a、2202b被定制为使得介于513nm和545nm之间的电磁辐射接触图像传感器2204。在一个实施方案中，滤光器2202a、2202b被定制为使得介于565nm和585nm之间的电磁辐射接触图像传感器2204。在一个实施方案中，滤光器2202a、2202b被定制为使得介于900nm和1000nm之间的电磁辐射接触图像传感器2204。在一个实施方案中，滤光器2202a、2202b被定制为使得介于421nm和475nm之间的电磁辐射接触图像传感器2204。在一个实施方案中，滤光器2202a、2202b被定制为使得介于520nm和545nm之间的电磁辐射接触图像传感器2204。在一个实施方案中，滤光器2202a、2202b被定制为使得介于617nm和645nm之间的电磁辐射接触图像传感器2204。在一个实施方案中，滤光器2202a、2202b被定制为使得介于760nm和795nm之间的电磁辐射接触图像传感器2204。在一个实施方案中，滤光器2202a、2202b被定制为使得介于795nm和815nm之间的电磁辐射接触图像传感器2204。在一个实施方案中，滤光器2202a、2202b被定制为使得介于370nm和420nm之间的电磁辐射接触图像传感器2204。在一个实施方案中，滤光器2202a、2202b被定制为使得介于600nm和670nm之间的电磁辐射接触图像传感器2204。在一个实施方案中，滤光器2202a、2202b被配置用于允许仅某些荧光弛豫发射穿过滤光器2202a、2202b并接触图像传感器2204。在一个实施方案中，第一滤光器阻挡具有约770nm至约790nm的波长的电磁辐射，并且第二滤光器阻挡具有约795nm至约815nm的波长的电磁辐射。

在一个实施方案中，***2200包括多个图像传感器2204，并且可具体地包括用于生成三维图像的两个图像传感器。图像传感器2204可以是颜色/波长不定的，并且被配置用于读取从表面2212反射的任何波长的电磁辐射。在一个实施方案中，图像传感器2204各自是颜色相关的或波长相关的，并且被配置用于读取从表面2212反射并返回到图像传感器2204的特定波长的电磁辐射。另选地，图像传感器2204可包括具有多个不同像素传感器的单个图像传感器，该多个不同像素传感器被配置用于读取不同波长或颜色的光，诸如拜耳滤光器滤色器阵列。另选地，图像传感器2204可包括一个或多个颜色不定图像传感器，这些图像传感器可被配置用于根据脉冲调度(诸如图5至图7E中所示的那些)读取不同波长的电磁辐射。

图23A和图23B分别示出了具有多个像素阵列用于产生三维图像的成像传感器2300的具体实施的透视图和侧视图。三维图像传感器可被构建在多个基板上并且可包括多个像素阵列和其他相关联的电路，其中形成第一像素阵列的多个素列2302a和形成第二像素阵列的多个像素列2302b分别位于相应的基板2308a和2308b上，并且多个电路列2306a和2306b位于单独的基板2304上。还示出了像素列与相关联的或对应的电路列之间的电连接和通信。

多个像素阵列可同时感测信息，并且来自多个像素阵列的信息可被组合以生成三维图像。在一个实施方案中，内窥镜成像***包括可被部署以生成三维成像的两个或更多个像素阵列。内窥镜成像***可包括用于在像素阵列的消隐周期期间发射电磁辐射脉冲的发射器。像素阵列可被同步，使得针对两个或更多个像素阵列，同时读取光学黑色像素(即，发生消隐周期)。发射器可发射电磁辐射脉冲以用于对两个或更多个像素阵列中的每个像素阵列充电。两个或更多个像素阵列可同时读取其相应的带电像素，使得两个或更多个像素阵列的读出周期同时或大致同时发生。在一个实施方案中，内窥镜成像***包括多个发射器，其中每个发射器单独地与多个像素阵列中的一个或多个像素阵列同步。来自多个像素阵列的信息可被组合以生成三维图像帧和视频流。

图24A和图24B分别示出根据本公开的教导和原理的单片传感器2400的具体实施的透视图和侧视图，该单片传感器具有多个像素阵列用于产生三维图像。此类具体实施可能是三维图像捕获所希望的，其中在使用期间两个像素阵列2402和2404可被偏移。在另一个具体实施中，第一像素阵列2402和第二像素阵列2404可专用于接收预先确定的波长范围的电磁辐射，其中第一像素阵列专用于与第二像素阵列不同波长范围的电磁辐射。

图25A和图25B分别示出了构建在多个基板上的成像传感器2500的具体实施的透视图和侧视图。如图所示，形成该像素阵列的多个像素列2504位于第一基板2502上并且多个电路列2508位于第二基板2506上。图中还示出了一个像素列与其相关联的或对应的电路列之间的电连接和通信。在一个具体实施中，图像传感器可具有与全部或大部分支撑电路分开的像素阵列，而其可能以其它方式被制造成它的像素阵列和支撑电路处于单个、单片基板/芯片上。本公开可使用至少两个基板/芯片，这些基板/芯片将使用三维堆叠技术被堆叠在一起。两个基板/芯片中的第一个2502可使用图像CMOS工艺加工。第一基板/芯片2502可仅仅由像素阵列构成，或可由被有限电路围绕的像素阵列构成。第二或后续基板/芯片2506可使用任何工艺加工，而不是必须来自图像CMOS工艺。第二基板/芯片2506可以是但不限于，为了将各种和多个功能集成到基板/芯片上非常有限空间或面积中的高密度数字工艺、或为了集成例如精确模拟功能的混合模式或模拟工艺、或为了实现无线能力的RF工艺、或为了集成MEMS器件的MEMS(微电子机械***)。图像CMOS基板/芯片2502可使用任何三维技术与第二或后续基板/芯片2506堆叠。第二基板/芯片2506可支撑将可能另外在第一图像CMOS芯片2502中实现(如果在单片基板/芯片上实现)为***电路的电路的绝大部分或大部分，并且因此当保持像素阵列大小恒定并尽最大可能优化时增加了整个***面积。两个基板/芯片之间的电连接可通过互联器完成，这些互联器可以为接合引线、凸耳和/或TSV(硅通孔)。

应当理解，本公开的教导内容和原理可用于可重复使用的装置平台、有限使用的装置平台、可重新设置使用的装置平台或单次使用/一次性的装置平台，而不脱离本公开的范围。应当理解，在可重复使用的装置平台中，最终使用人负责该装置的清洁和消毒。在有限使用的装置平台中，在变得不能操作之前，装置可被使用一些规定量的次数。典型的新装置在交付前已经过无菌处理，如果要用作其它用途，应在其它使用之前由最终用户进行清洗和消毒。在可重新设置使用的装置平台中，第三方可重新处理装置(例如，清洁、包装和消毒)单次使用的装置，以比新单元更低的成本用于另外使用。在单次使用/一次性的装置平台中，提供无菌装置至手术室并且在被处置掉之前只能使用一次。

实施例

以下实施例涉及另外的实施方案的优选特征：

实施例1为一种***。该***包括用于发射电磁辐射脉冲的发射器。所述发射器包括用于发射第一波长的电磁辐射脉冲的第一发射器。所述发射器包括用于发射第二波长的电磁辐射脉冲的第二发射器。所述***包括图像传感器，所述图像传感器包括用于感测经反射的电磁辐射的像素阵列。所述***包括与所述发射器和所述图像传感器电子通信的控制器。所述***使得由所述发射器发射的所述电磁辐射脉冲的至少一部分包括以下的一者或多者：具有约770nm至约790nm的波长的电磁辐射和/或具有约795nm至约815nm的波长的电磁辐射。

实施例2为根据实施例1所述的***，其中：所述第一发射器在第一二向色镜处发射所述第一波长的所述电磁辐射脉冲，所述第一二向色镜将所述第一波长的所述电磁辐射脉冲反射至多根光纤；所述第二发射器在第二二向色镜处发射所述第二波长的所述电磁辐射脉冲，所述第二二向色镜将所述第二波长的所述电磁辐射脉冲反射至所述多根光纤；并且所述第一二向色镜对所述第二波长的电磁辐射是透明的。

实施例3为根据实施例1至2中任一项所述的***，其中所述第一二向色镜将所述第一波长的所述电磁辐射脉冲以从垂直所述多根光纤偏移的角度反射到所述多根光纤中，并且所述第二二向色镜将所述第二波长的所述电磁辐射脉冲以从垂直所述多根光纤偏移的角度反射到所述多根光纤中。

实施例4为根据实施例1至3中任一项所述的***，其中：所述第一二向色镜将所述第一波长的所述电磁辐射脉冲以基本上垂直于所述第一发射器的角度反射到所述多根光纤中；并且所述第二二向色镜将所述第二波长的所述电磁辐射脉冲以基本上垂直于所述第二发射器的角度通过所述第一二向色镜反射到所述多根光纤中。

实施例5为根据实施例1至4中任一项所述的***，其中：所述发射器还包括第三发射器，所述第三发射器用于在第三二向色镜处发射第三波长的电磁辐射脉冲，所述第三二向色镜将所述第三波长的所述电磁辐射脉冲反射至所述多根光纤；所述第三二向色镜将所述第三波长的所述电磁辐射脉冲通过所述第一二向色镜反射到所述多根光纤中；所述第一二向色镜和所述第二二向色镜对所述第三波长的电磁辐射是透明的；所述第三二向色镜将所述第三波长的所述电磁辐射脉冲以基本上垂直于所述第三发射器的角度反射到所述多根光纤中；并且所述第三二向色镜将所述第三波长的所述电磁辐射脉冲以从垂直偏移的角度反射到所述多根光纤中。

实施例6为根据实施例1至5中任一项所述的***，还包括：光纤束，其中所述发射器将所述电磁辐射脉冲发射到所述光纤束中；其中所述光纤束包括塑料纤维和玻璃纤维，其中所述塑料纤维和所述玻璃纤维在所述光纤束的输出部附近耦接。

实施例7为根据实施例1至6中任一项所述的***，还包括居间光学部件，其中所述电磁辐射脉冲在进入所述光纤束之前穿过所述居间光学部件。

实施例8为根据实施例1至7中任一项所述的***，其中所述居间光学部件包括漫射器或混合棒中的一者或多者。

实施例9为根据实施例1至8中任一项所述的***，还包括：光纤束，所述光纤束包括多根塑料光纤，其中所述发射器将所述电磁辐射脉冲发射到所述光纤束中；以及居间光学部件，其中所述电磁辐射脉冲在进入所述光纤束之前穿过所述居间光学部件；其中所述居间光学部件包括多个玻璃纤维。

实施例10为根据实施例1至9中任一项所述的***，还包括：光纤束，其中所述发射器将所述电磁辐射脉冲发射到所述光纤束中；以及漫射器，所述漫射器设置在所述光纤束的远侧端部处；其中所述漫射器提供光锥，所述光锥具有介于110度和120度之间的角度或介于70度和80度之间的角度。

实施例11为根据实施例1至10中任一项所述的***，还包括用于发射第三波长的电磁辐射脉冲的第三发射器和用于发射第四波长的电磁辐射脉冲的第四发射器，并且其中：由所述第一发射器发射的所述第一波长的电磁辐射是红光；由所述第二发射器发射的所述第二波长的电磁辐射是蓝光；由所述第三发射器发射的所述第三波长的电磁辐射是绿光；并且由所述第四发射器发射的所述第四波长的电磁辐射是超光谱波长，所述超光谱波长包括以下的一者或多者：具有约513nm至约545nm的波长的所述电磁辐射，具有约565nm至约585nm的波长的所述电磁辐射，或者具有约900nm至约1000nm的波长的所述电磁辐射；其中用于发射所述超光谱波长的所述第四发射器包括用于发射不同超光谱波长的电磁辐射的一个或多个独立激光器。

实施例12为根据实施例1至11中任一项所述的***，其中所述图像传感器的所述像素阵列在所述像素阵列的读出周期期间感测经反射的电磁辐射以生成所述多个曝光帧，其中所述读出周期包括所述像素阵列中的有效像素被读取时的时间段。

实施例13为根据实施例1至12中任一项所述的***，其中由所述发射器发射的所述电磁辐射脉冲的至少一部分为用于引起光谱响应的超光谱波长，其中所述超光谱波长包括以下各项中的一者或多者：具有约513nm至约545nm的波长的所述电磁辐射，以及具有约900nm至约1000nm的波长的所述电磁辐射；或者具有约565nm至约585nm的波长的所述电磁辐射，以及具有约900nm至约1000nm的波长的所述电磁辐射。

实施例14为根据实施例1至13中任一项所述的***，其中所述发射器被配置为在脉冲持续时间期间发射多个电磁辐射子脉冲，所述多个子脉冲具有短于所述脉冲持续时间的子持续时间。

实施例15为根据实施例1至14中任一项所述的***，其中由所述发射器发射的所述电磁辐射脉冲中的一个或多个电磁辐射脉冲包括作为单个脉冲或单个子脉冲同时以两个或更多个波长发射的电磁辐射。

实施例16为根据实施例1至15中任一项所述的***，其中由所述发射器发射的所述电磁辐射脉冲的至少一部分为使得所述图像传感器产生超光谱曝光帧的超光谱发射，并且其中所述控制器被配置为向对应的超光谱***提供所述超光谱曝光帧，所述对应的超光谱***基于所述超光谱曝光帧确定关键组织结构在场景内的位置。

实施例17为根据实施例1至16中任一项所述的***，其中所述超光谱发射包括：具有约513nm至约545nm的波长的所述电磁辐射和具有约900nm至约1000nm的波长的所述电磁辐射；或者具有约565nm至约585nm的波长的所述电磁辐射，以及具有约900nm至约1000nm的波长的所述电磁辐射。

实施例18为根据实施例1至17中任一项所述的***，其中所述控制器被进一步配置为：从所述对应的超光谱***接收所述关键组织结构的位置；生成包括所述关键组织结构的所述位置的重叠帧；以及将所述重叠帧与描绘所述场景的彩色图像帧组合，以指示所述场景内所述关键组织结构的所述位置。

实施例19为根据实施例1至18中任一项所述的***，其中感测由所述像素阵列反射的电磁辐射包括通过感测由所述发射器脉冲所述激光映射图案产生的反射的电磁辐射来生成激光映射曝光帧，并且其中所述控制器被进一步配置为：将所述激光映射曝光帧提供给对应的激光映射***，所述对应的激光映射***确定所述场景的形貌和/或所述场景内的一个或多个对象的尺寸；将所述关键组织结构的所述位置提供给所述对应的激光标测***；并且从所述对应的激光标测***接收所述关键组织结构的拓扑和/或尺寸。

实施例20为根据实施例1至19中任一项所述的***，其中所述关键结构包括神经、输尿管、血管、动脉、血流或肿瘤中的一者或多者。

实施例21为根据实施例1至20中任一项所述的***，其中由所述发射器发射的所述电磁辐射脉冲的至少一部分是使得所述图像传感器产生荧光曝光帧的荧光激发波长，并且其中所述控制器被配置为向对应的荧光***提供所述荧光曝光帧，所述对应的荧光***基于所述荧光曝光帧来确定关键组织结构在场景内的位置。

实施例22为根据实施例1至21中任一项所述的***，其中所述荧光激发发射包括以下各项中的一者或多者：具有约770nm至约790nm的波长的电磁辐射；或者具有约795nm至约815nm的波长的所述电磁辐射。

实施例23为根据实施例1至22中任一项所述的***，其中所述控制器被进一步配置为：从所述对应的荧光***接收所述关键组织结构的位置；生成包括所述关键组织结构的所述位置的重叠帧；以及将所述重叠帧与描绘所述场景的彩色图像帧组合，以指示所述场景内所述关键组织结构的所述位置。

实施例24为根据实施例1至23中任一项所述的***，其中感测由所述像素阵列反射的电磁辐射包括通过感测由所述发射器脉冲所述激光映射图案产生的反射的电磁辐射来生成激光映射曝光帧，并且其中所述控制器被进一步配置为：将所述激光映射曝光帧提供给对应的激光映射***，所述对应的激光映射***确定所述场景的形貌和/或所述场景内的一个或多个对象的尺寸；将所述关键组织结构的所述位置提供给所述对应的激光标测***；并且从所述对应的激光标测***接收所述关键组织结构的拓扑和/或尺寸。

实施例25为根据实施例1至24中任一项所述的***，其中所述关键结构包括神经、输尿管、血管、动脉、血流或肿瘤中的一者或多者。

实施例26为根据实施例1至25中任一项所述的***，其中所述控制器被配置为在所述图像传感器的消隐周期期间同步所述电磁辐射脉冲的定时，其中所述消隐周期对应于所述像素阵列中的最后一行有源像素的读出与所述像素阵列中的有源像素的下一个后续读出开始之间的时间。

实施例27为根据实施例1至26中任一项所述的***，其中由所述发射器发射的两个或更多个电磁辐射脉冲产生经反射的电磁辐射的两个或更多个实例，反射的电磁辐射的两个或更多个实例由所述像素阵列感测以生成两个或更多个曝光帧，所述两个或更多个曝光帧被组合以形成图像帧。

实施例28为根据实施例1至27中任一项所述的***，其中所述图像传感器包括第一图像传感器和第二图像传感器，使得所述图像传感器能够生成三维图像。

实施例29为根据实施例1至28中任一项所述的***，其中所述发射器被配置为重复发射足以生成包括多个图像帧的视频流的电磁辐射脉冲序列，其中所述视频流中的每个图像帧包括来自多个曝光帧的数据，并且其中所述曝光帧中的每一个曝光帧对应于电磁辐射脉冲。

实施例30为根据实施例1至29中任一项所述的***，其中所述电磁辐射脉冲以不同波长的电磁辐射的图案发射，并且其中所述发射器重复不同波长的电磁辐射的所述图案。

实施例31为根据实施例1至30中任一项所述的***，其中所述电磁辐射脉冲的至少一部分包括红光波长、绿光波长、蓝光波长和超光谱波长，使得由所述像素阵列感测的对应于所述红光波长、所述绿光波长、所述蓝光波长和所述超光谱波长中的每一者的经反射的电磁辐射能够被处理以生成包括超光谱成像数据的叠加的红-绿-蓝(RGB)图像帧，其中电磁辐射的所述超光谱波长包括：具有约513nm至约545nm的波长的所述电磁辐射和具有约900nm至约1000nm的波长的所述电磁辐射；或者具有约565nm至约585nm的波长的所述电磁辐射，以及具有约900nm至约1000nm的波长的所述电磁辐射。

实施例32为根据实施例1至31中任一项所述的***，其中所述电磁辐射脉冲的至少一部分包括亮度发射、红色度发射、蓝色度发射和超光谱发射，使得由所述像素阵列感测的对应于所述亮度发射、所述红色度发射、所述蓝色度发射和所述超光谱发射中的每一者的经反射的电磁辐射能够被处理以生成包括超光谱成像数据的叠加的YCbCr图像帧，其中所述电磁辐射的超光谱发射包括：具有约513nm至约545nm的波长的所述电磁辐射和具有约900nm至约1000nm的波长的所述电磁辐射；或者具有约565nm至约585nm的波长的所述电磁辐射，以及具有约900nm至约1000nm的波长的所述电磁辐射。

实施例33为根据实施例1至32中任一项所述的***，其中由所述发射器发射的所述电磁辐射脉冲的至少一部分是用于使试剂发荧光的荧光激发波长，其中所述荧光激发波长包括以下的一者或多者：具有约770nm至约790nm的波长的所述电磁辐射；或者具有约795nm至约815nm的波长的所述电磁辐射。

实施例34为根据实施例1至33中任一项所述的***，其中所述电磁辐射脉冲的至少一部分包括红光波长、绿光波长、蓝光波长和荧光激发波长，使得由所述像素阵列感测的对应于所述红光波长、所述绿光波长、所述蓝光波长和所述荧光激发波长中的每一者的经反射的电磁辐射能够被处理以生成包括荧光成像数据的叠层的红-绿-蓝(RGB)图像帧，其中所述荧光波长的电磁辐射包括：具有约770nm至约790nm的波长的电磁辐射和/或具有约795nm至约815nm的波长的电磁辐射。

实施例35为根据实施例1至34中任一项所述的***，其中所述电磁辐射脉冲的至少一部分包括亮度发射、红色度发射、蓝色度发射和荧光激发发射，使得由所述像素阵列感测的对应于所述亮度发射、所述红色度发射、所述蓝色度发射和所述荧光激发发射中的每一者的经反射的电磁辐射能够被处理以生成包括荧光成像数据的叠层的YCbCr图像帧，其中所述荧光波长的电磁辐射包括：具有约770nm至约790nm的波长的电磁辐射和/或具有约795nm至约815nm的波长的电磁辐射。

实施例36为根据实施例1至35中任一项所述的***，还包括单根光纤，其中所述发射器将所述电磁辐射脉冲发射到所述单根光纤中。

实施例37为根据实施例1至36中任一项所述的***，其中所述像素阵列为独立像素的二维阵列，每个独立像素能够检测任何波长的电磁辐射。

实施例38为根据实施例1至37中任一项所述的***，还包括过滤具有约770nm至约790nm的波长的电磁辐射的滤光器。

实施例39为根据实施例1至38中任一项所述的***，还包括过滤具有约795nm至约815nm的波长的电磁辐射的滤光器。

实施例40为根据实施例1至39中任一项所述的***，其中所述电磁传感器是光电二极管。

实施例41为根据实施例1至40中任一项所述的***，其中由所述像素阵列感测经反射的电磁辐射包括：通过感测由所述发射器脉冲所述激光标测图案产生的反射的电磁辐射来生成激光标测曝光帧，其中所述激光标测曝光帧包括用于确定实时测量的信息，所述信息包括以下的一者或多者：从内窥镜到对象的距离；内窥镜和所述对象之间的角度；或者关于所述对象的表面拓扑信息。

实施例42为根据实施例1至41中任一项所述的***，其中所述激光标测曝光帧包括用于以小于10厘米的精度确定所述实时测量的信息。

实施例43为根据实施例1至42中任一项所述的***，其中所述激光标测曝光帧包括用于以小于一毫米的精度确定所述实时测量的信息。

实施例44为根据实施例1至43中任一项所述的***，其中由所述发射器发射的所述电磁辐射脉冲的至少一部分包括用于场景内的多个工具中的每一个工具的多个特定于工具的激光标测图案。

实施例45为根据实施例1至44中任一项所述的***，其中由所述发射器发射的所述激光标测图案包括彼此独立的第一输出和第二输出，其中所述第一输出用于光照明，并且所述第二输出用于工具跟踪。

实施例46为根据实施例1至45中任一项所述的***，其中所述第一发射器是包括用于发射所述第一波长的所述电磁辐射脉冲的多个激光器的第一激光器束，并且所述第二发射器是包括用于发射所述第二波长的所述电磁辐射脉冲的多个激光器的第二激光器束。

实施例47为根据实施例1至46中任一项所述的***，其中所述图像传感器被配置为生成多个曝光帧，其中所述多个曝光帧中的每一个曝光帧对应于由所述发射器发射的一个或多个电磁辐射脉冲。

实施例48为根据实施例1至47中任一项所述的***，其中所述光纤束包括2至150根纤维。

实施例49为根据实施例1至48中任一项所述的***，其中所述第三发射器是包括用于发射所述第三波长的所述电磁辐射脉冲的多个激光器的第三激光器束。

实施例50为根据实施例1至49中任一项所述的***，其中所述第四发射器是包括用于发射所述第四波长的所述电磁辐射脉冲的多个激光器的第四激光器束。

实施例51为根据实施例1至50中任一项所述的***，其中所述发射器包括一个或多个超光谱发射器，所述一个或多个超光谱发射器用于发射超光谱波长的电磁辐射脉冲以引发光谱响应。

实施例52为根据实施例1到51中任一项所述的***，其中所述一个或多个超光谱发射器中的每一个超光谱发射器包括激光器束，所述激光器束包括多个激光器。

实施例53为根据实施例1至52中任一项所述的***，其中所述发射器还包括用于在进入所述光纤束之前混合电磁辐射脉冲的光学元件，其中所述光学元件包括漫射器、混合棒或透镜中的一者或多者。

实施例54为根据实施例1至53中任一项所述的***，还包括用于反射蓝光波长的电磁辐射的二向色镜。

实施例55为根据实施例1至54中任一项所述的***，还包括用于反射绿光波长的电磁辐射的二向色镜。

实施例56为根据实施例1至55中任一项所述的***，还包括用于反射红光波长的电磁辐射的二向色镜。

实施例57为根据实施例1至56中任一项所述的***，还包括用于反射具有约513nm至约545nm的波长的电磁辐射的二向色镜。

实施例58为根据实施例1至57中任一项所述的***，还包括用于反射具有约565nm至约585nm的波长的电磁辐射的二向色镜。

实施例59为根据实施例1至58中任一项所述的***，还包括用于反射具有约900nm至约1000nm的波长的电磁辐射的二向色镜。

实施例60为根据实施例1至59中任一项所述的***，还包括用于反射具有约770nm至约790nm的波长的电磁辐射的二向色镜。

实施例61为根据实施例1至60中任一项所述的***，还包括用于反射具有约795nm至约815nm的波长的电磁辐射的二向色镜。

实施例62为根据实施例1至61中任一项所述的***，还包括用于反射某个波长带的电磁辐射的二向色镜，其中所述二向色镜对其他波长的电磁辐射是透明的。

实施例63为根据实施例1至62中任一项所述的***，还包括用于反射特定波长的电磁辐射的二向色镜，其中所述二向色镜至少对具有红光波长的电磁辐射是透明的。

实施例64为根据实施例1至63中任一项所述的***，还包括用于反射特定波长的电磁辐射的二向色镜，其中所述二向色镜至少对具有绿光波长的电磁辐射是透明的。

实施例65为根据实施例1至64中任一项所述的***，还包括用于反射特定波长的电磁辐射的二向色镜，其中所述二向色镜至少对具有蓝光波长的电磁辐射是透明的。

实施例66为根据实施例1至65中任一项所述的***，还包括用于反射特定波长的电磁辐射的二向色镜，其中所述二向色镜至少对具有约513nm至约545nm的波长的电磁辐射是透明的。

实施例67为根据实施例1至66中任一项所述的***，还包括用于反射特定波长的电磁辐射的二向色镜，其中所述二向色镜至少对具有约565nm至约585nm的波长的电磁辐射是透明的。

实施例68为根据实施例1至67中任一项所述的***，还包括用于反射特定波长的电磁辐射的二向色镜，其中所述二向色镜至少对具有约900nm至约1000nm的波长的电磁辐射是透明的。

实施例69为根据实施例1至68中任一项所述的***，还包括用于反射特定波长的电磁辐射的二向色镜，其中所述二向色镜至少对具有约770nm至约790nm的波长的电磁辐射是透明的。

实施例70为根据实施例1至69中任一项所述的***，还包括用于反射特定波长的电磁辐射的二向色镜，其中所述二向色镜至少对具有约795nm至约815nm的波长的电磁辐射是透明的。

实施例71为根据实施例1至70中任一项所述的***，其中所述发射器包括多个激光发射器，并且其中所述多个激光发射器具有高斯横截面强度轮廓。

实施例72为根据实施例1至71中任一项所述的***，其中所述发射器包括多个激光发射器，并且其中所述多个激光发射器具有平坦或大致平坦形强度轮廓。

实施例73为根据实施例1至72中任一项所述的***，其中所述发射器包括多个激光发射器，并且其中所述多个激光发射器具有顶帽形强度轮廓。

实施例74为根据实施例1至73中任一项所述的***，其中所述第一发射器和所述第二发射器旨在收集区域处，使得所述第一波长的所述电磁辐射脉冲和所述第二波长的所述电磁辐射脉冲在所述收集区域处混合并且由光纤束接收。

实施例75为根据实施例1至74中任一项所述的***，还包括设置在所述发射器和所述光纤束之间的居间光学元件，其中所述居间光学元件被配置为在所述发射到达所述光纤束之前混合来自所述第一发射器和所述第二发射器的发射。

实施例76为根据实施例1至75中任一项所述的***，还包括设置在所述发射器和所述光纤束之间的居间光学元件，所述居间光学元件被配置为在到达所述光纤束之前均匀地混合来自所述第一发射器和所述第二发射器的电磁辐射的独立发射。

应当理解，本文所公开的各种特征在本领域中提供了显著优势和进步。下列权利要求为那些特征中的一些的示例。

在上述本公开具体实施方式中，出于简化本公开的目的，将本公开的各个特征集中于单个实施方案中。本公开的方法不应理解为体现了这样的意图：受权利要求书保护的公开内容要求比每项权利要求中所明确列举的更多的特征。相反，创新方面未能体现上文公开的单个实施例的所有特征。

应当理解，上述布置方式、实施例和实施方案的任何特征可在包括从任何所公开的布置方式、实施例和实施方案中获得的特征的组合的单个实施方案中组合。

应当理解，上述设置只是本公开原理的示例性应用。在不脱离本公开精神和范围的前提下，本领域的技术人员可以设计许多修改和另选设置，并且所附权利要求书旨在涵盖这些修改和设置。

因此，当本公开以图示显示并且以特殊性和细节进行上述描述时，对于本领域的普通技术人员而言，在不脱离本文所述原则和理念的前提下，显而易见可进行大量修改，这些修改包括但不限于尺寸、材料、形状、形式、功能和操作方式、组装和使用方式的变化。

另外，在适当的情况下，本文所述的功能可通过硬件、软件、固件、数字部件或模拟部件中的一种或多种来执行。例如，可对一种或多种专用集成电路(ASIC)或现场可编程门阵列进行编程以执行本文所述的一种或多种***和程序。在整个下面的描述和权利要求中所用的某些术语是指特定的***部件。本领域的技术人员应当理解，部件可具有不同的名称。本文并非旨在在名称上而非功能上不同的部件之间进行辨别。

为了举例说明和描述的目的，已经提供了上述具体实施方式。这些具体实施方式并非意图为详尽的或将本公开限制为所公开的具体形式。根据上述教导内容可以对本公开进行许多修改和改变。另外，应当指出的是，任何或所有前述另选的具体实施可以任何期望的组合使用，以形成本公开的另外的混合的具体实施。

另外，虽然已描述和说明了本公开的特定具体实施，但是本公开并不限于如描述和说明的特定形式或部件布置。本公开的范围将由此处所附的权利要求、此处和不同申请中提交的任何未来的权利要求以及它们的等效物来限定。

Claims (29)

1.一种***，包括：

发射器，所述发射器用于发射电磁辐射脉冲，其中所述发射器包括用于发射第一波长的电磁辐射脉冲的第一发射器和用于发射第二波长的电磁辐射脉冲的第二发射器；

图像传感器，所述图像传感器包括用于感测经反射的电磁辐射的像素阵列；以及

控制器，所述控制器与所述发射器和所述图像传感器电子通信；

其中由所述发射器发射的所述电磁辐射脉冲的至少一部分包括以下的一者或多者：

具有约770nm至约790nm的波长的电磁辐射；或者

具有约795nm至约815nm的波长的电磁辐射。

2.根据权利要求1所述的***，其中：

所述第一发射器在第一二向色镜处发射所述第一波长的所述电磁辐射脉冲，所述第一二向色镜将所述第一波长的所述电磁辐射脉冲反射至多根光纤；

所述第二发射器在第二二向色镜处发射所述第二波长的所述电磁辐射脉冲，所述第二二向色镜将所述第二波长的所述电磁辐射脉冲反射至所述多根光纤；并且

所述第一二向色镜对所述第二波长的电磁辐射是透明的。

3.根据权利要求2所述的***，其中所述第一二向色镜将所述第一波长的所述电磁辐射脉冲以从垂直所述多根光纤偏移的角度反射到所述多根光纤中，并且所述第二二向色镜将所述第二波长的所述电磁辐射脉冲以从垂直所述多根光纤偏移的角度反射到所述多根光纤中。

4.根据权利要求2所述的***，其中：

所述第一二向色镜将所述第一波长的所述电磁辐射脉冲以基本上垂直于所述第一发射器的角度反射到所述多根光纤中；并且

所述第二二向色镜将所述第二波长的所述电磁辐射脉冲以基本上垂直于所述第二发射器的角度通过所述第一二向色镜反射到所述多根光纤中。

5.根据权利要求2所述的***，其中：

所述发射器还包括第三发射器，所述第三发射器用于在第三二向色镜处发射第三波长的电磁辐射脉冲，所述第三二向色镜将所述第三波长的所述电磁辐射脉冲反射至所述多根光纤；

所述第三二向色镜将所述第三波长的所述电磁辐射脉冲通过所述第一二向色镜反射到所述多根光纤中；

所述第一二向色镜和所述第二二向色镜对所述第三波长的电磁辐射是透明的；

所述第三二向色镜将所述第三波长的所述电磁辐射脉冲以基本上垂直于所述第三发射器的角度反射到所述多根光纤中；并且

所述第三二向色镜将所述第三波长的所述电磁辐射脉冲以从垂直偏移的角度反射到所述多根光纤中。

6.根据权利要求1所述的***，还包括：

光纤束，其中所述发射器将所述电磁辐射脉冲发射到所述光纤束中；

其中所述光纤束包括塑料纤维和玻璃纤维，其中所述塑料纤维和所述玻璃纤维在所述光纤束的输出部附近耦接。

7.根据权利要求6所述的***，还包括居间光学部件，其中所述电磁辐射脉冲在进入所述光纤束之前穿过所述居间光学部件。

8.根据权利要求7所述的***，其中所述居间光学部件包括漫射器或混合棒中的一者或多者。

9.根据权利要求1所述的***，还包括：

光纤束，所述光纤束包括多个塑料光纤，其中所述发射器将所述电磁辐射脉冲发射到所述光纤束中；以及

居间光学部件，其中所述电磁辐射脉冲在进入所述光纤束之前穿过所述居间光学部件；

其中所述居间光学部件包括多个玻璃纤维。

10.根据权利要求1所述的***，还包括：

光纤束，其中所述发射器将所述电磁辐射脉冲发射到所述光纤束中；以及

漫射器，所述漫射器设置在所述光纤束的远侧端部处；

其中所述漫射器提供光锥，所述光锥具有介于110度和120度之间的角度或介于70度和80度之间的角度。

11.根据权利要求1所述的***，还包括用于发射第三波长的电磁辐射脉冲的第三发射器和用于发射第四波长的电磁辐射脉冲的第四发射器，并且其中：

由所述第一发射器发射的所述第一波长的电磁辐射是红光；

由所述第二发射器发射的所述第二波长的电磁辐射是蓝光；

由所述第三发射器发射的所述第三波长的电磁辐射是绿光；并且

由所述第四发射器发射的所述第四波长的电磁辐射是包括以下的一者或多者的荧光激发波长：具有约770nm至约790nm的波长的所述电磁辐射，或者具有约795nm至约815nm的波长的所述电磁辐射；

其中用于发射所述荧光激发波长的所述第四发射器包括用于发射不同荧光激发波长的电磁辐射的一个或多个独立激光器。

12.根据权利要求1所述的***，其中所述第一发射器是包括用于发射所述第一波长的所述电磁辐射脉冲的多个激光器的第一激光器束，并且所述第二发射器是包括用于发射所述第二波长的所述电磁辐射脉冲的多个激光器的第二激光器束。

13.根据权利要求1所述的***，其中所述图像传感器被配置为生成多个曝光帧，其中所述多个曝光帧中的每一个曝光帧对应于由所述发射器发射的一个或多个电磁辐射脉冲。

14.根据权利要求1所述的***，其中所述图像传感器的所述像素阵列在所述像素阵列的所述读出周期期间感测经反射的电磁辐射以生成所述多个曝光帧，其中所述读出周期包括所述像素阵列中的有效像素被读取时的时间段。

15.根据权利要求1所述的***，其中由所述发射器发射的所述电磁辐射脉冲的至少一部分为用于使试剂发荧光的荧光激发波长，其中所述荧光激发波长包括以下的一者或多者：

具有约770nm至约790nm的波长的所述电磁辐射；或者

具有约795nm至约815nm的波长的所述电磁辐射。

16.根据权利要求1所述的***，其中所述发射器被配置为在脉冲持续时间期间发射多个电磁辐射子脉冲，所述子脉冲具有短于所述脉冲持续时间的子持续时间。

17.根据权利要求1所述的***，其中由所述发射器发射的所述电磁辐射脉冲中的一个或多个脉冲包括作为单个脉冲或单个子脉冲同时以两个或更多个波长发射的电磁辐射。

18.根据权利要求1所述的***，其中由所述发射器发射的所述电磁辐射脉冲的至少一部分为使得所述图像传感器产生荧光曝光帧的荧光激发发射，并且其中所述控制器被配置为向对应的***提供所述荧光曝光帧，所述对应的***基于所述荧光曝光帧确定场景内关键组织结构的位置。

19.根据权利要求18所述的***，其中所述荧光激发发射包括以下中的每一者：

具有约770nm至约790nm的波长的所述电磁辐射；以及

具有约795nm至约815nm的波长的所述电磁辐射。

20.根据权利要求19所述的***，其中所述控制器被进一步配置为：

从所述对应的***接收所述关键组织结构的所述位置；

生成包括所述关键组织结构的所述位置的重叠帧；以及

将所述重叠帧与描绘所述场景的彩色图像帧组合，以指示所述场景内所述关键组织结构的所述位置。

21.根据权利要求20所述的***，其中所述关键结构包括神经、输尿管、血管、动脉、血流或肿瘤中的一者或多者。

22.根据权利要求1所述的***，其中所述控制器被配置为在所述图像传感器的消隐周期期间同步所述电磁辐射脉冲的定时，其中所述消隐周期对应于所述像素阵列中的最后一行有源像素的读出与所述像素阵列中的有源像素的下一个后续读出开始之间的时间。

23.根据权利要求1所述的***，其中由所述发射器发射的电磁辐射的两个或更多个脉冲产生经反射的电磁辐射的两个或更多个实例，所述两个或更多个实例由所述像素阵列感测以生成两个或更多个曝光帧，所述两个或更多个曝光帧被组合以形成图像帧。

24.根据权利要求1所述的***，其中所述发射器被配置为重复发射足以生成包括多个图像帧的视频流的电磁辐射脉冲的序列，其中所述视频流中的每个图像帧包括来自多个曝光帧的数据，并且其中所述曝光帧中的每一个曝光帧对应于一个或多个电磁辐射脉冲。

25.根据权利要求1所述的***，其中所述电磁辐射脉冲以不同波长的电磁辐射的模式发射，并且其中所述发射器重复不同波长的电磁辐射的所述模式。

26.根据权利要求1所述的***，还包括滤光器，所述滤光器过滤具有约770nm至约790nm的波长的电磁辐射。

27.根据权利要求1所述的***，还包括滤光器，所述滤光器过滤具有约795nm至约815nm的波长的电磁辐射。

28.根据权利要求1所述的***，其中所述电磁辐射脉冲的至少一部分包括红光波长、绿光波长、蓝光波长和荧光激发波长，使得由所述像素阵列感测的对应于所述红光波长、所述绿光波长、所述蓝光波长和所述荧光激发波长中的每一者的经反射的电磁辐射能够被处理以生成包括荧光成像数据的叠层的红-绿-蓝(RGB)图像帧，其中所述荧光激发波长的电磁辐射包括以下的一者或多者：

具有约770nm至约790nm的波长的所述电磁辐射；或者

具有约795nm至约815nm的波长的所述电磁辐射。

29.根据权利要求1所述的***，其中所述电磁辐射脉冲的至少一部分包括亮度发射、红色度发射、蓝色度发射和荧光激发发射，使得由所述像素阵列感测的对应于所述亮度发射、所述红色度发射、所述蓝色度发射和所述荧光激发发射中的每一者的经反射的电磁辐射能够被处理以生成包括荧光成像数据的叠层的YCbCr图像帧，其中所述荧光激发发射的电磁辐射包括以下的一者或多者：

具有约770nm至约790nm的波长的所述电磁辐射；或者

具有约795nm至约815nm的波长的所述电磁辐射。

Images