CN111803013A - 一种内窥镜成像方法和内窥镜成像*** - Google Patents

一种内窥镜成像方法和内窥镜成像*** Download PDF

Info

Publication number
CN111803013A
CN111803013A CN202010704320.0A CN202010704320A CN111803013A CN 111803013 A CN111803013 A CN 111803013A CN 202010704320 A CN202010704320 A CN 202010704320A CN 111803013 A CN111803013 A CN 111803013A
Authority
CN
China
Prior art keywords
image
fluorescence
light
sensor
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010704320.0A
Other languages
English (en)
Inventor
陆汇海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Bosheng Medical Technology Co ltd
Original Assignee
Shenzhen Bosheng Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Bosheng Medical Technology Co ltd filed Critical Shenzhen Bosheng Medical Technology Co ltd
Priority to CN202010704320.0A priority Critical patent/CN111803013A/zh
Publication of CN111803013A publication Critical patent/CN111803013A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

本发明公开了一种内窥镜成像方法和内窥镜成像***，内窥镜成像方法包括如下步骤：光照、采集可见光和荧光、采集图像信号和图像处理。通过位于镜管的前端两个传感器采集人体被摄物反射的可见光和激发的荧光并生成相应的图像信号，再把图像信号传递到后端处理得到最终的内窥镜图像；相比现有技术中通过光路将可见光和荧光传递到后端再采集处理，本内窥镜解决了光路传播导致的精度下降问题，提高了成像精度，并且也省去光路成本和光路占用空间；另外，可见光和荧光独立光路设计，可见光和荧光可实现分别对焦采集，从而保证可见光图像和荧光图像清晰度一致；本内窥镜成像***为双目立体视觉，能够获得三维信息，以补偿不同深度区域的荧光亮度。

Description

一种内窥镜成像方法和内窥镜成像***
技术领域
本发明涉及医疗器械技术领域，具体涉及一种内窥镜成像方法和内窥镜成像***。
背景技术
在微创手术中，应用激励光内窥镜(或荧光内窥镜)可精准定位癌的位置，进而更加精准的进行癌变组织切除。其主要原理为：通过将激励光药剂散布或注入到生物体的对象部位之后，向被摄体照射来自光源装置的激励光，通过扑捉来自癌上的荧光，来进行癌的存在诊断和恶性程度等的定性诊断。
现有技术主要通过单相机分时成像和双相机分光成像实现。分光技术主要采用在手柄端，对白光、激发光、和激励光进行分离，并采用2个或2个以上的传感器(CCD或CMOS)分别对白光和荧光单色图像感光。一种实现为一路彩色传感器一路激励光单色传感器。另一种实现为三路R、G、B单色传感器，再加一路激励光单色传感器。
现有技术需要复杂的分光和滤光技术来避免白光污染荧光单色图像或是激励光污染白光彩色图像。无论是分时或是分光，现有技术可见光、返回激励光、和激励光都是共用一套前端光学链路，由于可见光和激励光波长不同导致焦距有所差异，造成可见光图像和荧光单色图像清晰度不一致。
发明内容
本发明提供一种光路简单、成像清晰的内窥镜成像方法和内窥镜成像***。
根据第一方面，一种实施例中提供一种内窥镜成像方法，包括如下步骤：
控制第一光源和第二光源分别发射白光和激励光，白光和激励光融合形成混合光照射到人体上；
通过位于内窥镜前端的第一传感器获取人体反射的可见光，第一传感器将可见光转为第一图像信号；同时，通过位于内窥镜前端的第二传感器获取人体被激发产生的荧光，第二传感器将荧光转为第二图像信号；
获取第一图像信号和第二图像信号，将第一图像信号转为白光彩色图像，第二图像信号转为荧光单色图像，再将白光彩色图像和荧光图像经过图像处理输出内窥镜图像。
进一步的，图像处理包括如下步骤：
将白光彩色图像转为RGB图像；
将RGB图像转为灰度图像；
将荧光单色图像和灰度图像的灰度信息进行图像归一化处理，再使用立体匹配算法获取荧光单色图像匹配到白光彩色图像的立体视差图；
根据立体视差图，将荧光单色图像重建到白光彩色图像的坐标系中得到重建荧光单色图像；
将重建荧光单色图像叠加到RGB图像上形成内窥镜图像。
进一步的，图像处理的步骤中，计算出立体视差图后，通过立体视差图计算人体内被摄物与摄像头端面的距离，进而得出不同荧光区域的深浅信息，再对距离远的荧光区域的荧光亮度进行补偿。
进一步的，荧光亮度的补偿包括如下步骤：
计算每个荧光区域的荧光光平均值，并找出平均值最高的荧光区域；
除平均值最高的荧光区域外的其他荧光区域分别乘一个与之对应的增益系数，使得其他荧光区域与平均值最高的荧光区域的荧光亮度一致。
进一步的，荧光亮度的补偿包括如下步骤：
预先设计计算一条根据人体被摄物与摄像头端面距离远近的荧光补偿增益曲线；
在得出不同荧光区域的深浅信息后，每个区域根据补偿增益曲线进行荧光补偿。
根据第二方面，一种实施例中提供一种内窥镜成像***，包括：
手柄，手柄具有穿线通道；
镜管，镜管连接在与手柄的前端；
光源组件，光源组件包括第一光源、第二光源和导光束，第一光源用于发射白光，第二光源用于发射激励光，导光束的一端穿设在镜管内并延伸至镜管内的前端，导光束的另一端与第一光源和第二光源连接；
第一前端组件，第一前端组件安装在镜管内的前端，第一前端组件包括前后依次排列的第一镜组和第一传感器，第一镜组用于获取人体被摄物反射的可见光，第一传感器用于获取第一镜组过滤后的可见光并生成第一图像信号；
第二前端组件，第二前端组件与第一前端组件并排安装在镜管内的前端，第二前端组件包括前后依次排列的第二镜组和第二传感器，第二镜组用于获取人体被摄物被激发的荧光，第二传感器用于获取第二镜组过滤后的荧光并生成第二图像信号；
以及控制装置，控制装置与第一光源、第二光源、第一传感器和第二传感器连接；控制装置用于控制第一光源发射白光和第二光源分别发射激励光，用于采集第一传感器生成的第一图像信息和第二传感器生成的第二图像信息，及用于将第一图像信号转为白光彩色图像，第二图像信号转为荧光单色图像，再将白光彩色图像和荧光单色图像经过图像处理输出内窥镜图像。
进一步的，控制装置包括控制器、图像采集模块和图像处理模块，控制器用于用于控制第一光源发射白光和第二光源分别发射激励光，图像采集模块用于采集第一传感器生成的第一图像信息和第二传感器生成的第二图像信息，图像处理模块用于将第一图像信号转为白光彩色图像，第二图像信号转为荧光单色图像，再将白光彩色图像和荧光单色图像经过图像处理输出内窥镜图像。
进一步的，控制装置还包括传感器驱动模块，传感器驱动模块的输入端与控制器连接，传感器驱动模块的输出端分别与第一传感器和第二传感器连接，传感器驱动模块用于将控制器计算得出的传感器设置信息输出至第一传感器和第二传感器。
进一步的，光源组件还包括光源控制模块，光源控制模块的输入端与控制器连接，光源控制模块的输出端与第一光源和第二光源连接，光源控制模块用于接收控制器的控制信号并控制第一光源和第二光源发射光的光强度。
进一步的，第一镜组包括荧光截止滤光镜，第二镜组包括可见光截止滤光镜。
依据上述实施例的内窥镜成像方法和内窥镜成像***，由于通过位于镜管的前端两个传感器能够分别采集人体被摄物反射的可见光和激发的荧光并生成相应的图像信号，再把图像信号传递到后端处理得到最终的内窥镜图像；相比现有技术中通过光路将可见光和荧光从镜管前端传递到后端再采集处理，本内窥镜解决了光路传播导致的精度下降问题，提高了成像精度，并且也省去光路成本和光路占用空间；另外，可见光和荧光独立光路设计，可见光和荧光可实现分别对焦采集，从而保证可见光图像和荧光图像清晰度一致；本内窥镜成像***为双目立体视觉，能够获得三维信息，以补偿不同深度区域的荧光亮度。
附图说明
图1为一种实施例中内窥镜成像***的结构示意图；
图2为一种实施例中内窥镜成像方法的流程图；
图3为一种实施例中内窥镜成像方法的图像处理的流程图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。文中的前端为靠近人体被摄物的一端，后端为远离人体被摄物的一端。
实施例一：
本实施例提供了一种内窥镜成像***，本内窥镜成像***为双目内窥镜，主要用于检测人体癌变情况。
如图1所示，本内窥镜成像***主要包括手柄10、镜管20、光源组件30、第一前端组件40、第二前端组件50和控制装置60，内窥镜成像***的其他部分并未在本申请中涉及，故不进行详细描述。
镜管20为硬镜管或软镜管，镜管20的后端连接在手柄10的前端上，手柄10内设有与镜管20连通的穿线通道，手柄10用于医生操作镜管20的前端伸入到人体内。
光源组件30包括第一光源31、第二光源32和导光束33，第一光源31和第二光源32位于在手柄10的后方，如安装在控制装置60内，或独立安装在一个单独装置内，导光束33的两端分别为输入端和输出端，导光束33的输入端和输出端均具有两个分支光束，导光束33的输入端的两个分支光束分别与第一光源31和第二光源32连接，导光束33的输出端两个分支光束穿过手柄10延伸至镜管20内的前端位置，并且两个输出分支光束对称设置。第一光源31用于发射白光(可见光)，第二光源32用于发射激励光，第一光源31发射的白光和第二光源32发射的激发光在导光束33内融合成混合光。也可在第一光源31和第二光源32的前端安装融合光路34，融合光路34由两个输入端和一个输出端构成，内部设有折射镜等结构，使得将两路光汇合成一路光输出，融合光路34的输出端与导光束33的输入端连接，融合光路34的两个输入端与第一光源31和第二光源32的出射光路对齐，融合光路34将第一光源31发射的白光和第二光源32发射的激发光融合成混合光再通过导光束33照射到人体被摄物上。导光束33的输出端设置有两个分支光束，使得能够均匀的将混合光照射到人体被摄物上。
第一前端组件40和第二前端组件50并排安装在镜管20内的前端位置处，并且第一前端组件40、第二前端组件50位于镜管20内的中部，导光束33的输出端位于镜管20内的边缘处。第一前端组件40用于采集人体被摄物反射的可见光，第二前端组件50用于采集人体被摄物被激发的荧光。
第一前端组件40包括第一镜组41和第一传感器42，第一镜组41和第一传感器42沿着自前往后的方向依次排列，并且对齐在光轴上。第一镜组41的后端具有荧光截止滤光镜411，荧光截止滤光镜411用于过滤混合光中的荧光，荧光截止滤光镜411将过滤后可见光(白光)照射至第一传感器42上。第一传感器42为彩色传感器，第一传感器42用于获取可见光(白光)并生成相应的第一图像信号。
第二前端组件50包括第二镜组51和第二传感器52，第二镜组51和第二传感器52沿着自前往后的方向依次排列，并且对齐在光轴上。第二镜组51的后端具有可见光截止滤光镜511，可见光截止滤光镜511用于过滤混合光中的可见光，可见光截止滤光镜511将过滤后的荧光照射至第二传感器52上。第二传感器52为单色传感器，第二传感器52用于获取荧光并生成相应的第二图像信号。其中，第一镜组41和第二镜组51分别为对焦镜组，分别设置成在可见光和荧光模式下对焦，第一镜组41和第二镜组51除滤光镜以外的镜片可以相同。在其他实施例中，荧光截止滤光镜411和可见光截止滤光镜511为过滤膜，过滤膜贴在第二镜组51的前端或后端镜片上。
本实施例中，控制装置60安装在手柄10后方的设备内，控制装置60为内窥镜成像***的主机部分，控制装置60具有控制和处理功能。控制装置60包括控制器61、图像采集模块62和图像处理模块63，控制器61分别与图像采集模块62、图像处理模块63、第一光源31、第二光源32、第一传感器42和第二传感器52连接。控制器61为控制中心，用于控制整个内窥镜成像工作。
光源组件30还包括光源控制模块35，光源控制模块35的输入端与控制器61连接，光源控制模块35的两个输出端分别与第一光源31和第二光源32连接。光源控制模块35用于获取接收控制器61的控制信号并控制第一光源31和第二光源32发射光的光强度。
控制装置60还包括传感器驱动模块64，传感器驱动模块64的输入端与控制器61连接，传感器驱动模块64的一个输出端通过线缆43穿过手柄10与镜管20内的第一传感器42连接，传感器驱动模块64另一个输出端通过线缆53穿过手柄10与镜管20内的第二传感器52连接。传感器驱动模块64用于将控制器61计算得出的传感器设置信息输出至第一传感器42和第二传感器52。
控制装置60还包括输入设备65连接，输入设备65为键盘、触控屏等设备，输入设备65与控制器61连接，输入设备65用于输入操作指令和参数给控制器61，控制器61根据输入的指令做出响应控制其他部件工件。
图像采集模块62的输入端通过线缆44穿过手柄10与镜管20内的第一传感器42连接，图像采集模块62通过线缆44获取第一传感器42生成的第一图像信号。图像采集模块62的输入端还通过线缆54穿过手柄10与镜管20内的第二传感器52连接，图像采集模块62通过线缆54获取第二传感器52生成的第二图像信号。图像采集模块62的输出端与图像处理模块63连接，图像处理模块63用于获取图像采集模块62采集的第一图像信号和第二图像信号，图像处理模块63还用于将第一图像信号转为白光彩色图像，第二图像信号转为荧光单色图像，再将白光彩色图像和荧光单色图像经过图像处理输出内窥镜图像。
图像处理模块63与显示器70连接，图像处理模块63将计算生成的内窥镜图像输出给显示器70展示。
本实施例的内窥镜成像***，由于将第一前端组件40和第二前端组件50安装在镜管20内的前端，第一前端组件40和第二前端组件50分别采集可见光和荧光，并将白光和荧光转为对应的图像信号传送到手柄10的后端的图像处理模块63内进行计算和处理。相比现有技术中通过光路将可见光和荧光从镜管前端传递到后端再采集处理，本内窥镜解决了光路传播导致的精度下降问题，提高了成像精度，并且也省去光路成本和光路占用空间。另外，可见光和荧光独立光路设计，可见光和荧光可实现分别对焦采集，从而保证可见光图像和荧光图像清晰度一致；本内窥镜成像***为双目立体视觉，能够获得三维信息，以补偿不同深度区域的荧光亮度。
实施例二：
本实施例提供了一种内窥镜成像方法，本成像方法基于上述实施例中的内窥镜成像***实现。
如图2所示，本实施例的内窥镜成像方法包括如下步骤：
S10、光照；
光源控制模块35控制第一光源31发射白光，同时控制第二光源32发射激励光，白光和激励光经过光路融合成混合光，混合光通过导光束33照射到人体内组织(被摄物)上；人体内组织(被摄物)将反射白光(可见光)，同时人体内癌变的区域被激励光照射后将激发产生荧光；
S20、采集可见光和荧光；
通过位于镜管20内前端的第一前端组件40采集可见光，通过位于镜管20内前端的第二前端组件50采集荧光。
其中，第一镜组41将人体被摄物反射和激发的可见光和荧光形成的混合光传递至荧光截止滤光镜411上，荧光截止滤光镜411过滤荧光将可见光照射至第一传感器42上，第一传感器42将可见光转为第一图像信号。
同时，第二镜组51将人体被摄物反射和激发的可见光和荧光形成的混合光传递至可见光截止滤光镜511上，可见光截止滤光镜511过滤可见光将荧光照射至第二传感器52上，第二传感器52将荧光转为第二图像信号。
S30、采集图像信号；
通过图像采集模块62采集第一图像信号和第二图像信号，并第一图像信号和第二图像信号传递给图像处理模块63。
S40、图像处理。
图像处理模块63获取第一图像信号和第二图像信号后，将第一图像信号转为白光彩色图像，并将第二图像信号转为荧光单色图像，再将白光彩色图像和荧光单色图像经过图像处理输出内窥镜图像。
如图3所示，白光彩色图像和荧光单色图像的图像处理具体包括如下子步骤：
S41、将白光彩色图像转为RGB图像；
由于白光彩色图像为Bayer模式图像，先对白光彩色图像调整白平衡，调整白平衡后转为RGB图像，再对RGB图像进行色彩矫正。
其中，白光彩色图像调整白平衡为调整R、G、B三个色彩通道比例，以使白色或灰色图中R、G、B分量值相等。
调整白光彩色图像的白平衡后，使用差值算法将白光彩色图像中每个像素点上的R、G、B分量值补全。即在Bayer模式中的R像素点上补齐G和B分量，G像素点上补齐R和B分量，B像素点上补齐R和G分量。最后输出为RGB三通道彩色图像。
色彩矫正过程中，通过如下色彩矫正矩阵矫正图像的色彩还原度：
Figure BDA0002594106450000081
其中，M为色彩矫正矩阵，
Figure BDA0002594106450000082
为输入，
Figure BDA0002594106450000083
为矫正后的输出。
S42、将RGB图像转为灰度图像；
将色彩矫正的RGB图像转为灰度图像，其中可采用如下方式取灰度值：
方式一：取R、G、B平均值，即(R+G+B)/3；
方式二：采用ITU-R BT.709中规定的编码方式，Y＝0.2125R+0.7153G+0.0721B；
方式三：转换为L*a*b*色彩空间中的L通道。
S43、图像归一化；
将荧光单色图像和灰度图像的灰度信息进行图像归一化处理。
荧光单色图像先进行预处理再进行图像归一化处理，荧光单色图像的预处理包括包含图像去躁、平滑，区域分割和形态学等操作。其中重点在于，对荧光单色图像进行区域分割，将荧光区域从背景区域中提取出来。
图像归一化处理过程中，采用分割提取出的荧光区域与灰度图像进行图像归一化处理。
图像归一化处理可采用如下两种方式进行计算：
方式一：
假设U＝{U1,U2,…,Un}为荧光图像上分割出来的荧光区域，n为荧光区域的数目。
Figure BDA0002594106450000084
荧光图像平均值，其中
Figure BDA0002594106450000085
为第i个荧光区域的区域平均值。设
Figure BDA0002594106450000086
为灰度图像的平均值。设
Figure BDA0002594106450000087
归一化的荧光图像为Ut＝{W×U1,W×U2,…,W×Un}。
方式二：
与方式一类似，不同点为灰度图平均值计算方式。设XU为U相对应的坐标点集合，NU为所有荧光区域面积和(即U所对应的像素点总数)。灰度图像平均值计算为
Figure BDA0002594106450000091
S44、计算立体视差图；
使用立体匹配算法获取荧光单色图像匹配到白光彩色图像的立体视差图。
在使用下面的算法之前，双目摄像模组需要先进行双目矫正(stereorectification)。对用被摄物体，在经过矫正后的左右图像中，将具有相同的水平位置，即y坐标值一样。在进行匹配算法时，只需进行横向搜索即可，从而减少计算量。双目矫正算法为成熟算法，再次不在赘述。在进行双目校准时，可暂时将荧光摄像头中的可见光截止滤光镜换成荧光截止滤光镜，这样方便使用白光图像进行校准。
设第一镜头(白光摄像头)为左摄像头，第二镜头(荧光摄像头)为右摄像头。立体匹配算法具有如下两种方式：
方式一：简单块匹配算法
对于荧光区域中的所有像素点作如下操作：
设当前荧光图像中一个像素坐标为Xi，取其相邻的3x3或5x5区域，并记为Yi。在灰度图上，从坐标Xi开始，向右寻找与Yi最相似的灰度块(块匹配)，并记下匹配块在灰度图上的坐标Xm。dXi＝Xm-Xi为荧光图像像素Xi所对应的视差。
方式二：SGM(Semi-Global Matching)
方式一尽管算法简单并且运行速度较快，但是会造成比较多的噪音，视差计算不准确。在实际应用中，会较多运用到SGM算法。
Ref:H.Hirschmuller,"Stereo Processing by Semiglobal Matching andMutual Information,"in IEEE Transactions on Pattern Analysis and MachineIntelligence,vol.30,no.2,pp.328-341,Feb.2008,doi:10.1109/TPAMI.2007.1166.
上述两种方式的目的都是得到每个荧光像素点相对应于灰度图的视差(disparity)值。
S45、重建荧光单色图像；
根据立体视差图，将荧光单色图像重建到白光彩色图像的坐标系中得到重建荧光单色图像。
重建荧光单色图像可通过如下两种方式实现：
方式一：基于像素的(pixel based)
对任一荧光像素Xi，获取其相对应dXi，其对应在灰度图(白光图)上的坐标为Xm＝Xi+dXi。
方式二：基于区域的(region based)
对于任一荧光区域Ui，计算其中所有像素对应视差的平均值
Figure BDA0002594106450000101
将荧光区域Ui中所有像素向右平移
Figure BDA0002594106450000102
即可得将Ui重建到在白光图坐标系中。
S46、图像叠加；
将重建荧光单色图像叠加到色彩矫正后的RGB图像上形成内窥镜图像。
RGB图像在叠加还进行图像增加和图像参数调节处理。其中图像增加包括常见的锐化、去躁、和边缘增强等处理，图像参数调节包括调节图像的亮度、对比度、饱和度等参数。经过图像增加和图像参数调节处理后的RGB图像具有更高的图像质量，以使后续叠加处理得到更清晰的内窥镜图像。
本实施例提供的内窥镜成像方法，通过前端的双目采集可见光和荧光，可见光和荧光可分别对焦采集，从而保证可见光图像和荧光图像清晰度一致；并将荧光图像和白光图像进行立体视差计算，重建荧光图像到白光坐标系中，能够得到清晰准确的图像。
本另一个实施例中，为了进一步提高成像效果，在S44步骤之后还进行荧光强度补偿。由于镜头获取更远距离的荧光区域的荧光能力更弱，导致远离荧光区域的成像后强度偏弱，因此通过对荧光强度补偿，能够使得离镜头距离不同的荧光区域展现出相同的荧光强度。
荧光强度补偿的原理步骤为：通过立体视差图计算人体内被摄物与摄像头端面的距离，进而得出不同荧光区域的深浅信息，再对距离远的荧光区域的荧光亮度进行补偿。
深浅信息的计算如下：
设当前荧光图像中一个像素坐标为Xi,其相对应视差为dXi。深度值公式为：
Figure BDA0002594106450000103
其中，f为摄像头焦距，T为左右两个摄像头中心距，这两个值都可在双目矫正结果中获得。
荧光强度补偿具体包括如下两种方式：
方式一：
计算每个荧光区域的荧光光平均值，并找出平均值最高的荧光区域；
除平均值最高的荧光区域外的其他荧光区域分别乘一个与之对应的增益系数，使得其他荧光区域与平均值最高的荧光区域的荧光亮度一致。
方式二：
预先设计计算一条根据人体被摄物与摄像头端面距离远近的荧光补偿增益曲线；
在得出不同荧光区域的深浅信息后，每个区域根据补偿增益曲线进行荧光补偿。
其中补偿曲线的计算如下：
采用荧光标靶，使用荧光摄像头分别在距离标靶1cm,2cm,...,到20cm处采集荧光图像。取中心32x32区域图像并计算平均值。以距离为横坐标，荧光值为纵坐标，画出荧光值强度随距离变化的衰减曲线。假设以5cm(或任何一个认为合适的距离)为最佳荧光距离，使用5cm相对应的荧光值，归一化衰减曲线，获得随距离变化的荧光强度补偿值。一种实现方式为，设yb为最佳荧光值，补偿曲线bi＝yb/yi，i＝{1,2,...,20},yi为在距离i厘米除测得的荧光值。
荧光标靶为一纯色均匀标靶，为了减少噪音干扰，在各个距离采集图像时，可连续采集多幅图像并取平均，获得平均图像。
补偿曲线为一离散曲线，在应用中，可使用插值算法获得当前距离下的补差系数。
补偿曲线应用到上述补偿的具体方法如下：
1)在荧光图像中的任一荧光区域，计算其像素的平局深度值；
2)使用插值算法在荧光深度补偿曲线中计算相对应的补偿系数α；
3)对当前区域中的每个荧光像素乘补偿系数α。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种内窥镜成像方法,其特征在于，包括如下步骤：
控制第一光源和第二光源分别发射白光和激励光，所述白光和激励光融合形成混合光照射到人体上；
通过位于内窥镜前端的第一传感器获取人体反射的可见光，所述第一传感器将可见光转为第一图像信号；同时，通过位于内窥镜前端的第二传感器获取人体被激发产生的荧光，所述第二传感器将荧光转为第二图像信号；
获取第一图像信号和第二图像信号，将所述第一图像信号转为白光彩色图像，所述第二图像信号转为荧光单色图像，再将所述白光彩色图像和荧光图像经过图像处理输出内窥镜图像。
2.如权利要求1的内窥镜成像方法，其特征在于，图像处理包括如下步骤：
将白光彩色图像转为RGB图像；
将所述RGB图像转为灰度图像；
将所述荧光单色图像和灰度图像的灰度信息进行图像归一化处理，再使用立体匹配算法获取所述荧光单色图像匹配到白光彩色图像的立体视差图；
根据所述立体视差图，将所述荧光单色图像重建到所述白光彩色图像的坐标系中得到重建荧光单色图像；
将重所述建荧光单色图像叠加到所述RGB图像上形成内窥镜图像。
3.如权利要求2的内窥镜成像方法，其特征在于，图像处理的步骤中，计算出立体视差图后，通过所述立体视差图计算人体内被摄物与摄像头端面的距离，进而得出不同荧光区域的深浅信息，再对距离远的荧光区域的荧光亮度进行补偿。
4.如权利要求3的内窥镜成像方法，其特征在于，所述荧光亮度的补偿包括如下步骤：
计算每个荧光区域的荧光光平均值，并找出平均值最高的荧光区域；
除平均值最高的荧光区域外的其他荧光区域分别乘一个与之对应的增益系数，使得其他荧光区域与平均值最高的荧光区域的荧光亮度一致。
5.如权利要求3的内窥镜成像方法，其特征在于，所述荧光亮度的补偿包括如下步骤：
预先设计计算一条根据人体被摄物与摄像头端面距离远近的荧光补偿增益曲线；
在得出不同荧光区域的深浅信息后，每个区域根据补偿增益曲线进行荧光补偿。
6.一种内窥镜成像***，其特征在于，包括：
手柄，所述手柄具有穿线通道；
镜管，所述镜管连接在与手柄的前端；
光源组件，所述光源组件包括第一光源、第二光源和导光束，所述第一光源用于发射白光，所述第二光源用于发射激励光，所述导光束的一端穿设在所述镜管内并延伸至所述镜管内的前端，所述导光束的另一端与所述第一光源和第二光源连接；
第一前端组件，所述第一前端组件安装在所述镜管内的前端，所述第一前端组件包括前后依次排列的第一镜组和第一传感器，所述第一镜组用于获取人体被摄物反射的可见光，所述第一传感器用于获取所述第一镜组过滤后的可见光并生成第一图像信号；
第二前端组件，所述第二前端组件与所述第一前端组件并排安装在镜管内的前端，所述第二前端组件包括前后依次排列的第二镜组和第二传感器，所述第二镜组用于获取人体被摄物被激发的荧光，所述第二传感器用于获取所述第二镜组过滤后的荧光并生成第二图像信号；
以及控制装置，所述控制装置与所述第一光源、第二光源、第一传感器和第二传感器连接；所述控制装置用于控制所述第一光源发射白光和所述第二光源分别发射激励光，用于采集第一传感器生成的第一图像信息和第二传感器生成的第二图像信息，及用于将第一图像信号转为白光彩色图像，第二图像信号转为荧光单色图像，再将白光彩色图像和荧光单色图像经过图像处理输出内窥镜图像。
7.如权利要求6的内窥镜成像***，其特征在于，所述控制装置包括控制器、图像采集模块和图像处理模块，所述控制器用于用于控制第一光源发射白光和第二光源分别发射激励光，所述图像采集模块用于采集第一传感器生成的第一图像信息和第二传感器生成的第二图像信息，所述图像处理模块用于将第一图像信号转为白光彩色图像，第二图像信号转为荧光单色图像，再将白光彩色图像和荧光单色图像经过图像处理输出内窥镜图像。
8.如权利要求7的内窥镜成像***，其特征在于，所述控制装置还包括传感器驱动模块，所述传感器驱动模块的输入端与所述控制器连接，所述传感器驱动模块的输出端分别与所述第一传感器和第二传感器连接，所述传感器驱动模块用于将控制器计算得出的传感器设置信息输出至所述第一传感器和第二传感器。
9.如权利要求7的内窥镜成像***，其特征在于，所述光源组件还包括光源控制模块，所述光源控制模块的输入端与控制器连接，所述光源控制模块的输出端与所述第一光源和第二光源连接，所述光源控制模块用于接收控制器的控制信号并控制所述第一光源和第二光源发射光的光强度。
10.如权利要求6的内窥镜成像***，其特征在于，所述第一镜组包括荧光截止滤光镜，所述第二镜组包括可见光截止滤光镜。
CN202010704320.0A 2020-07-21 2020-07-21 一种内窥镜成像方法和内窥镜成像*** Pending CN111803013A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010704320.0A CN111803013A (zh) 2020-07-21 2020-07-21 一种内窥镜成像方法和内窥镜成像***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010704320.0A CN111803013A (zh) 2020-07-21 2020-07-21 一种内窥镜成像方法和内窥镜成像***

Publications (1)

Publication Number Publication Date
CN111803013A true CN111803013A (zh) 2020-10-23

Family

ID=72861101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010704320.0A Pending CN111803013A (zh) 2020-07-21 2020-07-21 一种内窥镜成像方法和内窥镜成像***

Country Status (1)

Country Link
CN (1) CN111803013A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112022109A (zh) * 2020-11-06 2020-12-04 南京诺源医疗器械有限公司 一种医学荧光成像影像数据采集***及其采集方法
CN112807096A (zh) * 2021-02-23 2021-05-18 珠海维尔康生物科技有限公司 一种新型光学设计的荧光摄像头及其成像方法
CN113367638A (zh) * 2021-05-14 2021-09-10 广东欧谱曼迪科技有限公司 获取高精度三维荧光图像的方法、装置、存储介质和终端
CN113421234A (zh) * 2021-06-17 2021-09-21 韩从辉 数学算法显微膀胱内窥镜成像***及图像处理方法
CN113504636A (zh) * 2021-08-03 2021-10-15 嘉兴智瞳科技有限公司 一种兼具3d成像和荧光成像的成像***
CN114081424A (zh) * 2021-10-08 2022-02-25 深圳迈瑞生物医疗电子股份有限公司 内窥镜成像***及其控制方法
WO2022105902A1 (zh) * 2020-11-20 2022-05-27 上海微创医疗机器人（集团）股份有限公司 荧光内窥镜***、控制方法和存储介质
CN115153399A (zh) * 2022-09-05 2022-10-11 浙江华诺康科技有限公司 内窥镜***
CN115316919A (zh) * 2022-09-15 2022-11-11 广东欧谱曼迪科技有限公司 双相机3d光学荧光内窥镜摄像***、方法及电子设备
CN117281451A (zh) * 2023-11-14 2023-12-26 杭州显微智能科技有限公司 一种3d内窥镜荧光摄像***及其成像方法
CN117398042A (zh) * 2023-12-14 2024-01-16 深圳市博盛医疗科技有限公司 一种ai辅助检测的3d内窥镜***及成像方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112022109A (zh) * 2020-11-06 2020-12-04 南京诺源医疗器械有限公司 一种医学荧光成像影像数据采集***及其采集方法
WO2022105902A1 (zh) * 2020-11-20 2022-05-27 上海微创医疗机器人（集团）股份有限公司 荧光内窥镜***、控制方法和存储介质
CN112807096A (zh) * 2021-02-23 2021-05-18 珠海维尔康生物科技有限公司 一种新型光学设计的荧光摄像头及其成像方法
CN113367638A (zh) * 2021-05-14 2021-09-10 广东欧谱曼迪科技有限公司 获取高精度三维荧光图像的方法、装置、存储介质和终端
CN113367638B (zh) * 2021-05-14 2023-01-03 广东欧谱曼迪科技有限公司 获取高精度三维荧光图像的方法、装置、存储介质和终端
CN113421234A (zh) * 2021-06-17 2021-09-21 韩从辉 数学算法显微膀胱内窥镜成像***及图像处理方法
CN113504636B (zh) * 2021-08-03 2022-03-29 嘉兴智瞳科技有限公司 一种兼具3d成像和荧光成像的成像***
CN113504636A (zh) * 2021-08-03 2021-10-15 嘉兴智瞳科技有限公司 一种兼具3d成像和荧光成像的成像***
CN114081424A (zh) * 2021-10-08 2022-02-25 深圳迈瑞生物医疗电子股份有限公司 内窥镜成像***及其控制方法
CN115153399A (zh) * 2022-09-05 2022-10-11 浙江华诺康科技有限公司 内窥镜***
CN115316919A (zh) * 2022-09-15 2022-11-11 广东欧谱曼迪科技有限公司 双相机3d光学荧光内窥镜摄像***、方法及电子设备
CN115316919B (zh) * 2022-09-15 2023-06-30 广东欧谱曼迪科技有限公司 双相机3d光学荧光内窥镜摄像***、方法及电子设备
CN117281451A (zh) * 2023-11-14 2023-12-26 杭州显微智能科技有限公司 一种3d内窥镜荧光摄像***及其成像方法
CN117398042A (zh) * 2023-12-14 2024-01-16 深圳市博盛医疗科技有限公司 一种ai辅助检测的3d内窥镜***及成像方法
CN117398042B (zh) * 2023-12-14 2024-03-19 深圳市博盛医疗科技有限公司 一种ai辅助检测的3d内窥镜***及成像方法

Similar Documents

Publication Publication Date Title
CN111803013A (zh) 一种内窥镜成像方法和内窥镜成像***
US11330237B2 (en) Medical inspection apparatus, such as a microscope or endoscope using pseudocolors
US20190005641A1 (en) Vascular information acquisition device, endoscope system, and vascular information acquisition method
US7123756B2 (en) Method and apparatus for standardized fluorescence image generation
KR101854189B1 (ko) 수술 로봇용 확대 입체 가시영상
US8358821B2 (en) Image processing system, image processing method, and computer readable medium
US7539335B2 (en) Image data processor, computer program product, and electronic endoscope system
CN102361580B (zh) 荧光观察装置、荧光观察***以及荧光图像处理方法
WO2022257946A1 (zh) 多光谱成像***、成像方法和存储介质
CN212326346U (zh) 一种内窥镜成像***
US20190274518A1 (en) Medical observation device, such as a microscope or an endoscope, and method using a pseudo-color pattern having temporal and/or spatial modulation
US20110109761A1 (en) Image display method and apparatus
CN110772208B (zh) 一种获取荧光图像的方法、装置、设备及内窥镜***
US20220318969A1 (en) Method for providing an image representation by means of a surgical microscope, and surgical microscope
JP5592715B2 (ja) 画像処理装置および画像処理方法
EP1210907A1 (en) Fluorescent image obtaining apparatus
CN114027765B (zh) 荧光内窥镜***、控制方法和存储介质
EP4201298A1 (en) Endoscope system with adaptive lighting control
WO2021095672A1 (ja) 情報処理装置および情報処理方法
CN115804561A (zh) 用荧光光线进行视频内窥镜检查的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination