CN114098611B - 一种内窥镜***及其成像调节方法 - Google Patents
一种内窥镜***及其成像调节方法 Download PDFInfo
- Publication number
- CN114098611B CN114098611B CN202111171112.XA CN202111171112A CN114098611B CN 114098611 B CN114098611 B CN 114098611B CN 202111171112 A CN202111171112 A CN 202111171112A CN 114098611 B CN114098611 B CN 114098611B
- Authority
- CN
- China
- Prior art keywords
- image
- light signal
- visible light
- special light
- special
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000003287 optical effect Effects 0.000 claims abstract description 86
- 230000008859 change Effects 0.000 claims abstract description 62
- 230000006870 function Effects 0.000 claims description 19
- 238000000799 fluorescence microscopy Methods 0.000 claims description 16
- 238000003780 insertion Methods 0.000 claims description 15
- 230000037431 insertion Effects 0.000 claims description 15
- 230000004927 fusion Effects 0.000 description 20
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 7
- 229960004657 indocyanine green Drugs 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 7
- 230000008878 coupling Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 230000003247 decreasing effect Effects 0.000 description 6
- 239000002872 contrast media Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000002073 fluorescence micrograph Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 210000004324 lymphatic system Anatomy 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 210000000941 bile Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 208000015606 cardiovascular system disease Diseases 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 210000003161 choroid Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000002751 lymph Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00188—Optical arrangements with focusing or zooming features
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
本申请公开了一种内窥镜***及其成像调节方法，该方法包括向待观察部位分别发射可见光成像所需的第一可见光信号和特殊光成像所需的第一特殊光信号；采集第一可见光信号照射于待观察部位后形成的第二可见光信号，并根据第二可见光信号生成可见光图像；采集第一特殊光信号照射于待观察部位后形成的第二特殊光信号，并根据第二特殊光信号生成特殊光图像；根据可见光图像中的图像特征在摄像装置进行光学变焦前后的变化，调整第一特殊光信号的强度。上述方法能够有效地保证光学变焦前后图像亮度的一致性。
Description
技术领域
本发明涉及医疗器械领域，具体涉及一种内窥镜***及其成像调节方法。
背景技术
近年来在医疗领域中，内窥镜的临床应用越来越多，其主要作用是对生物体内部进行观察，为临床手术与诊断提供高质量的图像。
通常地，内窥镜***能够进行普通光成像与特殊光成像。顾名思议，普通光成像即是对普通光或者说白光照射下的生物体内部进行成像，例如内窥镜***向生物体内部的组织依次应用三种颜色的光束R、G和B，并且通过获取从这些光束的反射光图像产生的图像形成普通光图，特殊光成像则采用了特殊光成像技术，其能够给观察者普通光成像不能够辨别的信息，例如，近红外荧光内窥成像***采用吲哚菁绿(ICG)染料，可在手术过程中识别血液循环***、淋巴***和肿瘤组织，从而提高手术精准度。在近红外荧光内窥成像***中，荧光图像的质量至关重要。目前，近红外荧光内窥成像***采用光学变焦进行图像放大时，焦距的变化会带来进光量的变化，如果成像***在不同焦距时采用相同的曝光参数，会导致短焦时荧光图像比长焦时的荧光图像亮度更高，即光学放大过程中荧光图像会发生明暗变化，不利于医生观察。
发明内容
根据第一方面，一种实施例公开了一种内窥镜***，包括：
内窥镜，用于***生物体的内部；
光源装置，用于经导光束和内窥镜向生物体内部的待观察部位发射可见光成像所需的第一可见光信号和特殊光成像所需的第一特殊光信号；
具备光学变焦功能的摄像装置，所述摄像装置包括至少一个传感器，所述至少一个传感器用于采集所述第一可见光信号照射于所述待观察部位后形成的第二可见光信号，以及用于采集所述第一特殊光信号照射于所述待观察部位后形成的第二特殊光信号；
处理器，用于根据所述第二可见光信号生成可见光图像，根据所述第二特殊光信号生成特殊光图像，并根据所述可见光图像和特殊光图像形成融合成像，以及根据所述可见光图像的图像特征在所述摄像装置进行光学变焦前后的变化，控制所述光源装置对应调整所述第一特殊光信号的强度，以得到预期的融合成像，所述图像特征的变化用于表征摄像装置的成像范围在可见光图像中的变化。
根据第二方面，一种实施例公开了一种内窥镜***的成像调节方法，所述内窥镜***包括具有光学变焦功能的摄像装置，所述方法包括：
向待观察部位分别发射可见光成像所需的第一可见光信号和特殊光成像所需的第一特殊光信号；
采集所述第一可见光信号照射于所述待观察部位后形成的第二可见光信号，并根据所述第二可见光信号生成可见光图像；以及，采集所述第一特殊光信号照射于所述待观察部位后形成的第二特殊光信号，并根据所述第二特殊光信号生成特殊光图像；
根据所述可见光图像中的图像特征在所述摄像装置进行光学变焦前后的变化，调整所述第一特殊光信号的强度，所述图像特征的变化用于表征所述摄像装置的成像范围在可见光图像中的变化。
根据第三方面，一种实施例公开了一种计算机可读存储介质，所述介质上存储有程序，所述程序能够被处理器执行以第二方面所述的方法。
依据上述实施例的内窥镜***，通过光学变焦进行图像的缩放，在光学变焦的过程中，基于可见光图像的图像特征在所述摄像装置进行光学变焦前后的变化，去调整第一特殊光信号的强度，使得进行光学变焦前后特殊光图像的亮度尽可能一致，而融合成像的亮度也可以相应保持稳定，这样在图像缩放的过程中可以减少图像的明暗变化，利于医生的观察。
附图说明
图1为一种实施例的内窥镜***的示意图；
图2为一种实施例的内窥镜***的组成结构示意图；
图3为一种实施例的视场光阑的示意图；
图4为另一种实施例的视场光阑的示意图；
图5为一种实施例的融合成像生成过程的示意图；
图6为一种实施例的第一融合成像和第二融合成像的对比示意图；
图7为一种实施例的第一融合成像和第二融合成像的对比示意图；
图8为一种实施例的成像调节方法的流程图；
100、光源装置；
100a、第一光源；100b、第二光源；110、第一二向色镜；120、耦合镜；
200、导光束；
300、内窥镜；
310、***部；
320、视场光阑；322a、通光孔；324a、凹槽；
322b、通光孔成像；324b、凹槽成像；
400、摄像装置；
410、变焦镜头组件；
420、传感器；
430、第二二向色镜；
500、处理器；
600、显示器。
10、待观察部位；
20、可见光图像；
30、特殊光图像；
40、融合成像。40a、第一融合成像；40b、第二融合成像。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
本发明最重要的构思在于，利用了直接可以观察到的可见光图像中的图像特征，来调节特殊光信号的强度，从而保证光学变焦前后的融合成像亮度尽量一致。
请参照图1至图2，本申请公开了一种内窥镜***，该内窥镜***包括光源装置100、导光束200、内窥镜300、摄像装置400、处理器500和显示器600。本领技术人员应当理解的是，图1和2仅是内窥镜***的示例，并不构成对内窥镜***的限定，内窥镜***可以包括比图1和2所示更多或更少的部件，或者组合某些部件，或者不同的部件，例如内窥镜***还可以包括扩张器、烟雾控制装置、输入输出设备、网络接入设备等。
在采用内窥镜***进行成像之前，在待观察部位10中通过静脉或皮下注射方式引入造影剂，例如吲哚菁绿(Indocyanine Green；ICG)，以便对用标准可见光成像技术不容易看到的组织结构和功能(例如脉管中的血液/淋巴液/胆汁)成像。待观察部位10包括但不局限于血液循环***、淋巴***和肿瘤组织。ICG俗称靛氰绿、诊断用绿针、吲哚花青绿，其是目前在我国心血管***疾病临床诊断中常用的一种造影剂，广泛应用于脉络膜和视网膜血管成像。当待观察部位10中的造影剂吸收对应于荧光试剂的激光后可产生荧光。
光源装置100包括用于向待观察部位10提供照明的光源，以及用于控制光源工作的光源控制部。光源可以提供普通光成像所需的第一可见光信号，还可以提供特殊光成像所需的第一特殊光信号。光源包括但不限于但不局限于激光光源、LED光源或激光二极管。
如图2所示，本实施例中光源包括第一光源100a和第二光源100b，其中，第一光源100a用于产生可见光成像所需的第一可见光信号，第一可见光信号可以是不同波长范围的多个单色光信号，例如蓝光信号、绿光信号、红光信号等，在其他实施例中，第一可见光信号还可以是多个单色光信号的组合光信号，或者是宽光谱的白光信号，单色光信号的波长范围大致为400nm至700nm。第二光源100b用于产生对应荧光试剂的第一特殊光信号，第一特殊光信号可以是近红外光(Near Infrared；NIR)等激光。第一特殊光信号的峰值波长取780nm或808nm范围内至少任意1个值。
一些实施例中，光源装置100可进一步包括第一二向色镜110，第一二向色镜110设置于第一光源100a以及第二光源100b的出光光路的交汇点。第一二向色镜110具有相对的第一面和第二面，第一面与第一光源100a相对并与第一光源100a发出的第一可见光信号具有预设倾斜角度，第二面与第二光源100b相对并与第二光源100b发出的第一特殊光信号具有预设倾斜角度。第一光源100a发射的第一可见光信号可透射第一二向色镜110，第二光源100b发射的第一特殊光信号可被第一二向色镜110反射，从而使得第一可见光信号和第一特殊光信号的光路合成为同一光路；反之亦然。在第一二向色镜110后的光路上，第一可见光信号和第一特殊光信号沿合成的同一光路向内窥镜300的方向传输。
在一些实施例中，光源装置100还可包括耦合镜120。耦合镜120设置在第一二向色镜110与导光束200的导光口之间。耦合镜120可使自第一二向色镜110传输来的光线聚焦，从而更好地导入到导光束200内，尽可能降低光线损失，从而提高内窥镜***的整体照明质量。第一二向色镜110的光路合成作用和耦合镜120的聚焦作用，均能将光线更好地导入到导光束200内(例如导光光纤内)。同时，第一二向色镜110的使用可使光源整体结构更紧凑、光线传播路径更短。
以上是对光源的一些说明。光源控制部用于控制光源。本实施例中，光源控制部可以控制第一光源100a和第二光源100b同时工作，以产生连续的第一可见光信号和第一特殊光信号，即光源控制部控制第一光源100a开启时，也控制第二光源100b开启，从而可以提升摄像装置400的采集效率。在其他实施例中，光源控制部也可以控制第一光源100a和第二光源100b分时工作。
内窥镜300包括***部310以及位于***部310内的目镜组件以及视场光阑320等部件。
***部310的一端通过光学卡口连接于摄像装置400，该***部310的另一端能够***到生物体内部，导光束200则位于光源的出光路径中，且连接于***部310，以将光源产生的光信号通过导光束200和内窥镜300传导至待观察部位10，而后，内窥镜300再将通过待观察部位10形成(通常是经过待观察部位10直接反射得到)的第二可见光信号以及第二特殊光信号传导至摄像装置400中。本实施例中不对***部310的材质加以限制，可以采用现有或未来可能出现的***部310，例如，***部310可以是硬管镜或软管镜。
视场光阑320，指的是限制物平面或物空间能被***成像的最大范围的光阑，它决定了光学***的视场。视场光阑320是内窥镜300必不可少的结构，其作用是限制内窥镜300的成像范围。在诊断或手术过程中，待观察部位10成像在显示器600上，视场光阑320也同时成像在显示器600上。如图3与图4所示为视场光阑320的典型结构，该图中视场光阑320为圆盘状，在视场光阑320的中心设有透光区域，不妨将该透光区域定义为视场光阑320的通光孔322a，通光孔322a的外圈为挡光区域，光线无法从该挡光区域通过。在观察显示器600上的待观察部位10所成像时，通光孔322a的形状决定了图像视野(图像中待观察部位10所在区域)的形状，例如，在图3中，通光孔322a为圆形，故图像视野也为圆形,而在如果通光孔322a为矩形，图像视野也为矩形，也就是说，视场光阑320的通光孔322a在所生成图像上的体现是图像的视野。当***部310为硬管镜时，视场光阑320与目镜以共轴的方式依次排列。下文中，将物体所成像定义为物体成像，例如视场光阑320上通光孔322a在可见光图像20或融合成像40中所成像为通光孔成像322b。
摄像装置400包括变焦镜头组件410以及至少一个传感器420，变焦镜头组件410位于由***部310传导进摄像装置400的第二可见光信号以及第二特殊光信号的光路上，变焦镜头组件410用于对由***部310传导进摄像装置400的光线进行聚焦。该变焦镜头组件410可以通过改变自身镜头的位置而调节摄像装置400的焦距，以实现光学变焦，光学变焦的功能已广泛应用于各类相机中，在此不赘述。至少一个的传感器420则用于采集进入摄像装置400内的光图像信号。在一些实例中，摄像装置400还包括第二二向色镜430，该第二二向色镜430位于变焦镜头组件410的出光路径上，其作用是将第二特殊光信号和第二可见光信号所合成的光路分开，使得第二可见光信号经第二二向色镜430透射后被传感器420采集，而第二特殊光信号则经第二二向色镜430反射后被传感器420采集。
处理器500用于根据第二可见光信号生成可见光图像20，根据第二特殊光信号生成特殊光图像30，根据第二特殊光信号的不同，该特殊光图像30包括但不限于红外荧光成像所得图像、紫外荧光成像所得图像、近红外荧光成像所得图像和蓝绿光成像所得图像。如图5所示，上述可见光图像20和特殊光图像30生成后，处理器500还将可见光图像20和特殊光图像30得到融合成像40，并将融合成像40输出至显示器600上显示，医护人员可以在显示器600上看到由内窥镜300观察到的图像。本实施例中不对得到融合成像40的方式加以限制，可以采用现有或未来可能出现的得到融合成像40的方式。在该融合成像40中，既可以看到可见光图像20上的图像特征，也可以看到特殊光图像30上的图像特征(例如注射有造影剂的人体组织)。当医护人员使用上述内窥镜***观察人体组织的过程中,通常利用光学变焦功能改变内窥镜***的焦距,以放大或缩小所得图像。本实施例中,处理器500还可以根据可见光图像20的图像特征在摄像装置400进行光学变焦前后的变化，控制光源装置100对应调整第一特殊光信号的强度，以得到预期的融合成像40。例如，当特殊光图像30是荧光图像时，通过调整第一特殊光信号的强度，可以减少由于光学变焦导致的荧光图像的亮度变化，使得进行光学变焦前后的荧光亮度尽可能保持一致，基于荧光图像得到的融合成像40的亮度变化也减小。
其中，图像特征的变化用于表征摄像装置400的成像范围在可见光图像20中的变化。上文已经对摄像装置400的成像范围做了定义，也就是说，本实施例中，在可见光图像20中找到与成像范围相关的图像特征，并将此作为依据与改变第一特殊光信号的强度。需要说明的是，上述图像特征同样也体现在融合成像40中，故也可以认为处理器500是根据融合成像40中的图像特征来调整第一特殊光信号的强度。并且，摄像装置400的成像范围本身在光学变焦的过程中并没有发生改变，类似于我们在拍照时可以拉近或拉远镜头来放大或缩小物体，但是物体本身的大小并没有改变，改变的是物体所成像。
本实施例中所依据的图像特征包括了上述视场光阑320在可见光图像20上所成像或者视场光阑320上预设标记在可见光图像20上所成像。在最终的融合成像40(或者可见光图像20)中，由于光无法穿过视场光阑320的不透光区域，故不透光区域在显示器600上为黑色，可以用通光孔成像322b的变化表征成像范围的变化。在其他实施例中，可以预先在视场光阑320上可以进行标记，例如，如图4所示，视场光阑320的通光孔322a处的边缘设置有凹槽324a，可以用可见光图像20中凹槽成像324b的变化来表征摄像装置400的成像范围在可见光图像20中的变化，除了该凹槽324a外，如果对视场光阑320结构上的改变能够在显示器600上观察到，那么进行光学变焦前后，该结构改变所成像的变化也可以用来表征成像范围在可见光图像20中的变化。图像特征的变化方式有很多，下面举例进行说明。下文中，将光学变焦前的融合成像40定义为第一融合成像40a，将光学变焦后的融合成像40定义为第二融合成像40b。
在一些实施例中，如果图像特征在可见光图像20中发生了预设的第一形变，则增大第一特殊光信号的强度，而如果图像特征在可见光图像20中发生了预设的第二形变，则减小第一特殊光信号的强度。例如图6所示，该图中图像特征为通光孔成像322b，第一形变指的是通光孔成像322b变大，第二形变指的是通光孔成像322b变小，可以很明显的看出第二融合成像40b的通光孔成像322b小于第一融合成像40a中通光孔成像322b，故减小第一特殊光信号的强度。事实上，通光孔成像322b在可见光图像20中变小，意味着摄像装置400的焦距变小，导致光学变焦后成像范围在可见光图像20中也变小。又例如，将通光孔成像322b的半径(图中以虚线表示)作为图像特征，预设的第一形变指的是半径增大，而预设的第二形变则指的是半径变小。图6中第二融合成像40b中通光孔成像322b的半径小于第一融合成像40a中通光孔成像322b的半径，故减小第一特殊光的强度。
在另一些实施例中，如果图像特征在可见光图像20中沿预设的第一方向移动，则增大第一特殊光信号的强度，而如果图像特征在可见光图像20中沿预设的第二方向移动，则减小第一特殊光的强度。例如图7中，图像特征为凹槽成像324b的位置。可以很明显的看出第二融合成像40b的凹槽成像324b相比第一融合成像40a的凹槽成像324b更靠近图像边缘，也就是说图像特征的位置沿第一方向发生了变化，故增大第一特殊光信号的强度。事实上，图7中的凹槽成像324b的位置变化，意味着摄像装置400的焦距变大，导致光学变焦后成像范围在可见光图像20中变大。另一方面，在图7中第一融合成像40a的成像范围为圆形，而第二融合成像40b中成像范围则有部分超出了显示区域，直观来看形状变为了操场形状，故成像范围的形状在可见光图像20中也发生了改变。
在一些实施例中，处理器500还可以直接根据图像特征的变化，计算摄像装置400在光学变焦后的焦距，而后根据得到的焦距获取光学变焦后所需的特殊光信号强度值。例如，可以经过多次试验，得到摄像装置400的各焦距和特殊光信号强度值之间的对应关系，并将该对应关系存储于处理器500当中，当获取到摄像装置400在光学变焦后的焦距，根据该对应关系就可以确定所要调整到的特殊光信号强度值，最后，再控制光源装置100相应地改变第一特殊光信号的强度即可。需要说明的是，本内窥镜***是通过变焦镜头组件410的机械结构实现变焦功能，故焦距对于用户而言并不是一个能够直接得到的数值，而本实施例的一大特点就在于，可以根据图像特征的变化来计算得到对应焦距。例如，内窥镜***的最小焦距值记为F1，其对应的通光孔成像322b的半径记为R1，经过光学变焦后得到一图像后，处理器500可以根据现有的图像识别算法等方式获取到变焦后图像中通光孔成像322b的半径Ri，则光学变焦后的内窥镜***对应焦距Fi＝Ri*F1/R1。上述得到焦距的方式再一次充分利用了图像特征的变化，并不会增加内窥镜***本身的机械结构。上述例子中，将通光孔成像322b的半径作为图像特征计算得到焦距，在其他实施例中，也可以将通光孔成像322b所围成的面积等作为图像特征计算得到焦距。在其他实施例中，还可以根据获取到的摄像装置400在光学变焦后的焦距，计算光学变焦后所需的目标特殊光信号强度值，而后相应地调整第一特殊光信号的强度。例如，与求得焦距类似地，医护人员可以首先在内窥镜***为最小焦距F1时调整第一特殊光信号的强度，使得融合成像40的亮度对用户来说为适宜程度，记录下此时的第一特殊光信号的强度值I1，在得到光学变焦后的焦距Fi后，可以建立目标特殊光信号强度值Ii关于I1、F1、Fi的表达式，从而计算得到目标特殊光信号强度值。
本申请中，控制光源装置100相应地改变第一特殊光信号的强度的方式，是利用光源控制部控制第二光源100b的功率的方式改变第一特殊光信号的强度，但是应当理解的是，本方案也可以改变内窥镜***的机械结构或者光学***以调整第一特殊光信号的强度。
在一些实施例中，也可以根据可见光图像20中的图像特征在光学变焦前后的变化调节第一可见光信号的强度，除此之外，还可以根据特殊光图像30中的图像特征在光学变焦前后的变化调节第一可见光信号或调节第一特殊光信号的强度，特殊光图像30中的图像特征指的也可以是视场光阑320在特殊光图像30中所成像或视场光阑320上预设标记在特殊光图像30中所成像。
请参照图8,本申请还提供了一种内窥镜***的成像调节方法，该内窥镜***的摄像装置400具有光学变焦功能，光学变焦为现有成熟的变焦技术，其原理在此不赘述。本实施例的成像调节方法包括步骤：
步骤S100、向待观察部位10分别发射可见光成像所需的第一可见光信号和特殊光成像所需的第一特殊光信号。
第一可见光信号可以是不同波长范围的多个单色光信号，例如蓝光信号、绿光信号、红光信号等，在其他实施例中，第一可见光信号还可以是多个单色光信号的组合光信号，或者是宽光谱的白光信号，单色光信号的波长范围大致为400nm至700nm。第一特殊光信号则可以是近红外光(Near Infrared；NIR)等激光。第一特殊光信号的峰值波长取780nm或808nm范围内至少任意1个值。
步骤S200、采集第一可见光信号照射于待观察部位10后形成的第二可见光信号，并根据第二可见光信号生成可见光图像20。
步骤S300、采集第一特殊光信号照射于待观察部位10后形成的第二特殊光信号，并根据第二特殊光信号生成特殊光图像30。
根据第二特殊光信号的不同，该特殊光图像30包括但不限于红外荧光成像所得图像、紫外荧光成像所得图像、近红外荧光成像所得图像和蓝绿光成像所得图像。
步骤S400、根据可见光图像20中的图像特征在摄像装置400进行光学变焦前后的变化，调整第一特殊光信号的强度。图像特征的变化用于表征摄像装置400的成像范围在可见光图像20中的变化。
摄像装置400的成像范围是有内窥镜***的视场光阑320所限制的，上文中已对视场光阑320的结构作了详细说明，在此不赘述。也就是说，本实施例中，在可见光图像20中找到与成像范围相关的图像特征，并将此作为依据与改变第一特殊光信号的强度。此外,在得到可见光图像20和特殊光图像30后,还将可见光图像20和特殊光图像30融合，得到对应的融合成像40。本实施例中不对得到融合成像40的方式加以限制，可以采用现有或未来可能出现的得到融合成像40的方式。在该融合成像40中，既可以看到可见光图像20上的图像特征，也可以看到特殊光图像30上的图像特征(例如注射有造影剂的人体组织)。故也可以认是根据融合成像40中的图像特征来调整第一特殊光信号的强度。
本实施例中所依据的图像特征包括了上述视场光阑320在可见光图像20上所成像或者视场光阑320上预设标记在可见光图像20上所成像。在最终的融合成像40(或者可见光图像20)中，由于光无法穿过视场光阑320的不透光区域，故不透光区域在显示器600上为黑色，可以用通光孔成像322b的变化表征成像范围的变化。在其他实施例中，可以预先在视场光阑320上可以进行标记，例如，如图4所示，视场光阑320的通光孔322a的边缘设置有凹槽324a，可以用可见光图像20凹槽成像324b的变化来表征摄像装置400的成像范围在可见光图像20中的变化，除了该凹槽324a外，如果对视场光阑320结构上的改变能够在显示器600上观察到，那么进行光学变焦前后，该结构改变所成像的变化也可以用来表征成像范围在可见光图像20中的变化。图像特征的变化方式有很多，下面举例进行说明。下文中，将光学变焦前的融合成像40定义为第一融合成像40a，将光学变焦后的融合成像40定义为第二融合成像40b。
在一些实施例中，如果图像特征在可见光图像20中发生了预设的第一形变，则增大第一特殊光信号的强度，而如果图像特征在可见光图像20中发生了预设的第二形变，则减小第一特殊光信号的强度。例如图6所示，该图中图像特征为通光孔成像322b，第一形变指的是通光孔成像322b变大，第二形变指的是通光孔成像322b变小，可以很明显的看出第二融合成像40b的通光孔成像322b小于第一融合成像40a中通光孔成像322b，故减小第一特殊光信号的强度。事实上，通光孔成像322b在可见光图像20中变小，意味着摄像装置400的焦距变小，导致光学变焦后成像范围在可见光图像20中也变小。又例如，将通光孔成像322b的半径(图中以虚线表示)作为图像特征，预设的第一形变指的是半径增大，而预设的第二形变则指的是半径变小。图6中第二融合成像40b中通光孔成像322b的半径小于第一融合成像40a中通光孔成像322b的半径，故减小第一特殊光的强度。
在另一些实施例中，如果图像特征在可见光图像20中沿预设的第一方向移动，则增大第一特殊光信号的强度，而如果图像特征在可见光图像20中沿预设的第二方向移动，则减小第一特殊光的强度。例如图7中，图像特征为凹槽成像324b的位置。可以很明显的看出第二融合成像40b的凹槽成像324b相比第一融合成像40a的凹槽成像324b更靠近图像边缘，也就是说图像特征的位置沿第一方向发生了变化，故增大第一特殊光信号的强度。事实上，图7中的凹槽成像324b的位置变化，意味着摄像装置400的焦距变大，导致光学变焦后成像范围在可见光图像20中变大。另一方面，在图7中第一融合成像40a的成像范围为圆形，而第二融合成像40b中成像范围则有部分超出了显示区域，直观来看形状变为了操场形状，故成像范围的形状在可见光图像20中也发生了改变。
在一些实施例中，还可以直接根据图像特征的变化，计算摄像装置400在光学变焦后的焦距，而后根据得到的焦距获取光学变焦后所需的特殊光信号强度值。例如，可以经过多次试验，得到摄像装置400的各焦距和特殊光信号强度值之间的对应关系，当获取到摄像装置400在光学变焦后的焦距，根据该对应关系就可以确定所要调整到的特殊光信号强度值，最后，再相应地改变第一特殊光信号的强度即可。需要说明的是，本内窥镜***是通过机械结构实现变焦功能，故焦距对于用户而言并不是一个能够直接得到的数值，而本实施例的一大特点就在于，可以根据图像特征的变化来计算得到对应焦距。例如，内窥镜***的最小焦距值记为F1，其对应的通光孔成像322b的半径记为R1，经过光学变焦后得到一图像后，可以根据现有的图像识别算法等方式获取到变焦后图像中通光孔成像322b的半径Ri，则光学变焦后的内窥镜***对应焦距Fi＝Ri*F1/R1。上述得到焦距的方式再一次充分利用了图像特征的变化，并不会增加内窥镜***本身的机械结构。上述例子中，将通光孔成像322b的半径作为图像特征计算得到焦距，在其他实施例中，也可以将通光孔成像322b所围成的面积等作为图像特征计算得到焦距。在其他实施例中，还可以根据获取到的摄像装置400在光学变焦后的焦距，计算光学变焦后所需的目标特殊光信号强度值，而后相应地调整第一特殊光信号的强度。例如，与求得焦距类似地，医护人员可以首先在内窥镜***为最小焦距F1时调整第一特殊光信号的强度，使得融合成像40的亮度对用户来说为适宜程度，记录下此时的第一特殊光信号的强度值I1，在得到光学变焦后的焦距Fi后，可以建立目标特殊光信号强度值Ii关于I1、F1、Fi的表达式，从而计算得到目标特殊光信号强度值。
上述实施例以各种方式，减小了内窥镜***所成像在光学变焦前后的明暗变化，并且，对于光信号强度的调节既可以定量也可以定性，利于医护人员操作观察。
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的***进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。
Claims (9)
1.一种内窥镜***，其特征在于，包括:
内窥镜，用于***生物体的内部；
光源装置，用于经导光束和内窥镜向生物体内部的待观察部位发射可见光成像所需的第一可见光信号和特殊光成像所需的第一特殊光信号；
具备光学变焦功能的摄像装置，所述摄像装置包括至少一个传感器，所述至少一个传感器用于采集所述第一可见光信号照射于所述待观察部位后形成的第二可见光信号，以及用于采集所述第一特殊光信号照射于所述待观察部位后形成的第二特殊光信号，所述摄像装置包括用于限制成像范围的视场光阑；
处理器，用于根据所述第二可见光信号生成可见光图像，根据所述第二特殊光信号生成特殊光图像，所述特殊光图像包括荧光成像所得图像和蓝绿光成像所得图像中的至少一种，根据所述可见光图像和特殊光图像形成融合成像，以及根据所述可见光图像的图像特征在所述摄像装置进行光学变焦前后的变化，控制所述光源装置对应调整所述第一特殊光信号的强度，以得到预期的融合成像，所述图像特征的变化用于表征摄像装置的成像范围在可见光图像中的变化，其中，所述图像特征包括所述视场光阑上预设标记在可见光图像上所成像，所述根据所述图像特征在所述摄像装置进行光学变焦前后的变化，控制光源装置对应调整第一特殊光信号的强度，包括：如果所述图像特征在可见光图像中沿预设的第一方向移动，则控制所述光源装置增大第一特殊光信号的强度；如果所述图像特征在可见光图像中沿预设的第二方向移动，则控制所述光源装置减小第一特殊光信号的强度。
2.根据权利要求1所述的***，其特征在于，还包括存储器，所述存储器存储有所述摄像装置对应的多个焦距，以及每个焦距与对应的特殊光信号强度值之间的对应关系；
根据所述图像特征的变化，控制所述光源装置对应调整所述第一特殊光信号的强度的方式包括：
根据所述图像特征的变化，通过所述处理器计算得到所述摄像装置在光学变焦后的焦距；
根据获取到的所述摄像装置在光学变焦后的焦距确定对应的目标特殊光信号强度值，并控制所述光源装置将所述第一特殊光信号的强度调整至所述目标特殊光信号强度值。
3.根据权利要求1所述的***，其特征在于，根据所述图像特征的变化，控制所述摄像装置对应调整所述第一特殊光信号的强度的方式包括：
根据所述图像特征的变化，通过所述处理器计算得到所述摄像装置在光学变焦后的焦距；
根据获取到的所述摄像装置在光学变焦后的焦距，通过所述处理器计算得到光学变焦后所需的目标特殊光信号强度值；
根据计算得到的所述目标特殊光信号强度值，控制所述光源装置将所述第一特殊光信号的强度调整至所述目标特殊光信号强度值。
4.根据权利要求1至3中任一项所述的***，其特征在于，所述荧光成像所得图像包括红外荧光成像所得图像、紫外荧光成像所得图像和近红外荧光成像所得图像中的至少一种。
5.一种内窥镜***的成像调节方法,其特征在于，所述内窥镜***包括具有光学变焦功能的摄像装置，所述摄像装置包括用于限制成像范围的视场光阑，所述方法包括：
向待观察部位分别发射可见光成像所需的第一可见光信号和特殊光成像所需的第一特殊光信号；
采集所述第一可见光信号照射于所述待观察部位后形成的第二可见光信号，并根据所述第二可见光信号生成可见光图像；以及，采集所述第一特殊光信号照射于所述待观察部位后形成的第二特殊光信号，并根据所述第二特殊光信号生成特殊光图像，所述特殊光图像包括荧光成像所得图像和蓝绿光成像所得图像中的至少一种；
根据所述可见光图像中的图像特征在所述摄像装置进行光学变焦前后的变化，调整所述第一特殊光信号的强度，所述图像特征的变化用于表征所述摄像装置的成像范围在可见光图像中的变化，其中，所述图像特征包括所述视场光阑上预设标记在可见光图像上所成像，所述根据所述可见光图像中的图像特征在所述摄像装置进行光学变焦前后的变化，调整所述第一特殊光信号的强度，包括：如果所述图像特征在可见光图像中沿预设的第一方向移动，则增大所述第一特殊光信号的强度；如果所述图像特征在可见光图像中沿预设的第二方向移动，则减小所述第一特殊光信号的强度。
6.如权利要求5所述的方法，其特征在于，根据所述图像特征的变化，调整所述第一特殊光信号的强度的方式包括：
根据所述图像特征的变化，计算所述摄像装置在光学变焦后的焦距；
根据获取到的所述摄像装置在光学变焦后的焦距以及预先存储的所述摄像装置的各焦距和特殊光信号强度值之间的对应关系，调整所述第一特殊光信号的强度。
7.如权利要求5所述的方法，其特征在于，根据所述图像特征的变化，调整所述第一特殊光信号的强度的方式包括：
根据所述图像特征的变化，计算所述摄像装置在光学变焦后的焦距；
根据获取到的所述摄像装置在光学变焦后的焦距，计算光学变焦后所需的目标特殊光信号强度值；
根据所述目标特殊光信号强度值，调整所述第一特殊光信号的强度。
8.如权利要求5至7中任一项所述的方法，其特征在于，所述荧光成像所得图像包括红外荧光成像所得图像、紫外荧光成像所得图像和近红外荧光成像所得图像中的至少一种。
9.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求5-8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111171112.XA CN114098611B (zh) | 2021-10-08 | 2021-10-08 | 一种内窥镜***及其成像调节方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111171112.XA CN114098611B (zh) | 2021-10-08 | 2021-10-08 | 一种内窥镜***及其成像调节方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114098611A CN114098611A (zh) | 2022-03-01 |
| CN114098611B true CN114098611B (zh) | 2022-09-13 |
Family
ID=80441430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111171112.XA Active CN114098611B (zh) | 2021-10-08 | 2021-10-08 | 一种内窥镜***及其成像调节方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114098611B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10225438A (ja) * | 1997-02-14 | 1998-08-25 | Fuji Photo Film Co Ltd | 撮像装置および蛍光内視鏡並びに蛍光電子内視鏡 |
| JP2012213552A (ja) * | 2011-04-01 | 2012-11-08 | Fujifilm Corp | 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法 |
| CN105473049A (zh) * | 2013-08-23 | 2016-04-06 | 奥林巴斯株式会社 | 荧光观察装置 |
| CN105934191A (zh) * | 2014-01-31 | 2016-09-07 | 奥林巴斯株式会社 | 荧光观察装置 |
| CN106412434A (zh) * | 2016-10-11 | 2017-02-15 | 中国人民解放军陆军军官学院 | 一种激光助视成像图像亮度与焦距自适应的方法 |
| CN109758093A (zh) * | 2019-01-31 | 2019-05-17 | 广东欧谱曼迪科技有限公司 | 一种指导曝光型荧光内窥镜***及指导曝光方法 |
| CN210228083U (zh) * | 2019-01-31 | 2020-04-03 | 广东欧谱曼迪科技有限公司 | 一种基于探测信号调整的调焦反馈型荧光导航内窥镜*** |
| CN210749129U (zh) * | 2019-01-31 | 2020-06-16 | 广东欧谱曼迪科技有限公司 | 一种基于荧光图像处理的测光反馈荧光内窥镜*** |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7179222B2 (en) * | 1996-11-20 | 2007-02-20 | Olympus Corporation | Fluorescent endoscope system enabling simultaneous achievement of normal light observation based on reflected light and fluorescence observation based on light with wavelengths in infrared spectrum |
| JP5401205B2 (ja) * | 2009-08-10 | 2014-01-29 | 富士フイルム株式会社 | 内視鏡装置 |
-
2021
- 2021-10-08 CN CN202111171112.XA patent/CN114098611B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10225438A (ja) * | 1997-02-14 | 1998-08-25 | Fuji Photo Film Co Ltd | 撮像装置および蛍光内視鏡並びに蛍光電子内視鏡 |
| JP2012213552A (ja) * | 2011-04-01 | 2012-11-08 | Fujifilm Corp | 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法 |
| CN105473049A (zh) * | 2013-08-23 | 2016-04-06 | 奥林巴斯株式会社 | 荧光观察装置 |
| CN105934191A (zh) * | 2014-01-31 | 2016-09-07 | 奥林巴斯株式会社 | 荧光观察装置 |
| CN106412434A (zh) * | 2016-10-11 | 2017-02-15 | 中国人民解放军陆军军官学院 | 一种激光助视成像图像亮度与焦距自适应的方法 |
| CN109758093A (zh) * | 2019-01-31 | 2019-05-17 | 广东欧谱曼迪科技有限公司 | 一种指导曝光型荧光内窥镜***及指导曝光方法 |
| CN210228083U (zh) * | 2019-01-31 | 2020-04-03 | 广东欧谱曼迪科技有限公司 | 一种基于探测信号调整的调焦反馈型荧光导航内窥镜*** |
| CN210749129U (zh) * | 2019-01-31 | 2020-06-16 | 广东欧谱曼迪科技有限公司 | 一种基于荧光图像处理的测光反馈荧光内窥镜*** |
Non-Patent Citations (2)
| Title |
|---|
| 照相技术在喉科临床的应用;王志斌;《临床耳鼻咽喉科杂志》;19891231;全文 * |
| 高清内窥镜适配器光学***设计;王卉;《长春理工大学学报》;20181231;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114098611A (zh) | 2022-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7273873B2 (ja) | 医用撮像装置と使用方法 | |
| US6582362B2 (en) | Endoscope system | |
| US10881283B2 (en) | Endoscope apparatus | |
| CA2789051C (en) | Method and device for multi-spectral photonic imaging | |
| JP3619435B2 (ja) | 照明光学系及び内視鏡装置 | |
| US20110261175A1 (en) | Multiple channel imaging system and method for fluorescence guided surgery | |
| JPH07108284B2 (ja) | 体外観察装置 | |
| JP2004163413A (ja) | 顕微鏡システムおよび顕微鏡検査方法 | |
| JP2007143624A (ja) | 蛍光観察装置 | |
| CN109561819B (zh) | 内窥镜装置和内窥镜装置的控制方法 | |
| JP2017529179A (ja) | 虹彩角膜角の画像化のためのプローブ | |
| JP2012245285A (ja) | 光源装置 | |
| JP2012196307A (ja) | 内視鏡システム及びその操作補助方法 | |
| KR20200026135A (ko) | 달팽이관에서의 미세 혈류 측정 방법 및 장치 | |
| CN114098611B (zh) | 一种内窥镜***及其成像调节方法 | |
| JP3504677B2 (ja) | レーザー照射装置 | |
| WO2020014999A1 (zh) | 一种用于手术的不可见光显示设备和光学指导*** | |
| CN116763239A (zh) | 宽谱荧光内窥镜装置 | |
| CN209154017U (zh) | 一种用于手术的不可见光显示设备和光学指导*** | |
| JP4184156B2 (ja) | 内視鏡装置 | |
| JPS63143022A (ja) | 内視鏡用ライトガイド | |
| CN219895706U (zh) | 一种甲状旁腺功能成像***及内镜 | |
| CN215606241U (zh) | 手术导航装置及*** | |
| CN110446962A (zh) | 成像设备、聚焦控制方法以及聚焦判定方法 | |
| CN210776008U (zh) | 一种3d电子手术显微摄像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20220527 Address after: 430223 floor 3, building B1, zone B, high tech medical device Park, No. 818, Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan, Hubei Province (Wuhan area of free trade zone) Applicant after: Wuhan Mairui Medical Technology Research Institute Co.,Ltd. Applicant after: SHENZHEN MINDRAY BIO-MEDICAL ELECTRONICS Co.,Ltd. Address before: 518057 the 1-4 floor of MINDRAY building, science and technology south twelve Road, Nanshan District high tech Industrial Park, Shenzhen, Guangdong. Applicant before: SHENZHEN MINDRAY BIO-MEDICAL ELECTRONICS Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Building 5, No. 828 Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430206 Patentee after: Wuhan Mindray Biomedical Technology Co.,Ltd. Country or region after: China Patentee after: SHENZHEN MINDRAY BIO-MEDICAL ELECTRONICS Co.,Ltd. Address before: 430223 floor 3, building B1, zone B, high tech medical device Park, No. 818, Gaoxin Avenue, Donghu New Technology Development Zone, Wuhan, Hubei Province (Wuhan area of free trade zone) Patentee before: Wuhan Mairui Medical Technology Research Institute Co.,Ltd. Country or region before: China Patentee before: SHENZHEN MINDRAY BIO-MEDICAL ELECTRONICS Co.,Ltd. |