CN102809429A - 基于双相机的多光谱成像***和方法 - Google Patents

基于双相机的多光谱成像***和方法 Download PDF

Info

Publication number
CN102809429A
CN102809429A CN2012102630073A CN201210263007A CN102809429A CN 102809429 A CN102809429 A CN 102809429A CN 2012102630073 A CN2012102630073 A CN 2012102630073A CN 201210263007 A CN201210263007 A CN 201210263007A CN 102809429 A CN102809429 A CN 102809429A
Authority
CN
China
Prior art keywords
module
optical
light source
image
ccd camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012102630073A
Other languages
English (en)
Inventor
田捷
迟崇巍
秦承虎
杨鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN2012102630073A priority Critical patent/CN102809429A/zh
Publication of CN102809429A publication Critical patent/CN102809429A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

本发明公开了一种基于双相机的多光谱成像***和方法,该***包括***支撑模块,用于支撑和连接各部件;光源模块,用于提供近红外光和可见光;光学信号采集模块,用于采集荧光和可见光图像;以及计算机模块,用于控制光学信号采集模块采集图像,处理采集到的图像,并显示处理后的图像。本发明采用光学分光棱镜将通过镜头的光线一分为二,用两台CCD相机同时进行实时采集,有效的解决了该问题,同时也打破了国外公司在华的技术垄断状况,降低了多光谱视频成像研究的门槛,拓展了光学分子影像探针可供选择的空间,延伸了光学分子影像研究与应用的范围。

Description

基于双相机的多光谱成像***和方法
技术领域
本发明涉及光学成像技术领域,特别是关于一种基于双相机的多光谱成像***和方法。
背景技术
近年来,由于分子影像学技术的不断发展,继放射性核素成像、正电子发射断层扫描、单光子发射计算机断层和磁共振成像之后,出现了高分辨率的光学成像,其中近红外荧光成像倍受关注。由于光穿透组织的能力与组织吸收光的强弱、光波的特性、生物组织结构及其物理化学特性均有关系。650~900nm的近红外光(Near-Infrared,NIR)被称为“组织光窗(Tissue Optical Window)”,与可见光相比具有:(1)生物组织对此波段近红外光的吸收和散射效应最小,与可见光相比近红外光可穿透更深层的组织;(2)由于生物组织对此波段近红外光的自体荧光较小,信背比(Signal-to-background ratio,SBR)相对高等优点。
目前市场上有关探测近红外光线的产品均是采用单台相机进行实时成像,由于近红外光线肉眼不可见,所以一般采集到的图像和肉眼看到的图像有所不同。根据《Nature Medicine》2011年9月报道的国际最新进展,荷兰科学家Gooitzen M van Dam等人采用三台相机协同工作的方法进行拍摄,可以同时看到荧光图像、彩色图像以及拼合图像。其中三台相机主要由三个CCD组成,分别用来拍摄彩色图像(光谱范围400nm-650nm),荧光图像(光谱范围745nm-845nm)以及背景图像(光谱范围740nm-760nm)。通过两台计算机进行协同工作,同步处理拍摄到的图像,达到荧光、彩色以及拼合三幅图像显示的目的。
由于该技术在具体实现时需要利用三台相机和两台计算机进行协同工作,其处理难度大,实现成本也较高。
发明内容
(一)要解决的技术问题
有鉴于此,本发明根据近红外光线的特点,并基于长期在近红外成像领域的研究经验,提供了一种基于双相机的多光谱成像***和方法,采用两台相机和一台计算机来实现荧光、彩色以及拼合图像的获取功能,同样达到三幅图像显示的目的。
(二)技术方案
根据本发明的一个方面,本发明提供了一种基于双相机的多光谱成像***,包括:***支撑模块110,用于支撑和连接各部件;光源模块120,用于提供近红外光和可见光;光学信号采集模块130,用于采集荧光和可见光图像;以及计算机模块140,用于控制光学信号采集模块130采集图像,处理采集到的图像,并显示处理后的图像。
上述方案中,所述***支撑模块110包括光源支架111、光学平台支架112和***支架113,其中:光源支架111,用于支撑光源模块120;光学平台支架112,用于支撑光学信号采集模块130;***支架113,用于支撑起光学平台支架112以及光源支架111,并且保证可以移动。
上述方案中,所述光源支架111是支撑光源模块120中的LED近红外光源121,连接方式是将LED近红外光源121的手柄***光源支架111的前端。所述光学平台支架112挂接在***支架113的上端。所述***支架113纵向可调节,整体高度范围是1500mm-1800mm。
上述方案中,所述光源模块120包括LED近红外光源121、卤素灯白光光源123、第一滤光片122和第四滤光片125,其中:LED近红外光源121,用于提供近红外光信号;第一滤光片122,连接于LED近红外光源121,LED近红外光源121提供的近红外光透过第一滤光片122照射到探测区域;卤素灯白光光源123,用于提供可见光光信号;第四滤光片125,连接于卤素灯白光光源123,卤素灯白光光源123提供的可见光光信号透过第四滤光片125照射到探测区域。
上述方案中,所述LED近红外光源121由47个LED灯焊接在一块圆形电路板上,电路板外套有金属套筒,焊接好的电路板放置在金属套筒底部,顶部有内螺纹,能够与第一滤光片122的金属圈旋紧固定;电源线由底部小孔引出,外接电源适配器,电压24V,功率20W。
上述方案中,所述第一滤光片122是带通滤光片,光谱范围是710nm-770nm;第一滤光片122套有金属圈,圈上有一圈外螺纹。所述第四滤光片125是带通滤光片,光谱范围是400nm-650nm;第四滤光片125放置在卤素灯白光光源123的滤光片槽104内,卤素灯白光光源123产生的光信号通过光纤105引出。
上述方案中,所述光学信号采集模块130包括镜头131、分光棱镜132、第二滤光片133、第三滤光片124、近红外CCD相机101和彩色CCD相机102,其中第二滤光片133置于彩色CCD相机102的进光孔处,第三滤光片124置于近红外CCD相机101的进光孔处,镜头131、分光棱镜132、近红外CCD相机101和彩色CCD相机102按照中轴线对齐原则固定在同一光学平台上。
上述方案中,所述镜头131用于调节图像清晰度,保证视野范围。所述分光棱镜132是由一块经过镀膜的立方体玻璃1324、基座1325和金属外壳1326所组成,用于将同一束光线等分成两束,其中经过镀膜的立方体玻璃1324放置在基座1325上,基座1325上方套有金属外壳1326,与基座1325由螺丝固定。所述金属外壳1326上有4个圆孔,将第一孔1321与镜头131对接,第二孔1322与彩色CCD相机102对接,第三孔1323与近红外CCD相机101对接。
上述方案中,所述第二滤光片133是带通滤光片,光谱范围是810nm-870nm;第三滤光片124是带通滤光片,光谱范围是400nm-650nm。
上述方案中,所述计算机模块140包括软件控制模块141、图像处理模块142和显示模块143,其中软件控制模块141控制光学信号采集模块130采集图像,图像处理模块142处理采集到的图像,显示模块143用于显示处理后的图像。
上述方案中,所述软件控制模块141是通过光学信号采集模块130中近红外CCD相机101和彩色CCD相机102的数据线106与计算机模块140相连。所述图像处理模块142用于处理光学信号采集模块130中近红外CCD相机101和彩色CCD相机102拍摄的图像数据,完成分割点运算和图像叠加功能。
根据本发明的另一个方面,本发明提供了一种基于双相机的多光谱成像方法,应用于所述的基于双相机的多光谱成像***,包括:卤素灯白光光源123对探测区域103进行照射;***支撑模块110调整***支架113至合适高度,光学信号采集模块130调节镜头131焦距,软件控制模块141采集彩色CCD相机102视频图像,计算机模块140中显示模块141进行实时显示,调整为清晰成像;LED近红外光源121对探测区域103进行照射,计算机模块140中软件控制模块141切换到拍照模式,获取一组校准图像;计算机模块140中软件控制模块141采集近红外CCD相机101视频图像,进行实时观测;计算机模块140中软件控制模块141切换到拍照模式,获取一组图像,进行存档;以及图像处理模块142对存档的图像进行运算,计算分割点,图像处理模块142根据计算出的分割点进行图像拼合,显示模块143将处理后的图像显示到计算机显示器上。
上述方案中,所述LED近红外光源121对探测区域103进行照射,计算机模块140中软件控制模块141切换到拍照模式,获取一组校准图像的步骤中,获取一组校准图像是为图像处理模块142计算分割点做准备。
上述方案中,所述图像处理模块142对存档的图像进行运算,计算分割点的步骤中,图像处理模块142计算分割点具体包括:
步骤501:MATLAB读取两台相机拍照所得图像灰度值矩阵;
步骤502:为寻找分割点,设置变量i,j均为0;
步骤503:通过硬件信息得知近红外CCD相机101芯片面积为1.3英寸,图片分辨率为1024×1024,彩色CCD相机102芯片面积为2/3英寸,分辨率为2136×2548;通过MATLAB软件的工具包插值运算,将图像分辨率转化为534×637,近红外CCD相机101取得图像中以i,j为基点选择一块534×637的数据矩阵赋给A,插值后彩色CCD相机102图像矩阵赋给B;
步骤504:计算矩阵A中各点的均值赋给mA,通过公式计算 DA = Σ i = 0 534 Σ j = 0 637 [ ( a ij - mA ) 2 ] ;
步骤505:计算矩阵B中各点的均值赋给mB,通过公式计算 DB = Σ i = 0 534 Σ j = 0 637 [ ( b ij - mB ) 2 ] ;
步骤506:根据矩阵A、B以及mA、mB,计算
Figure BDA00001937303200052
然后计算得到A、B的相关系数 corrcoef _ AB = corAB DA × DB ;
步骤507:得到该相关系数之后i=i+533,j=j+636,再重复504-506步骤,比较两个相关系数的大小,取较小值,并记录i,j的数值;
步骤508:迭代运算200次,最终返回i,j的值。
(三)有益效果
从上述技术方案可以看出,本发明具有以下有益效果:
1、利用本发明,由于仅采用两台相机和一台计算机就能够实现荧光、彩色以及拼合图像的获取功能,同样达到三幅图像显示的目的,因此处理难度和实现成本较现有技术均大大降低。
2、利用本发明,由于近红外光线在生物光窗领域的特点,结合前期在分子影像领域的成像基础,利用高分辨率观测相机,实现了对荧光的动态连续观察。
3、利用本发明,由于计算机精确的算法和处理计算,所以达到了在肉眼可见的彩色光的图像上,叠加荧光图像信息的效果,实现了对荧光精确定位的目的。
4、利用本发明,由于支架的设计,方便操作,使得动态连续观测成为了可能,所以在实际使用上,大大降低了操作的繁琐度。
5、利用本发明,由于滤光片的合理参数配置,使得探测光强达到最大,所以最有效的保留的有用信息。
6、利用本发明,由于实验需要避光进行,所以通过光源光谱的分离,使得在实际操作中不仅可以看到较强的荧光信息,同时白光的照射也可以使得观测人员看到可见的信息,同时两个光谱的光线并不会相互影响,最有效的解决了实际实验中面临的困难。
附图说明
图1是依照本发明实施例的基于双相机的多光谱成像***的结构示意图;
图2是依照本发明实施例的基于双相机的多光谱成像***的原理图;
图3是依照本发明实施例的基于双相机的多光谱成像***中棱镜的结构示意图;
图4是依照本发明实施例的基于双相机的多光谱成像***中支架的结构示意图;
图5是依照本发明实施例的基于双相机的多光谱成像***中图像处理模块分割点计算的算法流程图;
图6a至图6c是本发明实施案例的结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
本发明采用光学分光棱镜将通过镜头的光线一分为二,用两台CCD相机同时进行实时采集。在各相机前增加带通滤光片,使得两台相机分别在不同光波长范围内成像,最终通过软件进行图像处理,将不同谱段的图像拼合到一起,实现荧光与可见光融合的图像效果。目前市面上绝大部分近红外视频成像产品均采用单一CCD相机进行成像,其缺点在于成像时只能看到荧光图像,而无法看到人们肉眼所见的可见光图像。而本发明有效的解决了该问题,同时也打破了国外公司在华的技术垄断状况,降低了多光谱视频成像研究的门槛,拓展了光学分子影像探针可供选择的空间,延伸了光学分子影像研究与应用的范围。
如图1所示,图1是依照本发明实施例的基于双相机的多光谱成像***的结构示意图,该基于双相机的多光谱成像***包括***支撑模块110、光源模块120、光学信号采集模块130和计算机模块140,其中***支撑模块110用于支撑和连接各部件,光源模块120用于提供近红外光和可见光,光学信号采集模块130用于采集荧光和可见光图像,计算机模块140用于控制光学信号采集模块130采集图像,处理采集到的图像,并显示处理后的图像。
***支撑模块110包括光源支架111、光学平台支架112和***支架113,其中:光源支架111,用于支撑光源模块120;光学平台支架112,用于支撑光学信号采集模块130;***支架113,用于支撑起光学平台支架112以及光源支架111,并且保证可以移动。所述光源支架111是支撑光源模块120中的LED近红外光源121,连接方式是将LED近红外光源121的手柄***光源支架111的前端。所述光学平台支架112挂接在***支架113的上端。所述***支架113纵向可调节,整体高度范围是1500mm-1800mm。
光源模块120包括LED近红外光源121、卤素灯白光光源123、第一滤光片122和第四滤光片125,其中:LED近红外光源121,用于提供近红外光信号;第一滤光片122,连接于LED近红外光源121,LED近红外光源121提供的近红外光透过第一滤光片122照射到探测区域;卤素灯白光光源123,用于提供可见光光信号;第四滤光片125,连接于卤素灯白光光源123,卤素灯白光光源123提供的可见光光信号透过第四滤光片125照射到探测区域。
LED近红外光源121由47个LED灯焊接在一块圆形电路板上,电路板外套有金属套筒,焊接好的电路板放置在金属套筒底部,顶部有内螺纹,能够与第一滤光片122的金属圈旋紧固定;电源线由底部小孔引出,外接电源适配器,电压24V,功率20W。第一滤光片122是带通滤光片,光谱范围是710nm-770nm;第一滤光片122套有金属圈,圈上有一圈外螺纹。所述第四滤光片125是带通滤光片,光谱范围是400nm-650nm;第四滤光片125放置在卤素灯白光光源123的滤光片槽104内,卤素灯白光光源123产生的光信号通过光纤105引出。
光学信号采集模块130包括镜头131、分光棱镜132、第二滤光片133、第三滤光片124、近红外CCD相机101和彩色CCD相机102,其中第二滤光片133置于彩色CCD相机102的进光孔处,第三滤光片124置于近红外CCD相机101的进光孔处,镜头131、分光棱镜132、近红外CCD相机101和彩色CCD相机102按照中轴线对齐原则固定在同一光学平台上。
镜头131用于调节图像清晰度,保证视野范围。所述分光棱镜132是由一块经过镀膜的立方体玻璃1324、基座1325和金属外壳1326所组成,用于将同一束光线等分成两束,其中经过镀膜的立方体玻璃1324放置在基座1325上,基座1325上方套有金属外壳1326,与基座1325由螺丝固定。所述金属外壳1326上有4个圆孔,将第一孔1321与镜头131对接,第二孔1322与彩色CCD相机102对接,第三孔1323与近红外CCD相机101对接。第二滤光片133是带通滤光片,光谱范围是810nm-870nm;第三滤光片124是带通滤光片,光谱范围是400nm-650nm。
计算机模块140包括软件控制模块141、图像处理模块142和显示模块143,其中软件控制模块141控制光学信号采集模块130采集图像,图像处理模块142处理采集到的图像,显示模块143用于显示处理后的图像。软件控制模块141是通过光学信号采集模块130中近红外CCD相机101和彩色CCD相机102的数据线106与计算机模块140相连。所述图像处理模块142用于处理光学信号采集模块130中近红外CCD相机101和彩色CCD相机102拍摄的图像数据,完成分割点运算和图像叠加功能。
在一个优选实施例中,光学信号采集模块130按照图2所示组装好,光学信号采集模块130固定在光学平台支架112上,按照图4所示光学平台支架112挂接在***支架113的上端,LED近红外光源121***光源支架111中。***支撑模块110移动到探测区域103正上方,数据线106与计算机模块140对应端口连接。光源模块120中光纤105固定在光源支架111上,卤素灯白光光源123对准探测区域103进行照射。软件控制模块141控制采集彩色CCD相机102视频图像,光学信号采集模块130调整镜头131焦距保证清晰成像。软件控制模块141获取近红外CCD相机101和彩色CCD相机102图像,并保存。用遮光布对探测区域103进行避光处理。LED近红外光源对准探测区域103进行照射。软件控制模块141控制采集近红外CCD相机101视频图像,拍摄物体放置最佳拍摄角度后,保持不动,软件控制模块141采集近红外CCD相机101和彩色CCD相机102图像。图像处理模块142计算获取的近红外CCD相机101和彩色CCD相机102图像分割点。图像处理模块142将近红外CCD相机101获取图像增加伪绿,图像处理模块142用分割点拼合5中采集彩色CCD相机102图像和增加伪绿的近红外CCD相机101图像。
基于图1至图4所示的基于双相机的多光谱成像***,本发明还提供了一种基于双相机的多光谱成像方法,该方法包括:
卤素灯白光光源123对探测区域103进行照射;
***支撑模块110调整***支架113至合适高度,光学信号采集模块130调节镜头131焦距,软件控制模块141采集彩色CCD相机102视频图像,计算机模块140中显示模块141进行实时显示,调整为清晰成像;
LED近红外光源121对探测区域103进行照射,计算机模块140中软件控制模块141切换到拍照模式,获取一组校准图像;
计算机模块140中软件控制模块141采集近红外CCD相机101视频图像,进行实时观测;
计算机模块140中软件控制模块141切换到拍照模式,获取一组图像,进行存档;以及
图像处理模块142对存档的图像进行运算,计算分割点,图像处理模块142根据计算出的分割点进行图像拼合,显示模块143将处理后的图像显示到计算机显示器上。
其中,所述LED近红外光源121对探测区域103进行照射,计算机模块140中软件控制模块141切换到拍照模式,获取一组校准图像的步骤中,获取一组校准图像是为图像处理模块142计算分割点做准备。
图像处理模块142计算分割点具体如图5所示,图5示出了依照本发明实施例的基于双相机的多光谱成像***中图像处理模块分割点计算的算法流程图,包括:
步骤501:MATLAB读取两台相机拍照所得图像灰度值矩阵;
步骤502:为寻找分割点,设置变量i,j均为0;
步骤503:通过硬件信息得知近红外CCD相机101芯片面积为1.3英寸,图片分辨率为1024×1024,彩色CCD相机102芯片面积为2/3英寸,分辨率为2136×2548;通过MATLAB软件的工具包插值运算,将图像分辨率转化为534×637,近红外CCD相机101取得图像中以i,j为基点选择一块534×637的数据矩阵赋给A,插值后彩色CCD相机102图像矩阵赋给B;
步骤504:计算矩阵A中各点的均值赋给mA,通过公式计算 DA = Σ i = 0 534 Σ j = 0 637 [ ( a ij - mA ) 2 ] ;
步骤505:计算矩阵B中各点的均值赋给mB,通过公式计算 DB = Σ i = 0 534 Σ j = 0 637 [ ( b ij - mB ) 2 ] ;
步骤506:根据矩阵A、B以及mA、mB,计算
Figure BDA00001937303200103
然后计算得到A、B的相关系数 corrcoef _ AB = corAB DA × DB ;
步骤507:得到该相关系数之后i=i+533,j=j+636,再重复504-506步骤,比较两个相关系数的大小,取较小值,并记录i,j的数值;
步骤508:迭代运算200次,最终返回i,j的值。
实验结果如图6a至图6c所示,本发明使用0.01mg/ml浓度的吲哚菁绿荧光染料注入EP管中作为实验,验证***的可行性。可以看到图6a为近红外CCD相机101拍到的图像,图6b为彩色CCD相机102拍到的图像。图6c为图像处理模块142计算拼合后的图像。可以看到,虽然通过肉眼看到的图6b中为透明液体,但是通过激发光源照射后,明显看出图6a有荧光发出,通过图像处理模块142将两幅图像进行拼合,我们便在肉眼可见的图6a图像上同时看到了图6b图像信息。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (20)

1.一种基于双相机的多光谱成像***,其特征在于,包括:
***支撑模块(110),用于支撑和连接各部件;
光源模块(120),用于提供近红外光和可见光;
光学信号采集模块(130),用于采集荧光和可见光图像;以及
计算机模块(140),用于控制光学信号采集模块(130)采集图像,处理采集到的图像,并显示处理后的图像。
2.根据权利要求1所述的基于双相机的多光谱成像***,其特征在于,所述***支撑模块(110)包括光源支架(111)、光学平台支架(112)和***支架(113),其中:
光源支架(111),用于支撑光源模块(120);
光学平台支架(112),用于支撑光学信号采集模块(130);
***支架(113),用于支撑起光学平台支架(112)以及光源支架(111),并且保证可以移动。
3.根据权利要求2所述的基于双相机的多光谱成像***,其特征在于,所述光源支架(111)是支撑光源模块(120)中的LED近红外光源(121),连接方式是将LED近红外光源(121)的手柄***光源支架(111)的前端。
4.根据权利要求2所述的基于双相机的多光谱成像***,其特征在于,所述光学平台支架(112)挂接在***支架(113)的上端。
5.根据权利要求2所述的基于双相机的多光谱成像***,其特征在于,所述***支架(113)纵向可调节,整体高度范围是1500mm-1800mm。
6.根据权利要求1所述的基于双相机的多光谱成像***,其特征在于,所述光源模块(120)包括LED近红外光源(121)、卤素灯白光光源(123)、第一滤光片(122)和第四滤光片(125),其中:
LED近红外光源(121),用于提供近红外光信号;
第一滤光片(122),连接于LED近红外光源(121),LED近红外光源(121)提供的近红外光透过第一滤光片(122)照射到探测区域;
卤素灯白光光源(123),用于提供可见光光信号; 
第四滤光片(125),连接于卤素灯白光光源(123),卤素灯白光光源(123)提供的可见光光信号透过第四滤光片(125)照射到探测区域。
7.根据权利要求6所述的基于双相机的多光谱成像***,其特征在于,所述LED近红外光源(121)由47个LED灯焊接在一块圆形电路板上,电路板外套有金属套筒,焊接好的电路板放置在金属套筒底部,顶部有内螺纹,能够与第一滤光片(122)的金属圈旋紧固定;电源线由底部小孔引出,外接电源适配器,电压24V,功率20W。
8.根据权利要求6所述的基于双相机的多光谱成像***,其特征在于,所述第一滤光片(122)是带通滤光片,光谱范围是710nm-770nm;第一滤光片(122)套有金属圈,圈上有一圈外螺纹。
9.根据权利要求6所述的基于双相机的多光谱成像***,其特征在于,所述第四滤光片(125)是带通滤光片,光谱范围是400nm-650nm;第四滤光片(125)放置在卤素灯白光光源(123)的滤光片槽(104)内,卤素灯白光光源(123)产生的光信号通过光纤(105)引出。
10.根据权利要求1所述的基于双相机的多光谱成像***,其特征在于,所述光学信号采集模块(130)包括镜头(131)、分光棱镜(132)、第二滤光片(133)、第三滤光片(124)、近红外CCD相机(101)和彩色CCD相机(102),其中第二滤光片(133)置于彩色CCD相机(102)的进光孔处,第三滤光片(124)置于近红外CCD相机(101)的进光孔处,镜头(131)、分光棱镜(132)、近红外CCD相机(101)和彩色CCD相机(102)按照中轴线对齐原则固定在同一光学平台上。
11.根据权利要求10所述的基于双相机的多光谱成像***,其特征在于,所述镜头(131)用于调节图像清晰度,保证视野范围。
12.根据权利要求10所述的基于双相机的多光谱成像***,其特征在于,所述分光棱镜(132)是由一块经过镀膜的立方体玻璃(1324)、基座(1325)和金属外壳(1326)所组成,用于将同一束光线等分成两束,其中经过镀膜的立方体玻璃(1324)放置在基座(1325)上,基座(1325)上方套有金属外壳(1326),与基座(1325)由螺丝固定。
13.根据权利要求12所述的基于双相机的多光谱成像***,其特征在于,所述金属外壳(1326)上有4个圆孔,将第一孔(1321)与镜头(131) 对接,第二孔(1322)与彩色CCD相机(102)对接,第三孔(1323)与近红外CCD相机(101)对接。
14.根据权利要求10所述的基于双相机的多光谱成像***,其特征在于,所述第二滤光片(133)是带通滤光片,光谱范围是810nm-870nm;第三滤光片(124)是带通滤光片,光谱范围是400nm-650nm。
15.根据权利要求1所述的基于双相机的多光谱成像***,其特征在于,所述计算机模块(140)包括软件控制模块(141)、图像处理模块(142)和显示模块(143),其中软件控制模块(141)控制光学信号采集模块(130)采集图像,图像处理模块(142)处理采集到的图像,显示模块(143)用于显示处理后的图像。
16.根据权利要求15所述的基于双相机的多光谱成像***,其特征在于,所述软件控制模块(141)是通过光学信号采集模块(130)中近红外CCD相机(101)和彩色CCD相机(102)的数据线(106)与计算机模块(140)相连。
17.根据权利要求15所述的基于双相机的多光谱成像***,其特征在于,所述图像处理模块(142)用于处理光学信号采集模块(130)中近红外CCD相机(101)和彩色CCD相机(102)拍摄的图像数据,完成分割点运算和图像叠加功能。
18.一种基于双相机的多光谱成像方法,应用于权利要求1至17中任一项所述的***,其特征在于,包括:
卤素灯白光光源(123)对探测区域(103)进行照射;
***支撑模块(110)调整***支架(113)至合适高度,光学信号采集模块(130)调节镜头(131)焦距,软件控制模块(141)采集彩色CCD相机(102)视频图像,计算机模块(140)中显示模块(141)进行实时显示,调整为清晰成像;
LED近红外光源(121)对探测区域(103)进行照射,计算机模块(140)中软件控制模块(141)切换到拍照模式,获取一组校准图像;
计算机模块(140)中软件控制模块(141)采集近红外CCD相机(101)视频图像,进行实时观测;
计算机模块(140)中软件控制模块(141)切换到拍照模式,获取一 组图像,进行存档;以及
图像处理模块(142)对存档的图像进行运算,计算分割点,图像处理模块(142)根据计算出的分割点进行图像拼合,显示模块(143)将处理后的图像显示到计算机显示器上。
19.根据权利要求18所述的基于双相机的多光谱成像方法,其特征在于,所述LED近红外光源(121)对探测区域(103)进行照射,计算机模块(140)中软件控制模块(141)切换到拍照模式,获取一组校准图像的步骤中,获取一组校准图像是为图像处理模块(142)计算分割点做准备。
20.根据权利要求18所述的基于双相机的多光谱成像方法,其特征在于,所述图像处理模块(142)对存档的图像进行运算,计算分割点的步骤中,图像处理模块(142)计算分割点具体包括:
步骤501:MATLAB读取两台相机拍照所得图像灰度值矩阵;
步骤502:为寻找分割点,设置变量i,j均为0;
步骤503:通过硬件信息得知近红外CCD相机(101)芯片面积为1.3英寸,图片分辨率为1024×1024,彩色CCD相机(102)芯片面积为2/3英寸,分辨率为2136×2548;通过MATLAB软件的工具包插值运算,将图像分辨率转化为534×637,近红外CCD相机(101)取得图像中以i,j为基点选择一块534×637的数据矩阵赋给A,插值后彩色CCD相机(102)图像矩阵赋给B;
步骤504:计算矩阵A中各点的均值赋给mA,通过公式计算 
Figure DEST_PATH_FDA00002019139000041
步骤505:计算矩阵B中各点的均值赋给mB,通过公式计算 
Figure DEST_PATH_FDA00002019139000042
步骤506:根据矩阵A、B以及mA、mB,计算 然后计算得到A、B的相关系数 
Figure DEST_PATH_FDA00002019139000051
步骤507:得到该相关系数之后i=i+533,j=j+636,再重复504-506步骤,比较两个相关系数的大小,取较小值,并记录i,j的数值;
步骤508:迭代运算200次,最终返回i,j的值。 
CN2012102630073A 2012-07-26 2012-07-26 基于双相机的多光谱成像***和方法 Pending CN102809429A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2012102630073A CN102809429A (zh) 2012-07-26 2012-07-26 基于双相机的多光谱成像***和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2012102630073A CN102809429A (zh) 2012-07-26 2012-07-26 基于双相机的多光谱成像***和方法

Publications (1)

Publication Number Publication Date
CN102809429A true CN102809429A (zh) 2012-12-05

Family

ID=47233199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012102630073A Pending CN102809429A (zh) 2012-07-26 2012-07-26 基于双相机的多光谱成像***和方法

Country Status (1)

Country Link
CN (1) CN102809429A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103284681A (zh) * 2013-05-24 2013-09-11 中国科学院苏州生物医学工程技术研究所 一种血管内双光谱成像装置
CN103300812A (zh) * 2013-06-27 2013-09-18 中国科学院自动化研究所 基于内窥镜的多光谱视频导航***和方法
CN103340601A (zh) * 2013-06-27 2013-10-09 中国科学院自动化研究所 基于内窥镜的多光谱成像***和方法
CN103411885A (zh) * 2013-07-18 2013-11-27 江苏大学 一种多光谱成像***的漫反射照明装置
CN104116497A (zh) * 2014-07-22 2014-10-29 中国科学院自动化研究所 内窥式光学分子影像导航***和多光谱成像方法
CN104202587A (zh) * 2014-08-08 2014-12-10 娄定风 立体多光谱昆虫辨识装置及其识别方法
WO2014205738A1 (zh) * 2013-06-27 2014-12-31 中国科学院自动化研究所 基于内窥镜的多光谱视频导航***和方法
CN105054890A (zh) * 2015-09-07 2015-11-18 中国医学科学院生物医学工程研究所 一种基于内窥镜的肿瘤组织检测装置
WO2016029403A1 (zh) * 2014-08-28 2016-03-03 中国科学院自动化研究所 一种头戴式分子影像导航***
WO2016041155A1 (zh) * 2014-09-16 2016-03-24 中国科学院自动化研究所 三维光学分子影像导航***和方法
CN106124049A (zh) * 2016-06-20 2016-11-16 福州大学 一种植被冠层多光谱成像***的实现方法
CN107170015A (zh) * 2017-05-17 2017-09-15 海南大学 一种砗磲外套膜图片采集装置及其使用方法
CN107230185A (zh) * 2017-05-03 2017-10-03 北京理工大学 用于超光谱成像平台中双相机图像的对齐方法
CN107349433A (zh) * 2017-06-30 2017-11-17 中国科学院自动化研究所 近红外纳米探针、制备方法及全息分子影像导航***
CN107728421A (zh) * 2017-11-05 2018-02-23 信利光电股份有限公司 一种多光谱的多摄像头模组的校准方法和校准***
WO2018064903A1 (zh) * 2016-10-08 2018-04-12 杭州海康威视数字技术股份有限公司 一种镜头及摄像机
CN107911692A (zh) * 2017-11-05 2018-04-13 信利光电股份有限公司 一种多光谱的多摄像头模组的校准方法
CN108896545A (zh) * 2018-05-09 2018-11-27 歌尔股份有限公司 涂胶检测方法、装置及计算机可读存储介质
CN109738069A (zh) * 2018-12-27 2019-05-10 浙江农林大学暨阳学院 多光谱成像照明空间非均匀性校正的方法
CN110031411A (zh) * 2019-04-17 2019-07-19 南京邮电大学 一种光谱成像***
CN115480385A (zh) * 2021-05-31 2022-12-16 博瑞生物医疗科技(深圳)有限公司 手术显微镜***及其成像方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000006980A1 (en) * 1998-07-27 2000-02-10 Cedars-Sinai Medical Center Spectral topography of mammalian matter
WO2011113162A1 (en) * 2010-03-17 2011-09-22 Haishan Zeng Rapid multi-spectral imaging methods and apparatus and applications for cancer detection and localization
CN102397106A (zh) * 2011-10-03 2012-04-04 杨晓峰 多光谱分光融合外科手术引导***
WO2012041553A1 (de) * 2010-09-28 2012-04-05 Leica Geosystems Ag Digitales multispektrales kamerasystem mit wenigstens zwei unabhängigen digitalen kameras
CN102721469A (zh) * 2012-06-14 2012-10-10 中国科学院自动化研究所 双相机的多光谱成像***和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000006980A1 (en) * 1998-07-27 2000-02-10 Cedars-Sinai Medical Center Spectral topography of mammalian matter
WO2011113162A1 (en) * 2010-03-17 2011-09-22 Haishan Zeng Rapid multi-spectral imaging methods and apparatus and applications for cancer detection and localization
WO2012041553A1 (de) * 2010-09-28 2012-04-05 Leica Geosystems Ag Digitales multispektrales kamerasystem mit wenigstens zwei unabhängigen digitalen kameras
CN102397106A (zh) * 2011-10-03 2012-04-04 杨晓峰 多光谱分光融合外科手术引导***
CN102721469A (zh) * 2012-06-14 2012-10-10 中国科学院自动化研究所 双相机的多光谱成像***和方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103284681A (zh) * 2013-05-24 2013-09-11 中国科学院苏州生物医学工程技术研究所 一种血管内双光谱成像装置
WO2014205738A1 (zh) * 2013-06-27 2014-12-31 中国科学院自动化研究所 基于内窥镜的多光谱视频导航***和方法
CN103300812A (zh) * 2013-06-27 2013-09-18 中国科学院自动化研究所 基于内窥镜的多光谱视频导航***和方法
CN103340601A (zh) * 2013-06-27 2013-10-09 中国科学院自动化研究所 基于内窥镜的多光谱成像***和方法
CN103411885A (zh) * 2013-07-18 2013-11-27 江苏大学 一种多光谱成像***的漫反射照明装置
CN104116497A (zh) * 2014-07-22 2014-10-29 中国科学院自动化研究所 内窥式光学分子影像导航***和多光谱成像方法
CN104202587A (zh) * 2014-08-08 2014-12-10 娄定风 立体多光谱昆虫辨识装置及其识别方法
WO2016029403A1 (zh) * 2014-08-28 2016-03-03 中国科学院自动化研究所 一种头戴式分子影像导航***
WO2016041155A1 (zh) * 2014-09-16 2016-03-24 中国科学院自动化研究所 三维光学分子影像导航***和方法
CN105054890A (zh) * 2015-09-07 2015-11-18 中国医学科学院生物医学工程研究所 一种基于内窥镜的肿瘤组织检测装置
CN106124049A (zh) * 2016-06-20 2016-11-16 福州大学 一种植被冠层多光谱成像***的实现方法
EP3525443A4 (en) * 2016-10-08 2019-11-27 Hangzhou Hikvision Digital Technology Co., Ltd. CAMERA OBJECTIVE AND VIDEO CAMERA
WO2018064903A1 (zh) * 2016-10-08 2018-04-12 杭州海康威视数字技术股份有限公司 一种镜头及摄像机
CN107920188A (zh) * 2016-10-08 2018-04-17 杭州海康威视数字技术股份有限公司 一种镜头及摄像机
CN107230185A (zh) * 2017-05-03 2017-10-03 北京理工大学 用于超光谱成像平台中双相机图像的对齐方法
CN107170015A (zh) * 2017-05-17 2017-09-15 海南大学 一种砗磲外套膜图片采集装置及其使用方法
CN107349433A (zh) * 2017-06-30 2017-11-17 中国科学院自动化研究所 近红外纳米探针、制备方法及全息分子影像导航***
CN107728421A (zh) * 2017-11-05 2018-02-23 信利光电股份有限公司 一种多光谱的多摄像头模组的校准方法和校准***
CN107911692A (zh) * 2017-11-05 2018-04-13 信利光电股份有限公司 一种多光谱的多摄像头模组的校准方法
CN107911692B (zh) * 2017-11-05 2020-02-14 信利光电股份有限公司 一种多光谱的多摄像头模组的校准方法
CN108896545A (zh) * 2018-05-09 2018-11-27 歌尔股份有限公司 涂胶检测方法、装置及计算机可读存储介质
CN108896545B (zh) * 2018-05-09 2021-07-13 歌尔光学科技有限公司 涂胶检测方法、装置及计算机可读存储介质
CN109738069A (zh) * 2018-12-27 2019-05-10 浙江农林大学暨阳学院 多光谱成像照明空间非均匀性校正的方法
CN110031411A (zh) * 2019-04-17 2019-07-19 南京邮电大学 一种光谱成像***
CN115480385A (zh) * 2021-05-31 2022-12-16 博瑞生物医疗科技(深圳)有限公司 手术显微镜***及其成像方法

Similar Documents

Publication Publication Date Title
CN102809429A (zh) 基于双相机的多光谱成像***和方法
CN102721469B (zh) 双相机的多光谱成像***和方法
CN103340601A (zh) 基于内窥镜的多光谱成像***和方法
CN103300812A (zh) 基于内窥镜的多光谱视频导航***和方法
CN104116497B (zh) 内窥式光学分子影像导航***和多光谱成像方法
CN103385696A (zh) 一种激发荧光实时成像***及方法
CN101933417B (zh) 基于机器视觉的玉米考种装置
CN102151122B (zh) 激发荧光分子成像***及一次荧光成像方法
CN104367380B (zh) 视野可切换的双光路分子影像导航***及成像方法
CN102028477B (zh) 一种测量眼底视网膜血氧饱和度的装置及方法
CN207283655U (zh) 一种双镜头黑光摄像机
KR20110125173A (ko) 촬상 장치
CN105342561B (zh) 无线声控穿戴式分子影像导航***
CN103973976B (zh) 一种利用光学成像的显著性提取装置及方法
CN107518879A (zh) 一种荧光成像装置及方法
CN103126654A (zh) 一种近红外体表血管检测仪的检测***
CN109444056A (zh) 一种双目成像式水下光谱反射率原位测量装置及测量方法
CN104992446B (zh) 非线性光照自适应的图像拼接方法及其实现***
CN110018122A (zh) 基于多光谱成像技术的迷彩伪装材料检测装置和方法
CN208954611U (zh) 一种户外led显示屏亮度校正***
CN106375742A (zh) 一种夜视真彩色图像获取装置及方法
CN106331662A (zh) 一种图像撷取装置及图像撷取方法
RU2726257C1 (ru) Установка для автоматического измерения параметров растений
CN105919543A (zh) 一种多光谱内窥镜成像图像的获取方法及其***
CN101627899A (zh) 微循环双通道仿立体伪彩色显微视频成像***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121205