CN114598829A - 一种单cmos成像***及方法 - Google Patents
一种单cmos成像***及方法 Download PDFInfo
- Publication number
- CN114598829A CN114598829A CN202210262887.6A CN202210262887A CN114598829A CN 114598829 A CN114598829 A CN 114598829A CN 202210262887 A CN202210262887 A CN 202210262887A CN 114598829 A CN114598829 A CN 114598829A
- Authority
- CN
- China
- Prior art keywords
- light source
- control device
- main control
- frame
- cmos
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title abstract description 15
- 230000005284 excitation Effects 0.000 claims description 32
- 238000000799 fluorescence microscopy Methods 0.000 claims description 22
- 238000004043 dyeing Methods 0.000 claims description 20
- 238000001914 filtration Methods 0.000 claims description 20
- 230000002194 synthesizing effect Effects 0.000 claims description 14
- 239000004065 semiconductor Substances 0.000 description 10
- 238000000701 chemical imaging Methods 0.000 description 8
- 230000000295 complement effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 229910044991 metal oxide Inorganic materials 0.000 description 4
- 150000004706 metal oxides Chemical class 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 229910052732 germanium Inorganic materials 0.000 description 2
- GNPVGFCGXDBREM-UHFFFAOYSA-N germanium atom Chemical compound [Ge] GNPVGFCGXDBREM-UHFFFAOYSA-N 0.000 description 2
- -1 made of two elements Substances 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 239000000872 buffer Substances 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Endoscopes (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种单CMOS成像***及方法，包括：主控装置、三色光源、CMOS图像传感器；所述三色光源包括三个单色光源，所述单色光源包括B单色光源、G单色光源和R单色光源；所述主控装置分别与所述三色光源和所述CMOS图像传感器连接；所述主控装置控制各单色光源按照所述CMOS图像传感器的曝光时序发光；所述CMOS图像传感器依序曝光并将各单色光源照射下的三帧单色图像数据传输至所述主控装置；所述主控装置基于所述三帧单色图像数据合成一帧RGB彩色图像，以供显示；其中，所述三帧单色图像数据包括一帧R单色图像、一帧G单色图像和一帧B单色图像。通过发明分别接收单帧的三个单色图像，并合成RGB彩色图像，以使得成像的质量更好。
Description
技术领域
本发明涉及图像处理领域，尤指一种单CMOS成像***及方法。
背景技术
目前CMOS技术发展还不成熟，这种高质量的CMOS还只应用于专业级别的数码相机上，许多低档入门型的数码相机使用的是廉价低档的CMOS，其成像质量比较差。最大的缺点就是太容易出现噪点，这主要是因为早期的设计使CMOS在处理快速变化的影像时，由于电流变化过于频繁而会产生过热的现象。
在成像时传统主要使用3色过滤矩阵，对每一个光点(或称像素)产生3种不同颜色的强度：红色(R)，绿色(G)和蓝色(B)数据，再将这些数据整合发色，形成我们所看到的影像。但是此种影像无法满足人类视觉对颜色的感知。
发明内容
本发明的目的是解决上述问题。一方面，本发明提供一种单CMOS成像***，包括：
主控装置、三色光源、CMOS图像传感器；所述主控装置分别与所述三色光源和所述CMOS图像传感器连接；
所述三色光源包括B单色光源、G单色光源和R单色光源；
所述主控装置控制各单色光源按照所述CMOS图像传感器的曝光时序发光；所述CMOS图像传感器依序曝光并将各单色光源照射下的三帧单色图像数据传输至所述主控装置；所述主控装置基于所述三帧单色图像数据合成一帧RGB彩色图像，以供显示；
其中，所述三帧单色图像数据包括一帧R单色图像、一帧G单色图像和一帧B单色图像。
在一些实施例中：
所述主控装置通过滤波、配准、白平衡、调伽马、CCM和图像增强，将缓存的三帧单色图像数据合成一帧RGB彩色图像。
一种单CMOS成像方法，包括：
通过主控装置控制各单色光源按照CMOS图像传感器的曝光时序发光；
通过所述CMOS图像传感器依序曝光并将各单色光源照射下的三帧单色图像数据传输至所述主控装置；
利用所述主控装置基于所述三帧单色图像数据合成一帧RGB彩色图像，以供显示；
其中，所述三帧单色图像数据包括一帧R单色图像、一帧G单色图像和一帧B单色图像。
在一些实施例中，所述利用所述主控装置基于所述三帧单色图像数据合成一帧RGB彩色图像，具体包括：
所述主控装置通过滤波、配准、白平衡、调伽马、CCM和图像增强，将缓存的三帧单色图像数据合成一帧RGB彩色图像。
一种单CMOS成像***，包括：
主控装置、三色光源、CMOS图像传感器；所述主控装置分别与所述三色光源和所述CMOS图像传感器连接；
所述三色光源包括B单色光源、G单色光源和R单色光源；
所述主控装置控制各单色光源按照所述CMOS图像传感器的曝光时序发光；
所述CMOS图像传感器依序曝光并将各单色光源照射下的三帧单色图像数据缓存传输至所述主控装置；
所述主控装置经过空间配准，利用不同波长的光聚焦在不同焦平面的距离差以获取空间距离信息；
所述主控装置基于所述三帧单色图像数据、所述空间距离信息合成一帧三维RGB彩色图像，以供3D显示器进行显示；
其中，所述三个单色光源的波长均不同；所述三帧单色图像数据包括一帧R单色图像、一帧G单色图像和一帧B单色图像。
在一些实施例中：
所述主控装置通过滤波、配准、白平衡、调伽马、CCM和图像增强，将缓存的三帧单色图像数据合成一帧三维RGB彩色图像。
一种单CMOS成像方法，包括：
主控装置分别与三色光源和CMOS图像传感器连接；所述主控装置控制所述三色光源的各单色光源按照所述CMOS图像传感器的曝光时序发光；
所述CMOS图像传感器依序曝光并将各单色光源照射下的三帧单色图像数据缓存传输至所述主控装置；
所述主控装置经过空间配准，利用不同波长的光聚焦在不同焦平面的距离差以获取空间距离信息；
所述主控装置基于所述三帧单色图像数据、所述空间距离信息合成一帧三维RGB彩色图像，以供3D显示器进行显示；
其中，所述三个单色光源的波长均不同；所述三帧单色图像数据包括一帧R单色图像、一帧G单色图像和一帧B单色图像。
在一些实施例中，所述所述主控装置基于所述三帧单色图像数据、所述空间距离信息合成一帧三维RGB彩色图像，具体包括：
所述主控装置通过滤波、配准、白平衡、调伽马、CCM和图像增强，将缓存的三帧单色图像数据合成一帧三维RGB彩色图像。
一种单CMOS成像***，包括：
主控装置、三色光源、窄带光源、NIR激发光源、CMOS图像传感器；所述三色光源包括B单色光源、G单色光源和R单色光源；
所述主控装置分别与所述三色光源、所述窄带光源、所述NIR激发光源和所述CMOS图像传感器连接；
在窄带光染色工作模式下，所述主控装置控制所述窄带光源和各单色光源按照所述CMOS图像传感器的曝光时序发光；所述CMOS图像传感器依序曝光并将所述窄带光源和所述各单色光源照射下的三帧单色图像数据缓存传输至所述主控装置；所述主控装置基于所述三帧单色图像数据合成一帧含有窄带光染色信息的彩色图像，以供显示器进行显示；
在荧光成像工作模式下，所述主控装置控制所述NIR激发光源输出，所述CMOS图像传感器接收所述NIR激发光源输出后的激发光成像信号；所述主控装置控制所述各单色光源按照所述CMOS图像传感器的曝光时序发光；所述CMOS图像传感器依序曝光并将所述各单色光源照射下的三帧单色图像数据、所述激发光成像信号缓存传输至所述主控装置；所述主控装置基于所述三帧单色图像数据和所述激发光成像信号合成一帧含有荧光成像的彩色图像，以供显示器进行显示；
其中，所述三个单色光源的波长均不同；所述三帧单色图像数据包括一帧R单色图像、一帧G单色图像和一帧B单色图像。
一种单CMOS成像方法，包括：
在窄带光染色工作模式下，主控装置控制窄带光源和各单色光源按照CMOS图像传感器的曝光时序发光；所述CMOS图像传感器依序曝光并将所述窄带光源和所述各单色光源照射下的三帧单色图像数据缓存传输至所述主控装置；所述主控装置基于所述三帧单色图像数据合成一帧含有窄带光染色信息的彩色图像，以供显示器进行显示；
在荧光成像工作模式下，所述主控装置控制NIR激发光源输出，所述CMOS图像传感器接收所述NIR激发光源输出后的激发光成像信号；所述主控装置控制所述各单色光源按照所述CMOS图像传感器的曝光时序发光；所述CMOS图像传感器依序曝光并将所述各单色光源照射下的三帧单色图像数据、所述激发光成像信号缓存传输至所述主控装置；所述主控装置基于所述三帧单色图像数据和所述激发光成像信号合成一帧含有荧光成像的彩色图像，以供显示器进行显示；
其中，所述三个单色光源的波长均不同；所述三帧单色图像数据包括一帧R单色图像、一帧G单色图像和一帧B单色图像。
本发明的技术效果在于：
通过发明分别接收单帧的三个单色图像，并合成RGB彩色图像，以使得成像的质量更好。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细说明：
图1是本发明的一种单CMOS成像***的一个实施例的结构示意图；
图2是本发明的一种单CMOS成像方法的一个实施例的结构示意图；
图3是本发明的一种单CMOS成像方法的一个实施例的结构示意图；
图4是本发明的一种单CMOS成像方法的一个实施例的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。
还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在本文中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
在一个实施例中，如图1所示，本发明提供一种单CMOS成像***的实施例，此***为单CMOS分时4K平面成像***，具体包括：
主控装置1、三色光源3、CMOS图像传感器2。所述主控装置分别与所述三色光源和所述CMOS图像传感器连接。
所述三色光源包括B单色光源、G单色光源和R单色光源。
其中，B单色光源是指发出蓝光的光源；G单色光源是指发出黄光的光源；R单色光源是指发出红光的光源。
所述主控装置控制各单色光源按照所述CMOS图像传感器的曝光时序发光；所述CMOS图像传感器依序曝光并将各单色光源照射下的三帧单色图像数据传输至所述主控装置；所述主控装置基于所述三帧单色图像数据合成一帧RGB彩色图像，以供显示。
其中，所述三帧单色图像数据包括一帧R单色图像、一帧G单色图像和一帧B单色图像。
其中，CMOS(Complementary Metal-Oxide Semiconductor)即互补性金属氧化物半导体，其在微处理器、闪存和特定用途集成电路(ASIC)的半导体技术上占有绝对重要的地位。CMOS和CCD一样都是可用来感受光线变化的半导体。CMOS主要是利用硅和锗这两种元素所作成的半导体，通过CMOS上带负电和带正电的晶体管来实现基本的功能的。这两个互补效应所产生的电流即可被处理芯片记录和解读成影像。
本实施例的装置相当于一个摄像头，安装在宫腔镜上，进行4K实时成像，以方便进行手术或检查。
在一个实施例中，基于上述实施例，在本实施例中与上述实施例相同的部分就不一一赘述了，本实施例提供一种单CMOS成像***，此***为单CMOS分时4K平面成像***，具体包括：
各单色光源按照所述CMOS图像传感器的曝光时序发光时，所述单色光源的切换频率大于360Hz。
所述CMOS图像传感器为4K高速黑白CMOS图像传感器，其帧率大于300Hz。
所述主控装置通过滤波、配准、白平衡、调伽马、CCM和图像增强，将缓存的三帧单色图像数据合成一帧RGB彩色图像。
所述三色光源包括三色激光光源或LED光源。
示例性的，在单CMOS分时4K成像***中：
1、4K高速、黑白CMOS图像传感器，帧率大于300Hz。
2、B、G、R三色激光光源(或LED光源)、中心波长分别为450nm、540nm和640nm，半峰宽度小于30nm，每种光源可单独控制独立发光，也可以合成白光输出，每种光源切换频率大于360Hz。
3、激光光源(LED光源)在光源驱动和图像处理主机控制下，按照CMOS曝光时序顺序激发B、G、R单色光源发光。
4、在每个单色光源照射下，CMOS依序曝光，并把各单色光源照射下的图像数据采集到图像处理主机并缓存。
5、图像处理主机经过滤波、配准、白平衡、调伽马、CCM，图像增强等算法，将缓存的三帧单色图像数据合成一阵RGB彩色图像，并推出到医用显示器进行显示。
6、重复以上过程，即可得到每秒60帧的实时视频。
在本实施例中，通过三个单色光源分别按CMOS传感器的时序发光，CMOS传感器可以得到同一个像素的三帧单色图像，
在一个实施例中，基于上述实施例，在本实施例中与上述实施例相同的部分就不一一赘述了，如图2所示，本实施例提供一种单CMOS成像方法，包括：
S101通过主控装置控制各单色光源按照CMOS图像传感器的曝光时序发光。
S102通过所述CMOS图像传感器依序曝光并将各单色光源照射下的三帧单色图像数据传输至所述主控装置。
S103利用所述主控装置基于所述三帧单色图像数据合成一帧RGB彩色图像，以供显示。
其中，所述三帧单色图像数据包括一帧R单色图像、一帧G单色图像和一帧B单色图像。
在所述通过所述CMOS图像传感器依序曝光并将各单色光源照射下的三帧单色图像数据传输至所述主控装置之前，还包括步骤：
通过各单色光源按照所述CMOS图像传感器的曝光时序发光；
其中，所述单色光源的切换频率大于360Hz。
所述CMOS图像传感器为4K高速黑白CMOS图像传感器，其帧率大于300Hz。
所述利用所述主控装置基于所述三帧单色图像数据合成一帧RGB彩色图像，以供显示，包括步骤：
所述主控装置通过滤波、配准、白平衡、调伽马、CCM和图像增强，将缓存的三帧单色图像数据合成一帧RGB彩色图像。
其中，所述三色光源包括三色激光光源或LED光源。
在一个实施例中，如图1所示，本发明提供一种单CMOS成像***，此***是单CMOS分时3D成像***，包括：
主控装置1、三色光源3、CMOS图像传感器2。所述主控装置分别与所述三色光源和所述CMOS图像传感器连接。
所述三色光源包括三个单色光源，所述单色光源包括B单色光源、G单色光源和R单色光源。
其中，B单色光源是指发出蓝光的光源；G单色光源是指发出黄光的光源；R单色光源是指发出红光的光源。
所述主控装置控制各单色光源按照所述CMOS图像传感器的曝光时序发光。
所述CMOS图像传感器依序曝光并将各单色光源照射下的三帧单色图像数据缓存传输至所述主控装置。
所述主控装置经过空间配准，利用不同波长的光聚焦在不同焦平面的距离差以获取空间距离信息；所述主控装置基于所述三帧单色图像数据、所述空间距离信息合成一帧三维RGB彩色图像，以供3D显示器进行显示。
其中，所述三个单色光源的波长均不同；所述三帧单色图像数据包括一帧R单色图像、一帧G单色图像和一帧B单色图像。
其中，CMOS(Complementary Metal-Oxide Semiconductor)即互补性金属氧化物半导体，其在微处理器、闪存和特定用途集成电路(ASIC)的半导体技术上占有绝对重要的地位。CMOS和CCD一样都是可用来感受光线变化的半导体。CMOS主要是利用硅和锗这两种元素所作成的半导体，通过CMOS上带负电和带正电的晶体管来实现基本的功能的。这两个互补效应所产生的电流即可被处理芯片记录和解读成影像。
本实施例的装置相当于一个摄像头，安装在宫腔镜上，进行4K实时成像，以方便进行手术或检查。
在本实施例中，激光光源(LED光源)在光源驱动和图像处理主机控制下，按照CMOS曝光时序顺序激发B、G、R单色光源发光。在每个单色光源照射下，CMOS依序曝光，并把各单色光源照射下的图像数据采集到图像处理主机并缓存。图像处理主机经过空间配准，利用不同波长的光聚焦在不同焦平面的距离差，提取出空间距离信息。经过白平衡、滤波、调伽马、CCM，图像增强等算法，将缓存的三帧单色图像数据合成一阵RGB彩色3D图像，并推出到医用3D显示器进行显示。重复以上过程，即可得到每秒60帧的3D实时视频。
其中，图像处理主机为主控装置。
在本实施例中，通过本单CMOS分时3D成像***能够低成本、高质量的得到3D图像，并应用与医疗领域。
在一个实施例中，基于上述实施例，在本实施例中与上述实施例相同的部分就不一一赘述了，本实施例提供一种单CMOS分时3D成像***，具体包括：
各单色光源按照所述CMOS图像传感器的曝光时序发光时，所述单色光源的切换频率大于360Hz。
所述CMOS图像传感器为4K高速黑白CMOS图像传感器，其帧率大于300Hz。
所述主控装置通过滤波、配准、白平衡、调伽马、CCM和图像增强，将缓存的三帧单色图像数据合成一帧RGB彩色图像。
所述三色光源包括三色激光光源或LED光源。
示例性的，在单CMOS分时4K成像***中：
1、4K高速、黑白CMOS图像传感器，帧率大于300Hz。
2、B、G、R三色激光光源(或LED光源)、中心波长分别为450nm、540nm和640nm，半峰宽度小于30nm，每种光源可单独控制独立发光，也可以合成白光输出，每种光源切换频率大于360Hz。
3、激光光源(LED光源)在光源驱动和图像处理主机控制下，按照CMOS曝光时序顺序激发B、G、R单色光源发光。
4、在每个单色光源照射下，CMOS依序曝光，并把各单色光源照射下的图像数据采集到图像处理主机并缓存；
5、图像处理主机经过空间配准，利用不同波长的光聚焦在不同焦平面的距离差，提取出空间距离信息；
6、经过白平衡、滤波、调伽马、CCM，图像增强等算法，将缓存的三帧单色图像数据合成一阵RGB彩色3D图像，并推出到医用3D显示器进行显示。
7、重复以上过程，即可得到每秒60帧的3D实时视频。
在本实施例中，通过三个单色光源分别按CMOS传感器的时序发光，CMOS传感器可以得到同一个像素的三维的三帧单色图像。
在一个实施例中，基于上述实施例，在本实施例中与上述实施例相同的部分就不一一赘述了，如图3所示，本实施例提供一种单CMOS分时3D成像方法，包括：
S201通过主控装置控制各单色光源按照CMOS图像传感器的曝光时序发光。
S202通过所述CMOS图像传感器依序曝光并将各单色光源照射下的三帧单色图像数据传输至所述主控装置。
S203所述主控装置经过空间配准，利用不同波长的光聚焦在不同焦平面的距离差以获取空间距离信息。
S204利用所述主控装置基于所述三帧单色图像数据、所述空间距离信息合成一帧三维RGB彩色图像，以供3D显示器进行显示。
其中，所述三个单色光源的波长均不同；所述三帧单色图像数据包括一帧R单色图像、一帧G单色图像和一帧B单色图像。
在所述通过所述CMOS图像传感器依序曝光并将各单色光源照射下的三帧单色图像数据传输至所述主控装置之前，还包括步骤：
通过各单色光源按照所述CMOS图像传感器的曝光时序发光；其中，所述单色光源的切换频率大于360Hz。
所述CMOS图像传感器为4K高速黑白CMOS图像传感器，其帧率大于300Hz。
所述利用所述主控装置基于所述三帧单色图像数据合成一帧RGB彩色图像，以供显示，包括步骤：
所述主控装置通过滤波、配准、白平衡、调伽马、CCM和图像增强，将缓存的三帧单色图像数据合成一帧RGB彩色图像。
其中，所述三色光源包括三色激光光源或LED光源。
在本实施例中，激光光源(LED光源)在光源驱动和图像处理主机控制下，按照CMOS曝光时序顺序激发B、G、R单色光源发光。在每个单色光源照射下，CMOS依序曝光，并把各单色光源照射下的图像数据采集到图像处理主机并缓存。图像处理主机经过空间配准，利用不同波长的光聚焦在不同焦平面的距离差，提取出空间距离信息。经过白平衡、滤波、调伽马、CCM，图像增强等算法，将缓存的三帧单色图像数据合成一阵RGB彩色3D图像，并推出到医用3D显示器进行显示。重复以上过程，即可得到每秒60帧的3D实时视频。
在一个实施例中，本发明提供一种单CMOS成像***，此***为单CMOS分时4K多光谱成像***，包括：
主控装置、三色光源、窄带光源、NIR激发光源、CMOS图像传感器；所述三色光源包括三个单色光源，三个单色光源分别为B单色光源、G单色光源和R单色光源。
所述主控装置分别与所述三色光源、所述窄带光源、所述NIR激发光源和所述CMOS图像传感器连接。
在窄带光染色工作模式下，所述主控装置控制所述窄带光源和各单色光源按照所述CMOS图像传感器的曝光时序发光；所述CMOS图像传感器依序曝光并将所述窄带光源和所述各单色光源照射下的三帧单色图像数据缓存传输至所述主控装置；所述主控装置基于所述三帧单色图像数据合成一帧含有窄带光染色信息的彩色图像，以供显示器进行显示。
在荧光成像工作模式下，所述主控装置控制所述NIR激发光源输出，所述CMOS图像传感器接收所述NIR激发光源输出后的激发光成像信号；所述主控装置控制所述各单色光源按照所述CMOS图像传感器的曝光时序发光；所述CMOS图像传感器依序曝光并将所述各单色光源照射下的三帧单色图像数据、所述激发光成像信号缓存传输至所述主控装置；所述主控装置基于所述三帧单色图像数据和所述激发光成像信号合成一帧含有荧光成像的彩色图像，以供显示器进行显示。
其中，所述三个单色光源的波长均不同；所述三帧单色图像数据包括一帧R单色图像、一帧G单色图像和一帧B单色图像。
具体的，此成像***为单CMOS分时4K多光谱成像***，在本实施例中具体包括：
1、CMOS图像传感器为4K高速、黑白CMOS图像传感器，帧率大于300Hz。通过本CMOS图像传感器获取的图像信息，后续可以合成4K60Hz图像。
2、B、G、R三色激光光源(或LED光源)、中心波长分别为450nm、540nm和640nm，半峰宽度小于30nm，每种光源可单独控制独立发光，也可以合成白光输出，每种光源切换频率大于360Hz。
具体的，按照格拉斯曼定律，这三种单色光可以定性混合成CIE标准色度***中所有颜色的光。
3、窄带光源中心波长为415nm，NIR激发光源中心波长785nm，半峰宽度小于30nm。
4、多光谱成像***有两种工作模式：窄带光染色成像工作模式，荧光成像工作模式。
5、在窄带光染色工作模式下，415nm光源、激光光源(LED光源)在光源驱动和图像处理主机控制下，按照CMOS曝光时序顺序激发415nm、B、G、R单色光源发光。
6、在每个单色光源照射下，CMOS依序曝光，并把各单色光源照射下的图像数据采集到图像处理主机并缓存。
7、图像处理主机经过配准、白平衡、滤波、调伽马、CCM，图像增强等算法，将缓存的4帧单色图像数据合成一帧含有窄带光染色信息的彩色图像，并推出到医用显示器进行显示。
8、重复5-7过程，即可得到每秒60帧的窄带光染色的实时视频。
9、在荧光成像工作模式下，控制785nm NIR光源输出。
10、CMOS前端的接收镜头滤除785nm波长的信号，接收由785nm激发出来的835nm波段的成像信号。
11、激光光源(LED光源)在光源驱动和图像处理主机控制下，按照CMOS曝光时序顺序激发B、G、R单色光源发光。
12、在每个单色光源照射下，CMOS依序曝光，并把各单色光源照射下的图像数据采集到图像处理主机并缓存。
13、图像处理主机经过配准、白平衡、滤波、调伽马、CCM，图像增强等算法，将缓存的4帧单色图像数据合成一帧含有荧光成像的彩色图像，并推出到医用显示器进行显示。
14、重复9-13过程，即可得到每秒60帧的荧光成像实时视频。
在本实施例中，通过此单CMOS分时4K多光谱成像***可以实现多光谱成像，基于三帧单色图像数据和激发光成像信号合成一帧含有荧光成像的彩色图像，以供显示器进行显示。
在一个实施例中，一种单CMOS成像方法，如图4所示，包括：
S301在窄带光染色工作模式下，主控装置控制窄带光源和各单色光源按照CMOS图像传感器的曝光时序发光；所述CMOS图像传感器依序曝光并将所述窄带光源和所述各单色光源照射下的三帧单色图像数据缓存传输至所述主控装置；所述主控装置基于所述三帧单色图像数据合成一帧含有窄带光染色信息的彩色图像，以供显示器进行显示。
S302在荧光成像工作模式下，所述主控装置控制NIR激发光源输出，所述CMOS图像传感器接收所述NIR激发光源输出后的激发光成像信号；所述主控装置控制所述各单色光源按照所述CMOS图像传感器的曝光时序发光；所述CMOS图像传感器依序曝光并将所述各单色光源照射下的三帧单色图像数据、所述激发光成像信号缓存传输至所述主控装置；所述主控装置基于所述三帧单色图像数据和所述激发光成像信号合成一帧含有荧光成像的彩色图像，以供显示器进行显示。
其中，所述三个单色光源的波长均不同；所述三帧单色图像数据包括一帧R单色图像、一帧G单色图像和一帧B单色图像。
具体的，1、4K高速、黑白CMOS图像传感器，帧率大于300Hz。
2、B、G、R三色激光光源(或LED光源)、中心波长分别为450nm、540nm和640nm，半峰宽度小于30nm，每种光源可单独控制独立发光，也可以合成白光输出，每种光源切换频率大于360Hz。
3、窄带光源中心波长为415nm，NIR激发光源中心波长785nm，半峰宽度小于30nm。
4、多光谱成像***有两种工作模式：窄带光染色成像工作模式，荧光成像工作模式。
5、在窄带光染色工作模式下，415nm光源、激光光源(LED光源)在光源驱动和图像处理主机控制下，按照CMOS曝光时序顺序激发415nm、B、G、R单色光源发光。
6、在每个单色光源照射下，CMOS依序曝光，并把各单色光源照射下的图像数据采集到图像处理主机并缓存。
7、图像处理主机经过配准、白平衡、滤波、调伽马、CCM，图像增强等算法，将缓存的4帧单色图像数据合成一帧含有窄带光染色信息的彩色图像，并推出到医用显示器进行显示。
8、重复5-7过程，即可得到每秒60帧的窄带光染色的实时视频。
9、在荧光成像工作模式下，控制785nm NIR光源输出。
10、CMOS前端的接收镜头滤除785nm波长的信号，接收由785nm激发出来的835nm波段的成像信号。
11、激光光源(LED光源)在光源驱动和图像处理主机控制下，按照CMOS曝光时序顺序激发B、G、R单色光源发光。
12、在每个单色光源照射下，CMOS依序曝光，并把各单色光源照射下的图像数据采集到图像处理主机并缓存。
13、图像处理主机经过配准、白平衡、滤波、调伽马、CCM，图像增强等算法，将缓存的4帧单色图像数据合成一帧含有荧光成像的彩色图像，并推出到医用显示器进行显示。
14、重复9-13过程，即可得到每秒60帧的荧光成像实时视频。
在本实施例中，通过此单CMOS分时4K多光谱成像***可以实现多光谱成像方法，基于三帧单色图像数据和激发光成像信号合成一帧含有荧光成像的彩色图像，以供显示器进行显示。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种单CMOS成像***，其特征在于，包括：
主控装置、三色光源、CMOS图像传感器；所述主控装置分别与所述三色光源和所述CMOS图像传感器连接；
所述三色光源包括B单色光源、G单色光源和R单色光源；
所述主控装置控制各单色光源按照所述CMOS图像传感器的曝光时序发光；所述CMOS图像传感器依序曝光并将各单色光源照射下的三帧单色图像数据传输至所述主控装置；所述主控装置基于所述三帧单色图像数据合成一帧RGB彩色图像，以供显示；
其中，所述三帧单色图像数据包括一帧R单色图像、一帧G单色图像和一帧B单色图像。
2.根据权利要求1所述的单CMOS成像***，其特征在于：
所述主控装置通过滤波、配准、白平衡、调伽马、CCM和图像增强，将缓存的三帧单色图像数据合成一帧RGB彩色图像。
3.一种单CMOS成像方法，其特征在于，包括：
通过主控装置控制各单色光源按照CMOS图像传感器的曝光时序发光；
通过所述CMOS图像传感器依序曝光并将各单色光源照射下的三帧单色图像数据传输至所述主控装置；
利用所述主控装置基于所述三帧单色图像数据合成一帧RGB彩色图像，以供显示；
其中，所述三帧单色图像数据包括一帧R单色图像、一帧G单色图像和一帧B单色图像。
4.根据权利要求3所述的单CMOS成像***，其特征在于，所述利用所述主控装置基于所述三帧单色图像数据合成一帧RGB彩色图像，具体包括：
所述主控装置通过滤波、配准、白平衡、调伽马、CCM和图像增强，将缓存的三帧单色图像数据合成一帧RGB彩色图像。
5.一种单CMOS成像***，其特征在于，包括：
主控装置、三色光源、CMOS图像传感器；所述主控装置分别与所述三色光源和所述CMOS图像传感器连接；
所述三色光源包括B单色光源、G单色光源和R单色光源；
所述主控装置控制各单色光源按照所述CMOS图像传感器的曝光时序发光；
所述CMOS图像传感器依序曝光并将各单色光源照射下的三帧单色图像数据缓存传输至所述主控装置；
所述主控装置经过空间配准，利用不同波长的光聚焦在不同焦平面的距离差以获取空间距离信息；
所述主控装置基于所述三帧单色图像数据、所述空间距离信息合成一帧三维RGB彩色图像，以供3D显示器进行显示；
其中，所述三个单色光源的波长均不同；所述三帧单色图像数据包括一帧R单色图像、一帧G单色图像和一帧B单色图像。
6.根据权利要求5所述的单CMOS成像***，其特征在于：
所述主控装置通过滤波、配准、白平衡、调伽马、CCM和图像增强，将缓存的三帧单色图像数据合成一帧三维RGB彩色图像。
7.一种单CMOS成像方法，其特征在于，包括：
主控装置分别与三色光源和CMOS图像传感器连接；所述主控装置控制所述三色光源的各单色光源按照所述CMOS图像传感器的曝光时序发光；
所述CMOS图像传感器依序曝光并将各单色光源照射下的三帧单色图像数据缓存传输至所述主控装置；
所述主控装置经过空间配准，利用不同波长的光聚焦在不同焦平面的距离差以获取空间距离信息；
所述主控装置基于所述三帧单色图像数据、所述空间距离信息合成一帧三维RGB彩色图像，以供3D显示器进行显示；
其中，所述三个单色光源的波长均不同；所述三帧单色图像数据包括一帧R单色图像、一帧G单色图像和一帧B单色图像。
8.根据权利要求7所述的单CMOS成像方法，其特征在于，所述所述主控装置基于所述三帧单色图像数据、所述空间距离信息合成一帧三维RGB彩色图像，具体包括：
所述主控装置通过滤波、配准、白平衡、调伽马、CCM和图像增强，将缓存的三帧单色图像数据合成一帧三维RGB彩色图像。
9.一种单CMOS成像***，其特征在于，包括：
主控装置、三色光源、窄带光源、NIR激发光源、CMOS图像传感器；所述三色光源包括B单色光源、G单色光源和R单色光源；
所述主控装置分别与所述三色光源、所述窄带光源、所述NIR激发光源和所述CMOS图像传感器连接；
在窄带光染色工作模式下，所述主控装置控制所述窄带光源和各单色光源按照所述CMOS图像传感器的曝光时序发光；所述CMOS图像传感器依序曝光并将所述窄带光源和所述各单色光源照射下的三帧单色图像数据缓存传输至所述主控装置；所述主控装置基于所述三帧单色图像数据合成一帧含有窄带光染色信息的彩色图像，以供显示器进行显示；
在荧光成像工作模式下，所述主控装置控制所述NIR激发光源输出，所述CMOS图像传感器接收所述NIR激发光源输出后的激发光成像信号；所述主控装置控制所述各单色光源按照所述CMOS图像传感器的曝光时序发光；所述CMOS图像传感器依序曝光并将所述各单色光源照射下的三帧单色图像数据、所述激发光成像信号缓存传输至所述主控装置；所述主控装置基于所述三帧单色图像数据和所述激发光成像信号合成一帧含有荧光成像的彩色图像，以供显示器进行显示；
其中，所述三个单色光源的波长均不同；所述三帧单色图像数据包括一帧R单色图像、一帧G单色图像和一帧B单色图像。
10.一种单CMOS成像方法，其特征在于，包括：
在窄带光染色工作模式下，主控装置控制窄带光源和各单色光源按照CMOS图像传感器的曝光时序发光；所述CMOS图像传感器依序曝光并将所述窄带光源和所述各单色光源照射下的三帧单色图像数据缓存传输至所述主控装置；所述主控装置基于所述三帧单色图像数据合成一帧含有窄带光染色信息的彩色图像，以供显示器进行显示；
在荧光成像工作模式下，所述主控装置控制NIR激发光源输出，所述CMOS图像传感器接收所述NIR激发光源输出后的激发光成像信号；所述主控装置控制所述各单色光源按照所述CMOS图像传感器的曝光时序发光；所述CMOS图像传感器依序曝光并将所述各单色光源照射下的三帧单色图像数据、所述激发光成像信号缓存传输至所述主控装置；所述主控装置基于所述三帧单色图像数据和所述激发光成像信号合成一帧含有荧光成像的彩色图像，以供显示器进行显示；
其中，所述三个单色光源的波长均不同；所述三帧单色图像数据包括一帧R单色图像、一帧G单色图像和一帧B单色图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210262887.6A CN114598829A (zh) | 2022-03-17 | 2022-03-17 | 一种单cmos成像***及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210262887.6A CN114598829A (zh) | 2022-03-17 | 2022-03-17 | 一种单cmos成像***及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114598829A true CN114598829A (zh) | 2022-06-07 |
Family
ID=81817276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210262887.6A Pending CN114598829A (zh) | 2022-03-17 | 2022-03-17 | 一种单cmos成像***及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114598829A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150319412A1 (en) * | 2012-12-28 | 2015-11-05 | Fujifilm Corporation | Pixel correction method and image capture device |
| CN105919543A (zh) * | 2016-05-31 | 2016-09-07 | 深圳市中科康医疗科技有限公司 | 一种多光谱内窥镜成像图像的获取方法及其*** |
| US20170238791A1 (en) * | 2015-01-16 | 2017-08-24 | Olympus Corporation | Endoscope system |
| CN109923398A (zh) * | 2016-06-27 | 2019-06-21 | 奥马里·沃沙夫斯基 | 通过离散窄带同步照明的彩色成像 |
| CN110941135A (zh) * | 2018-09-21 | 2020-03-31 | 深圳光峰科技股份有限公司 | 动态色域调节***、方法及显示*** |
| CN111685711A (zh) * | 2020-05-25 | 2020-09-22 | 中国科学院苏州生物医学工程技术研究所 | 基于3d摄像头的医用内窥镜三维成像*** |
-
2022
- 2022-03-17 CN CN202210262887.6A patent/CN114598829A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150319412A1 (en) * | 2012-12-28 | 2015-11-05 | Fujifilm Corporation | Pixel correction method and image capture device |
| US20170238791A1 (en) * | 2015-01-16 | 2017-08-24 | Olympus Corporation | Endoscope system |
| CN105919543A (zh) * | 2016-05-31 | 2016-09-07 | 深圳市中科康医疗科技有限公司 | 一种多光谱内窥镜成像图像的获取方法及其*** |
| CN109923398A (zh) * | 2016-06-27 | 2019-06-21 | 奥马里·沃沙夫斯基 | 通过离散窄带同步照明的彩色成像 |
| CN110941135A (zh) * | 2018-09-21 | 2020-03-31 | 深圳光峰科技股份有限公司 | 动态色域调节***、方法及显示*** |
| CN111685711A (zh) * | 2020-05-25 | 2020-09-22 | 中国科学院苏州生物医学工程技术研究所 | 基于3d摄像头的医用内窥镜三维成像*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106388756B (zh) | 图像处理装置及其工作方法以及内窥镜*** | |
| JP4940361B2 (ja) | カラー画像を撮像するための装置 | |
| US8259203B2 (en) | Method and apparatus for achieving panchromatic response from a color-mosaic imager | |
| JP4118916B2 (ja) | マルチスペクトル画像撮影装置 | |
| RU2510235C2 (ru) | Система визуализации для получения комбинированного изображения из полноцветного изображения в отраженном свете и изображение в ближней инфракрасной области | |
| JP2021192534A (ja) | 撮像装置及び撮像方法 | |
| US20130278738A1 (en) | Image processing apparatus and image processing method | |
| EP3737276A1 (en) | Time correlated source modulation for endoscopy | |
| TW201208366A (en) | Image processing apparatus, image processing method, and program | |
| US20200196847A1 (en) | Endoscope light source device and endoscope system | |
| JP2008136251A (ja) | マルチスペクトル画像撮影装置 | |
| CN104730828B (zh) | 光源单元及投影装置 | |
| CN113170048A (zh) | 一种图像处理的装置和方法 | |
| WO2020052626A1 (zh) | 一种基于图像曝光的多光谱成像***和方法 | |
| JP5041936B2 (ja) | 生体観測装置 | |
| CN106455955A (zh) | 图像处理装置 | |
| CN114598829A (zh) | 一种单cmos成像***及方法 | |
| JP7015382B2 (ja) | 内視鏡システム | |
| CA2383696A1 (en) | Weak light color imaging device | |
| CN114788258B (zh) | 成像设备、信息处理方法和程序 | |
| CN111835949B (zh) | 摄像装置、摄像***、非暂时性存储介质和控制方法 | |
| JP2021029509A (ja) | 撮像装置 | |
| JP6655504B2 (ja) | 画像処理装置、画像処理システム、移動体、及び画像処理方法 | |
| CN117061841B (zh) | 一种双晶片内窥镜成像方法及成像装置 | |
| JP2009284931A (ja) | 内視鏡装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |