CN107623831A - 一种昼夜全彩楼宇可视电话成像装置 - Google Patents

一种昼夜全彩楼宇可视电话成像装置 Download PDF

Info

Publication number
CN107623831A
CN107623831A CN201710687819.3A CN201710687819A CN107623831A CN 107623831 A CN107623831 A CN 107623831A CN 201710687819 A CN201710687819 A CN 201710687819A CN 107623831 A CN107623831 A CN 107623831A
Authority
CN
China
Prior art keywords
image
color
color image
sensor
infrared light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710687819.3A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Sperm Technology Co Ltd
Original Assignee
Sichuan Sperm Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Sperm Technology Co Ltd filed Critical Sichuan Sperm Technology Co Ltd
Priority to CN201710687819.3A priority Critical patent/CN107623831A/zh
Publication of CN107623831A publication Critical patent/CN107623831A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开一种昼夜全彩楼宇可视电话成像装置,属于楼宇可视电话技术领域,用于解决现有楼宇可视电话不能在近红外补光情况下获取夜间彩色图像的问题。本发明昼夜全彩楼宇可视电话成像装置,采用近红外补光照明,采用近红外增透镜头和单色图像传感器拍摄近红外+可见光灰度图像,采用与近红外增透镜头光轴平行的可见光镜头和彩色图像传感器拍摄可见光彩色图像,以灰度图像作为引导对彩色图像进行去噪,再在颜色与亮度分离颜色空间,对灰度图像和彩色图像进行图像细节和颜色融合,得到低照度近红外补光情况下彩色图像。本发明可用于实现昼夜全彩楼宇可视对讲。

Description

一种昼夜全彩楼宇可视电话成像装置
技术领域
本发明属于楼宇可视电话技术领域,特指一种昼夜全彩楼宇可视电话成像装置。
背景技术
楼宇可视电话是通过在大楼门口、或房间门口安装成像设备和音频设备,将来访人员影像和音频输出到住宅内,住宅主人即可在未开门的情况下,甄别来访人员,避免发生入室抢劫等意外事件。
现有楼宇可视电话在光照充足时,可以拍摄高质量彩色图像,在光照不足时,只能通过补充近红外光拍摄黑白图像。彩色图像对于来访人员甄别具有重要价值。可在光照不足时,白光补光可获取彩色图像。但是,这种补光方式,人眼可以感知,会对人眼造成光晕。因此,迫切需要解决在光轴不足情况,不使用白光补光,如何使楼宇可视电话拍摄彩色图像。
发明内容
为了克服现有楼宇可视电话成像装置,在光照不足、不使用白光补光情况下,无法拍摄彩色图像的问题,本发明公开一种昼夜全彩楼宇可视电话成像装置。
本发明解决上述问题的技术方案是:昼夜全彩楼宇可视电话成像装置由1个机壳(1)、1个光电传感器(2)、1个近红外光源(3)、1个近红外增透镜头(4)、1个单色图像传感器(5)、1个可见光镜头(6)、1个IRCUT(7)、1个彩色图像传感器(8)、1个处理电路(9)、1个供电接口(10)、1组数据接口(11)构成。
机壳(1)前端设置两个镜头接口,用于固定近红外增透镜头(1)和可见光镜头(2),在机壳前端设置光电传感器(2)。
光电传感器(2)选用可见光传感器,用于测量场景中可见光强度,以此判定是否开启或关闭近红外光源(3)。
近红外光源(3)固定在机壳(1)前方,在低照度情况下,对场景进行补充照明,近红外光源(3)波长范围为800nm~1000nm,照明视场角大于拍摄视场,近红外光源(3)具有控制信号输入接口,并与处理电路(9)连接,由处理电路(9)控制近红外光源开启或关闭。
近红外增透镜头(4)后端设置单色图像传感(5)用于拍摄灰度图像A。
可见光镜头(6)后端设置彩色图像传感器(8)用于拍摄彩色图像B,在彩色图像传感器(8)前端设置IRCUT(7),用于近红外光源(3)开启照明情况下过滤近红外光。
所述彩色图像传感器(8)为Bayer图像传感器,彩色图像B是由Bayer图像传感器拍摄的Bayer图像Q经图像去马赛克处理得到。
处理电路(9)是嵌入式硬件,可采用ARM、DSP、FPGA、ASIC、单片机等芯片实现;如图2所示,采集电路(9)与光电传感器(2)、近红外光源(3)的控制电路接口、单色图像传感器(5)、彩色图像传感器(8)、IRCUT(7)、供电接口(10)、数据接口(11)连接,为光电传感器(2)、单色图像传感器(5)、彩色图像传感器(8)、IRCUT(7)、数据接口(11)供电,完成光电传感器(2)测量信号采集与处理,单色图像传感(5)、彩色图像传感器(8)图像采集,完成ISP处理、图像融合、图像传输等操作,进行IRCUT、近红外光源驱动控制。
供电接口(10)与近红外光源(3)、处理电路(9)连接,为近红外光源(3)和处理电路(9)供电。
数据接口(11)用于摄像机控制、数据传输,相关接口包括:BNC、网络。
昼夜全彩楼宇可视电话成像装置工作流程是:处理电路(9)采集光电传感器(2)测量结果v,取值范围为0~255,当测量结果v>t时,摄像机进入白天工作模式,当测量值v<t时,摄像机进入夜间工作模式,其中t是判定阈值,取值范围为0~255。
在白天工作模式,处理电路(9)关闭近红外光源(3)、单色图像传感器(5),驱动IRCUT移开彩色图像传感器前端的IR滤光片,采集彩色图像传感器(8)Bayer图像Q,执行标准的ISP处理流程,获取白天彩色图像C,对图像C进行压缩、存储、传输等操作。
在夜间工作模式下,处理电路(9)开启近红外光源(3)照明、单色图像传感器(5)、彩色图像传感器(8),驱动IRCUT移动IR滤光片到彩色图像传感器前端,同步采集单色图像传感器(5)拍摄的灰度图像A和彩色图像传感器(8)拍摄的Bayer图像Q,对Bayer图像Q进行去马赛克处理得到彩色图像B,对灰度图像A和彩色图像B进行图像融合,得到夜间彩色图像C',再对图像C'进行压缩、传输。
在夜间工作模式下,对Bayer图像Q进行去马赛克处理得到彩色图像B的具体方法是:以2*2像素为处理单元,根据Bayer成像模式,抽取2*2像素块内的r、b通道像素作为彩色图像B的r、b通道值,抽取2*2像素块内的g通道像素均值作为彩色图像B的g通道值,得到的彩色图像B分辨率是Bayer图像Q的1/4。
在夜间工作模式下,对灰度图像A与彩色图像B进行融合,得到夜间彩色图像C'的方法,包括方法a和方法b。
方法a操作步骤如下:
第a-1步:采用图像插值方法对彩色图像B进行上采样得到彩色图像B',使彩色图像B'分辨率与灰度图像A相同;对近红外增透镜头(4)、可见光镜头(6)构成的双目立体成像***进行标定,获取灰度图像A与彩色图像B'像素坐标映射关系P:(iA,jA)=P(iB',jB'),其中(iA,jA)、(iB',jB')是灰度图像A和彩色图像B'的像素坐标;
所述图像插值方法,包括线性插值、双线性插值、高斯插值、B样条插值、RBF插值;
第a-2步:根据坐标映射关系P,对彩色图像B'进行坐标变换得到彩色图像B”,抽取灰度图像A与彩色图像B”的重叠区域,分别得到灰度图像E和彩色图像D,此时,灰度图像E与彩色图像D视场重合;
第a-3步:以灰度图像E作为引导图像,对彩色图像D的r、g、b颜色通道Dr,Dg,Db进行局部平滑滤波,得到去噪后彩色图像
第a-4步,在颜色与亮度分量颜色空间λ,把去噪后彩色图像转换为图像其中是亮度分量,是颜色分量,使用灰度图像E替换得到图像将图像转换为rgb颜色空间图像C',图像C'中亮度信息来源于图像E,颜色信息来源于图像
在第a-3步中,以图像E作为引导图像对彩色图像D进行局部平滑滤波的具体操作步骤如下:
第a-3-1步:
计算图像E的局部邻域均值:
μE=fm(E) (1)
计算图像D的三个颜色通道Dr,Dg,Db的局部邻域均值:
第a-3-2步:
计算图像E的局部邻域方差:
σE=fm(E.*E)-μE.*μE (5)
计算图像E与图像D三个颜色通道Dr,Dg,Db中对应像素的局部邻域协方差:
第a-3-3步:
计算线性变换系数:
其中,τrgb是一个罚分系数,取值范围为(0~10);
第a-3-4步:
计算线性变换系数局部邻域均值:
第a-3-5步:
对图像D三个颜色通道Dr,Dg,Db进行线性变换:
其中,fm(·)是图像均值滤波,窗口尺寸为s*s,s取值范围为3~111,.*是点乘操作,表示矩阵中相同位置处元素相乘,./是点除操作,表示矩阵中相同位置处元素相除。
方法b是对方法a中第a-3步得到的彩色图像和灰度图像E进行图像细节融合,获取更高质量低照度彩色图像C”,具体操作如下:
第b-1步:在颜色与亮度分量颜色空间λ,把彩色图像转换为图像其中是亮度分量,是颜色分量;
所述,颜色与亮度分离颜色空间λ包括YUV、YCbCr、HSI、Lab、CIEXYZ颜色空间;
第b-2步:对图像E进行图像保边缘多尺度分解,得到基图像和细节图像其中,(n+1)是图像分解的层数,取值范围为1~10;
所述基图像由图像保边缘平滑滤波得到:
所述图像保边缘平滑滤波fsmooth(·)包括加权最小二乘保边缘平滑滤波、基于局部极值的保边缘平滑滤波、基于局部拉普拉斯金字塔的保边缘平滑滤波、中值滤波、加权中值滤波方法;
多层细节图像由基图像与不同尺度平滑图像作差得到:
多层细节图像也可由两个不同尺度平滑图像作差得到:
其中,fsmooth(·)是图像保边缘平滑滤波,上标0、z、z1、z2是指滤波器尺度层标号,标号越大尺度越小,标号为0表示最大滤波尺度;
第b-3步:将基图像细节图像与亮度分量加权融合后,得到新的亮度分量
其中,{ω01,…,ωn+1}是加权系数,取值范围0~1;
第b-4步:基于新的亮度分量将图像转化为rgb颜色空间彩色图像C”,图像C”中亮度信息来源于图像E和图像颜色信息来源于图像
优选地,单色图像传感器(5)和彩色图像传感器(7)具有相同靶面尺寸、分辨率,成像平面共面,近红外增透镜头(4)和可见光镜头(6)具有相同的焦距、光圈F数、适应靶面尺寸,红外增透镜头(4)和可见光镜头(6)的光轴(12-1、12-2)平行、竖直放置、光轴间距g<30mm。
优选地,第a-2步可通过查表操作加速实现,根据坐标映射关系P:(iA,jA)=P(iB',jB')、以及重叠视场范围,计算灰度图像E到彩色图像D的坐标对应关系(i′B',j′B')=Q(iE,jE),再以查找表LUT预先存储;查找表LUT的长度为w*h,存储元素为2维向量(i′B',j′B'),w,h是灰度图像E的宽度和高度,取值范围为:1~10000,单位是像素,(iE,jE)是灰度图像E的像素坐标,以L=iE*w+jE作为输入,输出为(i′B',j′B');具体操作流程是:先剪切灰度A中与彩色图像B'的重叠区域作为灰度图像E,建立与灰度图像E相同大小的空白彩色图像D;接着,取彩色图像D的像素坐标(iD,jD)计算查找表LUT的输入值L=iD*w+jD,从查找表LUT中,找到像素坐标(iD,jD)的对应值:(i′B',j′B'),取彩色图像B'中(i′B',j′B')位置处图像填充到彩色图像D中(iD,jD)位置处;遍历彩色图像D,完成彩色图像D填充。
与现有技术相比,本发明有益效果是:与现有可视化楼宇电话成像装置在夜间近红外补光情况下只能拍摄黑白图像不同,本发明成像装置,可实现彩色成像,并且,近红外补光不被人眼感知,不会使人眼感觉到炫光。
附图说明
图1本发明昼夜全彩楼宇可视电话成像装置原理图;
图2昼夜全彩楼宇可视电话成像装各单元连接图;
图中,1-机壳,2-光电传感器,3-近红外光源,4-近红外增透镜头,5-单色图像传感器,6-可见光镜头,7-IRCUT,8-彩色图像传感器,9-处理电路,10-供电接口,11-据接口(11),12-镜头光轴。
具体实施方式
下面结合附图及实施例对本发明进行详细说明。
实施例1
如图2所示,昼夜全彩楼宇可视电话成像装置,包括机壳(1)、光电传感器(2)、近红外光源(3)、近红外增透镜头(4)、单色图像传感器(5)、可见光镜头(6)、IRCUT(7)、彩色图像传感器(8)、处理电路(9)、供电接口(10)、数据接口(11)。其中,近红外光源(3)的功率为5W,波长为808nm;近红外增透镜头(4)、可见光镜头(6)为M12接口,光圈F=1.4,适应靶面尺寸为1/3英寸,焦距为f=3mm;单色图像传感器采用100万像素Mono CMOS星光级图像传感器,帧率为30fps,彩色图像传感器采用100万像素Bayer CMOS星光级图像传感器,帧率为30fps,单色图像传感器和彩色图像传感器芯片面积为1/3英寸;处理电路采用基于FPGA实现,数据接口为网络接口。近红外增透镜头(4)、可见光镜头(6)的光轴平行,水平安置在机壳前端。近红外增透镜头(4)、可见光镜头(6)的光轴距离g=25mm。
成像装置工作流程是:处理电路(9)采集光电传感器(2)测量结果v,当测量结果v>t时,t设定为10,摄像机进入白天工作模式,当测量值v<t时,摄像机进入夜间工作模式。
在白天工作模式,处理电路(9)关闭近红外光源(3)、单色图像传感器(5),驱动IRCUT移开彩色图像传感器前端的IR滤光片,采集彩色图像传感器(8)Bayer图像Q,执行标准的ISP处理流程,获取白天彩色图像C,对图像C进行压缩、存储、传输等操作。
在夜间工作模式下,处理电路(9)开启近红外光源(3)照明、单色图像传感器(5)、彩色图像传感器(8),驱动IRCUT移动IR滤光片到彩色图像传感器前端,同步采集单色图像传感器(5)拍摄的灰度图像A和彩色图像传感器(8)拍摄的Bayer图像Q,对Bayer图像Q进行去马赛克处理得到彩色图像B,对灰度图像A和彩色图像B进行图像融合,得到夜间彩色图像C',再对图像C'进行压缩、传输。
在夜间工作模式下,以2*2像素为处理单元,根据Bayer成像模式,抽取2*2像素块内的r、b通道像素作为彩色图像B的r、b通道值,抽取2*2像素块内的g通道像素均值作为彩色图像B的g通道值,得到的彩色图像B分辨率是Bayer图像Q的1/4。
在夜间工作模式下,采用方法a对灰度图像A与彩色图像B进行融合,得到夜间彩色图像C',其中,fm(·)图像均值滤波窗口尺寸为5,图像插值方法选择线性插值。
实施例2
与实施例1不同之处在于,在夜间工作模式下,采用方法b对灰度图像A与彩色图像B进行融合,得到高质量夜间彩色图像C”,其中,fm(·)图像均值滤波窗口尺寸为5,颜色空间λ选择YUV颜色空间,图像保边缘多尺度分解层数n=4,图像保边缘平滑滤波fsmooth(·)选择加权最小二乘保边缘平滑。
实施例3
与实施例2不同之处在于,颜色空间λ选择Lab颜色空间。
实施例4
与实施例2不同之处在于,颜色空间λ选择HSV颜色空间。
实施例5
与实施例2不同之处在于,图像保边缘平滑滤波fsmooth(·)选择基于局部极值的保边缘平滑滤波。
实施例6
与实施例1不同之处在于,在方法a中第a-2步,采用查找表方法对图像坐标变换进行加速。

Claims (3)

1.一种昼夜全彩楼宇可视电话成像装置,其特征是:由1个摄像机机壳(1)、1个光电传感器(2)、1个近红外光源(3)、1个近红外增透镜头(4)、1个单色图像传感器(5)、1个可见光镜头(6)、1个IRCUT(7)、1个彩色图像传感器(8)、1个处理电路(9)、1个供电接口(10)、1组数据接口(11)构成;
其中,摄像机机壳(1)前端设置两个镜头接口,用于固定近红外增透镜头(1)和可见光镜头(2),在摄像机机壳前端设置光电传感器(2);
光电传感器(2)选用可见光传感器,用于测量场景中可见光强度,以此判定是否开启或关闭近红外光源(3);
近红外光源(3)固定在摄像机壳(1)前方,在低照度情况下,对场景进行补充照明,近红外光源(3)波长范围为800nm~1000nm,照明视场角大于拍摄视场,近红外光源(3)具有控制信号输入接口,并与处理电路(9)连接,由处理电路(9)控制近红外光源开启或关闭;
近红外增透镜头(4)后端设置单色图像传感(5)用于拍摄灰度图像A;
可见光镜头(6)后端设置彩色图像传感器(8)用于拍摄彩色图像B,在彩色图像传感器(8)前端设置IRCUT(7),用于近红外光源(3)开启照明情况下过滤近红外光;
所述彩色图像传感器(8)为Bayer图像传感器,彩色图像B是由Bayer图像传感器拍摄的Bayer图像Q经图像去马赛克处理得到;
处理电路(9)是嵌入式硬件,可采用ARM、DSP、FPGA、ASIC、单片机等芯片实现;采集电路(9)与光电传感器(2)、近红外光源(3)的控制电路接口、单色图像传感器(5)、彩色图像传感器(8)、IRCUT(7)、供电接口(10)、数据接口(11)连接,为光电传感器(2)、单色图像传感器(5)、彩色图像传感器(8)、IRCUT(7)、数据接口(11)供电,完成光电传感器(2)测量信号采集与处理,单色图像传感(5)、彩色图像传感器(8)图像采集,完成ISP处理、图像融合、图像压缩、图像存储、图像传输等操作,进行IRCUT、近红外光源驱动控制;
供电接口(10)与近红外光源(3)、处理电路(9)连接,为近红外光源(3)和处理电路(9)供电;
数据接口(11)用于摄像机控制、数据传输,相关接口包括:BNC、网络、HD-SDI、HDMI;
本发明摄像机工作流程是:处理电路(9)采集光电传感器(2)测量结果v,取值范围为0~255,当测量结果v>t时,摄像机进入白天工作模式,当测量值v<t时,摄像机进入夜间工作模式,其中t是判定阈值,取值范围为0~255;在白天工作模式,处理电路(9)关闭近红外光源(3)、单色图像传感器(5),驱动IRCUT移开彩色图像传感器前端的IR滤光片,采集彩色图像传感器(8)Bayer图像Q,执行标准的ISP处理流程,获取白天彩色图像C,对图像C进行压缩、存储、传输等操作;在夜间工作模式下,处理电路(9)开启近红外光源(3)照明、单色图像传感器(5)、彩色图像传感器(8),驱动IRCUT移动IR滤光片到彩色图像传感器前端,同步采集单色图像传感器(5)拍摄的灰度图像A和彩色图像传感器(8)拍摄的Bayer图像Q,对Bayer图像Q进行去马赛克处理得到彩色图像B,对灰度图像A和彩色图像B进行图像融合,得到夜间彩色图像C',再对图像C'进行压缩、存储、传输;
在夜间工作模式下,对Bayer图像Q进行去马赛克处理得到彩色图像B的具体方法是:以2*2像素为处理单元,根据Bayer成像模式,抽取2*2像素块内的r、b通道像素作为彩色图像B的r、b通道值,抽取2*2像素块内的g通道像素均值作为彩色图像B的g通道值,得到的彩色图像B分辨率是Bayer图像Q的1/4;
在夜间工作模式下,对灰度图像A与彩色图像B进行融合,得到夜间彩色图像C'的方法,包括方法a和方法b;
方法a操作步骤如下:
第a-1步:采用图像插值方法对彩色图像B进行上采样得到彩色图像B',使彩色图像B'分辨率与灰度图像A相同;对近红外增透镜头(4)、可见光镜头(6)构成的双目立体成像***进行标定,获取灰度图像A与彩色图像B'像素坐标映射关系P:(iA,jA)=P(iB',jB'),其中(iA,jA)、(iB',jB')是灰度图像A和彩色图像B'的像素坐标;
所述图像插值方法,包括线性插值、双线性插值、高斯插值、B样条插值、RBF插值;
第a-2步:根据坐标映射关系P,对彩色图像B'进行坐标变换得到彩色图像B”,抽取灰度图像A与彩色图像B”的重叠区域,分别得到灰度图像E和彩色图像D,此时,灰度图像E与彩色图像D视场重合;
第a-3步:以灰度图像E作为引导图像,对彩色图像D的r、g、b颜色通道Dr,Dg,Db进行局部平滑滤波,得到去噪彩色图像
第a-4步,在颜色与亮度分量颜色空间λ,把彩色图像转换为图像其中是亮度分量,是颜色分量,使用灰度图像E替换得到图像将图像转换为rgb颜色空间图像C',图像C'中亮度信息来源于图像E,颜色信息来源于图像
所述第a-3步中以图像E作为引导图像对彩色图像D进行局部平滑滤波的具体操作步骤如下:
第a-3-1步:
计算图像E的局部邻域均值:
μE=fm(E) (1)
计算图像D的三个颜色通道Dr,Dg,Db的局部邻域均值:
<mrow> <msub> <mi>&amp;mu;</mi> <msup> <mi>D</mi> <mi>r</mi> </msup> </msub> <mo>=</mo> <msub> <mi>f</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <msup> <mi>D</mi> <mi>r</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>&amp;mu;</mi> <msup> <mi>D</mi> <mi>g</mi> </msup> </msub> <mo>=</mo> <msub> <mi>f</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <msup> <mi>D</mi> <mi>g</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>&amp;mu;</mi> <msup> <mi>D</mi> <mi>b</mi> </msup> </msub> <mo>=</mo> <msub> <mi>f</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <msup> <mi>D</mi> <mi>b</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
第a-3-2步:
计算图像E的局部邻域方差:
σE=fm(E.*E)-μE.*μE (5)
计算图像E与图像D三个颜色通道Dr,Dg,Db中对应像素的局部邻域协方差:
<mrow> <msub> <mi>&amp;sigma;</mi> <mrow> <mi>E</mi> <mo>,</mo> <msup> <mi>D</mi> <mi>r</mi> </msup> </mrow> </msub> <mo>=</mo> <msub> <mi>f</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <mi>E</mi> <mo>.</mo> <mo>*</mo> <msup> <mi>D</mi> <mi>r</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mi>E</mi> </msub> <mo>.</mo> <mo>*</mo> <msub> <mi>&amp;mu;</mi> <msup> <mi>D</mi> <mi>r</mi> </msup> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>&amp;sigma;</mi> <mrow> <mi>E</mi> <mo>,</mo> <msup> <mi>D</mi> <mi>g</mi> </msup> </mrow> </msub> <mo>=</mo> <msub> <mi>f</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <mi>E</mi> <mo>.</mo> <mo>*</mo> <msup> <mi>D</mi> <mi>g</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mi>E</mi> </msub> <mo>.</mo> <mo>*</mo> <msub> <mi>&amp;mu;</mi> <msup> <mi>D</mi> <mi>g</mi> </msup> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>&amp;sigma;</mi> <mrow> <mi>E</mi> <mo>,</mo> <msup> <mi>D</mi> <mi>b</mi> </msup> </mrow> </msub> <mo>=</mo> <msub> <mi>f</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <mi>E</mi> <mo>.</mo> <mo>*</mo> <msup> <mi>D</mi> <mi>b</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <msub> <mi>&amp;mu;</mi> <mi>E</mi> </msub> <mo>.</mo> <mo>*</mo> <msub> <mi>&amp;mu;</mi> <msup> <mi>D</mi> <mi>b</mi> </msup> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo> </mrow> </mrow>
第a-3-3步:
计算线性变换系数:
<mrow> <msup> <mi>&amp;alpha;</mi> <mi>r</mi> </msup> <mo>=</mo> <msub> <mi>&amp;sigma;</mi> <mrow> <mi>E</mi> <mo>,</mo> <msup> <mi>D</mi> <mi>r</mi> </msup> </mrow> </msub> <mo>.</mo> <mo>/</mo> <mrow> <mo>(</mo> <msub> <mi>&amp;sigma;</mi> <mi>E</mi> </msub> <mo>+</mo> <msub> <mi>&amp;tau;</mi> <mi>r</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msup> <mi>&amp;alpha;</mi> <mi>g</mi> </msup> <mo>=</mo> <msub> <mi>&amp;sigma;</mi> <mrow> <mi>E</mi> <mo>,</mo> <msup> <mi>D</mi> <mi>g</mi> </msup> </mrow> </msub> <mo>.</mo> <mo>/</mo> <mrow> <mo>(</mo> <msub> <mi>&amp;sigma;</mi> <mi>E</mi> </msub> <mo>+</mo> <msub> <mi>&amp;tau;</mi> <mi>g</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msup> <mi>&amp;alpha;</mi> <mi>b</mi> </msup> <mo>=</mo> <msub> <mi>&amp;sigma;</mi> <mrow> <mi>E</mi> <mo>,</mo> <msup> <mi>D</mi> <mi>b</mi> </msup> </mrow> </msub> <mo>.</mo> <mo>/</mo> <mrow> <mo>(</mo> <msub> <mi>&amp;sigma;</mi> <mi>E</mi> </msub> <mo>+</mo> <msub> <mi>&amp;tau;</mi> <mi>b</mi> </msub> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>11</mn> <mo>)</mo> </mrow> </mrow>
其中,τrgb是一个罚分系数,取值范围为(0~10);
<mrow> <msup> <mi>&amp;beta;</mi> <mi>r</mi> </msup> <mo>=</mo> <msub> <mi>&amp;mu;</mi> <msup> <mi>D</mi> <mi>r</mi> </msup> </msub> <mo>-</mo> <msup> <mi>&amp;alpha;</mi> <mi>r</mi> </msup> <mo>.</mo> <mo>*</mo> <msub> <mi>&amp;mu;</mi> <mi>E</mi> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msup> <mi>&amp;beta;</mi> <mi>g</mi> </msup> <mo>=</mo> <msub> <mi>&amp;mu;</mi> <msup> <mi>D</mi> <mi>g</mi> </msup> </msub> <mo>-</mo> <msup> <mi>&amp;alpha;</mi> <mi>g</mi> </msup> <mo>.</mo> <mo>*</mo> <msub> <mi>&amp;mu;</mi> <mi>E</mi> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msup> <mi>&amp;beta;</mi> <mi>b</mi> </msup> <mo>=</mo> <msub> <mi>&amp;mu;</mi> <msup> <mi>D</mi> <mi>b</mi> </msup> </msub> <mo>-</mo> <msup> <mi>&amp;alpha;</mi> <mi>b</mi> </msup> <mo>.</mo> <mo>*</mo> <msub> <mi>&amp;mu;</mi> <mi>E</mi> </msub> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>14</mn> <mo>)</mo> </mrow> </mrow>
第a-3-4步:
计算线性变换系数局部邻域均值:
<mrow> <msub> <mi>&amp;mu;</mi> <msup> <mi>&amp;alpha;</mi> <mi>r</mi> </msup> </msub> <mo>=</mo> <msub> <mi>f</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <msup> <mi>&amp;alpha;</mi> <mi>r</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>15</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>&amp;mu;</mi> <msup> <mi>&amp;alpha;</mi> <mi>g</mi> </msup> </msub> <mo>=</mo> <msub> <mi>f</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <msup> <mi>&amp;alpha;</mi> <mi>g</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>16</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>&amp;mu;</mi> <msup> <mi>&amp;alpha;</mi> <mi>b</mi> </msup> </msub> <mo>=</mo> <msub> <mi>f</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <msup> <mi>&amp;alpha;</mi> <mi>b</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>17</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>&amp;mu;</mi> <msup> <mi>&amp;beta;</mi> <mi>r</mi> </msup> </msub> <mo>=</mo> <msub> <mi>f</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <msup> <mi>&amp;beta;</mi> <mi>r</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>18</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>&amp;mu;</mi> <msup> <mi>&amp;beta;</mi> <mi>g</mi> </msup> </msub> <mo>=</mo> <msub> <mi>f</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <msup> <mi>&amp;beta;</mi> <mi>g</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>19</mn> <mo>)</mo> </mrow> </mrow>
<mrow> <msub> <mi>&amp;mu;</mi> <msup> <mi>&amp;beta;</mi> <mi>b</mi> </msup> </msub> <mo>=</mo> <msub> <mi>f</mi> <mi>m</mi> </msub> <mrow> <mo>(</mo> <msup> <mi>&amp;beta;</mi> <mi>b</mi> </msup> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>20</mn> <mo>)</mo> </mrow> </mrow>
第a-3-5步:
对图像D三个颜色通道Dr,Dg,Db进行线性变换:
其中,fm(·)是图像均值滤波,窗口尺寸为s*s,s取值范围为3~111,.*是点乘操作,表示矩阵中相同位置处元素相乘,./是点除操作,表示矩阵中相同位置处元素相除;
方法b是对方法a中第a-3步得到的彩色图像和灰度图像E进行图像细节融合,获取更高质量低照度彩色图像C”,具体操作如下:
第b-1步:在颜色与亮度分量颜色空间λ,把彩色图像转换为图像其中是亮度分量,是颜色分量;
第b-2步:对图像E进行图像保边缘多尺度分解,得到基图像和细节图像其中,(n+1)是图像分解的层数,取值范围为1~10;
所述基图像由图像保边缘平滑滤波得到:
<mrow> <msubsup> <mi>&amp;xi;</mi> <mi>E</mi> <mn>0</mn> </msubsup> <mo>=</mo> <msubsup> <mi>f</mi> <mrow> <mi>s</mi> <mi>m</mi> <mi>o</mi> <mi>o</mi> <mi>t</mi> <mi>h</mi> </mrow> <mn>0</mn> </msubsup> <mrow> <mo>(</mo> <mi>E</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>24</mn> <mo>)</mo> </mrow> </mrow>
所述图像保边缘平滑滤波fsmooth(·)包括加权最小二乘保边缘平滑、基于局部极值的保边缘平滑、基于局部拉普拉斯金字塔的保边缘滑、中值滤波、加权中值滤波方法;
多层细节图像由基图像与不同尺度平滑图像作差得到:
<mrow> <msubsup> <mi>&amp;xi;</mi> <mi>E</mi> <mi>z</mi> </msubsup> <mo>=</mo> <msubsup> <mi>&amp;xi;</mi> <mi>E</mi> <mn>0</mn> </msubsup> <mo>-</mo> <msubsup> <mi>F</mi> <mrow> <mi>s</mi> <mi>m</mi> <mi>o</mi> <mi>o</mi> <mi>t</mi> <mi>h</mi> </mrow> <mi>z</mi> </msubsup> <mrow> <mo>(</mo> <mi>E</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>25</mn> <mo>)</mo> </mrow> </mrow>
多层细节图像也可由两个不同尺度平滑图像作差得到:
<mrow> <msubsup> <mi>&amp;xi;</mi> <mi>E</mi> <mi>z</mi> </msubsup> <mo>=</mo> <msubsup> <mi>f</mi> <mrow> <mi>s</mi> <mi>m</mi> <mi>o</mi> <mi>o</mi> <mi>t</mi> <mi>h</mi> </mrow> <msub> <mi>z</mi> <mn>1</mn> </msub> </msubsup> <mrow> <mo>(</mo> <mi>E</mi> <mo>)</mo> </mrow> <mo>-</mo> <msubsup> <mi>f</mi> <mrow> <mi>s</mi> <mi>m</mi> <mi>o</mi> <mi>o</mi> <mi>t</mi> <mi>h</mi> </mrow> <msub> <mi>z</mi> <mn>2</mn> </msub> </msubsup> <mrow> <mo>(</mo> <mi>E</mi> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>26</mn> <mo>)</mo> </mrow> </mrow>
其中,fsmooth(·)是图像保边缘平滑滤波,上标0、z、z1、z2是指滤波器尺度层标号,标号越大尺度越小,标号为0表示最大滤波尺度;
第b-3步:将基图像细节图像与亮度分量加权融合后,得到新的亮度分量
其中,{ω01,…,ωn+1}是加权系数,取值范围0~1;
第b-4步:基于新的亮度分量将图像转化为rgb颜色空间彩色图像C”,图像C”中亮度信息来源于图像E和图像颜色信息来源于图像
所述,颜色与亮度分离颜色空间λ包括YUV、YCbCr、HSI、Lab、CIEXYZ颜色空间。
2.根据权利要求1,单色图像传感器(5)和彩色图像传感器(7)具有相同靶面尺寸、分辨率,成像平面共面,近红外增透镜头(4)和可见光镜头(6)具有相同的焦距、光圈F数、适应靶面尺寸,红外增透镜头(4)和可见光镜头(6)的光轴(12-1、12-2)平行、竖直放置、光轴间距g<50mm,使横向视场重合。
3.根据权利要求1,第a-2步可通过查表操作加速实现,根据坐标映射关系P:(iA,jA)=P(iB',jB')、以及重叠视场范围,计算灰度图像E到彩色图像D的坐标对应关系(i′B',j′B')=Q(iE,jE),再以查找表LUT预先存储;查找表LUT的长度为w*h,存储元素为2维向量(i′B',j′B'),w,h是灰度图像E的宽度和高度,取值范围为:1~10000,单位是像素,(iE,jE)是灰度图像E的像素坐标,以L=iE*w+jE作为输入,输出为(i′B',j′B');具体操作流程是:先剪切灰度A中与彩色图像B'的重叠区域作为灰度图像E,建立与灰度图像E相同大小的空白彩色图像D;接着,取彩色图像D的像素坐标(iD,jD)计算查找表LUT的输入值L=iD*w+jD,从查找表LUT中,找到像素坐标(iD,jD)的对应值:(i′B',j′B'),取彩色图像B'中(i′B',j′B')位置处图像填充到彩色图像D中(iD,jD)位置处;遍历彩色图像D,完成彩色图像D填充。
CN201710687819.3A 2017-08-12 2017-08-12 一种昼夜全彩楼宇可视电话成像装置 Pending CN107623831A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710687819.3A CN107623831A (zh) 2017-08-12 2017-08-12 一种昼夜全彩楼宇可视电话成像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710687819.3A CN107623831A (zh) 2017-08-12 2017-08-12 一种昼夜全彩楼宇可视电话成像装置

Publications (1)

Publication Number Publication Date
CN107623831A true CN107623831A (zh) 2018-01-23

Family

ID=61088820

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710687819.3A Pending CN107623831A (zh) 2017-08-12 2017-08-12 一种昼夜全彩楼宇可视电话成像装置

Country Status (1)

Country Link
CN (1) CN107623831A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110248105A (zh) * 2018-12-10 2019-09-17 浙江大华技术股份有限公司 一种图像处理方法、摄像机及计算机存储介质
CN110891138A (zh) * 2018-09-10 2020-03-17 杭州萤石软件有限公司 黑光全彩实现方法和黑光全彩摄像机
CN111679283A (zh) * 2020-06-10 2020-09-18 南京凯基特电气有限公司 多功能抗干扰大量程激光传感器***及使用方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202475619U (zh) * 2012-02-03 2012-10-03 深圳市保千里电子有限公司 一种用于消除杂光的夜视***
KR20140127631A (ko) * 2013-04-25 2014-11-04 삼성테크윈 주식회사 야간 촬영 기능을 구비한 촬영장치 및 야간 촬영방법
CN204836402U (zh) * 2015-07-29 2015-12-02 山东神戎电子股份有限公司 一种适用于小型飞行器的激光夜视仪
CN205017431U (zh) * 2015-09-24 2016-02-03 广州市巽腾信息科技有限公司 一种多功能移动图像处理装置
CN205160681U (zh) * 2015-10-28 2016-04-13 杭州富居数码科技有限公司 具有夜视功能的楼宇对讲单元机
WO2016080003A1 (ja) * 2014-11-20 2016-05-26 シャープ株式会社 固体撮像素子
CN107580163A (zh) * 2017-08-12 2018-01-12 四川精视科技有限公司 一种双镜头黑光摄像机
CN107820066A (zh) * 2017-08-12 2018-03-20 四川聚强创新科技有限公司 一种低照度彩色摄像机
CN207283655U (zh) * 2017-08-12 2018-04-27 四川精视科技有限公司 一种双镜头黑光摄像机
CN207321433U (zh) * 2017-08-12 2018-05-04 四川精视科技有限公司 一种昼夜全彩楼宇可视电话成像装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202475619U (zh) * 2012-02-03 2012-10-03 深圳市保千里电子有限公司 一种用于消除杂光的夜视***
KR20140127631A (ko) * 2013-04-25 2014-11-04 삼성테크윈 주식회사 야간 촬영 기능을 구비한 촬영장치 및 야간 촬영방법
WO2016080003A1 (ja) * 2014-11-20 2016-05-26 シャープ株式会社 固体撮像素子
CN204836402U (zh) * 2015-07-29 2015-12-02 山东神戎电子股份有限公司 一种适用于小型飞行器的激光夜视仪
CN205017431U (zh) * 2015-09-24 2016-02-03 广州市巽腾信息科技有限公司 一种多功能移动图像处理装置
CN205160681U (zh) * 2015-10-28 2016-04-13 杭州富居数码科技有限公司 具有夜视功能的楼宇对讲单元机
CN107580163A (zh) * 2017-08-12 2018-01-12 四川精视科技有限公司 一种双镜头黑光摄像机
CN107820066A (zh) * 2017-08-12 2018-03-20 四川聚强创新科技有限公司 一种低照度彩色摄像机
CN207283655U (zh) * 2017-08-12 2018-04-27 四川精视科技有限公司 一种双镜头黑光摄像机
CN207321433U (zh) * 2017-08-12 2018-05-04 四川精视科技有限公司 一种昼夜全彩楼宇可视电话成像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴海兵;陶声祥;顾国华;王书宇;: "基于四波段图像融合的彩色夜视方法研究", 光子学报, no. 05 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110891138A (zh) * 2018-09-10 2020-03-17 杭州萤石软件有限公司 黑光全彩实现方法和黑光全彩摄像机
CN110248105A (zh) * 2018-12-10 2019-09-17 浙江大华技术股份有限公司 一种图像处理方法、摄像机及计算机存储介质
WO2020119082A1 (en) * 2018-12-10 2020-06-18 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image acquisition
CN110248105B (zh) * 2018-12-10 2020-12-08 浙江大华技术股份有限公司 一种图像处理方法、摄像机及计算机存储介质
US11240443B2 (en) 2018-12-10 2022-02-01 Zhejiang Dahua Technology Co., Ltd. Systems and methods for image acquisition
CN111679283A (zh) * 2020-06-10 2020-09-18 南京凯基特电气有限公司 多功能抗干扰大量程激光传感器***及使用方法

Similar Documents

Publication Publication Date Title
CN107580163A (zh) 一种双镜头黑光摄像机
US11877086B2 (en) Method and system for generating at least one image of a real environment
US20210217212A1 (en) Method and system for automatically colorizing night-vision images
CN108712608B (zh) 终端设备拍摄方法和装置
CN107925751B (zh) 用于多视点降噪和高动态范围的***和方法
CN110519489B (zh) 图像采集方法及装置
CN108154514B (zh) 图像处理方法、装置及设备
US8111946B2 (en) Image processing apparatus, imaging apparatus, and image processing method
CN108694709B (zh) 一种图像融合方法及装置
WO2012067028A1 (ja) 画像入力装置および画像処理装置
CN108055452A (zh) 图像处理方法、装置及设备
CN108269244B (zh) 一种基于深度学习和先验约束的图像去雾***
CN110490811B (zh) 图像降噪装置及图像降噪方法
CN109804619A (zh) 图像处理装置、图像处理方法和摄影装置
EP2873058A1 (en) Methods and systems for suppressing noise in images
CN105447838A (zh) 一种红外与微光/可见光融合成像的方法及***
CN107820066A (zh) 一种低照度彩色摄像机
CN107113408A (zh) 图像处理装置、图像处理方法、程序和***
CN108024054A (zh) 图像处理方法、装置及设备
CN105245785A (zh) 一种汽车全景摄像头的亮度平衡调解方法
CN107623831A (zh) 一种昼夜全彩楼宇可视电话成像装置
CN108093175A (zh) 一种实时高清视频自适应去雾方法及装置
CN106846258A (zh) 一种基于加权最小平方滤波的单幅图像去雾方法
CN113556526A (zh) 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法
CN114782502A (zh) 一种多光谱多传感器协同处理方法及装置、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination