CN112509035A - 一种光学镜头和热成像镜头的双镜头图像像素点匹配方法 - Google Patents

Abstract

一种光学镜头和热成像镜头的双镜头图像像素点匹配方法，步骤包括：矫正热成像镜头以及光学镜头的畸变；固定光学镜头和热成像镜头，变换标定板的位置获得到相应位置下的光学镜头和热成像镜头得到图像之间的仿射变换矩阵；对仿射变换矩阵中的每个元素进行最小二乘法拟合，得到在各个位置下的图片像素对应的仿射变换矩阵。使用本方案，可以有效解决了在行人识别以及体温检测时的位置不匹配问题，保证行人识别准确以及体表温度的测量准确度以及效率。

Description

一种光学镜头和热成像镜头的双镜头图像像素点匹配方法

技术领域

本发明涉及多种图像像素点匹配方法，特别涉及一种一个是光学镜头，一个是热成像镜头的图像像素点匹配方法。

背景技术

现代的行人检测方法不仅要获得行人的位置信息，更重要的是获得行人的体表温度，来为整个疫情防控***提供技术支持。但是，传统使用单目热成像摄像头来检测行人温度，往往就会导致体温检测不准确，检测效果不佳。若采用体温枪和光学镜头的行人检测，又会使检测体温效率降低，给交通带来极大的压力。

采用摄像机获取的可见光以及红外图像信息，并根据图像信息得到被检目标的温度信息，这个过程所用到的技术较为成熟。但光学镜头与红外镜头的像素点匹配是技术也是技术要点。原始图像是终端设备(如计算机等)处理数据的来源。如果原始图像信息较为准确，则处理过程所需***资源较少，结果也更容易做到准确。

发明内容

为了提高获取准确的原始图像信息，本技术方案提出一种光学镜头和热成像镜头的双镜头图像像素点匹配方法，用于解决行人识别以及体温检测时的位置不匹配问题，具体为：

一种光学镜头和热成像镜头的双镜头图像像素点匹配方法，步骤包括：

1)取相机和棋盘标定板，并固定二者的相对位置；

相机分别采用光学镜头和热成像镜头拍摄棋盘标定板，分别记录棋盘标定板中的各个黑格中心点的位置；得到热成像镜头的内参矩阵，采用热成像镜头的内参矩阵矫正热成像镜头的畸变；矫正的方法包括步骤：

1.1)将源图像像素坐标系通过内参矩阵转化为相机坐标系，通过畸变系数矫正图像的相机坐标；

1.2)矫正后的相机坐标系通过内参矩阵转化为图像像素坐标系，并根据源图像坐标的像素赋值给新的图像坐标；

2)相机采用光学镜头拍摄棋盘标定板，记录棋盘标定板的角点位置；得到光学镜头的内参矩阵，采用光学镜头的内参矩阵矫正光学镜头的畸变；

矫正的方法与步骤1.1)～1.2)相同；

3)固定光学镜头和热成像镜头；对处于位置d的棋盘标定板，依次对每一个电阻丝进行通电，获得得到该位置下的各个黑格中心点的光学坐标和红外坐标，得到仿射变换矩阵G；

4)变换棋盘的位置分别为d₁、d₂，...d_n，采用步骤3)的方法，获得到相应位置下的光学镜头和热成像镜头得到图像之间的仿射变换矩阵G₁、G₂，...G_n；

5)对步骤4)得到的仿射变换矩阵中的每个元素进行最小二乘法拟合，得到在各个位置下的图片像素对应的仿射变换矩阵G′。

本方法可以应用于双目获取行人体温信息，原理为：传统的测温枪及测温门方案覆盖范围有限且需专人值守，效率较低。

使用光学镜头+红外镜头的部署方式可实现大范围多目标检测，通过光学镜头可检测出覆盖范围内人员目标及需测温位置(如额头)，通过红外镜头可得到覆盖范围内物体温度信息，通过光学镜头图像及红外镜头图像的像素点匹配可得到每个人员目标的体温。但光学镜头与红外镜头的像素点匹配是技术难点。本发明提出的光学镜头与红外镜头的标定及像素点匹配方法解决了这一技术难点，光学镜头图像及红外镜头图像可通过仿射变换矩阵G′进行匹配。

上述匹配，结合部署方案可实现宽度为5米以上大范围多目标精准测温。

附图说明

图1是本方法的流程示意图；

图2是应用本方法的检测***的部署示意图；

图3是检测***的摄像机安装高度H计算示意图；

图4是检测***的摄像机覆盖宽度W计算示意图；

图5是标定辅助设备示意图。

具体实施方式

下面以应用本方法的某行人体温精准检测***为例，对本发明的技术方案进行说明。本例中：

参考图1，本光学镜头和热成像镜头的双镜头图像像素点匹配方法的应用步骤包括：

1)取相机和棋盘标定板，并固定二者的相对位置；

相机分别采用光学镜头和热成像镜头拍摄棋盘标定板，分别记录棋盘标定板中的各个黑格中心点的位置；得到热成像镜头的内参矩阵K₁，采用内参矩阵K₁矫正热成像镜头的畸变；

图像的畸变包括：径向畸变和切向畸变。

径向畸变是因为透镜本身的工艺问题，切向畸变是由于安装问题带来的。

矫正的过程分为两步：

1、将源图像像素坐标系通过内参矩阵转化为相机坐标系，通过畸变系数矫正图像的相机坐标；

2、矫正后的相机坐标系通过内参矩阵转化为图像像素坐标系，并根据源图像坐标的像素赋值给新的图像坐标。

具体方法：

内参矩阵为：

已知摄像头的焦距为f(单位：毫米),像片的尺寸大小为m×n(单位：像素)，传感器尺寸为i×j(单位：微米)，像素大小为p×p。由上面已知条件可求得内参矩阵如下：

通常倾斜参数β＝1

即

内参矩阵可理解为矩阵内各值只与相机内部参数有关，且不随物***置变化而变化。

fx,fy为表示焦距的参数(焦距就是真空与投影屏幕的距离，类似于人眼和视网膜，焦距的度量是针对像素的)，代表每个像素在图像平面x和y方向上的物理尺寸。

U0,v0代表的是图像坐标系原点在像素坐标系中的坐标，所以为m/2，n/2。

若图像像素坐标系下有无畸变坐标(u,v)，经过经向畸变和切向畸变后落在了uOv坐标系的(u_d，v_d)上

有：

对于畸变有：

径向畸变：

切向畸变：

x’,y’是一个像素值在图像坐标系中归一化坐标，u,v是无畸变坐标。那畸变位置坐标为径向畸变坐标和切向畸变坐标的组合。

即u_d＝u_径‘+u_切‘，v_d＝v_径‘+v_切‘

其中

u_径‘＝u‘＝u(1+k₁r²+k₂r⁴+k₃r⁶)，

u_切‘＝v‘＝v(1+k₁r²+k₂r⁴+k₃r⁶)

K₁,k₂,k₃,p₁,p₂是畸变参数，K₁,k₂,k₃是径向畸变参数，p₁,p是切向畸变参数。r²＝x²+y²

2)相机采用光学镜头拍摄棋盘标定板，记录棋盘标定板的角点位置；得到光学镜头的内参矩阵，采用内参矩阵矫正光学镜头的畸变；

3)基于步骤1)和2)，采用标定板移位装置；固定光学镜头和热成像镜头；对处于位置d的棋盘标定板，依次对每一个电阻丝进行通电，获得得到该位置下的各个黑格中心点的光学坐标和红外坐标，得到仿射变换矩阵G；

由光学坐标和红外坐标得到仿射变换矩阵G的过程为：

记光学坐标(x,y)，红外坐标(m,n)；则光学镜头到红外镜头图像的成像经历的平移和翻转：

其中A代表旋转矩阵，B代表平移矩阵，

例如，若图片旋转θ，则A为

当图片平移(x,y)时，则B为

仿射变换的方法为：

将其转化为齐次坐标矩阵，存在唯一解

此方程组有6个未知数，所以需要至少6个方程(3个方程组)，即需要至少3个点在光学和红外镜头的坐标。

4)变换棋盘的位置分别为d₁、d₂，...d_n，获得到相应位置下的两个镜头图像之间的仿射变换矩阵G₁、G₂，...G_n；

5)对步骤4)得到的仿射变换矩阵中的每个元素进行最小二乘法拟合(无约束条件)，得到在各个位置下的图片像素对应的仿射变换矩阵G′；

步骤5)的过程：

记录变换棋盘位置与初始棋盘相对位移(x,y,z)，则存在唯一的k₁,k₂,k₃,b使得，变换任意位置后，仿射变换矩阵与初始位置的仿射变换矩阵的方差最小。

即：

所以，当求出

b时，可G′使满足条件。

即

棋盘标定板是由光学玻璃制成的8×8棋盘标定板，棋盘表面上依次相间的黑格和白格；在黑格中心处设一圆孔，并在圆孔内放置电阻丝；

在光学镜头下以及热成像镜头下记录黑格中心点时候，是依次对每一个电阻丝通电，然后用相机采用不同镜头进行拍照，得到光学镜头和热成像镜头下电阻丝所在黑格中心像素坐标点的位置。

作为本方法的应用，参考图2～图5。

图2，一种基于图像像素点匹配的大范围行人体温精准检测***，包括后台***、终端设备和具有光学镜头和热成像镜头的双目摄像机；摄像机获取的红外图像送入终端设备进行处理，处理结果送给后台***；后台***发出控制信息给终端设备，由终端设备发出控制指令给摄像机；摄像机布设在行人通道内，同时在检测范围的最远端部署温度校准黑体。双目摄像机的光学镜头和热成像镜头的双镜头图像像素点匹配即使用本发明方法。

本检测***建设时候，由于热成像镜头的特殊性，首先，要对摄像机的镜头进行标定，进而得到摄像机的成像仿射变换矩阵，从而有效解决了在行人识别以及体温检测时的位置不匹配问题，保证行人识别准确性以及保证行人的体表温度的测量准确度以及效率。

该***的设借助的设备有主要是镜头标定过程中用到的标定板移位装置。该装置采用七自由度机械臂连接标定板，通过棋盘格位置要求，按顺序通过机械臂将棋盘格移动到指定位置。棋盘格位置以其中心点坐标为准，由三维坐标d(x,y,z)确定，坐标原点为机械臂根部平面中心点。

该***建设的过程主要有：

一、光学镜头和热成像镜头的标定：

1、选取由光学玻璃制成的8×8棋盘标定板，棋盘表面上设置有黑格和白格，在黑格中心处有一圆孔放置电阻丝。

2、在固定好光学相机并借助标定板移位装置把标定板定位，依次对每一个电阻丝进行通电并记录每个点的位置。记录完成后，将镜头换为热成像镜头，重复前面操作。此时，可分别得到光学镜头和红外镜头得到电阻丝所在黑格中心像素坐标点的位置(x_g，y_g)与(x_i，y_i)。

3、将步骤2中得到的坐标点，进行标定，可以得到热成像镜头的内参矩阵K₁。

4、通过光学镜头拍摄标准8×8棋盘格，得到每个角点的位置，通过标定得到光学镜头的内参矩阵K₂。

摄像机内参反映的是摄像机坐标系到图像坐标系之间的投影关系。摄像机内参的标定是通过不同角度的拍摄棋盘格图像，得到摄像机的内参f_x，f_y，c_x，c_y,以及畸变系数[k₁，k₂，p₁，p₂，k₃]等。

通过热成像镜头的内参矩阵以及光学镜头的内参矩阵即可矫正镜头的畸变问题。

二、光学镜头及热成像镜头图像像素点匹配

1、通过标定板移位装置，固定光学镜头和热成像镜头的位置，依次对每一个电阻丝进行通电，可以得到该位置下32个点的光学坐标和红外坐标，此时可以得到仿射变换矩阵G。

2、借助标定板移位装置将棋盘格位置移动到d₁、d₂，...d_n，可以得到不同位置下的两个镜头图像之间的仿射变换矩阵序列G₁、G₂，...G_n。

3、对步骤六中得到的仿射变换矩阵中的每个元素进行最小二乘法拟合(无约束条件)，可以得到在多个位置下的图片像素对应的仿射变换矩阵。

上面提到的标定板移位装置，如图5所示，图中，1是标定板，2是机械臂。

三、通过设备部署实现大范围精准测温

通过部署测温设备以及温度校准黑体，实现覆盖宽度5米以上的精准测温。

1、摄像机安装高度H计算，参考图3

镜头架设高度为：H＝1.5+0.18×D(通用各个像素型号)

D为监控距离，

人头部以下高度取平均值1.5米，

α为摄像机俯视角度，

推荐俯视角度为10°，tan10°≈0.18

H约为2.58米。

2、摄像机覆盖宽度W计算，参考图4

以红外热成像摄像头45°水平视角,34°垂直视角为例计算：

摄像头安装水平俯角10°～13°，摄像头与温度校准黑体的标定距离为6m(与监控距离相同),

W＝tan22.5×L≈5.05m

L＝H-1.5米

根据上述计算，现场安装设备，参考图2(图中，3是摄像机，4是温度校准黑体)。

本技术方案克服现有技术的不足，能够更加准确的得到仿射变换矩阵，通过这种技术有效地解决了在行人识别以及体温检测时的位置不匹配问题，该方法既能保证行人识别准确性又能保证行人的体表温度的测量准确度以及效率。

Claims (3)

1.一种光学镜头和热成像镜头的双镜头图像像素点匹配方法，步骤包括：

1)取相机和棋盘标定板，并固定二者的相对位置；

相机分别采用光学镜头和热成像镜头拍摄棋盘标定板，分别记录棋盘标定板中的各个黑格中心点的位置；得到热成像镜头的内参矩阵，采用热成像镜头的内参矩阵矫正热成像镜头的畸变；矫正的方法包括步骤：

1.1)将源图像像素坐标系通过内参矩阵转化为相机坐标系，通过畸变系数矫正图像的相机坐标；

1.2)矫正后的相机坐标系通过内参矩阵转化为图像像素坐标系，并根据源图像坐标的像素赋值给新的图像坐标；

2)相机采用光学镜头拍摄棋盘标定板，记录棋盘标定板的角点位置；得到光学镜头的内参矩阵，采用光学镜头的内参矩阵矫正光学镜头的畸变；

矫正的方法与步骤1.1)～1.2)相同；

3)固定光学镜头和热成像镜头；对处于位置d的棋盘标定板，依次对每一个电阻丝进行通电，获得得到该位置下的各个黑格中心点的光学坐标和红外坐标，得到仿射变换矩阵G；

4)变换棋盘的位置分别为d₁、d₂，...d_n，采用步骤3)的方法，获得到相应位置下的光学镜头和热成像镜头得到图像之间的仿射变换矩阵G₁、G₂，...G_n；

5)对步骤4)得到的仿射变换矩阵中的每个元素进行最小二乘法拟合，得到在各个位置下的图片像素对应的仿射变换矩阵G′。

2.根据权利要求1所述的光学镜头和热成像镜头的双镜头图像像素点匹配方法，其特征是步骤1)中，棋盘标定板是由光学玻璃制成的8×8棋盘标定板，棋盘表面上依次相间的黑格和白格；在黑格中心处设一圆孔，并在圆孔内放置电阻丝；

在光学镜头下以及热成像镜头下记录黑格中心点，是依次对每一个电阻丝通电，然后用相机采用不同镜头进行拍照，得到光学镜头和热成像镜头下电阻丝所在黑格中心像素坐标点的位置。

3.根据权利要求1所述的光学镜头和热成像镜头的双镜头图像像素点匹配方法，其特征是所述步骤3)中，由光学坐标和红外坐标得到仿射变换矩阵G的过程为：

设光学坐标(x,y)，红外坐标(m,n)；则光学镜头到红外镜头图像的成像经历的平移和翻转：

其中A为光学镜头的内参矩阵,B为热成像镜头的内参矩阵；

仿射变换的方法为：

将其转化为齐次坐标矩阵，存在唯一解：

此方程组有6个未知数，所以需要至少6个方程，即需要至少3个点在光学和红外镜头对应图像的坐标；

其中A代表旋转矩阵，B代表平移矩阵，

若图片旋转θ，则A为

当图片平移(x,y)时，则B为

Images