CN103593658A

CN103593658A - 一种基于红外图像识别的三维空间定位***

Info

Publication number: CN103593658A
Application number: CN201310602763.9A
Authority: CN
Inventors: 潘李伟; 顾立春; 郭鑫; 查文舒; 黎川; 王静
Original assignee: CETC 38 Research Institute
Current assignee: CETC 38 Research Institute
Priority date: 2013-11-22
Filing date: 2013-11-22
Publication date: 2014-02-19

Abstract

本发明提供一种基于红外图像识别的三维空间定位***，用来识别目标物体的三维空间位置，包括第一、第二、第三红外摄像头、红外激光器、投影屏幕、计算机，其中第三红外摄像头的像平面面向投影屏幕方向，第一、第二红外摄像头的像平面面对目标物体方向，并且光轴严格垂直于投影屏幕，红外激光器安放在目标物体的位置，红外激光器指向投影屏幕的位置，计算机连接第一、第二、第三红外摄像头。本发明的优点在于：根据红外激光器标识目标物体，通过红外摄像头接收进行定位，设计一套基于三个红外摄像头定位技术的三维空间定位***。通过计算机对复杂数据进行可视化、操作以及实时交互的环境，提供了逼真的三维视觉感受，实现了对运动的实时捕捉。

Description

一种基于红外图像识别的三维空间定位***

技术领域

本发明涉及图像识别技术领域，特别涉及一种三维空间红外光点定位的技术。

背景技术

在现有技术方法中，三维空间定位技术主要有电磁方式和光学方式。电磁方式通过空间磁场采集物体运动的电参数变化分析运动特性，但是磁场容易受干扰，对环境的要求较高。光学方式三维空间定位技术通过光学及图像处理技术分析物体运动特性，可以捕捉定位物体的实时运动，但定位物体运动特征等的计算工作量较大。

利用两个摄像头实现物体的三维空间定位方法一般采用双目立体视觉技术，摄像头从不同的位置获取被检测物体的两幅图像，通过计算图像对应的位置偏差可以获取物体三维几何信息。

发明内容

本发明的所要解决的技术问题在于提供一种基于红外摄像头定位实现的屏幕上红外光点坐标定位以及基于两个红外摄像头定位技术的三维空间红外光点定位的***，在降低成本硬件的基础上，提高三维空间定位技术的环境适应性，减少计算量。

本发明采用以下技术方案解决上述技术问题的：一种基于红外图像识别的三维空间定位***，用来识别目标物体(7)的三维空间位置，包括第一红外摄像头(1)、第二红外摄像头(2)、第三红外摄像头(3)、红外激光器(4)、投影屏幕(5)、计算机(6)，其中第三红外摄像头(3)的像平面面向投影屏幕(5)方向，第一红外摄像头(1)、第二红外摄像头(2)的像平面面对目标物体(7)方向，并且光轴严格垂直于投影屏幕(5)，红外激光器(4)安放在目标物体(7)的位置，红外激光器(4)指向投影屏幕(5)的位置，计算机(6)连接第一红外摄像头(1)、第二红外摄像头(2)、第三红外摄像头(3)。

具体的，红外激光器(4)发射的激光在投影屏幕(5)上产生一个红外光斑，第三红外摄像头(3)捕捉到该红外光斑在投影屏幕(5)上的位置；第一红外摄像头(1)和第二红外摄像头(2)捕捉目标物体(7)的成像位置，根据图像定位、屏幕上定位点坐标计算、空间定位点坐标计算得到目标物体(7)的三维空间坐标。

所述图像定位包括从第一红外摄像头(1)、第二红外摄像头(2)拍摄的图像中识别出目标物体(7)在图像中的位置，从第三红外摄像头(3)拍摄的图像中识别出红外光斑在图像中的位置。

所述屏幕上定位点坐标计算是指根据第三红外摄像头(3)拍摄的图像计算红外光斑的空间位置，过程如下所述：以第三红外摄像头(3)拍摄的图像的左下角为中心，图像下侧边为x轴、屏幕左侧边为y轴建立二维坐标系x₀y₀，根据图像像素确定投影屏幕(5)的四个角的点坐标，分别为E(x_e，y_e)、F(x_f，y_f)、G(x_g，y_g)、G(x_h，y_h)，红外光斑坐标为B1(x₁，y₁)；

以投影屏幕(5)左下角为中心，投影屏幕(5)下侧边为x轴，投影屏幕(5)左侧边为y轴，垂直于投影屏幕(5)的方向为z轴建立三维空间坐标系xyz，在三维空间坐标系xyz，投影屏幕(5)的长为s，宽为h，投影屏幕(5)的四个角的点坐标分别是E(0，h，0)、F(s，h，0)、G(s，0，0)、H(0，0，0)；

根据投影变换原理及摄像头成像原理，二维坐标系x₀y₀和三维空间坐标系xyz为透视投影变换，则存在八个常数m₀、m₁、m₂、m₃、m₄、m₅、m₆、m₇，使三维空间坐标系xyz投影屏幕上一点与第三红外摄像头(3)图像上的对应点存在如下关系式。

x_{2} = \frac{m_{0} x_{1} + m_{1} y_{1} + m_{2}}{m_{6} x_{1} + m_{7} y_{1} + 1}

①

y_{2} = \frac{m_{3} x_{1} + m_{4} y_{1} + m_{3}}{m_{6} x_{1} + m_{7} y_{1} + 1}

②

将红外图像中E(x_e，y_e)、F(x_f，y_f)、G(x_g，y_g)、G(x_h，y_h)的x值代入公式①，等于E(0，h，0)、F(s，h，0)、G(s，0，0)、H(0，0，0)的x值；红外图像中投影屏幕(5)的四个角的点坐标y值代入公式②，等于空间坐标系中四个角的点坐标y值，通过八个方程式求得常数m₀、m₁、m₂、m₃、m₄、m₅、m₆、m₇的值，得到三维空间坐标系与图像二维坐标系的转换关系式，计算出红外光斑的实际空间位置B(x₂，y₂，0)。

所述空间定位点坐标计算是指根据第一红外摄像头(1)、第二红外摄像头(2)拍摄的图像计算目标物体(7)的空间位置，具体过程如下所述。

在三维空间坐标系中，第一红外摄像头(1)、第二红外摄像头(2)的坐标分别为C1

，C2

已知，设目标物体(7)的位置坐标为A(x_g，y_g，z_g)，以目标物体(7)所在位置建立平行于投影屏幕(5)的虚拟平面，虚拟平面方程式为z=d，d为常数，在平面上标定不在一条直线上的任意四个点，以虚拟平面为xy平面建立三维空间坐标系，第一红外摄像头(1)、第二红外摄像头(2)在摄像图像上分别建立二维坐标系，以第一红外摄像头(1)、第二红外摄像头(2)以及目标物体(7)的位置关系可知，在z=d的虚拟平面上，根据第一红外摄像头(1)拍摄图像计算得到A处的空间位置为A1

，根据第二红外摄像头(2)拍摄图像计算得到A处的空间位置为A2

，A1与A2不重合，利用第一红外摄像头(1)、A1的三维空间坐标得出第一红外摄像头(1)与A1点的直线空间表达式③，利用红外摄像头(2)、A2三维空间坐标得出红外摄像头(2)与A2点的直线空间表达式④，然后通过超定线性方程组的最小二乘解求解公式③和公式④的公共解，即为所要的目标物体(7)的坐标：

\{\begin{matrix} \frac{{x_{a}}_{1} - {x_{c}}_{1}}{x - {x_{c}}_{1}} = \frac{d - {z_{c}}_{1}}{z - {z_{c}}_{1}} \\ \frac{{y_{a}}_{1} - {y_{c}}_{1}}{y - {y_{c}}_{1}} = \frac{{x_{a}}_{1} - {x_{c}}_{1}}{x - {x_{c}}_{1}} \end{matrix}

③

\{\begin{matrix} \frac{{x_{a}}_{2} - {x_{c}}_{2}}{x - {x_{c}}_{2}} = \frac{d - {z_{c}}_{2}}{z - {z_{c}}_{2}} \\ \frac{{y_{a}}_{2} - {y_{c}}_{2}}{y - {y_{c}}_{2}} = \frac{{x_{a}}_{2} - {x_{c}}_{2}}{x - {x_{c}}_{2}} \end{matrix}

④。

本发明的优点在于：提供一种红外三维定位***，根据红外激光器标识目标物体，通过红外摄像头接收进行定位，设计一套基于三个红外摄像头定位技术的三维空间定位***。通过计算机对复杂数据进行可视化、操作以及实时交互的环境，提供了逼真的三维视觉感受，使用红外三维空间定位技术实现了对运动的实时捕捉，实现了用户与计算机的人机交互。特别适合应用于3D虚拟灭火培训。

附图说明

图1为本发明基于红外图像识别的三维空间定位***的设备安装结构图。

图2为本发明基于红外图像识别的三维空间定位***的技术原理说明图。

图3为本发明中摄像头拍摄到的投影位置的图像，原点为图像左下角点。

具体实施方式

以下结合附图对本发明进行详细的描述。

如图1所示，本发明基于红外图像识别的三维空间定位***包括三台红外摄像头1、2、3、红外激光器4、投影屏幕5、计算机6，用来识别目标物体7的三维空间位置。

其中红外摄像头3的像平面面向投影屏幕5方向。红外摄像头1、2的像平面面对目标物体7方向，并且光轴严格垂直于投影屏幕5；A处代表目标物体7的位置，红外激光器4安放在目标物体7的位置，红外激光器4指向投影屏幕5的位置，红外激光器4发射的激光(图1中点画线)在投影屏幕5上的B点产生一个红外光斑，红外摄像头3可以捕捉到红外光斑在投影屏幕5上的位置；红外摄像头1和2可以捕捉A处目标物体7的成像位置，根据图像定位、屏幕上定位点坐标计算、空间定位点坐标计算可以得到A处的三维空间坐标。

设投影屏幕5左下角为中心，投影屏幕5下侧边为x轴，投影屏幕5左侧边为y轴，垂直于投影屏幕5的方向为z轴建立三维空间坐标系xyz。

采用该基于红外图像识别的三维空间定位***计算目标物体的三维空间位置的步骤如下：首先A处红外激光器4发射的激光在投影屏幕5上产生一个红外光斑，红外摄像头3捕捉到红外光斑在屏幕上的位置B，根据图像定位、屏幕上定位点坐标计算可以得到投影屏幕5上光斑的位置B；然后通过红外摄像头1和2捕捉位置A处的目标物体7的成像位置，根据图像定位、屏幕上定位点坐标计算、空间定位点坐标计算可以得到A处的三维空间坐标，也就是目标物体7的三维空间坐标。

所述图像定位主要指包括从红外摄像头1、2拍摄的图像中识别出目标物体7在图像中的位置，从红外摄像头3拍摄的图像中识别出红外光斑在图像中的位置，使用如下方法：利用背景减除法进行阴影目标检测，利用形态学滤波和区域融合算法对结果进行优化，识别出红外摄像头图像中的红外灯或红外光斑。

所述屏幕上定位点坐标计算部分是指根据红外摄像头3拍摄的图像计算B点的空间位置，具体过程如下所述。

红外摄像头3拍摄的图像如图3所示，以图像左下角为中心，图像下侧边为x轴、屏幕左侧边为y轴建立二维坐标系x₀y₀，根据图像像素可以确定投影屏幕5的四个角的点坐标，分别为E(x_e，y_e)、F(x_f，y_f)、G(x_g，y_g)、G(x_h，y_h)，光斑坐标为B1(x₁，y₁)。

在三维空间坐标系xyz，屏幕的长为s，宽为h，投影屏幕5的四个角的点坐标分别是E(0，h，0)、F(s，h，0)、G(s，0，0)、H(0，0，0)，求解光斑B(x₂，y₂，0)的坐标。

根据投影变换原理及摄像头成像原理可知，二维坐标系x₀y₀和三维空间坐标系xyz为透视投影变换，则存在八个常数m₀、m₁、m₂、m₃、m₄、m₅、m₆、m₇，使三维空间坐标系xyz投影屏幕上一点(如B(x₂，y₂，0))与红外摄像头3图像上的对应点(如B1(x₁，y₁))存在如下关系式。

x_{2} = \frac{m_{0} x_{1} + m_{1} y_{1} + m_{2}}{m_{6} x_{1} + m_{7} y_{1} + 1}

①

y_{2} = \frac{m_{3} x_{1} + m_{4} y_{1} + m_{3}}{m_{6} x_{1} + m_{7} y_{1} + 1}

②

投影屏幕5的四个角点E、F、G、H在三维空间坐标系xyz的坐标和红外摄像头3的图像二维坐标系x₀y₀的坐标的关系符合透视投影变换原理，将红外图像中E(x_e，y_e)、F(x_f，y_f)、G(x_g，y_g)、G(x_h，y_h)的x值代入公式①，等于E(0，h，0)、F(s，h，0)、G(s，0，0)、H(0，0，0)的x值；同理，红外图像中投影屏幕5的四个角的点坐标y值代入公式②，等于空间坐标系中四个角的点坐标y值。通过八个方程式可求得常数m₀、m₁、m₂、m₃、m₄、m₅、m₆、m₇的值，从而得到三维空间坐标系与图像二维坐标系的转换关系式。

红外摄像头3的图像上光斑B1(x₁，y₁)的坐标通过图像识别技术和像素计算可以得到，通过公式①、②计算出光斑B的实际空间位置B(x₂，y₂，0)。

所述空间定位点坐标计算是指根据红外摄像头1、2拍摄的图像计算A处的空间位置，具体过程如下所述。

在三维空间坐标系中，红外摄像头1、2的坐标分别为C1 ，C2

已知，设目标物体7的位置也就是A处坐标为A(x_g，y_g，z_g)。以A处所在位置建立平行于投影屏幕5的虚拟平面，虚拟平面方程式为z=d，d为常数。在平面上标定不在一条直线上的任意四个点，以虚拟平面为xy平面建立三维空间坐标系。红外摄像头1、2在摄像图像上分别建立二维坐标系，利用图像识别及像素点计算可得到虚拟平面上标定的四个点的二维坐标。

由红外摄像头1、2、A处所在虚拟平面的位置关系，通过上述分析可以知道，在z=d的虚拟平面上，根据红外摄像头1拍摄图像计算得到A处的空间位置为A1，根据红外摄像头2拍摄图像计算得到A处的空间位置为A2

。

由于误差存在的关系，A1与A2不重合。本发明首先利用红外摄像头1、A1的三维空间坐标得出红外摄像头1与A1点的直线表达式③，利用红外摄像头2、A2三维空间坐标得出红外摄像头2与A2点的直线表达式④，然后通过超定线性方程组的最小二乘解求解公式③和公式④的公共解，也就得出两条直线的交叉点，即为所要的目标物体7的A处坐标。

\{\begin{matrix} \frac{{x_{a}}_{1} - {x_{c}}_{1}}{x - {x_{c}}_{1}} = \frac{d - {z_{c}}_{1}}{z - {z_{c}}_{1}} \\ \frac{{y_{a}}_{1} - {y_{c}}_{1}}{y - {y_{c}}_{1}} = \frac{{x_{a}}_{1} - {x_{c}}_{1}}{x - {x_{c}}_{1}} \end{matrix}

③

\{\begin{matrix} \frac{{x_{a}}_{2} - {x_{c}}_{2}}{x - {x_{c}}_{2}} = \frac{d - {z_{c}}_{2}}{z - {z_{c}}_{2}} \\ \frac{{y_{a}}_{2} - {y_{c}}_{2}}{y - {y_{c}}_{2}} = \frac{{x_{a}}_{2} - {x_{c}}_{2}}{x - {x_{c}}_{2}} \end{matrix}

④

上述目标物体7本身应当是可以被红外摄像头识别的物体，如可以是红外灯。当目标物体7本身不可以被红外摄像头识别时，应该在目标物体7上安装红外灯，以便与红外摄像头1、2获取其位置图像。

以上所述仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。

Claims

1.一种基于红外图像识别的三维空间定位***，用来识别目标物体(7)的三维空间位置，其特征在于：包括第一红外摄像头(1)、第二红外摄像头(2)、第三红外摄像头(3)、红外激光器(4)、投影屏幕(5)、计算机(6)，其中第三红外摄像头(3)的像平面面向投影屏幕(5)方向，第一红外摄像头(1)、第二红外摄像头(2)的像平面面对目标物体(7)方向，并且光轴严格垂直于投影屏幕(5)，红外激光器(4)安放在目标物体(7)的位置，红外激光器(4)指向投影屏幕(5)的位置，计算机(6)连接第一红外摄像头(1)、第二红外摄像头(2)、第三红外摄像头(3)。

2.根据权利要求1所述的基于红外图像识别的三维空间定位***，其特征在于：红外激光器(4)发射的激光在投影屏幕(5)上产生一个红外光斑，第三红外摄像头(3)捕捉到该红外光斑在投影屏幕(5)上的位置；第一红外摄像头(1)和第二红外摄像头(2)捕捉目标物体(7)的成像位置，根据图像定位、屏幕上定位点坐标计算、空间定位点坐标计算得到目标物体(7)的三维空间坐标。

3.根据权利要求2所述的基于红外图像识别的三维空间定位***，其特征在于：所述图像定位包括从第一红外摄像头(1)、第二红外摄像头(2)拍摄的图像中识别出目标物体(7)在图像中的位置，从第三红外摄像头(3)拍摄的图像中识别出红外光斑在图像中的位置。

4.根据权利要求3所述的基于红外图像识别的三维空间定位***，其特征在于：所述屏幕上定位点坐标计算是指根据第三红外摄像头(3)拍摄的图像计算红外光斑的空间位置，过程如下所述：以第三红外摄像头(3)拍摄的图像的左下角为中心，图像下侧边为x轴、屏幕左侧边为y轴建立二维坐标系x₀y₀，根据图像像素确定投影屏幕(5)的四个角的点坐标，分别为E(x_e，y_e)、F(x_f，y_f)、G(x_g，y_g)、G(x_h，y_h)，红外光斑坐标为B1(x₁，y₁)；

x_{2} = \frac{m_{0} x_{1} + m_{1} y_{1} + m_{2}}{m_{6} x_{1} + m_{7} y_{1} + 1}

①

y_{2} = \frac{m_{3} x_{1} + m_{4} y_{1} + m_{3}}{m_{6} x_{1} + m_{7} y_{1} + 1}

②

5.根据权利要求4所述的基于红外图像识别的三维空间定位***，其特征在于：所述空间定位点坐标计算是指根据第一红外摄像头(1)、第二红外摄像头(2)拍摄的图像计算目标物体(7)的空间位置，具体过程如下所述。

，C2

\{\begin{matrix} \frac{{x_{a}}_{1} - {x_{c}}_{1}}{x - {x_{c}}_{1}} = \frac{d - {z_{c}}_{1}}{z - {z_{c}}_{1}} \\ \frac{{y_{a}}_{1} - {y_{c}}_{1}}{y - {y_{c}}_{1}} = \frac{{x_{a}}_{1} - {x_{c}}_{1}}{x - {x_{c}}_{1}} \end{matrix}

③

\{\begin{matrix} \frac{{x_{a}}_{2} - {x_{c}}_{2}}{x - {x_{c}}_{2}} = \frac{d - {z_{c}}_{z}}{z - {z_{c}}_{2}} \\ \frac{{y_{a}}_{2} - {y_{c}}_{2}}{y - {y_{c}}_{2}} = \frac{{x_{a}}_{2} - {x_{c}}_{2}}{x - {x_{c}}_{2}} \end{matrix}

④。