CN103533235A - 面向重大案事件现场的快速的基于线阵ccd的数字全景装置 - Google Patents

Abstract

本发明公开了一种面向重大案事件现场的快速的基于线阵CCD的数字全景装置，主要包括：机械单元、图像采集单元、控制驱动与反馈单元、通信及上位机单元。该装置运用图像采集单元实现线阵图像的采集；控制驱动与反馈单元控制线阵相机绕垂直轴旋转，实现事故现场全周匀速扫描，通过上位机自动感知全景图像采集的起始节点，从而得到事故现场的360度原始图像，并完成鱼眼镜头的校正、全景图象畸变校正、全景三维空间的信息提取及全境漫游功能。***具有快速真实全面记录事故现场信息、现场全景图像的测量分析及事故现场漫游等功能，为事故现场快速处理及案事件现场真实再现提供强有力的支持，具有广阔的应用前景。

Description

面向重大案事件现场的快速的基于线阵CCD的数字全景装置

技术领域

本发明涉及非接触测量的技术领域，具体地涉及一种面向重大案事件现场的快速的基于线阵CCD的数字全景装置。

背景技术

案事件现象是一个社会的客观存在。“处理案事件现场”是一个漫长而乏味的过程，其中包括有目的性地对现场环境作记录，以及搜集任何可以说明现场作案情况和指出犯罪嫌疑人的物证信息。目前案事件现象信息获取的主要方法是法证摄影和证物测量。对于刑事案件现场，目前往往用普通图像和书面文字来描述现场，而普通图像提供的视觉信息可能是不完整的，用精确的文字说明又特别困难。单一的图像、分离的细节和书面文本缺乏整体效果，使人们难以把信息转化为空间关系，从而很难完整建立对现场的环境、布局、案发状态等总体的概念，更不能任意角度地按自己的想法去观察现场，也不能按照办案人员的推理来真实模拟犯罪分子在现场的犯罪过程，这就严重制约了讨论人员对案情的分析和想象。对于交通事故现场，多为人工判断刹车轮胎印迹、皮尺量测刹车距离以及用数码相机拍摄照片的方式获取各种有关数据。而交通事故多发生在交通量较大的地段，必然存在迅速处理交通事故现场恢复交通与尽可能采集交通事故现场数据以得以充分分析事故现场之间的矛盾。同时，一旦勘查结束，现场即被撤除，事故现场不能保留；若收集证据不全，欲二次取证但现场已不再存在，勘查工作将受到无法弥补的损失，使事故处理陷入困境。

可见，现有的案事件现场的处理方式自动化程度不高，时间长、精度低，且容易发生漏测，同时对事故现场资料的存储、建档和检索有一定困难，这样就给后续的事故责任鉴定带来了不必要的麻烦。因此，急需一种能够对各种案事件现场的真实、完整、详实、快速地、永久性记录和按办案人员的推理来真实模拟犯罪分子在现场的犯罪过程全景记录装置，以辅助办案人员快速破案和责任界定。

发明内容

本发明要解决的技术问题为：克服现有案事件现场处理技术的不足，提供一种面向重大案事件现场的快速的基于线阵CCD的数字全景装置，实现案事件现场的完整、详实、快速地、永久性记录和按办案人员的推理来真实模拟犯罪分子现场的犯罪过程全景记录功能，案事件现场取证速度快，测量精度高，成本低；本发明有效地解决了案事件现场快速准确处理的要求。

本发明采用的技术方案：一种面向重大案事件现场的快速的基于线阵CCD的数字全景装置，包括：机械单元、图像采集单元、控制驱动与反馈单元、通信及上位机单元，其中：

机械单元，用于连接图像采集单元与云台，实现图像采集单元的垂直方向扫描；旋转变压器与云台在连接装置的固定下同步运动；并通过三脚架的升降杆与连接装置相连；升降杆带有外螺纹，三脚架带有内螺纹的法兰，通过摇柄，可实现图像采集单元的升降，为全景空间点三维信息获取打下基础。

图像数据采集单元，由线阵图像传感器、镜头及图像采集卡组成，可实时获取场景的线状图像，在云台的带动下，对事故现场进行全景扫描，并将获得的图像信息通过图像采集卡传递给上位机；

控制驱动与反馈单元，驱动器控制云台转动，带动图像采集单元实现垂直匀速扫描，通过旋转变压器实时获取各个扫描位置的角度信息，通过驱动器和RS232转USB接口传递给上位机；同时为及时感知云台是否垂直旋转覆盖一周而无重复，云台上安装了位置传感器。

通信及上位机单元，图像采集卡将图像数据采集单元获取的场景线状图像、旋转变压器获得的角度信息实时传送到上位机，通过上位机控制云台匀速转动，得到事故现场全景图像，并通过全景空间点三维信息获取、全景图像畸变校正及漫游等功能，满足事故现场勘查与信息提取的基本需求。

所述的线阵图像传感器可以采用普通的线阵图像传感器，也可以选用实验室自己开发的三线彩色RGB线阵相机图像传感器，时钟频率40.0MHz，线速率18.6--19048线/秒，可编程曝光时间0.05--53.8ms，CCD芯片高度28.7mm，像元尺寸14um×14um，有效像素3×2048，数据接口Camera Link，输出位数24bit或30bit，镜头接口Nikon F，供电12V DC±10%，15W，外观尺寸90×90×90，重量860g；

所述的镜头为Sigma8mm F3.5EX DG圆形鱼眼镜头。镜头结构6组11片，光圈3.5-22；最近对焦距离135mm，焦距范围8mm，视角180°，外形尺寸73.5×68.6，重量400克，玻璃镜片。

所述的图像采集卡为美国Imperx公司的Framelink图像采集卡。总线，32bit CardBus33MHz；视频格式，黑白，彩色或bayer彩色数字相机；接口，双通道基本架构CL接口；内存256Mb；功率0.5W；操作***，Windows2000/XP；规格115×54×5；物理接口，PCMCIA8.0卡槽接口，支持热插拔和即插即用。

所述的云台为功率不小于211.2W，最大空载转速460r/min,峰值堵转扭矩不小于4.4N.m，电流不小于4.4A，质量小于2.4Kg云台。

所述的旋转变压器为转换率最大为0.5±5％，最大电气误差为±10′，适用于-55～+155℃的环境，质量小于0.065Kg，输出为正余弦模拟信号的角度传感器。

所述的旋转变压器连接装置为圆柱形，并在圆柱的径向相隔90°攻4个M3的全螺纹。

所述的三脚架为曼富图055CXPRO3496RC2碳纤维三脚架，脚架节数三节。

所述的升降杆为曼富图碳纤维升降杆，可升降长度600；

所述的位置传感器，为直流三线PNP的传感器，该位置传感器工作电压为10～30VDC,静耗电流小于5mA，输出电流不大于200mA，输出压降不大于1.5VDC，响应频率为300Hz以内。

所述的驱动器，为额定电压+24V以内，额定电流2A，输入角度信号为A、B、Z相脉冲信号，具有R232接口的直流电机驱动器。

所述的RS232转usb接口为HX-5401，是一款通过USB转成一路RS-232(9线全信号)的袖珍型转换器。

所述的上位机为至少具有网口，***内存大于2GB，支持Windows XP操作***的笔记本电脑。

所述通信及上位机单元中的控制软件实现过程如下：

步骤1）、图像采集单元与控制驱动及反馈单元初始化：***上电后，云台按驱动器的设置自动找到零位，***启动成功；

步骤2）、通信及上位机单元初始化，设置步距角、驱动器细分、云台转速、设置串口通信端口等；其二设置采集的单帧线数、设定全景图像分辨率、Cameralink虚拟串口操作等；

步骤3）、启动采集按钮，图像采集单元和控制驱动及反馈单元实时将获取的线状图像信息，角度信息驱动器、及RS232转usb接口传给上位机做进一步处理；

步骤4）、选择全景采集命令后，上位机控制云台匀速转动，同时将实时采集的线图像在软件中显示出来；在云台旋转360°后，上位机自动感知全景图像采集完成，结束云台转动，关闭采集线程，同时弹出消息框提醒用户全景采集结束；用户回车确定后，云台自行回转一圈到起始采集位置。手柄转动，带动升降杆运动到不能升降的位置，重复步骤4）的过程再获取一幅全景图像。

步骤5）、通过上位机对采集的图像信息进行处理，进行鱼眼镜头的精确校正，全景***鱼眼镜头光学中心标定，通过全景空间点三维信息获取、全景图像同名点的自动匹配、实现线阵全景图像空间点三维信息获取与测量、全景图像畸变校正及漫游等功能，满足案事件现场勘查与信息提取的基本需求。

本发明与现有技术相比的优点在于：

1）本发明装置使用上位机软件对各单元统一控制，采用图像采集单元快速获取案事件现场的全景图像，上位机软件进行处理与结果显示，为非接触检测，因此检测方便，自动化程度高，可长时间工作，没有因人员疲劳导致出错的现象；

2）本发明装置实现非接触全景事故现场扫描，单次扫描速度快，测量精度高，成本低；

3）本发明装置适用于所有不同事故现场的快速信息获取，事后现场再现、按办案人员的推理来真实模拟犯罪分子在现场的犯罪过程全景记录功能。有效地解决了案事件现场快速准确处理的要求。

附图说明

图1为本发明的***结构图；

图2为本发明的工作流程图；

图3为本发明的初始化模块图；

图4为本发明的相机调参界面图；

图5为本发明的全景图像实时采集图；

图6为本发明的全屏采集模式下软件提醒用户全景采集结束图；

图7为本发明的基于半球线的柱像面模型；

图8为本发明的鱼眼球面透视模型；

图9为鱼眼常用设计模型以及常规镜头r=f tanα的高斯成像比较；

图10为球积分光源及其在线阵鱼眼上的成像；

图11为本发明的最终鱼眼校正模型成像曲线；

图12为本发明的拍摄的鱼眼图像；

图13利用图11对应的鱼眼校正模型对图12进行校正的结果，(a)-(d)分别为80°，100°，120°，140°场景校正结果；

图14为本发明整个场景的半立方体视面校正结果；

图15为本发明标定所用的条纹；

图16为本发明线阵鱼眼光学中心标定示意图

图17为本发明不同高度采集到的同一场景的全景图((a)为低位置，(b)为高位置)；

图18为本发明进行空间点三维信息获取及距离测量的原理示意图；

图19为本发明光学中心与云台旋转轴的空间关系图；

图20为本发明的三维信息获取测试场一角；

图21为对应的上下两个位置采集到的测试场全景图((a)为低位置，(b)为高位置)；

图22为适用于线阵全景***的全景漫游公式计算原理示意图

图23为图21（a）的全景漫游路线；

图24为通过本发明线阵全景漫游算法得到的展示图。

其中，图1：1、机械单元；2、图像采集单元；3、控制驱动与反馈单元；4、通信及上位机单元；5、图像采集卡；6、云台；7、旋转变压器；8、连接装置；9、三脚架；10、升降杆；11、手柄；12、限位传感器；13、线阵图像传感器；14、镜头；15、RS232转USB接口；16、驱动器。

具体实施方式

如图1所示，本发明的面向重大案事件现场的快速的基于线阵CCD的数字全景装置，包括：机械单元1、激光数据采集单元2、控制驱动与反馈单元3、通信及上位机单元4，其中

机械单元1，用于连接图像采集单元2与云台6，实现图像采集单元2的垂直方向扫描；旋转变压器7与云台6，在连接装置8的固定下同步运动；并通过三脚架9的升降杆10与连接装置8相连；升降杆10带有外螺纹，三脚架8带有内螺纹的法兰，通过摇柄11，可实现图像采集单元的升降。

图像采集单元2，由线阵图像传感器13、镜头14及图像采集卡5组成，可实时获取场景的线状图像，在云台6的带动下，对事故现场进行全景扫描，并将获得的图像信息通过图像采集卡传递给上位机4；

控制驱动与反馈单元3，驱动器16控制云台6，带动图像采集单元2实现垂直匀速扫描，通过旋转变压器7实时获取各个扫描位置的角度信息，通过驱动器16和RS232转usb接口15传递给上位机4；同时为及时感知云台是否垂直旋转覆盖一周而无重复，云台上安装了位置传感器12。

通信及上位机单元4，图像采集卡5将图像采集单元2获取的场景线状图像、旋转变压器7获得的角度信息实时传送到上位机4，通过上位机4控制云台匀速转动，得到事故现场全景图像，并通过全景空间点三维信息获取、全景图像畸变校正及漫游等功能，满足事故现场勘查与信息提取的基本需求。

将各单元相关部件进行装配，连接好供电与信号线，首先为图像采集卡5、相机安装驱动程序；通过驱动器和图像采集卡有效地建立上位机4与各个传感器的数据通道。依据图象采集单元2底层控制指令，对图像数据采集单元2进行开发，上位机软件以串口控制发送相应命令字的方式实现对图象采集单元2的参数设置与数据接收。依据云台6、旋转变压器7参数设置驱动器，分别调节其PID参数，使云台6稳步运行，设置相应程序，使云台6在上电的同时自动回到定义的基准位置。

如图2所示，本发明装置的工作流程具体如下：

1）确认部件供电、信号线路正确连接，装置上电，控制驱动及反馈单元3带动图象采集单元2运动到基准位置，等待通信及上位机单元4的指令；

2）通信及上位机单元4初始化：按照初始化操作界面3，操作者主要完成两个工作：其一是全景成像平台的相关参数设置，包括控制器的选择以及步距角、驱动器细分、云台转速、设置串口通信端口等；在此基础上，可下达命令，控制云台复位；其二是图像采集卡的初始化，主要包括设置采集的单帧线数、设定全景图像分辨率、Cameralink虚拟串口操作等；当单击板卡初始化按钮后，主程序视区内可以实时显示当前采集到的线阵图像，方便用户进行下一步的相机调参等工作；初始化界面留下了接口，引导用户进入线阵相机的调参界面；

3）设置好后进入相机调参交互界面图4，主要通过CameraLink接口，实现对相机参数的设置，包括在采集卡虚拟串口中连接相机、是否开启相机快门、线采集周期设定、曝光时间控制（开发出RGB三通道曝光时间相同、三通道分别设置、以及三线最长曝光时间三种模式），支持在线进行线阵相机的像黑校正、阴影校正、平场校正以及白平衡功能。通过这一模块的操作，用户可以根据全景采集时的现场环境，适时地调整线阵数字全景成像***的相关参数，能够获取更高质量的全景图；

4）选择全景采集命令后，上位机控制云台匀速转动，同时将实时采集的线图像在软件中显示出来，见图5；在云台旋转360°后，上位机自动感知全景图像采集完成，结束云台转动，关闭采集线程，同时弹出消息框提醒用户全景采集结束；用户回车确定后，云台自行回转一圈到起始采集位置待命，见图6；

5）全景畸变校正模块主要包括线阵全景数学模型的建立、鱼眼模型校正、鱼眼光学中心标定。

步骤1）线阵全景数学模型的建立。

如图7所示，无论采用什么镜头，线阵CCD旋转成像的方式使得成像面都为圆柱面；当搭配鱼眼镜头时，圆柱像面上的每条线是由鱼眼镜头聚焦成像；鱼眼成像是一种球面透视模型（关于鱼眼成像模型校正，将在下面步骤2中详细论述，每条线可以看成是球面上半个大圆向经过光心的直径的投影变换，记为F变换）。

为方便建立数学模型，我们设定三个坐标系：

A二维图像坐标系(X,Y)

B初始位置坐标系(X′,Y′,Z′)

C线阵相机坐标系(X_f,Y_f,Z_f)

其中初始位置坐标系(X′,Y′,Z′)和线阵相机坐标系(X_f,Y_f,Z_f)的原点都在O′处，图7只是为便于说明将其向下平移，X′和X_f方向一致，竖直向上。在成像云台旋转的过程中，线阵相机坐标系(X_f,Y_f,Z_f)绕初始位置坐标系的X′轴旋转θ角，则有：

$\left\{\begin{array}{c}X=R_c\mathrm{\θ}\\ Y=\frac{H_I}{2}-F\left(p\right)\end{array}\right.---\left(1\right)$

其中：R_c——圆柱像面的半径；

H_I——为鱼眼线的高度。

步骤2）鱼眼校正

鱼眼镜头的成像过程是一种球面透视，见图8；它可以被分为三步：第1步，每一个空间点被映射为连结p与投影中心o的射线op；第2步，将射线op线性地映像到单位球面上，得到透视投影点p′；第3步，将球面点p′映射到像平面上，得到鱼眼图像点q。空间点p经过映像投影为鱼眼图像点q，用公式形式化表示为：

q＝F(p)                    （2）

F被称为鱼眼成像模型。这里公式（2）中F是不可逆的，因为每一个空间点唯一地对应一个鱼眼图像点，但每一个鱼眼图像点可以对应一条直线上的无数个空间点。但如果用鱼眼中心到图像点的半径r来唯一标识点q，用球面透视角α唯一标识空间点所对应的球面点p′，则很显然r＝F(α)是可逆的。因此有：

α＝F^-1(r)                      （3）

F^-1称为鱼眼变形校正模型。

这里提出一种简单而实用的思维方法来进行鱼眼的变形校正。回归到鱼眼成像模型，F变换的本质实际上体现了鱼眼镜头的设计思想。而查阅相关文献数据，我们得到在鱼眼镜头设计时，主要采用体式投影、等距投影、等立体角投影、正交投影四种设计思想，见公式（4）-（7），图9给出了鱼眼常用设计模型以及常规镜头r(α)＝ftanα高斯成像模型的比较。

r(α)=2ftan(α/2)                       （4）

r(α)=fα                                 （5）

r(α)=2fsin(α/2)                       （6）

r(α)=kfsinα0<k≤1                         （7）

其中：f——为焦距。

通过图9可以看到，不同的成像模型得到的最大鱼眼成像半径是不同的，有：Max(r_sg)＞Max(r_ed)＞Max(r_es)＞Max(r_og)。

据此，我们提出这样一种反推鱼眼设计模型修正法的思路：对于一个确定的鱼眼镜头，当其在CCD芯片上成像后，可根据芯片的像元尺寸及成像像素数量等硬件参数，反算其成像半径r_real；同时，由于鱼眼视场角2ωmax及焦距f是已知的，我们即可算出该视场角及焦距分别对应不同成像模型时的最大成像半径Max(r_sg)、Max(r_ed)、Max(r_es)及Max(r_og)；分别比较Max(r_sg)、Max(r_ed)、Max(r_es)及中与r_real最接近的上下两值，通过其对应设计模型的插值修正，即可求解该鱼眼镜头的实际设计模型。对于面阵相机来说，实际鱼眼成像半径：

$r_{\mathrm{real}}=\sqrt{\frac{{\mathrm{Nd}}_w{d}_h}{\mathrm{\&pi;}}}---\left(8\right)$

其中：

d_w×d_h——面阵CCD上单个像元尺寸；

N——鱼眼在该面阵CCD上成像像素的总个数。

对于线阵全景***而言，实际上只取了鱼眼中间过圆心的一条线，我们称之为鱼眼线，则实际鱼眼线半径为：

$r_{\mathrm{real}}=\frac{(Y_B-Y_T)d_h}{2}---\left(9\right)$

其中，

d_h——线阵CCD上单个像元的高度方向尺寸；

Y_B——鱼眼在线阵CCD上成像的下边界点；

Y_T——鱼眼在线阵CCD上成像的上边界点。

为避免自然光下边缘光照度较低以及鱼眼下方转台遮挡造成的成像影响，我们利用内凹的球面积分光源（图10（a））罩在鱼眼镜头上来成像（图10（b））。该光源内壁为半球面状，可以均匀反射从底部发射出的光线，使得整个图像的照度非常均匀；该方法使得鱼眼边缘成像清晰，便于鱼眼线半径的求取。

由图10（b），得到Y_B＝1888,Y_T＝207，又d_h＝0.014，故r_real＝0.014×(1886-205)/2＝11.767；并能够计算出光轴在线阵CCD上的实际位置Yr=1047.5。由线阵全景***使用的Sigma8mm圆形鱼眼的相关参数，可分别计算出：

Max(r_sg)＝16.0000000；

Max(r_ed)＝12.5663704；

Max(r_es)＝11.3137085；

Max(r_og)＝8.0000000。

通过结果比较，可以得出Max(r_es)、Max(r_ed)与r_real最接近，故有：

r_real＝kMax(r_es)+(1-k)Max(r_ed)                      （10）

求解得出：k＝0.638137，反推出Sigma8mm鱼眼的最初设计为等立体角模型。

经过插值修正，鱼眼变形模型为：

$F\left(\mathrm{\&alpha;}\right)=2\mathrm{kf}\sin \frac{\mathrm{\&alpha;}}{2}+(1-k)\mathrm{f\&alpha;}=1.276275f\sin \frac{\mathrm{\&alpha;}}{2}+0.361863\mathrm{f\&alpha;}---\left(11\right)$

最终鱼眼校正模型成像曲线参见图11，进而可求解出鱼眼变形校正模型F^-1(α)。

以SIGMA8mm F3.5EX DG和NIKKOR D2X面阵相机搭配，采集了一幅鱼眼图像，见图12。NIKKOR D2X相机芯片尺寸为23.7×15.7mm，实验中所用成像分辨率为3216×2136。对图12利用11对应的鱼眼校正模型进行校正，其几个立体角的校正结果见图13，图14给出了整个场景180°信息的半立方体视面校正结果。可以看到，鱼眼中弯曲的日光灯、办公桌护栏、墙角等信息都得到了恢复，图像校正结果良好，说明该模型是非常有效的。

步骤3）鱼眼光学中心标定

由步骤2）可知鱼眼的成像过程是一种球面透视，所有的入射光线汇聚于球心这一点,我们称其为鱼眼镜头的光学中心。在线阵全景***的设计中，应该严格保证光学中心位于转台的旋转轴上。针对线阵CCD和鱼眼镜头的集成搭配，提出了上下偏角法来确定鱼眼镜头的光学中心。

上下偏角法确定光学中心的基本思路为：以光学中心为原点建立成像面坐标系（记为C_c），以线阵相机前端面为基准建立相机坐标系（记为C_m），以光轴和物点的交点为原点建立物点坐标系（记为C_b），则光学中心的标定表述为求取C_c和C_m的关系。为实现此目的，我们先求取C_c与C_b的关系，接着求取C_m与C_b的关系，在此基础上得出C_c与C_m的关系，即：

$\left\{\begin{array}{c}(C_c,C_b)\\ (C_m,C_b)\end{array}\right.\&DoubleRightArrow;(C_c,C_m)---\left(12\right)$

实际中，可以制作mm级别的条纹标定块来作为成像可用的物点，如图15所示。

图16为本发明线阵鱼眼光学中心标定示意图。将条纹张贴在白色墙面上，条纹线与大地平行，将装配有鱼眼镜头的线阵相机垂直面向墙体；图16中，C为鱼眼镜头的光学中心，P₁、P₂分别为上下两条条纹，α₁、α₂为其分别对应的球面透视角。为保证图像解算时α₁、α₂大小比较接近，我们在张贴标定块时确保其中心大概处于和镜头同一水平面上。根据图16，得出：

d_c=L_w-L_c                       (13)

其中，

d_c—为光学中心距相机前端面的距离，为拟标定参数；

L_w—为相机前端面距标定块的垂直距离；

L_c—为光学中心距标定块的垂直距离。

L_w这一参数通过测量获得，而对L_c，有：

L_c＝|CP₂|cos|α₁|                     （14）

借助于三角形CP₁P₂,利用正弦定理，我们可求得：

$\left|{\mathrm{CP}}_2\right|=\frac{\left|P_1{P}_2\right|\cos \left|{\mathrm{\&alpha;}}_1\right|}{\sin \left(\right|{\mathrm{\&alpha;}}_1|+|{\mathrm{\&alpha;}}_2\left|\right)}---\left(15\right)$

联立公式13-15,我们即可求得L_c的值，即得到了光学中心的标定位置：

$d_c=L_w-\frac{\left|P_1{P}_2\right|\cos \left|{\mathrm{\&alpha;}}_1\right|\cos \left|{\mathrm{\&alpha;}}_2\right|}{\sin \left(\right|{\mathrm{\&alpha;}}_1|+|{\mathrm{\&alpha;}}_2\left|\right)}---\left(16\right)$

公式(16)中的|P₁P₂|可通过制作标定块的条纹相对尺寸获得；与此同时，通过步骤2）对鱼眼线的校正研究，我们可利用鱼眼校正模型求取出任意条纹对应的球面透视角α。

$\left\{\begin{array}{c}{\mathrm{\&alpha;}}_1=F^{-1}(Y_r-Y_1)\\ {\mathrm{\&alpha;}}_1=F^{-1}(Y_r-Y_2)\end{array}\right.---\left(17\right)$

其中，

Y_r—为鱼眼线图像圆心处纵坐标，步骤2）校正出这一参数的值；

Y₁、Y₂—为上下条纹在线阵图像上分别对应的纵坐标像素值。

在实验装置中，一旦定位好镜头与标定块的垂直关系，我们只需取不同的条纹对，通过α₁、α₂及|P₁P₂|的改变，就可以在一次成像上进行多次实验，标定结果，极大提高了光学中心标定的效率。为使该标定方法不失一般性，我们希望α₁及α₂可以在π/6左右或以下，因此可以考虑在实验现场满足

因为据步骤2）鱼眼成像模型（图9），在π/6以下时，各种设计思想的畸变差异值较小，因此可以适用于各种设计模型的鱼眼镜头；与此同时，π/6的阈值使得测量三角形CP₁P₂为锐角三角形，相对于钝角三角形来说，可以提高标定的精度。

具体实验中，我们制作了几张mm级的标定条纹，并据步骤2）分析有

f＝571.49，Y_r＝1047.5，|P₁P₂|、L_w、Y₁、Y₂、α₁、α₂、L_c及对应的d_c结果见表1，表1为本发明面向重大案事件现场的快速的基于线阵CCD的光学中心标定结果；实验中获取的条纹图像见图16。

表1

剔除最大最小值，我们取：

$d_c=\frac{\underset{i=1}{\overset{n-2}{\mathrm{\&Sigma;}}}d\left(i\right)}{n-2}---\left(18\right)$

经计算得到：

d_c≈67.1mm。

从结果可知，鱼眼镜头的光学中心位于全景***线阵相机前端面约67.1mm处。本专利提出的鱼眼镜头光学中心标定方法简单、可靠、易行，光学中心标定精度较高。当使用其它鱼眼镜头时，仍然可以利用上下偏角算法先标定出镜头光学中心位置，之后即可得出当前所用镜头的光学中心与旋转轴的间距值Δδ：

Δδ＝d_c-L_r                        （19）

其中：

L_r—为云台转轴距相机前端面的距离值（取相机前方为正）。

7）全景空间点三维信息获取与测量模块。

利用三脚架的伸缩在同一位置采集上下两幅全景图，见图17。我们以低位置处的水平面与旋转轴的交点O′为原点建立测量所用的右手笛卡尔直角坐标系O′-X′Y′Z′，其中Z′指向线阵全景***初始位置的光轴方向，X′竖直向上，见图18。图中为了表达清楚将OZ与低位置的光轴分开，其实它们是重合到一起的。根据三角形的正弦定理，我们可以得到三维空间中的一点与光学中心的极半径值：

$r^{\&prime;}=\frac{B\cos {\mathrm{\&alpha;}}_{\mathrm{\&mu;}}}{\sin ({\mathrm{\&alpha;}}_l-{\mathrm{\&alpha;}}_{\mathrm{\&mu;}})}---\left(20\right)$

其中：

B—为上下两幅全景间的基线长度，实际中可通过测量三脚架的上下两个极限位置获得该数值；

α_μ、α_l—分别为待测量空间点对应的空间立体角，且α_μ为负值。

公式（20）给出了点P相对于低位置处成像***光心的空间极半径，在此基础上，我们可以计算出空间点P的三维坐标(x′,y′,z′)，

$\left\{\begin{array}{c}{x}^{\&prime;}=r^{\&prime;}\sin {\mathrm{\&alpha;}}_l\\ y^{\&prime;}=(r^{\&prime;}\cos {\mathrm{\&alpha;}}_l+\mathrm{\&Delta;\&delta;})\sin \mathrm{\&theta;}\\ z^{\&prime;}=(r^{\&prime;}\cos {\mathrm{\&alpha;}}_l+\mathrm{\&Delta;\&delta;})\cos \mathrm{\&theta;}\end{array}\right.---\left(21\right)$

其中：

r′为极坐标半径，θ是当前空间点对应的水平视角，Δδ是光学中心相对于旋转轴的偏移值，取向前为正。

正如前面章节中我们进行鱼眼光学中心标定时所采用的思想一样，通过使用鱼眼校正模型,我们可以计算出α_μ以及α_l的值。另外，根据公式：

θ＝2πx_p/W_P                       （22）

我们可以得到θ的值。公式中，x_p为点P在全景图上成像点的横坐标，Wp为全景图的整个宽度。实际中，上下两幅全景图计算出来的θ值可能不相同，我们可以通过取均值的方法求得结果作为θ的最终取值。

对于参数Δδ，我们有公式（19）可得，其中d_c为光学中心距相机前端面的值，L_r为云台旋转轴与相机前端面的值，由实际加工的全景***安装部件侧面投影尺寸，见图19，可以方便的计算出L_r的值；d_c的前面已经求出，因此我们可较为精确地得到Δδ。

利用以下公式，理论上即可计算出空间两点P₁及P₂的距离值d_p：

$d_p=\sqrt{{({x_1}^{\&prime;}-{x_2}^{\&prime;})}^2+{({y_1}^{\&prime;}-{y_2}^{\&prime;})}^2+{({z_1}^{\&prime;}-{z_2}^{\&prime;})}^2}---\left(23\right)$

基于以上的发明，我们进行了全景空间点三维信息获取与测量实验，利用实验室作为测试场，我们布置了若干标记点，这些标记点之间的摆放关系充分考虑了三维信息各个维度的测试需求，图20；在此基础上，我们采集了上下两幅全景图像，图21。

为验证自己本发明的数字全景***的测量精度，我们利用单点激光对测试场的标记点及个别感兴趣的信息点进行了标定，得到一系列测试场信息点的空间极半径值，近似的将这些测量值分别作为对应信息点的真值；相关的标定实验结果见表2，表2为本发明面向重大案事件现场的快速的基于线阵CCD的数字全景装置测试场的单点激光标定实验结果。

表2

在此基础上，我们进行了数字全景***下的空间极半径及三维坐标测量实验，实验数据参见表3；表3为本发明面向重大案事件现场的快速的基于线阵CCD的数字全景装置测试场的空间极半径及三维坐标实验结果。

表3

并进行了三维空间信息点间的距离测量实验，具体数据见表4。表4为本发明面向重大案事件现场的快速的基于线阵CCD的数字全景装置空间点距测量实验结果。

表4

可以看到，自主开发的线阵数字全景***给出了***原点距离信息点的空间极半径值，以及该信息点在***自身坐标系下的三维坐标信息，并能有效的进行空间长度的测量；***测量的相对误差在5%以下，基本满足了现场测量的需要，证明了算法的合理性与有效性。

另外，表3及表4的实验数据中，每一次测量的前两组数据，我们采用了手动选取同名点的方式，第三组数据使用了自动匹配同名点模式，通过实验数据的比对，可以看到本发明采用的同名点自动匹配算法是行之有效的。

8）全景漫游模块，可以给出全景图像任意角度的重投影，帮助用户更好的浏览全景空间，达到在线事故现场的目的。

全景漫游的本质为基于全景图的视景绘制过程，即使用全景图来生成不同观察方向上的透视视图，将全景图的可视部分用平面透视予以展现。

全景漫游的最终目的是提供给用户一个能够沉浸其中，进行自由交互观察与操作的虚拟信息场景，帮助观察者快速熟悉现场。针对本***的独特性，本发明提出了适用于线阵全景***的全景漫游公式，其基本思想是光路反向跟踪法。如图22所示，我们有：

$\left\{\begin{array}{c}{x}^{\&prime;}=\frac{\mathrm{\&theta;}+\arctan [(x-W/2)/d]}{2\mathrm{\&pi;}}{W}_p\\ y^{\&prime;}=H_p/2-F\left({\mathrm{\&alpha;}}^{\&prime;}\right)\end{array}\right.---\left(24\right)$

另外根据图22中，我们可以得到恒等式：

$\sin {\mathrm{\&alpha;}}^{\&prime;}=\frac{d\sin \mathrm{\&alpha;}+(H/2-y)\cos \mathrm{\&alpha;}}{\sqrt{{(x-W/2)}^2+{(y-H/2)}^2+d^2}}---\left(25\right)$

$d=\frac{W}{2\tan ({\mathrm{\&theta;}}_c/2)}---\left(26\right)$

其中：

(x,y)—当前子视图上的像素点；

(x′,y′)—(x,y)对应在全景图上的像素点；

W×H—当前子视图的尺寸；

(θ,α)—当前子视图对应的空间方位角（水平和竖直角，以中心点记）；

θ_c—子视图的水平视角；

F(α′)—鱼眼成像模型；

α′—当前子视图像素对应的球面视角；

H_p—全景图像的高度；

d—当前子视图与成像光学中心的垂直距离。

根据本发明的漫游思想们，对图13的北航实验室全景进行了漫游。实验中，我们从水平60°竖直40°位置出发，进行了覆盖水平100°、竖直120°范围的漫游体验，单幅漫游图分辨率为400×400，水平视角范围为40°，漫游路线如图23所示，结果如图24所示。正如所期望的那样，漫游效果良好，证明了本发明漫游算法是合理的。

本发明未详细阐述的部分属于本领域公知技术。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (14)

1.一种面向重大案事件现场的快速的基于线阵CCD的数字全景装置，其特征在于，包括：机械单元（1）、图像采集单元（2）、控制驱动与反馈单元（3）、通信及上位机单元（4），其中：

机械单元（1），用于连接图像数据采集单元（2）与云台（6），实现图像数据的采集单元（2）的垂直方向扫描；利用连接装置（8）将旋转变压器（7）与云台（6）固定实现同步运动；并通过三脚架（9）的升降杆（10）与连接装置（8）相连；升降杆（10）带有外螺纹，三脚架（8）带有内螺纹的法兰，通过摇柄（11），可实现图像采集单元的升降；

图像数据采集单元（2），由线阵图像传感器（13）、镜头（14）及图像采集卡（5）组成，可实时获取场景的线状图像，在云台（6）的带动下，对事故现场进行全景扫描，并将获得的图像信息通过图像采集卡传递给上位机（4）；

控制驱动与反馈单元（3），驱动器（16）控制云台（6），带动图像采集单元（2）实现垂直匀速扫描，通过旋转变压器（7）实时获取各个扫描位置的角度信息，通过驱动器（16）和RS232转USB接口（15）传递给上位机（4）；同时为及时感知云台是否垂直旋转覆盖一周而无重复，云台上安装了位置传感器（12）；

通信及上位机单元（4），图像采集卡（5）将图像数据采集单元（2）获取的场景线状图像、旋转变压器（7）获得的角度信息实时传送到上位机（4），通过上位机（4）控制云台匀速转动，得到事故现场全景图像，并通过全景空间点三维信息获取、全景图像畸变校正及漫游功能，满足事故现场勘查与信息提取的基本需求。

2.根据权利要求1所述的面向重大案事件现场的快速的基于线阵CCD的数字全景装置，其特征在于：所述的线阵图像传感器为普通线阵图像传感器或三线彩色RGB线阵相机图像传感器，时钟频率40.0MHz，线速率18.6-19048线/秒，可编程曝光时间0.05-53.8ms，CCD芯片高度28.7mm，像元尺寸14um×14um，有效像素3×2048，数据接口Camera Link，输出位数24bit或30bit，镜头接口Nikon F，供电12V DC±10%，15W，外观尺寸90×90×90，重量860g。

3.根据权利要求1所述的面向重大案事件现场的快速的基于线阵CCD的数字全景装置，其特征在于：所述的镜头（14）为Sigma8mm F3.5EX DG圆形鱼眼镜头，镜头结构6组11片，光圈3.5-22；最近对焦距离135mm，焦距范围8mm，视角180°，外形尺寸73.5×68.6，重量400克，玻璃镜片。

4.根据权利要求1所述的面向重大案事件现场的快速的基于线阵CCD的数字全景装置，其特征在于：所述的图像采集卡（5）为美国Imperx公司的Framelink图像采集卡；总线为32bit CardBus33MHz；视频格式为黑白，彩色或bayer彩色数字相机；接口为双通道基本架构CL接口；内存256Mb；功率0.5W；操作***，Windows2000/XP；规格115×54×5；物理接口，PCMCIA8.0卡槽接口，支持热插拔和即插即用。

5.根据权利要求1所述的面向重大案事件现场的快速的基于线阵CCD的数字全景装置，其特征在于：所述的云台（6）为功率不小于211.2W，最大空载转速460r/min,峰值堵转扭矩不小于4.4N.m，电流不小于4.4A，质量小于2.4Kg云台。

6.根据权利要求1所述的面向重大案事件现场的快速的基于线阵CCD的数字全景装置，其特征在于：所述的旋转变压器（7）为转换率最大为0.5±5％，最大电气误差为±10′，适用于-55～+155℃的环境，质量小于0.065Kg，输出为正余弦模拟信号的角度传感器。

7.根据权利要求1所述的面向重大案事件现场的快速的基于线阵CCD的数字全景装置，其特征在于：所述的连接装置（8）为圆柱形，并在圆柱的径向相隔90°攻4个M3的全螺纹。

8.根据权利要求1所述的面向重大案事件现场的快速的基于线阵CCD的数字全景装置，其特征在于：所述的三脚架（9）为曼富图055CXPRO3496RC2碳纤维三脚架，脚架节数三节。

9.根据权利要求1所述的面向重大案事件现场的快速的基于线阵CCD的数字全景装置，其特征在于：所述的升降杆（10）为曼富图碳纤维升降杆，可升降长度600。

10.根据权利要求1所述的面向重大案事件现场的快速的基于线阵CCD的数字全景装置，其特征在于：所述的位置传感器（12），为直流三线PNP的传感器，该位置传感器工作电压为10～30VDC，静耗电流小于5mA，输出电流不大于200mA，输出压降不大于1.5VDC，响应频率为300Hz以内。

11.根据权利要求1所述的面向重大案事件现场的快速的基于线阵CCD的数字全景装置，其特征在于：所述的驱动器（15），为额定电压+24V以内，额定电流2A，输入角度信号为A、B、Z相脉冲信号，具有R232接口的直流电机驱动器。

12.根据权利要求1所述的面向重大案事件现场的快速的基于线阵CCD的数字全景装置，其特征在于：所述的RS232转USB接口（16）为HX-5401，是一款通过USB信号转成一路RS-232的9线全信号的袖珍型转换器。

13.根据权利要求1所述的面向重大案事件现场的快速的基于线阵CCD的数字全景装置，其特征在于：所述的上位机（4）为至少具有网口，***内存大于2GB，支持Windows XP操作***的笔记本电脑。

14.根据权利要求1所述的面向重大案事件现场的快速的基于线阵CCD的数字全景装置，其特征在于：所述通信及上位机单元（4）中的控制软件实现过程如下：

步骤1）、图像采集单元（2）与控制驱动及反馈单元（3）初始化：***上电后，云台（6）按驱动器（16）的设置自动找到零位，***启动成功；

步骤2）、通信及上位机单元（4）初始化，设置步距角、驱动器细分、云台转速、设置串口通信端口；其二设置采集的单帧线数、设定全景图像分辨率、Cameralink虚拟串口操作；

步骤3）、启动采集按钮，图像采集单元（2）和控制驱动及反馈单元（3）实时将获取的线状图像信息，角度信息驱动器（16）、及RS232转USB接口（15）传给上位机做进一步处理；

步骤4）、选择全景采集命令后，上位机控制云台匀速转动，同时将实时采集的线图像在软件中显示出来；在云台旋转360°后，上位机自动感知全景图像采集完成，结束云台转动，关闭采集线程，同时弹出消息框提醒用户全景采集结束；用户回车确定后，云台自行回转一圈到起始采集位置，手柄转动，带动升降杆运动到不能升降的位置，重复步骤5）的过程在获取一幅全景图像；

步骤5）、上位机（4）对采集的图像信息进行处理，进行鱼眼镜头的精确校正，全景***鱼眼镜头光学中心标定，通过全景空间点三维信息获取、全景图像同名点的自动匹配、实现线阵全景图像空间点三维信息获取与测量、全景图像畸变校正及漫游功能，满足案事件现场勘查与信息提取的基本需求。

Images