CN113596330B

CN113596330B - 红外光学***刷新率提升方法、装置及设备

Info

Publication number: CN113596330B
Application number: CN202110856077.9A
Authority: CN
Inventors: 刘岩; 李寅岩; 王彬彬
Original assignee: Beijing Shuimu Oriental Medical Robot Technology Innovation Center Co ltd
Current assignee: Beijing Shuimu Oriental Medical Robot Technology Innovation Center Co ltd
Priority date: 2021-07-28
Filing date: 2021-07-28
Publication date: 2023-04-07
Anticipated expiration: 2041-07-28
Also published as: CN113596330A

Abstract

本发明提供了一种红外光学***刷新率提升方法、装置及设备。所述方法包括所述两个图像采集工具根据预设的采集时刻间隔交替对目标工具进行图像采集，分别得到带有目标工具光斑成像的二维图像序列；根据同一图像采集工具的二维图像序列中两相邻采集时刻采集的图像中光斑的中心亚像素二维坐标，通过插帧计算得到所述两相邻采集时刻的中间时刻对应的虚拟图像中光斑的中心亚像素二维坐标；将两个图像采集工具在每一采集时刻对应的虚拟图像中光斑的中心亚像素二维坐标进行匹配、三维重建、识别所述目标工具的定位信息。以此方式，可以减轻红外光学***数据传输的带宽压力，提高红外光学***的计算运行效率以及定位信息刷新率。

Description

红外光学***刷新率提升方法、装置及设备

技术领域

本发明的实施例一般涉及红外跟踪定位领域，并且更具体地，涉及一种红外光学***刷新率提升方法、装置及设备。

背景技术

在红外跟踪定位领域，一般使用红外光学***对工具进行定位。在红外光学***工作的过程中，为了持续对跟踪工具进行精准定位，需要不间断的对当前视野内的场景进行拍摄来捕获二维灰度图像。通常情况下，由于红外光学***在相机镜头上安装了特定波长的红外滤光片，环境中的大量可见光会被滤光片过滤掉。与此同时，由于红外光学***配备了有源的红外LED辅助灯环，该灯环发出的红外光可以被跟踪物体上安装的光学反光球反射，并在相机捕获到的二维图像上成像。根据捕获到的二维图像，需要利用二维标志点识别算法，找出左右图像中每个光斑中心亚像素的二维坐标值。利用左右两边这些寻找到的光斑中心亚像素二维坐标值，后续通过双目二维点匹配、三维重建、工具点识别等后续处理步骤实现对被跟踪工具的测量定位。

可见，红外光学***的工作是周期性的，当一个工作周期内的全部流程都执行完毕才可以报告出所需的定位信息。然而在一个工作周期内，同步触发信号同时出发左右两个相机捕获图像，并将图像数据传输给计算单元，由于每幅图像数据量通常较大，因此对硬件的数据传输带宽方面压力巨大，当硬件的数据传输带宽较小时，势必会带来数据传输方面的延迟，拖慢整体***的定位刷新速率。与此同时，二维光斑中心坐标识别算法的耗时最长。因为在运行二维光斑中心坐标识别算法时，通常需要对左右两边的图像进行逐像素的全局遍历搜索，利用图像连通域查找算法来确定每一个光斑的范围，算法的耗时随相机图像的分辨率呈线性增长，当图像的分辨率较高时，会严重拖慢***的整体定位刷新速率，导致计算图像中光斑的中心亚像素二维坐标的运算效率低下。

发明内容

根据本发明的实施例，提供了一种红外光学***刷新率提升方案。

在本发明的第一方面，提供了一种红外光学***刷新率提升方法。该方法包括：

所述两个图像采集工具根据预设的采集时刻间隔交替对目标工具进行图像采集，分别得到带有目标工具光斑成像的二维图像序列；

根据同一图像采集工具的二维图像序列中两相邻采集时刻采集的图像中光斑的中心亚像素二维坐标，通过插帧计算得到所述两相邻采集时刻的中间时刻对应的虚拟图像中光斑的中心亚像素二维坐标；

将两个图像采集工具在每一采集时刻对应的虚拟图像中光斑的中心亚像素二维坐标进行匹配、三维重建、识别所述目标工具的定位信息。

进一步地，将所述二维图像序列中的二维图像划分为主帧图像和从帧图像；

对于所述主帧图像，识别出所述主帧图像中光斑的中心亚像素二维坐标；

对于所述从帧图像，获取所述从帧图像的上一帧图像或所述从帧图像对应的主帧图像中光斑的中心亚像素二维坐标作为所述从帧图像的初始值，计算所述从帧图像中光斑的中心亚像素二维坐标。

进一步地，所述将所述二维图像序列中的二维图像划分为主帧图像和从帧图像，包括：

将所述二维图像序列中的首帧图像和第(nK+n+1)帧图像作为主帧图像，将主帧图像后的K帧二维图像作为从帧图像；其中，K为主从帧比例系数，n为正整数。

进一步地，所述对于所述主帧图像，识别出所述主帧图像中光斑的中心亚像素二维坐标，包括：

针对主帧图像的原始图像的行/列进行降采样，确定降采样后的光斑的像素灰度值曲线的行/列波峰起止位置对后，反算回所述原始图像的行/列波峰起止位置对；

将每一个所述原始图像的行/列波峰起止位置对范围内的部分原始图像作为一个子图像；计算所述子图像内每一列/行像素灰度值曲线的行/列波峰起止位置对以及列/行波峰起止位置对；

确定出所述主帧图像中每一个光斑的范围，计算所述光斑的中心亚像素二维坐标。

进一步地，所述方法还包括：

根据主从帧比例系数调整策略对所述主从帧比例系数进行动态调整；

所述主从帧比例系数调整策略包括根据所述红外光学***的加速度值对所述主从帧比例系数进行动态调整、根据所述目标工具的移动速度对所述主从帧比例系数进行动态调整以及根据所述红外光学***识别到的目标工具的数量对所述主从帧比例系数进行动态调整中的一种或多种。

进一步地，所述根据所述红外光学***的加速度值对所述主从帧比例系数进行动态调整，包括：所述主从帧比例系数与所述红外光学***的加速度值呈负相关；

所述根据所述目标工具的移动速度对所述主从帧比例系数进行动态调整，包括：所述主从帧比例系数与所述目标工具的移动速度呈负相关；

所述根据所述红外光学***识别到的目标工具的数量对所述主从帧比例系数进行动态调整，包括：若所述红外光学***识别到的目标工具的数量增加，则将所述主从帧比例系数调整为0，并将当前采集图像作为主帧图像。

进一步地，所述通过插帧计算得到所述两相邻采集时刻的中间时刻对应的虚拟图像中光斑的中心亚像素二维坐标，包括：

获取一个图像采集工具在两相邻采集时刻采集的图像中光斑的中心亚像素二维坐标；

计算所述两相邻采集时刻采集的图像中光斑的中心亚像素二维坐标之间的像素距离；

若所述像素距离小于预设坐标偏移容忍值，则通过求两相邻采集时刻采集的图像中光斑的中心亚像素二维坐标的均值，生成虚拟图像中光斑的中心亚像素二维坐标。

在本发明的第二方面，提供了一种红外光学***刷新率提升装置。该装置包括：

采集模块，分别设置于两个图像采集工具，用于根据预设的采集时刻间隔交替对目标工具进行图像采集，分别得到带有目标工具光斑成像的二维图像序列；

插帧模块，用于根据同一图像采集工具的二维图像序列中两相邻采集时刻采集的图像中光斑的中心亚像素二维坐标，通过插帧计算得到所述两相邻采集时刻的中间时刻对应的虚拟图像中光斑的中心亚像素二维坐标；

识别模块，用于将两个图像采集工具在每一采集时刻对应的虚拟图像中光斑的中心亚像素二维坐标进行匹配、三维重建、识别所述目标工具的定位信息。

在本发明的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。

在本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本发明的第一方面的方法。

应当理解，发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。

本发明通过对红外光学***在定位跟踪工作过程的改进，能够减轻红外光学***数据传输的带宽压力，提高红外光学***的计算运行效率以及定位信息刷新率。

附图说明

结合附图并参考以下详细说明，本发明各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了根据本发明的实施例的红外光学***刷新率提升方法的流程图；

图2示出了根据本发明的实施例的红外光学***捕获的二维灰度图像示意图；

图3示出了根据本发明的实施例的触发信号时序示意图；

图4示出了根据本发明的实施例的插帧计算的流程图；

图5示出了根据本发明的实施例的插帧示意图；

图6示出了根据本发明的实施例的将二维图像序列中的二维图像划分为主帧图像和从帧图像的示意图；

图7示出了根据本发明的实施例的主帧图像中光斑的中心亚像素二维坐标的计算流程图；

图8示出了根据本发明的实施例的对图像进行行降采样示意图；

图9示出了根据本发明的实施例的第一曲线图示意图；

图10示出了根据本发明的实施例的第二曲线图示意图；

图11示出了根据本发明的实施例的红外光学***刷新率提升装置的方框图；

图12示出了能够实施本发明的实施例的示例性电子设备的方框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本发明保护的范围。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本发明中，通过对红外光学***在定位跟踪工作过程的改进，能够减轻红外光学***数据传输的带宽压力，提高红外光学***的计算运行效率以及定位刷新率。

图1示出了本发明实施例的红外光学***刷新率提升方法的流程图。

该方法包括：

S101、所述两个图像采集工具根据预设的采集时刻间隔交替对目标工具进行图像采集，分别得到带有目标工具光斑成像的二维图像序列。

红外光学***至少包括两个图像采集工具，所述图像采集工具例如红外增强型CMOS工业相机；通常外光学***是由左右两个红外增强型CMOS工业相机、特定波长的红外光辅助照明灯环、通用/专用计算模块、固定梁体等组成的，利用双目立体定位原理对被跟踪物体进行跟踪定位的空间定位设备。在传统情况下，两个红外增强型CMOS工业相机分设置于红外光学***的左右两侧，能够接收触发信号，通过硬件中的同步触发电路，使得***左右两侧的相机在同一时刻接收到触发信号，驱动相机，触发快门，实现对当前时刻下的场景的捕获。当左右相机捕获到相应的图像，会通过数据传输电路将左右两幅图像传输到***运算单元的内存中，供其进行后续的运算处理。该种方法对触发信号的同步程度要求高，只有真的在同一时刻信号同时触发了左右两个相机并捕获了图像，才可以使得后续的定位算法得到准确的图像数据进而使得***可以报告出准确的定位信息。然而这种方法对电路、硬件要求高，传输了大量的图像数据的同时也需要后续对大量图像数据进行相应的处理，也需要消耗更多的算力。红外光学***的使用场景一般是被跟踪物体往往处于静止状态或低速运动状态，而且高速相机具有高速捕获能力，使捕获的每一帧图像之间存在的差异往往很小，故每次触发信号发出都对左右两边的相机进行触发、捕获图像，这其中的图像数据大部分是冗余的，徒增了硬件电路、软件算法的负担。

作为本发明的一种实施例，所述两个图像采集工具根据预设的采集时刻间隔交替对目标工具进行图像采集，可以通过触发的形式进行图像采集，具体包括：

通过触发信号对图像采集工具进行触发；所述触发信号每次只触发两个图像采集工具中的一个，并且是按照预设的采集时刻间隔，在预设的采集时刻交替的对两个图像采集工具进行触发。所述两个图像采集工具轮流响应于触发信号，依次交替对目标工具进行图像采集。

所述目标工具即为被跟踪工具，是由若干个(通常4～6个)反光球固定在某一刚体结构上构成的。每个反光球之间相对位置关系保持不变，并可以通过测量设备仪器准确的测量出各个反光球之间的相对位置关系，供***进行定位，是***的跟踪目标。不同的工具形状、反光球排列方式不同来区分不同的工具。反光球可以在***的相机图像上形成光斑。

作为本发明的一种实施例，如图2所示，每个图像采集工具采集到的图像是二维灰度图像，样式一般以黑色背景为主，由于红外光学***配备了有源红外LED辅助灯环，该灯环发出的红外光可以被目标工具上的光学反光球反射，在二维图像上呈现一定数量的白色光斑分布。

作为本发明的一种实施例，如图3所示。图像采集工具一般为红外增强型CMOS工业相机，且两个红外增强型CMOS工业相机设置于红外光学***的左右两侧。在第一时刻T1时，触发信号L1首先发送至左侧相机，触发左侧相机进行图像获取，得到左侧相机图像IMG_L1；经过延时后，在第二时刻T2，触发信号R2发送至右侧相机，触发右侧相机进行图像获取，得到右侧相机图像IMG_R2；经过延时后，在第三时刻T3，触发信号L3发送至左侧相机，触发左侧相机进行图像获取，得到左侧相机图像IMG_L3；经过延时后，触发信号R4发送至右侧相机，触发右侧相机进行图像获取，得到右侧相机图像IMG_R4，以此类推。

在本实施例中，左侧相机依次获取到了图像IMG_L1、IMG_L3、IMG_L5……，并由图像IMG_L1、IMG_L3、IMG_L5……组成带有目标工具光斑成像的二维图像序列，记为L序列；右侧相机依次获取到了图像IMG_R2、IMG_R4、IMG_R6……，并由IMG_R2、IMG_R4、IMG_R6……组成带有目标工具光斑成像的二维图像序列，记为R序列。

可见，如上述方式，每一次发出触发信号后，只能得到该时刻下红外光学***一侧相机所捕获到的图像，相比于两侧相机同时捕获图像，所产生的图像数据信息量直接减少为之前的50％。与此同时，单侧触发仅使用了原有双侧触发所需的数据传输带宽的1/2，极大的降低了硬件的数据传输带宽压力，降低了基于X86架构、基于FPGA芯片等硬件***的硬件配置要求。

由于红外光学***的双目定位原理，仅获得某一时刻下单侧相机捕获的图像是不足以完成后续的三维重建、工具跟踪识别的，同时又不可以利用两次不同时刻触发捕获的图像进行后续的定位运算。故有S102如下。

S102、根据同一图像采集工具的二维图像序列中两相邻采集时刻采集的图像中光斑的中心亚像素二维坐标，通过插帧计算得到所述两相邻采集时刻的中间时刻对应的虚拟图像中光斑的中心亚像素二维坐标，如图4所示，具体包括：

S401、获取一个图像采集工具在两相邻采集时刻采集的图像中光斑的中心亚像素二维坐标；

S402、计算所述两相邻采集时刻采集的图像中光斑的中心亚像素二维坐标之间的像素距离；

S403、若所述像素距离小于预设坐标偏移容忍值，则通过求两相邻采集时刻采集的图像中光斑的中心亚像素二维坐标的均值，生成虚拟图像中光斑的中心亚像素二维坐标。

作为本发明的一种实施例，如图5所示，T1、T2、T3、T4为四个时刻。在T1时刻触发了左侧相机，产生了图像IMG_L1；T2时刻触发了右侧相机，产生了图像IMG_R2；T3时刻触发了左侧相机，产生了图像IMG_L3；T4时刻触发了右侧相机，产生了图像IMG_R4。那么，根据相邻采集时刻T1、T3时刻的左侧相机捕获的图像IMG_L1与IMG_L3，可以通过插帧的方式生成两个时刻的中间位置，即T2时刻可能的左侧相机图像IMG_L2。同理，可以生成T3时刻右侧相机图像IMG_R3。通过图像IMG_L1识别出的被判定为光斑的中心亚像素二维坐标有

通过图像IMG_L3识别出的被判定为光斑的中心亚像素二维坐标有

设置坐标偏移容忍值δ，IMG_L1中的任一点二维坐标

与IMG_L3中的任一点二维坐标

之间的像素距离为D，则有

当D<δ时，则认为IMG_L1中的

与IMG_L3中的

为同一光斑标志点，通过插帧算法生成IMG_L2中的一个虚拟的二维坐标点P_ij。

当D≥δ时，则认为两个坐标不为对应点关系，则不进行插帧算法生成虚拟的二维坐标。

通过上述的插帧算法即可得到每一个时刻未触发的一侧相机识别出的光斑中心亚像素二维坐标值。由于相机的触发速率是一定的，例如一般的工业相机触发速率上限可以达到150Hz。如果采用触发信号同时触发左右两侧相机，那么相机的触发速率上限就被控制在了150Hz。但如果采用上述的单侧触发并插帧的方式，通过控制好触发信号的间隔，综合两侧的相机，并考虑相应的软硬件开销，可以将相机的触发速率大幅提升至接近2倍的水平。可见，红外光学***在跟踪定位被跟踪工具时，整个计算流程上往往利用的是反光球反射的红外光在捕获到的图像上形成的圆形光斑中心的所在位置即圆形光斑的二维亚像素坐标，因此并不需要真正的通过两个时刻的图像插帧生成一幅全新的图像，这样大大的节省了运算的开销。

传统红外光学***在对相机捕获的图像进行光斑的中心亚像素二维坐标计算时耗时很多的，因为通常一幅图像的分辨率就已经高达几百万像素，同一时刻还会有左右两幅图像，需要针对整幅图像进行全局的搜索，遍历每一个像素来寻找属于同一光斑的像素点并构成一个连通区域，并进行相应的光斑中心坐标亚像素计算。这其中涉及到的计算量巨大，会消耗大量的计算资源与时间。

故，在本实施例中还可以对主从帧图像进行区分处理，即将所述二维图像序列中的二维图像划分为主帧图像和从帧图像。

在本实施例中，将所述二维图像序列中的二维图像划分为主帧图像和从帧图像，具体包括：

将所述二维图像序列中的首帧图像和第(nK+n+1)帧图像作为主帧图像，将主帧图像后的K帧二维图像作为从帧图像；其中，K为主从帧比例系数，n为正整数。例如当K＝100时，则所述二维图像序列中的首帧图像、第102帧图像、203帧图像……为主帧图像。

作为本发明的一种实施例，如图6所示，首先预设主从帧比例系数K。主从帧比例系数K确定了红外光学***的相机捕获图像后，在一个主帧后的从帧数量与所述主帧的比例，表示相机每捕获到一幅图像作为主帧图像时，则后续再捕获K幅图像作为从帧图像。

作为本发明的一种实施例，当相机捕获到第K幅从帧图像时，也可以后续再捕获一幅图像作为主帧图像，并结束，此时最后一帧主帧图像后并不存在从帧。

通常情况下，主从帧比例系数K的取值可以从1～+∞。但考虑到从帧的计算结果是基于当前帧的上一个主帧或上一帧的结果计算得到的，因此主从帧比例系数K取到100～500。

在传统方案中，对图像进行降采样是逐行逐列每隔一定数量的像素对原始图像进行抽取。例如对行列进行2倍或者4倍降采样，即行数缩小为原来的1/2或1/4，列数缩小为原来的1/2或1/4；那么降采样后的图像像素数量仅为原始图像的1/4或者1/16，此时再对图像进行上述计算时，虽然可一定程度上的减少该步骤计算的耗时，但因为降采样是通过舍弃一部分原始图像信息的方式来达到提高处理运算速度的目的，因此当降采样率倍数较高时，原始图像的信息损失的也越多，一定程度上造成了在计算图像光斑的中心亚像素坐标时存在较大的误差，从而影响后续的定位精度。

作为本发明的一种实施例，如图7所示，对于所述主帧图像，需要对其进行全局搜索，识别出所述主帧图像中光斑的中心亚像素二维坐标。

S701、针对主帧图像的原始图像的行/列进行降采样，确定降采样后的光斑的像素灰度值曲线的行/列波峰起止位置对后，反算回所述原始图像的行/列波峰起止位置对。

对所述主帧图像进行行/列的降采样，得到降采样后的主帧图像；计算所述降采样后的主帧图像中每一个行/列内的像素灰度值之和，存储为第一数组，并用第一曲线图表示；设置第一像素灰度值之和阈值，将所述第一曲线图与所述第一像素灰度值之和阈值的交点之间存在波峰的相邻点对作为所述第一曲线图中的波峰起止位置对。根据降采样倍数，将所述第一曲线图中的波峰起止位置对还原为原始的主帧图像中的行/列波峰起止位置对。

S702、将每一个所述原始图像的行/列波峰起止位置对范围内的部分原始图像作为一个子图像；计算所述子图像内每一列/行像素灰度值曲线的行/列波峰起止位置对以及列/行波峰起止位置对。

将所述原始的主帧图像中的每一个行/列波峰起止位置对范围内的主帧图像作为一个子图像，获取每个子图像中每一个列/行内的像素灰度值之和，存储为第二数组，并用第二曲线图表示；设置第二像素灰度值之和阈值，将所述第二曲线图与所述第二像素灰度值之和阈值的交点之间存在波峰的相邻点对作为所述第二曲线图中的波峰起止位置对，从而得到原始的主帧图像的列/行波峰起止位置对。

S703、确定出所述主帧图像中每一个光斑的范围，计算所述光斑的中心亚像素二维坐标。

通过所述原始的主帧图像的行/列的波峰起止位置对和列/行的波峰起止位置对得到包含光斑的图像子区域；在所述包含光斑的图像子区域中，通过连通域查找算法得到所述主帧图像中光斑的中心亚像素二维坐标。

作为本发明的一种实施例，所述主帧图像的原始图像为分辨率R×C的图像Img₀。

1)设置降采样倍数为N，即对分辨率R×C的原始图像Img₀的行进行降采样，降采样后的图像行数压缩为原始图像Img₀的1/N，得到降采样图像Img₁，降采样图像Img₁的分辨率为

如图8所示。

2)计算降采样图像Img₁的每一行像素灰度值的和，存储到一个一维数组中，记作

并用第一曲线图表示，如图9所示；其中，横坐标R/N代表降采样后的行，纵坐标RowSum代表每一行像素灰度值的和。

3)设置阈值RowSumThreshold作为第一像素灰度值之和阈值，寻找并记录下数组

中的波峰起止位置对，分别为

如图9所示。

4)由于记录下的波峰起止位置对

是原始图像Img₀降采样后的位置，因此需要根据降采样倍率N反算出原始图像Img₀的真实行和波峰起止位置对。反算出原始图像Img₀的波峰起止位置对记作

例如，将1～10共10行的原图采用2倍的采样倍率进行降采样，得到1～5行，一共5行的子图，该子图中的5行对应原图中的1、3、5、7、9行；则即可根据子图中的1～5行与原图中1、3、5、7、9行的对应关系反推出原图中的行号，例如子图中的3行对应原图中的5行，子图中的4行对应原图中的7行。根据真实行和波峰起止位置对，即可锁定光斑所在的原始图像的行，此后只需考虑原始图像中这些起止位置对范围内的像素。

5)将每一个波峰起止位置对

范围内的原始图像作为一个子图像SubImg_i，求该子图像内每一列像素灰度值的和，存储到一个一维数组中，记作第二数组SubColSum_i[C]；并用第二曲线图表示，如图10所示。

6)设置SubColSumThreshold作为第二像素灰度值之和阈值，寻找并记录下数组SubColSum_i[C]中的波峰起止位置对

如图10所示。

7)根据上述求得的行波峰起止位置对以及列波峰起止位置对即可确定出原始图像Img₀中每一个光斑的大致范围，由

和

则可确定一块包含光斑的图像子区域SubImg_ij。

8)在子区域SubImg_ij中利用连通域查找算法即可找出该光斑中心涉及到的像素，进而求得二维坐标值。其中，光斑涉及到的像素位置为集合P_i∈{(R_i,C_i)}，像素位置对应在图像上的灰度值为G_i，则该光斑的中心二维坐标值(Pr_i,Pc_i)为：

根据以上的算法流程即可对相机捕获到的主帧图像进行光斑的中心亚像素二维坐标计算。当然在本发明的其他实施例中，也可先针对原始图像的列进行降采样，同样可以计算出光斑的中心二维坐标，在此不再赘述。

对于所述从帧图像，获取所述从帧图像的上一帧图像或所述从帧图像对应的主帧图像中光斑的中心亚像素二维坐标作为所述从帧图像的初始值，计算所述从帧图像中光斑的中心亚像素二维坐标。所述从帧图像对应的主帧图像为所述从帧图像上一个主帧图像。在将主帧图像中的光斑中心坐标值计算并记录了下来后，相机捕获之后的N幅图像将作为从帧图像，利用连通域查找算法计算从帧图像中的光斑中心亚像素二维坐标值。作为从帧图像，主要目的是为了节省运算时间，因此省去了对主帧图像计算光斑的中心亚像素二维坐标的相关步骤，使从帧图像在计算光斑中心亚像素二维坐标时，节约了大量的时间。

在上述的方法中，虽然也利用了降采样算法，但只是针对原始图像的行或列中的一个进行降采样，在确定了降采样后的光斑的行或列的波峰起止位置对后又反算回真实的原始图像的起止位置对，再进行后续计算。这样的方法既一定程度上减小了计算量，同时又可以保证定位真实位置的准确性。根据行的波峰位置起止对和列的波峰位置起止对对原始图像进行区域限制划分，逐渐缩小在原始图像上的搜索范围，极大地提高了搜索效率，节约了搜索时间。最终可以只在光斑周围很小的一个范围内利用连通区域算法确定光斑的具体像素位置，进而计算出原始图像中光斑的中心亚像素二维坐标。

作为本发明的一种实施例，所述方法还包括根据主从帧比例系数调整策略对所述主从帧比例系数进行动态调整。

在本实施例中，所述光学***上设置加速度传感器，根据所述红外光学***的加速度值对所述主从帧比例系数进行动态调整，包括：所述主从帧比例系数与所述红外光学***的加速度值呈负相关。例如：若所述红外光学***的加速度值小于预设的加速度阈值，则所述主从帧比例系数在(0,K₁]范围内与所述加速度值呈负相关；其中，K₁为所述主从帧比例系数的第一预设值；否则将所述主从帧比例系数调整为0，并将当前采集图像作为主帧图像。当所述主从帧比例系数为0时，表示从帧图像与主帧图像之间或与上一帧图像之间存在较大差异，无法直接通过上一帧图像或主帧图像作为初始值进行从帧图像的计算，故在此种情况下只有主帧图像，没有从帧图像，即每帧图像均需要进行真实的光斑中心亚像素二维坐标计算。

作为本实施例的一种具体实施方式，在红外光学***上集成加速度传感器，当红外光学***开始工作运行时，加速度传感器同时记录红外光学***的加速度值，当加速度传感器突然记录下红外光学***的加速度值有较大的变化，超出预设的加速度阈值时，说明此时红外光学***受到了一定的外力作用发生了一定的位移，则红外光学***会第一时间将捕获的图像判定为主帧图像进行后续处理，同时立即调整主从帧比例系数K到一个较小的值K′，直到加速度传感器重新稳定到一个很小的值，此时可近似认为红外光学***处在静止状态，则调整主从帧比例系数重新回到K。

可见，所述根据加速度传感器的加速度值进行动态调整的过程，包括：

当所述光学***上设置加速度传感器时，持续判断所述加速度传感器返回的加速度值，如果所述加速度值大于预设的加速度阈值，则所述图像采集工具执行图像采集，将采集到的图像判定为主帧图像，并将所述主从帧比例系数调整为0；如果所述加速度值不大于预设的加速度阈值，则根据加速度值动态调整所述主从帧比例系数，包括：

其中，K为主从帧比例系数；a为加速度值；G为加速度阈值；K′为根据加速度值动态调整后的主从帧比例系数。

在本实施例中，所述根据所述目标工具的移动速度对所述主从帧比例系数进行动态调整，包括：所述主从帧比例系数与所述目标工具的移动速度呈负相关。例如：所述主从帧比例系数在[0,K₂]范围内与所述目标工具的移动速度呈负相关；其中，K₂为所述主从帧比例系数的第二预设值。

作为本实施例的一种具体实施方式，预设三个速度阈值，分别为低速阈值、中速阈值和高速阈值。通过这三个速度阈值将目标工具的移动速度分割为4个区间，按照速度由低到高分别为超低速区间、低速区间、中速区间和高速区间；其中，所述低速阈值为低速区间的最小值，也是超低速区间的最大值；所述中速阈值为中速区间的最大值，也是高速区间的最小值；所述高速阈值为高速区间的最大值。

当所述目标工具的移动速度小于预设的低速阈值时，则所述目标工具的移动速度进入超低速区间，说明目标工具几乎趋于静止；此时根据所述目标工具的移动速度动态调整所述主从帧比例系数，包括：

其中，K_max为主从帧比例系数的最大值；K为主从帧比例系数；V₀为低速阈值；V_t为所述目标工具的移动速度；K₁为当所述目标工具的移动速度小于预设的低速阈值时，调整后的主从帧比例系数；

当所述目标工具的移动速度大于预设的中速阈值时，则所述目标工具的移动速度进入高速区间，说明目标工具正处于高速运动；此时根据所述目标工具的移动速度动态调整所述主从帧比例系数，包括：

其中，K₂为当所述目标工具的移动速度大于预设的中速阈值时，调整后的主从帧比例系数；V₁为中速阈值；V₂为高速阈值。

当所述目标工具的移动速度达到预设的高速阈值时，即V_t＝V₂；此时将所述主从帧比例系数K直接调整为0。

其中，目标工具的移动速度的计算过程，包括：

***报告某一时刻目标工具的空间坐标，通过前后两个空间坐标定位信息即可算出目标工具的位移量和时间差，速度＝位移/时间差；由于***刷新率高，时间差小，即可得到目标工具的瞬时速度。

当目标工具的移动速度较快时，从帧图像与主帧图像之间或与上一帧图像之间存在较大差异，无法直接通过上一帧图像或主帧图像作为初始值进行从帧图像的计算，故在此种情况下将主从帧比例系数调整为0，即只有主帧图像，没有从帧图像，每帧图像均需要进行真实的光斑中心亚像素二维坐标计算。

作为本发明的一种实施例，所述根据所述红外光学***识别到的目标工具的数量对所述主从帧比例系数进行动态调整，包括：若所述红外光学***识别到的目标工具的数量增加，则将所述主从帧比例系数调整为0，并将当前采集图像作为主帧图像。

当目标工具的数量增加时，当前从帧图像与主帧图像之间或与上一帧图像之间存在较大差异，无法直接通过上一帧图像或主帧图像作为初始值进行从帧图像的计算，故在此种情况下将主从帧比例系数调整为0，即只有主帧图像，没有从帧图像，当前从帧图像需要作为主帧图像，进行真实的光斑中心亚像素二维坐标计算。

根据上述过程，使主从帧比例系数能够跟随变量进行动态调整，保证主从帧图像的比例相对合理，从而达到提高运算准确率和效率，缩短运算耗时的目标。

S103、将两个图像采集工具在每一采集时刻对应的虚拟图像中光斑的中心亚像素二维坐标进行匹配、三维重建、识别所述目标工具的定位信息。

一个图像采集工具在两相邻时刻的中间采集时刻对应的虚拟图像中光斑的中心亚像素二维坐标与另一图像采集工具在所述中间采集时刻采集的图像中光斑的中心亚像素二维坐标进行匹配。根据所述红外光学***执行定位的现有技术中的三维重建技术，最终实现识别所述目标工具的定位信息的目的。

根据本发明的实施例，利用相机触发信号对红外光学***的左右两只相机进行交替触发，每一触发时刻只触发一侧的相机来捕获图像，缺失的一侧图像则通过插帧算法补全。这样可以将相机与***计算单元之间的数据传输带宽直接降低为之前的一半，可以有效降低***硬件上的数据传输带宽压力，减小可能由于数据传输带宽不够所造成的图像传输时延降低***刷新率的问题。

根据本发明的实施例，通过对相机捕获的图像区分为主帧与从帧的概念，分别利用不同的算法来处理主帧与从帧，从而实现对二维图像光斑中心坐标位置的识别。对于主帧与从帧的判定，则是基于一个事先设定的主从帧比例系数，配合红外光学自身传感器，与被跟踪工具的加载情况等因素，实现一种动态的对主从帧比例系数进行调节的策略，从而使主帧与从帧按照一定的动态比例交替出现的。由于在对从帧进行二维图像光斑中心坐标位置的识别时所消耗的时间远小于主帧的耗时，所以一定程度上大幅缩短了红外光学***的定位耗时，提升了刷新率。

可见，本发明的可以有效地充分利用红外光学***的硬件计算资源，尽可能的提高红外光学***的计算运行效率，提高红外光学***的定位刷新率。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。

以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。

如图11所示，装置1100包括：

采集模块1110，分别设置于两个图像采集工具，用于根据预设的采集时刻间隔交替对目标工具进行图像采集，分别得到带有目标工具光斑成像的二维图像序列；

插帧模块1120，用于根据同一图像采集工具的二维图像序列中两相邻采集时刻采集的图像中光斑的中心亚像素二维坐标，通过插帧计算得到所述两相邻采集时刻的中间时刻对应的虚拟图像中光斑的中心亚像素二维坐标；

识别模块1130，用于将两个图像采集工具在每一采集时刻对应的虚拟图像中光斑的中心亚像素二维坐标进行匹配、三维重建、识别所述目标工具的定位信息。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

如图12所示，设备包括中央处理单元(CPU)，其可以根据存储在只读存储器(ROM)中的计算机程序指令或者从存储单元加载到随机访问存储器(RAM)中的计算机程序指令，来执行各种适当的动作和处理。在RAM中，还可以存储设备操作所需的各种程序和数据。CPU、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。

设备中的多个部件连接至I/O接口，包括：输入单元，例如键盘、鼠标等；输出单元，例如各种类型的显示器、扬声器等；存储单元，例如磁盘、光盘等；以及通信单元，例如网卡、调制解调器、无线通信收发机等。通信单元允许设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

处理单元执行上文所描述的各个方法和处理，例如方法S101～S103。例如，在一些实施例中，方法S101～S103可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元。在一些实施例中，计算机程序的部分或者全部可以经由ROM和/或通信单元而被载入和/或安装到设备上。当计算机程序加载到RAM并由CPU执行时，可以执行上文描述的方法S101～S103的一个或多个步骤。备选地，在其他实施例中，CPU可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法S101～S103。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)等等。

用于实施本发明的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本发明的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims

1.一种红外光学***刷新率提升方法，其特征在于，所述红外光学***包括两个图像采集工具，所述方法包括：

将一个图像采集工具的虚拟图像中光斑的中心亚像素二维坐标与另一个图像采集工具在相同时刻采集的图像中光斑的中心亚像素二维坐标进行匹配、三维重建、识别所述目标工具的定位信息。

2.根据权利要求1所述的方法，其特征在于，将所述二维图像序列中的二维图像划分为主帧图像和从帧图像；

3.根据权利要求2所述的方法，其特征在于，所述将所述二维图像序列中的二维图像划分为主帧图像和从帧图像，包括：

4.根据权利要求2所述的方法，其特征在于，所述对于所述主帧图像，识别出所述主帧图像中光斑的中心亚像素二维坐标，包括：

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述根据所述红外光学***的加速度值对所述主从帧比例系数进行动态调整，包括：所述主从帧比例系数与所述红外光学***的加速度值呈负相关；

7.根据权利要求1所述的方法，其特征在于，所述通过插帧计算得到所述两相邻采集时刻的中间时刻对应的虚拟图像中光斑的中心亚像素二维坐标，包括：

8.一种红外光学***刷新率提升装置，其特征在于，包括：

识别模块，用于将一个图像采集工具的虚拟图像中光斑的中心亚像素二维坐标与另一个图像采集工具在相同时刻采集的图像中光斑的中心亚像素二维坐标进行匹配、三维重建、识别所述目标工具的定位信息。

9.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～7中任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～7中任一项所述的方法。