CN113436349B - 一种3d背景替换方法、装置、存储介质和终端设备 - Google Patents

Abstract

本发明实施例提供了一种3D背景替换方法、装置、存储介质和终端设备。该方法包括：获取设定数量个特征图像和每个特征图像对应的惯性测量单元IMU数据；根据设定数量个特征图像和每个特征图像对应的IMU数据进行离线校准，生成第一时钟偏移；获取多个拍摄图像和每个拍摄图像对应的IMU数据；根据多个拍摄图像和每个拍摄图像对应的IMU数据进行在线校准，生成第二时钟偏移；根据第一时钟偏移和第二时钟偏移对每个拍摄图像进行3D背景替换，生成多个背景替换图像。本发明实施例提供的技术方案中，根据离线校准生成的第一时钟偏移与在线校准生成的第二时钟偏移，可充分确保3D背景替换的稳定性。

Description

一种3D背景替换方法、装置、存储介质和终端设备

【技术领域】

本发明涉及图像技术领域，尤其涉及一种3D背景替换方法、装置、存储介质和终端设备。

【背景技术】

3D背景替换分为两部分，第一部分为构建虚拟的3D世界并根据现实世界中的摄像机姿态来实时控制虚拟3D世界的摄像机，从而渲染得到类似于现实摄像机实时采集到的图像。第二部分为通过场景分割算法把当前帧分割为背景和前景两个区域，然后把第一部分得到的图像当作背景和当前图像的前景融合在一起形成新的场景图像。

相关技术中，根据多个拍摄图像中相邻的两个拍摄图像来计算终端设备的旋转角度，计算量非常大，使得计算的耗时过长并且计算结果和拍摄图像所对应的拍摄的场景有很大关系，如果所拍摄的场景缺少特征点则计算得到的姿态和实际姿态就会存在很大的偏差，降低了3D背景替换的稳定性。

另一种相关技术中，使用惯性测量单元(Inertial Measurement Unit，简称IMU)数据来控制终端设备的姿态，会使得终端设备的IMU***和摄像机***存在时钟不匹配的问题而导致姿态控制不能和图像同步，会出现时钟不匹配的问题，降低了3D背景替换的稳定性。

【发明内容】

有鉴于此，本发明实施例提供了一种3D背景替换方法、装置、存储介质和终端设备，用以提高3D背景替换的稳定性。

一方面，本发明实施例提供了一种3D背景替换方法，包括：

获取设定数量个特征图像和每个所述特征图像对应的惯性测量单元IMU数据；

根据设定数量个所述特征图像和每个所述特征图像对应的IMU数据进行离线校准，生成第一时钟偏移；

获取多个拍摄图像和每个所述拍摄图像对应的IMU数据；

根据多个拍摄图像和每个所述拍摄图像对应的IMU数据进行在线校准，生成第二时钟偏移；

根据所述第一时钟偏移和所述第二时钟偏移对每个所述拍摄图像进行3D背景替换，生成多个背景替换图像。

可选地，所述根据设定数量个所述特征图像和每个所述特征图像对应的IMU数据进行离线校准，生成第一时钟偏移，包括：

提取设定数量个所述特征图像中相邻的两个所述特征图像，生成第一提取图像；

根据所述第一提取图像和所述第一提取图像对应的IMU数据，生成第一旋转角度集合；

根据所述第一旋转角度集合和获取的第二旋转角度集合，生成所述第一时钟偏移，所述第二旋转角度集合包括自身的旋转角度集合。

可选地，所述根据多个拍摄图像和每个所述拍摄图像对应的IMU数据进行在线校准，生成第二时钟偏移，包括：

提取多个所述拍摄图像的第一特征点集合；

判断所述第一特征点集合中元素的数量是否大于设定阈值；

若判断出所述第一特征点集合中元素的数量大于设定阈值，提取多个所述拍摄图像中相邻的两个所述拍摄图像，生成第二提取图像；

根据多个所述第二提取图像和所述第二提取图像对应的IMU数据，生成第三旋转角度集合；

根据所述第三旋转角度集合和获取的第四旋转角度集合，生成所述第二时钟偏移，所述第四旋转角度集合包括自身的旋转角度集合。

可选地，所述根据所述第一提取图像和所述第一提取图像对应的IMU数据，生成第一旋转角度集合，包括：

通过图像处理技术函数对所述第一提取图像和所述第一提取图像对应的IMU数据进行计算，生成第二特征点集合；

通过光流金字塔函数对所述第二特征点集合进行计算，生成所述第一旋转角度集合。

可选地，所述根据所述第一旋转角度集合和获取的第二旋转角度集合，生成所述第一时钟偏移，包括：

根据所述第一旋转角度集合和获取的所述第一旋转角度集合对应的时间戳，生成第一图像旋转角度曲线；

根据所述第二旋转角度集合和获取的所述第二旋转角度集合对应的时间戳，生成第一IMU角度曲线；

根据所述第一图像旋转角度曲线和所述第一IMU角度曲线，生成多个第一相关距离；

查询出多个所述第一相关距离中最小的第一相关距离和所述最小的第一相关距离对应的第一时钟偏移。

可选地，所述根据多个所述第二提取图像和所述第二提取图像对应的IMU数据，生成第三旋转角度集合，包括：

通过图像处理技术函数对所述第二提取图像和所述第二提取图像对应的IMU数据进行计算，生成第三特征点集合；

通过光流金字塔函数对所述第三特征点集合进行计算，生成所述第三旋转角度集合。

可选地，所述根据所述第三旋转角度集合和获取的第四旋转角度集合，生成所述第二时钟偏移，包括：

根据所述第三旋转角度集合和获取的所述第三旋转角度集合对应的时间戳，生成第二图像旋转角度曲线；

根据所述第四旋转角度集合和获取的所述第四旋转角度集合对应的时间戳，生成第二IMU角度曲线；

根据所述第二图像旋转角度曲线和所述第二IMU角度曲线，生成多个第二相关距离；

查询出多个所述第二相关距离中最小的第二相关距离和所述最小的第二相关距离对应的第二时钟偏移。

另一方面，本发明实施例提供了一种3D背景替换装置，包括：

第一获取模块，用于获取设定数量个特征图像和每个所述特征图像对应的惯性测量单元IMU数据；

第一生成模块，用于根据设定数量个所述特征图像和每个所述特征图像对应的IMU数据进行离线校准，生成第一时钟偏移；

第二获取模块，用于获取多个拍摄图像和每个所述拍摄图像对应的IMU数据；

第二生成模块，用于根据多个拍摄图像和每个所述拍摄图像对应的IMU数据进行在线校准，生成第二时钟偏移；

第三生成模块，用于根据所述第一时钟偏移和所述第二时钟偏移对每个所述拍摄图像进行3D背景替换，生成多个背景替换图像。

另一方面，本发明实施例提供了一种存储介质，其特征在于，包括：所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述一种3D背景替换方法。

另一方面，本发明实施例提供了一种终端设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，其特征在于，所述程序指令被处理器加载并执行时实现上述一种3D背景替换方法的步骤。

本发明实施例提供的3D背景替换方法的技术方案中，获取设定数量个特征图像和每个特征图像对应的惯性测量单元IMU数据；根据设定数量个特征图像和每个特征图像对应的IMU数据进行离线校准，生成第一时钟偏移；获取多个拍摄图像和每个拍摄图像对应的IMU数据；根据多个拍摄图像和每个拍摄图像对应的IMU数据进行在线校准，生成第二时钟偏移；根据第一时钟偏移和第二时钟偏移对每个拍摄图像进行3D背景替换，生成多个背景替换图像。本发明实施例提供的技术方案中，根据离线校准生成的第一时钟偏移与在线校准生成的第二时钟偏移，可充分确保3D背景替换的稳定性。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种3D背景替换方法的流程图；

图2为特征图像的示意图；

图3为图1中根据设定数量个特征图像和每个特征图像对应的IMU数据进行离线校准，生成第一时钟偏移的流程图；

图4为图1中根据多个拍摄图像和每个拍摄图像对应的IMU数据进行在线校准，生成第二时钟偏移的流程图；

图5为本发明实施例提供的一种3D背景替换装置的结构示意图；

图6为图5中第一生成模块的结构示意图；

图7为图5中第二生成模块的结构示意图；

图8为本发明实施例提供的一种终端设备的示意图。

【具体实施方式】

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，甲和/或乙，可以表示：单独存在甲，同时存在甲和乙，单独存在乙这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本发明实施例提供了一种3D背景替换方法，图1为本发明实施例提供的一种3D背景替换方法的流程图，如图1所示，该方法包括：

步骤102、获取设定数量个特征图像和每个特征图像对应的惯性测量单元IMU数据。

本发明实施例中，各步骤由具备图像传感器和IMU传感器的终端设备执行，例如，手机或平板电脑。

本发明实施例中，IMU传感器是测量物体三轴姿态角(或角速度)以及加速度的装置。终端设备的IMU传感器包括：陀螺仪、加速度计、重力感应器和地磁感应器。

本发明实施例中，IMU数据包括陀螺仪数据、加速度计数据、重力感应器数据、地磁感应器数据之一或其任意组合。

本发明实施例中，用户通过终端设备以不同的摄像角度拍摄设定数量个特征图像，并获取每个特征图像对应的惯性测量单元IMU数据。

本发明实施例中，能够根据实际情况设置设定数量。例如，设定数量为100。

本发明实施例中，特征图像包括时间戳、曝光时间和卷帘快门时间。

本发明实施例中，图2为特征图像的示意图，如图2所示，特征图像为具有明显特征点的场景图像。例如，棋盘格图像。

步骤104、根据设定数量个特征图像和每个特征图像对应的IMU数据进行离线校准，生成第一时钟偏移。

本发明实施例中，图3为图1中根据设定数量个特征图像和每个特征图像对应的IMU数据进行离线校准，生成第一时钟偏移的流程图，如图3所示，步骤104包括：

步骤1042、提取设定数量个特征图像中相邻的两个特征图像，生成第一提取图像。

本步骤中，提取设定数量帧特征图像中相邻的两帧特征图像，生成第一提取图像。

步骤1044、根据第一提取图像和第一提取图像对应的IMU数据，生成第一旋转角度集合。

本发明实施例中，步骤1044包括：

步骤A1、通过图像处理技术函数对第一提取图像和第一提取图像对应的IMU数据进行计算，生成第二特征点集合。

本发明实施例中，图像处理技术函数包括opencv库的googFeaturesToTrack函数。

步骤A2、通过光流金字塔函数对第二特征点集合进行计算，生成第一旋转角度集合。

本发明实施例中，光流金字塔函数包括calcOpticalFlowPyrLk函数。

步骤1046、根据第一旋转角度集合和获取的第二旋转角度集合，生成第一时钟偏移，第二旋转角度集合包括自身的旋转角度集合。

本发明实施例中，第二旋转角度集合包括终端设备的旋转角度集合。终端设备以不同的摄像角度拍摄设定数量个特征图像时，获取以不同的摄像角度拍摄的特征图像时的旋转角度集合。

本发明实施例中，步骤1046包括：

步骤B1、根据第一旋转角度集合和获取的第一旋转角度集合对应的时间戳，生成第一图像旋转角度曲线。

本发明实施例中，终端设备中存储有第一旋转角度集合与时间戳的对应关系，根据第一旋转角度集合与时间戳的对应关系，从终端设备中获取第一旋转角度集合对应的时间戳。

本步骤中，以第一旋转角度集合为纵坐标，以第一旋转角度集合对应的时间戳为横坐标，生成第一图像旋转角度曲线。

步骤B2、根据第二旋转角度集合和获取的第二旋转角度集合对应的时间戳，生成第一IMU角度曲线。

本发明实施例中，终端设备中存储有第二旋转角度集合与时间戳的对应关系，根据第二旋转角度集合与时间戳的对应关系，从终端设备中获取第二旋转角度集合对应的时间戳。

本步骤中，以第二旋转角度集合为纵坐标，以第二旋转角度集合对应的时间戳为横坐标，生成第一IMU角度曲线。

步骤B3、根据第一图像旋转角度曲线和第一IMU角度曲线，生成多个第一相关距离。

本步骤中，第一图像旋转角度曲线和第一IMU角度曲线之间的距离为第一相关距离。第一相关距离可表示第一旋转角度集合与第二旋转角度集合的匹配程度，第一相关距离的数值越小，第一旋转角度集合与第二旋转角度集合的匹配程度越高。

本发明实施例中，若设定第一旋转角度集合与第二旋转角度集合的时钟偏差在[-50ms，+50ms]之间，然后以0.5ms为步长在该范围内对时间戳进行偏移，每次偏移都计算一次第一相关距离，从而得到多个第一相关距离。

步骤B4、查询出多个第一相关距离中最小的第一相关距离和最小的第一相关距离对应的第一时钟偏移。

本发明实施例中，终端设备中存储有第一相关距离与第一时钟偏移的对应关系，能够根据第一相关距离与第一时钟偏移的对应关系，查询出最小的第一相关距离对应的第一时钟偏移。

本发明实施例中，第一时钟偏移为图像传感器和IMU传感器的时钟偏移。

步骤106、获取多个拍摄图像和每个拍摄图像对应的IMU数据。

本发明实施例中，用户通过终端设备以不同的摄像角度拍摄多个拍摄图像，并获取每个拍摄图像对应的IMU数据。

本发明实施例中，拍摄图像包括时间戳、曝光时间和卷帘快门时间。

步骤108、根据多个拍摄图像和每个拍摄图像对应的IMU数据进行在线校准，生成第二时钟偏移。

本发明实施例中，在线校准是和3D背景替换并行运行的，为了不阻塞3D背景替换的运算，在线校准会在单独的线程中运行。在线校准和3D背景替换并行运行非但不影响3D背景替换的效率而且还可实时保证3D背景替换的准确性，弥补了离线校准时效性不足的缺点。

本发明实施例中，图4为图1中根据多个拍摄图像和每个拍摄图像对应的IMU数据进行在线校准，生成第二时钟偏移的流程图，如图4所示，步骤108包括：

步骤1082、提取多个拍摄图像的第一特征点集合。

本发明实施例中，在获取到图像传感器的新的一帧拍摄图像之后，执行步骤1082。

步骤1084、判断第一特征点集合中元素的数量是否大于设定阈值，若是，执行步骤1086；若否，流程结束。

本发明实施例中，为了计算的准确性，只有连续多帧图像都能提取足够的特征点才进行在线校准。

本发明实施例中，能够根据实际情况设置设定阈值，例如，若多个拍摄图像的帧率的范围为[3,10]，将设定阈值设置为30。

本发明实施例中，若判断出第一特征点集合中元素的数量大于设定阈值，则表明连续多帧图像都能提取足够的特征点；若判断出第一特征点集合中元素的数量小于或等于设定阈值，则表明连续多帧图像不都能提取足够的特征点。

步骤1086、提取多个拍摄图像中相邻的两个拍摄图像，生成第二提取图像。

本步骤中，提取多帧拍摄图像中相邻的两帧拍摄图像，生成第二提取图像。

步骤1088、根据多个第二提取图像和第二提取图像对应的IMU数据，生成第三旋转角度集合。

本发明实施例中，步骤1088包括：

步骤C1、通过图像处理技术函数对第二提取图像和第二提取图像对应的IMU数据进行计算，生成第三特征点集合。

步骤C2、通过光流金字塔函数对第三特征点集合进行计算，生成第三旋转角度集合。

步骤1090、根据第三旋转角度集合和获取的第四旋转角度集合，生成第二时钟偏移，第四旋转角度集合包括自身的旋转角度集合。

本发明实施例中，第四旋转角度集合包括终端设备的旋转角度集合。终端设备以不同的摄像角度拍摄多个拍摄图像时，获取以不同的摄像角度拍摄的拍摄图像时的旋转角度集合。

本发明实施例中，步骤1090包括：

步骤D1、根据第三旋转角度集合和获取的第三旋转角度集合对应的时间戳，生成第二图像旋转角度曲线。

本发明实施例中，终端设备中存储有第三旋转角度集合与时间戳的对应关系，根据第三旋转角度集合与时间戳的对应关系，从终端设备中获取第三旋转角度集合对应的时间戳。

本步骤中，以第三旋转角度集合为纵坐标，以第三旋转角度集合对应的时间戳为横坐标，生成第二图像旋转角度曲线。

步骤D2、根据第四旋转角度集合和获取的第四旋转角度集合对应的时间戳，生成第二IMU角度曲线。

本发明实施例中，终端设备中存储有第四旋转角度集合与时间戳的对应关系，根据第四旋转角度集合与时间戳的对应关系，从终端设备中获取第四旋转角度集合对应的时间戳。

本步骤中，以第四旋转角度集合为纵坐标，以第四旋转角度集合对应的时间戳为横坐标，生成第二IMU角度曲线。

步骤D3、根据第二图像旋转角度曲线和第二IMU角度曲线，生成多个第二相关距离。

本步骤中，第二图像旋转角度曲线和第二IMU角度曲线之间的距离为第二相关距离。第二相关距离可表示第三旋转角度集合与第四旋转角度集合的匹配程度，第二相关距离的数值越小，第三旋转角度集合与第四旋转角度集合的匹配程度越高。

本发明实施例中，若设定第三旋转角度集合与第四旋转角度集合的时钟偏差在[-50ms，+50ms]之间，然后以0.5ms为步长在该范围内对时间戳进行偏移，每次偏移都计算一次第二相关距离，从而得到多个第二相关距离。

步骤D4、查询出多个第二相关距离中最小的第二相关距离和最小的第二相关距离对应的第二时钟偏移。

本发明实施例中，终端设备中存储有第二相关距离与第二时钟偏移的对应关系，能够根据第二相关距离与第二时钟偏移的对应关系，查询出最小的第二相关距离对应的第二时钟偏移。

本发明实施例中，第二时钟偏移为图像传感器和IMU传感器的时钟偏移。

步骤110、根据第一时钟偏移和第二时钟偏移对每个拍摄图像进行3D背景替换，生成多个背景替换图像。

本发明实施例中，当未有连续的多帧拍摄图像都具有足够的特征点时，根据第一时钟偏移对每个拍摄图像进行3D背景替换，生成多个背景替换图像；当有连续的多帧拍摄图像都具有足够的特征点时，根据第二时钟偏移对每个拍摄图像进行3D背景替换，生成多个背景替换图像。离线校准部分可充分弥补在线校准的不确定性引发的效果问题。

本发明实施例提供的技术方案中，获取设定数量个特征图像和每个特征图像对应的惯性测量单元IMU数据；根据设定数量个特征图像和每个特征图像对应的IMU数据进行离线校准，生成第一时钟偏移；获取多个拍摄图像和每个拍摄图像对应的IMU数据；根据多个拍摄图像和每个拍摄图像对应的IMU数据进行在线校准，生成第二时钟偏移；根据第一时钟偏移和第二时钟偏移对每个拍摄图像进行3D背景替换，生成多个背景替换图像。本发明实施例提供的技术方案中，根据离线校准生成的第一时钟偏移与在线校准生成的第二时钟偏移，可充分确保3D背景替换的稳定性。

本发明实施例提供的技术方案中，解决了3D背景融合时由于终端设备的姿态计算不准确导致的融合不理想以及终端设备的姿态计算耗时过大导致的帧率下降问题。

本发明实施例提供了一种3D背景替换装置。图5为本发明实施例提供的一种3D背景替换装置的结构示意图，如图5所示，该装置包括：第一获取模块11、第一生成模块12、第二获取模块13、第二生成模块14和第三生成模块15。

第一获取模块11用于获取设定数量个特征图像和每个特征图像对应的惯性测量单元IMU数据。

第一生成模块12用于根据设定数量个特征图像和每个特征图像对应的IMU数据进行离线校准，生成第一时钟偏移。

第二获取模块13用于获取多个拍摄图像和每个拍摄图像对应的IMU数据。

第二生成模块14用于根据多个拍摄图像和每个拍摄图像对应的IMU数据进行在线校准，生成第二时钟偏移。

第三生成模块15用于根据第一时钟偏移和第二时钟偏移对每个拍摄图像进行3D背景替换，生成多个背景替换图像。

本发明实施例中，图6为图5中第一生成模块12的结构示意图，如图6所示，第一生成模块12包括：第一生成子模块121、第二生成子模块122和第三生成子模块123。

第一生成子模块121用于提取设定数量个特征图像中相邻的两个特征图像，生成第一提取图像。

第二生成子模块122用于根据第一提取图像和第一提取图像对应的IMU数据，生成第一旋转角度集合。

第三生成子模块123用于根据第一旋转角度集合和获取的第二旋转角度集合，生成第一时钟偏移，第二旋转角度集合包括自身的旋转角度集合。

本发明实施例中，图7为图5中第二生成模块14的结构示意图，如图7所示，第二生成模块14包括：提取子模块141、判断子模块142、第四生成子模块143、第五生成子模块144和第六生成子模块145。

提取子模块141用于提取多个拍摄图像的第一特征点集合。

判断子模块142用于判断第一特征点集合中元素的数量是否大于设定阈值，若判断出第一特征点集合中元素的数量大于设定阈值，触发第四生成子模块143提取多个拍摄图像中相邻的两个所述拍摄图像，生成第二提取图像。

第五生成子模块144用于根据多个第二提取图像和第二提取图像对应的IMU数据，生成第三旋转角度集合。

第六生成子模块145用于根据第三旋转角度集合和获取的第四旋转角度集合，生成第二时钟偏移，第四旋转角度集合包括自身的旋转角度集合。

本发明实施例中，第二生成子模块122具体用于通过图像处理技术函数对第一提取图像和第一提取图像对应的IMU数据进行计算，生成第二特征点集合；通过光流金字塔函数对第二特征点集合进行计算，生成第一旋转角度集合。

本发明实施例中，第三生成子模块123具体用于根据第一旋转角度集合和获取的第一旋转角度集合对应的时间戳，生成第一图像旋转角度曲线；根据第二旋转角度集合和获取的第二旋转角度集合对应的时间戳，生成第一IMU角度曲线；根据第一图像旋转角度曲线和第一IMU角度曲线，生成多个第一相关距离；查询出多个第一相关距离中最小的第一相关距离和最小的第一相关距离对应的第一时钟偏移。

本发明实施例中，第五生成子模块144具体用于通过图像处理技术函数对第二提取图像和第二提取图像对应的IMU数据进行计算，生成第三特征点集合；通过光流金字塔函数对第三特征点集合进行计算，生成第三旋转角度集合。

本发明实施例中，第六生成子模块145具体用于根据第三旋转角度集合和获取的第三旋转角度集合对应的时间戳，生成第二图像旋转角度曲线；根据第四旋转角度集合和获取的第四旋转角度集合对应的时间戳，生成第二IMU角度曲线；根据第二图像旋转角度曲线和第二IMU角度曲线，生成多个第二相关距离；查询出多个第二相关距离中最小的第二相关距离和最小的第二相关距离对应的第二时钟偏移。

本发明实施例提供的技术方案中，获取设定数量个特征图像和每个特征图像对应的惯性测量单元IMU数据；根据设定数量个特征图像和每个特征图像对应的IMU数据进行离线校准，生成第一时钟偏移；获取多个拍摄图像和每个拍摄图像对应的IMU数据；根据多个拍摄图像和每个拍摄图像对应的IMU数据进行在线校准，生成第二时钟偏移；根据第一时钟偏移和第二时钟偏移对每个拍摄图像进行3D背景替换，生成多个背景替换图像。本发明实施例提供的技术方案中，根据离线校准生成的第一时钟偏移与在线校准生成的第二时钟偏移，可充分确保3D背景替换的稳定性。

本实施例提供的3D背景替换装置可用于实现上述图1至图4中的3D背景替换方法，具体描述可参见上述3D背景替换方法的实施例，此处不再重复描述。

本发明实施例提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述3D背景替换方法的实施例的各步骤，具体描述可参见上述3D背景替换方法的实施例。

本发明实施例提供了一种终端设备，包括存储器和处理器，存储器用于存储包括程序指令的信息，处理器用于控制程序指令的执行，程序指令被处理器加载并执行时实现上述3D背景替换方法的实施例的各步骤，具体描述可参见上述3D背景替换方法的实施例。

图8为本发明实施例提供的一种终端设备的示意图。如图8所示，该实施例的终端设备20包括：处理器21、存储器22以及存储在存储器22中并可在处理器21上运行的计算机程序23，该计算机程序23被处理器21执行时实现实施例中的应用于3D背景替换方法，为避免重复，此处不一一赘述。或者，该计算机程序被处理器21执行时实现实施例中应用于3D背景替换装置中各模型/单元的功能，为避免重复，此处不一一赘述。

终端设备20包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，图8仅仅是终端设备20的示例，并不构成对终端设备20的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器21可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器22可以是终端设备20的内部存储单元，例如终端设备20的硬盘或内存。存储器22也可以是终端设备20的外部存储设备，例如终端设备20上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器22还可以既包括终端设备20的内部存储单元也包括外部存储设备。存储器22用于存储计算机程序以及终端设备所需的其他程序和数据。存储器22还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种3D背景替换方法，其特征在于，包括：

获取设定数量个特征图像和每个所述特征图像对应的惯性测量单元IMU数据；

根据设定数量个所述特征图像和每个所述特征图像对应的IMU数据进行离线校准，生成第一时钟偏移；

获取多个拍摄图像和每个所述拍摄图像对应的IMU数据；

根据多个拍摄图像和每个所述拍摄图像对应的IMU数据进行在线校准，生成第二时钟偏移；

当未有连续的多帧拍摄图像都具有足够的特征点时，根据所述第一时钟偏移对每个拍摄图像进行3D背景替换，生成多个背景替换图像；或者，

当有连续的多帧拍摄图像都具有足够的特征点时，根据所述第二时钟偏移对每个拍摄图像进行3D背景替换，生成多个背景替换图像。

2.根据权利要求1所述的方法，其特征在于，所述根据设定数量个所述特征图像和每个所述特征图像对应的IMU数据进行离线校准，生成第一时钟偏移，包括：

提取设定数量个所述特征图像中相邻的两个所述特征图像，生成第一提取图像；

根据所述第一提取图像和所述第一提取图像对应的IMU数据，生成第一旋转角度集合；

根据所述第一旋转角度集合和获取的第二旋转角度集合，生成所述第一时钟偏移，所述第二旋转角度集合包括自身的旋转角度集合。

3.根据权利要求1所述的方法，其特征在于，所述根据多个拍摄图像和每个所述拍摄图像对应的IMU数据进行在线校准，生成第二时钟偏移，包括：

提取多个所述拍摄图像的第一特征点集合；

判断所述第一特征点集合中元素的数量是否大于设定阈值；

若判断出所述第一特征点集合中元素的数量大于设定阈值，提取多个所述拍摄图像中相邻的两个所述拍摄图像，生成第二提取图像；

根据多个所述第二提取图像和所述第二提取图像对应的IMU数据，生成第三旋转角度集合；

根据所述第三旋转角度集合和获取的第四旋转角度集合，生成所述第二时钟偏移，所述第四旋转角度集合包括自身的旋转角度集合。

4.根据权利要求2所述的方法，其特征在于，所述根据所述第一提取图像和所述第一提取图像对应的IMU数据，生成第一旋转角度集合，包括：

通过图像处理技术函数对所述第一提取图像和所述第一提取图像对应的IMU数据进行计算，生成第二特征点集合；

通过光流金字塔函数对所述第二特征点集合进行计算，生成所述第一旋转角度集合。

5.根据权利要求2所述的方法，其特征在于，所述根据所述第一旋转角度集合和获取的第二旋转角度集合，生成所述第一时钟偏移，包括：

根据所述第一旋转角度集合和获取的所述第一旋转角度集合对应的时间戳，生成第一图像旋转角度曲线；

根据所述第二旋转角度集合和获取的所述第二旋转角度集合对应的时间戳，生成第一IMU角度曲线；

根据所述第一图像旋转角度曲线和所述第一IMU角度曲线，生成多个第一相关距离；

查询出多个所述第一相关距离中最小的第一相关距离和所述最小的第一相关距离对应的第一时钟偏移。

6.根据权利要求3所述的方法，其特征在于，所述根据多个所述第二提取图像和所述第二提取图像对应的IMU数据，生成第三旋转角度集合，包括：

通过图像处理技术函数对所述第二提取图像和所述第二提取图像对应的IMU数据进行计算，生成第三特征点集合；

通过光流金字塔函数对所述第三特征点集合进行计算，生成所述第三旋转角度集合。

7.根据权利要求3所述的方法，其特征在于，所述根据所述第三旋转角度集合和获取的第四旋转角度集合，生成所述第二时钟偏移，包括：

根据所述第三旋转角度集合和获取的所述第三旋转角度集合对应的时间戳，生成第二图像旋转角度曲线；

根据所述第四旋转角度集合和获取的所述第四旋转角度集合对应的时间戳，生成第二IMU角度曲线；

根据所述第二图像旋转角度曲线和所述第二IMU角度曲线，生成多个第二相关距离；

查询出多个所述第二相关距离中最小的第二相关距离和所述最小的第二相关距离对应的第二时钟偏移。

8.一种3D背景替换装置，其特征在于，包括：

第一获取模块，用于获取设定数量个特征图像和每个所述特征图像对应的惯性测量单元IMU数据；

第一生成模块，用于根据设定数量个所述特征图像和每个所述特征图像对应的IMU数据进行离线校准，生成第一时钟偏移；

第二获取模块，用于获取多个拍摄图像和每个所述拍摄图像对应的IMU数据；

第二生成模块，用于根据多个拍摄图像和每个所述拍摄图像对应的IMU数据进行在线校准，生成第二时钟偏移；

第三生成模块，用于当未有连续的多帧拍摄图像都具有足够的特征点时，根据所述第一时钟偏移对每个拍摄图像进行3D背景替换，生成多个背景替换图像；或者，当有连续的多帧拍摄图像都具有足够的特征点时，根据所述第二时钟偏移对每个拍摄图像进行3D背景替换，生成多个背景替换图像。

9.一种存储介质，其特征在于，包括：所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至7任意一项所述的一种3D背景替换方法。

10.一种终端设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，其特征在于，所述程序指令被处理器加载并执行时实现权利要求1至7任意一项所述的一种3D背景替换方法的步骤。

Images