CN110062216A - 实景交互方法、***、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种实景交互方法、***、计算机设备和存储介质。所述方法包括：对包含预设内容和功能的虚拟投影场景进行真实比例建模，得到投影场景三维模型，对投影场景三维模型中的场景画面进行渲染，得到投影信息，根据投影场景三维模型进行实景搭建与标定，得到标定数据库，基于标定数据库对投影信息进行透视变换，并将透视变换后的待投影图像投影到实景搭建的现实场景中，可以精确实现现实场景中的表面增强现实效果。

Description

实景交互方法、***、计算机设备和存储介质

技术领域

本申请涉及投影技术领域，特别是涉及一种实景交互方法、***、计算机设备和存储介质。

背景技术

传统的实景交互方法主要为采用多投影机融合拼接的方式实现单个(或少数几个)物体在大范围投影表面中运动的投影显示需求。由于该需求对于投影表面是稀疏的，不存在大范围同时显示的状态，因此基于融合拼接的传统实景交互方法效率很低，且成本高昂。

发明内容

基于此，有必要针对上述技术问题，提供一种实景交互方法、***、计算机设备和存储介质。

一种实景交互方法，所述方法包括：

对包含预设内容和功能的虚拟投影场景进行真实比例建模，得到投影场景三维模型；

对所述投影场景三维模型中的场景画面进行渲染，得到投影信息；

根据所述投影场景三维模型进行实景搭建与标定，得到标定数据库；

基于所述标定数据库对所述投影信息进行透视变换，并将透视变换后的待投影图像投影到实景搭建的现实场景中。

在其中一个实施例中，所述对所述投影场景三维模型中的场景画面进行渲染，得到投影信息，包括：

利用场景相机对所述投影场景三维模型中的虚拟对象进行平行跟拍，得到用于动态投影的图像序列；

对所述场景相机的三维位置坐标进行坐标转换操作，得到用于动态投影的图像在所述现实场景的投影表面的位置信息；

将所述图像序列和所述位置信息确定为所述投影信息。

在其中一个实施例中，所述根据所述投影场景三维模型进行实景搭建与标定，得到标定数据库，包括：

根据所述投影场景三维模型进行实景搭建，得到所述现实场景；

在所述现实场景中的投影表面建立坐标系；

基于所述坐标系，在所述投影表面进行点阵填充标定，得到采样点阵；

对所述采样点阵中的采样点进行数据采集，得到第一点阵数据集；

基于所述采样点阵中的采样点确定矩形区域，对所述矩形区域内的未实际采样的坐标点进行点阵数据替换，得到第二点阵数据集；

根据所述第一点阵数据集和所述第二点阵数据集确定所述标定数据库。

在其中一个实施例中，所述基于所述坐标系，在所述投影表面进行点阵填充标定，得到采样点阵，包括：

基于所述坐标系，通过测量在所述投影表面进行点阵填充标定，得到所述采样点阵；

或者，

基于所述坐标系，采用投影辅助在所述投影表面进行点阵填充标定，得到所述采样点阵。

在其中一个实施例中，所述对所述采样点阵中的采样点进行数据采集，得到第一点阵数据集，包括：

对于所述采样点阵中的每一个采样点，通过计算机控制动态投影设备的指向，将投影机的输出图像的中心对准所述采样点；

在所述计算机上调整预设参考图像的四角的位置，使得所述预设参考图像的对角线交点重合于所述输出图像的中心，并在所述投影表面投射出一个相对所述坐标系无旋转且边长固定的标准正方形；

采用标准优化求解算法，对所述预设参考图像的四角的坐标进行求解，得到当前透视变换矩阵中的六个参数的最优解；

将所述最优解和所述动态投影设备的镜面的两个姿态角构成一个八维向量；

将与所述采样点阵中的所有采样点对应的八维向量确定为所述第一点阵数据集。

在其中一个实施例中，所述基于所述采样点阵中的采样点确定矩形区域，对所述矩形区域内的未实际采样的坐标点进行点阵数据替换，得到第二点阵数据集，包括：

对所述采样点阵构成的坐标边界进行矩形补全，确定一个容纳所有采样点的最小的矩形包络区域，将所述最小的矩形包络区域确定为所述矩形区域；

对于所述矩形区域内的未实际采样的每一个坐标点，将与所述坐标点最邻近的采样点的点阵数据，替换为所述坐标点的点阵数据；

将所有坐标点的点阵数据确定为所述第二点阵数据集。

在其中一个实施例中，所述根据所述第一点阵数据集和所述第二点阵数据集确定所述标定数据库，包括：

将所述第一点阵数据集和所述第二点阵数据集进行点阵数据拼合，得到目标点阵数据集；

采用二维曲面差值法，对所述目标点阵数据集进行精细化处理，得到所述标定数据库。

在其中一个实施例中，所述标定数据库中还包括所述标准正方形在所述投影表面上的分辨率；

所述基于所述标定数据库对所述投影信息进行透视变换，并将透视变换后的待投影图像投影到实景搭建的现实场景中，包括：

加载所述标定数据库；

根据预设投影分辨率，对加载后的标定数据库中的每个八维向量进行比例缩放；

对所述投影平面内任意给定的位置坐标，利用插值法从经过比例缩放的标定数据库中获得对应位置的八维向量，分别从中构造所述指定位置坐标处的目标透视变换矩阵，和提取所述动态投影设备的镜面的两个目标姿态角；

利用所述指定位置坐标处的目标透视变换矩阵，对所述待投影图像进行透视变换；

驱动所述动态投影设备的镜面按照所述两个目标姿态角进行移动；

利用移动后的所述动态投影设备，将透视变换后的待投影图像投影到实景搭建的现实场景中。

在其中一个实施例中，所述方法还包括：

存储透视变换后的待投影图像，并同时生成所述动态投影设备的镜面姿态角序列文件。

一种实景交互***，所述***包括：

建模模块，用于对包含预设内容和功能的虚拟投影场景进行真实比例建模，得到投影场景三维模型；

渲染模块，用于对所述投影场景三维模型中的场景画面进行渲染，得到投影信息；

搭建标定模块，用于根据所述投影场景三维模型进行实景搭建与标定，得到标定数据库；

投影模块，用于基于所述标定数据库对所述投影信息进行透视变换，并将透视变换后的待投影图像投影到实景搭建的现实场景中。

一种计算机设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

对包含预设内容和功能的虚拟投影场景进行真实比例建模，得到投影场景三维模型；

对所述投影场景三维模型中的场景画面进行渲染，得到投影信息；

根据所述投影场景三维模型进行实景搭建与标定，得到标定数据库；

基于所述标定数据库对所述投影信息进行透视变换，并将透视变换后的待投影图像投影到实景搭建的现实场景中。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

对包含预设内容和功能的虚拟投影场景进行真实比例建模，得到投影场景三维模型；

对所述投影场景三维模型中的场景画面进行渲染，得到投影信息；

根据所述投影场景三维模型进行实景搭建与标定，得到标定数据库；

基于所述标定数据库对所述投影信息进行透视变换，并将透视变换后的待投影图像投影到实景搭建的现实场景中。

上述实景交互方法、***、计算机设备和存储介质，对包含预设内容和功能的虚拟投影场景进行真实比例建模，得到投影场景三维模型，对投影场景三维模型中的场景画面进行渲染，得到投影信息，根据投影场景三维模型进行实景搭建与标定，得到标定数据库，基于标定数据库对投影信息进行透视变换，并将透视变换后的待投影图像投影到实景搭建的现实场景中。其中，基于标定数据库对投影信息进行透视变换，并将透视变换后的待投影图像投影到实景搭建的现实场景中，可以精确实现现实场景中的表面增强现实效果。

附图说明

图1为一个实施例中实景交互方法的应用环境图；

图2为一个实施例中实景交互方法的流程示意图；

图3为一个实施例中步骤S202的细化步骤的流程示意图；

图4为一个实施例中步骤S203的细化步骤的流程示意图；

图5为一个实施例中步骤S2034的细化步骤的流程示意图；

图6为一个实施例中步骤S2035的细化步骤的流程示意图；

图7为一个实施例中步骤S2036的细化步骤的流程示意图；

图8为一个实施例中步骤S204的细化步骤的流程示意图；

图9为一个实施例中实景交互***的结构框图；

图10为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的实景交互方法，可以应用于如图1所示的应用环境中。其中，包括动态投影设备10、投影机(吊装方式)20、计算机30、路由器或交换机40、动态投影的虚拟角色50、交互体验者60和实景道具70，并不仅限于此。

其中，计算机30包含至少一个处理器31和存储器32，该存储器32内存储有实景交互算法，处理器31可以调用并运行存储器32内的实景交互算法，对包含预设内容和功能的虚拟投影场景进行真实比例建模，得到投影场景三维模型，对投影场景三维模型中的场景画面进行渲染，得到投影信息，根据投影场景三维模型进行实景搭建与标定，得到标定数据库，基于标定数据库对投影信息进行透视变换，并将透视变换后的待投影图像投影到实景搭建的现实场景中。

在一个实施例中，如图2所示，提供了一种实景交互方法，以该方法应用于图1中的实景交互***为例进行说明，包括以下步骤：

步骤S201，对包含预设内容和功能的虚拟投影场景进行真实比例建模，得到投影场景三维模型；

在本发明实施例中，对包含预设内容和功能的实景交互应用的虚拟投影场景进行真实比例建模，建模过程中侧重实景投影表面的平面形状和地图信息，而纹理或表面细节等均可忽略。

在本发明实施例中，该投影场景三维模型用于交互应用处理虚拟角色与实景的物理碰撞和程序功能触发等需求，例如：供虚拟投影角色站立的桌子表面，需要越过或钻入的壁挂画框，浮于投影表面前方的可遮挡角色的花瓶等。

步骤S202，对所述投影场景三维模型中的场景画面进行渲染，得到投影信息；

在本发明实施例中，获取投影场景三维模型中的虚拟对象运动所生成的场景画面，对该场景画面进行渲染，得到投影信息。

步骤S203，根据所述投影场景三维模型进行实景搭建与标定，得到标定数据库；

在本发明实施例中，根据投影场景三维模型进行实景搭建，得到现实场景，并对现实场景进行标定，得到标定数据库。

其中，需要搭建与步骤S201所建的投影场景三维模型完全一致的现实场景，将投影场景三维模型投影场景三维模型。然后确定用于动态投影的机位，并获取标定数据库。

其中，标定数据库是可对待投影图像进行透视变换的数据库。

步骤S204，基于所述标定数据库对所述投影信息进行透视变换，并将透视变换后的待投影图像投影到实景搭建的现实场景中。

在本发明实施例中，步骤S202会得到一个交互软件，基于标定数据库会得到动态投影驱动程序，这里以客户端-服务器架构为例说明，交互软件正常响应用户指令，并在计算机显示器上的指定矩形区域输出满足步骤S202要求的渲染图像，并实时向用于动态投影的服务器发送当前虚拟角色在投影平面内的二维位置坐标，用于动态投影的服务器以固定帧率采集该指定矩形区域的图像作为图像输入流，并结合图像流的二维位置坐标序列进行图像处理，最后投射在现实场景中，达到将虚拟角色叠加于现实场景的表面增强显示效果。

其中，体验者可在该实景中采用游戏手柄、体感装置等方式控制虚拟角色或与其交互(语音对话等)，具体功能由交互软件的功能所决定，例如，游戏、物联网、语音对话等。

其中，体验者与交互软件的信息输入设备包括游戏手柄、体感装置、雷达定位等，但不限于此。

上述实景交互方法，对包含预设内容和功能的虚拟投影场景进行真实比例建模，得到投影场景三维模型，对投影场景三维模型中的场景画面进行渲染，得到投影信息，根据投影场景三维模型进行实景搭建与标定，得到标定数据库，基于标定数据库对投影信息进行透视变换，并将透视变换后的待投影图像投影到实景搭建的现实场景中。其中，基于标定数据库对投影信息进行透视变换，并将透视变换后的待投影图像投影到实景搭建的现实场景中，可以精确实现现实场景中的表面增强现实效果。

在一个实施例中，如图3所示，为步骤S202的细化步骤的流程示意图，包括：

步骤S2021，利用场景相机对所述投影场景三维模型中的虚拟对象进行平行跟拍，得到用于动态投影的图像序列；

在本发明实施例中，根据所建的投影场景三维模型，按照现有技术中的软件开发流程开发完整的交互软件，此处不加以赘述。

其中，交互软件所控制的虚拟角色在投影场景三维模型中正常运动和响应交互逻辑，但输出图像所用的场景相机采用平行跟拍虚拟角色的方式运动，即相机光轴总是垂直于当前虚拟角色所处的场景模型背景(对应实景中的投影平面)，且无论角色如何运动，相机到投影平面的距离总是固定的。其中，所渲染的对象仅包虚拟角色本身及当前位置附近的辅助视觉效果，场景模型则全部消隐，且图像输出总是以黑色为背景。

步骤S2022，对所述场景相机的三维位置坐标进行坐标转换操作，得到用于动态投影的图像在所述现实场景的投影表面的位置信息；

在本发明实施例中，交互软件还应实时将场景相机的三维位置坐标转换为现实场景中投影平面内的二维坐标，供动态投影显示使用。其中，转换的步骤是先将场景相机坐标投影到场景模型背景(对应实景中的投影平面)，再查找该投影点所对应的投影平面二维坐标，其中，坐标转换操作与投影平面的坐标原点位置和表面展开方式有关，具体见下述步骤S2032中的描述。

需要说明的是，交互软件实时提供的投影平面内二维坐标可以来自于跟拍相机，也可以来自于虚拟角色的三维位置坐标，但此时场景相机必须与虚拟角色绑定。

步骤S2023，将所述图像序列和所述位置信息确定为所述投影信息。

在一个实施例中，如图4所示，为步骤S203的细化步骤的流程示意图，包括：

步骤S2031，根据所述投影场景三维模型进行实景搭建，得到所述现实场景；

步骤S2032，在所述现实场景中的投影表面建立坐标系；

在本发明实施例中，在现实场景的投影表面先确定二维坐标原点，并建立二维坐标系。其中，坐标系可采用直角坐标系或极坐标系或任意便于使用的二自由度坐标系，或多种坐标系的分块结合。

其中，若现实场景的投影表面存在不连续或弯曲表面的情况，应保持坐标系在其二维展开或局部平坦邻域上的连续性。例如，长方体内部表面，可将其六面展开并平铺再建立直角坐标系；球体或圆柱体内表面，可以采用极坐标系。

步骤S2033，基于所述坐标系，在所述投影表面进行点阵填充标定，得到采样点阵；

在本发明实施例中，在步骤S2032所建立的坐标系中，对投影表面进行点阵填充标定，确定一组间距均匀的点阵集合，使其能够覆盖投影表面。其中，点阵之间的间距可以根据实际需求进行设置和调整，点阵之间的间距越小则标定结果越精确。

步骤S2034，对所述采样点阵中的采样点进行数据采集，得到第一点阵数据集；

在本发明实施例中，对一个或多个采样点阵中的每一个采样点进行数据采集，会得到与每一个采样点对应的点阵数据，所有采样点的点阵数据组合成第一点阵数据集。

步骤S2035，基于所述采样点阵中的采样点确定矩形区域，对所述矩形区域内的未实际采样的坐标点进行点阵数据替换，得到第二点阵数据集；

在本发明实施例中，因为一些外界因素，例如，对场景存在遮挡，会导致得到的采样点阵是不规整的，从而使得第一点阵数据集是不完整的，则需要对采样点阵进行完善弥补，具体的，基于采样点阵中的采样点确定出一个规整的矩形区域，因该区域大于采样点阵构成的区域，则该矩形区域内肯定存在了未实际采样的点，这里将未实际采样的点成为未实际采样的坐标点，对于采样点阵中的采样点，已经进行数据采集并得到对应的点阵数据，对未实际采样的坐标点，使用已采样点阵中最邻近的采样点的八维向量作为其数据，并将所有的未实际采样的坐标点的点阵数据确定为第二点阵数据集。

步骤S2036，根据所述第一点阵数据集和所述第二点阵数据集确定所述标定数据库。

在本发明实施，标定数据库指包含了第一点阵数据集、第二点阵数据集等，可对待投影图像进行透视变换的数据库。

在本发明实施例中，上述实景交互方法，根据投影场景三维模型进行实景搭建，得到现实场景，在现实场景中的投影表面建立坐标系，基于坐标系，在投影表面进行点阵填充标定，得到采样点阵，对采样点阵中的采样点进行数据采集，得到第一点阵数据集，基于采样点阵中的采样点确定矩形区域，对矩形区域内的未实际采样的坐标点进行点阵数据替换，得到第二点阵数据集，根据第一点阵数据集和第二点阵数据集确定标定数据库，基于标定数据库对投影信息进行透视变换，并将透视变换后的待投影图像投影到实景搭建的现实场景中。其中，对投影表面进行点阵填充标定，得到采样点阵，通过对采样点阵进行数据采集，从而得到精细的动态投影数据库(即上述标定数据库)，利用该标定数据库可以精确地在标定的投影表面上实现任意素材的待投影图像的任意尺寸的动态投影，将透视变换后的待投影图像投影到实景搭建的现实场景中，可以精确实现现实场景中的表面增强现实效果。

可选的，上述步骤S2033具体包括：

基于所述坐标系，通过测量在所述投影表面进行点阵填充标定，得到所述采样点阵；

或者，

基于所述坐标系，采用投影辅助在所述投影表面进行点阵填充标定，得到所述采样点阵。

在本发明实施例中，通常情况下会通过测量的方式在坐标系中确定一组间距均匀的点阵集合，使其能够覆盖场景中投影表面，将能够覆盖场景中投影表面点阵集合称之为采样点阵。

其中，对于一些难以在投影表面通过测量来确定点阵的场景，可以采用投影辅助法在投影表面进行点阵填充标定，得到采样点阵。具体的：额外使用一台动态投影设备或一台普通投影设备向场景投射出带有均匀网格特征的图像，经过一次透视变换以匹配投影表面(图像与投影表面匹配)后，则所投射出的无畸变网格可作为参考点阵，供待标定的动态投影设备参考。其中，若辅助投影生成的参考点阵无法一次性完全覆盖投影表面，也可以根据标定的进度依次分块辅助投射。

在一个实施例中，如图5所示，为步骤S2034的细化步骤的流程示意图，包括：

步骤S20341，对于所述采样点阵中的每一个采样点，通过计算机控制动态投影设备的指向，将投影机的输出图像的中心对准所述采样点；

步骤S20342，在所述计算机上调整预设参考图像的四角的位置，使得所述预设参考图像的对角线交点重合于所述输出图像的中心，并在所述投影表面投射出一个相对所述坐标系无旋转且边长固定的标准正方形；

在本发明实施例中，标准正方形即为输出图像。

在本发明实施例中，调整至标准正方形的过程可以是手动的，也可以是基于计算机视觉技术辅助的自动化调整。

步骤S20343，采用标准优化求解算法，对所述预设参考图像的四角的坐标进行求解，得到当前透视变换矩阵中的六个参数的最优解；

需要说明的是，预设参考图像和投射出的输出图像不一定要求是正方形的，也可以是任意普通矩形，但正方形可以大大简化数据采集和标定数据库生成的过程。

其中，标准优化求解算法可以是最小二乘法，但不仅限于此。

步骤S20344，将所述最优解和所述动态投影设备的镜面的两个姿态角构成一个八维向量；

步骤S20345，将与所述采样点阵中的所有采样点对应的八维向量确定为所述第一点阵数据集。

在本发明实施例中，对投影表面的单个或多个采样点阵中的某一采样点的数据采集过程为：采用一张宽高相等的预设参考图像作为投射内容，首先通过计算机操纵动态投影设备的指向，将投影机输出图像的中心对准场景中的采样点，然后在计算机上调整预设参考图像的四角，同时满足预设参考图像的对角线交点重合于投影机输出图像中心的约束，使其在投影表面投射出一个相对于坐标系无旋转、边长固定的标准正方形(其中，对于同一场景中的全部采样点，该标准正方形应保持大小一致，但边长可以根据投影表面最大曲率自行确定，一般为弯曲越明显则边长取值越小)，最后计算机根据预设参考图像的四角的坐标，采用标准优化求解算法确定当前透视变换矩阵中的六个参数的最优解，将当前透视变换矩阵中的六个参数的最优解和当前动态投影设备的镜面的两个姿态角构成一个八维向量，当得到所有采样点对应的八维向量后，将与采样点阵中的所有采样点对应的八维向量确定为第一点阵数据集。

在一个实施例中，如图6所示，为步骤S2035的细化步骤的流程示意图，包括：

步骤S20351，对所述采样点阵构成的坐标边界进行矩形补全，确定一个容纳所有采样点的最小的矩形包络区域，将所述最小的矩形包络区域确定为所述矩形区域；

步骤S20352，对于所述矩形区域内的未实际采样的每一个坐标点，将与所述坐标点最邻近的采样点的点阵数据，替换为所述坐标点的点阵数据；

步骤S20353，将所有坐标点的点阵数据确定为所述第二点阵数据集。

在一个实施例中，如图7所示，为步骤S2036的细化步骤的流程示意图，包括：

步骤S20361，将所述第一点阵数据集和所述第二点阵数据集进行点阵数据拼合，得到目标点阵数据集；

步骤S20362，采用二维曲面差值法，对所述目标点阵数据集进行精细化处理，得到所述标定数据库。

在本发明实施例中，将第一点阵数据集和第二点阵数据集进行点阵数据拼合，得到目标点阵数据集，然后采用二维曲面插值法对目标点阵数据集进行精细化处理，得到场景中投影区域的标定数据库。其中，标定数据库中的数据形式为八个定义在矩形区域上的二维曲面。

在一个实施例中，如图8所示，为步骤S204的细化步骤的流程示意图，其中，所述标定数据库中还包括所述标准正方形在所述投影表面上的分辨率，则步骤S204具体包括：

步骤S2041，加载所述标定数据库；

步骤S2042，根据预设投影分辨率，对加载后的标定数据库中的每个八维向量进行比例缩放；

在本发明实施例中，标定数据库除了包括第一点阵数据集和第二点阵数据集，还包括场景标定时采用的标准正方形(步骤S20342中描述的标准正方形)在投影表面上的分辨率，分辨率的单位一般取[米/像素]，分辨率的值等于标准正方形的投影边长[米]除以标定时采用的预设参考图像的边长像素数。该分辨率可用于计算透视变换时的图形缩放因子，实现可精确指定画面尺寸的动态投影。

步骤S2043，对所述投影平面内任意给定的位置坐标，利用插值法从经过比例缩放的标定数据库中获得对应位置的八维向量，分别从中构造所述指定位置坐标处的目标透视变换矩阵，和提取所述动态投影设备的镜面的两个目标姿态角；

在本发明实施例中，对于需要投射于投影表面中的指定位置坐标处的待投影图像(视频流或静态图片)，其任意一帧的透视变换方式为：查询场景中投影表面的标定数据库，采用双线性插值法分别从八个定义在矩形区域上的二维曲面中获得指定位置坐标处的目标透视变换矩阵和动态投影设备的镜面的两个目标姿态角，其中，两个目标姿态角用于驱动镜面至正确的指向，目标透视变换矩阵用于对当前图像进行透视变换。

步骤S2044，利用所述指定位置坐标处的目标透视变换矩阵，对所述待投影图像进行透视变换；

步骤S2045，驱动所述动态投影设备的镜面按照所述两个目标姿态角进行移动；

步骤S2046，利用移动后的所述动态投影设备，将透视变换后的待投影图像投影到实景搭建的现实场景中。

在本发明实施例中，经透视变换后的待投影图像可以即时投射显示到实景搭建的现实场景中。其中，因为动态投影驱动程序为各种功能的交互软件预留了友好的开发接口，交互软件只需将图像渲染视角改为对虚拟角色的平行跟拍方式，并提供虚拟角色在实景中三维坐标对应投影平面中的二维坐标，将透视变换后的待投影图像投影到实景搭建的现实场景中，即可精确实现现实场景中的表面增强现实效果。

在本发明实施例中，可选的，交互软件的架构也可以采用合并后的单一软件形式，交互软件不再输出所渲染的图像到显示器，而是在程序内部直接将图像数据和位置坐标递交给动态投影驱动程序，该方法的性能更高。

在一个实施例中，可选的，在步骤S2044之后，还可以存储透视变换后的待投影图像，并同时生成所述动态投影设备的镜面姿态角序列文件。

在本发明实施例中，经透视变换后的待投影图像还可以另存为新的视频流，并同时生成动态投影设备的镜面姿态角序列文件，便于需要多次循环投影播放的场合，这样只需进行一次离线数据处理即可。

可选的，对于包含多台动态投影设备的应用场合，虽然在共用的场景里投射，但由于安装机位的不同，每台动态投影设备都应有其对应的场景数据库(即标定数据库)。在联机投影时可采用单主机多从机的通信架构，由主机通过局域网向各个从机广播当前视频流的时间戳，当从机检测到其播放进度超出预定时间差异后可自行调整，从而实现小延时的多机同步实景交互。

上述实景交互方法，对投影表面进行点阵填充标定，得到采样点阵，通过对采样点阵进行数据采集，从而得到精细的实景交互数据库(即上述标定数据库)，利用该标定数据库可以在标定范围内(被标定的投影表面)精确实现任意素材的待投影图像的可缩放实时透视变换，并驱动动态投影设备按照动态投影设备的镜面的两个目标姿态角值，将投影机投射光路反射至准确位置，即时投射显示在投影表面，实现“一次标定，任意投影”的便利，同时还能够实现联机同步投影模式，满足更复杂的投影场景需求。此外，在实景交互技术中采用了动态投影技术，可以精确实现实际场景中的表面增强现实效果。且，因为动态投影驱动程序为各种功能的交互软件预留了友好的开发接口，交互软件只需将图像渲染视角改为对虚拟角色的平行跟拍方式，并提供虚拟角色在实景中三维坐标对应投影平面中的二维坐标，将透视变换后的待投影图像投影到实景搭建的现实场景中，即可精确实现现实场景中的表面增强现实效果。

应该理解的是，虽然图2-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图9所示，提供了一种实景交互***，包括：建模模块901、渲染模块902、搭建标定模块903和投影模块904，其中：

建模模块901，用于对包含预设内容和功能的虚拟投影场景进行真实比例建模，得到投影场景三维模型；

渲染模块902，用于对所述投影场景三维模型中的场景画面进行渲染，得到投影信息；

搭建标定模块903，用于根据所述投影场景三维模型进行实景搭建与标定，得到标定数据库；

投影模块904，用于基于所述标定数据库对所述投影信息进行透视变换，并将透视变换后的待投影图像投影到实景搭建的现实场景中。

作为一种可选地实施方式，所述渲染模块902用于：

利用场景相机对所述投影场景三维模型中的虚拟对象进行平行跟拍，得到用于动态投影的图像序列；

对所述场景相机的三维位置坐标进行坐标转换操作，得到用于动态投影的图像在所述现实场景的投影表面的位置信息；

将所述图像序列和所述位置信息确定为所述投影信息。

作为一种可选地实施方式，所述搭建标定模块903用于：

根据所述投影场景三维模型进行实景搭建，得到所述现实场景；

在所述现实场景中的投影表面建立坐标系；

基于所述坐标系，在所述投影表面进行点阵填充标定，得到采样点阵；

对所述采样点阵中的采样点进行数据采集，得到第一点阵数据集；

基于所述采样点阵中的采样点确定矩形区域，对所述矩形区域内的未实际采样的坐标点进行点阵数据替换，得到第二点阵数据集；

根据所述第一点阵数据集和所述第二点阵数据集确定所述标定数据库。

作为一种可选地实施方式，所述搭建标定模块903用于：

基于所述坐标系，通过测量在所述投影表面进行点阵填充标定，得到所述采样点阵；

或者，

基于所述坐标系，采用投影辅助在所述投影表面进行点阵填充标定，得到所述采样点阵。

作为一种可选地实施方式，所述搭建标定模块903用于：

对于所述采样点阵中的每一个采样点，通过计算机控制动态投影设备的指向，将投影机的输出图像的中心对准所述采样点；

在所述计算机上调整预设参考图像的四角的位置，使得所述预设参考图像的对角线交点重合于所述输出图像的中心，并在所述投影表面投射出一个相对所述坐标系无旋转且边长固定的标准正方形；

采用标准优化求解算法，对所述预设参考图像的四角的坐标进行求解，得到当前透视变换矩阵中的六个参数的最优解；

将所述最优解和所述动态投影设备的镜面的两个姿态角构成一个八维向量；

将与所述采样点阵中的所有采样点对应的八维向量确定为所述第一点阵数据集。

作为一种可选地实施方式，所述搭建标定模块903用于：

对所述采样点阵构成的坐标边界进行矩形补全，确定一个容纳所有采样点的最小的矩形包络区域，将所述最小的矩形包络区域确定为所述矩形区域；

对于所述矩形区域内的未实际采样的每一个坐标点，将与所述坐标点最邻近的采样点的点阵数据，替换为所述坐标点的点阵数据；

将所有坐标点的点阵数据确定为所述第二点阵数据集。

作为一种可选地实施方式，所述搭建标定模块903用于：

将所述第一点阵数据集和所述第二点阵数据集进行点阵数据拼合，得到目标点阵数据集；

采用二维曲面差值法，对所述目标点阵数据集进行精细化处理，得到所述标定数据库。

作为一种可选地实施方式，所述投影模块904用于：

加载所述标定数据库；

根据预设投影分辨率，对加载后的标定数据库中的每个八维向量进行比例缩放；

对所述投影平面内任意给定的位置坐标，利用插值法从经过比例缩放的标定数据库中获得对应位置的八维向量，分别从中构造所述指定位置坐标处的目标透视变换矩阵，和提取所述动态投影设备的镜面的两个目标姿态角；

利用所述指定位置坐标处的目标透视变换矩阵，对所述待投影图像进行透视变换；

驱动所述动态投影设备的镜面按照所述两个目标姿态角进行移动；

利用移动后的所述动态投影设备，将透视变换后的待投影图像投影到实景搭建的现实场景中。

作为一种可选地实施方式，实景交互***还包括文件生成模块，用于存储透视变换后的待投影图像，并同时生成所述动态投影设备的镜面姿态角序列文件。

关于实景交互***的具体限定可以参见上文中对于实景交互方法的限定，在此不再赘述。上述实景交互***中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储点阵数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种实景交互方法。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：

对包含预设内容和功能的虚拟投影场景进行真实比例建模，得到投影场景三维模型；

对所述投影场景三维模型中的场景画面进行渲染，得到投影信息；

根据所述投影场景三维模型进行实景搭建与标定，得到标定数据库；

基于所述标定数据库对所述投影信息进行透视变换，并将透视变换后的待投影图像投影到实景搭建的现实场景中。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

利用场景相机对所述投影场景三维模型中的虚拟对象进行平行跟拍，得到用于动态投影的图像序列；

对所述场景相机的三维位置坐标进行坐标转换操作，得到用于动态投影的图像在所述现实场景的投影表面的位置信息；

将所述图像序列和所述位置信息确定为所述投影信息。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

根据所述投影场景三维模型进行实景搭建，得到所述现实场景；

在所述现实场景中的投影表面建立坐标系；

基于所述坐标系，在所述投影表面进行点阵填充标定，得到采样点阵；

对所述采样点阵中的采样点进行数据采集，得到第一点阵数据集；

基于所述采样点阵中的采样点确定矩形区域，对所述矩形区域内的未实际采样的坐标点进行点阵数据替换，得到第二点阵数据集；

根据所述第一点阵数据集和所述第二点阵数据集确定所述标定数据库。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

基于所述坐标系，通过测量在所述投影表面进行点阵填充标定，得到所述采样点阵；

或者，

基于所述坐标系，采用投影辅助在所述投影表面进行点阵填充标定，得到所述采样点阵。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

对于所述采样点阵中的每一个采样点，通过计算机控制动态投影设备的指向，将投影机的输出图像的中心对准所述采样点；

在所述计算机上调整预设参考图像的四角的位置，使得所述预设参考图像的对角线交点重合于所述输出图像的中心，并在所述投影表面投射出一个相对所述坐标系无旋转且边长固定的标准正方形；

采用标准优化求解算法，对所述预设参考图像的四角的坐标进行求解，得到当前透视变换矩阵中的六个参数的最优解；

将所述最优解和所述动态投影设备的镜面的两个姿态角构成一个八维向量；

将与所述采样点阵中的所有采样点对应的八维向量确定为所述第一点阵数据集。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

对所述采样点阵构成的坐标边界进行矩形补全，确定一个容纳所有采样点的最小的矩形包络区域，将所述最小的矩形包络区域确定为所述矩形区域；

对于所述矩形区域内的未实际采样的每一个坐标点，将与所述坐标点最邻近的采样点的点阵数据，替换为所述坐标点的点阵数据；

将所有坐标点的点阵数据确定为所述第二点阵数据集。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

将所述第一点阵数据集和所述第二点阵数据集进行点阵数据拼合，得到目标点阵数据集；

采用二维曲面差值法，对所述目标点阵数据集进行精细化处理，得到所述标定数据库。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

加载所述标定数据库；

根据预设投影分辨率，对加载后的标定数据库中的每个八维向量进行比例缩放；

对所述投影平面内任意给定的位置坐标，利用插值法从经过比例缩放的标定数据库中获得对应位置的八维向量，分别从中构造所述指定位置坐标处的目标透视变换矩阵，和提取所述动态投影设备的镜面的两个目标姿态角；

利用所述指定位置坐标处的目标透视变换矩阵，对所述待投影图像进行透视变换；

驱动所述动态投影设备的镜面按照所述两个目标姿态角进行移动；

利用移动后的所述动态投影设备，将透视变换后的待投影图像投影到实景搭建的现实场景中。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：

存储透视变换后的待投影图像，并同时生成所述动态投影设备的镜面姿态角序列文件。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

对包含预设内容和功能的虚拟投影场景进行真实比例建模，得到投影场景三维模型；

对所述投影场景三维模型中的场景画面进行渲染，得到投影信息；

根据所述投影场景三维模型进行实景搭建与标定，得到标定数据库；

基于所述标定数据库对所述投影信息进行透视变换，并将透视变换后的待投影图像投影到实景搭建的现实场景中。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

利用场景相机对所述投影场景三维模型中的虚拟对象进行平行跟拍，得到用于动态投影的图像序列；

对所述场景相机的三维位置坐标进行坐标转换操作，得到用于动态投影的图像在所述现实场景的投影表面的位置信息；

将所述图像序列和所述位置信息确定为所述投影信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

根据所述投影场景三维模型进行实景搭建，得到所述现实场景；

在所述现实场景中的投影表面建立坐标系；

基于所述坐标系，在所述投影表面进行点阵填充标定，得到采样点阵；

对所述采样点阵中的采样点进行数据采集，得到第一点阵数据集；

基于所述采样点阵中的采样点确定矩形区域，对所述矩形区域内的未实际采样的坐标点进行点阵数据替换，得到第二点阵数据集；

根据所述第一点阵数据集和所述第二点阵数据集确定所述标定数据库。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

基于所述坐标系，通过测量在所述投影表面进行点阵填充标定，得到所述采样点阵；

或者，

基于所述坐标系，采用投影辅助在所述投影表面进行点阵填充标定，得到所述采样点阵。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对于所述采样点阵中的每一个采样点，通过计算机控制动态投影设备的指向，将投影机的输出图像的中心对准所述采样点；

在所述计算机上调整预设参考图像的四角的位置，使得所述预设参考图像的对角线交点重合于所述输出图像的中心，并在所述投影表面投射出一个相对所述坐标系无旋转且边长固定的标准正方形；

采用标准优化求解算法，对所述预设参考图像的四角的坐标进行求解，得到当前透视变换矩阵中的六个参数的最优解；

将所述最优解和所述动态投影设备的镜面的两个姿态角构成一个八维向量；

将与所述采样点阵中的所有采样点对应的八维向量确定为所述第一点阵数据集。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

对所述采样点阵构成的坐标边界进行矩形补全，确定一个容纳所有采样点的最小的矩形包络区域，将所述最小的矩形包络区域确定为所述矩形区域；

对于所述矩形区域内的未实际采样的每一个坐标点，将与所述坐标点最邻近的采样点的点阵数据，替换为所述坐标点的点阵数据；

将所有坐标点的点阵数据确定为所述第二点阵数据集。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

将所述第一点阵数据集和所述第二点阵数据集进行点阵数据拼合，得到目标点阵数据集；

采用二维曲面差值法，对所述目标点阵数据集进行精细化处理，得到所述标定数据库。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

加载所述标定数据库；

根据预设投影分辨率，对加载后的标定数据库中的每个八维向量进行比例缩放；

对所述投影平面内任意给定的位置坐标，利用插值法从经过比例缩放的标定数据库中获得对应位置的八维向量，分别从中构造所述指定位置坐标处的目标透视变换矩阵，和提取所述动态投影设备的镜面的两个目标姿态角；

利用所述指定位置坐标处的目标透视变换矩阵，对所述待投影图像进行透视变换；

驱动所述动态投影设备的镜面按照所述两个目标姿态角进行移动；

利用移动后的所述动态投影设备，将透视变换后的待投影图像投影到实景搭建的现实场景中。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：

存储透视变换后的待投影图像，并同时生成所述动态投影设备的镜面姿态角序列文件。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种实景交互方法，其特征在于，所述方法包括：

对包含预设内容和功能的虚拟投影场景进行真实比例建模，得到投影场景三维模型；

对所述投影场景三维模型中的场景画面进行渲染，得到投影信息；

根据所述投影场景三维模型进行实景搭建与标定，得到标定数据库；

基于所述标定数据库对所述投影信息进行透视变换，并将透视变换后的待投影图像投影到实景搭建的现实场景中。

2.根据权利要求1所述的方法，其特征在于，所述对所述投影场景三维模型中的场景画面进行渲染，得到投影信息，包括：

利用场景相机对所述投影场景三维模型中的虚拟对象进行平行跟拍，得到用于动态投影的图像序列；

对所述场景相机的三维位置坐标进行坐标转换操作，得到用于动态投影的图像在所述现实场景的投影表面的位置信息；

将所述图像序列和所述位置信息确定为所述投影信息。

3.根据权利要求1所述的方法，其特征在于，所述根据所述投影场景三维模型进行实景搭建与标定，得到标定数据库，包括：

根据所述投影场景三维模型进行实景搭建，得到所述现实场景；

在所述现实场景中的投影表面建立坐标系；

基于所述坐标系，在所述投影表面进行点阵填充标定，得到采样点阵；

对所述采样点阵中的采样点进行数据采集，得到第一点阵数据集；

基于所述采样点阵中的采样点确定矩形区域，对所述矩形区域内的未实际采样的坐标点进行点阵数据替换，得到第二点阵数据集；

根据所述第一点阵数据集和所述第二点阵数据集确定所述标定数据库。

4.根据权利要求3所述的方法，其特征在于，所述基于所述坐标系，在所述投影表面进行点阵填充标定，得到采样点阵，包括：

基于所述坐标系，通过测量在所述投影表面进行点阵填充标定，得到所述采样点阵；

或者，

基于所述坐标系，采用投影辅助在所述投影表面进行点阵填充标定，得到所述采样点阵。

5.根据权利要求3所述的方法，其特征在于，所述对所述采样点阵中的采样点进行数据采集，得到第一点阵数据集，包括：

对于所述采样点阵中的每一个采样点，通过计算机控制动态投影设备的指向，将投影机的输出图像的中心对准所述采样点；

在所述计算机上调整预设参考图像的四角的位置，使得所述预设参考图像的对角线交点重合于所述输出图像的中心，并在所述投影表面投射出一个相对所述坐标系无旋转且边长固定的标准正方形；

采用标准优化求解算法，对所述预设参考图像的四角的坐标进行求解，得到当前透视变换矩阵中的六个参数的最优解；

将所述最优解和所述动态投影设备的镜面的两个姿态角构成一个八维向量；

将与所述采样点阵中的所有采样点对应的八维向量确定为所述第一点阵数据集。

6.根据权利要求5所述的方法，其特征在于，所述基于所述采样点阵中的采样点确定矩形区域，对所述矩形区域内的未实际采样的坐标点进行点阵数据替换，得到第二点阵数据集，包括：

对所述采样点阵构成的坐标边界进行矩形补全，确定一个容纳所有采样点的最小的矩形包络区域，将所述最小的矩形包络区域确定为所述矩形区域；

对于所述矩形区域内的未实际采样的每一个坐标点，将与所述坐标点最邻近的采样点的点阵数据，替换为所述坐标点的点阵数据；

将所有坐标点的点阵数据确定为所述第二点阵数据集。

7.根据权利要求3所述的方法，其特征在于，所述根据所述第一点阵数据集和所述第二点阵数据集确定所述标定数据库，包括：

将所述第一点阵数据集和所述第二点阵数据集进行点阵数据拼合，得到目标点阵数据集；

采用二维曲面差值法，对所述目标点阵数据集进行精细化处理，得到所述标定数据库。

8.根据权利要求5所述的方法，其特征在于，所述标定数据库中还包括所述标准正方形在所述投影表面上的分辨率；

所述基于所述标定数据库对所述投影信息进行透视变换，并将透视变换后的待投影图像投影到实景搭建的现实场景中，包括：

加载所述标定数据库；

根据预设投影分辨率，对加载后的标定数据库中的每个八维向量进行比例缩放；

对所述投影平面内任意给定的位置坐标，利用插值法从经过比例缩放的标定数据库中获得对应位置的八维向量，分别从中构造所述指定位置坐标处的目标透视变换矩阵，和提取所述动态投影设备的镜面的两个目标姿态角；

利用所述指定位置坐标处的目标透视变换矩阵，对所述待投影图像进行透视变换；

驱动所述动态投影设备的镜面按照所述两个目标姿态角进行移动；

利用移动后的所述动态投影设备，将透视变换后的待投影图像投影到实景搭建的现实场景中。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

存储透视变换后的待投影图像，并同时生成所述动态投影设备的镜面姿态角序列文件。

10.一种实景交互***，其特征在于，所述***包括：

建模模块，用于对包含预设内容和功能的虚拟投影场景进行真实比例建模，得到投影场景三维模型；

渲染模块，用于对所述投影场景三维模型中的场景画面进行渲染，得到投影信息；

搭建标定模块，用于根据所述投影场景三维模型进行实景搭建与标定，得到标定数据库；

投影模块，用于基于所述标定数据库对所述投影信息进行透视变换，并将透视变换后的待投影图像投影到实景搭建的现实场景中。

11.一种计算机设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述方法的步骤。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。