CN108038911A - 一种基于ar技术的全息成像控制方法 - Google Patents

Abstract

本发明提供了一种基于AR技术的全息成像控制方法，属于全息成像控制领域，包括如下步骤，建立特征库，摄像头采集，识别库检索，跟踪定位，全息成像的三维模型实时显示，现实识别物控制全息成像。本发明使全息成像***对现实世界是可感知的，虚拟内容由现实世界来决定显示的形态，并可通过现实世界的物品或环境进行控制和操作。本发明用于改进现有的全息成像***的内容生成方式和控制方式，使得全息成像***在实际的应用场景中有着更直观的展示性、更有趣的互动性、更友好的操作性，在商业展示应用上达到良好的效果。

Description

一种基于AR技术的全息成像控制方法

技术领域

本发明涉及全息成像控制领域，特别地，涉及一种基于AR技术的全息成像控制方法。

背景技术

AR技术：AR技术是增强现实(Augmented Reality)技术的简称，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息,通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。AR技术不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。

全息技术：全息技术第一步是利用干涉原理记录物体光波信息，即拍摄过程：被拍摄物体在激光辐照下形成漫射式的物光束；另一部分激光作为参考光束射到全息底片上，和物光束叠加产生干涉，把物体光波上各点的位相和振幅转换成在空间上变化的强度，从而利用干涉条纹间的反差和间隔将物体光波的全部信息记录下来。记录着干涉条纹的底片经过显影、定影等处理程序后，便成为一张全息图，或称全息照片；其第二步是利用衍射原理再现物体光波信息，这是成像过程：全息图犹如一个复杂的光栅，在相干激光照射下，一张线性记录的正弦型全息图的衍射光波一般可给出两个象，即原始象(又称初始象)和共轭象。再现的图像立体感强，具有真实的视觉效应。全息图的每一部分都记录了物体上各点的光信息，故原则上它的每一部分都能再现原物的整个图像，通过多次曝光还可以在同一张底片上记录多个不同的图像，而且能互不干扰地分别显示出来。

现有的全息成像***不能感知现实世界，不能根据现实世界中物体及环境的变化作出反馈，全息成像的内容是和现实世界无关的，由于这种全息成像***内容是预制的，缺少与现实世界的互动性，全息成像的内容太过于死板，在实际应用过程中显得枯燥无味。

发明内容

本发明目的在于提供一种基于AR技术的全息成像控制方法，以解决现有全息成像控制只能是通过触摸屏来进行控制，使得实际应用过程中显得枯燥无味的技术问题。

为实现上述目的，本发明提供了一种基于AR技术的全息成像控制方法，包括如下步骤，

步骤1：建立特征库，将要感知的现实物体拍摄成图片并进行单***切，去除颜色，保留灰度信息，按照图片像素行列遍历，提取识别特征，把识别特征进行编码并存入到识别特征库中，完成特征库建立；

步骤2：摄像头采集模块采集物体图像信息，把采集的信息传给跟踪模块；

步骤3：跟踪模块把收到的信息与特征库中的识别特征信息进行比对搜索，比对后判断结果是新发现识别特征还是跟踪已有的识别特征；

步骤4：当比对完成后会对该识别特征进行跟踪，将三维模型等内容在全息画面预渲染周期进行叠加在识别特征的位置之上，同时识别特征跟踪状态消息发送给业务模块；

步骤5：业务模块进行业务逻辑的判断及运算，渲染输出完整的增强现实3D渲染帧，进行帧叠加，当多帧叠加后，形成动态的可交互的三维全息动画；

步骤6：把三维全息动画传到全息成像模块上形成全息三维物体；

步骤7：全息成像的三维物体跟随现实世界中的识别物的状态变化而变化。

所述步骤1中的遍历过程为：对小于90度的像素角，标记为一个识别点，当对所有像素遍历判断之后，抽取出识别点，记录识别点的x,y坐标，组合起来就是识别特征。

所述步骤2中采集物体信息的过程为：摄像头采集模块每秒采集25帧的图像帧，对每一帧相机帧进行像素级的格式装换，转换后的帧数据传给跟踪模块。

所述步骤3中识别特征的比对搜索的过程为：将接收到的图像信息拆分成单帧，每一帧进行格式编码转换，转换成为像素矩阵，通过遍历像素矩阵，同时在识别库中进行检索，当检索出完全一致或者类似的识别特征后，进行抽取放入结果队列，但结果队列中有多个识别特征时，还要进行一次筛选甄别，以评分最高的特征为最后返回结果，将该结果返回。

所述步骤4中跟踪的具体过程为：当确定唯一的识别特征之后，随后的图像帧需要判断该识别特征是否已经离开摄像头画面，如果离开，则返回离开标志位，如未离开，则进行定位跟踪，定位跟踪包含三维空间的距离、大小、旋转，这些信息都以Matrix 4x4格式存储，并反馈到对应的三维模型的位移、旋转、缩放属性。

所述步骤5中动画显示的过程为：采用三维模型格式，包含三角面网模型、贴图、材质、uv信息，模型配合实时灯光渲染，在三维场景中设置与现实接近的光源，以平行灯为主，在受光面叠加高亮度的光照信息，在暗面减弱亮度的光照信息，同时还投影出阴影到投影范围内的物体。

所述步骤7中变化的控制过程为：摄像头时刻记录识别物相对位移、距离摄像头的距离、识别物自身的旋转三个维度的状态信息，将这些状态信息映射到全息成像的三维物体的移动、缩放、旋转属性上，最终可通过控制现实世界中的物体来操作全息成像中的虚拟三维物体。本发明具有以下有益效果：

本发明使全息成像***对现实世界是可感知的，虚拟内容由现实世界来决定显示的形态，并可通过现实世界的物品或环境进行控制和操作；本发明用于改进现有的全息成像***的内容生成方式和控制方式，使得全息成像***在实际的应用场景中有着更直观的展示性、更有趣的互动性、更友好的操作性，在商业展示应用上达到良好的效果；解决现有全息成像控制只能是通过触摸屏来进行控制，使得实际应用过程中显得枯燥无味的技术问题。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明的流程图。

具体实施方式

以下结合附图对本发明的实施例进行详细说明，但是本发明可以根据权利要求限定和覆盖的多种不同方式实施。

一种基于AR技术的全息成像控制方法，如图1所示，包括如下步骤，

步骤1：建立特征库，将要感知的现实物体拍摄成图片并进行单***切，去除颜色，保留灰度信息，按照图片像素行列遍历。对小于90度的像素角，标记为一个识别点，当对所有像素遍历判断之后，抽取出识别点，记录识别点的x,y坐标，组合起来就是识别特征。提取识别特征，把识别特征进行编码并存入到识别特征库中，完成特征库建立。现实物体包括识别卡、三维物体或场景等现实的真实物体。

步骤2：摄像头采集模块采集物体图像信息，把采集的信息传给跟踪模块。摄像头采集模块每秒采集25帧的图像帧，对每一帧相机帧进行像素级的格式装换，转换后的帧数据传给跟踪模块。摄像头采集模块采集物体的物体一般为在建立特征库时拍摄的一些物体或者镜像物体或者克隆物体等。

步骤3：跟踪模块把收到的信息与特征库中的识别特征信息进行比对搜索，比对后判断结果是新发现识别特征还是跟踪已有的识别特征。识别特征的比对搜索的过程为：将接收到的图像信息拆分成单帧；每一帧进行格式编码转换，转换成为像素矩阵。通过遍历像素矩阵，同时在识别库中进行检索，当检索出完全一致或者类似的识别特征后，进行抽取放入结果队列，但结果队列中有多个识别特征时，还要进行一次筛选甄别，以评分最高的特征为最后返回结果，将该结果返回。

步骤4：当比对完成后会对该识别特征进行跟踪，将三维模型等内容在全息画面预渲染周期进行叠加在识别特征的位置之上，同时识别特征跟踪状态消息发送给业务模块。跟踪的具体过程为：当确定唯一的识别特征之后，随后的图像帧需要判断该识别特征是否已经离开摄像头画面，如果离开，则返回离开标志位，如未离开，则进行定位跟踪，定位跟踪包含三维空间的距离、大小、旋转，这些信息都以Matrix 4x4格式存储，并反馈到对应的三维模型的位移、旋转、缩放属性，使得全息成像三维模型的空间属性与现实场景中的识别物保持一致。

步骤5：业务模块进行业务逻辑的判断及运算，渲染输出完整的虚拟现实3D渲染帧，进行帧叠加，形成动态的可交互的三维全息动画。采用三维模型格式，包含三角面网模型、贴图、材质、uv信息，模型配合实时灯光渲染，在三维场景中设置与现实接近的光源，以平行灯为主，在受光面叠加高亮度的光照信息，在暗面减弱亮度的光照信息，同时还投影出阴影到投影范围内的物体。为了保持三维物体的真实性，还采用了Shader算法来模拟现实的材质，如金属，玻璃，水，木头，植物等等，通过模型，贴图，灯光，材质多方面的表现，让整个景点模型达到高保真的效果。

步骤6：把三维全息动画传到全息成像上形成全息三维物体。传输通过有线或者无线传输，一般是选择无线传输。

步骤7：全息成像的三维物体跟随现实世界中的识别物的状态变化而变化。摄像头时刻记录识别物相对位移、距离摄像头的距离、识别物自身的旋转三个维度的状态信息，将这些状态信息映射到全息成像的三维物体的移动、缩放、旋转属性上，最终可通过控制现实世界中的物体来操作全息成像中的虚拟三维物体。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于AR技术的全息成像控制方法，其特征在于，包括如下步骤，

步骤1：建立特征库，将要感知的现实物体拍摄成图片并进行单***切，去除颜色，保留灰度信息，按照图片像素行列遍历，提取识别特征，把识别特征进行编码并存入到识别特征库中，完成特征库建立；

步骤2：摄像头采集模块采集现实物体图像信息，把采集的信息传给跟踪模块；

步骤3：跟踪模块把收到的信息与特征库中的识别特征信息进行比对搜索，比对后判断结果是新发现识别特征还是跟踪已有的识别特征；

步骤4：当比对完成后会对该识别特征进行跟踪，将三维模型等内容在全息画面预渲染周期进行叠加在识别特征的位置之上，同时识别特征跟踪状态消息发送给业务模块；

步骤5：业务模块进行业务逻辑的判断及运算，渲染输出完整的增强现实3D渲染帧，进行帧叠加，当多帧叠加后，形成动态的可交互的三维全息动画；

步骤6：把三维全息动画传到全息成像模块上形成全息三维物体；

步骤7：全息成像的三维物体跟随现实世界中的识别物的状态变化而变化。

2.根据权利要求1所述的一种基于AR技术的全息成像控制方法，其特征在于，所述步骤1中的遍历过程为：对小于90度的像素角，标记为一个识别点，当对所有像素遍历判断之后，抽取出识别点，记录识别点的x,y坐标，组合起来就是识别特征。

3.根据权利要求1所述的一种基于AR技术的全息成像控制方法，其特征在于，所述步骤2中采集物体信息的过程为：摄像头采集模块每秒采集25帧的图像帧，对每一帧相机帧进行像素级的格式装换，转换后的帧数据传给跟踪模块。

4.根据权利要求1所述的一种基于AR技术的全息成像控制方法，其特征在于，所述步骤3中识别特征的比对搜索的过程为：将接收到的图像信息拆分成单帧，每一帧进行格式编码转换，转换成为像素矩阵，通过遍历像素矩阵，同时在识别库中进行检索，当检索出完全一致或者类似的识别特征后，进行抽取放入结果队列，但结果队列中有多个识别特征时，还要进行一次筛选甄别，以评分最高的特征为最后返回结果，将该结果返回。

5.根据权利要求1所述的一种基于AR技术的全息成像控制方法，其特征在于，所述步骤4中跟踪的具体过程为：当确定唯一的识别特征之后，随后的图像帧需要判断该识别特征是否已经离开摄像头画面，如果离开，则返回离开标志位，如未离开，则进行定位跟踪，定位跟踪包含三维空间的距离、大小、旋转，这些信息都以Matrix 4x4格式存储，并反馈到对应的三维模型的位移、旋转、缩放属性。

6.根据权利要求1所述的一种基于AR技术的全息成像控制方法，其特征在于，所述步骤5中动画显示的过程为：采用三维模型格式，包含三角面网模型、贴图、材质、uv信息，模型配合实时灯光渲染，在三维场景中设置与现实接近的光源，以平行灯为主，在受光面叠加高亮度的光照信息，在暗面减弱亮度的光照信息，同时还投影出阴影到投影范围内的物体。

7.根据权利要求1所述的一种基于AR技术的全息成像控制方法，其特征在于，所述步骤7中变化的控制过程为：摄像头时刻记录识别物相对位移、距离摄像头的距离、识别物自身的旋转三个维度的状态信息，将这些状态信息映射到全息成像的三维物体的移动、缩放、旋转属性上，最终可通过控制现实世界中的物体来操作全息成像中的虚拟三维物体。