CN106056604B - 一种增强现实标识的自动镂空方法 - Google Patents

Abstract

标识是增强现实中广泛使用的相机定标辅助工具，但它在增强画面中的出现影响了虚实融合的真实感和美观性。本发明提出一种增强现实标识的自动镂空方法，保留边缘和角点等重要区域，去除无助于相机定标的区域，减少移除标识后需要修复的面积，提高标识隐藏的视觉效果。该镂空方法包括以下步骤：利用4邻域颜色对比获得传统标识图像的边缘特征；对边缘特征图像的像素进行形态学的膨胀操作，获得膨胀边缘图像；在竖直中轴线上添加连接带，保证保留区域整体连通，得到连通保留图像；将所有直角边界转化为光滑的圆角边界，得到镂空区域掩模；最后将传统标识图像中与镂空区域对应的像素设置为红色，得到最终的镂空标识。

Description

一种增强现实标识的自动镂空方法

技术领域

本发明涉及一种增强现实标识的自动镂空方法，特别是一种基于增强现实模板类标识的自动镂空处理方法。

背景技术

增强现实是一种通过计算机***提供的虚拟信息增强观察者对现实世界的视觉感知的技术，它利用相关计算机技术借助标识或特征点将虚拟景物实时叠加到真实环境的视频画面中。为了保证叠加的虚拟景物与真实环境之间的空间一致性，需要实时利用摄像机定标方法计算摄像机的内外参数。

考虑到制作成本、易用性和稳定性，标识成为了最为重要和通用的相机定标辅助工具。用户只需在纸上打印相关的定标图案制作标识，并将该标识放置到摄像机拍摄画面中，即可检测到摄像机相对该标识的内外参数。基于标识的相机定标方法不依赖于环境的特征信息，不受场景纹理的限制和部分遮挡的干扰，能够实时、稳定地定标摄像机，已获得了学术界的广泛认同和工业界的广泛使用。

根据识别原理的不同，目前的增强现实标识可以分为模板类、编码类和稀疏类三种类型。稀疏类标识由稀疏的简单图形(比如圆点、矩形等)组合而成，对真实环境的遮挡较小，但为了保持稀疏图形之间的固定位置关系，这类标识通常直接粘贴或打印在真实背景上，其适用范围受到很大的限制，且识别稳定性容易受到光照变化、相机快速移动等的影响。而模板类和编码类标识通常为一个黑白的正方形纸板，整体牢固、易于移动、抗干扰能力强且相机定标精度高，被广泛使用于各种基于标识的增强现实应用中。然而，基于标识的增强现实方法要求将打印的标识整个放置于真实环境中，标识的放置遮挡了部分真实场景，影响了增强现实画面的真实感和美观性，极大地限制了该技术在各领域的应用。

为避免标识的出现对增强现实真实感的影响，可以将标识从视频中去除，但画面中会出现一个空洞。一种最为简单的处理办法是用虚拟物体覆盖住这一空洞区域，但这仅适用于虚拟物体在标识所处平面之上且体积较大的情形。另一种方法是在放置标识之前预先采集背景图像，用以修补放置标识后产生的空洞区域。但预先采集的方法增加了用户的交互负担，降低了增强现实***的实用性。

图像修复技术是一种重建图像或视频中损失部分的数字化处理技术，它能够利用视频中未被标识覆盖的背景图像内容，来修补移除标识后产生的空洞区域，从而达到隐藏标识的目的。然而，为保证相机定标的精度，模板类和编码类标识在视频画面中的成像区域通常较大，移除后所需的大面积图像修复不仅消耗庞大的计算量，且往往导致标识隐藏结果出现修复痕迹和缝隙等失真现象。

发明内容

为避免现有的增强现实标识隐藏方法需要大面积图像修复的问题，本发明设计了一种镂空的增强现实标识，并提供了一种增强现实标识的自动镂空方法。该方法以传统的增强现实模板类标识为输入，自动去除标识中无助于相机定标的区域，保留线条和角点等对相机定标起决定性作用的特征区域，从而生成整体连通、易于制作且遮挡面积较小的镂空标识。具体步骤如下：

1)、获取传统标识图像I，对该图像利用4邻域颜色对比获得它的边缘特征，得到边缘特征图像It；

2)、对边缘特征图像It的边缘像素进行形态学的膨胀操作，得到膨胀边缘图像Id；

3)、在竖直中轴线上添加一定宽度的连接带，使得除去膨胀边缘区域的其他区域整体连通在一起，得到连通保留图像Ic；

4)、将连通保留图像Ic的直角边界转化为光滑的圆角边界，从而得到镂空区域掩模Mh；

5)、将传统标识图像I中与镂空区域掩模Mh中黑色部分对应的像素设置为灰色，得到最终的镂空标识Ih。

该镂空标识与现有的传统增强现实标识的相机定标功能基本一致，其改进在于通过镂空无助于定标的区域，减少对背景环境的遮挡，从而改善标识隐藏的效果。进一步，所述的步骤(2)中的膨胀操作主要包括以下步骤：

(2.1)对边缘特征图像，利用进行膨胀操作，得到膨胀边缘图像Id，本发明中的a为膨胀系数，可以分别取10、20、30、40、50、60个像素，a越小，镂空区域的面积越大，a越大，镂空区域的面积越小；

(2.2)对于膨胀边缘图像Id，白色部分是予以保留的特征区域，黑色部分是需要镂空的非特征区域；

进一步，所述的步骤(3)中添加连接带的宽度为1.5a。

进一步，所述的步骤(4)中的直角转化为光滑的圆角边界主要包括以下步骤：

(4.1)找到其中一个直角，做一个与其相邻的两条边界都相切的、半径为2a的内切圆；

(4.2)将直角和两个切点围成的圆弧角区域，用镂空区域的黑色进行填充，完成当前直角转化圆角的操作；

(4.3)将上述圆角标记为已处理直角，返回到步骤(4.1)，对尚未转化的直角进行圆角转化，直至所有连通保留图像的直角都得到转化。

本发明的技术构思是：为减少增强现实标识对背景环境的遮挡，本发明提出了一种简便、快速的标识自动镂空方法，保留边缘和角点等重要区域，去除传统标识中无助于相机定标的区域，从而减少移除标识后需要修复的面积，提高标识隐藏的视觉效果。

本发明的优点在于：标识的镂空减少了对背景环境的遮挡，能减少图像修复的面积，降低标识隐藏的误差；竖直连接带的添加保证了镂空标识的保留部分整体连通，避免了稀疏类标识需要粘贴在背景上的不足；边缘特征的提取和膨胀，及其直角转圆角的处理保留了原始的边缘和角点特征，保证相机定标不受影响；膨胀参数a的使用，允许用户控制镂空程度，在相机定标和标识隐藏之间调整效果。

附图说明

图1为本发明的流程图

具体实施方式

参照附图，进一步说明本发明：

一种增强现实标识的自动镂空方法，包括以下步骤：

1)、获取传统标识图像I，对该图像利用4邻域颜色对比获得它的边缘特征，再加上传统标识图像I的长方形边框，得到边缘特征图像It；

2)、对边缘特征图像It的边缘像素进行形态学的膨胀操作，得到膨胀边缘图像Id；

3)、在竖直中轴线上添加一定宽度的连接带，使得除去膨胀边缘区域的其他区域整体连通在一起，得到连通保留图像Ic；

4)、将连通保留图像Ic的直角边界转化为光滑的圆角边界，从而得到镂空区域掩模Mh；

5)、将传统标识图像I中与镂空区域掩模Mh中黑色部分对应的像素设置为灰色，得到最终的镂空标识Ih。

该镂空标识与现有的传统增强现实标识的相机定标功能基本一致，其改进在于通过镂空无助于定标的区域减少对背景环境的遮挡，从而改善标识隐藏的效果。进一步，所述的步骤(2)中的膨胀操作主要包括以下步骤：

(2.1)对边缘特征图像，利用进行膨胀操作，得到膨胀边缘图像Id，本发明中的a为膨胀系数，可以分别取10、20、30、40、50、60个像素，a越小，镂空区域的面积越大，a越大，镂空区域的面积越小；

(2.2)对于膨胀边缘图像Id，白色部分是予以保留的特征区域，黑色部分是需要镂空的非特征区域；

进一步，所述的步骤(3)中添加连接带的宽度为1.5a。

进一步，所述的步骤(4)中的直角转化为光滑的圆角边界主要包括以下步骤：

(4.1)找到其中一个直角，做一个与其相邻的两条边界都相切的、半径为2a的内切圆；

(4.2)将直角和两个切点围成的圆弧角区域，用镂空区域的黑色进行填充，完成当前直角转化圆角的操作；

(4.3)将上述圆角标记为已处理直角，返回到步骤(4.1)，对尚未转化的直角进行圆角转化，直至所有连通保留图像的直角得到转化。

目前，在增强现实领域，基于传统标识的相机定标方法已经日渐成熟，其定标的稳定性和计算效率都得到了学术界和工业界的广泛认可。本发明针对这类方法中标识的放置对增强画面的真实感和美观性的不足，提出了一种镂空的增强现实标识及其自动生成方法，为该类方法实现以假乱真的增强现实效果提供了技术基础。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (1)

1.一种增强现实标识的自动镂空方法，包括以下步骤：

1)、获取传统标识图像I，对该图像利用4邻域颜色对比获得它的边缘特征，得到边缘特征图像It；

2)、对边缘特征图像It的边缘像素进行形态学的膨胀操作，得到膨胀边缘图像Id；所述的步骤(2)中的膨胀操作主要包括以下步骤：

(2.1)对边缘特征图像，利用进行膨胀操作，得到膨胀边缘图像Id，其中a为膨胀系数，可以分别取10、20、30、40、50、60个像素，a越小，镂空区域的面积越大，a越大，镂空区域的面积越小；

(2.2)对于膨胀边缘图像Id，白色部分是予以保留的特征区域，黑色部分是需要镂空的非特征区域；

3)、在竖直中轴线上添加一定宽度的连接带，使得除去膨胀边缘区域的其他区域整体连通在一起，得到连通保留图像Ic；所述的步骤(3)中添加连接带的宽度为1.5a；

4)、将连通保留图像Ic的直角边界转化为光滑的圆角边界，从而得到镂空区域掩模Mh；所述的步骤(4)中的直角转化为光滑的圆角边界主要包括以下步骤：

(4.1)找到其中一个直角，做一个与其相邻的两条边界都相切的、半径为2a的内切圆；

(4.2)将直角和两个切点围成的圆弧角区域，用镂空区域的黑色进行填充，完成当前直角转化圆角的操作；

(4.3)将上述圆角标记为已处理直角，返回到步骤(4.1)，对尚未转化的直角进行圆角转化，直至所有连通保留图像的直角得到转化；

5)、将传统标识图像I中与镂空区域掩模Mh中黑色部分对应的像素设置为灰色，得到最终的镂空标识Ih。