CN106056604B - 一种增强现实标识的自动镂空方法 - Google Patents
一种增强现实标识的自动镂空方法 Download PDFInfo
- Publication number
- CN106056604B CN106056604B CN201610367247.6A CN201610367247A CN106056604B CN 106056604 B CN106056604 B CN 106056604B CN 201610367247 A CN201610367247 A CN 201610367247A CN 106056604 B CN106056604 B CN 106056604B
- Authority
- CN
- China
- Prior art keywords
- image
- edge
- right angle
- mark
- augmented reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000000877 morphologic effect Effects 0.000 claims abstract description 4
- 239000011800 void material Substances 0.000 claims description 15
- 230000000717 retained effect Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 abstract 1
- 230000004927 fusion Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 230000008439 repair process Effects 0.000 description 4
- 230000007812 deficiency Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
Abstract
标识是增强现实中广泛使用的相机定标辅助工具,但它在增强画面中的出现影响了虚实融合的真实感和美观性。本发明提出一种增强现实标识的自动镂空方法,保留边缘和角点等重要区域,去除无助于相机定标的区域,减少移除标识后需要修复的面积,提高标识隐藏的视觉效果。该镂空方法包括以下步骤:利用4邻域颜色对比获得传统标识图像的边缘特征;对边缘特征图像的像素进行形态学的膨胀操作,获得膨胀边缘图像;在竖直中轴线上添加连接带,保证保留区域整体连通,得到连通保留图像;将所有直角边界转化为光滑的圆角边界,得到镂空区域掩模;最后将传统标识图像中与镂空区域对应的像素设置为红色,得到最终的镂空标识。
Description
技术领域
本发明涉及一种增强现实标识的自动镂空方法,特别是一种基于增强现实模板类标识的自动镂空处理方法。
背景技术
增强现实是一种通过计算机***提供的虚拟信息增强观察者对现实世界的视觉感知的技术,它利用相关计算机技术借助标识或特征点将虚拟景物实时叠加到真实环境的视频画面中。为了保证叠加的虚拟景物与真实环境之间的空间一致性,需要实时利用摄像机定标方法计算摄像机的内外参数。
考虑到制作成本、易用性和稳定性,标识成为了最为重要和通用的相机定标辅助工具。用户只需在纸上打印相关的定标图案制作标识,并将该标识放置到摄像机拍摄画面中,即可检测到摄像机相对该标识的内外参数。基于标识的相机定标方法不依赖于环境的特征信息,不受场景纹理的限制和部分遮挡的干扰,能够实时、稳定地定标摄像机,已获得了学术界的广泛认同和工业界的广泛使用。
根据识别原理的不同,目前的增强现实标识可以分为模板类、编码类和稀疏类三种类型。稀疏类标识由稀疏的简单图形(比如圆点、矩形等)组合而成,对真实环境的遮挡较小,但为了保持稀疏图形之间的固定位置关系,这类标识通常直接粘贴或打印在真实背景上,其适用范围受到很大的限制,且识别稳定性容易受到光照变化、相机快速移动等的影响。而模板类和编码类标识通常为一个黑白的正方形纸板,整体牢固、易于移动、抗干扰能力强且相机定标精度高,被广泛使用于各种基于标识的增强现实应用中。然而,基于标识的增强现实方法要求将打印的标识整个放置于真实环境中,标识的放置遮挡了部分真实场景,影响了增强现实画面的真实感和美观性,极大地限制了该技术在各领域的应用。
为避免标识的出现对增强现实真实感的影响,可以将标识从视频中去除,但画面中会出现一个空洞。一种最为简单的处理办法是用虚拟物体覆盖住这一空洞区域,但这仅适用于虚拟物体在标识所处平面之上且体积较大的情形。另一种方法是在放置标识之前预先采集背景图像,用以修补放置标识后产生的空洞区域。但预先采集的方法增加了用户的交互负担,降低了增强现实***的实用性。
图像修复技术是一种重建图像或视频中损失部分的数字化处理技术,它能够利用视频中未被标识覆盖的背景图像内容,来修补移除标识后产生的空洞区域,从而达到隐藏标识的目的。然而,为保证相机定标的精度,模板类和编码类标识在视频画面中的成像区域通常较大,移除后所需的大面积图像修复不仅消耗庞大的计算量,且往往导致标识隐藏结果出现修复痕迹和缝隙等失真现象。
发明内容
为避免现有的增强现实标识隐藏方法需要大面积图像修复的问题,本发明设计了一种镂空的增强现实标识,并提供了一种增强现实标识的自动镂空方法。该方法以传统的增强现实模板类标识为输入,自动去除标识中无助于相机定标的区域,保留线条和角点等对相机定标起决定性作用的特征区域,从而生成整体连通、易于制作且遮挡面积较小的镂空标识。具体步骤如下:
1)、获取传统标识图像I,对该图像利用4邻域颜色对比获得它的边缘特征,得到边缘特征图像It;
2)、对边缘特征图像It的边缘像素进行形态学的膨胀操作,得到膨胀边缘图像Id;
3)、在竖直中轴线上添加一定宽度的连接带,使得除去膨胀边缘区域的其他区域整体连通在一起,得到连通保留图像Ic;
4)、将连通保留图像Ic的直角边界转化为光滑的圆角边界,从而得到镂空区域掩模Mh;
5)、将传统标识图像I中与镂空区域掩模Mh中黑色部分对应的像素设置为灰色,得到最终的镂空标识Ih。
该镂空标识与现有的传统增强现实标识的相机定标功能基本一致,其改进在于通过镂空无助于定标的区域,减少对背景环境的遮挡,从而改善标识隐藏的效果。进一步,所述的步骤(2)中的膨胀操作主要包括以下步骤:
(2.1)对边缘特征图像,利用进行膨胀操作,得到膨胀边缘图像Id,本发明中的a为膨胀系数,可以分别取10、20、30、40、50、60个像素,a越小,镂空区域的面积越大,a越大,镂空区域的面积越小;
(2.2)对于膨胀边缘图像Id,白色部分是予以保留的特征区域,黑色部分是需要镂空的非特征区域;
进一步,所述的步骤(3)中添加连接带的宽度为1.5a。
进一步,所述的步骤(4)中的直角转化为光滑的圆角边界主要包括以下步骤:
(4.1)找到其中一个直角,做一个与其相邻的两条边界都相切的、半径为2a的内切圆;
(4.2)将直角和两个切点围成的圆弧角区域,用镂空区域的黑色进行填充,完成当前直角转化圆角的操作;
(4.3)将上述圆角标记为已处理直角,返回到步骤(4.1),对尚未转化的直角进行圆角转化,直至所有连通保留图像的直角都得到转化。
本发明的技术构思是:为减少增强现实标识对背景环境的遮挡,本发明提出了一种简便、快速的标识自动镂空方法,保留边缘和角点等重要区域,去除传统标识中无助于相机定标的区域,从而减少移除标识后需要修复的面积,提高标识隐藏的视觉效果。
本发明的优点在于:标识的镂空减少了对背景环境的遮挡,能减少图像修复的面积,降低标识隐藏的误差;竖直连接带的添加保证了镂空标识的保留部分整体连通,避免了稀疏类标识需要粘贴在背景上的不足;边缘特征的提取和膨胀,及其直角转圆角的处理保留了原始的边缘和角点特征,保证相机定标不受影响;膨胀参数a的使用,允许用户控制镂空程度,在相机定标和标识隐藏之间调整效果。
附图说明
图1为本发明的流程图
具体实施方式
参照附图,进一步说明本发明:
一种增强现实标识的自动镂空方法,包括以下步骤:
1)、获取传统标识图像I,对该图像利用4邻域颜色对比获得它的边缘特征,再加上传统标识图像I的长方形边框,得到边缘特征图像It;
2)、对边缘特征图像It的边缘像素进行形态学的膨胀操作,得到膨胀边缘图像Id;
3)、在竖直中轴线上添加一定宽度的连接带,使得除去膨胀边缘区域的其他区域整体连通在一起,得到连通保留图像Ic;
4)、将连通保留图像Ic的直角边界转化为光滑的圆角边界,从而得到镂空区域掩模Mh;
5)、将传统标识图像I中与镂空区域掩模Mh中黑色部分对应的像素设置为灰色,得到最终的镂空标识Ih。
该镂空标识与现有的传统增强现实标识的相机定标功能基本一致,其改进在于通过镂空无助于定标的区域减少对背景环境的遮挡,从而改善标识隐藏的效果。进一步,所述的步骤(2)中的膨胀操作主要包括以下步骤:
(2.1)对边缘特征图像,利用进行膨胀操作,得到膨胀边缘图像Id,本发明中的a为膨胀系数,可以分别取10、20、30、40、50、60个像素,a越小,镂空区域的面积越大,a越大,镂空区域的面积越小;
(2.2)对于膨胀边缘图像Id,白色部分是予以保留的特征区域,黑色部分是需要镂空的非特征区域;
进一步,所述的步骤(3)中添加连接带的宽度为1.5a。
进一步,所述的步骤(4)中的直角转化为光滑的圆角边界主要包括以下步骤:
(4.1)找到其中一个直角,做一个与其相邻的两条边界都相切的、半径为2a的内切圆;
(4.2)将直角和两个切点围成的圆弧角区域,用镂空区域的黑色进行填充,完成当前直角转化圆角的操作;
(4.3)将上述圆角标记为已处理直角,返回到步骤(4.1),对尚未转化的直角进行圆角转化,直至所有连通保留图像的直角得到转化。
目前,在增强现实领域,基于传统标识的相机定标方法已经日渐成熟,其定标的稳定性和计算效率都得到了学术界和工业界的广泛认可。本发明针对这类方法中标识的放置对增强画面的真实感和美观性的不足,提出了一种镂空的增强现实标识及其自动生成方法,为该类方法实现以假乱真的增强现实效果提供了技术基础。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式,本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。
Claims (1)
1.一种增强现实标识的自动镂空方法,包括以下步骤:
1)、获取传统标识图像I,对该图像利用4邻域颜色对比获得它的边缘特征,得到边缘特征图像It;
2)、对边缘特征图像It的边缘像素进行形态学的膨胀操作,得到膨胀边缘图像Id;所述的步骤(2)中的膨胀操作主要包括以下步骤:
(2.1)对边缘特征图像,利用进行膨胀操作,得到膨胀边缘图像Id,其中a为膨胀系数,可以分别取10、20、30、40、50、60个像素,a越小,镂空区域的面积越大,a越大,镂空区域的面积越小;
(2.2)对于膨胀边缘图像Id,白色部分是予以保留的特征区域,黑色部分是需要镂空的非特征区域;
3)、在竖直中轴线上添加一定宽度的连接带,使得除去膨胀边缘区域的其他区域整体连通在一起,得到连通保留图像Ic;所述的步骤(3)中添加连接带的宽度为1.5a;
4)、将连通保留图像Ic的直角边界转化为光滑的圆角边界,从而得到镂空区域掩模Mh;所述的步骤(4)中的直角转化为光滑的圆角边界主要包括以下步骤:
(4.1)找到其中一个直角,做一个与其相邻的两条边界都相切的、半径为2a的内切圆;
(4.2)将直角和两个切点围成的圆弧角区域,用镂空区域的黑色进行填充,完成当前直角转化圆角的操作;
(4.3)将上述圆角标记为已处理直角,返回到步骤(4.1),对尚未转化的直角进行圆角转化,直至所有连通保留图像的直角得到转化;
5)、将传统标识图像I中与镂空区域掩模Mh中黑色部分对应的像素设置为灰色,得到最终的镂空标识Ih。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610367247.6A CN106056604B (zh) | 2016-05-27 | 2016-05-27 | 一种增强现实标识的自动镂空方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610367247.6A CN106056604B (zh) | 2016-05-27 | 2016-05-27 | 一种增强现实标识的自动镂空方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106056604A CN106056604A (zh) | 2016-10-26 |
CN106056604B true CN106056604B (zh) | 2018-08-24 |
Family
ID=57175786
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610367247.6A Active CN106056604B (zh) | 2016-05-27 | 2016-05-27 | 一种增强现实标识的自动镂空方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106056604B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107977947B (zh) * | 2017-12-22 | 2019-12-24 | 维沃移动通信有限公司 | 一种图像处理方法、移动终端 |
CN109993802B (zh) * | 2019-04-03 | 2020-12-25 | 浙江工业大学 | 一种城市环境中的混合相机标定方法 |
CN112295773B (zh) * | 2020-11-19 | 2022-10-11 | 国网河南省电力公司平顶山供电公司 | 喷涂模板及制作方法以及利用该喷涂模板制作标识的方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006011706A1 (en) * | 2004-07-30 | 2006-02-02 | Industry-University Cooperation Foundation Hanyang University | Vision-based augmented reality system using invisible marker |
CN102122384A (zh) * | 2011-01-25 | 2011-07-13 | 机密科技公司 | 印刷品制版时制作隐藏图案的方法 |
CN102956036A (zh) * | 2011-08-30 | 2013-03-06 | 中国电信股份有限公司 | 图像处理方法和装置 |
CN103295047A (zh) * | 2013-06-25 | 2013-09-11 | 谢婧 | 一种可获取隐藏信息的图像标识及其制作与识读方法 |
CN103473746A (zh) * | 2013-09-16 | 2013-12-25 | 浙江工业大学 | 增强现实中定标板的实时移除方法 |
-
2016
- 2016-05-27 CN CN201610367247.6A patent/CN106056604B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006011706A1 (en) * | 2004-07-30 | 2006-02-02 | Industry-University Cooperation Foundation Hanyang University | Vision-based augmented reality system using invisible marker |
CN102122384A (zh) * | 2011-01-25 | 2011-07-13 | 机密科技公司 | 印刷品制版时制作隐藏图案的方法 |
CN102956036A (zh) * | 2011-08-30 | 2013-03-06 | 中国电信股份有限公司 | 图像处理方法和装置 |
CN103295047A (zh) * | 2013-06-25 | 2013-09-11 | 谢婧 | 一种可获取隐藏信息的图像标识及其制作与识读方法 |
CN103473746A (zh) * | 2013-09-16 | 2013-12-25 | 浙江工业大学 | 增强现实中定标板的实时移除方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106056604A (zh) | 2016-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10861232B2 (en) | Generating a customized three-dimensional mesh from a scanned object | |
EP3614340B1 (en) | Methods and devices for acquiring 3d face, and computer readable storage media | |
CN106507077B (zh) | 基于图像分析的投影仪画面矫正及遮挡避让方法 | |
JP7386153B2 (ja) | 照明をシミュレートするレンダリング方法及び端末 | |
TWI455062B (zh) | 三維視訊內容產生方法 | |
CN107292965B (zh) | 一种基于深度图像数据流的虚实遮挡处理方法 | |
US11839820B2 (en) | Method and apparatus for generating game character model, processor, and terminal | |
US9916676B2 (en) | 3D model rendering method and apparatus and terminal device | |
CN106056604B (zh) | 一种增强现实标识的自动镂空方法 | |
CN103544685B (zh) | 一种基于主体调整的图像构图美化方法及*** | |
EP3680853A1 (en) | Image processing method and device, electronic device, and computer-readable storage medium | |
KR101829733B1 (ko) | 2차원 이미지를 3차원 그래픽 모델로 변환하는 방법 | |
US8917317B1 (en) | System and method for camera calibration | |
KR100967838B1 (ko) | 항공 라이다 정보와 디지털 항공 사진 정보를 이용하여 3차원 지리 정보를 생성하는 방법 및 그 시스템 | |
CN110544300B (zh) | 一种基于二维手绘图像特征自动生成三维模型的方法 | |
US11328399B2 (en) | Method and apparatus, and storage medium for processing style image | |
CN108550169B (zh) | 三维空间中象棋棋子位置的确定及其高度的计算方法 | |
JP3467725B2 (ja) | 画像の影除去方法、画像処理装置及び記録媒体 | |
CN111199159A (zh) | 基于增强现实的文字翻译及显示方法、装置和电子设备 | |
KR101021013B1 (ko) | 경계강화필터링과 표고정보를 이용하여 3차원 지리정보를 생성하는 시스템 | |
CN111447428A (zh) | 平面至立体图像的转换方法、装置、计算机可读存储介质及设备 | |
CN110232664A (zh) | 一种基于增强现实的傩面具修复方法 | |
CN106023196B (zh) | 一种基于目标人物的非单色背景抠像方法 | |
KR20200081743A (ko) | 2d 일러스트 형식이 적용된 3d 오브젝트의 표면 처리 시스템 및 방법 | |
CN111640055B (zh) | 一种二维人脸图片变形方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |