CN107870673A - 基于ar技术的说明书实现方法 - Google Patents
基于ar技术的说明书实现方法 Download PDFInfo
- Publication number
- CN107870673A CN107870673A CN201711213636.4A CN201711213636A CN107870673A CN 107870673 A CN107870673 A CN 107870673A CN 201711213636 A CN201711213636 A CN 201711213636A CN 107870673 A CN107870673 A CN 107870673A
- Authority
- CN
- China
- Prior art keywords
- picture
- characteristic point
- product
- implementation method
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种基于AR技术的说明书实现方法,步骤一:将产品说明书中的产品整体外形、内部构造、零件组成信息提取出来制作为模型、动作、特效;步骤二:使用综合性3D开发引擎将资源进行软件开发;步骤三:使用虚拟现实软件开发工具包编程制作AR展示软件;步骤四:将该AR展示软件应用于上述产品说明书,图片通过扫描后出现AR内容展示。本发明通过AR技术实现对图片构建立体信息图示***,通过AR技术实现动态展示说明书中产品,并且可以进行零件的拆卸,组装示意,展示不同部件之间的相互结合关系,填补了信息化产品说明书领域的空白,使得生产方可以将产品的特性、结构和优点更为直观的展示给用户,用户也能通过该技术了解复杂产品的组装过程、功能产品的各项功能,提前了解产品的细节特性。
Description
【技术领域】
本发明涉及AR技术领域,所谓AR是指增强现实技术,尤其涉及基于AR技术上应用于各类产品说明书立体展示产品实现方法。
【背景技术】
AR(Augmented Reality)技术是指增强现实技术,具体来说是指利用计算机生成一种逼真的视、听、触和动等感觉的虚拟环境。AR可以算是VR(Virtual Reality)虚拟现实中的一个分支,不过略微不同的是VR的创造一个全新的虚拟世界,而AR则是强调虚实结合。
产品说明书是用户接触产品的第一个途径,传统纸质说明书信息平面化,有些内容简单,但是提供的信息语焉不详,消费者获取信息不足;有些内容冗长而生涩难懂,往往使得用户即使翻阅完产品说明书,无法快速获得有效实用的信息,迅速掌握说明书中实质内容,也无法正确正常的使用或者组装/安装该产品。
【发明内容】
本发明针对以上情况提出了基于AR技术的说明书实现方法,构建立体信息图示***,通过AR技术来实现动态展示说明书中产品,填补了信息化产品说明书领域的空白,使得生产方可以将产品的特性、结构和优点更为直观的展示给用户,用户也能通过该技术了解复杂产品的组装过程、多功能产品的各项功能,提前了解产品的细节特性。
基于AR技术的说明书实现方法,包括以下步骤:
步骤一:将产品说明书中所涉及的产品整体外形、内部构造、零件组成信息提取并整理出来,使用3D模型制作软件制作对应美术资源实现AR所需模型、动作、特效;此处的3D模型制作软件是指Max3D、Maya、C4D、ZBrush等软件。
步骤二:使用比如Unity 3D、UE4、Cocos2d等综合性3D开发引擎将资源进行软件开发;
步骤三:使用虚拟现实软件开发工具包编程制作AR展示软件;该处的虚拟现实软件开发工具包包括但不限于Vuforia、ARKit、EeayAR等工具。
步骤四:将该AR展示软件应用于上述产品说明书,需要AR展示软件打开摄像头,并通过摄像头扫描该产品说明书中已经编辑处理过的图片,图片通过扫描后出现AR内容展示。
在步骤四中,打开摄像头,将待扫描的图片拍摄好,作为手机扫描图片,用高通增强现实技术软件开发包对图像流先进行灰度处理,并通过计算机视觉算法(CV算法)得到一组特征点A。
通过计算机视觉算法得到的一组特征点A,需要和预制好的特征点B进行对比并匹配。
该对比并匹配过程是通过特征点对撞匹配,得知特征点A和B的相似度,当特征点A和B的相似度达到80%以上时,表示手机扫描图片和存储待识别图片匹配成功。
在摄像头位置移动过程中,用高通增强现实技术软件开发包对特征点新旧位置进行矩阵运算,得到偏移量和斜率,从而不断随着摄像头位置和角度来改变模型的显示出来的状态。
预制好的特征点B的生成和获取通过高通软件完成,高通软件支持本地图片识别和云图片识别。
该本地图片识别:将待对比图置于软件资源库中,待启动时用同样的计算机视觉算法(CV算法)动态生成特征点B的信息以供对比;
该云图片识别:事先将图片传到后台,后台使用同样的计算机视觉算法(CV算法)生成特征点B并打包生成配置文件,开发者将打包好的文件导入软件资源库中,软件启动的时候读取配置文件即可获得特征点以供对比。
基于特征点的图片匹配修正逻辑,其中图片匹配原则按照精度划分为:低精度匹配、鲁棒精度匹配、高精度匹配。
其中低精度匹配是指:要求扫描图中待匹配特征点匹配成功个数达到某个百分比阈值后,才返回匹配成功的结果;
鲁棒精度匹配是指:扫描图中待匹配特征点匹配成功个数大于低精度阈值,并且允许存在一定比例冗余特征点,返回匹配成功的结果;
高精度匹配是指:扫描图中所有待匹配特征点全部匹配成功,才返回匹配成功的结果。
本发明通过AR技术实现对图片构建立体信息图示***,通过AR技术实现动态展示说明书中产品,并且可以进行零件的拆卸,组装示意,展示不同部件之间的相互结合关系,填补了信息化产品说明书领域的空白,使得生产方可以将产品的特性、结构和优点更为直观的展示给用户,用户也能通过该技术了解复杂产品的组装过程、多功能产品的各项功能,提前了解产品的细节特性。
【附图说明】
图1是本发明所述基于AR技术的说明书实现方法的流程框图;
图2是本发明所涉及的实现方法中的对比匹配示意图。
【具体实施方式】
下面将结合本发明附图和具体实施方式对本发明基于AR技术的说明书实现方法进行进一步的详细说明。
其中先大致说明下本方法会使用到一些软件平台和工具等:
高通软件Vuforia是一个能让应用拥有视觉的软件平台。开发者借助它可以很轻松地为任何应用添加先进计算机视觉功能,允许你识别图片和物体,或者在真实世界中重建环境内容;vuforia AR SDK(高通增强现实技术软件开发包)可以在3D软件开发IDE(集成开发工具)如Unity3D(统合三维引擎)、UnReal(虚幻引擎)中应用已上传的图片、物体生成对应的三维场景物体。
基于AR技术的说明书实现方法,包括以下步骤:
步骤一:将产品说明书中所涉及的产品整体外形、内部构造、零件组成信息提取并整理出来,使用3D模型制作软件制作对应美术资源实现AR所需模型、动作、特效;此处的3D模型制作软件是指Max3D、Maya、C4D、ZBrush等软件。
步骤二:使用比如Unity 3D、UE4、Cocos2d等综合性3D开发引擎将资源进行软件开发;
步骤三:使用虚拟现实软件开发工具包编程制作AR展示软件;该处的虚拟现实软件开发工具包包括但不限于Vuforia、ARKit、EeayAR等工具。
步骤四:将该AR展示软件应用于上述产品说明书,需要AR展示软件打开摄像头,并通过摄像头扫描该产品说明书中已经编辑处理过的图片,图片通过扫描后出现AR内容展示。
在步骤四中,打开摄像头,将待扫描的图片拍摄好,作为手机扫描图片,用高通增强现实技术软件开发包对图像流先进行灰度处理,并通过计算机视觉算法(CV算法)得到一组特征点A。
通过计算机视觉算法得到的一组特征点A,需要和预制好的特征点B进行对比并匹配。
该对比并匹配过程是通过特征点对撞匹配,得知特征点A和B的相似度,当特征点A和B的相似度达到80%以上时,表示手机扫描图片和存储待识别图片匹配成功。
在摄像头位置移动过程中,用高通增强现实技术软件开发包对特征点新旧位置进行矩阵运算,得到偏移量和斜率,从而不断随着摄像头位置和角度来改变模型的显示出来的状态。
预制好的特征点B的生成和获取通过高通软件完成,高通软件支持本地图片识别和云图片识别。
该本地图片识别:将待对比图置于软件资源库中,待启动时用同样的计算机视觉算法(CV算法)动态生成特征点B的信息以供对比;
该云图片识别:事先将图片传到后台,后台使用同样的计算机视觉算法(CV算法)生成特征点B并打包生成配置文件,开发者将打包好的文件导入软件资源库中,软件启动的时候读取配置文件即可获得特征点以供对比。
基于特征点的图片匹配修正逻辑,其中图片匹配原则按照精度划分为:低精度匹配、鲁棒精度匹配、高精度匹配。
其中低精度匹配是指:要求扫描图中待匹配特征点匹配成功个数达到某个百分比阈值后,才返回匹配成功的结果;
鲁棒精度匹配是指:扫描图中待匹配特征点匹配成功个数大于低精度阈值,并且允许存在一定比例冗余特征点,返回匹配成功的结果;
高精度匹配是指:扫描图中所有待匹配特征点全部匹配成功,才返回匹配成功的结果。
本发明通过AR技术实现对图片构建立体信息图示***,通过AR技术实现动态展示说明书中产品,并且可以进行零件的拆卸,组装示意,展示不同部件之间的相互结合关系,填补了信息化产品说明书领域的空白,使得生产方可以将产品的特性、结构和优点更为直观的展示给用户,用户也能通过该技术了解复杂产品的组装过程、多功能产品的各项功能,提前了解产品的细节特性。
概括来说就是低精度适应性高,鲁棒精度容错率高,高精度准确度高。通俗来说:两张图片基于特征点匹配,最直观的匹配原则就是所有特异点完全一致,这便是高精度;但是在实际应用中,拍摄环境复杂,人们预期偏差等因素,往往使得拍摄到的图片获取的特征点与预制特征点不完全匹配,比如摄像机拍摄时产生的噪点,图片的反光等(参见图2),那么低精度就要求对匹配特征点达到某个百分比阈值后返回匹配成功;然而还有一种情况,就是扫描图片特征点多于待匹配图片特征点,如在原图片上有一个物体覆盖在上面(前提是不挡住原图片的特征点),结合低精度的需求,就有了鲁棒精度,扫描图特征点大于低精度阈值,并且允许存在一定比例冗余特征点。
各场景功能实现
按钮管理器:界面中的按钮功能众多,需要一个集中响应的机制,所以一个按钮管理器十分重要。按钮管理器集成了响应的回调和消息的分发两个流程。当接受到按钮状态改变时,消息会统一由按钮管理器接收,并且根据业务逻辑进行分发。
产品界面管理器:负责产品介绍场景产品元素的载入,播放产品特性及对镜头处理(旋转缩放模型)。完成:进入场景-->播放动画-->显示图标-->控制缩放-->返回扫描界面。并对场景的统一管理。
细节界面管理器:负责产品细节场景元素的转换,对镜头的处理以上所述,仅是本发明较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容做出些许变更或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案内容,依据本发明技术是指对以上实施例所作的任何简单修改、等同变化与修饰,均属于本发明技术方案的范围内。
Claims (9)
1.一种基于AR技术的说明书实现方法,包括以下步骤:
步骤一:将产品说明书中所涉及的产品整体外形、内部构造、零件组成信息提取并整理出来,使用3D模型制作软件制作对应美术资源实现AR所需模型、动作、特效;
步骤二:使用综合性3D开发引擎将资源进行软件开发;
步骤三:使用虚拟现实软件开发工具包编程制作AR展示软件;
步骤四:将该AR展示软件应用于上述产品说明书,需要AR展示软件打开摄像头,并通过摄像头扫描该产品说明书中已经编辑处理过的图片,图片通过扫描后出现AR内容展示。
2.根据权利要求1中所述基于AR技术的说明书实现方法,其特征在于,在步骤四,打开摄像头,将待扫描的图片拍摄好,作为手机扫描图片,用高通增强现实技术软件开发包对图像流先进行灰度处理,并通过计算机视觉算法得到一组特征点A。
3.根据权利要求2中所述基于AR技术的说明书实现方法,其特征在于,通过计算机视觉算法得到的一组特征点A,需要和预制好的特征点B进行对比并匹配。
4.根据权利要求3中所述基于AR技术的说明书实现方法,其特征在于,该对比并匹配过程是通过特征点对撞匹配,得知特征点A和B的相似度,当特征点A和B的相似度达到80%以上时,表示手机扫描图片和存储待识别图片匹配成功。
5.根据权利要求3中所述基于AR技术的说明书实现方法,其特征在于,在摄像头位置移动过程中,用高通增强现实技术软件开发包对特征点新旧位置进行矩阵运算,得到偏移量和斜率,从而不断随着摄像头位置和角度来改变模型的显示出来的状态。
6.根据权利要求3中所述基于AR技术的说明书实现方法,其特征在于,预制好的特征点B的生成和获取通过高通软件完成,高通软件支持本地图片识别和云图片识别。
7.根据权利要求6中所述基于AR技术的说明书实现方法,其特征在于,该本地图片识别:将待对比图置于软件资源库中,待启动时用同样的计算机视觉算法动态生成特征点B的信息以供对比;
该云图片识别:事先将图片传到后台,后台使用同样的计算机视觉算法生成特征点B并打包生成配置文件,开发者将打包好的文件导入软件资源库中,软件启动的时候读取配置文件即可获得特征点以供对比。
8.根据权利要求4中所述基于AR技术的说明书实现方法,其特征在于,基于特征点的图片匹配修正逻辑,其中图片匹配原则按照精度划分为:低精度匹配、鲁棒精度匹配、高精度匹配。
9.根据权利要求4中所述基于AR技术的说明书实现方法,其特征在于,
其中低精度匹配是指:要求扫描图中待匹配特征点匹配成功个数达到某个百分比阈值后,才返回匹配成功的结果;
鲁棒精度匹配是指:扫描图中待匹配特征点匹配成功个数大于低精度阈值,并且允许存在一定比例冗余特征点,返回匹配成功的结果;
高精度匹配是指:扫描图中所有待匹配特征点全部匹配成功,才返回匹配成功的结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711213636.4A CN107870673A (zh) | 2017-11-28 | 2017-11-28 | 基于ar技术的说明书实现方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711213636.4A CN107870673A (zh) | 2017-11-28 | 2017-11-28 | 基于ar技术的说明书实现方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107870673A true CN107870673A (zh) | 2018-04-03 |
Family
ID=61754754
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711213636.4A Pending CN107870673A (zh) | 2017-11-28 | 2017-11-28 | 基于ar技术的说明书实现方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107870673A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111161423A (zh) * | 2019-12-30 | 2020-05-15 | 青岛云鼎科技有限公司 | 一种基于mr的说明书实现***及实现方法 |
CN111274511A (zh) * | 2020-01-16 | 2020-06-12 | 明博教育科技股份有限公司 | 一种书籍资源展示的方法及*** |
CN111598978A (zh) * | 2020-05-08 | 2020-08-28 | 上海实迅网络科技有限公司 | 一种基于ar技术的物品说明书展示***及展示方法 |
CN112153451A (zh) * | 2020-09-01 | 2020-12-29 | 广州汽车集团股份有限公司 | 一种车辆使用说明的展示方法及智能终端 |
CN112734901A (zh) * | 2020-12-01 | 2021-04-30 | 深圳市人工智能与机器人研究院 | 一种3d说明书生成方法及相关设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103077668A (zh) * | 2013-01-05 | 2013-05-01 | 北京农业信息技术研究中心 | 农产品虚拟互动展示***及方法 |
CN103577071A (zh) * | 2012-07-23 | 2014-02-12 | 鸿富锦精密工业(深圳)有限公司 | 产品使用说明书显示***及方法 |
CN105739691A (zh) * | 2016-01-26 | 2016-07-06 | 宋宏 | 一种虚拟体验式电子说明书*** |
CN105956196A (zh) * | 2016-06-15 | 2016-09-21 | 天津市汇源印刷有限公司 | 一种采用虚拟现实增强技术制作说明书的方法 |
CN106023692A (zh) * | 2016-05-13 | 2016-10-12 | 广东博士早教科技有限公司 | 一种基于娱乐交互的ar趣味学习***及方法 |
CN106569671A (zh) * | 2016-11-09 | 2017-04-19 | 唐雪松 | 基于ar技术的消费品使用说明信息显示方法及装置 |
CN106776732A (zh) * | 2016-11-21 | 2017-05-31 | 湖南拓视觉信息技术有限公司 | 虚拟电子说明书的实现方法及装置 |
-
2017
- 2017-11-28 CN CN201711213636.4A patent/CN107870673A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103577071A (zh) * | 2012-07-23 | 2014-02-12 | 鸿富锦精密工业(深圳)有限公司 | 产品使用说明书显示***及方法 |
CN103077668A (zh) * | 2013-01-05 | 2013-05-01 | 北京农业信息技术研究中心 | 农产品虚拟互动展示***及方法 |
CN105739691A (zh) * | 2016-01-26 | 2016-07-06 | 宋宏 | 一种虚拟体验式电子说明书*** |
CN106023692A (zh) * | 2016-05-13 | 2016-10-12 | 广东博士早教科技有限公司 | 一种基于娱乐交互的ar趣味学习***及方法 |
CN105956196A (zh) * | 2016-06-15 | 2016-09-21 | 天津市汇源印刷有限公司 | 一种采用虚拟现实增强技术制作说明书的方法 |
CN106569671A (zh) * | 2016-11-09 | 2017-04-19 | 唐雪松 | 基于ar技术的消费品使用说明信息显示方法及装置 |
CN106776732A (zh) * | 2016-11-21 | 2017-05-31 | 湖南拓视觉信息技术有限公司 | 虚拟电子说明书的实现方法及装置 |
Non-Patent Citations (1)
Title |
---|
李文霞等: "数码印刷机虚拟演示***的设计与制作", 《包装工程》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111161423A (zh) * | 2019-12-30 | 2020-05-15 | 青岛云鼎科技有限公司 | 一种基于mr的说明书实现***及实现方法 |
CN111274511A (zh) * | 2020-01-16 | 2020-06-12 | 明博教育科技股份有限公司 | 一种书籍资源展示的方法及*** |
CN111598978A (zh) * | 2020-05-08 | 2020-08-28 | 上海实迅网络科技有限公司 | 一种基于ar技术的物品说明书展示***及展示方法 |
CN111598978B (zh) * | 2020-05-08 | 2023-09-26 | 上海实迅网络科技有限公司 | 一种基于ar技术的物品说明书展示***及展示方法 |
CN112153451A (zh) * | 2020-09-01 | 2020-12-29 | 广州汽车集团股份有限公司 | 一种车辆使用说明的展示方法及智能终端 |
CN112734901A (zh) * | 2020-12-01 | 2021-04-30 | 深圳市人工智能与机器人研究院 | 一种3d说明书生成方法及相关设备 |
CN112734901B (zh) * | 2020-12-01 | 2023-08-18 | 深圳市人工智能与机器人研究院 | 一种3d说明书生成方法及相关设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107870673A (zh) | 基于ar技术的说明书实现方法 | |
Tewari et al. | State of the art on neural rendering | |
WO2022001593A1 (zh) | 视频生成方法、装置、存储介质及计算机设备 | |
Snavely | Scene reconstruction and visualization from internet photo collections: A survey | |
US9240070B2 (en) | Methods and systems for viewing dynamic high-resolution 3D imagery over a network | |
US11816926B2 (en) | Interactive augmented reality content including facial synthesis | |
Li et al. | [Retracted] Multivisual Animation Character 3D Model Design Method Based on VR Technology | |
CN113766296B (zh) | 直播画面的展示方法和装置 | |
KR20230162987A (ko) | 서드 파티 애플리케이션들을 위한 증강 현실 콘텐츠에서의 얼굴 합성 | |
CN109345637A (zh) | 基于增强现实的互动方法及装置 | |
Yu et al. | Artificial intelligence for Dunhuang cultural heritage protection: the project and the dataset | |
US10074205B2 (en) | Machine creation of program with frame analysis method and apparatus | |
CN104798128A (zh) | 注解方法和装置 | |
Reimat et al. | Cwipc-sxr: Point cloud dynamic human dataset for social xr | |
KR20230162096A (ko) | 얼굴 표정의 선택을 사용한 온라인 커뮤니티를 위한 콘텐츠에서의 얼굴 합성 | |
Vilchis et al. | A survey on the pipeline evolution of facial capture and tracking for digital humans | |
Pesavento et al. | Super-resolution 3D human shape from a single low-resolution image | |
Zhao et al. | Human pose regression through multiview visual fusion | |
CN117115917A (zh) | 基于多模态特征融合的教师行为识别方法、设备以及介质 | |
CN116977547A (zh) | 一种三维人脸重建方法、装置、电子设备和存储介质 | |
Xu | Face reconstruction based on multiscale feature fusion and 3d animation design | |
CN115562480A (zh) | 用于增强现实的方法及装置 | |
Furferi et al. | Enhancing traditional museum fruition: current state and emerging tendencies | |
Liu et al. | A study of digital exhibition visual design led by digital twin and VR technology | |
Lei et al. | [Retracted] Design of 3D Modeling Face Image Library in Multimedia Film and Television |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180403 |