CN111161423A - 一种基于mr的说明书实现***及实现方法 - Google Patents

Abstract

本发明公开了一种基于MR的说明书实现***及实现方法，属于混合现实应用领域，要解决的技术问题为如何基于MR技术实现说明书的展示。***包括：扫描模块，用于采集环境地面；环境识别模块，用于基于平面扫描技术识别优化环境地面；3D模型构建模块，用于基于说明书中涉及的产品整体外形、产品颜色、产品材质、内部构造、零件组成提取配置信息，并通过3D模型制作工具结合美术资源实现MR所需的3D实体模型、动作和特效；虚实结合模块，用于得到实例化3D实体模型；交互模块，用于以展示界面的形式与用户交互，通过展示界面选择产品并展示对应的实例化3D实体模型。所述实现方法包括通过上述***对说明书进行实例化展示。

Description

一种基于MR的说明书实现***及实现方法

技术领域

本发明涉及混合现实应用领域，具体地说是一种基于MR的说明书实现***及实现方法。

背景技术

目前市面上的说明书，繁琐并且难懂，多数人都需要不断的翻阅查找，并且有的地方晦涩难懂，方便性非常差。

目前通常采用AR技术进行说明书展示，但是AR技术目前主要在ar沙盘、ar游戏等一些内容较为简单且交互不复杂的方面使用，其优点是简单小巧，缺点是具有一定的依赖性，需要借助特定的识别物才可以做到增强效果，方便性略有不足。

如何基于MR技术实现说明书的展示，是需要解决的技术问题。

发明内容

本发明的技术任务是针对以上不足，提供一种基于MR的说明书实现***及实现方法，来解决如何基于MR技术实现说明书的展示的问题。

第一方面，本发明提供一种基于MR的说明书实现***，用于对动力运输工具的说明书进行MR展示，所述动力运输工具包括但不限于汽车、火车、飞机，所述实现***包括：

扫描模块，用于采集环境地面；

环境识别模块，用于获取环境地面，并基于平面扫描技术识别优化环境地面，得到平整的环境地面；

3D模型构建模块，用于基于说明书中涉及的产品整体外形、产品颜色、产品材质、内部构造、零件组成提取配置信息，并通过3D模型制作工具结合美术资源实现MR所需的3D实体模型、文字、图片、视频、音频、动作和特效；

虚实结合模块，用于将3D实体模型叠加至平整的环境地面上，得到实例化3D实体模型；

交互模块，用于以展示界面的形式与用户交互，通过展示界面选择产品并展示对应的实例化3D实体模型，所述展示界面中配置有多个交互按钮，在实例化3D实体模型中通过相关交互按钮触发说明书中涉及的产品整体外形、产品颜色、产品材质、内部构造、零件组成的实例展示，所述实例展示形式包括但不限于文字展示、图片展示、视频展示、特效展示和动作展示。

作为优选，所述环境识别模块基于SDK平面扫描技术识别并优化环境地面。

作为优选，所述3D模型构建模块为具有如下功能的子模块：

产品整体外形构建子模块，用于根据说明书中涉及的每款产品的整体外形提取外形配置信息；

产品颜色构建子模块，用于根据说明书中涉及的每款产品的颜色提取颜色配置信息，所述颜色配置信息包括但不限于产品本体颜色信息以及每个零件颜色信息；

产品材质构建子模块，用于根据说明书中涉及的每款产品的材质提取材质信息，所述材质信息包括但不限于产品本体材质以及每个零件材质信息；

内部构造构建子模块，用于根据说明书中涉及的每款产品的内部构造提取内部构造信息；

零件构建子模块，用于根据说明书涉及的每款产品对应的零件提取零件信息；

动作构建模块，用于根据产品展示过程中每个零件的动作信息，对于汽车，所述动作信息包括但不限于汽车门开启关闭、雨刷器刷动，对于轮船，所述动作信息包括但不限于船门开启关闭，对于飞机，所述动作信息包括但不限于风机门开启关闭；

特效构建子模块，用于根据说明书中涉及的每款产品对应的功能特效提取特效信息，对于汽车所述特效信息包括但不限于车灯亮起效果、喇叭响起效果、仪表盘图表对应车辆状态效果、汽车内液晶屏展示效果、车门玻璃升降效果、车锁状态效果；

实例化子模块，用于结合上述外形配置信息、颜色配置信息、材质信息、内部构造信息、零件信息以及动作信息构造3D实体化模型，并形成文字、图片、视频、特效和动作。

作为优选，所述交互按钮为立体按钮或3D实体模型。

第二方面，本发明提供一种基于MR的汽车说明书实现方法，通过如第一方面任一项所述的一种基于MR的汽车说明书实现***对说明书进行实例化展示，所述实现方法包括如下步骤：

基于说明书中涉及的产品整体外形、产品颜色、产品材质、内部构造、零件组成提取配置信息，并通过3D模型制作工具结合美术资源实现MR所需的3D实体模型、文字、图片、视频、音频、动作和特效；

扫描环境地面，并基于平面扫描技术识别优化环境地面，得到平整的环境地面；

将选择产品对应的3D实体模型叠加至平整的环境地面上，得到实例化3D实体模型；

通过展示界面展示所述实例化3D实体模型，并在实例化3D实体模型中通过相关交互按钮触发说明书中涉及的产品整体外形、产品颜色、产品材质、内部构造、零件组成的实例展示，实例展示形式包括但不限于文字展示、图片展示、视频展示、特效展示和动作展示。

作为优选，基于SDK平面扫描技术识别并优化环境地面。

作为优选，基于说明书中涉及的产品整体外形、产品颜色、产品材质、内部构造、零件组成提取配置信息，并通过3D模型制作工具结合美术资源实现MR所需的3D实体模型、动作和特效，包括如下步骤：

根据说明书中涉及的每款产品的整体外形提取外形配置信息；

根据说明书中涉及的每款产品的颜色提取颜色配置信息，所述颜色配置信息包括但不限于产品本体颜色信息以及每个零件颜色信息；

根据说明书中涉及的每款产品的材质提取材质信息，所述材质信息包括但不限于产品本体材质以及每个零件材质信息；

根据说明书中涉及的每款产品的内部构造提取内部构造信息；

根据说明书涉及的每款产品对应的零件提取零件信息；

根据产品展示过程中每个零件的动作信息，对于汽车，所述动作信息包括但不限于汽车门开启关闭、雨刷器刷动，对于轮船，所述动作信息包括但不限于船门开启关闭，对于飞机，所述动作信息包括但不限于风机门开启关闭；

根据说明书中涉及的每款产品对应的功能特效提取特效信息，对于汽车所述特效信息包括但不限于车灯亮起效果、喇叭响起效果、仪表盘图表对应车辆状态效果、汽车内液晶屏展示效果、车门玻璃升降效果、车锁状态效果；

结合上述外形配置信息、颜色配置信息、材质信息、内部构造信息、零件信息以及动作信息构造3D实体化模型，并形成文字、图片、视频、特效和动作。

作为优选，所述交互按钮为立体按钮或3D实体模型。

本发明的一种基于MR的说明书实现***及实现方法具有以下优点：

1、通过MR技术实现说明书的实例化展示，便于使用者立体直观的了解产品构造和配置信息；

2、扫描环境平面即可识别得到实例化3D实体模型，操作简单，对外部环境要求低，减少了对环境的依赖性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

下面结合附图对本发明进一步说明。

附图1为实施例2一种基于MR的汽车说明书实现方法的流程框图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互结合。

本发明实施例中的属于“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B这三种情况。另外，本文中字符“/”一般表示前后关联对象是一种“或”关系。

本发明实施例提供一种基于MR的说明书实现***及实现方法，用于解决如何基于MR技术实现说明书的展示的技术问题。

实施例1：

本发明的一种基于MR的说明书实现***，用于对动力运输工具的说明书进行MR展示，动力运输工具包括但不限于汽车、火车、飞机等。该实现***包括扫描模块、环境识别模块、虚实结合模块和交互模块，环境识别模块用于获取环境地面，并基于平面扫描技术识别优化环境地面，得到平整的环境地面；3D模型构建模块，用于基于说明书中涉及的产品整体外形、产品颜色、产品材质、内部构造、零件组成提取配置信息，并通过3D模型制作工具结合美术资源实现MR所需的3D实体模型、文字、图片、视频、音频、动作和特效；虚实结合模块用于将3D实体模型叠加至平整的环境地面上，得到实例化3D实体模型；交互模块用于以展示界面的形式与用户交互，通过展示界面选择产品并展示对应的实例化3D实体模型，所述展示界面中配置有多个交互按钮，在实例化3D实体模型中通过相关交互按钮触发说明书中涉及的产品整体外形、产品颜色、产品材质、内部构造、零件组成的实例展示，所述实例展示形式包括但不限于文字展示、图片展示、视频展示、特效展示和动作展示。

上述***可基于手机终端和远程服务器实现，扫描模块选用手机摄像头，环境识别模块、3D模型构建模块、虚实结合模块以及交互模块封装为一个软件***，该软件***安装在手机终端上，环境识别模块可调用摄像头读取环境地面，虚实结合模块可调用环境识别模块和3D模型构建模块以将3D实体模型和平整的环境地面叠加得到实例化3D实体模型，交互模块可调用虚实结合模块以展示实例化3D实体模型。

其中，扫描模块选用摄像头，为便于扩展视野，可选用广角高清摄像头。

环境识别模块基于SDK搭建的软件功能模块，采用的谷歌Arcore+Unity引擎方案实现，借助unity引擎开发，接入Arcore平面识别SDK，并基于平面扫描技术对环境底面进行识别和优化，得到平整的环境地面，其算法采用现有的环境识别算法，针对具体环境要求调整部分参数。

3D模型构建模块为搭建的软件功能模块，该功能模块基于说明书中涉及的产品整体外形、产品颜色、产品材质、内部构造、零件组成提取配置信息，并通过接口外接现有的3D模型制作工具，通过3D模型制作工具结合美术资源实现MR所需的3D实体模型、文字、图片、视频、音频、动作和特效。

3D模型构建模块包括如下子模块产品整体外形构建子模块、产品颜色构建子模块、产品材质构建子模块、内部构造构建子模块、零件构建子模块、动作构建模块、特效构建子模块和实例化子模块,产品整体外形构建子模块用于根据说明书中涉及的每款产品的整体外形提取外形配置信息；产品颜色构建子模块，用于根据说明书中涉及的每款产品的颜色提取颜色配置信息，所述颜色配置信息包括但不限于产品本体颜色信息以及每个零件颜色信息；产品材质构建子模块，用于根据说明书中涉及的每款产品的材质提取材质信息，所述材质信息包括但不限于产品本体材质以及每个零件材质信息；内部构造构建子模块，用于根据说明书中涉及的每款产品的内部构造提取内部构造信息；零件构建子模块，用于根据说明书涉及的每款产品对应的零件提取零件信息；动作构建模块，用于根据产品展示过程中每个零件的动作信息，对于汽车，所述动作信息包括但不限于汽车门开启关闭、雨刷器刷动，对于轮船，所述动作信息包括但不限于船门开启关闭，对于飞机，所述动作信息包括但不限于风机门开启关闭；特效构建子模块，用于根据说明书中涉及的每款产品对应的功能特效提取特效信息，对于汽车所述特效信息包括但不限于车灯亮起效果、喇叭响起效果、仪表盘图表对应车辆状态效果、汽车内液晶屏展示效果、车门玻璃升降效果、车锁状态效果；实例化子模块用于结合上述外形配置信息、颜色配置信息、材质信息、内部构造信息、零件信息以及动作信息构造3D实体化模型，并形成文字、图片、视频、特效和动作。

本实施例中3D模型构建模块借助3dMax制作和烘焙制作得到3D实体化模型。

虚实结合模块在Arcore平面识别基础上，将3D实体模型实例化到虚拟场景，设置模型渲染层级为最高，渲染在真实场景之前。

交互模块借助Unity自带的UGUI，在通过代码控制UGUI。本实施例中交互按钮为立体按钮。在实际应用中可选用3D实体模型。

本申请的一种基于MR的说明书实现***可将产品实例化环境地面上，对说明说中涉及的信息进行实例化展示。以汽车说明书为例，使用方法为：

(1)前期阶段，根据说明书中涉及的汽车整体外形、颜色、材质、内部构造、零件组成提取配置信息，并通过3D模型制作工具结合美术资源实现MR所需的3D实体模型、动作和特效；

(2)使用阶段，扫描环境地面优化得到平整的环境地面后，在展示界面上选择车型得到实例化3D实体模型，通过3D实例化实体模型可直观观看汽车的外形、颜色等信息，并可通过相关交互按钮查看汽车内部构建、零件信息。

在(2)使用阶段说明书的展示包括：

触发车门上的交互按钮，展示车门开启车门开启动画，并进入车内部展示；

触发车内结构以及零件的交互按钮，展示相关信息，例如，触发汽车汽车前排车门、仪表盘、多媒体功能按键、方向盘按键、档位、扶手箱以及后排车门等地方的交互提示，点击相应交互，出现该位置交互按钮对应的配置信息，并以文字、图片、音频、视频的展示方式介绍；

触发汽车上部分交互按钮，进行动作或特效展示，例如触发方向盘拉拔交互按钮，车辆喇叭响起，触发雨刷器交互按钮，雨刷器动作，触发车灯交互按钮，车灯亮起，触发仪表盘图标交互按钮，仪表盘图标对应的车辆状态以特效的形式展示，触发多媒体交互按钮，液晶屏展示，触发车门玻璃交互按钮，车门玻璃升降，触发车锁交互按钮，通过特效展示车门闭锁打不开。

其中，上述文字、图片、音频、视频以及动画等预先根据说明书涉及的内容进行制作，并与每个款型的产品适配，以便于用户查看相关车型时，可及时通过展示界面展示。

实施例2：

本发明的一种基于MR的汽车说明书实现方法，通过实施例1公开的一种基于MR的汽车说明书实现***对说明书进行实例化展示。

该实现方法包括如下步骤：

S100、基于说明书中涉及的产品整体外形、产品颜色、产品材质、内部构造、零件组成提取配置信息，并通过3D模型制作工具结合美术资源实现MR所需的3D实体模型、文字、图片、视频、音频、动作和特效；

S200、扫描环境地面，并基于平面扫描技术识别优化环境地面，得到平整的环境地面；

S300、将选择产品对应的3D实体模型叠加至平整的环境地面上，得到实例化3D实体模型；

S400、通过展示界面展示所述实例化3D实体模型，并在实例化3D实体模型中通过相关交互按钮触发说明书中涉及的产品整体外形、产品颜色、产品材质、内部构造、零件组成的实例展示，实例展示形式包括但不限于文字展示、图片展示、视频展示、特效展示和动作展示。

步骤S100中基于说明书中涉及的产品整体外形、产品颜色、产品材质、内部构造、零件组成提取配置信息，并通过3D模型制作工具结合美术资源实现MR所需的3D实体模型、动作和特效，包括如下工序：

S110、根据说明书中涉及的每款产品的整体外形提取外形配置信息；

根据说明书中涉及的每款产品的颜色提取颜色配置信息，所述颜色配置信息包括但不限于产品本体颜色信息以及每个零件颜色信息；

根据说明书中涉及的每款产品的材质提取材质信息，所述材质信息包括但不限于产品本体材质以及每个零件材质信息；

根据说明书中涉及的每款产品的内部构造提取内部构造信息；

根据说明书涉及的每款产品对应的零件提取零件信息；

根据产品展示过程中每个零件的动作信息，对于汽车，所述动作信息包括但不限于汽车门开启关闭、雨刷器刷动，对于轮船，所述动作信息包括但不限于船门开启关闭，对于飞机，所述动作信息包括但不限于风机门开启关闭；

根据说明书中涉及的每款产品对应的功能特效提取特效信息，对于汽车所述特效信息包括但不限于车灯亮起效果、喇叭响起效果、仪表盘图表对应车辆状态效果、汽车内液晶屏展示效果、车门玻璃升降效果、车锁状态效果；

S120、结合上述外形配置信息、颜色配置信息、材质信息、内部构造信息、零件信息以及动作信息构造3D实体化模型，并形成文字、图片、视频、特效和动作。

上述交互按钮为立体按钮或3D实体模型。

步骤S200中基于SDK平面扫描技术识别并优化环境地面。

步骤S400中，展示界面进行展示包括：

触发车门上的交互按钮，展示车门开启车门开启动画，并进入车内部展示；

触发车内结构以及零件的交互按钮，展示相关信息，例如，触发汽车汽车前排车门、仪表盘、多媒体功能按键、方向盘按键、档位、扶手箱以及后排车门等地方的交互提示，点击相应交互，出现该位置交互按钮对应的配置信息，并以文字、图片、音频、视频的展示方式介绍；

触发汽车上部分交互按钮，进行动作或特效展示，例如触发方向盘拉拔交互按钮，车辆喇叭想起，触发雨刷器交互按钮，雨刷器动作，触发车灯交互按钮，车灯亮起，触发仪表盘图标交互按钮，仪表盘图标对应的车辆状态以特效的形式展示，触发多媒体交互按钮，液晶屏展示，触发车门玻璃交互按钮，车门玻璃升降，触发车锁交互按钮，通过特效展示车门闭锁打不开。

以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (8)

1.一种基于MR的说明书实现***，其特征在于用于对动力运输工具的说明书进行MR展示，所述动力运输工具包括但不限于汽车、火车、飞机，所述实现***包括：

扫描模块，用于采集环境地面；

环境识别模块，用于获取环境地面，并基于平面扫描技术识别优化环境地面，得到平整的环境地面；

3D模型构建模块，用于基于说明书中涉及的产品整体外形、产品颜色、产品材质、内部构造、零件组成提取配置信息，并通过3D模型制作工具结合美术资源实现MR所需的3D实体模型、文字、图片、视频、音频、动作和特效；

虚实结合模块，用于将3D实体模型叠加至平整的环境地面上，得到实例化3D实体模型；

交互模块，用于以展示界面的形式与用户交互，通过展示界面选择产品并展示对应的实例化3D实体模型，所述展示界面中配置有多个交互按钮，在实例化3D实体模型中通过相关交互按钮触发说明书中涉及的产品整体外形、产品颜色、产品材质、内部构造、零件组成的实例展示，所述实例展示形式包括但不限于文字展示、图片展示、视频展示、特效展示和动作展示。

2.根据权利要求1所述的一种基于MR的说明书实现***，其特征在于所述环境识别模块基于SDK平面扫描技术识别并优化环境地面。

3.根据权利要求1所述的一种基于MR的说明书实现***，其特征在于所述3D模型构建模块为具有如下功能的子模块：

产品整体外形构建子模块，用于根据说明书中涉及的每款产品的整体外形提取外形配置信息；

产品颜色构建子模块，用于根据说明书中涉及的每款产品的颜色提取颜色配置信息，所述颜色配置信息包括但不限于产品本体颜色信息以及每个零件颜色信息；

产品材质构建子模块，用于根据说明书中涉及的每款产品的材质提取材质信息，所述材质信息包括但不限于产品本体材质以及每个零件材质信息；

内部构造构建子模块，用于根据说明书中涉及的每款产品的内部构造提取内部构造信息；

零件构建子模块，用于根据说明书涉及的每款产品对应的零件提取零件信息；

动作构建模块，用于根据产品展示过程中每个零件的动作信息，对于汽车，所述动作信息包括但不限于汽车门开启关闭、雨刷器刷动，对于轮船，所述动作信息包括但不限于船门开启关闭，对于飞机，所述动作信息包括但不限于风机门开启关闭；

特效构建子模块，用于根据说明书中涉及的每款产品对应的功能特效提取特效信息，对于汽车所述特效信息包括但不限于车灯亮起效果、喇叭响起效果、仪表盘图表对应车辆状态效果、汽车内液晶屏展示效果、车门玻璃升降效果、车锁状态效果；

实例化子模块，用于结合上述外形配置信息、颜色配置信息、材质信息、内部构造信息、零件信息以及动作信息构造3D实体化模型，并形成文字、图片、视频、特效和动作。

4.根据权利要求1、2或3所述的一种基于MR的说明书实现***，其特征在于所述交互按钮为立体按钮或3D实体模型。

5.一种基于MR的说明书实现方法，其特征在于通过如权利要求1-4任一项所述的一种基于MR的说明书实现***对说明书进行实例化展示，所述实现方法包括如下步骤：

基于说明书中涉及的产品整体外形、产品颜色、产品材质、内部构造、零件组成提取配置信息，并通过3D模型制作工具结合美术资源实现MR所需的3D实体模型、文字、图片、视频、音频、动作和特效；

扫描环境地面，并基于平面扫描技术识别优化环境地面，得到平整的环境地面；

将选择产品对应的3D实体模型叠加至平整的环境地面上，得到实例化3D实体模型；

通过展示界面展示所述实例化3D实体模型，并在实例化3D实体模型中通过相关交互按钮触发说明书中涉及的产品整体外形、产品颜色、产品材质、内部构造、零件组成的实例展示，实例展示形式包括但不限于文字展示、图片展示、视频展示、特效展示和动作展示。

6.根据权利要求5所述的一种基于MR的汽车说明书实现方法，其特征在于基于SDK平面扫描技术识别并优化环境地面。

7.根据权利要求5所述的一种基于MR的汽车说明书实现方法，其特征在于基于说明书中涉及的产品整体外形、产品颜色、产品材质、内部构造、零件组成提取配置信息，并通过3D模型制作工具结合美术资源实现MR所需的3D实体模型、动作和特效，包括如下步骤：

根据说明书中涉及的每款产品的整体外形提取外形配置信息；

根据说明书中涉及的每款产品的颜色提取颜色配置信息，所述颜色配置信息包括但不限于产品本体颜色信息以及每个零件颜色信息；

根据说明书中涉及的每款产品的材质提取材质信息，所述材质信息包括但不限于产品本体材质以及每个零件材质信息；

根据说明书中涉及的每款产品的内部构造提取内部构造信息；

根据说明书涉及的每款产品对应的零件提取零件信息；

根据产品展示过程中每个零件的动作信息，对于汽车，所述动作信息包括但不限于汽车门开启关闭、雨刷器刷动，对于轮船，所述动作信息包括但不限于船门开启关闭，对于飞机，所述动作信息包括但不限于风机门开启关闭；

根据说明书中涉及的每款产品对应的功能特效提取特效信息，对于汽车所述特效信息包括但不限于车灯亮起效果、喇叭响起效果、仪表盘图表对应车辆状态效果、汽车内液晶屏展示效果、车门玻璃升降效果、车锁状态效果；

结合上述外形配置信息、颜色配置信息、材质信息、内部构造信息、零件信息以及动作信息构造3D实体化模型，并形成文字、图片、视频、特效和动作。

8.根据权利要求5所述的一种基于MR的汽车说明书实现方法，其特征在于所述交互按钮为立体按钮或3D实体模型。

Images