CN106776732A - 虚拟电子说明书的实现方法及装置 - Google Patents

Abstract

本发明实施例提供一种虚拟电子说明书的实现方法及装置。所述方法包括：获取产品的标识，并根据所述标识获取所述产品的视频；获取包含所述产品的部件的图像；对所述图像中的所述产品的部件进行识别，获得所述部件的特征描述符；将所述部件的特征描述符和预存的与所述部件相应的目标描述符进行匹配，获取所述特征描述符与所述目标描述符之间的关联关系；根据所述关联关系将所述部件的视频动画添加至所述视频中，以生成所述产品的虚拟电子说明书。本发明的虚拟电子说明书的实现方法及装置，实现了使用方便、成本低、应用范围广、交互性强、能够提供直观体验且表现形式丰富的虚拟电子说明书，满足复杂工业产品的说明需求和用户需求。

Description

虚拟电子说明书的实现方法及装置

技术领域

本发明涉及计算机视觉技术，尤其涉及一种虚拟电子说明书的实现方法及装置。

背景技术

现有的产品大多都附带有说明书。传统的说明书通常采用纸质的文字性说明文档的形式呈现给用户。

然而，传统的说明书具有以下不足之处：首先，信息形式和功能过于单一，与用户不具有交互性；其次，对于一些结构复杂、零部件多的产品说明书，容易使人很快失去阅读的欲望，并且，用户使用起来极为不便，因此，无法满足复杂工业产品的说明需求以及用户需求；再次，纸质的说明书需要加工、印刷和包装，无形中增加了产品的生产成本。

发明内容

本发明的目的在于，提供一种虚拟电子说明书的实现方法及装置，以实现使用方便、成本低、应用范围广、交互性强、能够提供直观体验且表现形式丰富的虚拟电子说明书，满足复杂工业产品的说明需求和用户需求。

根据本发明的一方面，提供一种虚拟电子说明书的实现方法，所述方法包括：获取产品的标识，并根据所述标识获取所述产品的视频；获取包含所述产品的部件的图像；对所述图像中的所述产品的部件进行识别，获得所述部件的特征描述符；将所述部件的特征描述符和预存的与所述部件相应的目标描述符进行匹配，获取所述特征描述符与所述目标描述符之间的关联关系；根据所述关联关系将所述部件的视频动画添加至所述视频中，以生成所述产品的虚拟电子说明书。

优选地，所述获取产品的标识包括：通过移动终端读取所述产品上的二维码信息，并根据所述二维码信息获得所述产品的标识。

优选地，所述获取包含所述产品的部件的图像包括：通过设置在所述移动终端上的摄像设备获取包含所述产品的部件的图像。

优选地，所述对所述图像中的所述产品的部件进行识别，获得所述部件的特征描述符包括：对所述图像进行特征点检测、特征点描述子生成以及特征点匹配处理，获得所述部件的特征描述符。

优选地，所述方法还包括：制作所述部件的视频动画；

所述制作所述部件的视频动画包括：

通过Kinect传感器获取所述产品的部件的RGB图像数据和深度图像数据；

利用所述RGB图像数据和深度图像数据进行建模，获得所述产品的第一类三维模型数据；

对所述第一类三维模型数据进行渲染分析、文字标注及引线标注处理，获得第二类三维模型数据；

根据所述第二类三维模型数据制作所述部件的视频动画。

根据本发明的另一方面，提供一种虚拟电子说明书的实现装置。所述装置包括：标识及视频获取模块，用于获取产品的标识，并根据所述标识获取所述产品的视频；图像获取模块，用于获取包含所述产品的部件的图像；图像识别模块，用于对所述图像中的所述产品的部件进行识别，获得所述部件的特征描述符；描述符关联模块，用于将所述部件的特征描述符和预存的与所述部件相应的目标描述符进行匹配，获取所述特征描述符与所述目标描述符之间的关联关系；说明书生成模块，用于根据所述关联关系将所述部件的视频动画添加至所述产品的视频中，以生成虚拟电子说明书。

优选地，所述标识及视频获取模块用于通过移动终端读取所述产品上的二维码信息，并根据所述二维码信息获得所述产品的标识。

优选地，所述图像获取模块用于通过设置在所述移动终端上的摄像设备获取包含所述产品的部件的图像。

优选地，所述图像识别模块用于对所述图像进行特征点检测、特征点描述子生成以及特征点匹配处理，获得所述部件的特征描述符。

优选地，所述装置还包括：视频动画制作模块，用于制作所述部件的视频动画；

所述视频动画制作模块包括：

数据获取单元，用于通过Kinect传感器获取所述产品的部件的RGB图像数据和深度图像数据；

第一模型数据获取单元，用于利用所述RGB图像数据和深度图像数据进行建模，获得所述产品的第一类三维模型数据；

第二模型数据获取单元，用于对所述第一类三维模型数据进行渲染分析、文字标注及引线标注处理，获得第二类三维模型数据；

视频动画制作单元，用于根据所述第二类三维模型数据制作所述部件的视频动画。

根据本发明实施例提供的虚拟电子说明书的实现方法及装置，通过获取产品的标识，并根据标识获取产品的视频，进一步获取包含产品的部件的图像，并对图像中的产品的部件进行识别，获得部件的特征描述符，将部件的特征描述符和预存的与部件相应的目标描述符进行匹配，获取特征描述符与目标描述符之间的关联关系，根据关联关系将部件的视频动画添加至视频中，以生成产品的虚拟电子说明书。实现了使用方便、成本低、应用范围广、交互性强、能够提供直观体验且表现形式丰富的虚拟电子说明书，满足复杂工业产品的说明需求和用户需求。

附图说明

图1是示出根据本发明实施例一的虚拟电子说明书的实现方法的流程图；

图2是示出根据本发明实施例二的虚拟电子说明书的实现方法的流程图；

图3是示出根据本发明实施例三的虚拟电子说明书的实现装置的逻辑框图；

图4是示出根据本发明实施例四的虚拟电子说明书的实现装置的逻辑框图。

具体实施方式

下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本发明的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。

本领域技术人员可以理解，本发明中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

实施例一

图1是示出根据本发明实施例一的虚拟电子说明书的实现方法的流程图。可在如图3所示的装置执行所述方法。

参照图1，在步骤S110，获取产品的标识，并根据标识获取产品的视频。

在实际应用中，用户可下载待了解产品的相关介绍的APP软件安装到移动终端如智能手机，使用智能手机扫描产品的二维码信息，获取产品的标识(如商品标签)。获取产品标识后，可依据标识调用相应产品的视频，该视频用于介绍用户所需了解产品的概况。在视频演示的过程中，用户可以随意切换视角，从不同的角度观察产品的零部件和结构。

在步骤S120，获取包含产品的部件的图像。

当用户对产品中某个部件感兴趣，且需要进行详细了解时，用户通过移动终端对某个部件进行拍照，从而获取该部件的图像。具体可通过移动终端的摄像头实现，如，用户触发一拍照指令，指示移动终端通过摄像头对目标部件进行拍照，获取包含产品的部件的图像。

在步骤S130，对图像中的产品的部件进行识别，获得部件的特征描述符。

具体地，对获取到的图像中产品的部件进行特征点检测、特征点描述子生成、特征点匹配一系列处理，获取部件的特征描述符。其中，特征点检测处理可采用FAST、Harris、SIFT、SURF、MSER等特征点检测方法。

在步骤S140，将部件的特征描述符和预存的与部件相应的目标描述符进行匹配，获取特征描述符与目标描述符之间的关联关系。

在步骤S150，根据关联关系将部件的视频动画添加至视频中，以生成产品的虚拟电子说明书。

可见，本步骤的处理也就是对视频的原始内容进行扩增。在具体的实现方式中，根据上述视频中部件的位置调整部件的视频动画(即虚拟信息)的位置，视频动画被渲染进视频流，从而生成产品的虚拟电子说明书。在虚拟电子说明书后续的播放过程中，用户可以对产品的部件进行360°旋转，从多个角度进行全方位观察。其中，前述虚拟信息可以是三维模型动画、音视频素材及说明性文字等。

在实际应用中，扩增内容的处理以及上述提及的视频动画的制作均可采用离线方式。视频动画的制作过程如下：(1)数据采集：运用Kinect传感器获取产品(或部件)的RGB图像和深度图像数据，完成三维数据的输入，为产品建模提供数据源；(2)三维建模：利用获取的产品(或部件)深度数据进行建模，得到产品(或部件)三维模型数据；(3)渲染分析：使用3DMAX软件对产品(或部件)添加纹理，增加模型的立体感与真实感，得到带有纹理信息的、真实感更强的三维模型；(4)文字和引线标注：对产品(或部件)添加其内部零部件对应的数字序号标注、零部件到数字序号的引线、零部件装配导引线等；(5)动画制作：利用动画制作软件(如flash软件)对产品(或部件)的三维模型制作出半透明的三维动画，可清晰看到产品的内部结构及组成。以交互、直观、生动的方式介绍产品功能及组成，辅助用户更加清楚地理解产品(或部件)的运行原理，掌握其使用方法，克服了传统纸质说明书仅能通过文字和图片表达信息、人工翻阅等方面的不足。

以下结合具体的处理示例，来进一步更直观地说明一下本发明实施例的具体应用。

以汽车虚拟电子说明书为例，用户预先下载产品相关介绍的APP软件(其中包含了多种产品的视频介绍)安装到智能手机，当用户需要了解某个品牌的汽车时，用户使用智能手机扫描需要了解汽车的二维码信息，获取产品的标签，通过该标签调取汽车的视频介绍。该视频介绍总体上介绍此品牌汽车的性能。在视频播放过程中用户可以随意切换视角，从不同的角度观察汽车的零部件和结构，使用户更全面地获取信息以及扩充知识，从而达到更深入理解的效果。

如果用户想了解汽车的某个具体部件，例如发动机，则用户使用智能手机现场对发动机进行拍照，获得发动机的照片，对获得的发动机照片进行特征点检测、特征点描述子生成、特征点匹配一系列处理，建立发动机特征描述符，与APP中预先存储的发动机图片标签的特征描述符(APP软件中已经存储了汽车各个部件的视频说明，每个视频都用相应的部件图片作为其标签)进行匹配，以实现两者相互关联；根据发动机位置调整发动机视频动画位置，从而将视频动画渲染进视频流，如发动机半透明式三维动画、操作视频等扩增内容则被叠加到视频的原始内容中。以便于在智能手机的屏幕上进行播放，展示给用户。上述发动机的三维动画包括了此款发动机的品牌、总体构造、基本参数(排量，缸数)、特色等。待发动机视频播放完毕，继续转移到汽车视频介绍，待用户了解完毕后，直接退出APP即可。

本发明实施例提供的虚拟电子说明书的实现方法，通过获取产品的标识，并根据标识获取产品的视频，进一步获取包含产品的部件的图像，并对图像中的产品的部件进行识别，获得部件的特征描述符，将部件的特征描述符和预存的与部件相应的目标描述符进行匹配，获取特征描述符与目标描述符之间的关联关系，根据关联关系将部件的视频动画添加至视频中，以生成产品的虚拟电子说明书。实现了使用方便、成本低、应用范围广、交互性强、能够提供直观体验且表现形式丰富的虚拟电子说明书，满足复杂工业产品的说明需求和用户需求。

实施例二

图2是示出根据本发明实施例二的虚拟电子说明书的实现方法的流程图。可在如图4所示的装置执行所述方法。

参照图2，在步骤S210，通过移动终端读取产品上的二维码信息，并根据二维码信息获得产品的标识，并根据标识获取产品的视频。

本发明实施例可以将移动终端作为执行主体，如智能手机、平板电脑等，且移动终端需具有拍照功能。

当用户对产品中某个部件感兴趣，且需要进行详细了解时，用户通过移动终端对某个部件进行拍照，从而获取该部件的图像。具体可通过移动终端的摄像头实现，如，用户触发一拍照指令，指示移动终端通过摄像头对目标部件进行拍照，获取包含产品的部件的图像。

尤其是当用户不知道或忘记零部件的名称时，通过上述拍照处理可直接获取相关部件的视频展示。

在步骤S220，通过设置在移动终端上的摄像设备获取包含产品的部件的图像。

在步骤S230，对图像进行特征点检测、特征点描述子生成以及特征点匹配处理，获得部件的特征描述符。

其中，特征点检测处理可采用FAST、Harris、SIFT、SURF、MSER等特征点检测方法。

在步骤S240，将部件的特征描述符和预存的与部件相应的目标描述符进行匹配，获取特征描述符与目标描述符之间的关联关系。

在步骤S250，制作部件的视频动画。

在具体的实现方式中，可以通过Kinect传感器获取产品的部件的RGB图像数据和深度图像数据；利用RGB图像数据和深度图像数据进行建模，获得产品的第一类三维模型数据；对第一类三维模型数据进行渲染分析、文字标注及引线标注处理，获得第二类三维模型数据；根据第二类三维模型数据制作部件的视频动画。

在步骤S260，根据关联关系将部件的视频动画添加至视频中，以生成产品的虚拟电子说明书。

其中，上述步骤S260的步骤内容与上述实施例一中步骤S150的步骤内容相同，在此不再赘述。

本发明实施例提供的虚拟电子说明书的实现方法，具有以下技术效果：

一方面，将虚拟现实技术引入产品说明书中，提供了一种虚拟电子说明书，将传统的纸版说明书中的内容以交互、生动的多媒体形式展示给用户，有助于用户对产品的深入了解，具有更强的交互性、实用性和便捷性，极大地提升了用户体验，同时还节约了产品说明书的制作成本；

另一方面，采用具备价格低廉、捕捉精度适中等优势的Kinect数据采集设备，可以同时获取产品的深度图像数据和RGB数据，为建模提供精准度高的数据源，节约了建模成本和建模时间，进一步为视频动画的制作提供数据基础；

再一方面，通过移动终端上的扫描二维码功能和拍照功能，获取感兴趣的部件的视频介绍以及部件图像，避免了纸质说明书中采用目录索引方式获取产品介绍的繁琐过程，进一步提升了便捷性和交互性。

实施例三

基于相同的技术构思，图3是示出根据本发明实施例三的虚拟电子说明书的实现装置的逻辑框图。可用以执行如实施例一所述的虚拟电子说明书的实现方法流程。

参照图3，虚拟电子说明书的实现装置包括标识及视频获取模块310、图像获取模块320、图像识别模块330，描述符关联模块340和说明书生成模块350。

标识及视频获取模块310用于获取产品的标识，并根据标识获取产品的视频。

图像获取模块320用于获取包含产品的部件的图像。

图像识别模块330用于对图像中的产品的部件进行识别，获得部件的特征描述符。

描述符关联模块340用于将部件的特征描述符和预存的与部件相应的目标描述符进行匹配，获取特征描述符与目标描述符之间的关联关系。

说明书生成模块350用于根据关联关系将部件的视频动画添加至产品的视频中，以生成虚拟电子说明书。

本发明实施例提供的虚拟电子说明书的实现方法，通过获取产品的标识，并根据标识获取产品的视频，进一步获取包含产品的部件的图像，并对图像中的产品的部件进行识别，获得部件的特征描述符，将部件的特征描述符和预存的与部件相应的目标描述符进行匹配，获取特征描述符与目标描述符之间的关联关系，根据关联关系将部件的视频动画添加至视频中，以生成产品的虚拟电子说明书。实现了使用方便、成本低、应用范围广、交互性强、能够提供直观体验且表现形式丰富的虚拟电子说明书，满足复杂工业产品的说明需求和用户需求。

实施例四

基于相同的技术构思，图4是示出根据本发明实施例三的虚拟电子说明书的实现装置的逻辑框图。可用以执行如实施例二所述的虚拟电子说明书的实现方法流程。

参照图4，标识及视频获取模块310具体用于通过移动终端读取产品上的二维码信息，并根据二维码信息获得产品的标识。

进一步地，图像获取模块320可用于通过设置在移动终端上的摄像设备获取包含产品的部件的图像。

优选地，图像识别模块330可用于对图像进行特征点检测、特征点描述子生成以及特征点匹配处理，获得部件的特征描述符。

可选地，该虚拟电子说明书的实现装置还包括：视频动画制作模块360用于制作部件的视频动画。

具体地，视频动画制作模块360可包括：

数据获取单元(图中未示出)用于通过Kinect传感器获取产品的部件的RGB图像数据和深度图像数据。

第一模型数据获取单元(图中未示出)用于利用RGB图像数据和深度图像数据进行建模，获得产品的第一类三维模型数据。

第二模型数据获取单元(图中未示出)用于对第一类三维模型数据进行渲染分析、文字标注及引线标注处理，获得第二类三维模型数据。

视频动画制作单元(图中未示出)用于根据第二类三维模型数据制作部件的视频动画。

本发明实施例提供的虚拟电子说明书的实现方法，具有以下技术效果：第一，将虚拟现实技术引入产品说明书中，提供了一种虚拟电子说明书，将传统的纸版说明书中的内容以交互、生动的多媒体形式展示给用户，有助于用户对产品的深入了解，具有更强的交互性、实用性和便捷性，极大地提升了用户体验，同时还节约了产品说明书的制作成本；第二，采用具备价格低廉、捕捉精度适中等优势的Kinect数据采集设备，可以同时获取产品的深度图像数据和RGB数据，为建模提供精准度高的数据源，节约了建模成本和建模时间，进一步为视频动画的制作提供数据基础；第三，通过移动终端上的扫描二维码功能和拍照功能，获取感兴趣的部件的视频介绍以及部件图像，避免了纸质说明书中采用目录索引方式获取产品介绍的繁琐过程，进一步提升了便捷性和交互性。

需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。

上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种虚拟电子说明书的实现方法，其特征在于，所述方法包括：

获取产品的标识，并根据所述标识获取所述产品的视频；

获取包含所述产品的部件的图像；

对所述图像中的所述产品的部件进行识别，获得所述部件的特征描述符；

将所述部件的特征描述符和预存的与所述部件相应的目标描述符进行匹配，获取所述特征描述符与所述目标描述符之间的关联关系；

根据所述关联关系将所述部件的视频动画添加至所述视频中，以生成所述产品的虚拟电子说明书。

2.根据权利要求1所述的方法，其特征在于，所述获取产品的标识包括：

通过移动终端读取所述产品上的二维码信息，并根据所述二维码信息获得所述产品的标识。

3.根据权利要求2所述的方法，其特征在于，所述获取包含所述产品的部件的图像包括：

通过设置在所述移动终端上的摄像设备获取包含所述产品的部件的图像。

4.根据权利要求1所述的方法，其特征在于，所述对所述图像中的所述产品的部件进行识别，获得所述部件的特征描述符包括：

对所述图像进行特征点检测、特征点描述子生成以及特征点匹配处理，获得所述部件的特征描述符。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：制作所述部件的视频动画；

所述制作所述部件的视频动画包括：

通过Kinect传感器获取所述产品的部件的RGB图像数据和深度图像数据；

利用所述RGB图像数据和深度图像数据进行建模，获得所述产品的第一类三维模型数据；

对所述第一类三维模型数据进行渲染分析、文字标注及引线标注处理，获得第二类三维模型数据；

根据所述第二类三维模型数据制作所述部件的视频动画。

6.一种虚拟电子说明书的实现装置，其特征在于，所述装置包括：

标识及视频获取模块，用于获取产品的标识，并根据所述标识获取所述产品的视频；

图像获取模块，用于获取包含所述产品的部件的图像；

图像识别模块，用于对所述图像中的所述产品的部件进行识别，获得所述部件的特征描述符；

描述符关联模块，用于将所述部件的特征描述符和预存的与所述部件相应的目标描述符进行匹配，获取所述特征描述符与所述目标描述符之间的关联关系；

说明书生成模块，用于根据所述关联关系将所述部件的视频动画添加至所述产品的视频中，以生成虚拟电子说明书。

7.根据权利要求6所述的装置，其特征在于，所述标识及视频获取模块用于通过移动终端读取所述产品上的二维码信息，并根据所述二维码信息获得所述产品的标识。

8.根据权利要求7所述的装置，其特征在于，所述图像获取模块用于通过设置在所述移动终端上的摄像设备获取包含所述产品的部件的图像。

9.根据权利要求6所述的装置，其特征在于，所述图像识别模块用于对所述图像进行特征点检测、特征点描述子生成以及特征点匹配处理，获得所述部件的特征描述符。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

视频动画制作模块，用于制作所述部件的视频动画；

所述视频动画制作模块包括：

数据获取单元，用于通过Kinect传感器获取所述产品的部件的RGB图像数据和深度图像数据；

第一模型数据获取单元，用于利用所述RGB图像数据和深度图像数据进行建模，获得所述产品的第一类三维模型数据；

第二模型数据获取单元，用于对所述第一类三维模型数据进行渲染分析、文字标注及引线标注处理，获得第二类三维模型数据；

视频动画制作单元，用于根据所述第二类三维模型数据制作所述部件的视频动画。