CN106569671A - 基于ar技术的消费品使用说明信息显示方法及装置 - Google Patents

Abstract

本发明提供的一种基于AR技术的消费品使用说明信息显示方法及装置，用于向用户提供更加具体直观的消费品使用说明信息，首先，获取用户通过AR设备的镜片看到的视野范围内指定消费品的识别信息；然后，根据所述识别信息调取所述消费品的使用说明信息；最后，在所述镜片上叠加显示所述使用说明信息，以使所述用户同时看到所述消费品和所述使用说明信息。本发明将所述消费品和所述消费品的使用说明信息放在同一视野中叠加显示，把虚拟环境与真实世界很好地结合在了一起，使用户能直观、真切感受到说明书中的具体内容，让原本枯燥的说明书3D化、信息化、具体化、简单化，使用户从空间、时间上有超越现实的感官体验，从而更好地理解使用说明书内容。

Description

基于AR技术的消费品使用说明信息显示方法及装置

技术领域

本发明涉及增强现实技术领域，具体涉及一种基于AR技术的消费品使用说明信息显示方法及装置。

背景技术

增强现实(Augmented Reality，简称AR)，它借助于光电技术、交互技术、多传感器技术和计算机图像与多媒体技术，生成了一种逼真的视、听、力、触和动等感觉的虚拟环境，并将这种虚拟环境与真实世界“无缝”地结合起来，好像这些虚拟信息是真实存在一样，把原本在真实世界的一定时间空间范围内很难体验到的信息被人类感官所感知，突破了空间、时间以及其他客观限制，从而达到超越现实的感官体验。

目前，用户在新购入消费品后，多数情况下需要阅读产品说明书以了解该消费品的使用方法，但是，众所周知，一般说明书都是用文字和图片来展示的，通常是纸质版或者电子版，用户需要首先在纸质文件或电子产品上查看说明书，记住使用方法，然后再转过头来在该消费品上进行实际操作，由于说明书与消费品是彼此分离的，用户并不能实时的按照说明书的指导进行操作，容易顾此失彼、甚至使用错误，特别是对于较为复杂的说明书，用户理解起来比较困难，更难以记忆，因此，现有说明书的展示形式不利于用户的学习，指导效率较低，用户体验较差。

发明内容

针对现有技术中的上述缺陷，本发明提供了一种基于AR技术的消费品使用说明信息显示方法及装置，以更加友好的方式向用户提供说明书，提高用户使用消费品的体验。

第一方面，本发明提供的一种基于AR技术的消费品使用说明信息显示方法，包括：

获取用户通过AR设备的镜片看到的视野范围内指定消费品的识别信息；

根据所述识别信息调取所述消费品的使用说明信息；

在所述镜片上叠加显示所述使用说明信息，以使所述用户同时看到所述消费品和所述使用说明信息。

可选的，所述获取用户通过AR设备的镜片看到的视野范围内指定消费品的识别信息，包括：

拍摄用户通过AR设备的镜片看到的视野范围内包含的指定消费品的影像；或，采用三维立体扫描技术扫描用户通过AR设备的镜片看到的视野范围内包含的指定消费品，获得所述消费品的立体影像；

采用图像特征识别技术从所述影像中识别出所述消费品，获得所述消费品的识别信息。

可选的，在所述根据所述识别信息调取所述消费品的使用说明信息的步骤前，还包括：

根据所述影像判断所述消费品当前的使用状态；

所述根据所述识别信息调取所述消费品的使用说明信息，包括：

根据所述识别信息和所述消费品当前的使用状态，调取以所述消费品当前的使用状态为节点开始的所述消费品的使用说明信息。

可选的，所述获取用户通过AR设备的镜片看到的视野范围内指定消费品的识别信息，包括：

扫码识别用户通过AR设备的镜片看到的视野范围内包含的指定消费品上的二维码或条形码，获得所述消费品的识别信息。

可选的，所述根据所述识别信息调取所述消费品的使用说明信息，包括：

根据所述识别信息从本地数据库中查询所述消费品的使用说明信息；或者

根据所述识别信息从远端服务器下载所述消费品的使用说明信息。

可选的，所述使用说明信息包括：指导用户使用所述消费品的文字说明、图片说明、演示视频、平面演示动画、立体演示动画、引导图标中的一种或多种的组合。

可选的，所述在所述镜片上叠加显示所述使用说明信息，包括：

采用投影技术将所述使用说明信息投影到所述镜片上。

第二方面，本发明提供的一种基于AR技术的消费品使用说明信息显示装置，包括：

识别信息获取模块，用于获取用户通过AR设备的镜片看到的视野范围内指定消费品的识别信息；

说明信息调取模块，用于根据所述识别信息调取所述消费品的使用说明信息；

说明信息显示模块，用于在所述镜片上叠加显示所述使用说明信息，以使所述用户同时看到所述消费品和所述使用说明信息。

可选的，所述识别信息获取模块，包括：

拍照影像单元，用于拍摄用户通过AR设备的镜片看到的视野范围内包含的指定消费品的影像；或，

扫描影像单元，用于采用三维立体扫描技术扫描用户通过AR设备的镜片看到的视野范围内包含的指定消费品，获得所述消费品的立体影像；

影像处理单元，用于采用图像特征识别技术从所述影像中识别出所述消费品，获得所述消费品的识别信息。

可选的，所述基于AR技术的消费品使用说明信息显示装置，还包括：

使用状态判断模块，用于根据所述影像判断所述消费品当前的使用状态；

所述说明信息调取模块，包括：

部分信息调取单元，用于根据所述识别信息和所述消费品当前的使用状态，调取以所述消费品当前的使用状态为节点开始的所述消费品的使用说明信息。

可选的，所述识别信息获取模块，包括：

扫码单元，用于扫码识别用户通过AR设备的镜片看到的视野范围内包含的指定消费品上的二维码或条形码，获得所述消费品的识别信息。

可选的，所述说明信息调取模块，包括：

说明信息本地调取单元，用于根据所述识别信息从本地数据库中查询所述消费品的使用说明信息；或者，

说明信息远端调取单元，用于根据所述识别信息从远端服务器下载所述消费品的使用说明信息。

可选的，所述说明信息显示模块中的使用说明信息包括：

指导用户使用所述消费品的文字说明、图片说明、演示视频、平面演示动画、立体演示动画、引导图标中的一种或多种的组合。

可选的，所述说明信息显示模块，包括：

投影单元，用于采用投影技术将所述使用说明信息投影到所述镜片上。

由上述技术方案可知，本发明提供的一种基于AR技术的消费品使用说明信息显示方法，用于向用户提供更加具体直观的消费品使用说明信息，首先，获取用户通过AR设备的镜片看到的视野范围内指定消费品的识别信息；然后，根据所述识别信息调取所述消费品的使用说明信息；最后，在所述镜片上叠加显示所述使用说明信息，以使所述用户同时看到所述消费品和所述使用说明信息。本发明将所述消费品和所述消费品的使用说明信息放在同一视野中叠加显示，使消费品的使用说明信息与真实消费品很好地融合在了一起，把虚拟环境与真实世界很好地结合在了一起，使用户能直观、真切感受到说明书中的具体内容，让原本枯燥的说明书3D化、信息化、具体化、简单化，使用户从空间、时间上有超越现实的感官体验，从而更好地理解使用说明书内容，可以有效提高使用说明信息对用户的指导效果，提升指导效率，获得更好的用户体验。

本发明提供的一种基于AR技术的消费品使用说明信息显示装置，与上述基于AR技术的消费品使用说明信息显示方法出于相同的发明构思，具有相同的有益效果。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1示出了本发明第一实施例提供的一种基于AR技术的消费品使用说明信息显示方法的流程图；

图2示出了本发明第二实施例提供的一种基于AR技术的消费品使用说明信息显示装置的示意图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

为了便于理解，在此对本发明的整体发明构思进行说明：

本发明以用户使用的AR设备为执行主体，提供了一种基于AR技术的消费品使用说明信息显示方法及装置，整体上同属于一个相同的发明构思，主要利用一种基于AR的技术使用户在同一视野中同时看到消费品和使用说明信息，首先，获取用户通过AR设备的镜片看到的视野范围内指定消费品的识别信息；然后，根据所述识别信息调取所述消费品的使用说明信息；最后，在所述镜片上叠加显示所述使用说明信息，以使所述用户同时看到所述消费品和所述使用说明信息。当消费者需要购买或者已经购买了新的消费品，都可以通过这种方法来更好地理解说明书内容，需要说明的是，本发明并不限制消费品的种类，电脑、家用电器、衣服等都在本发明的保护范围之内。

本发明提供了一种基于AR技术的消费品使用说明信息显示方法及装置。下面结合附图对本发明的实施例进行说明。

图1示出了本发明第一实施例所提供的一种基于AR技术的消费品使用说明信息显示方法的流程图。如图1所示，本发明第一实施例提供的一种基于AR技术的消费品使用说明信息显示方法包括以下步骤：

步骤S101：获取用户通过AR设备的镜片看到的视野范围内指定消费品的识别信息。

本步骤，获取用户通过AR设备的镜片看到的视野范围内指定消费品的识别信息可以有三种方式，第一种方式，通过安装于AR设备上的摄像头拍摄用户通过所述AR设备镜片看到的视野范围内指定消费品的影像，利用图像特征识别技术从所述影像中识别出所述消费品，获得所述消费品的识别信息，在一个典型的AR设备中，在镜片旁设置有摄像头，在戴上AR眼镜后，所述摄像头拍摄的视野和所述用户通过所述镜片看到的外部的视野基本一致，因此，当用户面向指定消费品时，所述摄像头拍摄的画面中即包含所述消费品，即实现拍摄用户通过AR设备的镜片看到的视野范围内包含指定消费品的影像的过程，其中，所述摄像头可以有一个或多个，其都在本发明的保护范围之内；第二种方式，利用具有三维立体扫描技术的AR设备扫描用户通过所述AR设备的镜片看到的视野范围内指定消费品，获得所述消费品的立体影像，利用图像特征识别技术从所述立体影像中识别出所述消费品，获得所述消费品的识别信息，在所述AR设备中，三维立体扫描镜头设置在AR镜片旁，在戴上AR眼镜后，用户可以看到所述三维立体扫描镜头将要扫描的对象，在确定好目标扫描物体后，就可以对其进行扫描；第三种方式，扫码识别用户通过AR设备的镜片看到的视野范围内包含的指定消费品上的二维码或条形码，获得所述消费品的识别信息。同一个AR设备可以同时具有这三种获取识别信息的方式，并不相互冲突，增加了所述AR设备的应用范围，同时，保证了在纸质说明书遗失、不存在的情况下可以获得所述消费品的识别信息。

其中，所述识别信息是指能够对所述消费品进行身份识别的信息，例如：消费品的编号、名称、型号等。

步骤S102：根据所述识别信息调取所述消费品的使用说明信息。

当采用步骤S101中的第一种方式或者第二种方式获取用户通过AR设备的镜片看到的视野范围内指定消费品的识别信息的过程中，可以根据拍摄到的所述影像或者扫描到的所述立体影像判断所述消费品当前的使用状态，然后根据所述识别信息和所述消费品当前的使用状态，调取以所述消费品当前的使用状态为节点开始的所述消费品的使用说明信息，避免了对已经明白的、执行过的操作重复查看其说明信息，使所述说明信息的指导更有针对性、更加简洁。

所述根据所述识别信息调取所述消费品的使用说明信息，包括根据所述识别信息从本地数据库中查询所述消费品的使用说明信息，或者，根据所述识别信息从远端服务器下载所述消费品的使用说明信息，使基于AR技术的消费品使用说明信息显示方法的应用范围更广，既可以用在某种消费品的体验店，又可以给需要更多说明书信息的用户使用。当从本地数据库中查询所述消费品的使用说明信息时，避免了对服务器的使用，节约了成本，当从远端服务器下载使用说明信息时，可以为用户提供更多消费品的使用说明信息，两种调取使用说明信息的方法，都各有优势，都在本发明的保护范围之内。

示例1：用户买了一个电脑，需要自己组装，当用户把显示屏与底座安装好之后，不知道接下来键盘、主机、音响等该怎么连接，就可以利用AR设备拍摄或者扫描当前电脑所安装的状态，所述AR设备根据所述状态调取相应节点的使用说明信息进行展示，指导用户接下来的操作。

示例2：用户买了一个电饭锅，现在需要煮饭，当用户把洗好的大米放进锅里后，不知道该怎么操作启动电饭锅，这时，可以利用AR设备拍摄或者扫描当前电饭锅所处的状态，所述AR设备根据所述状态和识别信息调取接下来的使用说明信息，指导用户启动电饭锅。

步骤S103：在所述镜片上叠加显示所述使用说明信息，以使所述用户同时看到所述消费品和所述使用说明信息。

本发明实施例中的使用说明信息可以是：指导用户使用所述消费品的文字说明、图片说明、演示视频、平面演示动画、立体演示动画、引导图标等中的一种或多种的组合。

所述在所述镜片上叠加显示所述使用说明信息，可以是采用投影技术将所述使用说明信息投影到所述镜片上，也可以是采用透明显示器作为镜片，在所述透明显示器上以半透明方式显示所述使用说明信息，其均在本发明的保护范围之内。

通过对所述消费品和所述使用说明信息叠加显示，可以使所述使用说明信息更加友好地呈现在用户眼前，使用户更加真切感受到3D化、信息化、具体化、简单化的使用说明信息的内容，从而更好地理解使用说明书内容，可以有效提高使用说明信息对用户的指导效果，提升指导效率，获得更好的用户体验。

示例3：如果消费品是电脑，可以在AR设备的镜片上看到键盘上面浮现“键盘”二字，显示屏上浮现“显示屏”二字，鼠标上浮现“鼠标”二字，主机上浮现“主机”二字，同时，在所述镜片上还有箭头(引导图标的一种)指导应该怎么安装、开机、关机等操作。

在上述的第一实施例中，提供了一种基于AR技术的消费品使用说明信息显示方法，与之相对应的，本申请还提供一种基于AR技术的消费品使用说明信息显示装置。请参考图2，其为本发明第二实施例提供的一种基于AR技术的消费品使用说明信息显示装置的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

本发明第二实施例提供的一种基于AR技术的消费品使用说明信息显示装置包括：

识别信息获取模块101，用于获取用户通过AR设备的镜片看到的视野范围内指定消费品的识别信息；

说明信息调取模块102，用于根据所述识别信息调取所述消费品的使用说明信息；

说明信息显示模块103，用于在所述镜片上叠加显示所述使用说明信息，以使所述用户同时看到所述消费品和所述使用说明信息。

在本发明提供的一个实施例中，所述识别信息获取模块101，包括：

拍照影像单元，用于拍摄用户通过AR设备的镜片看到的视野范围内包含的指定消费品的影像；或，

扫描影像单元，用于采用三维立体扫描技术扫描用户通过AR设备的镜片看到的视野范围内包含的指定消费品，获得所述消费品的立体影像；

影像处理单元，用于采用图像特征识别技术从所述影像中识别出所述消费品，获得所述消费品的识别信息。

在本发明提供的一个实施例中，所述基于AR技术的消费品使用说明信息显示装置，还包括：

使用状态判断模块，用于根据所述影像判断所述消费品当前的使用状态；

所述说明信息调取模块102，包括：

部分信息调取单元，用于根据所述识别信息和所述消费品当前的使用状态，调取以所述消费品当前的使用状态为节点开始的所述消费品的使用说明信息。

在本发明提供的一个实施例中，所述识别信息获取模块101，包括：

扫码单元，用于扫码识别用户通过AR设备的镜片看到的视野范围内包含的指定消费品上的二维码或条形码，获得所述消费品的识别信息。

在本发明提供的一个实施例中，所述说明信息调取模块102，包括：

说明信息本地调取单元，用于根据所述识别信息从本地数据库中查询所述消费品的使用说明信息；或者，

说明信息远端调取单元，用于根据所述识别信息从远端服务器下载所述消费品的使用说明信息。

在本发明提供的一个实施例中，所述说明信息显示模块103中的使用说明信息包括：

指导用户使用所述消费品的文字说明、图片说明、演示视频、平面演示动画、立体演示动画、引导图标中的一种或多种的组合。

在本发明提供的一个实施例中，所述说明信息显示模块103，包括：

投影单元，用于采用投影技术将所述使用说明信息投影到所述镜片上。

以上，为本发明第二实施例提供的一种基于AR技术的消费品使用说明信息显示装置的实施例说明。

本发明提供的一种基于AR技术的消费品使用说明信息显示装置与上述基于AR技术的消费品使用说明信息显示方法出于相同的发明构思，具有相同的有益效果，此处不再赘述。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

需要说明的是，本发明附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种基于AR技术的消费品使用说明信息显示方法，其特征在于，包括：

获取用户通过AR设备的镜片看到的视野范围内指定消费品的识别信息；

根据所述识别信息调取所述消费品的使用说明信息；

在所述镜片上叠加显示所述使用说明信息，以使所述用户同时看到所述消费品和所述使用说明信息。

2.根据权利要求1所述的基于AR技术的消费品使用说明信息显示方法，其特征在于，所述获取用户通过AR设备的镜片看到的视野范围内指定消费品的识别信息，包括：

拍摄用户通过AR设备的镜片看到的视野范围内包含的指定消费品的影像；或，采用三维立体扫描技术扫描用户通过AR设备的镜片看到的视野范围内包含的指定消费品，获得所述消费品的立体影像；

采用图像特征识别技术从所述影像中识别出所述消费品，获得所述消费品的识别信息。

3.根据权利要求2所述的基于AR技术的消费品使用说明信息显示方法，其特征在于，在所述根据所述识别信息调取所述消费品的使用说明信息的步骤前，还包括：

根据所述影像判断所述消费品当前的使用状态；

所述根据所述识别信息调取所述消费品的使用说明信息，包括：

根据所述识别信息和所述消费品当前的使用状态，调取以所述消费品当前的使用状态为节点开始的所述消费品的使用说明信息。

4.根据权利要求1所述的基于AR技术的消费品使用说明信息显示方法，其特征在于，所述获取用户通过AR设备的镜片看到的视野范围内指定消费品的识别信息，包括：

扫码识别用户通过AR设备的镜片看到的视野范围内包含的指定消费品上的二维码或条形码，获得所述消费品的识别信息。

5.根据权利要求1所述的基于AR技术的消费品使用说明信息显示方法，其特征在于，所述根据所述识别信息调取所述消费品的使用说明信息，包括：

根据所述识别信息从本地数据库中查询所述消费品的使用说明信息；或者

根据所述识别信息从远端服务器下载所述消费品的使用说明信息。

6.根据权利要求1所述的基于AR技术的消费品使用说明信息显示方法，其特征在于，所述使用说明信息包括：指导用户使用所述消费品的文字说明、图片说明、演示视频、平面演示动画、立体演示动画、引导图标中的一种或多种的组合。

7.根据权利要求1所述的基于AR技术的消费品使用说明信息显示方法，其特征在于，所述在所述镜片上叠加显示所述使用说明信息，包括：

采用投影技术将所述使用说明信息投影到所述镜片上。

8.一种基于AR技术的消费品使用说明信息显示装置，其特征在于，包括：

识别信息获取模块，用于获取用户通过AR设备的镜片看到的视野范围内指定消费品的识别信息；

说明信息调取模块，用于根据所述识别信息调取所述消费品的使用说明信息；

说明信息显示模块，用于在所述镜片上叠加显示所述使用说明信息，以使所述用户同时看到所述消费品和所述使用说明信息。

9.根据权利要求8所述的基于AR技术的消费品使用说明信息显示装置，其特征在于，所述识别信息获取模块，包括：

拍照影像单元，用于拍摄用户通过AR设备的镜片看到的视野范围内包含的指定消费品的影像；或，扫描影像单元，用于采用三维立体扫描技术扫描用户通过AR设备的镜片看到的视野范围内包含的指定消费品，获得所述消费品的立体影像；

影像处理单元，用于采用图像特征识别技术从所述影像中识别出所述消费品，获得所述消费品的识别信息。

10.根据权利要求8所述的基于AR技术的消费品使用说明信息显示装置，其特征在于，所述说明信息调取模块，包括：

说明信息本地调取单元，用于根据所述识别信息从本地数据库中查询所述消费品的使用说明信息；或者，

说明信息远端调取单元，用于根据所述识别信息从远端服务器下载所述消费品的使用说明信息。