CN112581598A - 三维模型构建方法、装置、设备及存储介质 - Google Patents

Abstract

公开了一种三维模型构建方法、装置、设备及存储介质，所述方法包括：获取待处理对象的第一图像；接收暂停指令，所述暂停指令用于指示停止获取所述待处理对象的图像；响应于所述暂停指令，跟踪所述待处理对象以获得跟踪结果；接收恢复指令，所述恢复指令用于指示继续获取所述待处理对象的图像；响应于所述恢复指令，获取所述待处理对象的第二图像，其中，所述第二图像中的所述待处理对象的姿态与所述第一图像中的所述待处理对象的姿态不同；根据所述第一图像、所述第二图像以及所述跟踪结果，对所述待处理对象进行三维模型构建。

Description

三维模型构建方法、装置、设备及存储介质

技术领域

本公开涉及计算机视觉技术领域，尤其涉及一种三维模型构建方法、装置、设备及存储介质。

背景技术

三维模型构建技术是通过获取并分析现实世界中物体、环境的形状与外观数据，在虚拟世界中建立对应的模型。基于图像进行三维模型构建具有成本低廉、真实感强等优点，有广泛的应用前景。

当前的三维模型构建方法通常对于扫描对象、扫描环境以及操作手法有着较为严格的要求，而在扫描对象在大小、重量、材质上可能存在巨大差异，并且扫描环境也可能有所不同的情况下，难以实现较好的扫描效果。

发明内容

本公开提供一种三维模型构建方案。

根据本公开的一方面，提出一种三维模型构建方法，所述方法包括：获取待处理对象的第一图像；接收暂停指令，所述暂停指令用于指示停止获取所述待处理对象的图像；响应于所述暂停指令，跟踪所述待处理对象以获得跟踪结果；接收恢复指令，所述恢复指令用于指示继续获取所述待处理对象的图像；响应于所述恢复指令，获取所述待处理对象的第二图像，其中，所述第二图像中的所述待处理对象的姿态与所述第一图像中的所述待处理对象的姿态不同；根据所述第一图像、所述第二图像以及所述跟踪结果，对所述待处理对象进行三维模型构建。

本公开实施例在获取待处理对象的第一图像的过程中可以接收暂停指令，并响应于该暂停指令而停止获取所述待处理对象的图像，并跟踪过所述待处理对象以得到跟踪结果；在停止获取的过程中可以接收恢复指令，并响应于该恢复指令继续获取所述待处理对象的第二图像；根据所述第一图像、所述第二图像以及所述跟踪结果，对所述待处理对象进行三维模型构建，由于在暂停过程中可以对待处理图像进行姿态调整，可以实现对待处理对象的各个方位的无死角扫描，提高了扫描的效果，并且降低了对于扫描对象、扫描环境以及操作手法的限制，为用户提供灵活的操作方法，改善了用户的交互体验。

结合本公开提供的任一实施方式，所述第一图像包括第一深度图像，所述第二图像包括第二深度图像，所述方法还包括：根据所述第一深度图像，生成所述待处理对象的第一表面模型；所述跟踪所述待处理对象以获得跟踪结果，包括：根据所述待处理对象的第一表面模型，得到表面模型跟踪结果；所述根据所述第一图像、所述第二图像以及跟踪结果，对所述待处理对象进行三维模型构建，包括：根据所述第一表面模型、所述表面模型跟踪结果以及所述第二深度图像，对所述待处理对象进行三维模型构建。

利用根据深度图像所生成的表面模型，以及对所述表面模型进行跟踪所获得的表面跟踪结果，可以实现所述待处理对象的高质量三维模型构建。

结合本公开提供的任一实施方式，所述根据所述第一表面模型、所述表面模型跟踪结果以及所述第二深度图像，对所述待处理对象进行三维模型构建，包括：根据所述表面模型跟踪结果，确定所述第一表面模型在所述第二深度图像中的位置信息；根据所述位置信息确定所述第二深度图像中未构建表面模型的区域，并根据所述区域构建第二表面模型；对所述第一表面模型和所述第二表面模型进行拼接。

通过根据所述表面跟踪结果对接收暂停指令前所构建的表面模型和接收恢复指令后所构建的表面模型进行拼接，从而实现对所述待处理对象的三维模型构建，提高了三维模型构建的速度和效率。

结合本公开提供的任一实施方式，所述方法还包括：可视化显示所述待处理对象的第一图像、第二图像、第一表面模型、第二表面模型以及表面模型跟踪结果中的至少一项。

通过可视化显示待处理对象的图像、表面模型以及表面模型跟踪结果，可以直观地显示三维模型构建过程，并为用户的扫描操作提供了指引，提高了用户的交互体验。

结合本公开提供的任一实施方式，所述接收恢复指令包括：接收用户输入的恢复指令；或在跟踪所述待处理对象过程中，检测到人体离开拍摄画面时，触发恢复指令。

可以由用户自行选择继续获取待处理对象的图像的时机，也可以通过检测到人体离开拍摄画面时自动触发恢复指令，方便灵活，改善了用户的交互体验。

结合本公开提供的任一实施方式，所述获取待处理对象的第一图像包括：获取当前的第一模式；获取图像采集设备以所述第一模式采集的所述待处理对象的第一图像；所述获取待处理对象的第二图像包括：获取当前的第二模式；获取图像采集设备以所述第二模式采集的所述待处理对象的第二图像。

其中，所述第一模式和所述第二模式可以相同，也可以不同，为用户的扫描方式提供了灵活多样的选择。

结合本公开提供的任一实施方式，所述第一模式和所述第二模式不同，所述第一模式用于指示在所述待处理对象的第一角度处进行图像采集，所述第二模式用于指示在所述待处理对象的多个角度处进行图像采集；所述获取当前的第二模式之前，所述方法还包括：在跟踪所述待处理对象的过程中接收第一切换指令，所述第一切换指令用于指示从所述第一模式切换至所述第二模式；响应于所述第一切换指令，将所述第一模式切换为所述第二模式；和/或，在获取图像采集设备以所述第一模式采集的所述待处理对象的第一图像的过程中，接收第二切换指令；响应于所述第二切换指令，将所述第一模式切换为所述第二模式。

可以根据待处理对象的状态和拍摄环境切换扫描模式，用户无需完整环绕待处理对象一圈进行扫描，即可以得到完整覆盖所述待处理对象的图像，降低了对于扫描对象、扫描环境、扫描轨迹的要求，便于用户操作，改善了用户的交互体验。

结合本公开提供的任一实施方式，所述方法还包括：在跟踪所述待处理对象的过程中，获取所述待处理对象的姿态变化信息；若所述姿态变化信息不符合跟踪条件，输出第一提示信息，其中，所述第一提示信息用于提示用户所述待处理对象的姿态变化不符合跟踪条件。

结合本公开提供的任一实施方式，所述若所述姿态变化信息不符合跟踪条件，输出第一提示信息，包括：在姿态变化速度大于设定速度阈值的情况下，输出所述第一提示信息；或，在姿态变化幅度大于设定角度阈值的情况下，输出所述第一提示信息。

在用户对于待处理对象的姿态调整导致无法对所述待处理对象进行跟踪的情况下，输出第一提示信息以提示用户重新进行调整，以保持对于所述待处理对象的跟踪，提高了三维模型构建的可靠性。

结合本公开提供的任一实施方式，在接收恢复指令之前，所述方法还包括：接收引导指令，所述引导指令用于引导用户根据所述待处理对象的设定姿态对所述待处理对象进行姿态调整；响应于所述引导指令，可视化显示所述待处理对象的设定姿态。

在引导模式下可视化显示所述待处理对象从当前姿态变化为设定姿态的动画，便于用户将待处理对象的姿态调整为与显示界面所显示的设定姿态一致。

结合本公开提供的任一实施方式，所述方法还包括：在所述待处理对象的姿态调整过程中，获取所述待处理对象的实时姿态信息；若所述实时姿态信息符合所述设定姿态，输出第二提示信息，所述第二指示信息用于提示用户停止对所述待处理对象进行姿态调整。

通过在所述待处理对象的当前姿态与所述设定姿态一致的情况下自动触发恢复指令，便于用户将所述待处理对象调整至最佳的扫描状态，提升了三维模型构建效果。

结合本公开提供的任一实施方式，所述获取待处理对象的第一图像包括：在所述待处理对象与图像采集设备之间的距离处于设定范围内的情况下，获取所述待处理对象的第一图像；所述获取待处理对象的第二图像包括：在所述待处理对象与图像采集设备之间的距离处于设定范围内的情况下，获取所述待处理对象的第二图像。

在所述待处理对象与图像采集设备之间的距离符合扫描条件，并且在停止扫描状态下所述待处理对象的姿态变化信息符合跟踪条件的情况下，可以开始继续获取所述待处理对象的图像，否则不能获取图像，保证了所获取的图像的质量，进而保证了三维模型的构建效果。

根据本公开的一方面，提出一种三维模型构建装置，所述装置包括：第一获取单元，用于获取待处理对象的第一图像；第一接收单元，用于接收暂停指令，所述暂停指令用于指示停止获取所述待处理对象的图像；跟踪单元，用于响应于所述暂停指令，跟踪所述待处理对象以获得跟踪结果；第二接收单元，用于接收恢复指令，所述恢复指令用于指示继续获取所述待处理对象的图像；第二获取单元，用于响应于所述恢复指令，获取所述待处理对象的第二图像，其中，所述第二图像中的所述待处理对象的姿态与所述第一图像中的所述待处理对象的姿态不同；构建单元，用于根据所述第一图像、所述第二图像以及所述跟踪结果，对所述待处理对象进行三维模型构建。

结合本公开提供的任一实施方式，所述第一图像包括第一深度图像，所述第二图像包括第二深度图像，所述装置还包括第一表面模型生成单元，用于根据所述第一深度图像，生成所述待处理对象的第一表面模型；所述跟踪单元在用于跟踪所述待处理对象以获得跟踪结果时，具体用于：根据所述待处理对象的第一表面模型，得到表面模型跟踪结果；所述构建单元具体用于：根据所述第一表面模型、所述表面模型跟踪结果以及所述第二深度图像，对所述待处理对象进行三维模型构建。

结合本公开提供的任一实施方式，所述构建单元在用于根据所述第一表面模型、所述表面模型跟踪结果以及所述第二深度图像，对所述待处理对象进行三维模型构建时，具体用于：根据所述表面模型跟踪结果，确定所述第一表面模型在所述第二深度图像中的位置信息；根据所述位置信息确定所述第二深度图像中未构建表面模型的区域，并根据所述区域构建第二表面模型；对所述第一表面模型和所述第二表面模型进行拼接。

结合本公开提供的任一实施方式，所述装置还包括可视化单元，用于可视化显示所述待处理对象的第一图像、第二图像、第一表面模型、第二表面模型以及表面模型跟踪结果中的至少一项。

结合本公开提供的任一实施方式，所述接收单元具体用于：接收用户输入的恢复指令；或在跟踪所述待处理对象过程中，检测到人体离开拍摄画面时，触发恢复指令。

结合本公开提供的任一实施方式，所述第一获取单元具体用于：所述若所述姿态变化信息不符合跟踪条件，输出第一提示信息，包括：在姿态变化速度大于设定速度阈值的情况下，输出所述第一提示信息；或，在姿态变化幅度大于设定角度阈值的情况下，输出所述第一提示信息。

结合本公开提供的任一实施方式，所述第一模式和所述第二模式不同，所述第一模式用于指示在所述待处理对象的第一角度处进行图像采集，所述第二模式用于指示在所述待处理对象的多个角度处进行图像采集；所述装置还包括切换单元，用于：在跟踪所述待处理对象的过程中接收第一切换指令，所述第一切换指令用于指示从所述第一模式切换至所述第二模式；响应于所述第一切换指令，将所述第一模式切换为所述第二模式；和/或，在获取图像采集设备以所述第一模式采集的所述待处理对象的第一图像的过程中，接收第二切换指令；响应于所述第二切换指令，将所述第一模式切换为所述第二模式。

结合本公开提供的任一实施方式，所述装置还包括第一提示单元，用于在跟踪所述待处理对象的过程中，获取所述待处理对象的姿态变化信息；若所述姿态变化信息不符合跟踪条件，输出第一提示信息，其中，所述第一提示信息用于提示用户所述待处理对象的姿态变化不符合跟踪条件。

结合本公开提供的任一实施方式，所述姿态变化信息包括姿态变化速度，所述若所述姿态变化信息不符合跟踪条件，输出第一提示信息，包括：在所述姿态变化速度大于设定速度阈值的情况下，输出所述第一提示信息。

结合本公开提供的任一实施方式，所述姿态变化信息包括姿态变化幅度，所述若所述姿态变化信息不符合跟踪条件，输出第一提示信息，包括：在所述姿态变化幅度大于设定角度阈值的情况下，输出所述第一提示信息。

结合本公开提供的任一实施方式，所述装置还包括引导单元，用于在接收恢复指令之前，接收引导指令，所述引导指令用于引导用户根据所述待处理对象的设定姿态对所述待处理对象进行姿态调整；响应于所述引导指令，可视化显示所述待处理对象的设定姿态。

结合本公开提供的任一实施方式，所述装置还包括第二提示单元，用于在所述待处理对象的姿态调整过程中，获取所述待处理对象的实时姿态信息；若所述实时姿态信息符合所述设定姿态，输出第二提示信息，所述第二指示信息用于提示用户停止对所述待处理对象进行姿态调整。

结合本公开提供的任一实施方式，所述第一获取单元具体用于：在所述待处理对象与图像采集设备之间的距离处于设定范围内的情况下，获取所述待处理对象的第一图像；所述第二获取单元具体用于：在所述待处理对象与图像采集设备之间的距离处于设定范围内的情况下，获取所述待处理对象的第二图像。

根据本公开的一方面，提出一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施方式所述的三维模型构建方法。

根据本公开的一方面，提出一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施方式所述的三维模型构建方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。

图1是本公开至少一实施例提出的一种三维模型构建方法的流程图；

图2A～图2C是本公开至少一实施例提出的三维模型构建方法中的三维模型构建过程示意图；

图3A～图3D是本公开至少一实施例提出的三维模型构建方法中引导模式下的显示界面示意图；

图4A～图4C是本公开至少一实施例提出的三维模型构建方法所得到的三维模型的示意图；

图5A～图5E是本公开至少一个实施例提出的三维模型构建方法的交互界面示意图；

图6A～图6B是本公开至少一个实施例提出的三维模型构建方法的模式切换流程图；

图7是本公开至少一实施例提出的一种三维模型构建装置的结构示意图；

图8是本公开至少一实施例提出的一种电子设备的结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了使本技术领域的人员更好的理解本公开实施例中的技术方案，并使本公开实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本公开实施例中的技术方案作进一步详细的说明。

本公开实施例提供的三维模型构建方法可以由终端设备、服务器或其它类型的电子设备执行，其中，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该三维模型构建方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。或者，可通过服务器执行所述方法。下面以电子设备作为执行主体为例对本公开实施例的三维模型构建方法进行说明。

图1是本公开至少一实施例提出的一种三维模型构建方法的流程图。如图1所示，所述方法包括步骤101～106。

在步骤101中，获取待处理对象的第一图像。

其中，所述待处理对象可以是体积较小的物件，例如放置在桌面上的杯子、玩偶等，也可以是体积较大的物件，例如放置在地面上的家具等，本公开实施例不限制待处理对象的体积。

在本公开实施例中，可以通过获取当前的第一模式；获取图像采集设备以所述第一模式采集的所述待处理对象的第一图像。其中，所述第一模式可以用于指示图像采集设备在所述待处理对象的第一角度处进行图像采集，也即选定角度扫描模式，在该模式下图像采集设备保持采集角度以任意轨迹进行扫描，以获得一张或多张第一图像；或者，所述第一模式可以用于指示图像采集设备在所述待处理对象的多个角度处进行图像采集，也即静态扫描模式(环绕扫描模式)，在该模式下图像采集设备围绕所述待处理对象，从不同角度进行扫描，以获得一张或多张第一图像，其中，各个第一图像的采集角度是不同的。本领域技术人员应当理解，所述第一模式所指的采集方式仅为示例，也可以以其他方式采集所述待处理对象的第一图像，本公开实施例对此不进行限制。

在步骤102中，接收暂停指令，所述暂停指令用于指示停止获取所述待处理对象的图像。

其中，所述暂停指令可以是用户主动触发的，也可以是在满足设定条件的情况下自动触发的。

在步骤103中，响应于所述暂停指令，跟踪所述待处理对象以获得跟踪结果。

在接收到暂停指令后，停止获取所述待处理对象的图像，并同时跟踪所述待处理对象以获得跟踪结果。

在一些实施例中，跟踪所述待处理对象的过程中，也即在停止获取的状态下，可以在电子设备的显示屏上显示拍摄预览画面，并同时在所述拍摄预览画面中显示对于第一图像中的待处理对象的追踪结果。其中，所述追踪结果是在拍摄预览状态下根据第一图像中待处理对象的位置信息所预测的在下一帧图像中所述待处理对象的位置信息。

在停止获取的状态下，用户可以对所述待处理对象进行姿态调整，从而可以使图像采集设备能够采集到所述待处理对象的各个部分的图像。例如，通过使待处理对象从直立的姿态变化为横卧的姿态，可以使所述待处理对象的底部被扫描到。

在步骤104中，接收恢复指令，所述恢复指令用于指示继续获取所述待处理对象的图像。

其中，所述恢复指令可以是用户主动触发的，也可以是在满足设定条件的情况下自动触发的。

在步骤105中，响应于所述恢复指令，获取所述待处理对象的第二图像。

在接收到恢复指令后，继续获取所述待处理对象的图像，得到所述待处理对象的第二图像。

由于在停止获取的状态下对待处理对象的姿态进行了调整，因此所述第二图像中的所述待处理对象的姿态与所述第一图像中的所述待处理对象的姿态是不同的。

在本公开实施例中，可以通过获取当前的第二模式；获取图像采集设备以所述第二模式采集的所述待处理对象的第一图像。其中，所述第二模式同样可以用于指示图像采集设备在所述待处理对象的第一角度处进行图像采集，或者图像采集设备在所述待处理对象的多个角度处进行图像采集。

在本公开实施例中，所述第一模式可以所述第二模式不同，所述第一模式也可以与所述第二模式相同。

在步骤106中，根据所述第一图像、所述第二图像以及所述跟踪结果，对所述待处理对象进行三维模型构建。

由于在停止获取的状态下对保持对所述第一图像中的待处理对象进行追踪，所述追踪结果可以指示在恢复获取后所得到的第二图像中所述待处理对象的位置信息，因而可以根据所述第一图像、所述第二图像以及所述跟踪结果来对所述待处理对象进行三维模型构建，由于参与三维模型构建的图像中包含了待处理对象的不同姿态，使得三维模型的构建效果得到了提高。通过重复步骤101～106，直至所述待处理对象的各个部位都被扫描到，则可以构建所述待处理对象的完整的三维模型。

在本公开实施例中，本公开实施例在获取待处理对象的第一图像的过程中可以接收暂停指令，并响应于该暂停指令而停止获取所述待处理对象的图像，并跟踪过所述待处理对象以得到跟踪结果；在停止获取的过程中可以接收恢复指令，并响应于该恢复指令继续获取所述待处理对象的第二图像；根据所述第一图像、所述第二图像以及所述跟踪结果，对所述待处理对象进行三维模型构建，由于可以在暂停过程中对待处理图像进行姿态调整，可以实现对待处理对象的各个方位的无死角扫描，提高了扫描的效果，并且降低了对于扫描对象、扫描环境以及操作手法的限制，为用户提供方便、灵活的操作方法，改善了用户的交互体验。

在本公开实施例中，图像采集设备所采集的所述待处理对象的图像中包含深度图像。其中深度图像中像素的深度信息可以体现出各个像素点距离图像采集设备的距离，因此通过所述深度图像中物体表面的深度信息构建出所述待处理对象的表面模型。所述表面模型例如通过覆盖在所述待处理图像表面的白模来进行展示，所述白模是指以白色材质显示、不包含纹理的模型。

具体而言，图像采集设备所采集的第一图像包括第一深度图像，第二图像包括第二深度图像。其中，根据所述第一深度图像可以生成所述待处理对象的第一表面模型，根据所述第一表面模型可以得到表面模型跟踪结果，所述表面模型跟踪结果包括第一表面模型在所述第二深度图像中的位置信息以及深度信息。根据所述第一表面模型、所述表面模型跟踪结果以及所述第二深度图像，可以实现对所述待处理对象的三维模型构建。参见附图2A～2C，其中，图2A显示待处理对象的第一图像，图2B显示根据待处理对象的第一表面模型(白模)，图2C中的待处理对象的姿态进行了变化，白模覆盖的部分表示图1中的待处理对象的表面追踪结果，也即在第二图像中所包含的第一表面模型的部分。在图2C中未覆盖白模的部分即还未构建表面模型的部分。

在一些实施例中，可以通过以下方式实现对所述待处理对象的三维模型构建。

根据所述表面模型跟踪结果，确定所述第一表面模型在所述第二深度图像中的位置信息。参见图2C，根据所述表面模型跟踪结果可以确定覆盖白模部分所对应的像素在所述第二图像中的位置信息。

接下来，根据所述位置信息确定所述第二深度图像中未构建表面模型的区域，并根据所述区域构建第二表面模型。仍参见图2C，根据覆盖白模部分所对应的像素在所述第二图像中的位置信息，可以确定未覆盖白模区域的像素在所述第二图像中的位置信息，进一步根据所述像素的深度信息，则可以对于未覆盖白模的区域构建第二表面模型，也即覆盖上白模。

最后，对所述第一表面模型和所述第二表面模型进行拼接。通过将第一表面模型和第二表面模型进行拼接，则可以构建出覆盖待处理对象更多表面部分的表面模型，提高了三维模型的构建速度和效率。

在一些实施例中，还可以根据所述第二深度图像构建第二表面模型，并根据所述表面跟踪结构确定所述第一表面模型与所述第二表面模型中重复构建的部分，并通过所述重复构建的部分将所述第一表面模型和所述第二表面模型进行重叠，则可以构建出覆盖待处理对象更多表面部分的表面模型，从而能够提高三维模型的构建效。

在一些实施例中，电子设备的显示屏上可视化显示所述待处理对像的第一图像、第二图像、第一表面模型、第二表面模型、表面追踪结果中的至少一项。例如，可以显示如图2A所示的待处理对象的第一图像，或者可以显示如图2B所示的待处理对象的第一表面模型，或者可以显示如图2C所述的待处理对象的表面追踪结果。

通过可视化显示待处理对象的图像、表面模型以及表面模型跟踪结果，可以直观地显示三维模型构建过程，并为用户的扫描操作提供了指引，提高了用户的交互体验。

在一些实施例中，电子设备的交互界面上设置有可以接收用户指令的控件，以接收用户输入的各种指令，例如添加模型指令、暂停指令、恢复指令、切换指令、引导指令等等。其中，所述控件可以是任意形式的控件，例如按键、滑竿等等，本公开对此不进行限制。

在一个示例中，电子设备的显示屏可以是交互界面，所述显示屏在用于进行可视化显示外，还可以用于设置接收用户指令的控件。

在一些实施例中，所述恢复指令可以是用户输入的恢复指令。也即，恢复获取待处理对象的图像的指令可以是用户发出的。

在一些实施例中，在跟踪所述待处理对象过程中，检测到人体离开拍摄画面时，触发恢复指令。在停止获取的状态下，用户可以对待处理对象的姿态进行调整，在拍摄画面会显示人体(例如人手)正在调整待处理对象，而在人体离开所述拍摄预览画面时，表示姿态调整完毕。因此，检测人体离开拍摄画面，相当于检测到对所述待处理对象的姿态调整结束，则可以自动触发恢复指令，以继续获取所述待处理对象的第二图像。

在本公开实施例中，可以由用户自行选择继续获取待处理对象的图像的时机，也可以通过检测到人体离开拍摄画面时自动触发恢复指令，方便灵活，改善了用户的交互体验。

在一些实施例中，可以接收切换指令，并根据所述切换指令对图像采集的模式进行切换，包括从所述第一模式切换至第二模式，或从所述第二模式切换至第一模式。所述切换指令可以在跟踪所述待处理对象的过程中接收，也可以在获取所述待处理对象进行图像的过程中接收。

在一个示例中，在跟踪所述待处理对象的过程中接收第一切换指令，所述第一切换指令用于指示从所述第一模式切换至第二模式，响应于所述第一切换指令，将所述第一模式切换为所述第二模式。也即，在接收停止指令之前，获取图像采集设备以第一模式采集的所述待处理对象的第一图像，在跟踪所述待处理对象的过程中，也即在停止获取的状态下接收到第一切换指令，则当恢复获取图像时，切换至第二模式，并获取图像采集设备以第二模式采集的所述待处理对象的第二图像。

在一个示例中，在获取根据所述第一模式采集的所述待处理对象的第一图像的过程中，接收第二切换指令；响应于所述第二切换指令，将所述第一模式切换为所述第二模式。也即，获取以第一模式采集的所述待处理对象的第一图像，在获取过程中接收到切换指令，则立即获取以第二模式采集的所述待处理对象的第二图像。

在上述示例中，所述第一模式和所述第二模式不同，例如，所述第一模式用于指示在所述待处理对象的第一角度处进行图像采集，所述第二模式用于指示在所述待处理对象的多个角度处进行图像采集。

在本公开实施例中，可以根据待处理对象的状态和拍摄环境切换扫描模式，用户无需完整环绕待处理对象一圈进行扫描，即可以得到完整覆盖所述待处理对象的图像，降低了对于扫描对象、扫描环境、扫描轨迹的要求，便于用户操作，改善了用户的交互体验。

在一些实施例中，跟踪所述待处理对象的过程中，获取所述待处理对象的姿态变化信息；若所述姿态变化信息不符合跟踪条件，输出第一提示信息，其中，所述第一提示信息用于提示用户所述待处理对象的姿态变化不符合跟踪条件。也即，在用户对于待处理对象的姿态调整导致无法对所述待处理对象进行跟踪的情况下，输出第一提示信息，提示用户重新进行调整，以使得能够保持对于所述待处理对象的跟踪。在所述待处理对象的姿态变化不符合跟踪条件的情况下，无法接收恢复指令，也即无法继续获取所述待处理对象的图像。

在一个示例中，所述姿态变化信息包括姿态变化速度，在所述姿态变化速度大于设定速度阈值的情况下，输出所述第一提示信息。也即，在用户调整姿态的速度过快导致无法对所述待处理对象进行跟踪的情况下，输出所述第一提示信息，提示用户重新进行调整并降低调整速度。

在一个示例中，所述姿态变化信息包括姿态变化幅度，在所述姿态变化幅度大于设定角度阈值的情况下，输出所述第一提示信息。也即，在用户调整姿态的幅度过大导致无法对所述待处理对象进行跟踪的情况下，输出所述第一提示信息，提示用户重新进行调整并减小调整幅度。

在一些实施例中，可以在引导模式下对所述待处理对象进行姿态调整。具体地，在跟踪所述待处理对象的过程中，也即在停止获取的状态下，接收引导指令，所述引导指令用于引导用户根据所述待处理对象的设定姿态对所述待处理对象进行姿态调整；响应于所述引导指令，可视化显示所述待处理对象的设定姿态。其中，所述设定姿态是根据已获取的扫描数据、以及满足三维模型构建条件所需的数据计算得到的。

在引导模式下，可视化显示所述待处理对象从当前姿态变化为设定姿态的动画，在旋转至设定姿态后则保持显示所述待处理对象的设定姿态。图3A示出了变化至所述设定姿态的过程中的中间姿态302，图3B示出了所述待处理对象的设定姿态303，并且在图3A和图3B中同时显示所述待处理对象的当前姿态301。

用户可以根据显示界面所显示的动画和/或所述待处理对象的设定姿态，调整所述待处理对象的姿态。图3C示出了用户调整所述待处理对象的姿态的过程，其中显示出所述待处理对象在调整中的当前姿态304。在恢复获取所述待处理对象的图像后，在显示界面中可以显示所述待处理对象的白模，如图3D所示。

在本公开实施例中，在引导模式下可视化显示所述待处理对象从当前姿态变化为设定姿态的动画，便于用户将待处理对象的姿态调整为与显示界面所显示的设定姿态一致。

在一些实施例中，在引导模式下，可以通过接收用户输入的恢复指令停止对所述待处理对象的姿态调整，恢复获取图像，也可以通过以下方式恢复获取图像：在所述待处理对象的姿态调整过程中，获取所述待处理对象的实时姿态信息，若所述实时姿态信息符合所述设定姿态，输出第二提示信息，所述第二指示信息用于提示用户停止对所述待处理对象进行姿态调整。也即，在判断出所述待处理对象的当前姿态与所述设定姿态一致的情况下，则自动触发恢复指令，恢复获取所述待处理对象的图像。

在本公开实施例中，通过在所述待处理对象的当前姿态与所述设定姿态一致的情况下自动触发恢复指令，便于用户将所述待处理对象调整至最佳的扫描状态，提升了三维模型构建效果。

在一些实施例中，还可以在非引导模式下对所述待处理对象进行姿态调整。在该模式下，在跟踪所述待处理对象的过程中，用户自行对所述待处理对象的姿态进行调整。

在一些实施例中，在所述待处理对象与图像采集设备之间的距离处于设定范围内的情况下，获取所述待处理对象的第一图像；在所述待处理对象与采集设备之间的距离处于设定范围内的情况下，获取所述待处理对象的第二图像。也即，在获取所药水瓶待处理对象的图像之前，还进行距离检测，在距离符合采集条件的情况下开始获取图像，否则提示用户距离不符合采集条件。举例来说，本公开实施例可以采用TOF(Time Of Flight，飞行时间)摄像头进行待处理对象的图像采集，在采用TOF摄像头的情况下，所述设定范围可以是0.2～1.5米，也即在TOF摄像头与待处理对象的距离在该范围内的时候才可以获取图像，以保证所获取的图像的质量，从而能够为所构建的三维模型的质量提供保障。本领域技术人员应当理解，所述设定范围的具体数值可以根据图像采集设备的参数来确定，本公开实施例对此不进行限制。

在一些实施例中，在所述待处理对象与图像采集设备之间的距离符合采集条件，并且在停止获取状态下所述待处理对象的姿态变化信息符合跟踪条件的情况下，可以开始获取所述待处理对象的图像，否则不能获取图像，保证了所获取的图像的质量，进而保证了三维模型的构建效果。

在一些实施例中，对于所获取的图像进行平面检测，在三维模型的构建过程中可以将所检测到的平面移除，例如桌面、地面等等，从而能够得到仅包含待处理对象自身的三维模型，如图4A～图4C中从不同角度展示的待处理对象的三维模型。

图5A～图5E示出了本公开至少一个实施例提出的三维模型构建方法的交互界面示意图。其中图5A为默认初始页面，图5B为预扫描页面。如图5A所示，通过点击通用3D重建按键(添加模型按键)，可以进入如图5B所示的预扫描页面；通过对于设置项中可选择的模式进行选择，在进入扫描模式时，可直接进入用户所选择的扫描模式，例如第一模式或第二模式。在进入预扫描状态后，在显示屏中还可以同时呈现拍摄预览画面。通过点击预扫描状态下的开始扫描按键，则可以进入预先选择的扫描模式。

图5C为扫描页面，在所述扫描页面上包括暂停按键，用户可以通过点击暂停按键，停止获取所述待处理对象的图像，进入如图5D或者图5E所示的姿态调整页面，并且在进入姿态调整页面后，所述暂停按键不再显示，而显示用于接收恢复指令的恢复扫描按键，或者所述暂停按键变化为用于接收恢复指令的继续按键；在所述扫描页面上还包括完成按键，用户可以通过点击完成按键，以当前已经获取的第一图像、第二图像和追踪结果进行三维模型的构建；在所述扫描页面上还包括姿态调整模式选项，通过对该选项进行操作，可以选择进入引导模式(自动翻面)或者非引导模式。图5D为非引导模式下的姿态调整页面，在该模式下，页面显示所述待处理对象的当前姿态以及白模跟踪结果；图5E为引导模式下的姿态调整页面，在该模式下，页面显示所述待处理对象的当前姿态以及设定姿态。

图6A～图6B是本公开至少一个实施例提出的三维模型构建方法的模式切换流程图。

如图6A所示，在获取以选定角度扫描模式采集的待处理对象的第一图像的情况下，当接收到暂停指令，停止获取图像，并跟踪待处理对象。当在跟踪所述待处理对象的过程接收到第一切换指令，所述第一切换指令用于指示从选定角度扫描模式切换至静态扫描模式，则在接收到恢复指令并恢复获取图像的情况下，获取以静态扫描模式采集的所述待处理图像的第二图像，从而实现了模式的切换。

如图6B所示，在获取图像采集设备以静态扫描模式采集的待处理对象的第一图像的情况下，当在获取过程中接收到第二切换指令，所述第二切换指令用于指示从静态扫描模式切换到选定角度扫描模式，响应于所述第二切换指令，立即进行模式切换，也即图像采集设备以选定角度模式采集所述待处理对象的第一图像，并获取以选定角度模式采集的第一图像。在获取以选定扫描模式采集的第一图像的过程中，当接收到暂停指令，停止获取图像，并跟踪待处理对象。在接收到恢复指令后，则仍然获取以暂停之前图像采集设备所采用的选定角度模式采集的所述待处理图像的第二图像。

图7为本公开至少一个实施例提供的三维模型构建装置的示意图，所述装置包括：第一获取单元701，用于获取待处理对象的第一图像；第一接收单元702，用于接收暂停指令，所述暂停指令用于指示停止获取所述待处理对象的图像；跟踪单元703，用于响应于所述暂停指令，跟踪所述待处理对象以获得跟踪结果；第二接收单元704，用于接收恢复指令，所述恢复指令用于指示继续获取所述待处理对象的图像；第二获取单元705，用于响应于所述恢复指令，获取所述待处理对象的第二图像，其中，所述第二图像中的所述待处理对象的姿态与所述第一图像中的所述待处理对象的姿态不同；构建单元706，用于根据所述第一图像、所述第二图像以及所述跟踪结果，对所述待处理对象进行三维模型构建。

在一些实施例中，所述第一图像包括第一深度图像，所述第二图像包括第二深度图像，所述装置还包括第一表面模型生成单元，用于根据所述第一深度图像，生成所述待处理对象的第一表面模型；所述跟踪单元在用于跟踪所述待处理对象以获得跟踪结果时，具体用于：根据所述待处理对象的第一表面模型，得到表面模型跟踪结果；所述构建单元具体用于：根据所述第一表面模型、所述表面模型跟踪结果以及所述第二深度图像，对所述待处理对象进行三维模型构建。

在一些实施例中，所述构建单元在用于根据所述第一表面模型、所述表面模型跟踪结果以及所述第二深度图像，对所述待处理对象进行三维模型构建时，具体用于：根据所述表面模型跟踪结果，确定所述第一表面模型在所述第二深度图像中的位置信息；根据所述位置信息确定所述第二深度图像中未构建表面模型的区域，并根据所述区域构建第二表面模型；对所述第一表面模型和所述第二表面模型进行拼接。

在一些实施例中，所述装置还包括可视化单元，用于可视化显示所述待处理对象的第一图像、第二图像、第一表面模型、第二表面模型以及表面模型跟踪结果中的至少一项。

在一些实施例中，所述接收单元具体用于：接收用户输入的恢复指令；或在跟踪所述待处理对象过程中，检测到人体离开拍摄画面时，触发恢复指令。

在一些实施例中，所述第一获取单元具体用于：所述若所述姿态变化信息不符合跟踪条件，输出第一提示信息，包括：在姿态变化速度大于设定速度阈值的情况下，输出所述第一提示信息；或，在姿态变化幅度大于设定角度阈值的情况下，输出所述第一提示信息。

在一些实施例中，所述第一模式和所述第二模式不同，所述第一模式用于指示在所述待处理对象的第一角度处进行图像采集，所述第二模式用于指示在所述待处理对象的多个角度处进行图像采集；所述装置还包括切换单元，用于：在跟踪所述待处理对象的过程中接收第一切换指令，所述第一切换指令用于指示从所述第一模式切换至所述第二模式；响应于所述第一切换指令，将所述第一模式切换为所述第二模式；和/或，在获取根据所述第一模式采集的所述待处理对象的第一图像的过程中，接收第二切换指令；响应于所述第二切换指令，将所述第一模式切换为所述第二模式。

在一些实施例中，所述装置还包括第一提示单元，用于在跟踪所述待处理对象的过程中，获取所述待处理对象的姿态变化信息；若所述姿态变化信息不符合跟踪条件，输出第一提示信息，其中，所述第一提示信息用于提示用户所述待处理对象的姿态变化不符合跟踪条件。

在一些实施例中，所述姿态变化信息包括姿态变化速度，所述若所述姿态变化信息不符合跟踪条件，输出第一提示信息，包括：在所述姿态变化速度大于设定速度阈值的情况下，输出所述第一提示信息。

在一些实施例中，所述姿态变化信息包括姿态变化幅度，所述若所述姿态变化信息不符合跟踪条件，输出第一提示信息，包括：在所述姿态变化幅度大于设定角度阈值的情况下，输出所述第一提示信息。

在一些实施例中，所述装置还包括引导单元，用于在接收恢复指令之前，接收引导指令，所述引导指令用于引导用户根据所述待处理对象的设定姿态对所述待处理对象进行姿态调整；响应于所述引导指令，可视化显示所述待处理对象的设定姿态。

在一些实施例中，所述装置还包括第二提示单元，用于在所述待处理对象的姿态调整过程中，获取所述待处理对象的实时姿态信息；若所述实时姿态信息符合所述设定姿态，输出第二提示信息，所述第二指示信息用于提示用户停止对所述待处理对象进行姿态调整。

在一些实施例中，所述第一获取单元具体用于：在所述待处理对象与图像采集设备之间的距离处于设定范围内的情况下，获取所述待处理对象的第一图像；所述第二获取单元具体用于：在所述待处理对象与图像采集设备之间的距离处于设定范围内的情况下，获取所述待处理对象的第二图像。

根据本公开的一方面，提出一种电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施方式所述的三维模型构建方法。

图8为本公开至少一个实施例提供的电子设备，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开任一实施例所述的三维模型构建方法。

本公开至少一个实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本公开任一实施例所述的三维模型构建方法。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本说明书装置的实施例可以应用在计算机设备上，例如服务器或终端设备。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在文件处理的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，为本说明书装置所在计算机设备的一种硬件结构图，除了处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的服务器或电子设备，通常根据该计算机设备的实际功能，还可以包括其他硬件，对此不再赘述。

本公开可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读命令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本领域技术人员在考虑说明书及实践这里公开的说明书后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

Claims (15)

1.一种三维模型构建方法，其特征在于，所述方法包括：

获取待处理对象的第一图像；

接收暂停指令，所述暂停指令用于指示停止获取所述待处理对象的图像；

响应于所述暂停指令，跟踪所述待处理对象以获得跟踪结果；

接收恢复指令，所述恢复指令用于指示继续获取所述待处理对象的图像；

响应于所述恢复指令，获取所述待处理对象的第二图像，其中，所述第二图像中的所述待处理对象的姿态与所述第一图像中的所述待处理对象的姿态不同；

根据所述第一图像、所述第二图像以及所述跟踪结果，对所述待处理对象进行三维模型构建。

2.根据权利要求1所述的方法，其特征在于，所述第一图像包括第一深度图像，所述第二图像包括第二深度图像，所述方法还包括：

根据所述第一深度图像，生成所述待处理对象的第一表面模型；

所述跟踪所述待处理对象以获得跟踪结果，包括：

根据所述待处理对象的第一表面模型，得到表面模型跟踪结果；

所述根据所述第一图像、所述第二图像以及跟踪结果，对所述待处理对象进行三维模型构建，包括：

根据所述第一表面模型、所述表面模型跟踪结果以及所述第二深度图像，对所述待处理对象进行三维模型构建。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第一表面模型、所述表面模型跟踪结果以及所述第二深度图像，对所述待处理对象进行三维模型构建，包括：

根据所述表面模型跟踪结果，确定所述第一表面模型在所述第二深度图像中的位置信息；

根据所述位置信息确定所述第二深度图像中未构建表面模型的区域，并根据所述区域构建第二表面模型；

对所述第一表面模型和所述第二表面模型进行拼接。

4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：

可视化显示所述待处理对象的第一图像、第二图像、第一表面模型、第二表面模型以及表面模型跟踪结果中的至少一项。

5.根据权利要求4所述的方法，其特征在于，所述接收恢复指令包括：

接收用户输入的恢复指令；或

在跟踪所述待处理对象过程中，检测到人体离开拍摄画面时，触发恢复指令。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述获取待处理对象的第一图像包括：

获取当前的第一模式；

获取图像采集设备以所述第一模式采集的所述待处理对象的第一图像；

所述获取待处理对象的第二图像包括：

获取当前的第二模式；

获取图像采集设备以所述第二模式采集的所述待处理对象的第二图像。

7.根据权利要求6所述的方法，其特征在于，所述第一模式和所述第二模式不同，所述第一模式用于指示在所述待处理对象的第一角度处进行图像采集，所述第二模式用于指示在所述待处理对象的多个角度处进行图像采集；

所述获取当前的第二模式之前，所述方法还包括：

在跟踪所述待处理对象的过程中接收第一切换指令，所述第一切换指令用于指示从所述第一模式切换至所述第二模式；响应于所述第一切换指令，将所述第一模式切换为所述第二模式；

和/或，

在获取图像采集设备以所述第一模式采集的所述待处理对象的第一图像的过程中，接收第二切换指令；响应于所述第二切换指令，将所述第一模式切换为所述第二模式。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：

在跟踪所述待处理对象的过程中，获取所述待处理对象的姿态变化信息；

若所述姿态变化信息不符合跟踪条件，输出第一提示信息，其中，所述第一提示信息用于提示用户所述待处理对象的姿态变化不符合跟踪条件。

9.根据权利要求8所述的方法，其特征在于，所述若所述姿态变化信息不符合跟踪条件，输出第一提示信息，包括：

在姿态变化速度大于设定速度阈值的情况下，输出所述第一提示信息；或，

在姿态变化幅度大于设定角度阈值的情况下，输出所述第一提示信息。

10.根据权利要求4至9任一项所述的方法，其特征在于，在接收恢复指令之前，所述方法还包括：

接收引导指令，所述引导指令用于引导用户根据所述待处理对象的设定姿态对所述待处理对象进行姿态调整；

响应于所述引导指令，可视化显示所述待处理对象的设定姿态。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

在所述待处理对象的姿态调整过程中，获取所述待处理对象的实时姿态信息；

若所述实时姿态信息符合所述设定姿态，输出第二提示信息，所述第二指示信息用于提示用户停止对所述待处理对象进行姿态调整。

12.根据权利要求1至11任一项所述的方法，其特征在于，所述获取待处理对象的第一图像包括：

在所述待处理对象与图像采集设备之间的距离处于设定范围内的情况下，获取所述待处理对象的第一图像；

所述获取待处理对象的第二图像包括：

在所述待处理对象与图像采集设备之间的距离处于设定范围内的情况下，获取所述待处理对象的第二图像。

13.一种三维模型构建装置，其特征在于，所述装置包括：

第一获取单元，用于获取待处理对象的第一图像；

第一接收单元，用于接收暂停指令，所述暂停指令用于指示停止获取所述待处理对象的图像；

跟踪单元，用于响应于所述暂停指令，跟踪所述待处理对象以获得跟踪结果；

第二接收单元，用于接收恢复指令，所述恢复指令用于指示继续获取所述待处理对象的图像；

第二获取单元，用于响应于所述恢复指令，获取所述待处理对象的第二图像，其中，所述第二图像中的所述待处理对象的姿态与所述第一图像中的所述待处理对象的姿态不同；

构建单元，用于根据所述第一图像、所述第二图像以及所述跟踪结果，对所述待处理对象进行三维模型构建。

14.一种电子设备，其特征在于，所述设备包括存储器、处理器，所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求1至12任一项所述的方法。

15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至12任一所述的方法。

Images