CN107330974B - 商品展示方法、装置及移动设备 - Google Patents

Abstract

本发明提出一种商品展示方法、装置及移动设备，该方法包括采集目标商品在结构光下对应的散斑图案，并采集目标商品的平面图像；基于散斑图案的深度信息和平面图像对目标商品进行3D建模，得到第一3D模型；获取搁置目标商品的环境的3D模型并作为第二3D模型；对第一3D模型和第二3D模型进行合成处理，并对合成处理后的模型进行展示。通过本发明能够使得展示目标商品时的信息更加全面，展现角度多维化，使得用户获知目标商品与环境的匹配展示效果，展示结果更加立体化、直观化，提升商品展示效果的同时，提升用户使用体验度。

Description

商品展示方法、装置及移动设备

技术领域

本发明涉及移动设备技术领域，尤其涉及一种商品展示方法、装置及移动设备。

背景技术

随着移动设备的发展，在一些使用场景下，用户会有通过移动设备对所要购买的商品进行浏览的需求。例如，用户对所要购买的商品进行拍照，基于得到的照片获悉该商品的展示效果。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明在于提出一种商品展示方法、装置及移动设备，能够使得展示目标商品时的信息更加全面，展现角度多维化，使得用户获知目标商品与环境的匹配展示效果，展示结果更加立体化、直观化，提升商品展示效果的同时，提升用户使用体验度。

本发明第一方面实施例提出的商品展示方法，包括：采集目标商品在结构光下对应的散斑图案，并采集所述目标商品的平面图像；基于所述散斑图案的深度信息和所述平面图像对所述目标商品进行3D建模，得到第一3D模型；获取搁置所述目标商品的环境的3D模型并作为第二3D模型；对所述第一3D模型和所述第二3D模型进行合成处理，并对合成处理后的模型进行展示。

本发明第一方面实施例提出的商品展示方法，通过采集目标商品在结构光下对应的散斑图案，并采集目标商品的平面图像，并基于散斑图案的深度信息和平面图像对目标商品进行3D建模，得到第一3D模型，获取搁置目标商品的环境的3D模型并作为第二3D模型，以及对第一3D模型和第二3D模型进行合成处理，并对合成处理后的模型进行展示，由于不仅仅对目标商品进行3D建模，还对在展示目标商品时，需要与目标商品进行匹配展示的环境进行3D建模，使得展示目标商品时的信息更加全面，展现角度多维化，使得用户获知目标商品与环境的匹配展示效果，展示结果更加立体化、直观化，提升商品展示效果的同时，提升用户使用体验度。

本发明第二方面实施例提出的商品展示装置，包括：第一采集模块，用于采集目标商品在结构光下对应的散斑图案，并采集所述目标商品的平面图像；第一建模模块，用于基于所述散斑图案的深度信息和所述平面图像对所述目标商品进行3D建模，得到第一3D模型；获取模块，用于获取搁置所述目标商品的环境的3D模型并作为第二3D模型；合成模块，用于对所述第一3D模型和所述第二3D模型进行合成处理，并对合成处理后的模型进行展示。

本发明第二方面实施例提出的商品展示装置，通过采集目标商品在结构光下对应的散斑图案，并采集目标商品的平面图像，并基于散斑图案的深度信息和平面图像对目标商品进行3D建模，得到第一3D模型，获取搁置目标商品的环境的3D模型并作为第二3D模型，以及对第一3D模型和第二3D模型进行合成处理，并对合成处理后的模型进行展示，由于不仅仅对目标商品进行3D建模，还对在展示目标商品时，需要与目标商品进行匹配展示的环境进行3D建模，使得展示目标商品时的信息更加全面，展现角度多维化，使得用户获知目标商品与环境的匹配展示效果，展示结果更加立体化、直观化，提升商品展示效果的同时，提升用户使用体验度。

本发明第三方面实施例提出的商品展示装置，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：采集目标商品在结构光下对应的散斑图案，并采集所述目标商品的平面图像；基于所述散斑图案的深度信息和所述平面图像对所述目标商品进行3D建模，得到第一3D模型；获取搁置所述目标商品的环境的3D模型并作为第二3D模型；对所述第一3D模型和所述第二3D模型进行合成处理，并对合成处理后的模型进行展示。

本发明第三方面实施例提出的商品展示装置，通过采集目标商品在结构光下对应的散斑图案，并采集目标商品的平面图像，并基于散斑图案的深度信息和平面图像对目标商品进行3D建模，得到第一3D模型，获取搁置目标商品的环境的3D模型并作为第二3D模型，以及对第一3D模型和第二3D模型进行合成处理，并对合成处理后的模型进行展示，由于不仅仅对目标商品进行3D建模，还对在展示目标商品时，需要与目标商品进行匹配展示的环境进行3D建模，使得展示目标商品时的信息更加全面，展现角度多维化，使得用户获知目标商品与环境的匹配展示效果，展示结果更加立体化、直观化，提升商品展示效果的同时，提升用户使用体验度。

本发明第四方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行一种商品展示方法，所述方法包括：采集目标商品在结构光下对应的散斑图案，并采集所述目标商品的平面图像；基于所述散斑图案的深度信息和所述平面图像对所述目标商品进行3D建模，得到第一3D模型；获取搁置所述目标商品的环境的3D模型并作为第二3D模型；对所述第一3D模型和所述第二3D模型进行合成处理，并对合成处理后的模型进行展示。

本发明第四方面实施例提出的非临时性计算机可读存储介质，通过采集目标商品在结构光下对应的散斑图案，并采集目标商品的平面图像，并基于散斑图案的深度信息和平面图像对目标商品进行3D建模，得到第一3D模型，获取搁置目标商品的环境的3D模型并作为第二3D模型，以及对第一3D模型和第二3D模型进行合成处理，并对合成处理后的模型进行展示，由于不仅仅对目标商品进行3D建模，还对在展示目标商品时，需要与目标商品进行匹配展示的环境进行3D建模，使得展示目标商品时的信息更加全面，展现角度多维化，使得用户获知目标商品与环境的匹配展示效果，展示结果更加立体化、直观化，提升商品展示效果的同时，提升用户使用体验度。

本发明第五方面还提出一种移动设备，该移动设备包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如本发明第一方面实施例提出的商品展示方法。

本发明第五方面实施例提出的移动设备，通过采集目标商品在结构光下对应的散斑图案，并采集目标商品的平面图像，并基于散斑图案的深度信息和平面图像对目标商品进行3D建模，得到第一3D模型，获取搁置目标商品的环境的3D模型并作为第二3D模型，以及对第一3D模型和第二3D模型进行合成处理，并对合成处理后的模型进行展示，由于不仅仅对目标商品进行3D建模，还对在展示目标商品时，需要与目标商品进行匹配展示的环境进行3D建模，使得展示目标商品时的信息更加全面，展现角度多维化，使得用户获知目标商品与环境的匹配展示效果，展示结果更加立体化、直观化，提升商品展示效果的同时，提升用户使用体验度。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一实施例提出的应用于网络购物的商品展示方法的流程示意图；

图2为相关技术中结构光示意图；

图3为本发明实施例中结构光的投影集合示意图；

图4是本发明另一实施例提出的应用于网络购物的商品展示方法的流程示意图；

图5为一个投射结构光的装置示意图；

图6是本发明另一实施例提出的商品展示方法的流程示意图；

图7是本发明一实施例提出的商品展示装置的结构示意图；

图8是本发明另一实施例提出的商品展示装置的结构示意图；

图9为一个实施例中图像处理电路的示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

图1是本发明一实施例提出的商品展示方法的流程示意图。

本实施例以该商品展示方法被配置为商品展示装置中来举例说明。

该商品展示装置可以设置移动设备中，对此不作限制。

其中，用户可以通过该商品展示装置获得更加立体化、直观化的观看体验。

其中，移动设备例如智能手机、平板电脑、个人数字助理、电子书等具有各种操作***的硬件设备。

参见图1，该方法包括：

步骤101：采集目标商品在结构光下对应的散斑图案，并采集目标商品的平面图像。

其中的目标商品为，当前需要对其进行展示的商品。

其中，已知空间方向光束的投影集合称为结构光，如图2所示，图2为相关技术中结构光示意图，生成结构光的设备可以是将光点、线、光栅、格网或斑纹投影到被测物体上的某种投影设备或仪器，也可以是生成激光束的激光器。

在本发明的实施例中，可以将结构光投射至目标商品上，采集基于结构光下目标商品相关的一些图像数据。由于结构光的物理特性，通过结构光所采集到的图像数据，能够反映出目标商品的深度信息，该深度信息可以例如为目标商品的3D信息，由于不仅仅是基于目标商品的平面图像进行展示，还结合了目标商品的深度信息，因而，提升商品的展示效果。

可选地，参见图3，图3为本发明实施例中结构光的投影集合示意图。以结构光的投影集合为点的集合进行示例，该点的集合可以被称为散斑集合。

本发明实施例中的结构光对应的投影集合具体为散斑集合，即，一个用于投射结构光的装置具体是将光点投射到被测物体上，通过将光点投射到被测物体上，使得生成被测物体在结构光下的散斑集合，而不是将线、光栅、格网或斑纹投影到被测物体上，由于散斑集合所需的存储空间较小，因而，能够避免影响移动设备的运行效率，节约设备的存储空间。

进一步地，在本发明的实施例中，在采集目标商品在结构光下对应的散斑图案时，还采集目标商品的平面图像。例如，可以由移动设备的摄像头对目标商品进行识别，并采集目标商品的平面图像。

可选地，参见图4，在步骤101之前，该方法还包括：

步骤100：在识别到目标商品时，投射结构光。

具体地，移动设备的摄像头可以对拍照范围内的多个商品进行对焦，若在某一个商品上的对焦时间大于或者等于一个预设的阈值时，可以生成询问信息(例如，是否将当前对焦商品确定为目标商品)，并将询问信息显示给用户，待用户基于该询问信息将该商品确定为目标商品时，触发透射结构光，或者，也可以在拍照范围内仅存在有一个商品时，生成询问信息(例如，是否将当前商品确定为目标商品)，并将询问信息显示给用户，待用户基于该询问信息将该商品确定为目标商品时，触发透射结构光，对此不作限制。

在本发明的实施例中，可以预先在移动设备中配置能够投射结构光的装置，进而，在识别到目标商品时，开启该用于投射结构光的装置，以透射结构光。

参见图5，图5为一个投射结构光的装置示意图，以结构光的投影集合为线进行示例，对于投影集合为散斑的结构光的原理类似，该装置可以包括光学投射器和摄像机，其中，光学投射器将一定模式的结构光投射于被测物体表面，在表面上形成由被测物体表面形状所调制的线的三维图像。该三维图像由处于另一位置的摄像机探测，从而获得线的二维畸变图像。线的畸变程度取决于光学投射器与摄像机之间的相对位置和被测物体表面轮廓，直观上，沿线显示出的位移(或偏移)与被测物体表面高度成比例，线的扭曲表示了被测物体平面的变化，不连续显示了被测物体表面的物理间隙，当光学投射器与摄像机之间的相对位置一定时，由线的二维畸变图像坐标便可重现被测物体表面三维轮廓。

通过在识别到目标商品时，才投射结构光，能够节约移动设备的能耗。

步骤102：基于散斑图案的深度信息和平面图像对目标商品进行3D建模，得到第一3D模型。

其中，该深度信息可以具体例如，目标商品的轮廓以及目标商品的距离，轮廓可以例如为，目标商品上的每个点在空间直角坐标系中的坐标值，距离可以例如为目标商品上的每个点相对于一个基准位置的距离，该基准位置可以是移动设备上的某个位置(例如，摄像头所在的位置)，对此不作限制。

具体地，可以根据散斑图像的扭曲获取深度信息。

根据结构光的物理特性，若将其投射在一个立体的被测物体上，则其投影集合的散斑图像会出现散斑扭曲，即，某一些散斑的排布方式与其它散斑出现偏移。

因此，在本发明的实施例中，可以基于这些偏移信息，确定出扭曲的二维散斑图像坐标作为对应的深度信息，并直接根据该深度信息还原出目标商品的轮廓以及目标商品的距离。

其中的平面图像是基于摄像头对目标商品拍照得到的，或者，可以是从移动设备的相册中读取的，对此不作限制。

该平面图像为二维图像。

在本发明的实施例中，可以将根据深度信息还原出的目标商品的轮廓以及目标商品的距离，结合平面图像，进行3D图像合成处理，并将合成处理得到的3D模型作为第一3D模型。

通过基于散斑图案的深度信息和平面图像对目标商品进行3D建模，其中，是基于结构光采集到的散斑图案的深度信息和平面图像合成3D模型，建模方法简单易实现，且数据来源精准，提升商品展示效果的同时，提升商品3D模型的建模效果及效率。

步骤103：获取搁置目标商品的环境的3D模型并作为第二3D模型。

其中，搁置目标商品的环境为，在展示目标商品时，需要与目标商品进行匹配展示的环境，例如，若目标商品为家具，则环境为待搁置该家具的房间，若目标商品为衣服，则环境为待搁置该衣服的衣橱或者3D人体模型，对此不作限制。

进一步地，可以采用与对目标商品进行3D建模的同样的方法，对环境进行3D建模，或者，也可以直接从网络数据库中下载该环境的3D模型，对此不作限制。

网络数据库可以是预先建立的，具体可以采用统计的方式建立数据库，例如，由后台人员对商品类的网站中的数据进行统计，将匹配较多的环境的3D模型保存在数据库中。或者，也可以采用机器学习的方式建立数据库，例如，用网页相关技术如爬虫技术等从网页上得到匹配较多的环境的3D模型保存在数据库中。

在本发明的实施例中，不仅仅对目标商品进行3D建模，还对在展示目标商品时，需要与目标商品进行匹配展示的环境进行3D建模，使得展示目标商品时的信息更加全面，展现角度多维化，提升展现效果。

步骤104：对第一3D模型和第二3D模型进行合成处理，并对合成处理后的模型进行展示。

该合成处理后的模型，用于展示目标商品在环境中的搁置效果。

一些场景下，例如，若目标商品为家具，则环境为待搁置该家具的房间，为了更好的对家具的摆放效果进行展现，可以将家具与房间进行匹配展示，例如，对家具相对应的第一3D模型，和与环境相对应的第二3D模型进行合成处理，并对合成处理后的模型进行展示，通过对合成处理后的模型进行展示，能够使得用户获知目标商品与环境的匹配展示效果，展示结果更加立体化、直观化，提升商品展示效果的同时，提升用户使用体验度。

本实施例中，通过采集目标商品在结构光下对应的散斑图案，并采集目标商品的平面图像，并基于散斑图案的深度信息和平面图像对目标商品进行3D建模，得到第一3D模型，获取搁置目标商品的环境的3D模型并作为第二3D模型，以及对第一3D模型和第二3D模型进行合成处理，并对合成处理后的模型进行展示，由于不仅仅对目标商品进行3D建模，还对在展示目标商品时，需要与目标商品进行匹配展示的环境进行3D建模，使得展示目标商品时的信息更加全面，展现角度多维化，使得用户获知目标商品与环境的匹配展示效果，展示结果更加立体化、直观化，提升商品展示效果的同时，提升用户使用体验度。

图6是本发明另一实施例提出的商品展示方法的流程示意图。

参见图6，该方法包括：

步骤601：采集环境在结构光下对应的散斑图案。

其中，环境为，在展示目标商品时，需要与目标商品进行匹配展示的环境，例如，若目标商品为家具，则环境为待搁置该家具的房间，若目标商品为衣服，则环境为待搁置该衣服的衣橱或者3D人体模型，对此不作限制。

在本发明的实施例中，可以在需要采集环境的深度信息时，启动投射结构光的装置，基于该装置将结构光投射至环境，以采集环境在结构光下对应的散斑图案，也可以直接从互联网上下载结构光对应的散斑图案，对此不作限制。

步骤602：启动摄像头，采集环境对应的平面图像。

进一步地，在本发明的实施例中，在采集环境在结构光下对应的散斑图案时，还采集环境的平面图像。例如，可以由移动设备的摄像头对环境进行识别，并采集环境的平面图像，或者，也可以直接从互联网上下载环境对应的平面图像，对此不作限制。

步骤603：根据对应的散斑图案的深度信息和对应的平面图像对环境进行3D建模，得到环境的3D模型。

其中，可以采用与对目标商品进行3D建模的同样的方法，对环境进行3D建模，或者，也可以直接从网络数据库中下载该环境的3D模型，对此不作限制。

网络数据库可以是预先建立的，具体可以采用统计的方式建立数据库，例如，由后台人员对商品类的网站中的数据进行统计，将匹配较多的环境的3D模型保存在数据库中。或者，也可以采用机器学习的方式建立数据库，例如，用网页相关技术如爬虫技术等从网页上得到匹配较多的环境的3D模型保存在数据库中。

通过基于散斑图案的深度信息和平面图像对环境进行3D建模，其中，是基于结构光采集到的散斑图案的深度信息和平面图像合成环境的3D模型，建模方法简单易实现，且数据来源精准，提升环境的3D模型的建模效果及效率。

步骤604：将环境的3D模型存储在本地存储中。

通过将环境的3D模型存储在本地存储中，能够便于后续直接从本地存储中读取环境的3D模型，提升处理效率。

步骤605：采集目标商品在结构光下对应的散斑图案，并采集目标商品的平面图像。

进一步地，在本发明的实施例中，在采集目标商品在结构光下对应的散斑图案时，还采集目标商品的平面图像。例如，可以由移动设备的摄像头对目标商品进行识别，并采集目标商品的平面图像。

步骤606：基于散斑图案的深度信息和平面图像对目标商品进行3D建模，得到第一3D模型。

其中，该深度信息可以具体例如，目标商品的轮廓以及目标商品的距离，轮廓可以例如为，目标商品上的每个点在空间直角坐标系中的坐标值，距离可以例如为目标商品上的每个点相对于一个基准位置的距离，该基准位置可以是移动设备上的某个位置(例如，摄像头所在的位置)，对此不作限制。

具体地，可以根据散斑图像的扭曲获取深度信息。

根据结构光的物理特性，若将其投射在一个立体的被测物体上，则其投影集合的散斑图像会出现散斑扭曲，即，某一些散斑的排布方式与其它散斑出现偏移。

因此，在本发明的实施例中，可以基于这些偏移信息，确定出扭曲的二维散斑图像坐标作为对应的深度信息，并直接根据该深度信息还原出目标商品的轮廓以及目标商品的距离。

其中的平面图像是基于摄像头对目标商品拍照得到的，或者，可以是从移动设备的相册中读取的，对此不作限制。

该平面图像为二维图像。

在本发明的实施例中，可以将根据深度信息还原出的目标商品的轮廓以及目标商品的距离，结合平面图像，进行3D图像合成处理，并将合成处理得到的3D模型作为第一3D模型。

通过基于散斑图案的深度信息和平面图像对目标商品进行3D建模，其中，是基于结构光采集到的散斑图案的深度信息和平面图像合成3D模型，建模方法简单易实现，且数据来源精准，提升商品展示效果的同时，提升商品3D模型的建模效果及效率。

步骤607：直接从本地存储中获取预存的目标商品的环境的3D模型并作为第二3D模型。

通过直接从本地存储中获取预存的目标商品的环境的3D模型并作为第二3D模型，提升处理效率。

步骤608：对第一3D模型和第二3D模型进行合成处理，并对合成处理后的模型进行展示。

该合成处理后的模型，用于展示目标商品在环境中的搁置效果。

一些场景下，例如，若目标商品为家具，则环境为待搁置该家具的房间，为了更好的对家具的摆放效果进行展现，可以将家具与房间进行匹配展示，例如，对家具相对应的第一3D模型，和与环境相对应的第二3D模型进行合成处理，并对合成处理后的模型进行展示，通过对合成处理后的模型进行展示，能够使得用户获知目标商品与环境的匹配展示效果，展示结果更加立体化、直观化，提升商品展示效果的同时，提升用户使用体验度。

步骤609：接收用户对合成处理后的模型的操作指令。

其中，该操作指令可以用于使用户对第一3D模型在合成处理后的模型中的摆放位置进行调整。

具体地，该操作指令可以例如为，用户可以选中第一3D模型并按照预设的向拖动第一3D模型，对此不作限制。

步骤610：根据操作指令对第一3D模型在合成处理后的模型中的摆放位置进行调整。

通过根据操作指令对第一3D模型在合成处理后的模型中的摆放位置进行调整，可以满足用户对商品展示的多样化需求，使得商品展示呈现不同的展示效果，且便于在不同的展示效果之间调整和切换，提升用户使用体验度。

本实施例中，通过基于散斑图案的深度信息和平面图像对环境进行3D建模，其中，是基于结构光采集到的散斑图案的深度信息和平面图像合成环境的3D模型，建模方法简单易实现，且数据来源精准，提升环境的3D模型的建模效果及效率。通过将环境的3D模型存储在本地存储中，能够便于后续直接从本地存储中读取环境的3D模型，提升处理效率。通过采集目标商品在结构光下对应的散斑图案，并采集目标商品的平面图像，并基于散斑图案的深度信息和平面图像对目标商品进行3D建模，得到第一3D模型，获取搁置目标商品的环境的3D模型并作为第二3D模型，以及对第一3D模型和第二3D模型进行合成处理，并对合成处理后的模型进行展示，由于不仅仅对目标商品进行3D建模，还对在展示目标商品时，需要与目标商品进行匹配展示的环境进行3D建模，使得展示目标商品时的信息更加全面，展现角度多维化，使得用户获知目标商品与环境的匹配展示效果，展示结果更加立体化、直观化，提升商品展示效果的同时，提升用户使用体验度。通过根据操作指令对第一3D模型在合成处理后的模型中的摆放位置进行调整，可以满足用户对商品展示的多样化需求，使得商品展示呈现不同的展示效果，且便于在不同的展示效果之间调整和切换，提升用户使用体验度。

图7是本发明一实施例提出的商品展示装置的结构示意图。

参见图7，该装置700包括：第一采集模块701、第一建模模块702、获取模块703，以及合成模块704，其中，

第一采集模块701，用于采集目标商品在结构光下对应的散斑图案，并采集目标商品的平面图像。

第一建模模块702，用于基于散斑图案的深度信息和平面图像对目标商品进行3D建模，得到第一3D模型。

获取模块703，用于获取搁置目标商品的环境的3D模型并作为第二3D模型。

可选地，一些实施例中，获取模块703，具体用于：

直接从本地存储中获取预存的目标商品的环境的3D模型并作为第二3D模型。

合成模块704，用于对第一3D模型和第二3D模型进行合成处理，并对合成处理后的模型进行展示。

可选地，一些实施例中，参见图8，该装置700还包括：

投射模块705，用于在识别到目标商品时，投射结构光。

第二采集模块706，用于采集环境在结构光下对应的散斑图案。

第三采集模块707，用于启动摄像头，采集环境对应的平面图像。

第二建模模块708，用于根据对应的散斑图案的深度信息和对应的平面图像对环境进行3D建模，得到环境的3D模型。

存储模块709，用于将环境的3D模型存储在本地存储中。

接收模块710，用于接收用户对合成处理后的模型的操作指令。

调整模块711，用于根据操作指令对第一3D模型在合成处理后的模型中的摆放位置进行调整。

需要说明的是，前述图1-图6实施例中对商品展示方法实施例的解释说明也适用于该实施例的商品展示装置700，其实现原理类似，此处不再赘述。

本实施例中，通过采集目标商品在结构光下对应的散斑图案，并采集目标商品的平面图像，并基于散斑图案的深度信息和平面图像对目标商品进行3D建模，得到第一3D模型，获取搁置目标商品的环境的3D模型并作为第二3D模型，以及对第一3D模型和第二3D模型进行合成处理，并对合成处理后的模型进行展示，由于不仅仅对目标商品进行3D建模，还对在展示目标商品时，需要与目标商品进行匹配展示的环境进行3D建模，使得展示目标商品时的信息更加全面，展现角度多维化，使得用户获知目标商品与环境的匹配展示效果，展示结果更加立体化、直观化，提升商品展示效果的同时，提升用户使用体验度。

本发明实施例还提供一种移动设备。上述移动设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图9为一个实施例中图像处理电路的示意图。如图9所示，为便于说明，仅示出与本发明实施例相关的图像处理技术的各个方面。

如图9所示，图像处理电路包括成像设备910、ISP处理器930和控制逻辑器940。成像设备910可包括具有一个或多个透镜912、图像传感器914的照相机和结构光投射器916。结构光投射器916将结构光投影至被测物。其中，该结构光图案可为激光条纹、格雷码、正弦条纹、或者，随机排列的散斑图案等。图像传感器914捕捉投影至被测物形成的结构光图像，并将结构光图像发送至ISP处理器930，由ISP处理器930对结构光图像进行解调获取被测物的深度信息。同时，图像传感器914也可以捕捉被测物的色彩信息。当然，也可以由两个图像传感器914分别捕捉被测物的结构光图像和色彩信息。

其中，以散斑结构光为例，ISP处理器930对结构光图像进行解调，具体包括，从该结构光图像中采集被测物的散斑图像，将被测物的散斑图像与参考散斑图像按照预定算法进行图像数据计算，获取被测物上散斑图像的各个散斑点相对于参考散斑图像中的参考散斑点的移动距离。利用三角法转换计算得到散斑图像的各个散斑点的深度值，并根据该深度值得到被测物的深度信息。

当然，还可以通过双目视觉的方法或基于飞行时差TOF的方法来获取该深度图像信息等，在此不做限定，只要能够获取或通过计算得到被测物的深度信息的方法都属于本实施方式包含的范围。

在ISP处理器930接收到图像传感器914捕捉到的被测物的色彩信息之后，可被测物的色彩信息对应的图像数据进行处理。ISP处理器930对图像数据进行分析以获取可用于确定和/或成像设备910的一个或多个控制参数的图像统计信息。图像传感器914可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器914可获取用图像传感器914的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器930处理的一组原始图像数据。

ISP处理器930按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器930可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器930还可从图像存储器920接收像素数据。图像存储器920可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct MemoryAccess，直接直接存储器存取)特征。

当接收到原始图像数据时，ISP处理器930可进行一个或多个图像处理操作。

在ISP处理器930获取到被测物的色彩信息和深度信息后，可对其进行融合，得到三维图像。其中，可通过外观轮廓提取方法或轮廓特征提取方法中的至少一种提取相应的被测物的特征。例如通过主动形状模型法ASM、主动外观模型法AAM、主成分分析法PCA、离散余弦变换法DCT等方法，提取被测物的特征，在此不做限定。再将分别从深度信息中提取到被测物的特征以及从色彩信息中提取到被测物的特征进行配准和特征融合处理。这里指的融合处理可以是将深度信息以及色彩信息中提取出的特征直接组合，也可以是将不同图像中相同的特征进行权重设定后组合，也可以有其他融合方式，最终根据融合后的特征，生成三维图像。

三维图像的图像数据可发送给图像存储器920，以便在被显示之前进行另外的处理。ISP处理器930从图像存储器920接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器960，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器930的输出还可发送给图像存储器920，且显示器960可从图像存储器920读取图像数据。在一个实施例中，图像存储器920可被配置为实现一个或多个帧缓冲器。此外，ISP处理器930的输出可发送给编码器/解码器950，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器960设备上之前解压缩。编码器/解码器950可由CPU或GPU或协处理器实现。

ISP处理器930确定的图像统计信息可发送给控制逻辑器940单元。控制逻辑器940可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的图像统计信息，确定成像设备910的控制参数。

本发明实施例中，运用图9中图像处理技术实现商品展示方法的步骤可以参见上述实施例，在此不再赘述。

为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，当存储介质中的指令由终端的处理器执行时，使得终端能够执行一种商品展示方法，方法包括：采集目标商品在结构光下对应的散斑图案，并采集目标商品的平面图像；基于散斑图案的深度信息和平面图像对目标商品进行3D建模，得到第一3D模型；获取搁置目标商品的环境的3D模型并作为第二3D模型；对第一3D模型和第二3D模型进行合成处理，并对合成处理后的模型进行展示。

本实施例中的非临时性计算机可读存储介质，通过采集目标商品在结构光下对应的散斑图案，并采集目标商品的平面图像，并基于散斑图案的深度信息和平面图像对目标商品进行3D建模，得到第一3D模型，获取搁置目标商品的环境的3D模型并作为第二3D模型，以及对第一3D模型和第二3D模型进行合成处理，并对合成处理后的模型进行展示，由于不仅仅对目标商品进行3D建模，还对在展示目标商品时，需要与目标商品进行匹配展示的环境进行3D建模，使得展示目标商品时的信息更加全面，展现角度多维化，使得用户获知目标商品与环境的匹配展示效果，展示结果更加立体化、直观化，提升商品展示效果的同时，提升用户使用体验度。

为了实现上述实施例，本发明还提出一种计算机程序产品，当计算机程序产品中的指令被处理器执行时，执行一种商品展示方法，方法包括：采集目标商品在结构光下对应的散斑图案，并采集目标商品的平面图像；基于散斑图案的深度信息和平面图像对目标商品进行3D建模，得到第一3D模型；获取搁置目标商品的环境的3D模型并作为第二3D模型；对第一3D模型和第二3D模型进行合成处理，并对合成处理后的模型进行展示。

本实施例中的计算机程序产品，通过采集目标商品在结构光下对应的散斑图案，并采集目标商品的平面图像，并基于散斑图案的深度信息和平面图像对目标商品进行3D建模，得到第一3D模型，获取搁置目标商品的环境的3D模型并作为第二3D模型，以及对第一3D模型和第二3D模型进行合成处理，并对合成处理后的模型进行展示，由于不仅仅对目标商品进行3D建模，还对在展示目标商品时，需要与目标商品进行匹配展示的环境进行3D建模，使得展示目标商品时的信息更加全面，展现角度多维化，使得用户获知目标商品与环境的匹配展示效果，展示结果更加立体化、直观化，提升商品展示效果的同时，提升用户使用体验度。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种商品展示方法，其特征在于，包括以下步骤：

在识别到目标商品时，投射结构光；在识别到所述目标商品时，投射所述结构光，包括：对拍照范围内的多个商品进行对焦，若在某一个商品上的对焦时间大于或者等于一个预设的阈值时，生成询问信息，并将所述询问信息显示给用户，待所述用户基于所述询问信息将所述商品确定为目标商品时，触发透射所述结构光，或者，在所述拍照范围内仅存在有一个商品时，直接生成所述询问信息，并将所述询问信息显示给用户，待所述用户基于所述询问信息将所述商品确定为目标商品时，触发透射所述结构光；

采集目标商品在结构光下对应的散斑图案，并采集所述目标商品的平面图像；

基于所述散斑图案的深度信息和所述平面图像对所述目标商品进行3D建模，得到第一3D模型；

获取搁置所述目标商品的环境的3D模型并作为第二3D模型；

对所述第一3D模型和所述第二3D模型进行合成处理，并对合成处理后的模型进行展示。

2.如权利要求1所述的商品展示方法，其特征在于，所述获取搁置所述目标商品的环境的3D模型并作为第二3D模型，包括：

直接从本地存储中获取预存的所述目标商品的环境的3D模型并作为所述第二3D模型。

3.如权利要求2所述的商品展示方法，其特征在于，在所述采集目标商品在结构光下对应的散斑图案之前，还包括：

采集所述环境在结构光下对应的散斑图案；

启动摄像头，采集所述环境对应的平面图像；

根据所述对应的散斑图案的深度信息和所述对应的平面图像对所述环境进行3D建模，得到所述环境的3D模型；

将所述环境的3D模型存储在所述本地存储中。

4.如权利要求1-3任一项所述的商品展示方法，其特征在于，在所述对合成处理后的模型进行展示之后，还包括：

接收用户对所述合成处理后的模型的操作指令；

根据所述操作指令对所述第一3D模型在所述合成处理后的模型中的摆放位置进行调整。

5.一种商品展示装置，其特征在于，包括：

投射模块，用于在识别到目标商品时，投射结构光，在识别到所述目标商品时，投射所述结构光，包括：对拍照范围内的多个商品进行对焦，若在某一个商品上的对焦时间大于或者等于一个预设的阈值时，生成询问信息，并将所述询问信息显示给用户，待所述用户基于所述询问信息将所述商品确定为目标商品时，触发透射所述结构光，或者，在所述拍照范围内仅存在有一个商品时，直接生成所述询问信息，并将所述询问信息显示给用户，待所述用户基于所述询问信息将所述商品确定为目标商品时，触发透射所述结构光；

第一采集模块，用于采集目标商品在结构光下对应的散斑图案，并采集所述目标商品的平面图像；

第一建模模块，用于基于所述散斑图案的深度信息和所述平面图像对所述目标商品进行3D建模，得到第一3D模型；

获取模块，用于获取搁置所述目标商品的环境的3D模型并作为第二3D模型；

合成模块，用于对所述第一3D模型和所述第二3D模型进行合成处理，并对合成处理后的模型进行展示。

6.如权利要求5所述的商品展示装置，其特征在于，所述获取模块，具体用于：

直接从本地存储中获取预存的所述目标商品的环境的3D模型并作为所述第二3D模型。

7.如权利要求6所述的商品展示装置，其特征在于，还包括：

第二采集模块，用于采集所述环境在结构光下对应的散斑图案；

第三采集模块，用于启动摄像头，采集所述环境对应的平面图像；

第二建模模块，用于根据所述对应的散斑图案的深度信息和所述对应的平面图像对所述环境进行3D建模，得到所述环境的3D模型；

存储模块，用于将所述环境的3D模型存储在所述本地存储中。

8.如权利要求5-7任一项所述的商品展示装置，其特征在于，还包括：

接收模块，用于接收用户对所述合成处理后的模型的操作指令；

调整模块，用于根据所述操作指令对所述第一3D模型在所述合成处理后的模型中的摆放位置进行调整。

9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的商品展示方法。

10.一种移动设备，包括存储器及处理器，所述存储器中储存有计算机可读指令，所述指令被所述处理器执行时，使得所述处理器执行如权利要求1至4中任一项所述的商品展示方法。

Images