CN115617221A - 呈现方法、装置、设备和存储介质 - Google Patents

Abstract

根据本公开的实施例，提供了呈现方法、装置、设备和存储介质。在该方法中，接收用户对呈现空间的三维模型的请求，三维模型基于空间的点云数据被生成；在用户界面上呈现三维模型与外侧面的叠加视图；以及响应于用户对三维模型的预定操作，调整叠加视图在用户界面上被呈现的视角。以此方式，增强了空间的三维模型的展示效果，提高了用户体验。

Description

呈现方法、装置、设备和存储介质

技术领域

本公开的示例实施例总体涉及计算机领域，特别地涉及呈现方法、装置、设备和存储介质。

背景技术

全景图像可以提供室内外场景的广角视图，例如，可以呈现特定场景中水平360°、俯仰180°等角度的视觉信息。这种新颖的图像展现方式正在被各行各业所应用。例如，旅游、房产、酒店、展览等行业都使用了全景图像展示。为了使用户获得更丰富的视觉体验，可以基于目标场景的全景图像提供关于目标场景的三维模型展示。期望为用户提供三维模型较好的展示效果。

发明内容

在本公开的第一方面，提供了一种呈现方法。该方法包括接收用户对呈现空间的三维模型的请求，三维模型基于空间的点云数据被生成；在用户界面上呈现三维模型与外侧面的叠加视图；以及响应于用户对所述三维模型的预定操作，调整所述叠加视图在所述用户界面上被呈现的视角。

在本公开的第二方面，提供了一种呈现装置。该装置包括接收模块，被配置为接收用户对呈现空间的三维模型的请求，三维模型基于空间的点云数据被生成；呈现模块，被配置为在用户界面上呈现三维模型与外侧面的叠加视图；以及调整模块，被配置为响应于用户对所述三维模型的预定操作，调整所述叠加视图在所述用户界面上被呈现的视角。

在本公开的第三方面，提供了一种电子设备。该设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使设备执行第一方面的方法。

在本公开的第四方面，提供了一种计算机可读存储介质。介质上存储有计算机程序，程序被处理器执行时实现第一方面的方法。

应当理解，本发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。

附图说明

结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：

图1示出了本公开的实施例能够在其中实现的示例环境的示意图；

图2示出了根据本公开的一些实施例的呈现过程的流程图；

图3示出了根据本公开的一些实施例的示例用户界面；

图4示出根据本公开的一些实施例的呈现装置的框图；以及

图5示出了能够实施本公开的多个实施例的设备的框图。

具体实施方式

下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的一些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。

在此使用的术语“点云”是指点的集合，这些点是基于图像生成的，其可以具有图像中的对象的位置信息，例如，各对象的三维坐标。点云还可以具有与图像有关的颜色、反射强度等信息。在此使用的术语“点云数据”是点云的数据表示。利用点云数据，可以构建在其中捕获图像的空间的三维模型。

在此使用的术语“响应于”表示相应的事件发生或者条件得以满足的状态。将会理解，响应于该事件或者条件而被执行的后续动作的执行时机，与该事件发生或者条件成立的时间，二者之间未必是强关联的。例如，在某些情况下，后续动作可在事件发生或者条件成立时立即被执行；而在另一些情况下，后续动作可在事件发生或者条件成立后经过一段时间才被执行。

在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其他明确的和隐含的定义。

可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获得或使用)应当遵循相应法律法规及相关规定的要求。

可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当根据相关法律法规通过适当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。

例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获得和使用到用户的个人信息，从而使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。

作为一种可选的但非限制性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式，例如可以是弹出窗口的方式，弹出窗口中可以以文字的方式呈现提示信息。此外，弹出窗口中还可以承载供用户选择“同意”或“不同意”向电子设备提供个人信息的选择控件。

可以理解的是，上述通知和获得用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其他满足相关法律法规的方式也可应用于本公开的实现方式中。

在房屋租售、房屋装修、房屋建模等行业，需要展示房屋的布局。可以基于在房屋内拍摄的图像(例如，全景图像)来构建房屋的二维平面图和三维模型。例如，采集人员可以使用专门的相机在房屋中的多个位置采集图像。基于采集到的图像，可以生成房屋的点云数据，并且继而生成房屋的二维平面图和/或三维模型。

在房屋建模过程中，通常只有采集到相关数据的房屋部分才能构建模型。如果房间内摆放了物体，则物体后面的墙面由于被物体遮挡而采集不到相关数据，从而无法构建相应的模型。例如，客厅的电视墙会被电视机遮挡，所以电视墙的一部分可能无法建模。这会导致用户从模型外部看到的外侧墙面是凹凸不平的，会令用户产生比较强的破碎感，无法在整体上很好地获得模型的结构信息。

本公开的实施例提出了一种展示空间的三维模型的方案。根据该方案，响应于用户对呈现空间的三维模型的请求，在用户界面上呈现三维模型和外侧面的叠加视图。该外侧面可以贴在、罩在或者套在三维模型的外侧。响应于用户对三维模型的预定操作，调整叠加视图在用户界面上被呈现的视角。

以此方式，在用户从模型外部观察空间(例如，房屋)的三维模型时，可以看到外侧面(例如，房屋的外墙面)呈现的视觉效果。该外侧面可以修补模型侧面的缺失部分，增强了模型的结构感和立体感。这样，用户可以从模型外部快速地获知空间的结构，提高了用户体验。

图1示出了本公开的实施例能够在其中实现的示例环境100的示意图。

在环境100中，电子设备110中安装有应用115。用户120可以经由电子设备110和/或电子设备110的附接设备(未示出)来与应用115进行交互。应用115可以是图像展示类应用，其能够向用户120提供目标空间(例如，房屋)的平面图或模型的呈现和展示，等等。

在一些实施例中，电子设备110可以不需要安装应用115，而以其他方式，例如通过网页访问的方式提供与用户120的交互。由此，为用户120提供了非常灵活的交互方式。

电子设备110可以是任意类型的移动终端、固定终端或便携式终端，包括移动手机、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、媒体计算机、多媒体平板、个人通信***(PCS)设备、个人导航设备、个人数字助理(PDA)、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者前述各项的任意组合，包括这些设备的配件和外设或者其任意组合。在一些实施例中，电子设备110也能够支持任意类型的针对用户的接口(诸如“可佩戴”电路等)。

在一些实施例中，电子设备110可以与远端的服务器122通信，借助服务器122对目标空间的三维模型和平面图进行构建和展示。在一些实施例中，服务器122还可以提供对模型和/或平面图的数据的存储功能、特定处理任务等等，以扩展电子设备110的存储和处理能力。在本公开的上下文中，模型和/或平面图的数据是指模型和/或平面图的数据表示。服务器122可以是能够提供计算能力的各种类型的计算***，包括但不限于大型机、边缘计算节点、云环境中的计算设备，等等。

目标空间的三维模型可以是基于目标空间的点云数据生成的。点云数据可以是基于在目标空间中捕获的图像生成的。点云数据可以包含与目标空间相关联的位置信息，例如，可以包括所捕获的图像中的对象的三维坐标。而且，点云数据还可以包括与图像有关的颜色和/或反射强度等信息。

电子设备110或应用115可以响应于用户120的请求提供输出125。例如，响应于用户120对于呈现空间的三维模型的请求，可以在用户界面中呈现三维模型的视图。根据本公开的实施例，该视图是外侧面与三维模型的叠加视图。该外侧面可以修补模型侧面的缺失部分，增强了模型展示的立体效果，提高了用户体验。

图2示出了根据本公开的一些实施例的呈现过程200的流程图。过程200可以在电子设备110处实现。为便于讨论，将结合图1的环境100来描述过程200。

在框210，接收用户120对呈现空间的三维模型的请求。该三维模型是基于空间的点云数据生成的。在一些实施例中，用户的请求可以包括对用户界面上的用于呈现模型的控件的预定操作。响应于检测用户120对该控件的预定操作，可以确定接收到相应的请求。备选地或附加地，用户120可以通过对特定硬件按键的触发、手势以及语音等其他操作方式，来请求呈现空间的三维模型。

在框220，在用户界面上呈现三维模型与外侧面的叠加视图。在一些实施例中，外侧面可以基于空间的平面图的数据被生成，该平面图是基于三维模型生成的。例如，空间的平面图可以根据三维模型的俯视投影图而生成。基于三维模型生成平面图的其他方式也可以在此使用。基于空间(例如，房屋)的平面图的数据，可以生成围在空间外侧的外侧面(例如，外墙面)。由此，可以将基于三维模型生成的空间的平面图与三维模型结合，以平面图的数据为基础，生成三维模型的外侧面。还可以其他方式生成三维模型的外侧面，本公开的范围在此方面不受限制。

在一些实施例中，可以由电子设备110生成该外侧面。例如，电子设备110可以利用前端渲染技术，基于平面图的数据生成三维模型的外侧面。以此方式，可以进一步提高模型呈现速度，并且减少网络的流量消耗。

备选地或附加地，外侧面可以由服务器122例如利用后端渲染技术生成，再发送给电子设备110以供展示。当前已知以及将来开发的任意图像渲染技术都可以在此使用，本公开的范围在此方面不受限制。

在一些实施例中，外侧面可以实现为通过渲染得到的图层(称为“第一图层”)。第一图层可以与通过渲染得到的三维模型的图层(称为“第二图层”)叠加，以生成叠加图层。基于该叠加图层可以生成在用户界面上呈现的叠加视图。

如果空间的内壁被摆放的物体遮挡导致无法构建相应的三维模型，则会造成模型的外侧面看起来凹凸不平。通过以平面图的数据为基础，构建模型的外侧面，并且套在或者围在模型原本的外侧面外部，可以遮盖模型的缺失部分，增强模型结构的可视性。

在一些实施例中，所生成的外侧面的上边缘和/或下边缘可以具有突出结构。从而，进一步增强模型的视觉立体感。

图3示出了根据本公开的一些实施例的呈现外贴了外侧面的三维模型的示例用户界面300。

如图3所示，在用户界面300上，呈现了作为空间的示例的房屋的三维模型与基于房屋的平面图数据生成的外侧面的叠加视图305。外贴在三维模型的外侧面可以修补模型的缺失，使模型呈现出更好的视觉效果。

在此示例中，如图3所示，外侧面的上边缘和下边缘都具有突出结构310(例如，棱状结构)。由此，可以进一步增强模型结构的立体效果。

接下来，继续参考图2，在框230，响应于用户对三维模型的预定操作，调整三维模型与外侧面的叠加视图在用户界面上被呈现的视角。由此，叠加视图305的呈现视角可以基于用户120的操控而调整。以此方式，用户120可以控制三维模型的展示角度，为用户操作提供了更大的灵活性。

例如，可以响应于检测到预定手势，根据该手势改变如图3所示的叠加视图305的视图被呈现的视角。作为示例，响应于用户120向右滑动的手势，叠加视图305的视角可以随之向右旋转。类似地，响应于用户120向左滑动的手势，叠加视图305的视角可以随之向左旋转。备选地或附加地，用户120可以采用特定界面元素的点击、特定硬件按键的触发以及语音等其他操作方式，来控制叠加视图305的呈现视角。

在一些实施例中，外侧面的视图(称为“第一视图”)和三维模型的视图(称为“第二视图”)的视角可以被同步改变。由此，可以达到随着用户操控，外侧面和三维模型整体旋转和/或移动的效果。

在一些实施例中，外侧面的第一视图可以是半透明的，如图3所示。这样，用户可以透过外侧面看到模型内部的布置和结构，进一步增强了模型的结构感，提高了用户体验。

在一些实施例中，外侧面的第一视图的透明度可以随模型和/或外侧面的呈现视角的调整而改变。例如，在用户120以45度的俯视角观察模型时，透明度可以低一些。随着俯视角逐渐减小，例如，如果用户120转为对模型进行平视，则透明度会变高。以此方式，可以模拟由于光线变化产生的视觉效果变化，进一步提高用户体验。

图4示出了根据本公开的一些实施例的呈现空间的三维模型的装置400的示意性结构框图。装置400可以被实现为或者被包括在电子设备110中。

如图4所示，装置400包括平面图接收模块410、呈现模块420和调整模块430。接收模块410被配置为接收用户对呈现空间的三维模型的请求，三维模型基于空间的点云数据被生成。呈现模块420被配置为在用户界面上呈现三维模型与外侧面的叠加视图。调整模块430被配置为响应于用户对三维模型的预定操作，调整叠加视图在用户界面上被呈现的视角。

在一些实施例中，装置400还可以包括生成模块，其被配置为基于空间的平面图的数据，生成三维模型的外侧面，该平面图基于三维模型被生成。

在一些实施例中，外侧面是通过渲染得到的第一图层。叠加视图基于第一图层与通过渲染得到的三维模型的第二图层的叠加图层而被生成。

在一些实施例中，外侧面的第一视图和三维模型的第二视图的视角可以被同步改变。

在一些实施例中，外侧面的第一视图可以是半透明的，并且第一视图的透明度可以随视角的调整而改变。

在一些实施例中，外侧面的上边缘和/或下边缘可以具有突出结构。

应当理解，上文参考图1至图3讨论的关于过程200的特征和效果同样适用于装置400，在此不再赘述。另外，装置400中所包括的模块可以利用各种方式来实现，包括软件、硬件、固件或其任意组合。在一些实施例中，一个或多个模块可以使用软件和/或固件来实现，例如存储在存储介质上的机器可执行指令。除了机器可执行指令之外或者作为替代，装置400中的部分或者全部模块可以至少部分地由一个或多个硬件逻辑组件来实现。作为示例而非限制，可以使用的示范类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准品(ASSP)、片上***(SOC)、复杂可编程逻辑器件(CPLD)，等等。

图5示出了示出了其中可以实施本公开的一个或多个实施例的电子设备500的框图。应当理解，图5所示出的电子设备500仅仅是示例性的，而不应当构成对本文所描述的实施例的功能和范围的任何限制。图5所示出的电子设备500可以用于实现图1的电子设备110。

如图5所示，电子设备500是通用计算设备的形式。电子设备500的组件可以包括但不限于一个或多个处理器或处理单元510、存储器520、存储设备530、一个或多个通信单元540、一个或多个输入设备550以及一个或多个输出设备560。处理单元510可以是实际或虚拟处理器并且能够根据存储器520中存储的程序来执行各种处理。在多处理器***中，多个处理单元并行执行计算机可执行指令，以提高电子设备500的并行处理能力。

电子设备500通常包括多个计算机存储介质。这样的介质可以是电子设备500可访问的任何可以获得的介质，包括但不限于易失性和非易失性介质、可拆卸和不可拆卸介质。存储器520可以是易失性存储器(例如寄存器、高速缓存、随机访问存储器(RAM))、非易失性存储器(例如，只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存)或它们的某种组合。存储设备530可以是可拆卸或不可拆卸的介质，并且可以包括机器可读介质，诸如闪存驱动、磁盘或者任何其他介质，其可以能够用于存储信息和/或数据(例如用于训练的训练数据)并且可以在电子设备500内被访问。

电子设备500可以进一步包括另外的可拆卸/不可拆卸、易失性/非易失性存储介质。尽管未在图5中示出，可以提供用于从可拆卸、非易失性磁盘(例如“软盘”)进行读取或写入的磁盘驱动和用于从可拆卸、非易失性光盘进行读取或写入的光盘驱动。在这些情况中，每个驱动可以由一个或多个数据介质接口被连接至总线(未示出)。存储器520可以包括计算机程序产品525，其具有一个或多个程序模块，这些程序模块被配置为执行本公开的各种实施例的各种方法或动作。

通信单元540实现通过通信介质与其他计算设备进行通信。附加地，电子设备500的组件的功能可以以单个计算集群或多个计算机器来实现，这些计算机器能够通过通信连接进行通信。因此，电子设备500可以使用与一个或多个其他服务器、网络个人计算机(PC)或者另一个网络节点的逻辑连接来在联网环境中进行操作。

输入设备550可以是一个或多个输入设备，例如鼠标、键盘、追踪球等。输出设备560可以是一个或多个输出设备，例如显示器、扬声器、打印机等。电子设备500还可以根据需要通过通信单元540与一个或多个外部设备(未示出)进行通信，外部设备诸如存储设备、显示设备等，与一个或多个使得用户与电子设备500交互的设备进行通信，或者与使得电子设备500与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以经由输入/输出(I/O)接口(未示出)来执行。

根据本公开的示例性实现方式，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，其中计算机可执行指令被处理器执行以实现上文描述的方法。根据本公开的示例性实现方式，还提供了一种计算机程序产品，计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括计算机可执行指令，而计算机可执行指令被处理器执行以实现上文描述的方法。

这里参照根据本公开实现的方法、装置、设备和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。

这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。

可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。

附图中的流程图和框图显示了根据本公开的多个实现的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实现，上述说明是示例性的，并非穷尽性的，并且也不限于所公开的各实现。在不偏离所说明的各实现的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实现的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文公开的各个实现方式。

Claims (14)

1.一种呈现方法，包括：

接收用户对呈现空间的三维模型的请求，所述三维模型基于所述空间的点云数据被生成；

在用户界面上呈现所述三维模型与外侧面的叠加视图；以及

响应于用户对所述三维模型的预定操作，调整所述叠加视图在所述用户界面上被呈现的视角。

2.根据权利要求1所述的方法，还包括：

基于所述空间的平面图的数据，生成所述外侧面，所述平面图基于所述三维模型被生成。

3.根据权利要求1或2所述的方法，其中所述外侧面是通过渲染得到的第一图层，并且其所述外侧面是通过渲染得到的第一图层，并且所述叠加视图基于所述第一图层与通过渲染得到的所述三维模型的第二图层的叠加图层而被生成。

4.根据权利要求1所述的方法，其中所述外侧面的第一视图和所述三维模型的第二视图的视角被同步改变。

5.根据权利要求4所述的方法，其中所述外侧面的第一视图是半透明的，并且所述第一视图的透明度随所述视角的调整而改变。

6.根据权利要求1所述的方法，其中所述外侧面的上边缘和/或下边缘具有突出结构。

7.一种呈现装置，包括：

接收模块，被配置为接收用户对呈现空间的三维模型的请求，所述三维模型基于所述空间的点云数据被生成；

呈现模块，被配置为在用户界面上呈现所述三维模型与外侧面的叠加视图；以及

调整模块，被配置为响应于用户对所述三维模型的预定操作，调整所述叠加视图在所述用户界面上被呈现的视角。

8.根据权利要求7所述的装置，还包括：

生成模块，被配置为基于所述空间的平面图的数据，生成所述外侧面，所述平面图基于所述三维模型被生成。

9.根据权利要求7或8所述的装置，其中所述外侧面是通过渲染得到的第一图层，并且所述叠加视图基于所述第一图层与通过渲染得到的所述三维模型的第二图层的叠加图层而被生成。

10.根据权利要求7所述的装置，其中所述外侧面的第一视图和所述三维模型的第二视图的视角被同步改变。

11.根据权利要求10所述的装置，其中所述外侧面的第一视图是半透明的，并且所述第一视图的透明度随所述视角的调整而改变。

12.根据权利要求7所述的装置，其中所述外侧面的上边缘和/或下边缘具有突出结构。

13.一种电子设备，包括：

至少一个处理单元；以及

至少一个存储器，所述至少一个存储器被耦合到所述至少一个处理单元并且存储用于由所述至少一个处理单元执行的指令，所述指令在由所述至少一个处理单元执行时使所述设备执行根据权利要求1至6中任一项所述的方法。

14.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1至6中任一项所述的方法。

Images