CN112270702A - 体积测量方法及装置、计算机可读介质和电子设备 - Google Patents

Abstract

本公开提供一种体积测量方法及装置、计算机可读介质和电子设备，涉及体积测量技术领域。该方法包括：获取待测量室内环境对应的特征图像以及特征图像对应的实时位姿数据；根据特征图像以及实时位姿数据对待测量室内环境进行体素重建，得到体素重建结果；对体素重建结果进行面绘制处理，得到待测量室内环境对应的网格模型，网格模型包括多个目标体元，目标体元包括至少八个体素；获取体素对应的体素体积，并根据体素体积计算目标体元的体元体积，以根据体元体积计算所述网格模型对应的体积测量数据。本公开能够依据较简单的测量设备实现室内体积的测量，不仅测量精度高，而且能够有效降低硬件成本。

Description

体积测量方法及装置、计算机可读介质和电子设备

技术领域

本公开涉及体积测量技术领域，具体涉及一种体积测量方法、体积测量装置、计算机可读介质和电子设备。

背景技术

在生产和生活中，经常需要对现实中的规则物体或者不规则物体进行体积的测量，例如，对集装箱的容积进行测量、对室内物体占用体积的测量等。

目前，相关的体积测量技术方案中，要么携带专业的测量工具进行手动测量，要么对被测量物体进行视觉标记点标记，然后使用激光测距仪辅助测量。一方面，通过借助专业测量工具进行手动测量，不仅依赖测量工具的精度，而且测量过程繁琐，在测量大型不规则物体，或者复杂环境下的物体体积时，测量效率较低，容易漏测错测，导致测量结果不精确；另一方面，对被测量物体进行视觉标记点标记，然后使用激光测距仪辅助测量，操作不够便捷，同时需要消耗额外的硬件成本和人力成本。

发明内容

本公开的目的在于提供一种体积测量方法、体积测量装置、计算机可读介质和电子设备，进而至少在一定程度上克服相关技术方案中体积测量效率较低、准确度差以及需要消耗额外硬件和人力成本的问题。

根据本公开的第一方面，提供一种体积测量方法，包括：

获取待测量室内环境对应的特征图像以及所述特征图像对应的实时位姿数据；

根据所述特征图像以及所述实时位姿数据对所述待测量室内环境进行体素重建，得到体素重建结果；

对所述体素重建结果进行面绘制处理，得到所述待测量室内环境对应的网格模型，所述网格模型包括多个目标体元，所述目标体元包括至少八个体素；

获取所述体素对应的体素体积，并根据所述体素体积计算所述目标体元的体元体积，以根据所述体元体积计算所述网格模型对应的体积测量数据。

根据本公开的第二方面，提供一种体积测量装置，包括：

位姿数据获取模块，用于获取待测量室内环境对应的特征图像以及所述特征图像对应的实时位姿数据；

体素重建模块，用于根据所述特征图像以及所述实时位姿数据对所述待测量室内环境进行体素重建，得到体素重建结果；

网格模型重建模块，用于对所述体素重建结果进行面绘制处理，得到所述待测量室内环境对应的网格模型，所述网格模型包括多个目标体元，所述目标体元包括至少八个体素；

体积测量数据模块，用于获取所述体素对应的体素体积，并根据所述体素体积计算所述目标体元的体元体积，以根据所述体元体积计算所述网格模型对应的体积测量数据。

根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。

根据本公开的第四方面，提供一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。

本公开的一种实施例所提供的体积测量方法，获取待测量室内环境对应的特征图像以及特征图像对应的实时位姿数据；然后可以根据特征图像以及实时位姿数据对待测量室内环境进行体素重建，得到体素重建结果，根据体素重建结果得到待测量室内环境对应的网格模型，进而可以根据体素体积计算网格模型中目标体元的体元体积，累加体元体积得到待测量室内环境对应的体积测量数据。一方面，根据较容易采集的特征图像以及特征图像对应的实时位姿数据构建体素重建结果，进而根据体素重建结果进行体积计算，不仅不需要依赖专业的测量工具如激光测距仪，不依赖大量的人力，降低硬件成本以及人力成本，而且采集特征图像和实时位姿数据的操作更加简便，提高体积测量的适用人群，提升测量效率；另一方面，根据体素重建结果构建待测量室内环境对应的网格模型，进而根据构成网格模型的体素的体积计算整个待测量室内环境的体积数据，能够有效提升体积测量的测量效率，同时根据较小的体素体积计算待测量室内环境，能够提高体积测量数据的精确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的一种示例性***架构的示意图；

图2示出了可以应用本公开实施例的一种电子设备的示意图；

图3示意性示出本公开示例性实施例中一种体积测量方法的流程图；

图4示意性示出本公开示例性实施例中一种计算实时位姿数据的流程图；

图5示意性示出本公开示例性实施例中一种切分体素的流程图；

图6示意性示出本公开示例性实施例中一种确定带符号距离数据的流程图；

图7示意性示出本公开示例性实施例中一种构建网格模型的流程图；

图8示意性示出本公开示例性实施例中一种目标体元的结构图；

图9示意性示出本公开示例性实施例中一种体元分界面构型的示意图；

图10示意性示出本公开示例性实施例中体积测量装置的组成示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出了可以应用本公开实施例的一种体积测量方法及装置的示例性应用环境的***架构的示意图。

如图1所示，***架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有图像处理功能的电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

本公开实施例所提供的体积测量方法一般由终端设备101、102、103中执行，相应地，体积测量装置一般设置于终端设备101、102、103中。但本领域技术人员容易理解的是，本公开实施例所提供的体积测量方法也可以由服务器105执行，相应的，体积测量装置也可以设置于服务器105中，本示例性实施例中对此不做特殊限定。举例而言，在一种示例性实施例中，可以是用户通过终端设备101、102、103的图像采集单元获取待测量室内环境对应的特征图像，以及通过惯性测量单元获取特征图像对应的实时位姿数据，然后将特征图像以及实时位姿数据上传至服务器105，服务器通过本公开实施例所提供的体积测量方法生成体积测量数据后，将体积测量数据传输给终端设备101、102、103等。

本公开的示例性实施方式提供一种用于实现体积测量方法的电子设备，其可以是图1中的终端设备101、102、103或服务器105。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行体积测量方法。

下面以图2中的移动终端200为例，对电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。在另一些实施方式中，移动终端200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对移动终端200的结构限定。在另一些实施方式中，移动终端200也可以采用与图2不同的接口连接方式，或多种接口连接方式的组合。

如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(subscriber identification module，SIM)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803等。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

处理器210中设置有存储器。存储器可以存储用于实现六个模块化功能的指令：检测指令、连接指令、信息管理指令、分析指令、数据传输指令和通知指令，并由处理器210来控制执行。

移动终端200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏290和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

移动终端200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。其中，ISP用于处理摄像模组291反馈的数据；摄像模组291用于捕获静态图像或视频；数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号；视频编解码器用于对数字视频压缩或解压缩，移动终端200还可以支持一种或多种视频编解码器。

深度传感器2801用于获取景物的深度信息。在一些实施例中，深度传感器可以设置于摄像模组291，例如深度传感器2801也可以是TOF(Time of flight)镜头。

陀螺仪传感器2803(也称惯性测量单元)可以用于确定移动终端200的运动姿态(如实时位姿数据)。在一些实施方式中，可以通过陀螺仪传感器2803确定移动终端200围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器2803可以用于拍摄防抖、导航、体感游戏场景等。

内部存储器221可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储移动终端200使用过程中所创建的数据(比如融合的全局模型等)等。此外，内部存储器221可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(Universal Flash Storage，UFS)等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令，执行移动终端200的各种功能应用以及数据处理。

移动终端200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如播放计算得到的体积测量数据等。

此外，还可以根据实际需要在传感器模块280中设置其他功能的传感器，例如气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器等。

下面对本公开示例性实施方式的体积测量方法和体积测量装置进行具体说明。

图3示出了本示例性实施方式中一种体积测量方法的流程，包括以下步骤S310至S340：

在步骤S310中，获取待测量室内环境对应的特征图像以及所述特征图像对应的实时位姿数据。

在一示例性实施例中，特征图像可以是通过图像采集单元实时采集的包含待测量室内环境的特征信息的图像，例如，特征图像可以是手持设备或智能穿戴设备上搭载的RGB摄像模组采集的待测量室内环境对应的色彩RGB图像，以及TOF镜头采集的色彩RGB图像对应的深度图像，当然，特征图像也可以是搭载手持设备或智能穿戴设备的RGB-D相机(如Kinect相机、Xtion相机、RealSense相机等，本示例实施例不以此为限)采集的包含深度信息的颜色图像，本示例实施例对此不做特殊限定。

实时位姿数据可以是指采集特征图像的相机位姿，例如，实时位姿数据可以是特征图像对应的6DOF(6Degrees Of Freedom，6自由度)位姿，也可以是特征图像对应的3DOF位姿，本示例实施例对此不做特殊限定，可以通过ARCore平台测算特征图像对应的实时位姿数据。ARCore平台通过终端设备的惯性测量单元(如陀螺仪传感器)，惯性测量单元可以实时记录终端设备的加速度和角速度，ARCore平台根据终端设备的加速度和角速度以及相机和惯性测量单元之间的相对位姿，计算得到相机的实时位姿数据，然后通过数据采集应用程序同时记录色彩RGB图像、深度图像和该时刻下的相机位姿，即可完成同步时间戳下的实时位姿数据的采集。

在采集特征图像时，可以通过硬件与软件结合的方式控制图像采集单元，保证色彩RGB图像以及对应的深度图像的时间同步。同时，在采集RGB图像和深度图像时，不能剧烈运动，否则会使图片产生运动模糊，影响位姿解算效果。采集图像的帧率也需要保持连续稳定，尽量避免丢帧现象的发生，例如，可以将图像采集的帧率稳定在25～30fps，以提高采集的当前特征图像的精度。

在步骤S320中，根据所述特征图像以及所述实时位姿数据对所述待测量室内环境进行体素重建，得到体素重建结果。

在一示例性实施例中，体素重建结果可以是指对当前的特征图像以及其他在前时刻特征图像融合得到的全局模型进行体素重建得到的结果，例如，可以基于当前的特征图像、特征图像对应的实时位姿数据和其他在前时刻特征图像融合得到的全局模型，使用TSDF(Truncated Signed Distance Function)算法，计算得到体素重建结果。

在步骤S330中，对所述体素重建结果进行面绘制处理，得到所述待测量室内环境对应的网格模型，所述网格模型包括多个目标体元，所述目标体元包括至少八个体素。

在一示例性实施例中，面绘制处理可以是指根据体素重建结果绘制网格模型的处理过程，例如可以通过移动立方体算法(Marching Cube)对体素重建结果进行三角面抽取，得到网格模型，以实现对体素重建结果的面绘制处理。

体素可以是指描述三维空间的最小单位，相对于二维空间的像素而言，体素的大小取决于最小长方体包围盒的大小以及预设划分体素的数目，例如，体素的大小可以是0.05m*0.05m*0.05m的立方体，本示例实施例对此不做特殊限定。

目标体元可以是指体素重建结果中由相邻的至少八个体素点组成的正方体方格，遍历所有体元，判断每个体元中的八个体素对应的TSDF值的正负性，进而可以将目标体元划分为虚体元、边界体元和实体元，其中，虚体元可以表示该体元对应的8个体素的TSDF值均为负，相反实体元可以表示该体元对应的8个体素的TSDF值均为正，边界体元处于二者之间，目标体元的构建用于对物体表边进行三角面片拟合。

在步骤S340中，获取所述体素对应的体素体积，并根据所述体素体积计算所述目标体元的体元体积，以根据所述体元体积计算所述网格模型对应的体积测量数据。

在一示例性实施例中，网格模型由多个目标体元构成，每个目标体元由多个体素构成，进而可以根据最小长方体包围盒的大小以及预设划分体素的数目计算得到每个体素的体素体积大小，然后根据体素体积计算目标体元的体元体积，最后通过累加每个目标体元的体元体积得到网格模型对应的体积，即待测量室内环境对应的体积测量数据。

下面对步骤S310至S340进行进一步的解释说明。

在一示例性实施例中，可以通过图4中的步骤计算特征图像对应的实时位姿数据，参考图4所示，具体可以包括：

步骤S410，分别获取待测量室内环境对应的所述色彩图像以及所述深度图像；

步骤S420，获取惯性测量数据，并将所述惯性测量数据与所述色彩图像以及所述深度图像进行时间对齐；

步骤S430，通过时间对齐后的所述惯性测量数据计算所述色彩图像以及所述深度图像对应的实时位姿数据。

其中，惯性测量数据可以是指采集特征图像时惯性测量单元采集到的数据，例如，惯性测量数据可以包括但不限于终端设备的加速度和角速度。在通过惯性测量单元(如陀螺仪传感器)采集得到惯性测量数据之后，将惯性测量数据上传到ARCore平台，ARCore平台根据终端设备的加速度和角速度以及相机和惯性测量单元之间的相对位姿，计算得到相机的实时位姿数据。为了提高实时位姿数据的精确性，可以通过数据采集应用程序基于相同的时间戳记录色彩RGB图像、深度图像和同一时刻下的相机位姿，以实现对惯性测量数据与色彩图像以及深度图像的时间对齐，进而将时间对齐后的惯性测量数据上传到ARCore平台以计算得到准确性更高的实时位姿数据。

在一示例性实施例中，可以通过图5中的步骤对待测量室内环境进行体素重建，参考图5所示，具体可以包括：

步骤S510，根据所述特征图像以及所述实时位姿数据构建所述待测量室内环境对应的地图点云数据；

步骤S520，建立包围所述地图点云数据的最小长方体包围盒；

步骤S530，对所述最小长方体包围盒进行切分，得到多个体素，所述体素的体素体积大小取决于所述最小长方体包围盒的体积大小以及切分的数量；

步骤S540，根据切分得到的所述体素对所述待测量室内环境进行体素重建，得到体素重建结果。

其中，地图点云数据可以是通过点云结构记录采集到的待测量室内环境的数据，每一个地图点云数据可以包含一个三维空间坐标，也可以包含颜色信息(RGB)，还可以包含反射强度信息(Intensity)，本示例实施例对此不做特殊限定。可以根据图像采集单元的内参、特征图像以及实时位姿数据构建待测量室内环境对应的地图点云数据，其中，图像采集单元的内参可以包括相机焦距、相机的光圈中心，也可以包括其他与相机相关的内参，本示例实施例对此不做特殊限定。

最小长方体包围盒(Bounding Box)可以是指用体积稍大且特性简单的几何体(称为包围盒)来近似地代替复杂的地图点云数据(或者几何对象)的虚拟长方体。可以根据预设的切分数目对最小长方体包围盒进行切分得到多个体素，例如，包围地图点云数据的最小长方体包围盒的体积大小可以为5m*5m*5m的立方体，预设的切分数量可以是1000000，则切分得到的体素的体素体积大小可以是0.05m*0.05m*0.05m的立方体，当然，此处仅是示意性举例说明，在实际应用过程中，切分数量具体可以根据用户自定义设置的切分数量，或者根据设置的精度级别进行确定，本示例实施例对此不做特殊限定。

具体的，可以通过图6中的步骤通过切分的到的体素对待测量室内环境进行体素重建，参考图6所示，具体可以包括：

步骤S610，确定所述体素在世界坐标系下的三维空间坐标，并通过所述实时位姿数据对所述三维空间坐标进行转化，得到所述体素在对应的所述特征图像的相机坐标系下的相机坐标；

步骤S620，根据所述深度图像以及所述相机坐标确定所述体素对应的深度值；

步骤S630，根据所述体素对应的所述相机坐标以及所述深度值，确定所述体素对应的带符号距离数据，以根据所述带符号距离数据得到所述待测量室内环境对应的体素重建结果。

其中，三维空间坐标可以是指特征图像对应的体素在世界坐标系下对应的坐标，相机坐标可以是指特征图像对应的体素在拍摄特征图像时的相机坐标系下对应的坐标。可以通过实时位姿数据将体素对应的三维空间坐标转化到相机坐标系下得到体素对应的相机坐标。带符号距离数据可以是指当前特征图像对应的体素的TSDF值。

举例而言，对于构造的最小长方体包围盒中的每个体素g，确定体素g为世界坐标系下的三维空间坐标p，由ARCore采集的相机位姿数据，将世界坐标系下的三维空间坐标p转化到当前的特征图像(即该体素对应的特征图像)的相机坐标系下，得到三维空间坐标p在采集当前的特征图像对应的相机坐标系下的相机坐标v，然后由相机内参(如相机焦距、相机光圈中心、相机光圈大小等内参)将相机坐标v投影到成像平面，进而得到体素在特征图像中的像素坐标x，由该像素坐标x对应的深度图像得到像素坐标x对应的深度值value(x)，进而根据体素对应的相机坐标v以及深度值value(x)，确定体素对应的带符号距离数据。

进一步的，可以确定相机坐标到相机坐标系的原点的距离数据，并计算距离数据与深度值对应的差值；然后可以获取预设的截断距离，并根据在截断距离内的差值确定体素对应的带符号距离数据，以根据带符号距离数据得到体素重建结果。

举例而言，可以计算相机坐标v到相机坐标原点的距离，记为distance(v)，然后由相机内参(如相机焦距、相机光圈中心、相机光圈大小等内参)将相机坐标投影到成像平面，进而得到体素在特征图像中的像素坐标x，由该像素坐标x对应的深度图像得到像素坐标x对应的深度值value(x)，可以通过以下关系式(1)计算三维空间坐标p的SDF值：

SDF(p)＝value(x)-distance(v) (1)

其中，SDF(p)可以表示三维空间坐标p的SDF值，value(x)可以表示像素坐标x在深度图像中对应的深度值，distance(v)可以表示相机坐标v到相机坐标原点的距离。如果计算得到的SDF值在截断距离u之外，则不考虑该三维空间坐标p对应的体素；如果计算得到的SDF值在截断距离u之内，则继续判断SDF(p)的正负性，如果SDF(p)>0，则三维空间坐标p对应的体素的带符号距离数据TSDF(p)＝1，如果SDF(p)<0，则三维空间坐标p对应的体素的带符号距离数据TSDF(p)＝-1。

具体的，可以根据距离数据计算体素对应的权重数据；然后可以通过带符号距离数据以及权重数据将体素对应的当前特征图像与全局模型进行体素融合，得到待测量室内环境对应的体素重建结果。

其中，权重数据可以是指将特征图像对应的体素融合到其他在前时刻的特征图像融合得到的全局模型时的权重。

举例而言，可以通过关系式(2)计算特征图像对应的体素的权重数据：

w(p)＝cos(θ)/distance(v) (2)

其中，w(p)可以表示当前的特征图像的体素对应的权重数据，θ可以表示体素对应的像素坐标x的表面法向量与投影光线(或相机视线)的夹角。

然后，可以根据带符号距离数据以及权重数据将体素对应的当前特征图像与全局模型进行体素融合。在融合时，如果体素对应的当前特征图像是采集的第一帧图像，则该当前特征图像就是全局模型的融合结果；如果体素对应的当前特征图像不是采集的第一帧图像，则可以通过关系式组(3)将当前特征图像与全局模型进行体素融合：

其中，TSDF(p)可以表示融合后的体素对应的带符号距离数据，TSDF′(p)可以表示全局模型中的体素对应的带符号距离数据，tsdf(p)可以表示当前特征图像中的体素对应的带符号距离数据，W(p)可以表示融合后得到的全局模型的体素对应的权重数据(在下次融合时就是W′(p))，W′(p)可以表示全局模型中的体素对应的权重数据，w(p)可以表示当前特征图像中的体素对应的权重数据。

在一示例性实施例中，可以通过图7中步骤对体素重建结果进行面绘制处理，得到述待测量室内环境对应的网格模型，参考图7所示，具体可以包括：

步骤S710，通过所述体素重建结果中的体素构建目标体元；

步骤S720，获取体元分界面构型，并根据所述目标体元在所述体元分界面构型中进行匹配；

步骤S730，根据匹配到的体元分界面构型对所述体素重建结果进行面绘制处理，得到所述待测量室内环境对应的网格模型。

其中，体元分界面构型可以是预先根据不同类型的体元构建的分界面构型，体元分界面构型主要有15种分界面构型，通过15种体元分界面构型的旋转变换能够得到总共256种体元分界面构型，进而通过得到的目标体元在256种体元分界面构型匹配对应的分界面构型以得到每个目标体元对应的分界面，进而通过匹配到的体元分界面构型对应的分界面对体素重建结果进行拟合，得到待测量室内环境对应的网格模型。

图8示意性示出本公开示例性实施例中一种目标体元的结构图。

参考图8所示，对体素重建结果中的体素可以构建目标体元，得到的目标体元大致可以分为虚体元801、边界体元802以及实体元803。其中，构成虚体元801的体素1、体素2、体素3、体素4、体素5、体素6、体素7、体素8的TSDF值均为负值，构成边界体元802的体素1、体素3、体素4、体素8的TSDF值为负值，体素2、体素5、体素6、体素7的TSDF值为正值，构成实体元803的体素1、体素2、体素3、体素4、体素5、体素6、体素7、体素8的TSDF值均为正值。当然，此处的边界体元802只是一种示意性举例，边界体元还可以是一个、两个或者三个体素为正值或者负值的体元，本示例实施例对此不做特殊限定。

图9示意性示出本公开示例性实施例中一种体元分界面构型的示意图。

参考图9所示，可以根据不同类型的体元预先构建体元分界面构型，图9中是主要的15种分界面构型，具体可以对这15种分界面构型进行旋转变换得到其他的241中分界面构型，总共得到256种体元分界面构型，进而通过得到的目标体元在256种体元分界面构型匹配对应的分界面构型以得到每个目标体元对应的分界面，进而通过匹配到的体元分界面构型对应的分界面对体素重建结果进行拟合，得到待测量室内环境对应的网格模型。

以这15种体元分界面构型中的体元分界面构型901为例，体元分界面构型901属于边界体元，其中，构成体元分界面构型901体素1、体素2、体素3、体素4、体素5、体素6、体素7的TSDF值为正值，而体素8的TSDF值为负值，则说明体素8与其他体素之间存在分界面，具体根据Marching Cube算法拟合体元分界面构型901对应的分界面(一般由三角面构成)。

综上所述，本示例性实施方式中，一方面，根据较容易采集的特征图像以及特征图像对应的实时位姿数据构建体素重建结果，进而根据体素重建结果进行体积计算，不仅不需要依赖专业的测量工具如激光测距仪，不依赖大量的人力，降低硬件成本以及人力成本，而且采集特征图像和实时位姿数据的操作更加简便，提高体积测量的适用人群，提升测量效率；另一方面，根据体素重建结果构建待测量室内环境对应的网格模型，进而根据构成网格模型的体素的体积计算整个待测量室内环境的体积数据，能够有效提升体积测量的测量效率，同时根据较小的体素体积计算待测量室内环境，能够提高体积测量数据的精确度。

需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

进一步的，参考图10所示，本示例的实施方式中还提供一种体积测量装置1000，包括位姿数据获取模块1010、体素重建模块1020、网格模型重建模块1030以及体积测量数据模块1040。其中：

位姿数据获取模块1010可以用于获取待测量室内环境对应的特征图像以及所述特征图像对应的实时位姿数据；

体素重建模块1020可以用于根据所述特征图像以及所述实时位姿数据对所述待测量室内环境进行体素重建，得到体素重建结果；

网格模型重建模块1030可以用于对所述体素重建结果进行面绘制处理，得到所述待测量室内环境对应的网格模型，所述网格模型包括多个目标体元，所述目标体元包括至少八个体素；

体积测量数据模块1040可以用于获取所述体素对应的体素体积，并根据所述体素体积计算所述目标体元的体元体积，以根据所述体元体积计算所述网格模型对应的体积测量数据。

在一示例性实施例中，位姿数据获取模块1010还可以用于：

分别获取待测量室内环境对应的所述色彩图像以及所述深度图像；

获取惯性测量数据，并将所述惯性测量数据与所述色彩图像以及所述深度图像进行时间对齐；

通过时间对齐后的所述惯性测量数据计算所述色彩图像以及所述深度图像对应的实时位姿数据。

在一示例性实施例中，体素重建模块1020还包括：

地图点云数据构建单元，用于根据所述特征图像以及所述实时位姿数据构建所述待测量室内环境对应的地图点云数据；

包围盒建立单元，用于建立包围所述地图点云数据的最小长方体包围盒；

体素构建单元，用于对所述最小长方体包围盒进行切分，得到多个体素，所述体素的体素体积大小取决于所述最小长方体包围盒的体积大小以及切分的数量；

体素重建单元，用于根据切分得到的所述体素对所述待测量室内环境进行体素重建，得到体素重建结果。

在一示例性实施例中，体素重建单元还包括：

坐标转化子单元，用于确定所述体素在世界坐标系下的三维空间坐标，并通过所述实时位姿数据对所述三维空间坐标进行转化，得到所述体素在对应的所述特征图像的相机坐标系下的相机坐标；

深度值计算子单元，用于根据所述深度图像以及所述相机坐标确定所述体素对应的深度值；

体素重建子单元，用于根据所述体素对应的所述相机坐标以及所述深度值，确定所述体素对应的带符号距离数据，以根据所述带符号距离数据得到所述待测量室内环境对应的体素重建结果。

在一示例性实施例中，体素重建子单元还可以用于：

确定所述相机坐标到所述相机坐标系的原点的距离数据，并计算所述距离数据与所述深度值对应的差值；

获取预设的截断距离，并根据在所述截断距离内的所述差值确定所述体素对应的带符号距离数据，以根据所述带符号距离数据得到体素重建结果。

在一示例性实施例中，体素重建子单元还可以用于：

根据所述距离数据计算所述体素对应的权重数据；

通过所述带符号距离数据以及所述权重数据将所述体素对应的当前特征图像与全局模型进行体素融合，得到所述待测量室内环境对应的体素重建结果。

在一示例性实施例中，网格模型重建模块1030还可以用于：

通过所述体素重建结果中的体素构建目标体元；

获取体元分界面构型，并根据所述目标体元在所述体元分界面构型中进行匹配；

根据匹配到的体元分界面构型对所述体素重建结果进行面绘制处理，得到所述待测量室内环境对应的网格模型。

上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为***、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“***”。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3至图7中任意一个或多个步骤。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种体积测量方法，其特征在于，包括：

获取待测量室内环境对应的特征图像以及所述特征图像对应的实时位姿数据；

根据所述特征图像以及所述实时位姿数据对所述待测量室内环境进行体素重建，得到体素重建结果；

对所述体素重建结果进行面绘制处理，得到所述待测量室内环境对应的网格模型，所述网格模型包括多个目标体元，所述目标体元包括至少八个体素；

获取所述体素对应的体素体积，并根据所述体素体积计算所述目标体元的体元体积，以根据所述体元体积计算所述网格模型对应的体积测量数据。

2.根据权利要求1所述的方法，其特征在于，所述特征图像包括色彩图像以及深度图像，所述获取待测量室内环境对应的特征图像以及所述特征图像对应的实时位姿数据，包括：

分别获取待测量室内环境对应的所述色彩图像以及所述深度图像；

获取惯性测量数据，并将所述惯性测量数据与所述色彩图像以及所述深度图像进行时间对齐；

通过时间对齐后的所述惯性测量数据计算所述色彩图像以及所述深度图像对应的实时位姿数据。

3.根据权利要求1所述的方法，其特征在于，所根据所述特征图像以及所述实时位姿数据对所述待测量室内环境进行体素重建，得到体素重建结果，包括：

根据所述特征图像以及所述实时位姿数据构建所述待测量室内环境对应的地图点云数据；

建立包围所述地图点云数据的最小长方体包围盒；

对所述最小长方体包围盒进行切分，得到多个体素，所述体素的体素体积大小取决于所述最小长方体包围盒的体积大小以及切分的数量；

根据切分得到的所述体素对所述待测量室内环境进行体素重建，得到体素重建结果。

4.根据权利要求2或3任意一项所述的方法，其特征在于，根据切分得到的所述体素对所述待测量室内环境进行体素重建，得到体素重建结果，包括：

确定所述体素在世界坐标系下的三维空间坐标，并通过所述实时位姿数据对所述三维空间坐标进行转化，得到所述体素在对应的所述特征图像的相机坐标系下的相机坐标；

根据所述深度图像以及所述相机坐标确定所述体素对应的深度值；

根据所述体素对应的所述相机坐标以及所述深度值，确定所述体素对应的带符号距离数据，以根据所述带符号距离数据得到所述待测量室内环境对应的体素重建结果。

5.根据权利要求4所述的方法，其特征在于，根据所述体素对应的所述相机坐标以及所述深度值，确定所述体素对应的带符号距离数据，以根据所述带符号距离数据得到体素重建结果，包括：

确定所述相机坐标到所述相机坐标系的原点的距离数据，并计算所述距离数据与所述深度值对应的差值；

获取预设的截断距离，并根据在所述截断距离内的所述差值确定所述体素对应的带符号距离数据，以根据所述带符号距离数据得到体素重建结果。

6.根据权利要求5所述的方法，其特征在于，所述根据所述带符号距离数据得到所述待测量室内环境对应的体素重建结果，包括：

根据所述距离数据计算所述体素对应的权重数据；

通过所述带符号距离数据以及所述权重数据将所述体素对应的当前特征图像与全局模型进行体素融合，得到所述待测量室内环境对应的体素重建结果。

7.根据权利要求1所述的方法，其特征在于，所述对所述体素重建结果进行面绘制处理，得到所述待测量室内环境对应的网格模型，包括：

通过所述体素重建结果中的体素构建目标体元；

获取体元分界面构型，并根据所述目标体元在所述体元分界面构型中进行匹配；

根据匹配到的体元分界面构型对所述体素重建结果进行面绘制处理，得到所述待测量室内环境对应的网格模型。

8.一种体积测量装置，其特征在于，包括：

位姿数据获取模块，用于获取待测量室内环境对应的特征图像以及所述特征图像对应的实时位姿数据；

体素重建模块，用于根据所述特征图像以及所述实时位姿数据对所述待测量室内环境进行体素重建，得到体素重建结果；

网格模型重建模块，用于对所述体素重建结果进行面绘制处理，得到所述待测量室内环境对应的网格模型，所述网格模型包括多个目标体元，所述目标体元包括至少八个体素；

体积测量数据模块，用于获取所述体素对应的体素体积，并根据所述体素体积计算所述目标体元的体元体积，以根据所述体元体积计算所述网格模型对应的体积测量数据。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的方法。

Images