CN112446227A - 物体检测方法、装置及设备 - Google Patents

Abstract

本申请公开了物体检测方法、装置及设备，车辆行驶信息确定方法、装置及设备。其中，物体检测方法包括：根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将第一特征数据和第二特征数据作为第一体素的第三特征数据；通过网络深度与第一空间分辨率对应的二维特征提取模型，根据第三特征数据生成目标空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息。采用这种处理方式，可以有效兼顾较高的物体检测准确度及较快的检测速度。

Description

物体检测方法、装置及设备

技术领域

本申请涉及图像处理技术领域，具体涉及物体检测方法、装置及设备，车辆行驶信息确定方法、装置及设备，病灶检测方法、装置及设备，虚拟购物方法、装置及设备，天气预测方法、装置及设备。

背景技术

在无人驾驶及机器人等领域中，机器感知是重要组成部分，感知传感器包括激光雷达，摄像头，超声波，毫米波雷达等等。相比于摄像头、超声波、毫米波雷达等传感器，多线激光雷达的激光点云信号包含精确的目标位置信息以及目标的几何形状信息，因此在无人驾驶及机器人的感知中起到重要的作用。

目前，一种典型的利用激光点云实现目标识别的方法的处理过程包括如下步骤：1)不同于直接将激光点云投影到一个或多个平面的目标检测算法，3D体素化的方法将激光点云分成多个等体积的体素；2)针对每个体素，利用MLP+pooling等方法从该体素的点云数据中提取得到体素特征；3)通过多层的3D卷积将空间3D信息降维为空间2D信息；4)基于降维后的空间2D信息进行目标检测。相比于目前基于激光点云投影的深度学***面)的方法，由于该方法利用3D卷积充分提取了体素之间的相邻信息，因此提升了激光雷达的感知性能。

综上所述，现有技术存在无法兼顾较高的物体检测准确度及较快的检测速度的问题。如何在不降低物体检测速度的前提下，提升物体检测准确度成为本领域技术人员迫切需要解决的问题。

发明内容

本申请提供物体检测方法，以解决现有技术存在的无法兼顾较高的物体检测准确度及较快的检测速度的问题。本申请另外提供物体检测装置及设备，车辆行驶信息确定方法、装置及设备，病灶检测方法、装置及设备，虚拟购物方法、装置及设备，天气预测方法、装置及设备。

本申请提供一种物体检测方法，包括：

根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；

根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息。

可选的，所述第一特征数据和所述第二特征数据，采用如下步骤确定：

根据环境点云数据，将目标空间划分为多个第一体素；

将所述第一体素划分为多个第二体素；

根据所述第一体素的点云数据，确定所述第一特征数据；以及，根据所述第二体素的点云数据，确定第二特征数据。

可选的，还包括：

确定所述目标空间内的感兴趣区域；

清除所述环境点云数据中感兴趣区域外的点云数据。

可选的，所述通过所述二维特征提取模型生成目标空间的二维特征图像，包括：

将基于流形稀疏卷积的图像特征提取层的三维卷积核拆分为多个单卷积核；

针对所述图像特征提取层中的排列在中心单卷积核之前的第一单卷积核，若针对输入的非空体素i存在通过第一单卷积核k产生的输出的非空体素j，则构建输入的非空体素、第一单卷积核与输出的非空体素间的卷积索引关系R(i，k，j)；

针对所述图像特征提取层中的排列在中心单卷积核之后的第二单卷积核，若存在对应关系R(i，k，j)，则构建输入的非空体素j、第二单卷积核k与输出的非空体素i间的卷积索引关系R(j，k，i)；

构建输入的非空体素i、中心单卷积核k与输出的非空体素i间的卷积索引关系R(i，k，i)；

根据所述卷积索引关系、所述单卷积核和所述输入的非空体素，确定所述基于流形稀疏卷积的图像特征提取层输出的非空体素。

可选的，所述通过所述二维特征提取模型生成目标空间的二维特征图像，包括：

将基于非流形稀疏卷积的图像特征提取层的三维卷积核拆分为多个单卷积核；

根据卷积核的空间尺寸、填充及卷积步长，确定输出体素的全局索引j；

对于输入的非空体素i，若存在通过单卷积核k产生的输出的非空体素j，则构建输入的非空体素i、单卷积核k与输出的非空体素j间的卷积索引关系R(i，k，i)；

根据所述卷积索引关系、所述单卷积核和所述输入的非空体素，确定所述基于非流形稀疏卷积的图像特征提取层输出的非空体素。

可选的，所述物体包括：车辆，人，障碍物。

本申请提供一种物体检测装置，包括：

特征数据确定单元，用于根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

二维特征提取单元，用于将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；

物体信息确定单元，用于根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息。

可选的，还包括：

感兴趣区域确定单元，用于确定所述目标空间内的感兴趣区域；

数据清除单元，用于清除所述环境点云数据中感兴趣区域外的点云数据。

本申请提供一种设备，包括：

处理器；以及

存储器，用于存储实现物体检测方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息。

可选的，所述设备包括车辆；所述车辆包括三维空间扫描装置。

本申请提供一种车辆行驶信息确定方法，包括：

根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；

根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息；所述物体信息包括第一车辆的当前位置信息；

根据第一车辆的当前位置信息和历史位置信息，确定第一车辆的行驶速度和/或行驶轨迹。

可选的，还包括：

根据所述行驶速度和/或行驶轨迹，调整第二车辆的行驶方式。

本申请提供一种物体检测方法，包括：

根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；

根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的第一物体信息；

根据环境点云数据外的环境感知数据和所述第一物体信息，确定目标空间内的第二物体信息。

可选的，所述感知数据包括以下数据的至少一个：二维图像，毫米波雷达感知数据。

本申请提供一种车辆行驶信息确定装置，包括：

特征数据确定单元，用于根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

二维特征提取单元，用于将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；

位置信息确定单元，用于根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息；所述物体信息包括第一车辆的当前位置信息；

行驶信息确定单元，用于根据第一车辆的当前位置信息和历史位置信息，确定第一车辆的行驶速度和/或行驶轨迹。

本申请提供一种物体检测装置，包括：

特征数据确定单元，用于根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

二维特征提取单元，用于将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；

第一物体信息确定单元，用于根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的第一物体信息；

第二物体信息确定单元，用于根据环境点云数据外的环境感知数据和所述第一物体信息，确定目标空间内的第二物体信息。

本申请提供一种设备，包括：

处理器；以及

存储器，用于存储实现车辆行驶信息确定方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息；所述物体信息包括第一车辆的当前位置信息；根据第一车辆的当前位置信息和历史位置信息，确定第一车辆的行驶速度和/或行驶轨迹。

本申请提供一种设备，包括：

处理器；以及

存储器，用于存储实现物体检测方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的第一物体信息；根据环境点云数据外的环境感知数据和所述第一物体信息，确定目标空间内的第二物体信息。

本申请还提供一种物体检测方法，包括：

获取目标空间的二维环境图像；

根据所述二维环境图像，构建目标空间的三维环境图像；

根据所述三维环境图像，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；

根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息。

本申请还提供一种病灶检测方法，包括：

获取目标部位的至少一个电子计算机断层扫描CT影像；

根据至少一个CT影像，构建目标部位的三维图像；

根据所述三维图像，确定目标部位内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标部位的二维特征图像；

根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标部位的病灶信息。

本申请还提供一种物体检测装置，包括：

二维图像获取单元，用于获取目标空间的二维环境图像；

三维图像构建单元，用于根据所述二维环境图像，构建目标空间的三维环境图像；

特征数据确定单元，用于根据三维环境图像，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

二维特征提取单元，用于将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；

物体信息确定单元，用于根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息。

本申请还提供一种设备，包括：

处理器；以及

存储器，用于存储实现物体检测方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：获取目标空间的二维环境图像；根据所述二维环境图像，构建目标空间的三维环境图像；根据所述三维环境图像，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息。

本申请还提供一种病灶检测装置，包括：

影像获取单元，用于获取目标部位的至少一个电子计算机断层扫描CT影像；

三维图像构建单元，用于根据至少一个CT影像，构建目标部位的三维图像；

特征数据确定单元，用于根据所述三维图像，确定目标部位内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

二维特征提取单元，用于将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标部位的二维特征图像；

病灶信息确定单元，用于根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标部位的病灶信息。

本申请还提供一种设备，包括：

处理器；以及

存储器，用于存储实现病灶检测方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：获取目标部位的至少一个电子计算机断层扫描CT影像；根据至少一个CT影像，构建目标部位的三维图像；根据所述三维图像，确定目标部位内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标部位的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标部位的病灶信息。

本申请还提供一种虚拟购物方法，包括：

根据购物环境点云数据，确定购物空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成购物空间的二维特征图像；

根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定购物空间内的物体信息；

根据所述物体信息，将虚拟对象置入购物空间的三维图像。

本申请还提供一种天气预测方法，包括：

采集目标云层的三维空间图像；

根据所述三维空间图像，确定目标云层内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标云层的二维特征图像；

根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定天气信息。

本申请还提供一种虚拟购物装置，包括：

特征数据确定单元，用于根据购物环境点云数据，确定购物空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

二维特征提取单元，用于将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成购物空间的二维特征图像；

物体信息确定单元，用于根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定购物空间内的物体信息；

虚拟对象添加单元，用于根据所述物体信息，将虚拟对象置入购物空间的三维图像。

本申请还提供一种设备，包括：

处理器；以及

存储器，用于存储实现虚拟购物方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：根据购物环境点云数据，确定购物空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成购物空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定购物空间内的物体信息；根据所述物体信息，将虚拟对象置入购物空间的三维图像。

本申请还提供一种天气预测装置，包括：

图像采集单元，用于采集目标云层的三维空间图像；

特征数据确定单元，用于根据所述三维空间图像，确定目标云层内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

二维特征提取单元，用于将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标云层的二维特征图像；

天气信息确定单元，用于根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定天气信息。

本申请还提供一种设备，包括：

处理器；以及

存储器，用于存储实现天气预测方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：采集目标云层的三维空间图像；根据所述三维空间图像，确定目标云层内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标云层的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定天气信息。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各种方法。

本申请还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各种方法。

与现有技术相比，本申请具有以下优点：

本申请实施例提供的物体检测方法，通过根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息；这种处理方式，使得基于粗粒度体素进行三维图像降维处理，生成二维特征图像，且更加精细的划分粗粒度体素，使得该粗粒度体素的特征数据不仅包括粗粒度体素本身的体素特征数据，还包括其中细粒度体素的体素特征数据，因而粗粒度体素的特征数据中保留了更加充分的点云原始信息，由此可避免丢失部分物体信息；因此，可以有效兼顾较高的物体检测准确度及较快的检测速度。此外，这种多体素化划分方式占用较少的***资源。

本申请实施例提供的车辆行驶信息确定方法，通过根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息；所述物体信息包括第一车辆的当前位置信息；根据第一车辆的当前位置信息和历史位置信息，确定第一车辆的行驶速度和/或行驶轨迹；这种处理方式，使得基于粗粒度体素进行三维图像降维处理，生成二维特征图像，且更加精细的划分粗粒度体素，使得该粗粒度体素的特征数据不仅包括粗粒度体素本身的体素特征数据，还包括其中细粒度体素的体素特征数据，因而粗粒度体素的特征数据中保留了更加充分的点云原始信息，由此可避免丢失部分车辆信息，并根据更为准确的车辆信息确定车辆的行驶速度和/或行驶轨迹；因此，可以有效兼顾较高的车辆行驶信息准确度，以及较快的车辆行驶信息确定速度。

本申请实施例提供的物体检测方法，通过根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的第一物体信息；根据环境点云数据外的环境感知数据和所述第一物体信息，确定目标空间内的第二物体信息；这种处理方式，使得基于粗粒度体素进行三维图像降维处理，生成二维特征图像，且更加精细的划分粗粒度体素，使得该粗粒度体素的特征数据不仅包括粗粒度体素本身的体素特征数据，还包括其中细粒度体素的体素特征数据，因而粗粒度体素的特征数据中保留了更加充分的点云原始信息，由此可避免丢失部分物体信息，并基于第一物体信息，进而根据点云以外的其他感知数据(如二维图像、毫米波雷达感知数据等)确定出更为精确的第二物体信息；因此，可以有效兼顾较高的物体检测准确度及较快的检测速度。

本申请实施例提供的物体检测方法，通过获取目标空间的二维环境图像；根据所述二维环境图像，构建目标空间的三维环境图像；根据所述三维环境图像，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息；这种处理方式，使得基于粗粒度体素进行三维图像降维处理，生成二维特征图像，且更加精细的划分粗粒度体素，使得该粗粒度体素的特征数据不仅包括粗粒度体素本身的体素特征数据，还包括其中细粒度体素的体素特征数据，因而粗粒度体素的特征数据中保留了更加充分的空间信息，由此可避免丢失部分物体信息；因此，可以有效兼顾较高的物体检测准确度及较快的检测速度。此外，采用这种处理方式，无需通过激光雷达采集点云数据，而是可直接根据摄像头采集的二维图像确定物体信息，因此，可以有效降低设备成本。此外，相对于现有技术的通过物体检测模型(如基于深度学习的RefineDet方法等等)，直接根据采集的二维图像确定物体信息的技术方案，采用本发明的处理方式，使得物体检测模型的输入数据(二维特征图像)包括空间信息，根据该二维特征图像确定的物体信息的准确度更高。

本申请实施例提供的病灶检测方法，通过获取目标部位的至少一个电子计算机断层扫描CT影像；根据至少一个CT影像，构建目标部位的三维图像；根据所述三维图像，确定目标部位内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标部位的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标部位的病灶信息；这种处理方式，使得基于粗粒度体素对目标部位的三维图像进行图像降维处理，生成二维特征图像，且更加精细的划分粗粒度体素，使得该粗粒度体素的特征数据不仅包括粗粒度体素本身的体素特征数据，还包括其中细粒度体素的体素特征数据，因而粗粒度体素的特征数据中保留了更加充分的空间信息，由此可避免丢失部分病灶信息；因此，可以有效兼顾较高的病灶检测准确度及较快的检测速度。

本申请实施例提供的虚拟购物方法，通过根据购物环境点云数据，确定购物空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成购物空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定购物空间内的物体信息；根据所述物体信息，将虚拟对象置入购物空间的三维图像；这种处理方式，使得基于粗粒度体素对目标购物空间的三维图像进行图像降维处理，生成二维特征图像，且更加精细的划分粗粒度体素，使得该粗粒度体素的特征数据不仅包括粗粒度体素本身的体素特征数据，还包括其中细粒度体素的体素特征数据，因而粗粒度体素的特征数据中保留了更加充分的空间信息，由此可避免丢失部分商品信息；因此，可以有效兼顾较高的物体检测准确度及较快的检测速度，从而提升商品销售率及用户体验。

本申请实施例提供的天气预测方法，通过采集目标云层的三维空间图像；根据所述三维空间图像，确定目标云层内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标云层的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定天气信息；这种处理方式，使得基于粗粒度体素对目标云层的三维图像进行图像降维处理，生成二维特征图像，且更加精细的划分粗粒度体素，使得该粗粒度体素的特征数据不仅包括粗粒度体素本身的体素特征数据，还包括其中细粒度体素的体素特征数据，因而粗粒度体素的特征数据中保留了更加充分的空间信息，由此可避免丢失部分天气信息；因此，可以有效兼顾较高的天气预报准确度及较快的检测速度。

附图说明

图1是本申请提供的物体检测方法的实施例的流程图；

图2是本申请提供的物体检测方法的实施例的体素划分示意图；

图3是本申请提供的物体检测方法的实施例的网络结构示意图；

图4是本申请提供的物体检测方法的实施例的具体流程图；

图5是本申请提供的物体检测装置的实施例的示意图；

图6是本申请提供的设备的实施例的示意图；

图7是本申请提供的车辆行驶信息确定方法的实施例的流程图；

图8是本申请提供的物体检测方法的实施例的流程图；

图9是本申请提供的物体检测方法的实施例的流程图；

图10是本申请提供的病灶检测方法的实施例的流程图；

图11是本申请提供的虚拟购物方法的实施例的流程图；

图12是本申请提供的天气预测方法的实施例的流程图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。

在本申请中，提供了物体检测方法、装置及设备，车辆行驶信息确定方法、装置及设备，病灶检测方法、装置及设备，虚拟购物方法、装置及设备，天气预测方法、装置及设备。在下面的实施例中逐一对各种方案进行详细说明。

第一实施例

请参考图1，其为本申请提供的一种物体检测方法实施例的流程图。该方法的执行主体包括但不限于无人驾驶车辆，如智能物流车等等，可识别的物体包括交通物体，如道路中行人、车辆、障碍物等等，也可识别其他物体。下面以交通物体的检测为例，对该方法进行说明。本申请提供的一种物体检测方法包括：

步骤S101：根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据。

本申请实施例提供的方法，在车辆(以下简称自车)行驶过程中，可通过安装在车辆上的三维空间扫描装置，获取车辆行驶道路的环境空间物体表面每个采样点的空间坐标，得到点的集合，该海量点数据称为道路环境点云(Point Cloud)数据。通过道路环境点云数据，使得扫描物体表面以点的形式记录，每一个点包含有三维坐标，有些可能含有颜色信息(RGB)或反射强度信息(Intensity)。凭借点云数据，可以在同一空间参考系下表达目标空间。

所述三维空间扫描装置，可以是激光雷达(Light Detection And Ranging，Lidar)，通过激光扫描方式进行激光探测与测量，获得周围环境中障碍物信息，如建筑物、树木、人、车辆等等，其所测得的数据为数字表面模型(Digital Surface Model,DSM)的离散点表示。具体实施时，可采用16线、32线、64线等多线激光雷达，不同激光束数量的雷达采集点云数据的帧频(Frame Rate)不同，如16、32线每秒一般采集10帧点云数据。所述三维空间扫描装置，也可以是三维激光扫描仪或照相式扫描仪等设备。

本实施例的道路环境点云数据包括激光雷达感知区域内物体表面点的采样点的空间坐标数据。根据所述道路环境点云数据，可确定感知区域(目标空间)内与第一空间分辨率对应的多个第一体素(voxel)的点云数据。体素是体积元素(Volume Pixel)的简称可用来在三维空间中表示一个显示基本点的单位，类似于二维平面下的像素(pixel)。所述第一体素的体积取决于第一空间分辨率，可以为较粗粒度的第一体积。

需要说明的是，在实现本发明过程中，发明人发现现有技术方案至少存在如下问题:一方面，物体检测准确度与体素体积直接相关，体素化越精细，体素的体积越小，体素对点云的原始信息保留的就可以越充分，因而具有较高的物体检测准确度；另一方面，3D卷积网络的运行速度也与体素化之后的输入数据大小直接相关，体素化越精细，输入数据量会越大，从而增大图像处理器(GPU)的显存负担，并降低3D卷积网络的运行速度；再一方面，3D卷积网络的网络深度也与体素体积直接相关，体素越小，每个体素涵盖的视野范围越小，在这种情况下，为达到检测大目标所需的足够大的感受野，网络需要更大的深度，从而导致网络效率的降低。

本实施例提供的方法与现有技术的不同之处包括：现有技术仅对感知区域进行一级体素划分，而本实施例提供的方法可对感知区域进行多层级的体素划分。例如，本实施例提供的方法可先将感知区域划分为第一空间分辨率的多个第一体素，多个第一体素通常具有相同的体积，将第一体素的体积称为第一体积；然后，再对每个第一体素进行进一步的体素划分。本实施例将第一体素的子体素，称为第二体素，将第二体素的空间分辨率称为第二空间分辨率，第二空间分辨率通常高于第一空间分辨率。与至少一个第二空间分辨率分别对应的第二体素之间通常具有不同的体积，将第二体素的体积称为第二体积。

在一个示例中，可将所述第一体素划分为多个不同第二体积的第二体素，即按多个第二空间分辨率对第一体素进行划分。例如，首先，将激光点云划分成粒度相对较大的第一体素，如每个第一体素的体积是0.1*0.1*0.2米；然后，对于每一个粗粒度的第一体素，可对其进一步的进行细粒度的第二体素划分，如图2所示，可分成2*2*2的8个体素，和/或3*3*3的27个体素以及更高阶的n*n*n的n³个体素。对于每个粗粒度的第一体素，其描述特征(即：第三特征数据)为F＝[f_1,1,f_8,1f_8,2,…,f_8,8,f_27,1,f_27,2,…,f_27,27,…],其中f_i,j是在将体素划分成i份的情况下第j个子体素的特征。体素特征可以利用一些简单的特征，例如体素内点的平均值

或者复杂的特征，如MLP+pooling生成的特征。

在另一个示例中，可将所述第一体素划分为多个相同第二体积的第二体素，即只按一个第二空间分辨率对第一体素进行划分。例如，较粗粒度的第一体素的空间分辨率是0.1*0.1*0.2米，将其划分为较小的第二体素的空间分辨率为0.025*0.025*0.05米，第二体素在单一维度上是第一体素的1/4。

具体实施时，步骤S101可包括如下子步骤：1)根据环境点云数据，将目标空间(感知区域)划分为多个第一体素；2)将所述第一体素划分为多个第二体素；3)根据所述第一体素的点云数据，确定所述第一特征数据；以及，根据所述第二体素的点云数据，确定第二特征数据。

具体实施时，可通过体素特征学习网络，确定每一个第一体素的第一特征数据和每一个第二体素的第二特征数据，并将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据。由于体素特征学习网络属于较为成熟的现有技术，因此此处不再赘述。

在一个示例中，步骤S101可采用如下方式实现：若满足多层级体素划分条件，则根据所述环境点云数据，确定所述第一特征数据和所述第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；若不满足多层级体素划分条件，则根据所述环境点云数据，确定所述第一特征数据，并将所述第一特征数据作为所述二维特征提取模型的输入数据，并根据包括第一体素间相邻信息的二维特征图像，确定目标空间内的物体信息。

所述多层级体素划分条件，包括但不限于以下条件的至少一个：物体识别准确度大于准确度阈值；物体信息包括行驶道路中的车辆、人或障碍物；执行所述方法的处理器的资源占用率大于占用率阈值。

其中，准确度阈值可根据业务需求确定。例如，准确度阈值为95％，如果要求物体识别准确率98％，则满足层级体素划分条件，需要进行多层级的体素划分。

再例如，在无人驾驶车辆自动识别行驶道路中障碍物的业务场景下，由于自动驾驶要求具有较高的安全性，且要避免错误识别导致的频繁制动，因此具有较高的物体识别准确率需求，该场景就满足多层级体素划分条件。

采用这种处理方式，使得根据实际情况实时地进行多层级体素划分工作模式的切换；因此，可以有效节约计算资源和存储资源，从而降低能耗及硬件成本。

再例如，如果当前车辆***的处理器资源(CPU或GPU占用率)较高，则为避免出现由CPU或GPU过忙引起的死机故障，在这种情况没有改善的情况下，就不应进行多层级的体素划分，这样可以以牺牲部分物体识别准确率的代价，换取处理器的正常工作，待处理器不忙时，再实时切换到多层级体素划分的工作模式。在本实施例中，所述方法在GPU中执行，只占用较少的***资源。

在另一个示例中，所述第二特征数据可采用如下步骤确定：1)将所述目标空间划分为需要多体素划分的第一区域、和无需多体素划分的第二区域；2)确定所述第一区域内所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据。

例如，将所述第一区域定义为：路面与空间高度小于高度阈值的空间位置之间的区域。所述高度阈值可以为4米，这样基本可以识别出行驶道路中的各种物体，如双层巴士等等。

采用这种处理方式，使得在确保物体信息能够被识别到的情况下，只对部分区域进行多层级体素划分；因此，可以有效节约计算资源和存储资源，从而降低能耗及硬件成本。

在又一个示例中，所述第三特征数据采用如下步骤确定：1)确定所述第一体素内待进行第二体素划分的区域，例如，根据高精地图及自动驾驶车辆的实时位置所确定的自动驾驶感兴趣区域，包括道路，人行道，可行驶区域等；2)将所述第一体素的第一特征数据、及所述待进行第二体素划分的区域内的第二特征数据作为所述第三特征数据。

在实际应用中，有些第一体素中包括一些无需进行第二体素划分的区域，例如，根据高精地图及自动驾驶车辆实时位置所确定的不会对自动驾驶产生影响的区域，例如路边围墙及围墙外区域等；在这种情况下，无需对这部分区域进行第二体素的划分，也无需这部分区域的第二特征数据。

采用这种处理方式，使得在对一个第一体素进行多层级划分后，只取其中的部分第二特征数据作为第三特征数据，这样可以尽量确保输入至二维特征提取模型的输入数据的稀疏性；因此，可以有效提升物体识别速度。

步骤S103：将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像。

所述二维特征提取模型的输入数据包括三维特征数据，输出数据为二维特征图像。所述二维特征图像，包括目标空间的空间信息，这些信息按照二维的方式排布成二维的矩阵。

本实施例提供的方法与现有技术的不同之处还包括：1)如果要达到同样的物体检测准确度，现有技术的二维特征提取模型的网络深度要高于本实施例提供的方法中二维特征提取模型的网络深度；2)在现有技术的通过所述二维特征提取模型生成的二维特征图像中保留的点云原始信息，要远远少于本实施例提供的方法中通过所述二维特征提取模型生成的二维特征图像中保留的点云原始信息。

1)如果要达到同样的物体检测准确度，现有技术的二维特征提取模型的网络深度要高于本实施例提供的方法中二维特征提取模型的网络深度。

在现有技术中，要达到较高的物体检测准确度，需要将粒度较小、空间分辨率较高、数量较多的体素用于3D卷积，这样就会导致较深的3D卷积网络深度。例如，较粗粒度的体素的空间分辨率是0.1*0.1*0.2米，如果较小体素的空间分辨率为0.025*0.025*0.05米，则较小体素在单一维度上是较大体素的1/4，为达到相同的感受野，就需要将分辨率下的感受野扩展四倍。其中，增加的网络深度根据网络结构的不同而不同，例如，如果是用池化(pooling)层增大感受野，则需要增加两个带有pooling的卷积块(block)，其中卷积块包括多个卷积层及池化层。

如图3所示，在本实施例提供的方法中，是将粒度相对较大、空间分辨率相对较低、但却具有充分的点云原始信息的第三特征数据的第一体素用于3D卷积，而非将粒度相对较小的第二体素用于3D卷积，这样可以控制输入至二维特征提取模型的总的体素的数量，在确保较高物体检测准确度的前提下，可以有效减少二维特征提取模型的网络深度，从而提升物体检测速度，也就是说，可以兼顾较高的物体检测准确度及较快的检测速度。

2)本实施例提供的方法中通过所述二维特征提取模型生成的二维特征图像中保留的点云原始信息，要远远高于现有技术中的二维特征图像中保留的点云原始信息。

本实施例提供的方法基于具有更加充分的点云原始信息的二维特征图像进行物体识别，因此检测出的物体信息更为准确。在现有技术中，二维特征图像只包括一种体积的体素之间的相邻信息；而在本实施例中，二维特征图像不仅包括第一体素间的相邻信息，还包括至少一种体积的第二体素间的相邻信息。由此可见，本实施例的二维特征图像具有充分的点云原始信息,基于该具有充分的点云原始信息的二维特征图像识别出的物体信息更为准确。

请参看图4，其为本申请的物体检测方法的实施例的具体流程图。在本实施例中，所述方法还可包括如下步骤：

步骤S401：确定所述目标空间内的感兴趣区域。

所述感兴趣区域(region of interest，ROI)，包括但不限于车辆行驶道路、人行道等对车辆行驶产生影响的区域；相应的，非感兴趣区域可包括道路两侧的建筑物、大树等等物体所占区域。

步骤S403：清除所述环境点云数据中感兴趣区域外的点云数据。

所述感兴趣区域可采用如下方式确定：首先，通过对点云数据的采集设备进行高精定位，确定出该设备的位置信息；然后，再通过高精地图ROI确定模块，根据该位置信息确定目标空间内的ROI；最后，再通过ROI过滤模块，过滤掉ROI以外的点云数据。

本实施例提供的方法，通过从环境点云数据中过滤掉ROI以外的点云数据，并根据剩余的ROI点云数据执行步骤S101至步骤S105；这种处理方式，使得极大降低所需要处理的点的数量，大约可以滤掉大约50％以上无关的点；因此，可以有效节约计算资源和存储资源，从而提升物体检测速度。

需要注意的是，相对于在步骤S105中进行目标检测处理时的2D卷积操作而言，在步骤S103中进行三维图像降维处理时的3D卷积操作具有更大的计算量。对于有效的感知距离范围x(前后)方向[-64,64]米，y(左右)方向[-64,64]米，z(上下)方向[-3,1]米，第一空间分辨率为[0.1,0,1,0.2]米的情况，生成的二维特征提取模型输入特征的空间维度是1280*1280*20维，这样高维度的输入数据对于2D卷积都是一个很大的负担，对于3D卷积更会产生很大的时间代价。相比于二维图像卷积算法，激光雷达具有很强的稀疏性，对于32线的激光雷达，一帧激光点云包含57600个激光点，对应产生的非空的第一体素大约为25000个，这种情况下大约99.92％的第一体素是空的，如果通过高精地图滤除ROI之外的激光点云，空的第一体素的比例会更高。在这种情况下，稀疏3D卷积能够有效的提升卷积速度，从而提升物体检测速度。

综上所述，实时性成为3D卷积的一个很重要问题，可通过稀疏(Sparse)3D卷积的方法缓解这个问题。然而，现有的算法的实时性依然需要进一步提高。如何实现更加快速的稀疏卷积，从而进一步提升物体检测速度，成为本领域技术人员迫切需要解决的问题。

稀疏3D卷积包括两种类型，一种是普通的稀疏卷积，对卷积的输出没有特定的限制；另一种是流形稀疏卷积，只有对应输入位置上有激活体素(非空体素)时才会在对应输出位置上产生输出。其中，普通的3D卷积随着卷积层数的加深被激活的体素会越来越多，这样数据的稀疏性会变差，从而影响3D卷积计算效率。流形稀疏卷积能够保证输出层和输入层具有相同数量的激活体素，这样保证在稀疏卷积的过程中不会产生额外的激活体素，从而保证计算的性能。在稀疏网络设计中，通常将普通稀疏卷积层与流形稀疏卷积层相结合，如一层普通稀疏卷积层与三层流形稀疏卷积层相结合的方式组成一个卷积块block，这样即保证相邻体素之间特征的提取，又抑制激活的体素数量的快速增长，从而保证网络性能(即物体检测准确度)及计算速度。

稀疏卷积的处理过程如下所述。首先，通过将非空的体素区域进行索引，将非空的区域聚合到一起；然后，利用通用矩阵相乘(General matrix multipoulation，GEMM)算法实现快速卷积；最后，将卷积输出返回到对应的3D输出位置。然而，由于激光雷达数据的高度稀疏性，在同一个卷积核内的体素x_P(j),l依然有可能包含大量的空体素，例如卷积核是3*3*3的3维卷积，对应的3*3*3＝27个输入体素中，可能存在50％以上的空体素，这样依然是很大的计算负担。

为了解决这个问题，步骤S103可包括如下子步骤：

步骤S1031：将基于流形稀疏卷积的图像特征提取层的三维卷积核拆分为多个单卷积核。

本实施例提供的方法将卷积核根据空间维度进一步展开，例如，空间维度为3*3*3的卷积核可拆分成27个单卷积核，空间维度为5*5*5的卷积核可拆分成125个单卷积核，等等。在这种情况下，对应的稀疏卷积GEMM数学表达式是：

其中，k为单卷积核的索引值，索引值的数量为单卷积核的数量，w是单卷积核的权重，l是输入数据的特征维度，m是输出数据的特征维度。R(i,k,j)表示输入的体素i通过第k个单卷积核产生输出j的卷积索引关系，x_R(i,k,j),l是第j位置上的输出所对应的输入层数据的聚合。

步骤S1033：针对所述图像特征提取层中的排列在中心单卷积核之前的第一单卷积核，若针对输入的非空体素i存在通过第一单卷积核k产生的输出的非空体素j，则构建输入的非空体素、第一单卷积核与输出的非空体素间的卷积索引关系R(i，k，j)。

步骤S1035：针对所述图像特征提取层中的排列在中心单卷积核之后的第二单卷积核，若存在卷积索引关系R(i，k，j)，则构建输入的非空体素j、第二单卷积核k与输出的非空体素i间的卷积索引关系R(j，k，i)。

稀疏卷积需要一个建立卷积索引的步骤，可通过遍历的方式实现。遍历过程为：对于卷积核为3*3*3的稀疏卷积，对于每一个非空体素，遍历其3*3*3的邻域，寻找该邻域中其他非空的体素，并建立起对应关系。例如，对于i个非空体素，在3*3*3的邻域中的第k个位置，有第j个非空体素，则建立(i，k，j)这样的索引。传统的方法需要对邻域中的每一个位置进行搜索，以建立索引关系。

本实施例提供的方法实现快速稀疏卷积的核心部分是，快速建立输入i，输出j及单卷积核k的索引关系R。以卷积核的空间大小是3*3*3为例，对于流形稀疏卷积，在实现本发明过程中，发明人发现两个定律：

定律1：若存在输入i，单卷积核k，输出j的对应关系(i,k,j)，即：输入i通过单卷积核k产生输出j的关系成立,则一定会存在输入j通过单卷积核26-k产生输出i的关系(j，26-k，i)。

定律2：对中心卷积核，如3*3*3的卷积核中心是单卷积核13，对应的索引关系有且只有{(i,13,i),i∈[0,N)}.

通过定律1和定律2，只需搜索建立单卷积核k∈[0,13)下的对应关系(i,k,j)，就可以建立单卷积核k∈[0,27)所有的对应关系,这样建立索引所需要的时间就可以减少一半。

例如，假设输入层的体素的个数是N，一个输出通道的卷积核的空间大小是3*3*3＝27，建立流形稀疏卷积索引关系R的过程可包括如下步骤：

步骤1：对输出体素建立与输入层相同的全局索引，空体素的索引置为-1；

例如，输入层包括10个非空体素，其全局位置为50，200，1000，9400，90700，109000，180000，370000，500000，700000，对应的全局索引为0到9；相应的，输出体素的全局体素位置为50，200，1000，9400，90700，109000，180000，370000，500000，700000，全局索引也是对应的0到9。

步骤2：对于每个输入非空体素i，判断通过卷积核k∈[0,13)产生的输出j是否存在，若存在则将(i，k，j)存入到索引关系R中。

例如，判断方法为：以3*3*3的卷积核为例，对于非空体素i，判断i在空间中的27个近邻中的前上半部分的13个近邻，分别相对位置为(0，0，0)，(0，0，1)，(0，0，2)，(0，1，0)，(0，1，1)，(0，1，2)，(0，2，0)，(0，2，1)，(0，2，2)，(1，0，0)，(1，0，1)，(1，0，2)，(1，1，0)的13个邻近体素，编号k从0到12.若在第k邻近位置存在非空体素j，则建立索引(i，k，j)。

步骤3：利用定律1与定律2补全k∈[13,27)的索引关系R。

首先，可根据定律2添加中心点的索引(i，13，j)；然后，若在第k个近邻位置上k∈[0,13)存在(i，k，j)，则根据定律1存在(i，26-k，j)，将该关系添加到索引关系R中。

本申请实施例提供的方法，通过发明人发现的对称规律，只需要对邻域的一半空间进行搜索就可以完成索引建立。

步骤S1037：根据所述卷积索引关系、所述单卷积核和所述输入的非空体素，确定所述基于流形稀疏卷积的图像特征提取层输出的非空体素。

在通过上述方式快速构建索引关系后，就可以根据所述卷积索引关系、所述单卷积核和所述输入的非空体素，利用通用矩阵相乘算法实现快速卷积，确定述输出的非空体素，将卷积输出返回到对应的3D输出位置。

以上对流式稀疏卷积索引关系R的快速建立方法进行了说明，接下来，对普通稀疏卷积索引关系R的快速建立方法进行说明。

对于普通的稀疏卷积，不需要限制输出体素的位置，因此输入和输出体素位置的一致性不存在，这种情况下定律1和定律2不适合普通稀疏卷积。要快速建立普通稀疏卷积索引关系R，步骤S103可包括如下子步骤：

步骤S1031’：将基于非流形稀疏卷积的图像特征提取层的三维卷积核拆分为多个单卷积核。

步骤S1033’：根据单卷积核的空间尺寸、填充及卷积步长，确定输出体素的全局索引j。

例如，对于卷积核大小为3*3*3，输入输出相同尺寸，填充为0，卷积步长为1的普通卷积，对于输入非空体素i，由于卷积核的扩散性，对应以i为中心的3*3*3的27个近邻空间位置均为对应输出层的输出，判断出所有输入非空体素对应的输出体素位置，并为这些输出体素分配唯一的全局索引j。

为给输出层分配唯一的全局索引j，首先建立一个输出层相同大小的查询表，将该表中所有体素的数值置为-1，若某输出体素是激活输出，被分配全局索引，则将该体素查询表值置为-2，通过判断该查询表中的值为-1或者-2，确保该激活体素被分配唯一的全局索引。

步骤S1035’：对于每个输入体素i，判断通过单卷积核k产生的输出j是否存在，若存在则将(i，k，j)存入到索引关系R中。

以3*3*3的卷积核为例，对于第i个输入体素，判断该体素所对应的输出层邻域的输出体素j，并建立索引关系(i，k，j)。如卷积核大小为3*3*3，输入输出相同尺寸，填充为0，卷积步长为1的普通卷积，对于输入非空体素i，输出层对应位置上的27个体素需要被建立索引关系。

步骤S1037’：根据所述卷积索引关系、所述单卷积核和所述输入的非空体素，确定所述基于非流形稀疏卷积的图像特征提取层输出的非空体素。

步骤S105：根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息。

本实施例提供的方法与现有技术的不同之处还包括：现有技术中的二维特征图像只包括一种体积的体素之间的相邻信息，而本实施例提供的方法中的所述二维特征图像，既保留了第一体素之间的相邻信息，又保留了第二体素之间的相邻信息，基于该图像确定感知区域中的物体信息，可以有效提升较高物体检测准确度。

具体实施时，可通过基于图像的目标检测算法(如Faster R-CNN、SSD、FCN等等)，根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息。本实施例的物体可以是交通物体。所述交通物体，可以是车辆，也可以是人，还可以是障碍物，如树木等等。

在本实施例中，通过交通物体检测模型，根据二维特征图像确定目标空间内的物体信息。所述交通物体检测模型可采用基于深度学习的RefineDet方法，该方法在借鉴SSD这类单阶段方法运行速率快的基础上，又结合了Faster R-CNN这类两阶段方法，因此具有物体检测准确率高的优点。该方法在检测到交通环境图像中的交通物体(对正在行驶的车辆而言交通物体就是障碍物)图像时，即得到交通物体图像的包围盒(bounding box)坐标，即所述交通物体图像在交通环境图像中的位置数据。所述位置数据，可以是交通物体图像的3D矩形包围盒的顶点坐标数据，即位置数据可以是一个24维向量，分别表示所有8个顶点的x坐标，y坐标，z坐标。在确定二维特征图像中的交通物体图像后，还可以将物体检测结果由车辆坐标系转换至世界坐标系，从而确定出空间物体信息。由于针对二维特征图像的物体检测技术属于较为成熟的现有技术，因此此处不再赘述。

从上述实施例可见，本申请实施例提供的物体检测方法，通过根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息；这种处理方式，使得基于粗粒度体素进行三维图像降维处理，生成二维特征图像，且更加精细的划分粗粒度体素，使得该粗粒度体素的特征数据不仅包括粗粒度体素本身的体素特征数据，还包括其中细粒度体素的体素特征数据，因而粗粒度体素的特征数据中保留了更加充分的点云原始信息，由此可避免丢失部分物体信息；因此，可以有效兼顾较高的物体检测准确度及较快的检测速度。

第二实施例

在上述的实施例中，提供了一种物体识别方法，与之相对应的，本申请还提供一种物体检测装置。该装置是与上述方法的实施例相对应。

请参看图5，其为本申请的物体检测装置的实施例的示意图。由于装置实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

本申请另外提供一种物体检测装置，包括：

特征数据确定单元501，用于根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

二维特征提取单元503，用于将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；

物体信息确定单元505，用于根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息。

可选的，所述物体包括：车辆，人，障碍物。

可选的，还包括：

感兴趣区域确定单元，用于确定所述目标空间内的感兴趣区域；

数据清除单元，用于清除所述环境点云数据中感兴趣区域外的点云数据。

可选的，所述特征数据确定单元包括：

第一体素划分子单元，用于根据环境点云数据，将目标空间划分为多个第一体素；

第二体素划分子单元，用于将所述第一体素划分为多个第二体素；

第一特征数据确定子单元，用于根据所述第一体素的点云数据，确定所述第一特征数据；

第二特征数据确定子单元，用于根据所述第二体素的点云数据，确定第二特征数据。

可选的，所述二维特征提取单元包括：

卷积核拆分子单元，用于将基于流形稀疏卷积的图像特征提取层的三维卷积核拆分为多个单卷积核；

第一索引关系构建子单元，用于针对所述图像特征提取层中的排列在中心单卷积核之前的第一单卷积核，若针对输入的非空体素i存在通过第一单卷积核k产生的输出的非空体素j，则构建输入的非空体素、第一单卷积核与输出的非空体素间的卷积索引关系R(i，k，j)；

第二索引关系构建子单元，用于针对所述图像特征提取层中的排列在中心单卷积核之后的第二单卷积核，若存在对应关系R(i，k，j)，则构建输入的非空体素j、第二单卷积核k与输出的非空体素i间的卷积索引关系R(j，k，i)；

第三索引关系构建子单元，用于构建输入的非空体素i、中心单卷积核k与输出的非空体素i间的卷积索引关系R(i，k，i)；

卷积运算子单元，用于根据所述卷积索引关系、所述单卷积核和所述输入的非空体素，确定所述基于流形稀疏卷积的图像特征提取层输出的非空体素。

可选的，所述二维特征提取单元包括：

卷积核拆分子单元，用于将基于非流形稀疏卷积的图像特征提取层的三维卷积核拆分为多个单卷积核；

全局索引确定子单元，用于根据卷积核的空间尺寸、填充及卷积步长，确定输出体素的全局索引j；

索引关系构建子单元，用于对于输入的非空体素i，若存在通过单卷积核k产生的输出的非空体素j，则构建输入的非空体素i、单卷积核k与输出的非空体素j间的卷积索引关系R(i，k，i)；

卷积运算子单元，用于根据所述卷积索引关系、所述单卷积核和所述输入的非空体素，确定所述基于非流形稀疏卷积的图像特征提取层输出的非空体素。

第三实施例

在上述的实施例中，提供了一种物体检测方法，与之相对应的，本申请还提供一种设备。该设备的实施例是与上述方法的实施例相对应。

请参看图6，其为本申请的设备的实施例的示意图。由于设备实施例基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。下述描述的设备实施例仅仅是示意性的。

本申请另外提供一种设备，包括：处理器601；以及存储器602，用于存储实现物体检测方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息。

在一个示例中，所述设备为车辆或路测感知设备，该设备还可包括三维空间扫描装置，该装置用于采集环境点云数据。

在另一个示例中，所述设备为服务器或个人电脑等等，该设备还可用于接收车辆或路测感知设备发送的针对环境点云数据的物体检测请求，并向请求方回送检测得到的物体信息。

第四实施例

在上述的实施例中，提供了一种物体检测方法，与之相对应的，本申请还提供一种车辆行驶信息确定方法。该方法的执行主体包括但不限于无人驾驶车辆，也可以是路测感知设备等等其它设备。

请参看图7，其为本申请的车辆行驶信息确定方法的实施例的流程图。本申请提供的一种车辆行驶信息确定方法包括：

步骤S701：根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据。

步骤S703：将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像。

步骤S705：根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息。

所述物体信息，可包括第一车辆的位置信息，如车辆所在经纬度信息等等，将该信息作为当前位置信息。所述第一车辆，包括所述方法的执行主体以外的车辆。

步骤S707：根据第一车辆的当前位置信息和历史位置信息，确定第一车辆的行驶速度和/或行驶轨迹。

所述历史位置信息，可以是采用本申请实施例提供的方法根据上一帧或前几帧环境点云数据确定的第一车辆的位置信息，也可以是通过其它现有的定位技术确定的车辆位置信息，等等。

在获得第一车辆的当前位置信息和历史位置信息后，就可以根据这两个位置信息，确定第一车辆的行驶速度和/或行驶轨迹。例如，将两个位置间的距离除以两帧数据的时间差，即为行驶速度。再例如，根据两个位置可确定车辆行驶轨迹为向东南方式行驶，或者是确定车辆行驶轨迹为沿着某个街道行驶，以便于对第一车辆进行跟踪等等。

在一个示例中，所述方法还可包括如下步骤：根据所述行驶速度和/或行驶轨迹，调整第二车辆的行驶方式。所述第二车辆，包括执行所述方法的车辆。

例如，如果根据第一车辆的当前速度和历史速度，确定第一车辆正处于加速行驶状态，且第一车辆在第二车辆前面，则第二车辆也可以适当加速行驶；如果第一车辆在第二车辆后面，且处于加速行驶状态，则第二车辆也可以适当加速行驶，以避免车辆碰撞，提升自动驾驶的安全性。

再例如，如果确定第一车辆的行驶轨迹为向东南方式行驶，则可以调整第二车辆的行驶防线，以便于对第一车辆进行跟踪等等。

从上述实施例可见，本申请实施例提供的车辆行驶信息确定方法，通过根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息；所述物体信息包括第一车辆的当前位置信息；根据第一车辆的当前位置信息和历史位置信息，确定第一车辆的行驶速度和/或行驶轨迹；这种处理方式，使得基于粗粒度体素进行三维图像降维处理，生成二维特征图像，且更加精细的划分粗粒度体素，使得该粗粒度体素的特征数据不仅包括粗粒度体素本身的体素特征数据，还包括其中细粒度体素的体素特征数据，因而粗粒度体素的特征数据中保留了更加充分的点云原始信息，由此可避免丢失部分车辆信息，并根据更为准确的车辆信息确定车辆的行驶速度和/或行驶轨迹；因此，可以有效兼顾较高的车辆行驶信息准确度，以及较快的车辆行驶信息确定速度。

第五实施例

在上述的实施例中，提供了一种车辆行驶信息确定方法，与之相对应的，本申请还提供一种车辆行驶信息确定装置。本申请提供的一种车辆行驶信息确定装置包括：

特征数据确定单元，用于根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

二维特征提取单元，用于将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；

位置信息确定单元，用于根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息；所述物体信息包括第一车辆的当前位置信息；

行驶信息确定单元，用于根据第一车辆的当前位置信息和历史位置信息，确定第一车辆的行驶速度和/或行驶轨迹。

可选的，所述装置还包括：

车辆行驶方式调整单元，用于根据所述行驶速度和/或行驶轨迹，调整第二车辆的行驶方式。

第六实施例

在上述的实施例中，提供了一种车辆行驶信息确定方法，与之相对应的，本申请还提供一种设备。本申请提供的一种设备包括：

处理器；以及

存储器，用于存储实现车辆行驶信息确定方法的程序，该设备通电并通过所述处理器运行该车辆行驶信息确定方法的程序后，执行下述步骤：根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息；所述物体信息包括第一车辆的当前位置信息；根据第一车辆的当前位置信息和历史位置信息，确定第一车辆的行驶速度和/或行驶轨迹。

第七实施例

在上述的实施例中，提供了一种物体检测方法，与之相对应的，本申请还提供一种物体检测方法。该方法的执行主体包括但不限于无人驾驶车辆，也可以是路测感知设备等等其它设备。

请参看图8，其为本申请的物体检测方法的实施例的流程图。本申请提供的一种物体检测方法包括：

步骤S801：根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据。

步骤S803：将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像。

步骤S805：根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的第一物体信息。

步骤S807：根据环境点云数据外的环境感知数据和所述第一物体信息，确定目标空间内的第二物体信息。

所述感知数据，包括环境点云数据外的其他类型的环境感知数据，包括但不限于以下数据的至少一个：二维图像，毫米波雷达感知数据。

例如，所述方法的执行主体为无人驾驶车辆，该车辆装载有激光雷达、毫米波雷达和摄像头，这三类传感器分别采集不同类型的道路环境感知数据，该车辆对各种感知数据分别处理，其中，通过上述步骤701至705从点云数据中确定出第一物体信息，并通过其它现有技术从二维图像中确定第三物体信息，以及从毫米波雷达感知数据中确定第四物体信息，然后综合第三物体信息和第四物体信息，对第一物体信息进行调整，将调整后的物体信息称为第二物体信息。由此可见，第二物体信息较其它三个物体信息均更为准确，目标置信度更高。

在一个示例中，所述方法还可包括如下步骤：

通过短距离通信方式，将第二物体信息发送至周边车辆，周边车辆可根据第二物体信息，调整其行驶方式等等。

从上述实施例可见，本申请实施例提供的物体检测方法，通过根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的第一物体信息；根据环境点云数据外的环境感知数据和所述第一物体信息，确定目标空间内的第二物体信息；这种处理方式，使得基于粗粒度体素进行三维图像降维处理，生成二维特征图像，且更加精细的划分粗粒度体素，使得该粗粒度体素的特征数据不仅包括粗粒度体素本身的体素特征数据，还包括其中细粒度体素的体素特征数据，因而粗粒度体素的特征数据中保留了更加充分的点云原始信息，由此可避免丢失部分物体信息，并基于第一物体信息，进而根据点云以外的其他感知数据(如二维图像、毫米波雷达感知数据等)确定出更为精确的第二物体信息；因此，可以有效兼顾较高的物体检测准确度及较快的检测速度。

第八实施例

在上述的实施例中，提供了一种物体检测方法，与之相对应的，本申请还提供一种物体检测装置。本申请提供的一种物体检测装置包括：

特征数据确定单元，用于根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

二维特征提取单元，用于将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；

第一物体信息确定单元，用于根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的第一物体信息；

第二物体信息确定单元，用于根据环境点云数据外的环境感知数据和所述第一物体信息，确定目标空间内的第二物体信息。

第九实施例

在上述的实施例中，提供了一种物体检测方法，与之相对应的，本申请还提供一种设备。本申请提供的一种设备包括：

处理器；以及

存储器，用于存储实现物体检测方法的程序，该设备通电并通过所述处理器运行该物体检测方法的程序后，执行下述步骤：根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的第一物体信息；根据环境点云数据外的环境感知数据和所述第一物体信息，确定目标空间内的第二物体信息。

第十实施例

在上述的实施例中，提供了一种物体检测方法，与之相对应的，本申请还提供一种物体检测方法。该方法的执行主体包括但不限于无人驾驶车辆，也可以是路测感知设备等等其它设备。

请参看图9，其为本申请的物体检测方法的实施例的流程图。本申请提供的一种物体检测方法包括：

步骤S901：获取目标空间的二维环境图像。

例如，无人驾驶车辆通过其装载的图像采集装置(如摄像头等等)采集行驶道路的二维环境图像。

步骤S903：根据所述二维环境图像，构建目标空间的三维环境图像。

根据二维图像构建三维图像，可采用较为成熟的现有技术，如利用双目立体视觉进行深度估计,从而得到三维的深度图像的方法等等。由于根据二维图像构建三维图像的方法属于较为成熟的现有技术，因此此处不再赘述。

需要说明的是，获取到的目标空间的二维环境图像，可以单个图像也可以多个图像。要根据多个二维环境图像构建目标空间的三维环境图像，需要多个图像相机之间经过严格的校准内外参数。

步骤S905：根据三维环境图像，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据。

在本实施例中，根据三维环境图像表面上的点数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据。

步骤S907：将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像。

步骤S909：根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息。

从上述实施例可见，本申请实施例提供的物体检测方法，通过获取目标空间的二维环境图像；根据所述二维环境图像，构建目标空间的三维环境图像；根据所述三维环境图像，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息；这种处理方式，使得基于粗粒度体素进行三维图像降维处理，生成二维特征图像，且更加精细的划分粗粒度体素，使得该粗粒度体素的特征数据不仅包括粗粒度体素本身的体素特征数据，还包括其中细粒度体素的体素特征数据，因而粗粒度体素的特征数据中保留了更加充分的空间信息，由此可避免丢失部分物体信息；因此，可以有效兼顾较高的物体检测准确度及较快的检测速度。

此外，相对于第一实施例的技术方案，本实施例采用的处理方式，无需通过激光雷达采集点云数据，而是可直接根据摄像头采集的二维图像确定物体信息，因此，可以有效降低设备成本。

此外，相对于现有技术的通过物体检测模型(如基于深度学习的RefineDet方法等等)，直接根据采集的二维图像确定物体信息的技术方案，本实施例采用的处理方式，使得物体检测模型的输入数据(二维特征图像)包括空间信息，根据该二维特征图像确定的物体信息的准确度更高。

第十一实施例

在上述的实施例中，提供了一种物体检测方法，与之相对应的，本申请还提供一种物体检测装置。本申请提供的一种物体检测装置包括：

二维图像获取单元，用于获取目标空间的二维环境图像；

三维图像构建单元，用于根据所述二维环境图像，构建目标空间的三维环境图像；

特征数据确定单元，用于根据三维环境图像，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

二维特征提取单元，用于将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；

物体信息确定单元，用于根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息。

第十二实施例

在上述的实施例中，提供了一种物体检测方法，与之相对应的，本申请还提供一种设备。本申请提供的一种设备包括：

处理器；以及

存储器，用于存储实现物体检测方法的程序，该设备通电并通过所述处理器运行该物体检测方法的程序后，执行下述步骤：获取目标空间的二维环境图像；根据所述二维环境图像，构建目标空间的三维环境图像；根据所述三维环境图像，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息。

第十三实施例

在上述的实施例中，提供了一种病灶检测方法，与之相对应的，本申请还提供一种病灶检测方法。该方法的执行主体包括但不限于CT病灶检测设备等等其它设备。

请参看图10，其为本申请的病灶检测方法的实施例的流程图。本申请提供的一种病灶检测方法包括：

步骤S1001：获取目标部位的至少一个电子计算机断层扫描CT影像。

例如，可通过三维CT设备对人体的同一部位(目标部位，如头部等等)进行多切面的扫描，得到目标部位的至少一个CT影像。

步骤S1003：根据至少一个CT影像，构建目标部位的三维图像。

根据至少一个CT影像构建目标部位的三维图像，可采用较为成熟的现有技术，如利用双目立体视觉进行深度估计,从而得到三维的深度图像的方法等等。由于根据二维图像构建三维图像的方法属于较为成熟的现有技术，因此此处不再赘述。

步骤S1005：根据所述三维图像，确定目标部位内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据。

在将不同切面的多个输入表述到同一立体空间中，再进一步多层级体素化划分，并确定第一体素的特征数据。

步骤S1007：将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标部位的二维特征图像。

步骤S1009：根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标部位的病灶信息。

所述病灶信息，包括但不限于病灶类别，病灶位置等等。

从上述实施例可见，本申请实施例提供的病灶检测方法，通过获取目标部位的至少一个电子计算机断层扫描CT影像；根据至少一个CT影像，构建目标部位的三维图像；根据所述三维图像，确定目标部位内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标部位的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标部位的病灶信息；这种处理方式，使得基于粗粒度体素对目标部位的三维图像进行图像降维处理，生成二维特征图像，且更加精细的划分粗粒度体素，使得该粗粒度体素的特征数据不仅包括粗粒度体素本身的体素特征数据，还包括其中细粒度体素的体素特征数据，因而粗粒度体素的特征数据中保留了更加充分的空间信息，由此可避免丢失部分病灶信息；因此，可以有效兼顾较高的病灶检测准确度及较快的检测速度。

第十四实施例

在上述的实施例中，提供了一种病灶检测方法，与之相对应的，本申请还提供一种病灶检测装置。本申请提供的一种物体检测装置包括：

影像获取单元，用于获取目标部位的至少一个电子计算机断层扫描CT影像；

三维图像构建单元，用于根据至少一个CT影像，构建目标部位的三维图像；

特征数据确定单元，用于根据所述三维图像，确定目标部位内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

二维特征提取单元，用于将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标部位的二维特征图像；

病灶信息确定单元，用于根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标部位的病灶信息。

第十五实施例

在上述的实施例中，提供了一种病灶检测方法，与之相对应的，本申请还提供一种设备。本申请提供的一种设备包括：

处理器；以及

存储器，用于存储实现病灶检测方法的程序，该设备通电并通过所述处理器运行该病灶检测方法的程序后，执行下述步骤：获取目标部位的至少一个电子计算机断层扫描CT影像；根据至少一个CT影像，构建目标部位的三维图像；根据所述三维图像，确定目标部位内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标部位的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标部位的病灶信息。

第十六实施例

在上述的实施例中，提供了一种物体检测方法，与之相对应的，本申请还提供一种虚拟购物方法。该方法的执行主体包括但不限于虚拟购物设备等等设备。

请参看图11，其为本申请的虚拟购物方法的实施例的流程图。本申请提供的一种虚拟购物方法包括：

步骤S1101：根据购物环境点云数据，确定购物空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据。

例如，用户可通过AR(Augmented Reality)智能眼镜，构建购物空间的三维图像，基于该三维图像可对购物空间进行多层级的体素划分，得到第三特征数据。

具体实施时，可以是AR眼镜通过双目视觉技术或者单目回3d技术，估计出当前购物场景下的3d空间图像，通过将3d图像离散化得到3维点云图。在这个基础上，可通过多层级卷积网络实现对感兴趣目标进行检测识别，估计目标的位置及尺寸。

步骤S1103：将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成购物空间的二维特征图像。

步骤S1105：根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定购物空间内的物体信息。

例如，购物空间为空调售卖区，则所述物体信息包括各种展示的空调机型及准确的空间3d位置信息。

步骤S1107：根据所述物体信息，将虚拟对象置入购物空间的三维图像。

在通过上一步识别出购物空间中的物体信息后，可以将虚拟对象加入该空间的三维图像中。所述虚拟对象，可以包括虚拟导购小人、空调销售信息等等。

在本实施例中，通过识别出目标的型号及3d空间位置，在虚拟购物中将该目标(例如空调)的对应的定制化的3d模型放到虚拟空间中，进一步用户就可以和虚拟模型进行互动，如体验打开冰箱门等。

从上述实施例可见，本申请实施例提供的虚拟购物方法，通过根据购物环境点云数据，确定购物空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成购物空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定购物空间内的物体信息；根据所述物体信息，将虚拟对象置入购物空间的三维图像；这种处理方式，使得基于粗粒度体素对目标购物空间的三维图像进行图像降维处理，生成二维特征图像，且更加精细的划分粗粒度体素，使得该粗粒度体素的特征数据不仅包括粗粒度体素本身的体素特征数据，还包括其中细粒度体素的体素特征数据，因而粗粒度体素的特征数据中保留了更加充分的空间信息，由此可避免丢失部分商品信息；因此，可以有效兼顾较高的物体检测准确度及较快的检测速度，从而提升商品销售率及用户体验。

第十七实施例

在上述的实施例中，提供了一种虚拟购物方法，与之相对应的，本申请还提供一种虚拟购物装置。本申请提供的一种虚拟购物装置包括：

特征数据确定单元，用于根据购物环境点云数据，确定购物空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

二维特征提取单元，用于将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成购物空间的二维特征图像；

物体信息确定单元，用于根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定购物空间内的物体信息；

虚拟对象添加单元，用于根据所述物体信息，将虚拟对象置入购物空间的三维图像。

第十八实施例

在上述的实施例中，提供了一种虚拟购物方法，与之相对应的，本申请还提供一种设备。本申请提供的一种设备包括：

处理器；以及

存储器，用于存储实现虚拟购物方法的程序，该设备通电并通过所述处理器运行该虚拟购物方法的程序后，执行下述步骤：根据购物环境点云数据，确定购物空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成购物空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定购物空间内的物体信息；根据所述物体信息，将虚拟对象置入购物空间的三维图像。

第十九实施例

在上述的实施例中，提供了一种物体检测方法，与之相对应的，本申请还提供一种天气预测方法。该方法的执行主体包括但不限于天气预测设备等等。

请参看图12，其为本申请的天气预测方法的实施例的流程图。本申请提供的一种天气预测方法包括：

步骤S1201：采集目标云层的三维空间图像。

步骤S1203：根据所述三维空间图像，确定目标云层内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据。

例如，可通过气象雷达采集云层3D空间图像,基于该三维图像可对目标云层进行多层级的体素划分，得到第三特征数据。

步骤S1205：将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标云层的二维特征图像。

步骤S1207：根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定天气信息。

所述天气信息，包括但不限于：下雪、下雨等等。

从上述实施例可见，本申请实施例提供的天气预测方法，通过采集目标云层的三维空间图像；根据所述三维空间图像，确定目标云层内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标云层的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定天气信息；这种处理方式，使得基于粗粒度体素对目标云层的三维图像进行图像降维处理，生成二维特征图像，且更加精细的划分粗粒度体素，使得该粗粒度体素的特征数据不仅包括粗粒度体素本身的体素特征数据，还包括其中细粒度体素的体素特征数据，因而粗粒度体素的特征数据中保留了更加充分的空间信息，由此可避免丢失部分天气信息；因此，可以有效兼顾较高的天气预报准确度及较快的检测速度。

第二十实施例

在上述的实施例中，提供了一种天气预测方法，与之相对应的，本申请还提供一种天气预测装置。本申请提供的一种物体检测装置包括：

图像采集单元，用于采集目标云层的三维空间图像；

特征数据确定单元，用于根据所述三维空间图像，确定目标云层内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

二维特征提取单元，用于将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标云层的二维特征图像；

天气信息确定单元，用于根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定天气信息。

第二十一实施例

在上述的实施例中，提供了一种天气预测方法，与之相对应的，本申请还提供一种设备。本申请提供的一种设备包括：

处理器；以及

存储器，用于存储实现天气预测方法的程序，该设备通电并通过所述处理器运行该天气预测方法的程序后，执行下述步骤：采集目标云层的三维空间图像；根据所述三维空间图像，确定目标云层内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标云层的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定天气信息。

本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

2、本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (35)

1.一种物体检测方法，其特征在于，包括：

根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；

根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息。

2.根据权利要求1所述的方法，其特征在于，所述第一特征数据和所述第二特征数据，采用如下步骤确定：

根据环境点云数据，将目标空间划分为多个第一体素；

将所述第一体素划分为多个第二体素；

根据所述第一体素的点云数据，确定所述第一特征数据；以及，根据所述第二体素的点云数据，确定第二特征数据。

3.根据权利要求1所述的方法，其特征在于，还包括：

确定所述目标空间内的感兴趣区域；

清除所述环境点云数据中感兴趣区域外的点云数据。

4.根据权利要求1所述的方法，其特征在于，所述通过所述二维特征提取模型生成目标空间的二维特征图像，包括：

将基于流形稀疏卷积的图像特征提取层的三维卷积核拆分为多个单卷积核；

针对所述图像特征提取层中的排列在中心单卷积核之前的第一单卷积核，若针对输入的非空体素i存在通过第一单卷积核k产生的输出的非空体素j，则构建输入的非空体素、第一单卷积核与输出的非空体素间的卷积索引关系R(i，k，j)；

针对所述图像特征提取层中的排列在中心单卷积核之后的第二单卷积核，若存在对应关系R(i，k，j)，则构建输入的非空体素j、第二单卷积核k与输出的非空体素i间的卷积索引关系R(j，k，i)；

构建输入的非空体素i、中心单卷积核k与输出的非空体素i间的卷积索引关系R(i，k，i)；

根据所述卷积索引关系、所述单卷积核和所述输入的非空体素，确定所述基于流形稀疏卷积的图像特征提取层输出的非空体素。

5.根据权利要求1或4所述的方法，其特征在于，所述通过所述二维特征提取模型生成目标空间的二维特征图像，包括：

将基于非流形稀疏卷积的图像特征提取层的三维卷积核拆分为多个单卷积核；

根据卷积核的空间尺寸、填充及卷积步长，确定输出体素的全局索引j；

对于输入的非空体素i，若存在通过单卷积核k产生的输出的非空体素j，则构建输入的非空体素i、单卷积核k与输出的非空体素j间的卷积索引关系R(i，k，i)；

根据所述卷积索引关系、所述单卷积核和所述输入的非空体素，确定所述基于非流形稀疏卷积的图像特征提取层输出的非空体素。

6.根据权利要求1所述的方法，其特征在于，所述物体包括：车辆，人，障碍物。

7.根据权利要求1所述的方法，其特征在于，

若满足多层级体素划分条件，则根据所述环境点云数据，确定所述第一特征数据和所述第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

若不满足多层级体素划分条件，则根据所述环境点云数据，确定所述第一特征数据，并将所述第一特征数据作为所述二维特征提取模型的输入数据，并根据包括第一体素间相邻信息的二维特征图像，确定目标空间内的物体信息。

8.根据权利要求7所述的方法，其特征在于，所述多层级体素划分条件包括以下条件的至少一个：

物体识别准确度大于准确度阈值；

物体信息包括行驶道路中的车辆、人或障碍物；

执行所述方法的处理器的资源占用率大于占用率阈值。

9.根据权利要求1所述的方法，其特征在于，所述第二特征数据采用如下步骤确定：

将所述目标空间划分为需要多体素划分的第一区域、和无需多体素划分的第二区域；

确定所述第一区域内所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据。

10.根据权利要求9所述的方法，其特征在于，所述第一区域包括路面与空间高度小于高度阈值的空间位置之间的区域。

11.根据权利要求1所述的方法，其特征在于，所述第三特征数据采用如下步骤确定：

确定所述第一体素内待进行第二体素划分的区域；

将所述第一体素的第一特征数据、及所述待进行第二体素划分的区域内的第二特征数据作为所述第三特征数据。

12.一种物体检测装置，其特征在于，包括：

特征数据确定单元，用于根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

二维特征提取单元，用于将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；

物体信息确定单元，用于根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息。

13.根据权利要求12所述的装置，其特征在于，还包括：

感兴趣区域确定单元，用于确定所述目标空间内的感兴趣区域；

数据清除单元，用于清除所述环境点云数据中感兴趣区域外的点云数据。

14.一种设备，其特征在于，包括：

处理器；以及

存储器，用于存储实现物体检测方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息。

15.根据权利要求14所述的设备，其特征在于，

所述设备包括车辆；

所述车辆包括三维空间扫描装置。

16.一种车辆行驶信息确定方法，其特征在于，包括：

根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；

根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息；所述物体信息包括第一车辆的当前位置信息；

根据第一车辆的当前位置信息和历史位置信息，确定第一车辆的行驶速度和/或行驶轨迹。

17.根据权利要求16所述的方法，其特征在于，还包括：

根据所述行驶速度和/或行驶轨迹，调整第二车辆的行驶方式。

18.一种物体检测方法，其特征在于，包括：

根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；

根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的第一物体信息；

根据环境点云数据外的环境感知数据和所述第一物体信息，确定目标空间内的第二物体信息。

19.根据权利要求18所述的方法，其特征在于，所述感知数据包括以下数据的至少一个：二维图像，毫米波雷达感知数据。

20.一种车辆行驶信息确定装置，其特征在于，包括：

特征数据确定单元，用于根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

二维特征提取单元，用于将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；

位置信息确定单元，用于根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息；所述物体信息包括第一车辆的当前位置信息；

行驶信息确定单元，用于根据第一车辆的当前位置信息和历史位置信息，确定第一车辆的行驶速度和/或行驶轨迹。

21.一种物体检测装置，其特征在于，包括：

特征数据确定单元，用于根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

二维特征提取单元，用于将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；

第一物体信息确定单元，用于根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的第一物体信息；

第二物体信息确定单元，用于根据环境点云数据外的环境感知数据和所述第一物体信息，确定目标空间内的第二物体信息。

22.一种设备，其特征在于，包括：

处理器；以及

存储器，用于存储实现车辆行驶信息确定方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息；所述物体信息包括第一车辆的当前位置信息；根据第一车辆的当前位置信息和历史位置信息，确定第一车辆的行驶速度和/或行驶轨迹。

23.一种设备，其特征在于，包括：

处理器；以及

存储器，用于存储实现物体检测方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：根据环境点云数据，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的第一物体信息；根据环境点云数据外的环境感知数据和所述第一物体信息，确定目标空间内的第二物体信息。

24.一种物体检测方法，其特征在于，包括：

获取目标空间的二维环境图像；

根据所述二维环境图像，构建目标空间的三维环境图像；

根据所述三维环境图像，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；

根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息。

25.一种病灶检测方法，其特征在于，包括：

获取目标部位的至少一个电子计算机断层扫描CT影像；

根据至少一个CT影像，构建目标部位的三维图像；

根据所述三维图像，确定目标部位内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标部位的二维特征图像；

根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标部位的病灶信息。

26.一种物体检测装置，其特征在于，包括：

二维图像获取单元，用于获取目标空间的二维环境图像；

三维图像构建单元，用于根据所述二维环境图像，构建目标空间的三维环境图像；

特征数据确定单元，用于根据三维环境图像，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

二维特征提取单元，用于将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；

物体信息确定单元，用于根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息。

27.一种设备，其特征在于，包括：

处理器；以及

存储器，用于存储实现物体检测方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：获取目标空间的二维环境图像；根据所述二维环境图像，构建目标空间的三维环境图像；根据所述三维环境图像，确定目标空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标空间内的物体信息。

28.一种病灶检测装置，其特征在于，包括：

影像获取单元，用于获取目标部位的至少一个电子计算机断层扫描CT影像；

三维图像构建单元，用于根据至少一个CT影像，构建目标部位的三维图像；

特征数据确定单元，用于根据所述三维图像，确定目标部位内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

二维特征提取单元，用于将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标部位的二维特征图像；

病灶信息确定单元，用于根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标部位的病灶信息。

29.一种设备，其特征在于，包括：

处理器；以及

存储器，用于存储实现病灶检测方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：获取目标部位的至少一个电子计算机断层扫描CT影像；根据至少一个CT影像，构建目标部位的三维图像；根据所述三维图像，确定目标部位内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标部位的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定目标部位的病灶信息。

30.一种虚拟购物方法，其特征在于，包括：

根据购物环境点云数据，确定购物空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成购物空间的二维特征图像；

根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定购物空间内的物体信息；

根据所述物体信息，将虚拟对象置入购物空间的三维图像。

31.一种天气预测方法，其特征在于，包括：

采集目标云层的三维空间图像；

根据所述三维空间图像，确定目标云层内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标云层的二维特征图像；

根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定天气信息。

32.一种虚拟购物装置，其特征在于，包括：

特征数据确定单元，用于根据购物环境点云数据，确定购物空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

二维特征提取单元，用于将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成购物空间的二维特征图像；

物体信息确定单元，用于根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定购物空间内的物体信息；

虚拟对象添加单元，用于根据所述物体信息，将虚拟对象置入购物空间的三维图像。

33.一种设备，其特征在于，包括：

处理器；以及

存储器，用于存储实现虚拟购物方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：根据购物环境点云数据，确定购物空间内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成购物空间的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定购物空间内的物体信息；根据所述物体信息，将虚拟对象置入购物空间的三维图像。

34.一种天气预测装置，其特征在于，包括：

图像采集单元，用于采集目标云层的三维空间图像；

特征数据确定单元，用于根据所述三维空间图像，确定目标云层内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；

二维特征提取单元，用于将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标云层的二维特征图像；

天气信息确定单元，用于根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定天气信息。

35.一种设备，其特征在于，包括：

处理器；以及

存储器，用于存储实现天气预测方法的程序，该设备通电并通过所述处理器运行该方法的程序后，执行下述步骤：采集目标云层的三维空间图像；根据所述三维空间图像，确定目标云层内与第一空间分辨率对应的多个第一体素的第一特征数据和所述第一体素中与至少一个第二空间分辨率分别对应的多个第二体素的第二特征数据，将所述第一特征数据和所述第二特征数据作为所述第一体素的第三特征数据；将所述第一体素的第三特征数据作为网络深度与第一空间分辨率对应的二维特征提取模型的输入数据，通过所述二维特征提取模型生成目标云层的二维特征图像；根据包括第一体素间相邻信息和第二体素间相邻信息的二维特征图像，确定天气信息。

Images