CN112634427A - 三维建模方法、装置、网络设备及计算机可读存储介质 - Google Patents

三维建模方法、装置、网络设备及计算机可读存储介质 Download PDF

Info

Publication number
CN112634427A
CN112634427A CN201910905028.2A CN201910905028A CN112634427A CN 112634427 A CN112634427 A CN 112634427A CN 201910905028 A CN201910905028 A CN 201910905028A CN 112634427 A CN112634427 A CN 112634427A
Authority
CN
China
Prior art keywords
data
information
point cloud
dimensional modeling
end sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910905028.2A
Other languages
English (en)
Inventor
王柄璇
于渊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Original Assignee
China Mobile Communications Group Co Ltd
China Mobile Communications Ltd Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, China Mobile Communications Ltd Research Institute filed Critical China Mobile Communications Group Co Ltd
Priority to CN201910905028.2A priority Critical patent/CN112634427A/zh
Publication of CN112634427A publication Critical patent/CN112634427A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供了一种三维建模方法、装置、网络设备及计算机可读存储介质，其中，三维建模方法包括：获取远端设备的位置数据和视角数据；根据所述位置数据和视角数据，获取所需的点云数据；根据所述点云数据，获取前端传感器的传感数据；根据所述传感数据，进行三维建模。本方案能够实现通过远端视角控制三维实时建模，减少非必要空间的建模(即非必要点云的计算)，以有效提升三维实时建模的性能，并降低从点云采集到远端用户成像的时延，提高用户感受，很好的解决现有技术中三维实时建模方案中存在非必要点云数据的计算的问题。

Description

三维建模方法、装置、网络设备及计算机可读存储介质
技术领域
本发明涉及通信技术领域，特别是指一种三维建模方法、装置、网络设备及计算机可读存储介质。
背景技术
现有主流三维实时建模技术方案中，常常使用多台传感器设备作为前端采集设备，以实现人体建模、大尺度场景建模等；比如：采用三个数据采集传感器采集人体的三维点云数据，在服务器完成点云合成、优化，传送到远端，远端的使用者通过智能眼镜看到前端的实时人像。
但是，目前在三维实时建模方案中，由于人的双眼视场角有限，或由于人所佩戴的设备所具有的视场角有限(当前智能眼镜等设备的视场角仍受技术限制)，不在观察者视场角范围内的点云数据是不必要的；
点云的采集、合成、优化过程中存在较大的计算量，其所造成的时延会影响用户体验；具体的，从点云采集到远端用户成像，若时延过大，则远端用户会有动作延迟、卡顿等感受。
发明内容
本发明的目的在于提供一种三维建模方法、装置、网络设备及计算机可读存储介质，解决现有技术中三维实时建模方案中存在非必要点云数据的计算的问题。
为了解决上述技术问题，本发明实施例提供一种三维建模方法，包括：
获取远端设备的位置数据和视角数据；
根据所述位置数据和视角数据，获取所需的点云数据；
根据所述点云数据，获取前端传感器的传感数据；
根据所述传感数据，进行三维建模。
可选的，所述获取远端设备的位置数据和视角数据，包括：
获取远端设备的位置变化数据和朝向变化数据，得到对应的旋转矩阵R和平移向量t。
可选的，所述根据所述位置数据和视角数据，获取所需的点云数据，包括：
根据所述R、t以及所述远端设备的视场角数据，获取所需的点云数据。
可选的，所述根据所述点云数据，获取前端传感器的传感数据，包括：
根据所述点云数据，确定前端传感器所需感知的目标点云的第一信息；
获取各个前端传感器所能够感知的点云的第二信息；
根据所述第一信息和第二信息，确定所需前端传感器的第三信息；
根据所述第三信息，获取对应的前端传感器的传感数据。
可选的，在根据所述第一信息和第二信息，确定所需前端传感器的第三信息之后，还包括：
控制与所述第三信息相匹配的前端传感器处于工作状态，并控制与所述第三信息不匹配的前端传感器处于非工作状态。
可选的，所述根据所述第一信息和第二信息，确定所需前端传感器的第三信息，包括：
根据所述第一信息和第二信息，确定与所述目标点云相交的所述点云的第四信息；
根据所述第四信息，确定所需前端传感器的第三信息；
所述根据所述第三信息，获取对应的前端传感器的传感数据，包括：
根据所述第三信息，获取对应的前端传感器的传感数据，作为初始数据；
根据所述第四信息，对所述初始数据进行剔除处理，得到的剩余数据作为目标数据；
所述根据所述传感数据，进行三维建模，包括：
根据所述目标数据，进行三维建模。
可选的，所述根据所述传感数据，进行三维建模，包括：
根据所述视角数据以及所述远端设备的视场角数据，确定视野聚集区域和边缘区域；
根据所述传感数据，确定所述视野聚集区域对应的第一点云数据和所述边缘区域对应的第二点云数据；
根据第一阈值，对所述第一点云数据进行配准操作，得到第一配准结果；
根据第二阈值，对所述第二点云数据进行配准操作，得到第二配准结果；
根据所述第一配准结果和第二配准结果，进行三维建模；
其中，所述第一阈值小于所述第二阈值。
本发明实施例还提供了一种三维建模装置，包括：
第一获取模块，用于获取远端设备的位置数据和视角数据；
第二获取模块，用于根据所述位置数据和视角数据，获取所需的点云数据；
第三获取模块，用于根据所述点云数据，获取前端传感器的传感数据；
第一建模模块，用于根据所述传感数据，进行三维建模。
可选的，所述第一获取模块，包括：
第一获取子模块，用于获取远端设备的位置变化数据和朝向变化数据，得到对应的旋转矩阵R和平移向量t。
可选的，所述第二获取模块，包括：
第二获取子模块，用于根据所述R、t以及所述远端设备的视场角数据，获取所需的点云数据。
可选的，所述第三获取模块，包括：
第一确定子模块，用于根据所述点云数据，确定前端传感器所需感知的目标点云的第一信息；
第三获取子模块，用于获取各个前端传感器所能够感知的点云的第二信息；
第二确定子模块，用于根据所述第一信息和第二信息，确定所需前端传感器的第三信息；
第四获取子模块，用于根据所述第三信息，获取对应的前端传感器的传感数据。
可选的，还包括：
第一控制模块，用于在根据所述第一信息和第二信息，确定所需前端传感器的第三信息之后，控制与所述第三信息相匹配的前端传感器处于工作状态，并控制与所述第三信息不匹配的前端传感器处于非工作状态。
可选的，所述第二确定子模块，包括：
第一确定单元，用于根据所述第一信息和第二信息，确定与所述目标点云相交的所述点云的第四信息；
第二确定单元，用于根据所述第四信息，确定所需前端传感器的第三信息；
所述第四获取子模块，包括：
第一获取单元，用于根据所述第三信息，获取对应的前端传感器的传感数据，作为初始数据；
第一处理单元，用于根据所述第四信息，对所述初始数据进行剔除处理，得到的剩余数据作为目标数据；
所述第一建模模块，包括：
第一建模子模块，用于根据所述目标数据，进行三维建模。
可选的，所述第一建模模块，包括：
第三确定子模块，用于根据所述视角数据以及所述远端设备的视场角数据，确定视野聚集区域和边缘区域；
第四确定子模块，用于根据所述传感数据，确定所述视野聚集区域对应的第一点云数据和所述边缘区域对应的第二点云数据；
第一处理子模块，用于根据第一阈值，对所述第一点云数据进行配准操作，得到第一配准结果；
第二处理子模块，用于根据第二阈值，对所述第二点云数据进行配准操作，得到第二配准结果；
第二建模子模块，用于根据所述第一配准结果和第二配准结果，进行三维建模；
其中，所述第一阈值小于所述第二阈值。
本发明实施例还提供了一种网络设备，包括：处理器和收发机；
所述处理器，用于通过所述收发机获取远端设备的位置数据和视角数据；
根据所述位置数据和视角数据，获取所需的点云数据；
根据所述点云数据，获取前端传感器的传感数据；
根据所述传感数据，进行三维建模。
可选的，所述处理器具体用于：
通过所述收发机获取远端设备的位置变化数据和朝向变化数据，得到对应的旋转矩阵R和平移向量t。
可选的，所述处理器具体用于：
根据所述R、t以及所述远端设备的视场角数据，获取所需的点云数据。
可选的，所述处理器具体用于：
根据所述点云数据，确定前端传感器所需感知的目标点云的第一信息；
获取各个前端传感器所能够感知的点云的第二信息；
根据所述第一信息和第二信息，确定所需前端传感器的第三信息；
根据所述第三信息，获取对应的前端传感器的传感数据。
可选的，所述处理器还用于：
在根据所述第一信息和第二信息，确定所需前端传感器的第三信息之后，控制与所述第三信息相匹配的前端传感器处于工作状态，并控制与所述第三信息不匹配的前端传感器处于非工作状态。
可选的，所述处理器具体用于：
根据所述第一信息和第二信息，确定与所述目标点云相交的所述点云的第四信息；
根据所述第四信息，确定所需前端传感器的第三信息；
根据所述第三信息，获取对应的前端传感器的传感数据，作为初始数据；
根据所述第四信息，对所述初始数据进行剔除处理，得到的剩余数据作为目标数据；
根据所述目标数据，进行三维建模。
可选的，所述处理器具体用于：
根据所述视角数据以及所述远端设备的视场角数据，确定视野聚集区域和边缘区域；
根据所述传感数据，确定所述视野聚集区域对应的第一点云数据和所述边缘区域对应的第二点云数据；
根据第一阈值，对所述第一点云数据进行配准操作，得到第一配准结果；
根据第二阈值，对所述第二点云数据进行配准操作，得到第二配准结果；
根据所述第一配准结果和第二配准结果，进行三维建模；
其中，所述第一阈值小于所述第二阈值。
本发明实施例还提供了一种网络设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述程序时实现上述的三维建模方法。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的三维建模方法中的步骤。
本发明的上述技术方案的有益效果如下：
上述方案中，所述三维建模方法通过获取远端设备的位置数据和视角数据；根据所述位置数据和视角数据，获取所需的点云数据；根据所述点云数据，获取前端传感器的传感数据；根据所述传感数据，进行三维建模；能够实现通过远端视角控制三维实时建模，减少非必要空间的建模(即非必要点云的计算)，以有效提升三维实时建模的性能，并降低从点云采集到远端用户成像的时延，提高用户感受，很好的解决现有技术中三维实时建模方案中存在非必要点云数据的计算的问题。
附图说明
图1为本发明实施例的三维建模方法流程示意图；
图2为本发明实施例的数据交互示意图；
图3为本发明实施例的三维建模方法实现***示意图；
图4为本发明实施例的视场角示意图；
图5为本发明实施例的所需点云示意图；
图6为本发明实施例的前端传感器点云覆盖示意图；
图7为本发明实施例的三维建模装置结构示意图；
图8为本发明实施例的网络设备结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明针对现有的技术中三维实时建模方案中存在非必要点云数据的计算的问题，提供一种三维建模方法，可应用于网络设备，如图1所示，包括：
步骤11：获取远端设备的位置数据和视角数据；
步骤12：根据所述位置数据和视角数据，获取所需的点云数据；
步骤13：根据所述点云数据，获取前端传感器的传感数据；
步骤14：根据所述传感数据，进行三维建模。
本发明实施例提供的所述三维建模方法通过获取远端设备的位置数据和视角数据；根据所述位置数据和视角数据，获取所需的点云数据；根据所述点云数据，获取前端传感器的传感数据；根据所述传感数据，进行三维建模；能够实现通过远端视角控制三维实时建模，减少非必要空间的建模(即非必要点云的计算)，以有效提升三维实时建模的性能，并降低从点云采集到远端用户成像的时延，提高用户感受，很好的解决现有技术中三维实时建模方案中存在非必要点云数据的计算的问题。
其中，所述获取远端设备的位置数据和视角数据，包括：获取远端设备的位置变化数据和朝向变化数据，得到对应的旋转矩阵R和平移向量t。
具体的，所述根据所述位置数据和视角数据，获取所需的点云数据，包括：根据所述R、t以及所述远端设备的视场角数据，获取所需的点云数据。
本发明实施例中，所述根据所述点云数据，获取前端传感器的传感数据，包括：根据所述点云数据，确定前端传感器所需感知的目标点云的第一信息；获取各个前端传感器所能够感知的点云的第二信息；根据所述第一信息和第二信息，确定所需前端传感器的第三信息；根据所述第三信息，获取对应的前端传感器的传感数据。
进一步的，在根据所述第一信息和第二信息，确定所需前端传感器的第三信息之后，还包括：控制与所述第三信息相匹配的前端传感器处于工作状态，并控制与所述第三信息不匹配的前端传感器处于非工作状态。
这样能够避免不必要的资源浪费，节省资源。
其中，所述根据所述第一信息和第二信息，确定所需前端传感器的第三信息，包括：根据所述第一信息和第二信息，确定与所述目标点云相交的所述点云的第四信息；根据所述第四信息，确定所需前端传感器的第三信息；
对应的，所述根据所述第三信息，获取对应的前端传感器的传感数据，包括：根据所述第三信息，获取对应的前端传感器的传感数据，作为初始数据；根据所述第四信息，对所述初始数据进行剔除处理，得到的剩余数据作为目标数据；
所述根据所述传感数据，进行三维建模，包括：根据所述目标数据，进行三维建模。
具体的，所述根据所述传感数据，进行三维建模，包括：根据所述视角数据以及所述远端设备的视场角数据，确定视野聚集区域和边缘区域；根据所述传感数据，确定所述视野聚集区域对应的第一点云数据和所述边缘区域对应的第二点云数据；根据第一阈值，对所述第一点云数据进行配准操作，得到第一配准结果；根据第二阈值，对所述第二点云数据进行配准操作，得到第二配准结果；根据所述第一配准结果和第二配准结果，进行三维建模；其中，所述第一阈值小于所述第二阈值。
这样能够实现精确计算视野聚焦区域的点云数据，粗略计算视野边缘区域的点云数据，以在保障用户所见像清晰的前提下，最大化减少点云合成计算量。
下面对本发明实施例提供的所述三维建模方法进行进一步举例说明，网络设备以服务器为例，远端设备以远端用户设备为例。
针对上述技术问题，并考虑到点云的采集、合成、优化过程中存在较大的计算量，其所造成的时延会影响用户体验，减少非必要点云数据的计算，可以降低该时延；本发明实施例提供了一种三维建模方法，通过视角控制，减少非必要空间的建模(即非必要点云的计算)，进一步的，同时降低视野边缘区域建模的精细程度，以减少计算时延，有效提升三维实时建模的性能。
本发明实施例提供的方案可以具体实现为：实时跟踪远端用户(即远端用户设备)的位置和视角，将位置和视角实时反馈给服务器；服务器计算当前位置和视角下，需要哪些前端传感器的点云数据，控制前端传感器的工作和等待状态，根据需要合成、优化必要的点云数据，形成三维模型；再将模型传递给远端用户。数据交互示例可参见图2，图2中的a表示前端传感器(也可以称为数据采集传感器)。
关于本发明实施例提供的方案的实现可采用如图3所示的实现***，该***可分为远端用户设备、服务器、前端传感器三部分：
其中，远端用户设备，包括：
视觉呈现模块：可用于在用户视野中呈现三维像。
定位姿态模块：可用于跟踪用户(远端用户设备)所在位置和视角朝向，可以通过运动惯性传感器(IMU)或视觉里程计(VO)算法、或两者结合视觉惯性里程计(VIO)等多种方式实现。
通信模块，可用于与服务器通信。
服务器，包括：
模型生成模块，可用于拼接、合成、优化前端传感器采集的三维点云。
视角控制模块：可用于实时接收远端用户设备感知的位置和视角朝向，判断必要的点云数据所在空间范围(即远端用户设备的视角范围)，根据这个空间范围确定当前必须使用的传感器。
通信模块，可用于与前端传感器的通信模块通信、与远端用户设备的通信模块通信。
前端传感器，包括：
点云采集模块，可用于采集点云信息。
设备控制模块：可用于接收视角控制模块反馈的必须使用的传感器信息，控制必须使用的传感器处于收集数据状态，可设置其他传感器为其他状态(如非工作状态，具体可为暂停工作状态)。
通信模块，可用于与服务器通信。
下面对本发明实施例提供的三维建模方法的实现流程进行具体举例(建模对象以人体为例)。
a)***初始化
将前端传感器固定在空间中并完成标定(在服务器实现：统一坐标系，确定彼此相对位置)；分别定义前端传感器所在的世界坐标系和远端用户设备所在的世界坐标系，定义呈现在远端用户视野中的像的初始位置。
关于具体的标定和定义方法可参见现有方案，在此不再赘述。
b)远端用户实时视角追踪
使用运动惯性传感器(IMU)或视觉里程计(VO)算法、或两者结合视觉惯性里程计(VIO)，实时跟踪远端用户设备的朝向和位置变化，用旋转矩阵R、平移向量t表示。远端用户设备在空间中的轨迹中的每个位置都对应一个R、t。远端用户设备将R、t实时传送给服务器。
c)服务器判断当前远端用户视角所需点云
远端用户设备(如智能眼镜)的视场角用fov表示。如图4所示，视场角在空间中延伸，将空间划分为视场角内的空间和视场角外的空间。
服务器接收到远端用户设备实时反馈的R、t，根据用户位置朝向和视场角可计算当前所需点云Premote，Premote定义在前端传感器所在的世界坐标系下，假设前端传感器所在的世界坐标系和远端用户设备所在的世界坐标系一致，即:
Premote＝f(R,t,fov)；
其中f为由R、t、fov作为自变量的函数。如图5所示，被观察人体上的虚线表征的表面点云(包括头部侧面)，即为当前所求的Premote。
d)服务器判断当前需要哪些前端传感器的数据来生成Premote
将前端传感器感知的点云记为Psensor，使
Figure BDA0002213019750000101
即可满足当前点云需求。为了尽可能地减少点云合成的原始数据，Psensor按照下列规则组成，若传感器采集的点云Psensor与Premote有交集，则保留交集部分的点云数据，其余部分剔除；若传感器采集的点云Psensor完全与Premote没有交集，则舍弃该传感器的全部点云；即当前使用的传感器集合S为：
Figure BDA0002213019750000102
如图6所示，传感器A、B、D采集的点云，都全部或部分在上一步中的点云Premote中，因此当前时刻需使用的传感器为传感器A、B、D。
e)控制前端传感器关闭或开启
根据上一步判断得到的传感器集合，传输控制信号给相应的传感器，控制其开启和关闭。这对于使用大量传感器实现大型场景的三维实时构建是有意义的，使闲置的传感器处于非工作状态减少消耗。
f)点云合成计算
现在处理传感器A、B、D的点云。如d)步骤中所述，保留传感器A的全部点云，保留传感器B、D的在Premote中的点云，剔除不属于Premote的点云。
此外，考虑到人的视野存在这样的特点：中心聚焦区域清晰，视野边缘区域模糊；在实时三维建模中，可以使用户视野中心区域的建模更精细化，同时对视野边缘区域的建模适当降低标准，以此来减少计算量。
因此，本发明实施例中将传感器A、B、D点云的进行配准。可根据用户实时视角，精确计算视野聚焦区域的点云数据，粗略计算视野边缘区域的点云数据。点云配准的方法有很多，在此仅以ICP(Iterative Closest Point，迭代最近点)算法为例进行介绍：
ICP算法可以理解为不停的循环计算，在每两个点云间找到最近的对应点，由这些对应点计算出一个使变换后对应点距离最小的RT矩阵(旋转平移矩阵)，并按照此RT矩阵进行变换，重复以上步骤，直到某些值达到设定的阈值则停止迭代。因此，对于需要精确计算的视野聚焦区域，在采用ICP算法时选取一个较小的阈值(如上述第一阈值)，使点云配准的结果更加精确；反之，对于仅需粗略计算的边缘区域，选取一个较大的阈值(如上述第二阈值)，仅大致配准点云即结束配准。
关于视野聚集区域和边缘区域的划定，可以根据当前视角确定视野中心点，结合远端用户设备的视场角fov，确定范围，具体方法不限。
在此说明，本发明实施例提供的方案的应用范围不限于三维实时人体建模，也包括物体实时建模、大尺度场景空间建模等。
由上可知，本发明实施例提供的方案涉及：
(1)通过视场角控制，判断远端用户所需要的点云范围；
(2)根据所需点云和传感器参数，判断使用哪些传感器采集数据；
(3)裁剪保持工作的传感器采集的点云，使其中不必要的点云不参与最终像的合成；
(4)精确计算视野聚焦区域的点云数据，粗略计算视野边缘区域的点云数据，以在保障用户所见像清晰的前提下，最大化减少点云合成计算量。
本发明实施例还提供了一种三维建模装置，如图7所示，包括：
第一获取模块71，用于获取远端设备的位置数据和视角数据；
第二获取模块72，用于根据所述位置数据和视角数据，获取所需的点云数据；
第三获取模块73，用于根据所述点云数据，获取前端传感器的传感数据；
第一建模模块74，用于根据所述传感数据，进行三维建模。
本发明实施例提供的所述三维建模装置通过获取远端设备的位置数据和视角数据；根据所述位置数据和视角数据，获取所需的点云数据；根据所述点云数据，获取前端传感器的传感数据；根据所述传感数据，进行三维建模；能够实现通过远端视角控制三维实时建模，减少非必要空间的建模(即非必要点云的计算)，以有效提升三维实时建模的性能，并降低从点云采集到远端用户成像的时延，提高用户感受，很好的解决现有技术中三维实时建模方案中存在非必要点云数据的计算的问题。
其中，所述第一获取模块，包括：第一获取子模块，用于获取远端设备的位置变化数据和朝向变化数据，得到对应的旋转矩阵R和平移向量t。
具体的，所述第二获取模块，包括：第二获取子模块，用于根据所述R、t以及所述远端设备的视场角数据，获取所需的点云数据。
本发明实施例中，所述第三获取模块，包括：第一确定子模块，用于根据所述点云数据，确定前端传感器所需感知的目标点云的第一信息；第三获取子模块，用于获取各个前端传感器所能够感知的点云的第二信息；第二确定子模块，用于根据所述第一信息和第二信息，确定所需前端传感器的第三信息；第四获取子模块，用于根据所述第三信息，获取对应的前端传感器的传感数据。
进一步的，所述的三维建模装置，还包括：第一控制模块，用于在根据所述第一信息和第二信息，确定所需前端传感器的第三信息之后，控制与所述第三信息相匹配的前端传感器处于工作状态，并控制与所述第三信息不匹配的前端传感器处于非工作状态。
其中，所述第二确定子模块，包括：第一确定单元，用于根据所述第一信息和第二信息，确定与所述目标点云相交的所述点云的第四信息；第二确定单元，用于根据所述第四信息，确定所需前端传感器的第三信息；
对应的，所述第四获取子模块，包括：第一获取单元，用于根据所述第三信息，获取对应的前端传感器的传感数据，作为初始数据；第一处理单元，用于根据所述第四信息，对所述初始数据进行剔除处理，得到的剩余数据作为目标数据；
所述第一建模模块，包括：第一建模子模块，用于根据所述目标数据，进行三维建模。
具体的，所述第一建模模块，包括：第三确定子模块，用于根据所述视角数据以及所述远端设备的视场角数据，确定视野聚集区域和边缘区域；第四确定子模块，用于根据所述传感数据，确定所述视野聚集区域对应的第一点云数据和所述边缘区域对应的第二点云数据；第一处理子模块，用于根据第一阈值，对所述第一点云数据进行配准操作，得到第一配准结果；第二处理子模块，用于根据第二阈值，对所述第二点云数据进行配准操作，得到第二配准结果；第二建模子模块，用于根据所述第一配准结果和第二配准结果，进行三维建模；其中，所述第一阈值小于所述第二阈值。
其中，上述三维建模方法的所述实现实施例均适用于该三维建模装置的实施例中，也能达到相同的技术效果。
本发明实施例还提供了一种网络设备，如图8所示，包括：处理器81和收发机82；
所述处理器81，用于通过所述收发机82获取远端设备的位置数据和视角数据；
根据所述位置数据和视角数据，获取所需的点云数据；
根据所述点云数据，获取前端传感器的传感数据；
根据所述传感数据，进行三维建模。
本发明实施例提供的所述网络设备通过获取远端设备的位置数据和视角数据；根据所述位置数据和视角数据，获取所需的点云数据；根据所述点云数据，获取前端传感器的传感数据；根据所述传感数据，进行三维建模；能够实现通过远端视角控制三维实时建模，减少非必要空间的建模(即非必要点云的计算)，以有效提升三维实时建模的性能，并降低从点云采集到远端用户成像的时延，提高用户感受，很好的解决现有技术中三维实时建模方案中存在非必要点云数据的计算的问题。
其中，所述处理器具体用于：通过所述收发机获取远端设备的位置变化数据和朝向变化数据，得到对应的旋转矩阵R和平移向量t。
具体的，所述处理器具体用于：根据所述R、t以及所述远端设备的视场角数据，获取所需的点云数据。
本发明实施例中，所述处理器具体用于：根据所述点云数据，确定前端传感器所需感知的目标点云的第一信息；获取各个前端传感器所能够感知的点云的第二信息；根据所述第一信息和第二信息，确定所需前端传感器的第三信息；根据所述第三信息，获取对应的前端传感器的传感数据。
进一步的，所述处理器还用于：在根据所述第一信息和第二信息，确定所需前端传感器的第三信息之后，控制与所述第三信息相匹配的前端传感器处于工作状态，并控制与所述第三信息不匹配的前端传感器处于非工作状态。
其中，所述处理器具体用于：根据所述第一信息和第二信息，确定与所述目标点云相交的所述点云的第四信息；根据所述第四信息，确定所需前端传感器的第三信息；根据所述第三信息，获取对应的前端传感器的传感数据，作为初始数据；根据所述第四信息，对所述初始数据进行剔除处理，得到的剩余数据作为目标数据；根据所述目标数据，进行三维建模。
具体的，所述处理器具体用于：根据所述视角数据以及所述远端设备的视场角数据，确定视野聚集区域和边缘区域；根据所述传感数据，确定所述视野聚集区域对应的第一点云数据和所述边缘区域对应的第二点云数据；根据第一阈值，对所述第一点云数据进行配准操作，得到第一配准结果；根据第二阈值，对所述第二点云数据进行配准操作，得到第二配准结果；根据所述第一配准结果和第二配准结果，进行三维建模；其中，所述第一阈值小于所述第二阈值。
其中，上述三维建模方法的所述实现实施例均适用于该网络设备的实施例中，也能达到相同的技术效果。
本发明实施例还提供了一种网络设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述程序时实现上述的三维建模方法。
其中，上述三维建模方法的所述实现实施例均适用于该网络设备的实施例中，也能达到相同的技术效果。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的三维建模方法中的步骤。
其中，上述三维建模方法的所述实现实施例均适用于该计算机可读存储介质的实施例中，也能达到相同的技术效果。
需要说明的是，此说明书中所描述的许多功能部件都被称为模块/子模块/单元，以便更加特别地强调其实现方式的独立性。
本发明实施例中，模块/子模块/单元可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位里上的不同的指令，当这些指令逻辑上结合在一起时，其构成模块并且实现该模块的规定目的。
实际上，可执行代码模块可以是单条指令或者是许多条指令，并且甚至可以分布在多个不同的代码段上，分布在不同程序当中，以及跨越多个存储器设备分布。同样地，操作数据可以在模块内被识别，并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集，或者可以分布在不同位置上(包括在不同存储设备上)，并且至少部分地可以仅作为电子信号存在于***或网络上。
在模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。
以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述原理前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (17)

1.一种三维建模方法，其特征在于，包括：
获取远端设备的位置数据和视角数据；
根据所述位置数据和视角数据，获取所需的点云数据；
根据所述点云数据，获取前端传感器的传感数据；
根据所述传感数据，进行三维建模。
2.根据权利要求1所述的三维建模方法，其特征在于，所述获取远端设备的位置数据和视角数据，包括：
获取远端设备的位置变化数据和朝向变化数据，得到对应的旋转矩阵R和平移向量t。
3.根据权利要求2所述的三维建模方法，其特征在于，所述根据所述位置数据和视角数据，获取所需的点云数据，包括：
根据所述R、t以及所述远端设备的视场角数据，获取所需的点云数据。
4.根据权利要求1所述的三维建模方法，其特征在于，所述根据所述点云数据，获取前端传感器的传感数据，包括：
根据所述点云数据，确定前端传感器所需感知的目标点云的第一信息；
获取各个前端传感器所能够感知的点云的第二信息；
根据所述第一信息和第二信息，确定所需前端传感器的第三信息；
根据所述第三信息，获取对应的前端传感器的传感数据。
5.根据权利要求4所述的三维建模方法，其特征在于，在根据所述第一信息和第二信息，确定所需前端传感器的第三信息之后，还包括：
控制与所述第三信息相匹配的前端传感器处于工作状态，并控制与所述第三信息不匹配的前端传感器处于非工作状态。
6.根据权利要求4所述的三维建模方法，其特征在于，所述根据所述第一信息和第二信息，确定所需前端传感器的第三信息，包括：
根据所述第一信息和第二信息，确定与所述目标点云相交的所述点云的第四信息；
根据所述第四信息，确定所需前端传感器的第三信息；
所述根据所述第三信息，获取对应的前端传感器的传感数据，包括：
根据所述第三信息，获取对应的前端传感器的传感数据，作为初始数据；
根据所述第四信息，对所述初始数据进行剔除处理，得到的剩余数据作为目标数据；
所述根据所述传感数据，进行三维建模，包括：
根据所述目标数据，进行三维建模。
7.根据权利要求1或2所述的三维建模方法，其特征在于，所述根据所述传感数据，进行三维建模，包括：
根据所述视角数据以及所述远端设备的视场角数据，确定视野聚集区域和边缘区域；
根据所述传感数据，确定所述视野聚集区域对应的第一点云数据和所述边缘区域对应的第二点云数据；
根据第一阈值，对所述第一点云数据进行配准操作，得到第一配准结果；
根据第二阈值，对所述第二点云数据进行配准操作，得到第二配准结果；
根据所述第一配准结果和第二配准结果，进行三维建模；
其中，所述第一阈值小于所述第二阈值。
8.一种三维建模装置，其特征在于，包括：
第一获取模块，用于获取远端设备的位置数据和视角数据；
第二获取模块，用于根据所述位置数据和视角数据，获取所需的点云数据；
第三获取模块，用于根据所述点云数据，获取前端传感器的传感数据；
第一建模模块，用于根据所述传感数据，进行三维建模。
9.根据权利要求8所述的三维建模装置，其特征在于，所述第一获取模块，包括：
第一获取子模块，用于获取远端设备的位置变化数据和朝向变化数据，得到对应的旋转矩阵R和平移向量t。
10.根据权利要求9所述的三维建模装置，其特征在于，所述第二获取模块，包括：
第二获取子模块，用于根据所述R、t以及所述远端设备的视场角数据，获取所需的点云数据。
11.根据权利要求8所述的三维建模装置，其特征在于，所述第三获取模块，包括：
第一确定子模块，用于根据所述点云数据，确定前端传感器所需感知的目标点云的第一信息；
第三获取子模块，用于获取各个前端传感器所能够感知的点云的第二信息；
第二确定子模块，用于根据所述第一信息和第二信息，确定所需前端传感器的第三信息；
第四获取子模块，用于根据所述第三信息，获取对应的前端传感器的传感数据。
12.根据权利要求11所述的三维建模装置，其特征在于，还包括：
第一控制模块，用于在根据所述第一信息和第二信息，确定所需前端传感器的第三信息之后，控制与所述第三信息相匹配的前端传感器处于工作状态，并控制与所述第三信息不匹配的前端传感器处于非工作状态。
13.根据权利要求11所述的三维建模装置，其特征在于，所述第二确定子模块，包括：
第一确定单元，用于根据所述第一信息和第二信息，确定与所述目标点云相交的所述点云的第四信息；
第二确定单元，用于根据所述第四信息，确定所需前端传感器的第三信息；
所述第四获取子模块，包括：
第一获取单元，用于根据所述第三信息，获取对应的前端传感器的传感数据，作为初始数据；
第一处理单元，用于根据所述第四信息，对所述初始数据进行剔除处理，得到的剩余数据作为目标数据；
所述第一建模模块，包括：
第一建模子模块，用于根据所述目标数据，进行三维建模。
14.根据权利要求8或9所述的三维建模装置，其特征在于，所述第一建模模块，包括：
第三确定子模块，用于根据所述视角数据以及所述远端设备的视场角数据，确定视野聚集区域和边缘区域；
第四确定子模块，用于根据所述传感数据，确定所述视野聚集区域对应的第一点云数据和所述边缘区域对应的第二点云数据；
第一处理子模块，用于根据第一阈值，对所述第一点云数据进行配准操作，得到第一配准结果；
第二处理子模块，用于根据第二阈值，对所述第二点云数据进行配准操作，得到第二配准结果；
第二建模子模块，用于根据所述第一配准结果和第二配准结果，进行三维建模；
其中，所述第一阈值小于所述第二阈值。
15.一种网络设备，其特征在于，包括：处理器和收发机；
所述处理器，用于通过所述收发机获取远端设备的位置数据和视角数据；
根据所述位置数据和视角数据，获取所需的点云数据；
根据所述点云数据，获取前端传感器的传感数据；
根据所述传感数据，进行三维建模。
16.一种网络设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的三维建模方法。
17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的三维建模方法中的步骤。
CN201910905028.2A 2019-09-24 2019-09-24 三维建模方法、装置、网络设备及计算机可读存储介质 Pending CN112634427A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910905028.2A CN112634427A (zh) 2019-09-24 2019-09-24 三维建模方法、装置、网络设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910905028.2A CN112634427A (zh) 2019-09-24 2019-09-24 三维建模方法、装置、网络设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN112634427A true CN112634427A (zh) 2021-04-09

Family

ID=75282699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910905028.2A Pending CN112634427A (zh) 2019-09-24 2019-09-24 三维建模方法、装置、网络设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112634427A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104793619A (zh) * 2015-04-17 2015-07-22 上海交通大学 基于摆动单线激光雷达的仓库巷道自动引导车导航装置
CN105512665A (zh) * 2015-12-11 2016-04-20 中国测绘科学研究院 一种机载激光雷达点云数据边缘提取方法
CN107976887A (zh) * 2017-12-18 2018-05-01 苏州大学 一种能减少再现浪费信息的计算全息三维显示方法及***
CN109087388A (zh) * 2018-07-12 2018-12-25 南京邮电大学 基于深度传感器的物体三维建模方法
CN109377551A (zh) * 2018-10-16 2019-02-22 北京旷视科技有限公司 一种三维人脸重建方法、装置及其存储介质
US20190272671A1 (en) * 2016-10-17 2019-09-05 Hangzhou Hikvision Digital Technology Co., Ltd. Method and device for constructing 3d scene model

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104793619A (zh) * 2015-04-17 2015-07-22 上海交通大学 基于摆动单线激光雷达的仓库巷道自动引导车导航装置
CN105512665A (zh) * 2015-12-11 2016-04-20 中国测绘科学研究院 一种机载激光雷达点云数据边缘提取方法
US20190272671A1 (en) * 2016-10-17 2019-09-05 Hangzhou Hikvision Digital Technology Co., Ltd. Method and device for constructing 3d scene model
CN107976887A (zh) * 2017-12-18 2018-05-01 苏州大学 一种能减少再现浪费信息的计算全息三维显示方法及***
CN109087388A (zh) * 2018-07-12 2018-12-25 南京邮电大学 基于深度传感器的物体三维建模方法
CN109377551A (zh) * 2018-10-16 2019-02-22 北京旷视科技有限公司 一种三维人脸重建方法、装置及其存储介质

Similar Documents

Publication Publication Date Title
CN106846403B (zh) 一种三维空间中手部定位的方法、装置及智能设备
CN109271914B (zh) 检测视线落点的方法、装置、存储介质和终端设备
US10891473B2 (en) Method and device for use in hand gesture recognition
CN110880189B (zh) 联合标定方法及其联合标定装置和电子设备
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及***
US10507381B2 (en) Information processing device, position and/or attitude estimiating method, and computer program
Rambach et al. Learning to fuse: A deep learning approach to visual-inertial camera pose estimation
CN107577451B (zh) 多Kinect人体骨架坐标变换方法及处理设备、可读存储介质
WO2018159168A1 (en) System and method for virtually-augmented visual simultaneous localization and mapping
Saini et al. Markerless outdoor human motion capture using multiple autonomous micro aerial vehicles
US10817050B2 (en) Backchannel resilience for virtual, augmented, or mixed reality (xR) applications in connectivity-constrained environments
JP2016099982A (ja) 行動認識装置、行動学習装置、方法、及びプログラム
JP2009237848A (ja) 情報処理装置、および画像処理方法、並びにコンピュータ・プログラム
CN111596767A (zh) 一种基于虚拟现实的姿态捕获方法和装置
CN104778661A (zh) 在姿态估计中使用的骨架平滑方法和设备
WO2024094227A1 (zh) 一种基于卡尔曼滤波和深度学习的手势姿态估计方法
CN108184062B (zh) 基于多层次异构并行处理的高速追踪***及方法
CN113721631A (zh) 传感器数据处理方法、***及可读存储介质
CN112634427A (zh) 三维建模方法、装置、网络设备及计算机可读存储介质
CN106096565B (zh) 基于传感网络的移动机器人与静态传感器的任务协作方法
JP2016162425A (ja) 骨格姿勢推定装置、方法、及びプログラム
CN111402423B (zh) 一种传感器设置方法、装置及服务器
JP2022516466A (ja) 情報処理装置、情報処理方法、並びにプログラム
CN110189267B (zh) 一种基于机器视觉的实时定位装置和***
CN111201502B (zh) 用于校准眼睛跟踪***的***和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination