CN112634439B - 一种3d信息展示方法及装置 - Google Patents

一种3d信息展示方法及装置 Download PDF

Info

Publication number
CN112634439B
CN112634439B CN202011566818.1A CN202011566818A CN112634439B CN 112634439 B CN112634439 B CN 112634439B CN 202011566818 A CN202011566818 A CN 202011566818A CN 112634439 B CN112634439 B CN 112634439B
Authority
CN
China
Prior art keywords
model
image
cloud data
test
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011566818.1A
Other languages
English (en)
Other versions
CN112634439A (zh
Inventor
娄志云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202011566818.1A priority Critical patent/CN112634439B/zh
Publication of CN112634439A publication Critical patent/CN112634439A/zh
Application granted granted Critical
Publication of CN112634439B publication Critical patent/CN112634439B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明实施例提供了一种3D信息展示方法与装置，涉及数据处理技术领域，其中，上述方法包括：获得目标物体的各个图像组。根据各个图像组，按照相同的固定相机位姿与固定相机内参，重构上述目标物体在相同的固定坐标系中不同采集时刻的3D模型，得到各个3D模型的点云数据。在接收到针对上述目标物体的3D信息展示指令的情况下，根据各组点云数据，按照各组点云数据对应的采集时刻的顺序，依次渲染各个采集时刻对应的3D模型，实现3D信息展示。应用本发明实施例提供的方案展示3D信息，可以通过3D模型重现动态物体的动态信息。

Description

一种3D信息展示方法及装置
技术领域
本发明涉及数据处理技术领域，特别是涉及一种3D信息展示方法及装置。
背景技术
2D图像可以记录并重现现实世界中真实物体的信息，但2D图像仅能够重现真实物体的二维平面信息，信息重现效果较差。随着3D技术的发展，应用3D技术能够重构现实世界中真实物体的3D模型，通过3D模型可以重现真实物体三维的立体信息，信息重现效果较好。因此，通过3D模型重现真实物体的信息广泛的应用于VR(Virtual Reality，虚拟现实)等领域。
但应用现有技术往往仅能基于2D图像重构出2D图像中物体的3D模型，由于2D图像是静态图像，所以，通过重构出的3D模型仅能重现静态物体的静态信息。但现实世界中的真实物体往往是运动的动态物体，例如，运动中的人、动物等。又由于动态物体的运动状态是由物体自身控制的，具有随机性，因此，需要提供一种基于3D模型重现动态物体的方案。
发明内容
本发明实施例的目的在于提供一种3D信息展示方法及装置，从而通过3D模型重现动态物体的动态信息。具体技术方案如下：
在本发明实施例的第一方面，首先提供了一种3D信息展示方法，上述方法包括：
获得目标物体的各个图像组，其中，每一图像组中包括多个图像采集设备在同一采集时刻从不同采集角度采集的、包含所述目标物体的图像，各个图像组对应的采集时刻不同；
根据各个图像组，按照相同的固定相机位姿与固定相机内参，重构所述目标物体在相同的固定坐标系中不同采集时刻的3D模型，得到各个3D模型的点云数据，其中，所述固定相机位姿为固定的模拟相机的模拟位姿，所述固定相机内参为固定的模拟相机的模拟内参，所述模拟相机的采集范围为各个图像采集设备的采集范围的并集；
在接收到针对所述目标物体的3D信息展示指令的情况下，根据各组点云数据，按照各组点云数据对应的采集时刻的顺序，依次渲染各个采集时刻对应的3D模型，实现3D信息展示。
本发明的一个实施例中，通过以下方式获得所述固定坐标系、固定相机位姿与固定相机内参：
在各个图像组中选择一个参照图像组，使用所述参数图像组，重构所述目标物体的参照3D模型；
确定重构的所述参照3D模型所在的坐标系、以及重构所述参照3D模型时使用的模拟位姿与模拟内参，作为所述固定坐标系、固定相机位姿与固定相机内参。
本发明的一个实施例中，所述根据各个图像组，按照相同的固定相机位姿与固定相机内参，重构所述目标物体在相同的固定坐标系中不同采集时刻的3D模型，包括：
针对每一图像组，通过以下方式重构该图像组对应的目标物体的3D模型：
对该图像组中的各个图像进行特征提取，得到各个图像中的特征像素点；
基于各个图像中的特征像素点的第一特征，确定不同图像中对应于所述目标物体上相同位置的匹配像素点，其中，所述第一特征包括：像素点的像素点位置与第一内容子特征；
根据匹配像素点的第一特征、固定相机位姿与固定相机内参，预测各个匹配像素点在所述固定坐标系内3D模型中对应点的第二特征，其中，所述第二特征包括：3D模型中点的三维位置与第二内容子特征；
根据所述固定相机位姿、固定相机内参与图像中各个像素点的像素坐标，获得各个像素点的深度信息；
根据各个匹配像素点在3D模型中对应点的第二特征、各个像素点的深度信息与第一特征，重构该图像组对应的目标物体的3D模型。
本发明的一个实施例中，所述根据匹配像素点的第一特征、固定相机位姿与固定相机内参，预测各个匹配像素点在所述固定坐标系内3D模型中对应点的第二特征，包括：
根据图像中各个匹配像素点的第一特征中的像素点位置、固定相机位姿与固定相机内参，预测各个匹配像素点在3D模型中对应点在所述固定坐标系内的三维位置；
针对每个匹配像素点，根据该匹配像素点的第一特征中的第一内容子特征与该匹配像素点在3D模型中对应点的三维位置，确定该匹配像素点在3D模型中对应点的第二特征。
本发明的一个实施例中，所述根据所述固定相机位姿、固定相机内参与图像中各个像素点的像素坐标，获得各个像素点的深度信息，包括：
对各个图像进行图像去畸变处理，得到去畸变之后的图像；
根据所述固定相机位姿、固定相机内参与去畸变之后的图像中各个像素点的像素坐标，获得各个像素点的深度信息。
本发明的一个实施例中，所述根据各个匹配像素点在3D模型中对应点的第二特征、各个像素点的深度信息与第一特征，重构该图像组对应的目标物体的3D模型，包括：
根据各个像素点的深度信息，生成各个图像对应的法线贴图；
基于法线贴图和匹配像素点的第一特征中的像素位置重构3D模型的模型形状；
基于各个像素点的第一特征中的第一内容子特征对各个像素点在模型形状中的对应点进行内容填充；
根据进行内容填充后的模型形状，重构该图像组对应的目标物体的3D模型。
本发明的一个实施例中，在获得目标物体的各个图像组之前，还包括：
获得测试物体的各个测试图像组，其中，每一测试图像组中包括多个图像采集设备在同一测试采集时刻采集的包含所述测试物体的图像，各个测试图像组对应的测试采集时刻不同；
根据各个测试图像组，重构所述测试物体在不同测试采集时刻的测试3D模型，得到各个测试3D模型的测试点云数据；
根据各组测试点云数据，按照测试点云数据对应的测试采集时刻的顺序，依次渲染各个测试采集时刻对应的测试3D模型，实现3D测试信息展示；
若确定所展示的3D测试信息与测试物体的运动状态相似，则执行所述获得目标物体的各个图像组的步骤；
否则，在确定所述图像采集设备的位置和/或朝向发生改变的情况下，返回执行所述获得测试物体的各个测试图像组的步骤。
本发明的一个实施例中，所述根据各组点云数据，按照各组点云数据对应的采集时刻的顺序，依次渲染各个采集时刻对应的3D模型，包括：
根据目标点云数据，渲染目标点云数据对应的3D模型，其中，目标点云数据的初始值为：按照各组点云数据的采集时刻的顺序、位于最前端的点云数据；
在显示所渲染的3D模型预设时长之后，控制所渲染的3D模型消失；
若当前的目标点云数据不是在采集时刻的顺序中位于最后端的点云数据，将在采集时刻的顺序中位于当前的目标点云数据下一位的点云数据确定为新的目标点云数据，返回执行所述根据目标点云数据，渲染目标点云数据对应的3D模型的步骤。
在本发明实施例的第二方面，还提供了一种3D信息展示装置，所述装置包括：
图像获得模块，用于获得目标物体的各个图像组，其中，每一图像组中包括多个图像采集设备在同一采集时刻从不同采集角度采集的、包含所述目标物体的图像，各个图像组对应的采集时刻不同；
数据获得模块，用于根据各个图像组，按照相同的固定相机位姿与固定相机内参，重构所述目标物体在相同的固定坐标系中不同采集时刻的3D模型，得到各个3D模型的点云数据，其中，所述固定相机位姿为固定的模拟相机的模拟位姿，所述固定相机内参为固定的模拟相机的模拟内参，所述模拟相机的采集范围为各个图像采集设备的采集范围的并集；
信息展示模块，用于在接收到针对所述目标物体的3D信息展示指令的情况下，根据各组点云数据，按照各组点云数据对应的采集时刻的顺序，依次渲染各个采集时刻对应的3D模型，实现3D信息展示。
本发明的一个实施例中，通过以下模块获得所述固定坐标系、固定相机位姿与固定相机内参：
模型重构模块，用于在各个图像组中选择一个参照图像组，使用所述参数图像组，重构所述目标物体的参照3D模型；
参数确定模块，用于确定重构的所述参照3D模型所在的坐标系、以及重构所述参照3D模型时使用的模拟位姿与模拟内参，作为所述固定坐标系、固定相机位姿与固定相机内参。
本发明的一个实施例中，所述数据获得模块，包括：
针对每一图像组，通过以下子模块重构该图像组对应的目标物体的3D模型，得到3D模型的点云数据：
像素点获得子模块，用于对该图像组中的各个图像进行特征提取，得到各个图像中的特征像素点；
像素点匹配子模块，用于基于各个图像中的特征像素点的第一特征，确定不同图像中对应于所述目标物体上相同位置的匹配像素点，其中，所述第一特征包括：像素点的像素点位置与第一内容子特征；
特征预测子模块，用于根据匹配像素点的第一特征、固定相机位姿与固定相机内参，预测各个匹配像素点在所述固定坐标系内3D模型中对应点的第二特征，其中，所述第二特征包括：3D模型中点的三维位置与第二内容子特征；
深度获得子模块，用于根据所述固定相机位姿、固定相机内参与图像中各个像素点的像素坐标，获得各个像素点的深度信息；
模型重构子模块，用于根据各个匹配像素点在3D模型中对应点的第二特征、各个像素点的深度信息与第一特征，重构该图像组对应的目标物体的3D模型，得到3D模型的点云数据。
本发明的一个实施例中，所述特征预测子模块，具体用于：
根据图像中各个匹配像素点的第一特征中的像素点位置、固定相机位姿与固定相机内参，预测各个匹配像素点在3D模型中对应点在所述固定坐标系内的三维位置；
针对每个匹配像素点，根据该匹配像素点的第一特征中的第一内容子特征与该匹配像素点在3D模型中对应点的三维位置，确定该匹配像素点在3D模型中对应点的第二特征。
本发明的一个实施例中，所述深度获得子模块，具体用于：
对各个图像进行图像去畸变处理，得到去畸变之后的图像；
根据所述固定相机位姿、固定相机内参与去畸变之后的图像中各个像素点的像素坐标，获得各个像素点的深度信息。
本发明的一个实施例中，所述模型重构子模块，具体用于：
根据各个像素点的深度信息，生成各个图像对应的法线贴图；
基于法线贴图和匹配像素点的第一特征中的像素位置重构3D模型的模型形状；
基于各个像素点的第一特征中的第一内容子特征对各个像素点在模型形状中的对应点进行内容填充；
根据进行内容填充后的模型形状，重构该图像组对应的目标物体的3D模型，得到3D模型的点云数据。
本发明的一个实施例中，所述装置还包括：
测试图像获得模块，用于获得测试物体的各个测试图像组，其中，每一测试图像组中包括多个图像采集设备在同一测试采集时刻采集的包含所述测试物体的图像，各个测试图像组对应的测试采集时刻不同；
测试数据获得模块，用于根据各个测试图像组，重构所述测试物体在不同测试采集时刻的测试3D模型，得到各个测试3D模型的测试点云数据；
测试信息展示模块，用于根据各组测试点云数据，按照测试点云数据对应的测试采集时刻的顺序，依次渲染各个测试采集时刻对应的测试3D模型，实现3D测试信息展示，若确定所展示的3D测试信息与测试物体的运动状态相似，则触发执行所述图像获得模块，否则，在确定所述图像采集设备的位置和/或朝向发生改变的情况下，返回触发执行所述测试图像获得模块。
本发明的一个实施例中，所述信息展示模块，具体用于：
在接收到针对所述目标物体的3D信息展示指令的情况下，根据目标点云数据，渲染目标点云数据对应的3D模型，其中，目标点云数据的初始值为：按照各组点云数据的采集时刻的顺序、位于最前端的点云数据；
在显示所渲染的3D模型预设时长之后，控制所渲染的3D模型消失；
若当前的目标点云数据不是在采集时刻的顺序中位于最后端的点云数据，将在采集时刻的顺序中位于当前的目标点云数据下一位的点云数据确定为新的目标点云数据，返回执行所述根据目标点云数据，渲染目标点云数据对应的3D模型的步骤，实现3D信息展示。
在本发明实施例的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现第一方面任一所述的方法步骤。
在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
在本发明实施的又一方面，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面任一所述的方法步骤。
本发明实施例提供的3D信息展示方案中，通过在不同采集时刻采集到的目标物体的不同的图像组，按照相同的固定坐标系、固定相机位姿与固定相机内参，可以重构不同采集时刻目标物体的3D模型，从而可以得到各个3D模型的点云数据。在接收到针对目标物体的3D信息展示指令的情况下，根据点云数据，按照各组点云数据对应的采集时刻的顺序，依次渲染各个采集时刻对应的3D模型，从而实现3D信息展示。
由以上可见，若目标物体是动态的物体，则在不同采集时刻采集到的目标物体的图像组不同，根据不同的图像组可以重构目标物体在不同采集时刻不同的3D模型，从而得到不同采集时刻对应的不同的点云数据。根据不同的点云数据可以渲染不同的3D模型，由于人眼的视觉暂留现象，依次渲染不同的3D模型便可以使用户观看到动态效果。因此通过重构的3D模型，可以重现动态的目标物体的运动状态。
并且，由于在重构不同采集时刻目标物体的3D模型的过程中，均是按照相同的固定坐标系、固定相机位姿与固定相机内参，使得重构出的各个3D模型上对应目标物体上相同位置的点的坐标值相近。因此在展示3D信息的过程中，不会发生3D模型的位置突变，从而提高所展示的3D信息的流畅度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为本发明实施例中提供的第一种3D信息展示方法的流程示意图；
图2为本发明实施例中提供的第二种3D信息展示方法的流程示意图；
图3为本发明实施例中提供的第三种3D信息展示方法的流程示意图；
图4为本发明实施例中提供的第一种3D信息展示装置的结构示意图；
图5为本发明实施例中提供的第二种3D信息展示装置的结构示意图；
图6为本发明实施例中提供的第三种3D信息展示装置的结构示意图；
图7为本发明实施例中提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。
由于现有技术中基于3D模型仅能重现静态物体的静态信息。为解决这一问题，本发明实施例提供了一种3D信息展示方法及装置。
本发明的一个实施例中，提供了一种3D信息展示方法，上述方法包括：
获得目标物体的各个图像组，其中，每一图像组中包括多个图像采集设备在同一采集时刻从不同采集角度采集的、包含上述目标物体的图像，各个图像组对应的采集时刻不同。
根据各个图像组，按照相同的固定相机位姿与固定相机内参，重构上述目标物体在相同的固定坐标系中不同采集时刻的3D模型，得到各个3D模型的点云数据，其中，上述固定相机位姿为固定的模拟相机的模拟位姿，上述固定相机内参为固定的模拟相机的模拟内参，上述模拟相机的采集范围为各个图像采集设备的采集范围的并集。
在接收到针对上述目标物体的3D信息展示指令的情况下，根据各组点云数据，按照各组点云数据对应的采集时刻的顺序，依次渲染各个采集时刻对应的3D模型，实现3D信息展示。
由以上可见，若目标物体是动态的物体，则在不同采集时刻采集到的目标物体的图像组不同，根据不同的图像组可以重构目标物体在不同采集时刻不同的3D模型，从而得到不同采集时刻对应的不同的点云数据。根据不同的点云数据可以渲染不同的3D模型，由于人眼的视觉暂留现象，依次渲染不同的3D模型便可以使用户观看到动态效果。因此通过重构的3D模型，可以重现动态的目标物体的运动状态。
并且，由于在重构不同采集时刻目标物体的3D模型的过程中，均是按照相同的固定坐标系、固定相机位姿与固定相机内参，使得重构出的各个3D模型上对应目标物体上相同位置的点的坐标值相近。因此在展示3D信息的过程中，不会发生3D模型的位置突变，从而提高所展示的3D信息的流畅度。
下面通过具体的实施例对本发明实施例提供的3D信息展示方法及装置进行说明。
参见图1，本发明实施例提供了第一种3D信息展示方法的流程示意图，上述方法可以通过以下步骤S101-S103实现。
S101：获得目标物体的各个图像组。
其中，每一图像组中包括多个图像采集设备在同一采集时刻从不同采集角度采集的、包含上述目标物体的图像，各个图像组对应的采集时刻不同。
具体的，上述图像采集设备可以为工业相机，或其他图像采集效果较好的图像采集设备，图像采集设备的图像采集效果越好，根据所采集的图像组重构出的3D模型的精度越高。
各个图像采集设备用于从不同的采集角度采集目标物体不同角度的图像，各个图像采集设备均连接有电源。各个图像采集设备可以被安装于目标物体四周，朝向目标物体。例如，不同图像采集设备与目标物体之间的虚拟连线之间的夹角可以为20°、30°等。
每一图像采集设备的采集范围可以与相邻的图像采集设备的采集范围之间存在交集，也就是说不同图像采集设备所采集的目标物体的图像中可以存在目标物体的相同区域。
本发明的一个实施例中，可以通过SDK(Software Development Kit，软件开发工具包)控制各个图像采集设备同步采集目标物体的图像。在采集不同图像组的过程中，图像采集设备的安装位置与朝向可以保持不变。
S102：根据各个图像组，按照相同的固定相机位姿与固定相机内参，重构所述目标物体在相同的固定坐标系中不同采集时刻的3D模型，得到各个3D模型的点云数据。
其中，上述固定相机位姿为固定的模拟相机的模拟位姿。
上述固定相机内参为固定的模拟相机的模拟内参。
上述模拟相机的采集范围为各个图像采集设备的采集范围的并集。
具体的，上述模拟相机为代表各个真实的图像采集设备的虚拟相机，在构建目标物体在不同采集时刻的3D模型的过程中，上述模拟相机保持不变，也就是在构建目标物体在不同采集时刻的3D模型的过程中，采用的模拟位姿与模拟内参保持不变，即保持相同的固定相机位姿与固定相机内参。并且在固定坐标系中重构不同采集时刻的3D模型，从而可以保持重构出的目标物体在不同采集时刻的3D模型的一致性。
上述固定相机位姿、固定相机内参与固定坐标系可以为预设的模拟位姿、预设的模拟内参与预设的坐标系。上述预设的坐标系可以是世界坐标系，也可以是任意其他三维坐标系。
本发明的一个实施例中，可以通过以下步骤A-步骤B获得固定坐标系、固定相机位姿与固定相机内参。
步骤A：在各个图像组中选择一个参照图像组，使用上述参数图像组，重构上述目标物体的参照3D模型。
具体的，上述参照图像组可以为各个图像组中的任意一个，也可以为按采集时刻位于最前端的图像组，或位于最后端的图像组，或位于中间的图像组。
可以通过colmap算法或其他算法重构上述参照3D模型。
步骤B：确定重构的上述参照3D模型所在的坐标系、以及重构上述参照3D模型时使用的模拟位姿与模拟内参，作为上述固定坐标系、固定相机位姿与固定相机内参。
具体的，可以通过colmap算法中的model_converter命令行，输出模拟位姿与模拟内参以及参照3D模型所在的坐标系。
本发明的另一个实施例中，可以通过colmap算法或其他算法重构上述3D模型，上述点云数据可以为ply格式的点云数据，可以将不同的点云数据存储在点云数据库内不同的文件夹中。
另外，在重构出上述目标物体在不同采集时刻的3D模型之后，可以对各个3D模型进行平滑处理，从而得到平滑处理后的3D模型。
本发明的一个实施例中，可以通过步骤S102A-S102E实现上述步骤S102，在此暂不详述。
S103：在接收到针对上述目标物体的3D信息展示指令的情况下，根据各组点云数据，按照各组点云数据对应的采集时刻的顺序，依次渲染各个采集时刻对应的3D模型，实现3D信息展示。
其中，上述点云数据对应的采集时刻可以为重构出该点云数据的图像组的采集时刻。
具体的，可以按照各组点云数据对应的采集时刻的从前到后的顺序，通过开源库opengl渲染各个采集时刻对应的3D模型，从而实现目标物体的3D信息展示。若按照各组点云数据对应的采集时刻从后到前的顺序，渲染各个采集时刻对应的3D模型，可以实现目标物体的3D信息的倒放展示。
本发明的一个实施例中，可以通过以下步骤C-步骤E依次渲染各个采集时刻对应的3D模型。
步骤C：根据目标点云数据，渲染目标点云数据对应的3D模型。
其中，目标点云数据的初始值为：按照各组点云数据的采集时刻的顺序、位于最前端的点云数据。
步骤D：在显示所渲染的3D模型预设时长之后，控制所渲染的3D模型消失。
具体的，根据人眼的视觉暂留效果，当显示所渲染的3D模型的预设时长较短的情况下，依次渲染各个3D模型可以使得用户观察到动态效果，因此上述预设时长可以为0.03s、0.04s等。
步骤E：若当前的目标点云数据不是在采集时刻的顺序中位于最后端的点云数据，将在采集时刻的顺序中位于当前的目标点云数据下一位的点云数据确定为新的目标点云数据，返回执行上述步骤A。
若当前的目标点云数据是在采集时刻的顺序中位于最后端的点云数据，则说明3D信息展示已完成，否则需要渲染在采集时刻的顺序中位于当前目标点云数据下一位的点云数据。
由以上可见，若目标物体是动态的物体，则在不同采集时刻采集到的目标物体的图像组不同，根据不同的图像组可以重构目标物体在不同采集时刻不同的3D模型，从而得到不同采集时刻对应的不同的点云数据。根据不同的点云数据可以渲染不同的3D模型，由于人眼的视觉暂留现象，依次渲染不同的3D模型便可以使用户观看到动态效果。因此通过重构的3D模型，可以重现动态的目标物体的运动状态。
并且，由于在重构不同采集时刻目标物体的3D模型的过程中，均是按照相同的固定坐标系、固定相机位姿与固定相机内参，使得重构出的各个3D模型上对应目标物体上相同位置的点的坐标值相近。因此在展示3D信息的过程中，不会发生3D模型的位置突变，从而提高所展示的3D信息的流畅度。
参见图2，为本发明实施例提供的第二种3D信息展示方法的流程示意图，与前述图1所示的实施例相比，针对每一图像组，上述步骤S102可以通过以下步骤S102A-S102E实现。
S102A：对该图像组中的各个图像进行特征提取，得到各个图像中的特征像素点。
具体的，可以通过现有技术中的算法，得到各个图像中的特征像素点。例如，SUSAN(Small univalue segment assimilating nucleus，角点特征检测)算子、DoG(Differenceof Gaussian，高斯差分)算子、RANSAC(random sample consensus，随机抽样一致)算法等，本发明实施例对此不进行限定。
S102B：基于各个图像中的特征像素点的第一特征，确定不同图像中对应于上述目标物体上相同位置的匹配像素点。
其中，上述第一特征包括：像素点的像素点位置与第一内容子特征。
具体的，上述像素点位置可以以像素点在图像中的像素坐标表示，上述第一内容子特征包含像素点的颜色值、亮度值、像素点对应的目标物体上的点的材质等。
本发明的一个实施例中，可以计算不同图像中特征像素点的第一特征之间的相似度，将彼此之间计算得到的相似度大于预设相似度的特征像素点确定为匹配像素点。
S102C：根据匹配像素点的第一特征、固定相机位姿与固定相机内参，预测各个匹配像素点在上述固定坐标系内3D模型中对应点的第二特征。
其中，上述第二特征包括：3D模型中点的三维位置与第二内容子特征。
本发明的一个实施例中，可以通过以下步骤F-步骤G预测各个匹配像素点在上述固定坐标系内3D模型中对应点的第二特征。
步骤F：根据图像中各个匹配像素点的第一特征中的像素点位置、固定相机位姿与固定相机内参，预测各个匹配像素点在3D模型中对应点在所述固定坐标系内的三维位置。
具体的，可以通过以下坐标转换公式计算得到三维位置的三维坐标：
其中，Zc为尺度齐次，u为匹配像素点的像素坐标中的横坐标，v为匹配像素点的像素坐标中的纵坐标，dx表示图像在横轴上单位像素的尺寸大小，dy表示图像在纵轴上单位像素的尺寸大小，γ为畸变参数，u0为图像中光心像素点的横坐标，v0为图像中光心像素点的纵坐标，f为焦距，R1为表示正交旋转矩阵，T1为表示平移矩阵，Xi1为匹配像素点在3D模型中对应点在固定坐标系中的x轴坐标，Yi1为匹配像素点在3D模型中对应点在固定坐标系中的y轴坐标，Zi1为匹配像素点在3D模型中对应点在固定坐标系中的z轴坐标。其中，上述x轴的正方向为水平方向，y轴的正方向为垂直方向，z轴的正方向为纵深方向。上述坐标系的原点可以为任一点，x轴、y轴方向可以为互相垂直的任意方向，z轴方向可以根据右手定则确定。
具体的，上述公式中的dx、dy、γ、u0、v0与f是固定相机内参中包含的参数，R1与T1为固定相机位姿中包含的参数。
步骤G：针对每个匹配像素点，根据该匹配像素点的第一特征中的第一内容子特征与该匹配像素点在3D模型中对应点的三维位置，确定该匹配像素点在3D模型中对应点的第二特征。
具体的，可以将计算得到的三维位置作为第二特征中的三维位置，将第一内容子特征作为第二特征中的第二内容子特征，从而确定该匹配像素点在3D模型中对应点的第二特征。
S102D：根据上述固定相机位姿、固定相机内参与图像中各个像素点的像素坐标，获得各个像素点的深度信息。
本发明的一个实施例中，可以通过多视图立体算法、光度立体视觉算法、散焦推断算法等现有技术中的算法获得各个像素点的深度信息，本发明实施例对此不进行限定。
本发明的另一个实施例中，由于图像采集设备所采集的图像会存在畸变情况，若直接确定图像采集设备所采集的图像中各个像素点的深度信息，所得到的深度信息可能不准确。因此可以对各个图像进行图像去畸变处理，得到去畸变之后的图像，根据所述固定相机位姿、固定相机内参与去畸变之后的图像中各个像素点的像素坐标，确定各个像素点的深度信息。
具体的，可以通过OpenCV中的图像去畸变函数，如UndistortImage函数，initUndistortRectifyMap函数结合remap函数等算法，完成进行图像去畸变处理。
S102E：根据各个匹配像素点在3D模型中对应点的第二特征、各个像素点的深度信息与第一特征，重构该图像组对应的目标物体的3D模型。
具体的，由于像素点在图像中的像素点位置是二维位置信息，深度信息为第三维的位置信息，因此根据像素点的第一特征中的像素点位置与深度信息，可以确定各个像素点在3D模型中对应点的三维位置。并将像素点的第一特征中的第一内容子特征作为像素点在3D模型中对应点的第二内容子特征。因此通过所确定的各个像素点在3D模型中对应点的三维位置与第二内容子特征中包含的颜色、亮度、材质等信息，可以重构出该图像组对应的目标物体的3D模型。
本发明的一个实施例中，可以通过SFM算法中的稠密重建过程，实现上述步骤S102E。
本发明的另一个实施例中，也可以通过以下步骤H-步骤K实现上述步骤S102F。
步骤H：根据各个像素点的深度信息，生成各个图像对应的法线贴图。
具体的，上述法线贴图用于表现目标物体表面的凹凸情况，法线贴图中包含通过RGB颜色通道来标记方向的法线。
各个像素点的深度信息可以表示像素点所对应的目标物体上的点与图像采集设备之间的距离，与目标物体上的点与图像采集设备之间的距离越小，表示目标物体上的点越凸出，否则表示目标物体上的点越凹陷，因此根据各个像素点的深度信息，可以生成各个图像对应的法线贴图。
步骤I：基于法线贴图和匹配像素点的第一特征中的像素位置重构3D模型的模型形状。
具体的，可以根据匹配像素点的第一特征中的像素位置预测匹配像素点在3D模型的对应点的三维位置，并确定匹配像素点在法线贴图中的对应点，从而确定法线贴图中的对应点的三维位置。从而以匹配像素点在发现贴图中的对应点的三维位置为基准，结合法线贴图表示的目标物体表面的凹凸情况，重构出3D模型的模型形状。
上述模型形状可以表示目标物体的表面。
步骤J：基于各个像素点的第一特征中的第一内容子特征对各个像素点在模型形状中的对应点进行内容填充。
具体的，可以将各个像素点在模型形状中对应点的内容值赋值为上述第一内容子特征包括各个像素点的颜色值、亮度值，并将模型形状中对应点的材质设置为第一内容子特征表示的材质。
步骤K：根据进行内容填充后的模型形状，重构该图像组对应的目标物体的3D模型。
具体的，可以以进行内容填充后的模型形状，作为重构的3D模型的模型表面，从而重构该图像组对应的目标物体的3D模型。
由以上可见，可以根据图像组中各个图像的特征像素点的第一特征，确定不同图像中对应目标物体上相同位置的匹配像素点。因此可以通过匹配像素点将目标物体不同角度的图像互相结合。将匹配像素点的第一特征中的像素点位置转换为三维位置，作为匹配像素点在3D模型中对应点的位置。并以匹配像素点的三维位置作为基准，确定其他像素点在3D模型中对应点的位置。以像素点的第一特征中包含的第一内容子特征作为像素点在3D模型中对应点的第二内容子特征，从而重构出目标物体的3D模型。
参见图3，为本发明实施例提供的第三种3D信息展示方法的流程示意图，与前述图1所示的实施例相比，在步骤S101之前，还包括以下步骤S104-S106。
S104：获得测试物体的各个测试图像组。
其中，每一测试图像组中包括多个图像采集设备在同一测试采集时刻采集的包含上述测试物体的图像，各个测试图像组对应的测试采集时刻不同。
S105：根据各个测试图像组，重构上述测试物体在不同测试采集时刻的测试3D模型，得到各个测试3D模型的测试点云数据。
S106：根据各组测试点云数据，按照测试点云数据对应的测试采集时刻的顺序，依次渲染各个测试采集时刻对应的测试3D模型，实现3D测试信息展示。
具体的，上述步骤S104-S106的实现方式与S101-S103的实现方式相似，在此不再赘述。
若确定所展示的3D测试信息与测试物体的运动状态相似，则执行上述步骤S101。否则，在确定上述图像采集设备的位置和/或朝向发生改变的情况下，返回执行上述步骤S104。
本发明的实施例中，用户可以观看所展示的3D测试信息，并与测试物体的运动状态进行对比，由用户确定所展示的3D测试信息与测试物体的运动状态是否相似。用户可以输入表示所展示的3D测试信息与测试物体的运动状态是否相似的指令，执行上述3D信息展示方法的电子设备可以根据接收到的指令，确定所展示的3D测试信息与测试物体的运动状态是否相似。
由于若所展示的3D测试信息与测试物体的运动状态不相似，说明当前展示的3D测试信息与测试物体真实的运动状态不同，根据上述图像采集设备以当前的位置和/或朝向采集到的图像组无法准确的重现测试物体的运动状态，需要改变上述图像采集设备的位置和/或朝向。
在上述图像采集设备的位置和/或朝向发生改变之后，采集到的测试图像组会发生改变，重构出的测试3D模型也随之发生改变，可以根据新的测试3D模型展示3D测试信息，直至所展示的3D测试信息与测试物体的运动状态相似，说明以调整后的图像采集设备的位置和/或朝向采集的图像组，能够准确的重现物体的运动状态。因此可以在保持图像采集设备的位置与朝向的情况下执行步骤S101，以重现目标物体的运动状态。
由以上可见，在展示目标物体的3D信息之前，先通过展示测试物体的3D测试信息，检测图像采集设备的位置和/或朝向是否符合要求，若不符合，则改变图像采集设备的位置和/或朝向，若符合，才在保持图像采集设备的位置与朝向的情况下采集目标物体的图像组，从而展示目标物体的3D信息。以保证所展示的3D信息的准确度。
与前述3D信息展示方法相对应，参见图4，本发明实施例还提供了第一种3D信息展示装置的结构示意图，所述装置包括：
图像获得模块401，用于获得目标物体的各个图像组，其中，每一图像组中包括多个图像采集设备在同一采集时刻从不同采集角度采集的、包含所述目标物体的图像，各个图像组对应的采集时刻不同；
数据获得模块402，用于根据各个图像组，按照相同的固定相机位姿与固定相机内参，重构所述目标物体在相同的固定坐标系中不同采集时刻的3D模型，得到各个3D模型的点云数据，其中，所述固定相机位姿为固定的模拟相机的模拟位姿，所述固定相机内参为固定的模拟相机的模拟内参，所述模拟相机的采集范围为各个图像采集设备的采集范围的并集；
信息展示模块403，用于在接收到针对所述目标物体的3D信息展示指令的情况下，根据各组点云数据，按照各组点云数据对应的采集时刻的顺序，依次渲染各个采集时刻对应的3D模型，实现3D信息展示。
由以上可见，若目标物体是动态的物体，则在不同采集时刻采集到的目标物体的图像组不同，根据不同的图像组可以重构目标物体在不同采集时刻不同的3D模型，从而得到不同采集时刻对应的不同的点云数据。根据不同的点云数据可以渲染不同的3D模型，由于人眼的视觉暂留现象，依次渲染不同的3D模型便可以使用户观看到动态效果。因此通过重构的3D模型，可以重现动态的目标物体的运动状态。
并且，由于在重构不同采集时刻目标物体的3D模型的过程中，均是按照相同的固定坐标系、固定相机位姿与固定相机内参，使得重构出的各个3D模型上对应目标物体上相同位置的点的坐标值相近。因此在展示3D信息的过程中，不会发生3D模型的位置突变，从而提高所展示的3D信息的流畅度。
本发明的一个实施例中，通过以下模块获得所述固定坐标系、固定相机位姿与固定相机内参：
模型重构模块，用于在各个图像组中选择一个参照图像组，使用所述参数图像组，重构所述目标物体的参照3D模型；
参数确定模块，用于确定重构的所述参照3D模型所在的坐标系、以及重构所述参照3D模型时使用的模拟位姿与模拟内参，作为所述固定坐标系、固定相机位姿与固定相机内参。
参见图5，为本发明实施例提供的第二种3D信息展示装置的结构示意图，与前述图4所示的实施例相比，上述数据获得模块402，包括：
针对每一图像组，通过以下子模块重构该图像组对应的目标物体的3D模型，得到3D模型的点云数据：
像素点获得子模块402A，用于对该图像组中的各个图像进行特征提取，得到各个图像中的特征像素点；
像素点匹配子模块402B，用于基于各个图像中的特征像素点的第一特征，确定不同图像中对应于所述目标物体上相同位置的匹配像素点，其中，所述第一特征包括：像素点的像素点位置与第一内容子特征；
特征预测子模块402C，用于根据匹配像素点的第一特征、固定相机位姿与固定相机内参，预测各个匹配像素点在所述固定坐标系内3D模型中对应点的第二特征，其中，所述第二特征包括：3D模型中点的三维位置与第二内容子特征；
深度获得子模块402D，用于根据所述固定相机位姿、固定相机内参与图像中各个像素点的像素坐标，获得各个像素点的深度信息；
模型重构子模块402E，用于根据各个匹配像素点在3D模型中对应点的第二特征、各个像素点的深度信息与第一特征，重构该图像组对应的目标物体的3D模型，得到3D模型的点云数据。
由以上可见，可以根据图像组中各个图像的特征像素点的第一特征，确定不同图像中对应目标物体上相同位置的匹配像素点。因此可以通过匹配像素点将目标物体不同角度的图像互相结合。将匹配像素点的第一特征中的像素点位置转换为三维位置，作为匹配像素点在3D模型中对应点的位置。并以匹配像素点的三维位置作为基准，确定其他像素点在3D模型中对应点的位置。以像素点的第一特征中包含的第一内容子特征作为像素点在3D模型中对应点的第二内容子特征，从而重构出目标物体的3D模型。
本发明的一个实施例中，上述特征预测子模块402C，具体用于：
根据图像中各个匹配像素点的第一特征中的像素点位置、固定相机位姿与固定相机内参，预测各个匹配像素点在3D模型中对应点在所述固定坐标系内的三维位置；
针对每个匹配像素点，根据该匹配像素点的第一特征中的第一内容子特征与该匹配像素点在3D模型中对应点的三维位置，确定该匹配像素点在3D模型中对应点的第二特征。
本发明的一个实施例中，上述深度获得子模块402D，具体用于：
对各个图像进行图像去畸变处理，得到去畸变之后的图像；
根据所述固定相机位姿、固定相机内参与去畸变之后的图像中各个像素点的像素坐标，获得各个像素点的深度信息。
本发明的一个实施例中，上述模型重构子模块402E，具体用于：
根据各个像素点的深度信息，生成各个图像对应的法线贴图；
基于法线贴图和匹配像素点的第一特征中的像素位置重构3D模型的模型形状；
基于各个像素点的第一特征中的第一内容子特征对各个像素点在模型形状中的对应点进行内容填充；
根据进行内容填充后的模型形状，重构该图像组对应的目标物体的3D模型，得到3D模型的点云数据。
参见图6，为本发明实施例提供的第三种3D信息展示装置的结构示意图，与前述图4所示的实施例相比，上述装置还包括：
测试图像获得模块404，用于获得测试物体的各个测试图像组，其中，每一测试图像组中包括多个图像采集设备在同一测试采集时刻采集的包含所述测试物体的图像，各个测试图像组对应的测试采集时刻不同；
测试数据获得模块405，用于根据各个测试图像组，重构所述测试物体在不同测试采集时刻的测试3D模型，得到各个测试3D模型的测试点云数据；
测试信息展示模块406，用于根据各组测试点云数据，按照测试点云数据对应的测试采集时刻的顺序，依次渲染各个测试采集时刻对应的测试3D模型，实现3D测试信息展示，若确定所展示的3D测试信息与测试物体的运动状态相似，则触发执行所述图像获得模块401，否则，在确定所述图像采集设备的位置和/或朝向发生改变的情况下，返回触发执行所述测试图像获得模块404。
由以上可见，在展示目标物体的3D信息之前，先通过展示测试物体的3D测试信息，检测图像采集设备的位置和/或朝向是否符合要求，若不符合，则改变图像采集设备的位置和/或朝向，若符合，才在保持图像采集设备的位置与朝向的情况下采集目标物体的图像组，从而展示目标物体的3D信息。以保证所展示的3D信息的准确度。
本发明的一个实施例中，上述信息展示模块403，具体用于：
在接收到针对所述目标物体的3D信息展示指令的情况下，根据目标点云数据，渲染目标点云数据对应的3D模型，其中，目标点云数据的初始值为：按照各组点云数据的采集时刻的顺序、位于最前端的点云数据；
在显示所渲染的3D模型预设时长之后，控制所渲染的3D模型消失；
若当前的目标点云数据不是在采集时刻的顺序中位于最后端的点云数据，将在采集时刻的顺序中位于当前的目标点云数据下一位的点云数据确定为新的目标点云数据，返回执行所述根据目标点云数据，渲染目标点云数据对应的3D模型的步骤，实现3D信息展示。
本发明实施例还提供了一种电子设备，如图7所示，包括处理器701、通信接口702、存储器703和通信总线704，其中，处理器701，通信接口702，存储器703通过通信总线704完成相互间的通信，
存储器703，用于存放计算机程序；
处理器701，用于执行存储器703上所存放的程序时，实现上述3D信息展示方法。
应用本发明实施例提供的电子设备展示3D信息时，若目标物体是动态的物体，则在不同采集时刻采集到的目标物体的图像组不同，根据不同的图像组可以重构目标物体在不同采集时刻不同的3D模型，从而得到不同采集时刻对应的不同的点云数据。根据不同的点云数据可以渲染不同的3D模型，由于人眼的视觉暂留现象，依次渲染不同的3D模型便可以使用户观看到动态效果。因此通过重构的3D模型，可以重现动态的目标物体的运动状态。
并且，由于在重构不同采集时刻目标物体的3D模型的过程中，均是按照相同的固定坐标系、固定相机位姿与固定相机内参，使得重构出的各个3D模型上对应目标物体上相同位置的点的坐标值相近。因此在展示3D信息的过程中，不会发生3D模型的位置突变，从而提高所展示的3D信息的流畅度。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中任一所述的3D信息展示方法。
应用本实施例提供的计算机可读存储介质中存储的计算机程序展示3D信息时，若目标物体是动态的物体，则在不同采集时刻采集到的目标物体的图像组不同，根据不同的图像组可以重构目标物体在不同采集时刻不同的3D模型，从而得到不同采集时刻对应的不同的点云数据。根据不同的点云数据可以渲染不同的3D模型，由于人眼的视觉暂留现象，依次渲染不同的3D模型便可以使用户观看到动态效果。因此通过重构的3D模型，可以重现动态的目标物体的运动状态。
并且，由于在重构不同采集时刻目标物体的3D模型的过程中，均是按照相同的固定坐标系、固定相机位姿与固定相机内参，使得重构出的各个3D模型上对应目标物体上相同位置的点的坐标值相近。因此在展示3D信息的过程中，不会发生3D模型的位置突变，从而提高所展示的3D信息的流畅度。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的3D信息展示方法。
执行本实施例提供的计算机程序产品展示3D信息时，若目标物体是动态的物体，则在不同采集时刻采集到的目标物体的图像组不同，根据不同的图像组可以重构目标物体在不同采集时刻不同的3D模型，从而得到不同采集时刻对应的不同的点云数据。根据不同的点云数据可以渲染不同的3D模型，由于人眼的视觉暂留现象，依次渲染不同的3D模型便可以使用户观看到动态效果。因此通过重构的3D模型，可以重现动态的目标物体的运动状态。
并且，由于在重构不同采集时刻目标物体的3D模型的过程中，均是按照相同的固定坐标系、固定相机位姿与固定相机内参，使得重构出的各个3D模型上对应目标物体上相同位置的点的坐标值相近。因此在展示3D信息的过程中，不会发生3D模型的位置突变，从而提高所展示的3D信息的流畅度。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质和计算机程序产品，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种3D信息展示方法，其特征在于，所述方法包括：
获得目标物体的各个图像组，其中，每一图像组中包括多个图像采集设备在同一采集时刻从不同采集角度采集的、包含所述目标物体的图像，各个图像组对应的采集时刻不同；
针对每一图像组，通过以下方式重构该图像组对应的目标物体的3D模型：对该图像组中的各个图像进行特征提取，得到各个图像中的特征像素点；基于各个图像中的特征像素点的第一特征，确定不同图像中对应于所述目标物体上相同位置的匹配像素点；根据匹配像素点的第一特征、固定相机位姿与固定相机内参，预测各个匹配像素点在固定坐标系内3D模型中对应点的第二特征；根据所述固定相机位姿、固定相机内参与图像中各个像素点的像素坐标，获得各个像素点的深度信息；根据各个匹配像素点在3D模型中对应点的第二特征、各个像素点的深度信息与第一特征，重构该图像组对应的目标物体的3D模型，得到各个3D模型的点云数据，其中，所述第一特征包括：像素点的像素点位置与第一内容子特征，所述第二特征包括：3D模型中点的三维位置与第二内容子特征，所述固定相机位姿为固定的模拟相机的模拟位姿，所述固定相机内参为固定的模拟相机的模拟内参，所述模拟相机的采集范围为各个图像采集设备的采集范围的并集；
在接收到针对所述目标物体的3D信息展示指令的情况下，根据各组点云数据，按照各组点云数据对应的采集时刻的顺序，依次渲染各个采集时刻对应的3D模型，实现3D信息展示。
2.根据权利要求1所述的方法，其特征在于，通过以下方式获得所述固定坐标系、固定相机位姿与固定相机内参：
在各个图像组中选择一个参照图像组，使用所述参照图像组，重构所述目标物体的参照3D模型；
确定重构的所述参照3D模型所在的坐标系、以及重构所述参照3D模型时使用的模拟位姿与模拟内参，作为所述固定坐标系、固定相机位姿与固定相机内参。
3.根据权利要求1所述的方法，其特征在于，所述根据匹配像素点的第一特征、固定相机位姿与固定相机内参，预测各个匹配像素点在所述固定坐标系内3D模型中对应点的第二特征，包括：
根据图像中各个匹配像素点的第一特征中的像素点位置、固定相机位姿与固定相机内参，预测各个匹配像素点在3D模型中对应点在所述固定坐标系内的三维位置；
针对每个匹配像素点，根据该匹配像素点的第一特征中的第一内容子特征与该匹配像素点在3D模型中对应点的三维位置，确定该匹配像素点在3D模型中对应点的第二特征。
4.根据权利要求1所述的方法，其特征在于，所述根据所述固定相机位姿、固定相机内参与图像中各个像素点的像素坐标，获得各个像素点的深度信息，包括：
对各个图像进行图像去畸变处理，得到去畸变之后的图像；
根据所述固定相机位姿、固定相机内参与去畸变之后的图像中各个像素点的像素坐标，获得各个像素点的深度信息。
5.根据权利要求1所述的方法，其特征在于，所述根据各个匹配像素点在3D模型中对应点的第二特征、各个像素点的深度信息与第一特征，重构该图像组对应的目标物体的3D模型，包括：
根据各个像素点的深度信息，生成各个图像对应的法线贴图；
基于法线贴图和匹配像素点的第一特征中的像素位置重构3D模型的模型形状；
基于各个像素点的第一特征中的第一内容子特征对各个像素点在模型形状中的对应点进行内容填充；
根据进行内容填充后的模型形状，重构该图像组对应的目标物体的3D模型。
6.根据权利要求1-5中任一项所述的方法，其特征在于，在获得目标物体的各个图像组之前，还包括：
获得测试物体的各个测试图像组，其中，每一测试图像组中包括多个图像采集设备在同一测试采集时刻采集的包含所述测试物体的图像，各个测试图像组对应的测试采集时刻不同；
根据各个测试图像组，重构所述测试物体在不同测试采集时刻的测试3D模型，得到各个测试3D模型的测试点云数据；
根据各组测试点云数据，按照测试点云数据对应的测试采集时刻的顺序，依次渲染各个测试采集时刻对应的测试3D模型，实现3D测试信息展示；
若确定所展示的3D测试信息与测试物体的运动状态相似，则执行所述获得目标物体的各个图像组的步骤；
否则，在确定所述图像采集设备的位置和/或朝向发生改变的情况下，返回执行所述获得测试物体的各个测试图像组的步骤。
7.根据权利要求1-5中任一项所述的方法，其特征在于，所述根据各组点云数据，按照各组点云数据对应的采集时刻的顺序，依次渲染各个采集时刻对应的3D模型，包括：
根据目标点云数据，渲染目标点云数据对应的3D模型，其中，目标点云数据的初始值为：按照各组点云数据的采集时刻的顺序、位于最前端的点云数据；
在显示所渲染的3D模型预设时长之后，控制所渲染的3D模型消失；
若当前的目标点云数据不是在采集时刻的顺序中位于最后端的点云数据，将在采集时刻的顺序中位于当前的目标点云数据下一位的点云数据确定为新的目标点云数据，返回执行所述根据目标点云数据，渲染目标点云数据对应的3D模型的步骤。
8.一种3D信息展示装置，其特征在于，所述装置包括：
图像获得模块，用于获得目标物体的各个图像组，其中，每一图像组中包括多个图像采集设备在同一采集时刻从不同采集角度采集的、包含所述目标物体的图像，各个图像组对应的采集时刻不同；
数据获得模块，用于针对每一图像组，通过以下方式重构该图像组对应的目标物体的3D模型：对该图像组中的各个图像进行特征提取，得到各个图像中的特征像素点；基于各个图像中的特征像素点的第一特征，确定不同图像中对应于所述目标物体上相同位置的匹配像素点；根据匹配像素点的第一特征、固定相机位姿与固定相机内参，预测各个匹配像素点在固定坐标系内3D模型中对应点的第二特征；根据所述固定相机位姿、固定相机内参与图像中各个像素点的像素坐标，获得各个像素点的深度信息；根据各个匹配像素点在3D模型中对应点的第二特征、各个像素点的深度信息与第一特征，重构该图像组对应的目标物体的3D模型，其中，所述第一特征包括：像素点的像素点位置与第一内容子特征，所述第二特征包括：3D模型中点的三维位置与第二内容子特征，所述固定相机位姿为固定的模拟相机的模拟位姿，所述固定相机内参为固定的模拟相机的模拟内参，所述模拟相机的采集范围为各个图像采集设备的采集范围的并集；
信息展示模块，用于在接收到针对所述目标物体的3D信息展示指令的情况下，根据各组点云数据，按照各组点云数据对应的采集时刻的顺序，依次渲染各个采集时刻对应的3D模型，实现3D信息展示。
9.根据权利要求8所述的装置，其特征在于，通过以下模块获得所述固定坐标系、固定相机位姿与固定相机内参：
模型重构模块，用于在各个图像组中选择一个参照图像组，使用所述参照图像组，重构所述目标物体的参照3D模型；
参数确定模块，用于确定重构的所述参照3D模型所在的坐标系、以及重构所述参照3D模型时使用的模拟位姿与模拟内参，作为所述固定坐标系、固定相机位姿与固定相机内参。
CN202011566818.1A 2020-12-25 2020-12-25 一种3d信息展示方法及装置 Active CN112634439B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011566818.1A CN112634439B (zh) 2020-12-25 2020-12-25 一种3d信息展示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011566818.1A CN112634439B (zh) 2020-12-25 2020-12-25 一种3d信息展示方法及装置

Publications (2)

Publication Number Publication Date
CN112634439A CN112634439A (zh) 2021-04-09
CN112634439B true CN112634439B (zh) 2023-10-31

Family

ID=75325380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011566818.1A Active CN112634439B (zh) 2020-12-25 2020-12-25 一种3d信息展示方法及装置

Country Status (1)

Country Link
CN (1) CN112634439B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113144613B (zh) * 2021-05-08 2024-06-21 成都乘天游互娱网络科技有限公司 基于模型的体积云生成的方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780576A (zh) * 2016-11-23 2017-05-31 北京航空航天大学 一种面向rgbd数据流的相机位姿估计方法
CN106941605A (zh) * 2017-04-27 2017-07-11 华南理工大学 一种砂轮修锐修整的图像视觉监控装置及方法
JP2018181047A (ja) * 2017-04-17 2018-11-15 凸版印刷株式会社 三次元形状モデル生成装置、三次元形状モデル生成方法及びプログラム
CN109509226A (zh) * 2018-11-27 2019-03-22 广东工业大学 三维点云数据配准方法、装置、设备及可读存储介质
CN110874818A (zh) * 2018-08-31 2020-03-10 阿里巴巴集团控股有限公司 图像处理和虚拟空间构建方法、装置、***和存储介质
WO2020078250A1 (zh) * 2018-10-15 2020-04-23 华为技术有限公司 用于虚拟场景的数据处理方法以及设备
CN111311742A (zh) * 2020-03-27 2020-06-19 北京百度网讯科技有限公司 三维重建方法、三维重建装置和电子设备
CN111369666A (zh) * 2020-03-02 2020-07-03 中国电子科技集团公司第五十二研究所 一种基于多台rgbd相机的动态目标重建方法和装置
KR20200122870A (ko) * 2019-04-19 2020-10-28 광운대학교 산학협력단 포토그래메트리를 이용한 고품질 3차원 공간 정보 획득 방법
WO2020243962A1 (zh) * 2019-06-06 2020-12-10 深圳市大疆创新科技有限公司 物体检测方法、电子设备和可移动平台

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3901910A1 (en) * 2017-12-14 2021-10-27 Canon Kabushiki Kaisha Generation device, generation method and program for three-dimensional model

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106780576A (zh) * 2016-11-23 2017-05-31 北京航空航天大学 一种面向rgbd数据流的相机位姿估计方法
JP2018181047A (ja) * 2017-04-17 2018-11-15 凸版印刷株式会社 三次元形状モデル生成装置、三次元形状モデル生成方法及びプログラム
CN106941605A (zh) * 2017-04-27 2017-07-11 华南理工大学 一种砂轮修锐修整的图像视觉监控装置及方法
CN110874818A (zh) * 2018-08-31 2020-03-10 阿里巴巴集团控股有限公司 图像处理和虚拟空间构建方法、装置、***和存储介质
WO2020078250A1 (zh) * 2018-10-15 2020-04-23 华为技术有限公司 用于虚拟场景的数据处理方法以及设备
CN109509226A (zh) * 2018-11-27 2019-03-22 广东工业大学 三维点云数据配准方法、装置、设备及可读存储介质
KR20200122870A (ko) * 2019-04-19 2020-10-28 광운대학교 산학협력단 포토그래메트리를 이용한 고품질 3차원 공간 정보 획득 방법
WO2020243962A1 (zh) * 2019-06-06 2020-12-10 深圳市大疆创新科技有限公司 物体检测方法、电子设备和可移动平台
CN111369666A (zh) * 2020-03-02 2020-07-03 中国电子科技集团公司第五十二研究所 一种基于多台rgbd相机的动态目标重建方法和装置
CN111311742A (zh) * 2020-03-27 2020-06-19 北京百度网讯科技有限公司 三维重建方法、三维重建装置和电子设备

Also Published As

Publication number Publication date
CN112634439A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
WO2018119889A1 (zh) 三维场景定位方法和装置
CN110675489B (zh) 一种图像处理方法、装置、电子设备和存储介质
CN113689578B (zh) 一种人体数据集生成方法及装置
CN104715479A (zh) 基于增强虚拟的场景复现检测方法
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及***
CN111161398B (zh) 一种图像生成方法、装置、设备及存储介质
CN106797458A (zh) 真实对象的虚拟改变
EP3291532B1 (en) Image processing device and image processing method
JP2018026064A (ja) 画像処理装置、画像処理方法、システム
CN109906600A (zh) 模拟景深
CN113763231A (zh) 模型生成方法、图像透视图确定方法、装置、设备及介质
CN116109765A (zh) 标注对象的三维渲染方法、装置、计算机设备、存储介质
CN112634439B (zh) 一种3d信息展示方法及装置
CN112652056B (zh) 一种3d信息展示方法及装置
CN115131507B (zh) 图像处理方法、图像处理设备和元宇宙三维重建方法
CN115272575B (zh) 图像生成方法及装置、存储介质和电子设备
CN116469101A (zh) 数据标注方法、装置、电子设备及存储介质
JP5926626B2 (ja) 画像処理装置及びその制御方法、プログラム
US20120162215A1 (en) Apparatus and method for generating texture of three-dimensional reconstructed object depending on resolution level of two-dimensional image
CN114332356A (zh) 一种虚实画面结合方法和装置
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
CN114387378A (zh) 基于数字孪生渲染引擎的图像生成方法、装置及电子设备
CN114596407A (zh) 资源对象三维模型生成交互方法和装置，显示方法和装置
CN113744361A (zh) 一种基于三目视觉的三维高精地图构建方法及装置
CN113177975A (zh) 基于球幕相机及激光雷达的深度计算方法及三维建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant