CN116129043A - 用于融合现实场景的通用三维模型及其构建方法 - Google Patents
用于融合现实场景的通用三维模型及其构建方法 Download PDFInfo
- Publication number
- CN116129043A CN116129043A CN202211711446.6A CN202211711446A CN116129043A CN 116129043 A CN116129043 A CN 116129043A CN 202211711446 A CN202211711446 A CN 202211711446A CN 116129043 A CN116129043 A CN 116129043A
- Authority
- CN
- China
- Prior art keywords
- dimensional model
- static
- dynamic
- dimensional
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 20
- 230000003068 static effect Effects 0.000 claims abstract description 101
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 11
- 230000000007 visual effect Effects 0.000 claims description 5
- 239000012634 fragment Substances 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000006872 improvement Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明涉及计算机视觉技术领域，公开了一种用于融合现实场景的通用三维模型及其构建方法，包括利用深度相机采集现实场景中目标区域内的静态目标视频数据，并根据采集到的静态目标视频数据得到现实场景的静态三维点云集，再根据静态三维点云集构建静态三维模型；再次利用深度相机采集现实场景中的动态目标视频数据，并得到动态三维点云集，再根据动态三维点云集构建动态三维模型；将得到的静态三维模型与动态三维模型叠加融合，构建此目标区域现实场景的通用三维模型。本通用三维模型包括多个用于模拟不同场景下的实际参照对象的融合基础特征。本发明具有提高三维模型通用性以及与现实场景融合后的真实性、还原性的有益效果。
Description
技术领域
本发明涉及计算机视觉技术领域，具体涉及一种用于融合现实场景的通用三维模型及其构建方法。
背景技术
随着科技的进步和三维技术的发展，三维模型以及三维场景，因其具备非常形象、具象化的视觉体验已经在诸多领域发挥出巨大的价值，利用深度相机构建三维场景模型的方案也已经被广泛应用。深度相机，也即3D相机，能够检测出拍摄空间的距离信息，准确地知道图像中每个点离摄像头的距离，再结合该点在2D图像中的坐标，就能获取图像中每个点的三维空间坐标，再通过三维空间坐标还原真实场景，实现场景三维建模。
现在对于场景三维模型的构建，都是基于安装在不同位置的多台深度相机采集不同视角的数据来构建三维模型，具体而言，就是将采集到的位置坐标数据转化为点云数据，将点云数据进行融合后，得到连续时刻的三维模型。虽然此种方式能够得到现实场景的三维模型，但是其获取到的数据都是分段时期的，并不能完美体现现实场景的特点，因此构建完成的三维模型还存在许多不足，并不能适用于通用场景下的现实场景融合。
发明内容
本发明意在提供用于融合现实场景的通用三维模型及其构建方法，以提高现实场景三维模型的通用性。
为达到上述目的，本发明采用如下技术方案：用于融合现实场景的通用三维模型，包括多个三维结构体，所述三维结构体包括多个用于融合现实场景的融合基础特征，所述融合基础特征能够用于模拟不同场景下的实际参照对象。
本方案的原理及优点是：实际应用时，当采集到一段现实场景的视频影像数据后要对该现实场景进行三维模型融合，则将该段视频影像数据导致至通用三维模型中，通过三维模型中的若干融合基础特征模拟现实场景中的各个目标对象，从而在三维模型中真实还原现实场景中的各个组成部分特征。通过本模型，能够模拟任意现实场景中所包含的对象，从而构建一个完整、真实的融合三维模型与现实场景进行融合，进一步提高现实场景的真实性，也能够最大程度上提高本三维模型的通用性。
本方案还提供了一种用于融合现实场景的通用三维模型构建方法，包括以下步骤：
步骤S1，利用深度相机采集现实场景中目标区域内的静态目标视频数据，并根据采集到的静态目标视频数据得到现实场景的静态三维点云集，再根据静态三维点云集构建静态三维模型；
步骤S2，再次利用深度相机采集现实场景中的动态目标视频数据，并得到动态三维点云集，再根据动态三维点云集构建动态三维模型；
步骤S3，将得到的静态三维模型与动态三维模型叠加融合，构建此目标区域现实场景的通用三维模型。
有益效果：通过对象类别采集数据，然后再根据采集到的静态三维点云集来构建底层基础静态三维模型，然后再采集现实场景中动态目标的点云构建动态三维模型，最后将静态三维模型和动态三维模型进行叠加融合，就能够得到该场景下的通用三维模型，不仅能够利用静态三维模型的各基础特征模拟现实场景中的各个固定组成部分，还能够利用动态三维模型的特征来表征动态目标，从而真实还原现实场景的真实场景，真实度更高，同时也能够适用于其他现实场景的融合，通用性更强。
优选的，作为一种改进，步骤S1中，在采集静态目标视频数据时，利用布置在该目标区域内不同位置的深度相机采集不同视角下的静态目标视频数据。
优选的，作为一种改进，对同一静态目标，至少利用3个不同视角的深度相机采集其视频数据。
优选的，作为一种改进，在构建静态三维模型时，还可以利用分布于该静态目标周围的深度相机对该静态目标的外表面进行扫描，得到该静态目标的外表面三维点云，并利用外表面三维点云构建该静态目标静态三维模型。
优选的，作为一种改进，若该静态目标的外形为规则外形，则采集该静态目标的外表面三维点云时，不限定该静态目标的高度尺寸。
优选的，作为一种改进，步骤S2中，得到动态三维点云集的步骤包括：
利用固定于该目标区域内的多个深度相机采集该动态目标的动态点云包；
选取目标区域内一固定点为坐标原点后建立空间坐标系；
将所有的动态点云包转化到该空间坐标系中，得到该动态目标统一的动态三维点云集。
优选的，作为一种改进，步骤S3中，在叠加融合静态三维模型与动态三维模型时，先将静态三维模型固定，然后再根据动态三维模型中动态目标的运动趋势，按时段划分叠加融合片段。
优选的，作为一种改进，按时段划分叠加融合片段为，将动态目标运动出当前可显示画面之前的片段划分为当前帧，之后划分为将来帧。
优选的，作为一种改进，在融合现实场景时，先比对现实场景中固定物体与通用三维模型中的静态三维模型，若为相同类型则直接融合，若为不同类型，则对应更改静态三维模型的结构尺寸至与固定物体的尺寸相同即可。
附图说明
图1为本发明用于融合现实场景的通用三维模型构建方法实施例一的流程示意图。
具体实施方式
下面通过具体实施方式进一步详细说明：
实施例一：
本实施例基本如附图1所示：用于融合现实场景的通用三维模型构建方法，包括以下步骤：
步骤S1，利用深度相机采集现实场景中目标区域内的静态目标视频数据，并根据采集到的静态目标视频数据得到现实场景的静态三维点云集，再根据静态三维点云集构建静态三维模型；
步骤S2，再次利用深度相机采集现实场景中的动态目标视频数据，并得到动态三维点云集，再根据动态三维点云集构建动态三维模型；
步骤S3，将得到的静态三维模型与动态三维模型叠加融合，构建此目标区域现实场景的通用三维模型。
在采集静态目标视频数据时，利用布置安装在该目标区域内不同位置的多个深度相机采集该区域内所有静态目标在不同视角下的静态目标视频数据，具体的，在采集同一个静态目标时，至少利用分别在其周围的3个不同视角的深度相机来完成采集，以确保其周身360度均完成数据采集。
采集完成静态目标的视频数据后，选择一个固定时间点择选出所有静态目标当前时刻的图像帧，并将当前时刻的所有图像帧均转化为三维点云数据，得到现实场景的静态三维点云集合，最后根据静态三维点云集合构建静态三维模型。
在采集现实场景中的动态目标视频数据时，先利用固定于该目标区域内的多个深度相机依次采集动态目标的动态点云包，得到多个动态点云包，然后再选择该目标区域内一固定点为坐标原点建立现实场景的空间坐标系，将采集到的所有动态点云包转化到该空间坐标系中，得到所有动态目标统一的动态三维点云集合，最后根据得到的动态三维点云集合构建动态三维模型。
在分别建立静态三维模型与动态三维模型后，选择一个点作为其共同的坐标原点，然后先将静态三维模型固定，再根据动态三维模型中动态目标的运动趋势，按运动时段划分叠加融合片段，将动态目标运动出当前可显示画面之前的片段划分为当前帧，之后的片段划分为将来帧，再将当前帧和将来帧的动态三维模型分别按顺序与静态三维模型叠加融合，得到该目标区域内现实场景的通用三维模型。
本发明还提供了一种用于融合现实场景的通用三维模型，包括多个三维结构体，三维结构体包括多个用于融合现实场景的融合基础特征，融合基础特征能够用于模拟不同场景下的实际参照对象，从而完成现实场景与三维模型的完美融合。并且，在融合现实场景时，先比对现实场景中固定物体与通用三维模型中的静态三维模型，若两者为相同类型则直接融合，而若是为不同的类型，则对应更改静态三维模型就结构尺寸至与固定物体的尺寸相同即可再开展融合，得到融合现实场景。
具体的，本实施例中每个目标对象的周围安装有3个互相呈120度夹角的深度相机，以便完成对该目标对象的无死角数据采集。
本实施例的具体实施过程如下：
选定现实场景中的目标区域，然后设置的多个深度相机分别采集静态目标的视频数据，然后再选择随机选择一时间点甄选出所有静态目标当前时刻的图像帧，并将甄选的图像帧转化为三维点云数据，得到多个现实场景的静态三维点云集合，并以此构建该现实场景的静态三维模型。
再进行动态目标的数据采集，利用安装在该目标区域内的深度相机采集该动态目标的动态点云包，依照时间点完成采集得到多个动态点云包，然后再选择该目标区域内一固定点为坐标原点建立现实场景的空间坐标系，将采集到的所有动态点云包转化到该空间坐标系中，得到所有动态目标统一的动态三维点云集合，最后根据得到的动态三维点云集合构建动态三维模型。
最后选择一个点作为两个三维模型共同的坐标原点，并将静态三维模型与动态三维模型进行叠加融合，构建此目标区域现实场景的通用三维模型。
随着三维技术的发展，目前三维技术相关产品在生活中的应用已经十分广泛，例如3D电影、3D游戏等，而现在也逐渐开始将三维技术应用到视屏监控等领域，从而实现从平面化的监控画面到三维立体监控画面的转变，使监控效果更真实、准确。而目前对于应用到监控领域的三维模型的构建，一般均是采用多个深度相机分段、分时期采集三维点云数据来构建三维模型，此方法虽然也能够得到三维模型，但是其得到的三维模型最终的显示效果并不准确，不能完美还原现实场景的真实情况，并且此种方式构建的三维模型特征都太过单一，并不能适用于所有场景下的融合。
针对上述问题，本方案中特地研发了一种新的三维模型构建方法，通过分别采集目标区域内现实场景的静态物体和动态物体，分别先构建静态三维模型和动态三维模型，最后再将两者进行叠加融合，并且在融合时，根据动态三维模型中动态目标的运动趋势，按时段划分叠加融合片段，从而使融合效果更好，对现实场景的还原度更高、更真实。由此方法得到的通用三维模型，包含有多个三维结构体，每个三维结构体又包括有多个能够模拟不同场景下的实际参照对象的融合基础特征，更真实地模拟出现实场景中的物体，从而能够更好的适用于所有场景的融合，进一步提高了本三维模型的通用性和真实性。
实施例二：
本实施例基本与实施例一相同，区别在于：在构建静态三维模型时，还可以利用分布于该静态目标周围的深度相机对该静态目标的外表面进行扫描，得到该静态目标的外表面三维点云，并利用外表面三维点云构建该静态目标静态三维模型；若该静态目标的外形为规则外形，则采集该静态目标的外表面三维点云时，不限定该静态目标的高度尺寸。
通过深度相机扫描静态目标的外表面完成三维点云数据的采集，从而也能够完成三维模型的构建，并且在该静态目标为规则形外表面时，仅通过深度相机采集该静态目标的外形尺寸三维点云数据，在***中设置该静态目标的高度为任意值，从而在适配不同现实场景融合时，能够更形象、准确地与实际融合对象进行叠加融合，从而实现现实场景的真实还原，也进一步提高了本三维模型的通用性。
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。
Claims (10)
1.用于融合现实场景的通用三维模型，其特征在于：包括多个三维结构体，所述三维结构体包括多个用于融合现实场景的融合基础特征，所述融合基础特征能够用于模拟不同场景下的实际参照对象。
2.根据权利要求1所述的用于融合现实场景的通用三维模型构建方法，其特征在于：包括以下步骤：
步骤S1，利用深度相机采集现实场景中目标区域内的静态目标视频数据，并根据采集到的静态目标视频数据得到现实场景的静态三维点云集，再根据静态三维点云集构建静态三维模型；
步骤S2，再次利用深度相机采集现实场景中的动态目标视频数据，并得到动态三维点云集，再根据动态三维点云集构建动态三维模型；
步骤S3，将得到的静态三维模型与动态三维模型叠加融合，构建此目标区域现实场景的通用三维模型。
3.根据权利要求2所述的用于融合现实场景的通用三维模型构建方法，其特征在于：所述步骤S1中，在采集静态目标视频数据时，利用布置在该目标区域内不同位置的深度相机采集不同视角下的静态目标视频数据。
4.根据权利要求3所述的用于融合现实场景的通用三维模型构建方法，其特征在于：对同一静态目标，至少利用3个不同视角的深度相机采集其视频数据。
5.根据权利要求2所述的用于融合现实场景的通用三维模型构建方法，其特征在于：在构建静态三维模型时，还可以利用分布于该静态目标周围的深度相机对该静态目标的外表面进行扫描，得到该静态目标的外表面三维点云，并利用外表面三维点云构建该静态目标静态三维模型。
6.根据权利要求5所述的用于融合现实场景的通用三维模型构建方法，其特征在于：若该静态目标的外形为规则外形，则采集该静态目标的外表面三维点云时，不限定该静态目标的高度尺寸。
7.根据权利要求2所述的用于融合现实场景的通用三维模型构建方法，其特征在于：所述步骤S2中，得到动态三维点云集的步骤包括：
利用固定于该目标区域内的多个深度相机采集该动态目标的动态点云包；
选取目标区域内一固定点为坐标原点后建立空间坐标系；
将所有的动态点云包转化到该空间坐标系中，得到该动态目标统一的动态三维点云集。
8.根据权利要求2所述的用于融合现实场景的通用三维模型构建方法，其特征在于：所述步骤S3中，在叠加融合静态三维模型与动态三维模型时，先将静态三维模型固定，然后再根据动态三维模型中动态目标的运动趋势，按时段划分叠加融合片段。
9.根据权利要求8所述的用于融合现实场景的通用三维模型构建方法，其特征在于：所述按时段划分叠加融合片段为，将动态目标运动出当前可显示画面之前的片段划分为当前帧，之后划分为将来帧。
10.根据权利要求2所述的用于融合现实场景的通用三维模型构建方法，其特征在于：在融合现实场景时，先比对现实场景中固定物体与通用三维模型中的静态三维模型，若为相同类型则直接融合，若为不同类型，则对应更改静态三维模型的结构尺寸至与固定物体的尺寸相同即可。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211711446.6A CN116129043A (zh) | 2022-12-29 | 2022-12-29 | 用于融合现实场景的通用三维模型及其构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211711446.6A CN116129043A (zh) | 2022-12-29 | 2022-12-29 | 用于融合现实场景的通用三维模型及其构建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116129043A true CN116129043A (zh) | 2023-05-16 |
Family
ID=86303960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211711446.6A Pending CN116129043A (zh) | 2022-12-29 | 2022-12-29 | 用于融合现实场景的通用三维模型及其构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116129043A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117876583A (zh) * | 2023-12-27 | 2024-04-12 | 中铁四院集团南宁勘察设计院有限公司 | 一种三维自动扫描数据在线测试方法和装置 |
-
2022
- 2022-12-29 CN CN202211711446.6A patent/CN116129043A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117876583A (zh) * | 2023-12-27 | 2024-04-12 | 中铁四院集团南宁勘察设计院有限公司 | 一种三维自动扫描数据在线测试方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6084979A (en) | Method for creating virtual reality | |
| US10560687B2 (en) | LED-based integral imaging display system as well as its control method and device | |
| JP4904264B2 (ja) | ３ｄ空間次元に基づく画像処理のためのシステムおよび方法 | |
| CN102984453B (zh) | 利用单摄像机实时生成半球全景视频图像的方法及*** | |
| CN102801994B (zh) | 一种信息物理图像融合装置与方法 | |
| CN107452060A (zh) | 全角度自动采集生成虚拟数据集方法 | |
| CN101916455B (zh) | 一种高动态范围纹理三维模型的重构方法及装置 | |
| CN111260777A (zh) | 一种基于倾斜摄影测量技术的建筑信息模型重构的方法 | |
| US9001115B2 (en) | System and method for three-dimensional visualization of geographical data | |
| CN103226830A (zh) | 三维虚实融合环境中视频纹理投影的自动匹配校正方法 | |
| CN103226838A (zh) | 地理场景中移动监控目标的实时空间定位方法 | |
| CN107154197A (zh) | 沉浸式飞行模拟器 | |
| CN104463956B (zh) | 一种月表虚拟场景构建方法及装置 | |
| CN107134194A (zh) | 沉浸式车辆模拟器 | |
| CN101581874A (zh) | 基于多摄像机采集的远程沉浸协同工作装置 | |
| CN115937482B (zh) | 一种自适应屏幕尺寸的全息场景动态构建方法及*** | |
| CN103986905B (zh) | 一种三维环境下基于线路特征的视频空间实时漫游方法 | |
| CN116129043A (zh) | 用于融合现实场景的通用三维模型及其构建方法 | |
| CN102932638B (zh) | 基于计算机建模的3d视频监控方法 | |
| US9897806B2 (en) | Generation of three-dimensional imagery to supplement existing content | |
| CN108564654B (zh) | 三维大场景的画面进入方式 | |
| RU2606875C2 (ru) | Способ и система отображения масштабных сцен в режиме реального времени | |
| CN207601427U (zh) | 一种基于虚拟现实混合的仿真实验室 | |
| CN116612256B (zh) | 一种基于NeRF的实时远程三维实景模型浏览方法 | |
| CN105208372A (zh) | 具有交互可量测功能及真实感的3d景观生成***及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |