CN117197388A - 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及*** - Google Patents
一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及*** Download PDFInfo
- Publication number
- CN117197388A CN117197388A CN202311195794.7A CN202311195794A CN117197388A CN 117197388 A CN117197388 A CN 117197388A CN 202311195794 A CN202311195794 A CN 202311195794A CN 117197388 A CN117197388 A CN 117197388A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- image
- modeling
- initial
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 40
- 230000003042 antagnostic effect Effects 0.000 title claims abstract description 34
- 238000010276 construction Methods 0.000 title claims description 14
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000009877 rendering Methods 0.000 claims abstract description 16
- 238000005259 measurement Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 14
- 230000010365 information processing Effects 0.000 claims description 13
- 238000004088 simulation Methods 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 239000011800 void material Substances 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012958 reprocessing Methods 0.000 abstract description 3
- 238000013461 design Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000000306 component Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及***，涉及三维建模技术领域。所述方法是在基于无人机倾斜摄影得到目标现场区域的初始实景三维场景后，先抠取得到在初始实景中的各个现场物体的模型表面初始二维图像，然后对这些模型表面初始二维图像分别进行建模空洞区域识别处理,得到建模空洞区域识别结果，再然后基于GAN对有建模空洞区域的模型表面初始二维图像进行图像修复处理，得到模型表面完整二维图像，最后根据模型表面完整二维图像进行重新渲染和模型替换，可以得到最终实景三维场景，如此可以实现对基于无人机倾斜摄影的实景三维建模初步成果进行再加工以修复三维模型空洞区域的目的。
Description
技术领域
本发明属于三维建模技术领域，具体涉及一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及***。
背景技术
倾斜摄影测量技术是当前一项新兴和热门的测绘技术。它通过在飞行器上搭载多台传感器，从垂直和倾斜等多个角度拍摄，获取高精度影像。国内外倾斜摄影平台较多，如ADS系列相机、RCD30倾斜航摄仪、微软公司的UCO-P航摄仪、Pictometry倾斜摄影***和四维远见的SWDC-5倾斜相机等。较常见的倾斜航摄仪多为5拼相机，即5台相机分别朝向前、后、左、右和垂直向下。在每个曝光点上，由多个镜头同时获得不同角度的影像。同一特定地物可以在不同曝光点多个不同角度影像上成像。为便于后期对数据进行处理，拍摄影像时需同时获取曝光时间、平面位置、航高、大地高和飞行姿态等数据。将无人机与倾斜摄影技术相结合，是实现低成本、快速建立城市实景三维模型的有效方式。由于无人机飞行高度低，所拍摄的倾斜像片分辨率高，色彩更加接近人眼观测颜色，能够显著提高城市三维模型的真实感。
目前，基于无人机倾斜摄影进行实景三维建模的软件主要有ContextCapture等，该软件前身为Acute3D公司的Smart3D，是一个革命性的全自动三维建模软件，能够无须人工干预地利用连续多角度影像，生成超高密度点云，并在此基础上生成高分辨率的具有真实影像纹理的三维场景。
当前，基于无人机倾斜摄影的实景三维建模技术，虽然可从多角度观测同一地物，使地物纹理更加丰富，效果更加真实，是未来三维城市建模的主流方向，但是由于受到航摄盲区以及特征点匹配错误等影响，会使得自动生成的三维模型产生空洞区域，无法满足一些特定项目(例如驾驶培训模拟项目等)对模型质量的较高要求，因此如何对基于无人机倾斜摄影的实景三维建模初步成果进行再加工，以修复三维模型空洞区域，得到目标现场区域的克隆式实景三维场景，是本领域技术人员亟需研究的课题。
发明内容
本发明的目的是提供一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法、***、驾驶培训模拟器***、计算机设备及计算机可读存储介质，用以解决现有基于无人机倾斜摄影的实景三维建模技术会使得自动生成的三维模型产生空洞区域，无法满足一些特定项目对模型质量的较高要求的问题。
为了实现上述目的，本发明采用以下技术方案：
第一方面，提供了一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法，包括：
获取由无人机倾斜摄影设备对目标现场区域采集的倾斜摄影数据以及与所述倾斜摄影数据同步记录的无人机姿态测量数据或像控测量数据；
根据所述倾斜摄影数据以及所述无人机姿态测量数据或所述像控测量数据，采用无人机倾斜摄影实景三维建模软件构建得到所述目标现场区域的初始实景三维场景，其中，所述初始实景三维场景包含有多个现场物体的初始三维模型；
针对在所述多个现场物体中的各个现场物体，根据对应的初始三维模型，抠取得到对应的模型表面初始二维图像；
对所述各个现场物体的模型表面初始二维图像分别进行建模空洞区域识别处理,得到所述各个现场物体的建模空洞区域识别结果；
针对所述各个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则基于生成对抗神经网络GAN对该模型表面初始二维图像进行图像修复处理，得到对应的模型表面完整二维图像，否则直接将对应的模型表面初始二维图像作为对应的模型表面完整二维图像；
针对所述各个现场物体，将对应的模型表面完整二维图像渲染到对应的初始三维模型的表面上，得到对应的最终三维模型；
在所述初始实景三维场景中，将所述各个现场物体的初始三维模型更新为对应的最终三维模型，得到所述目标现场区域的最终实景三维场景。
基于上述发明内容，提供了一种基于生成对抗神经网络GAN对三维模型空洞区域进行修复的新方案，即在基于无人机倾斜摄影得到目标现场区域的初始实景三维场景后，先抠取得到在初始实景中的各个现场物体的模型表面初始二维图像，然后对这些模型表面初始二维图像分别进行建模空洞区域识别处理,得到建模空洞区域识别结果，再然后基于生成对抗神经网络GAN对有建模空洞区域的模型表面初始二维图像进行图像修复处理，得到模型表面完整二维图像，最后根据模型表面完整二维图像进行重新渲染和模型替换，可以得到最终实景三维场景，如此可以实现对基于无人机倾斜摄影的实景三维建模初步成果进行再加工以修复三维模型空洞区域的目的，进而可得到目标现场区域的克隆式实景三维场景，满足一些特定项目对模型质量的高要求，便于实际应用和推广。
在一个可能的设计中，针对在所述多个现场物体中的某个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则基于生成对抗神经网络GAN对该模型表面初始二维图像进行图像修复处理，得到对应的模型表面最终二维图像，包括：
针对在所述多个现场物体中的某个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则按照区域面积从小到大顺序依次排列所述至少一个建模空洞区域，得到一个建模空洞区域序列；
针对在所述建模空洞区域序列中的第k个建模空洞区域，基于生成对抗神经网络GAN对与在所述建模空洞区域序列中的第k-1个建模空洞区域对应的模型表面修复二维图像进行图像修复处理，得到对应的模型表面修复二维图像，其中，k表示正整数，所述某个现场物体的模型表面初始二维图像作为与第零个建模空洞区域对应的模型表面修复二维图像；
将与在所述建模空洞区域序列中的最末一个建模空洞区域对应的模型表面修复二维图像作为所述某个现场物体的模型表面最终二维图像。
在一个可能的设计中，针对在所述建模空洞区域序列中的第k个建模空洞区域，基于生成对抗神经网络GAN对与在所述建模空洞区域序列中的第k-1个建模空洞区域对应的模型表面修复二维图像进行图像修复处理，得到对应的模型表面修复二维图像，包括有如下步骤S521～S525：
S521.应用在基于生成对抗神经网络GAN的且已完成预训练的完整图像生成模型中的图像生成器生成一个新图像，然后执行步骤S522；
S522.应用在所述完整图像生成模型中的图像鉴别器判断所述新图像是否为完整图像，若是，则执行步骤S523，否则再次应用所述图像生成器生成一个新图像，然后执行步骤S522；
S523.根据所述新图像和与第k-1个建模空洞区域对应的模型表面修复二维图像，计算得到两图像在非建模空洞区域内各个像素点的颜色差值，然后执行步骤S524，其中，k表示正整数，所述某个现场物体的模型表面初始二维图像作为与第零个建模空洞区域对应的模型表面修复二维图像；
S524.判断所述两图像在所述各个像素点的颜色差值的标准差是否达到预设标准差阈值，若是，则将所述新图像作为与在所述建模空洞区域序列中的第k个建模空洞区域对应的模型表面修复二维图像，否则执行步骤S525；
S525.将所述两图像在所述各个像素点的颜色差值作为内容损失惩罚项数据导入所述图像生成器，并再次应用所述图像生成器生成一个新图像，然后执行步骤S522。
在一个可能的设计中，所述完整图像生成模型的训练过程包括：
获取真实的多个物体表面二维图像；
应用所述多个物体表面二维图像，对包括有图像生成器和图像鉴别器的生成对抗神经网络GAN进行训练，得到所述完整图像生成模型。
在一个可能的设计中，对所述各个现场物体的模型表面初始二维图像分别进行建模空洞区域识别处理,得到所述各个现场物体的建模空洞区域识别结果，包括：
针对所述各个现场物体，将对应的模型表面初始二维图像导入基于YOLO目标检测算法的且已完成预训练的建模空洞区域识别模型，输出得到对应的建模空洞区域识别结果。
在一个可能的设计中，对所述各个现场物体的模型表面初始二维图像分别进行建模空洞区域识别处理,得到所述各个现场物体的建模空洞区域识别结果，包括：
针对在所述多个现场物体中的某个现场物体，将对应的模型表面初始二维图像导入基于YOLO目标检测算法的且已完成预训练的建模空洞区域识别模型，输出得到对应的建模空洞区域识别结果；
若所述某个现场物体的建模空洞区域识别结果指示在所述某个现场物体的模型表面初始二维图像中存在有至少一个建模空洞区域标记框，则根据所述至少一个建模空洞区域标记框，从所述某个现场物体的模型表面初始二维图像中截取出与所述至少一个建模空洞区域标记框一一对应的至少一个建模空洞区域图像；
对所述至少一个建模空洞区域图像分别依次进行图像去噪处理、灰度转换处理和基于预设灰度阈值的二值化处理，得到与所述至少一个建模空洞区域图像一一对应的至少一个二值化图像，其中，所述预设灰度阈值根据建模空洞区域灰度值来预先设定；
针对在所述至少一个二值化图像中的各个二值化图像，基于Canny算法提取得到对应的中心连通域，并将该中心连通域作为在对应建模空洞区域标记框内的建模空洞区域；
汇总所有的所述建模空洞区域，得到所述某个现场物体的且最终的建模空洞区域识别结果。
第二方面，提供了一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建***，包括有依次通信连接的数据获取模块、初始建模模块、图像抠取模块、空洞识别模块、图像修复模块、图像渲染模块和模型替换模块；
所述数据获取模块，用于获取由无人机倾斜摄影设备对目标现场区域采集的倾斜摄影数据以及与所述倾斜摄影数据同步记录的无人机姿态测量数据或像控测量数据；
所述初始建模模块，用于根据所述倾斜摄影数据以及所述无人机姿态测量数据或所述像控测量数据，采用无人机倾斜摄影实景三维建模软件构建得到所述目标现场区域的初始实景三维场景，其中，所述初始实景三维场景包含有多个现场物体的初始三维模型；
所述图像抠取模块，用于针对在所述多个现场物体中的各个现场物体，根据对应的初始三维模型，抠取得到对应的模型表面初始二维图像；
所述空洞识别模块，用于对所述各个现场物体的模型表面初始二维图像分别进行建模空洞区域识别处理,得到所述各个现场物体的建模空洞区域识别结果；
所述图像修复模块，用于针对所述各个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则基于生成对抗神经网络GAN对该模型表面初始二维图像进行图像修复处理，得到对应的模型表面完整二维图像，否则直接将对应的模型表面初始二维图像作为对应的模型表面完整二维图像；
所述图像渲染模块，用于针对所述各个现场物体，将对应的模型表面完整二维图像渲染到对应的初始三维模型的表面上，得到对应的最终三维模型；
所述模型替换模块，用于在所述初始实景三维场景中，将所述各个现场物体的初始三维模型更新为对应的最终三维模型，得到所述目标现场区域的最终实景三维场景。
第三方面，本发明提供了一种驾驶培训模拟器***，包括有驾驶组件、VR显示器、运动控制卡、四自由度运动平台和视景信息处理设备，其中，所述驾驶组件包括有方向盘、踩油门件和踩刹车件；
所述驾驶组件，通信连接所述视景信息处理设备，用于响应驾驶学员的操作产生驾驶信号，并将所述驾驶信号传送至所述视景信息处理设备；
所述视景信息处理设备，分别通信连接所述VR显示器和所述运动控制卡，用于根据所述驾驶信号和驾驶考场区域的且应用如第一方面或第一方面中任意可能设计所述的实景三维虚拟现实场景构建方法所得的最终实景三维场景，确定所述驾驶学员的所驾车辆的驾驶仿真虚拟影像和在该最终实景三维场景中的车辆运动姿态信息，并将所述驾驶仿真虚拟影像传送至所述VR显示器，以及将所述车辆运动姿态信息传送至所述运动控制卡；
所述VR显示器，用于向所述驾驶学员输出展示所述驾驶仿真虚拟影像；
所述运动控制卡，通信连接所述四自由度运动平台，用于根据所述车辆运动姿态信息解算得到电机脉冲量，然后基于所述电机脉冲量控制所述四自由度运动平台进行驾驶仿真运动。
第四方面，本发明提供了一种计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意可能设计所述的实景三维虚拟现实场景构建方法。
第五方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意可能设计所述的实景三维虚拟现实场景构建方法。
第六方面，本发明提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面中任意可能设计所述的实景三维虚拟现实场景构建方法。
上述方案的有益效果：
(1)本发明创造性提供了一种基于生成对抗神经网络GAN对三维模型空洞区域进行修复的新方案，即在基于无人机倾斜摄影得到目标现场区域的初始实景三维场景后，先抠取得到在初始实景中的各个现场物体的模型表面初始二维图像，然后对这些模型表面初始二维图像分别进行建模空洞区域识别处理,得到建模空洞区域识别结果，再然后基于生成对抗神经网络GAN对有建模空洞区域的模型表面初始二维图像进行图像修复处理，得到模型表面完整二维图像，最后根据模型表面完整二维图像进行重新渲染和模型替换，可以得到最终实景三维场景，如此可以实现对基于无人机倾斜摄影的实景三维建模初步成果进行再加工以修复三维模型空洞区域的目的，进而可得到目标现场区域的克隆式实景三维场景，满足一些特定项目对模型质量的高要求，便于实际应用和推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的实景三维虚拟现实场景构建方法的流程示意图。
图2为本申请实施例提供的实景三维虚拟现实场景构建***的结构示意图。
图3为本申请实施例提供的驾驶培训模拟器***的结构示意图。
图4为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。
应当理解，尽管本文可能使用术语第一和第二等等来描述各种对象，但是这些对象不应当受到这些术语的限制。这些术语仅用于区分一个对象和另一个对象。例如可以将第一对象称作第二对象,并且类似地可以将第二对象称作第一对象，同时不脱离本发明的示例实施例的范围。
应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A、单独存在B或者同时存在A和B等三种情况；又例如，A、B和/或C，可以表示存在A、B和C中的任意一种或他们的任意组合；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A或者同时存在A和B等两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。
实施例：
如图1所示，本实施例第一方面提供的且基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法，可以但不限于由具有一定计算资源的计算机设备执行，例如由信息处理设备、平台服务器、个人计算机(Personal Computer，PC，指一种大小、价格和性能适用于个人使用的多用途计算机；台式机、笔记本电脑到小型笔记本电脑和平板电脑以及超级本等都属于个人计算机)、智能手机、个人数字助理(Personal DigitalAssistant，PDA)或可穿戴设备等电子设备执行。如图1所示，所述实景三维虚拟现实场景构建方法，可以但不限于包括有如下步骤S1～S7。
S1.获取由无人机倾斜摄影设备对目标现场区域采集的倾斜摄影数据以及与所述倾斜摄影数据同步记录的无人机姿态测量数据或像控测量数据。
在所述步骤S1中，具体的，所述无人机倾斜摄影设备优选采用典型的五镜头倾斜云台，由于其在工作状态下，中间相机光轴垂直于水平面，四个方向上分别分布一个光轴与水平面成45°角的相机，因此可满足在无人机一次飞行过程中，同时完成同一地物或特征点三张以上不同角度影像的覆盖(同时由于对同一地物获取的不同角度影像的覆盖度和重叠度越高，其解算的模型越精细，所以在获取实景三维建模数据时，会尽量增加飞行中影像的重叠度；但是又考虑到重叠度越高就意味着，增加了额外的工作量；因此，考虑到效率和飞行器在飞行中的倾斜等问题，一般将航线设置为航向重叠度大于80％，旁向重叠度大于60％)。
S2.根据所述倾斜摄影数据以及所述无人机姿态测量数据或所述像控测量数据，采用无人机倾斜摄影实景三维建模软件构建得到所述目标现场区域的初始实景三维场景，其中，所述初始实景三维场景包含有多个现场物体的初始三维模型。
在所述步骤S2中，具体的，所述无人机倾斜摄影实景三维建模软件优选采用ContextCapture软件。
S3.针对在所述多个现场物体中的各个现场物体，根据对应的初始三维模型，抠取得到对应的模型表面初始二维图像。
S4.对所述各个现场物体的模型表面初始二维图像分别进行建模空洞区域识别处理,得到所述各个现场物体的建模空洞区域识别结果。
在所述步骤S4中，具体包括但不限于有：针对所述各个现场物体，将对应的模型表面初始二维图像导入基于YOLO目标检测算法的且已完成预训练的建模空洞区域识别模型，输出得到对应的建模空洞区域识别结果。所述YOLO(You only look once)目标检测算法是一种用于在图片中将里面的物体识别出来且标记出物***置的现有人工智能识别算法，其YOLO V4版本的具体模型结构由三部分组成，分别是骨干网络backbone、颈部网络neck和头部网络head。所述骨干网络Backbone可采用CSPDarknet53(CSP表示Cross Stage Partial)网络，用于提取特征。所述颈部网络neck由SPP(Spatial Pyramid Pooling block)块和PANet(Path Aggregation Network)网络组成，前者用于增加感受野以及分离出最重要的特征，后者用于保证同时从高级别层接受语义特征和从横向骨干网络的低级别层接收细粒度的特征。所述头部网络head是基于锚框进行检测，并对三种不同尺寸(即13x13、26x26和52x52)的特征图进行检测，分别用于检测从大到小的目标(在这里，尺寸大的特征图包含到信息更加丰富，因此，52x52尺寸的特征图用于检测小目标，反之亦然)。前述的建模空洞区域识别模型可通过常规的样本训练方式训练得到，以便在输入测试图像后，可以输出有无建模空洞区域的识别结果以及它们的置信度预测值等信息。
在所述步骤S4中，为了精准确定在模型表面初始二维图像中的建模空洞区域，优选的，对所述各个现场物体的模型表面初始二维图像分别进行建模空洞区域识别处理,得到所述各个现场物体的建模空洞区域识别结果，包括但不限于有如下步骤S41～S45。
S41.针对在所述多个现场物体中的某个现场物体，将对应的模型表面初始二维图像导入基于YOLO目标检测算法的且已完成预训练的建模空洞区域识别模型，输出得到对应的建模空洞区域识别结果。
S42.若所述某个现场物体的建模空洞区域识别结果指示在所述某个现场物体的模型表面初始二维图像中存在有至少一个建模空洞区域标记框，则根据所述至少一个建模空洞区域标记框，从所述某个现场物体的模型表面初始二维图像中截取出与所述至少一个建模空洞区域标记框一一对应的至少一个建模空洞区域图像。
S43.对所述至少一个建模空洞区域图像分别依次进行图像去噪处理、灰度转换处理和基于预设灰度阈值的二值化处理，得到与所述至少一个建模空洞区域图像一一对应的至少一个二值化图像，其中，所述预设灰度阈值根据建模空洞区域灰度值来预先设定。
S44.针对在所述至少一个二值化图像中的各个二值化图像，基于Canny算法提取得到对应的中心连通域，并将该中心连通域作为在对应建模空洞区域标记框内的建模空洞区域。
S45.汇总所有的所述建模空洞区域，得到所述某个现场物体的且最终的建模空洞区域识别结果。
S5.针对所述各个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则基于生成对抗神经网络GAN对该模型表面初始二维图像进行图像修复处理，得到对应的模型表面完整二维图像，否则直接将对应的模型表面初始二维图像作为对应的模型表面完整二维图像。
在所述步骤S5中，所述生成对抗神经网络(Generative Adversarial Nets，GAN)是一种估计生成模型的新框架：同时训练两个模型，分别为用于捕获数据分布的生成模型和用于判别数据是真实数据还是生成数据(伪数据)的判别模型；图像处理任务利用如CNN的神经网络对输入图像进行分析处理，得到跟输入图像内容相关的信息；与图像处理任务相反，在图像生成任务中，图像生成模型根据输入的跟输入图像内容相关的信息来生成图像；对于图像生成任务来说，图像生成模型的输入是不确定的，具体取决于场景以及特定的模型设计，其中风格迁移就属于其中的一种场景；生成对抗神经网络(GAN)可以应用于风格迁移。在所述生成对抗神经网络中有两个核心的组成：生成器(Generator，即前述的生成模型)与判别器(Discriminator，即前述的判别模型)；所述判别器与所述生成器可以都由多层感知机(可以看成全连接神经网络，即FC)构成，并在训练过程中，体现“对抗”的关键步骤是：先固定生成器的参数，训练优化判别器，使得判别器能够尽可能准确地区分“真图像“与”假图像“；然后固定判别器的参数，训练优化生成器，尽可能使得判别器无法准确地区分“真图像”与“假图像”，如此在模型训练完成后，即可使用经训练的生成器(Generator)来生成图像了。此外，所述判别器也可使用卷积神经网络(Strided Convolution，普通的卷积运算，若不Padding则会使通道减小)，以及所述生成器也可使用转置卷积(TransposedConvolution)(也可以看做是反卷积)来实现。
在所述步骤S5中，为了快速有效地完成图像修复处理，优选采用如下的先易后难修复方案，即：针对在所述多个现场物体中的某个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则基于生成对抗神经网络GAN对该模型表面初始二维图像进行图像修复处理，得到对应的模型表面最终二维图像，包括但不限于有如下步骤S51～S53。
S51.针对在所述多个现场物体中的某个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则按照区域面积从小到大顺序依次排列所述至少一个建模空洞区域，得到一个建模空洞区域序列。
S52.针对在所述建模空洞区域序列中的第k个建模空洞区域，基于生成对抗神经网络GAN对与在所述建模空洞区域序列中的第k-1个建模空洞区域对应的模型表面修复二维图像进行图像修复处理，得到对应的模型表面修复二维图像，其中，k表示正整数，所述某个现场物体的模型表面初始二维图像作为与第零个建模空洞区域对应的模型表面修复二维图像。
在所述步骤S52中，具体包括但不限于有如下步骤S521～S525。
S521.应用在基于生成对抗神经网络GAN的且已完成预训练的完整图像生成模型中的图像生成器生成一个新图像，然后执行步骤S522。
在所述步骤S521中，详细的，所述完整图像生成模型的训练过程包括但不限于有：先获取真实的多个物体表面二维图像；然后应用所述多个物体表面二维图像，对包括有图像生成器和图像鉴别器的生成对抗神经网络GAN进行训练，得到所述完整图像生成模型。
S522.应用在所述完整图像生成模型中的图像鉴别器判断所述新图像是否为完整图像，若是，则执行步骤S523，否则再次应用所述图像生成器生成一个新图像，然后执行步骤S522。
S523.根据所述新图像和与第k-1个建模空洞区域对应的模型表面修复二维图像，计算得到两图像在非建模空洞区域内各个像素点的颜色差值，然后执行步骤S524，其中，k表示正整数，所述某个现场物体的模型表面初始二维图像作为与第零个建模空洞区域对应的模型表面修复二维图像。
S524.判断所述两图像在所述各个像素点的颜色差值的标准差是否达到预设标准差阈值，若是，则将所述新图像作为与在所述建模空洞区域序列中的第k个建模空洞区域对应的模型表面修复二维图像，否则执行步骤S525。
S525.将所述两图像在所述各个像素点的颜色差值作为内容损失惩罚项数据导入所述图像生成器，并再次应用所述图像生成器生成一个新图像，然后执行步骤S522。
S53.将与在所述建模空洞区域序列中的最末一个建模空洞区域对应的模型表面修复二维图像作为所述某个现场物体的模型表面最终二维图像。
S6.针对所述各个现场物体，将对应的模型表面完整二维图像渲染到对应的初始三维模型的表面上，得到对应的最终三维模型。
S7.在所述初始实景三维场景中，将所述各个现场物体的初始三维模型更新为对应的最终三维模型，得到所述目标现场区域的最终实景三维场景。
由此基于前述步骤S1～S7所描述的实景三维虚拟现实场景构建方法，提供了一种基于生成对抗神经网络GAN对三维模型空洞区域进行修复的新方案，即在基于无人机倾斜摄影得到目标现场区域的初始实景三维场景后，先抠取得到在初始实景中的各个现场物体的模型表面初始二维图像，然后对这些模型表面初始二维图像分别进行建模空洞区域识别处理,得到建模空洞区域识别结果，再然后基于生成对抗神经网络GAN对有建模空洞区域的模型表面初始二维图像进行图像修复处理，得到模型表面完整二维图像，最后根据模型表面完整二维图像进行重新渲染和模型替换，可以得到最终实景三维场景，如此可以实现对基于无人机倾斜摄影的实景三维建模初步成果进行再加工以修复三维模型空洞区域的目的，进而可得到目标现场区域的克隆式实景三维场景，满足一些特定项目对模型质量的高要求，便于实际应用和推广。
如图2所示，本实施例第二方面提供了一种实现第一方面所述的实景三维虚拟现实场景构建方法的虚拟***，包括有依次通信连接的数据获取模块、初始建模模块、图像抠取模块、空洞识别模块、图像修复模块、图像渲染模块和模型替换模块；
所述数据获取模块，用于获取由无人机倾斜摄影设备对目标现场区域采集的倾斜摄影数据以及与所述倾斜摄影数据同步记录的无人机姿态测量数据或像控测量数据；
所述初始建模模块，用于根据所述倾斜摄影数据以及所述无人机姿态测量数据或所述像控测量数据，采用无人机倾斜摄影实景三维建模软件构建得到所述目标现场区域的初始实景三维场景，其中，所述初始实景三维场景包含有多个现场物体的初始三维模型；
所述图像抠取模块，用于针对在所述多个现场物体中的各个现场物体，根据对应的初始三维模型，抠取得到对应的模型表面初始二维图像；
所述空洞识别模块，用于对所述各个现场物体的模型表面初始二维图像分别进行建模空洞区域识别处理,得到所述各个现场物体的建模空洞区域识别结果；
所述图像修复模块，用于针对所述各个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则基于生成对抗神经网络GAN对该模型表面初始二维图像进行图像修复处理，得到对应的模型表面完整二维图像，否则直接将对应的模型表面初始二维图像作为对应的模型表面完整二维图像；
所述图像渲染模块，用于针对所述各个现场物体，将对应的模型表面完整二维图像渲染到对应的初始三维模型的表面上，得到对应的最终三维模型；
所述模型替换模块，用于在所述初始实景三维场景中，将所述各个现场物体的初始三维模型更新为对应的最终三维模型，得到所述目标现场区域的最终实景三维场景。
本实施例第二方面提供的前述***的工作过程、工作细节和技术效果，可以参见第一方面所述的实景三维虚拟现实场景构建方法，于此不再赘述。
如图3所示，本实施例第三方面提供了一种应用第一方面所述的实景三维虚拟现实场景构建方法的驾驶培训模拟器***，包括有驾驶组件、VR(Virtual Reality，VR)显示器、运动控制卡、四自由度运动平台和视景信息处理设备，其中，所述驾驶组件包括有方向盘、踩油门件和踩刹车件；
所述驾驶组件，通信连接所述视景信息处理设备，用于响应驾驶学员的操作产生驾驶信号，并将所述驾驶信号传送至所述视景信息处理设备；
所述视景信息处理设备，分别通信连接所述VR显示器和所述运动控制卡，用于根据所述驾驶信号和驾驶考场区域的且应用如第一方面所述的实景三维虚拟现实场景构建方法所得的最终实景三维场景，确定所述驾驶学员的所驾车辆的驾驶仿真虚拟影像和在该最终实景三维场景中的车辆运动姿态信息，并将所述驾驶仿真虚拟影像传送至所述VR显示器，以及将所述车辆运动姿态信息传送至所述运动控制卡；
所述VR显示器，用于向所述驾驶学员输出展示所述驾驶仿真虚拟影像；
所述运动控制卡，通信连接所述四自由度运动平台，用于根据所述车辆运动姿态信息解算得到电机脉冲量，然后基于所述电机脉冲量控制所述四自由度运动平台进行驾驶仿真运动。
本实施例第三方面提供的前述***的工作过程、工作细节和技术效果，可以参见第一方面所述的实景三维虚拟现实场景构建方法，于此不再赘述。
如图4所示，本实施例第四方面提供了一种执行如第一方面所述的实景三维虚拟现实场景构建方法的计算机设备，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面所述的实景三维虚拟现实场景构建方法。具体举例的，所述存储器可以但不限于包括随机存取存储器(Random-Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存(Flash Memory)、先进先出存储器(First Input First Output，FIFO)和/或先进后出存储器(First Input Last Output，FILO)等等；所述处理器可以但不限于采用型号为STM32F105系列的微处理器。此外，所述计算机设备还可以但不限于包括有电源模块、显示屏和其它必要的部件。
本实施例第四方面提供的前述计算机设备的工作过程、工作细节和技术效果，可以参见第一方面所述的实景三维虚拟现实场景构建方法，于此不再赘述。
本实施例第五方面提供了一种存储包含如第一方面所述的实景三维虚拟现实场景构建方法的指令的计算机可读存储介质，即所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面所述的实景三维虚拟现实场景构建方法。其中，所述计算机可读存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等计算机可读存储介质，所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。
本实施例第五方面提供的前述计算机可读存储介质的工作过程、工作细节和技术效果，可以参见如第一方面所述的实景三维虚拟现实场景构建方法，于此不再赘述。
本实施例第六方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面所述的实景三维虚拟现实场景构建方法。其中，所述计算机可以是通用计算机、专用计算机、计算机网络或者其他可编程装置。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法，其特征在于，包括：
获取由无人机倾斜摄影设备对目标现场区域采集的倾斜摄影数据以及与所述倾斜摄影数据同步记录的无人机姿态测量数据或像控测量数据；
根据所述倾斜摄影数据以及所述无人机姿态测量数据或所述像控测量数据，采用无人机倾斜摄影实景三维建模软件构建得到所述目标现场区域的初始实景三维场景，其中，所述初始实景三维场景包含有多个现场物体的初始三维模型；
针对在所述多个现场物体中的各个现场物体，根据对应的初始三维模型，抠取得到对应的模型表面初始二维图像；
对所述各个现场物体的模型表面初始二维图像分别进行建模空洞区域识别处理,得到所述各个现场物体的建模空洞区域识别结果；
针对所述各个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则基于生成对抗神经网络GAN对该模型表面初始二维图像进行图像修复处理，得到对应的模型表面完整二维图像，否则直接将对应的模型表面初始二维图像作为对应的模型表面完整二维图像；
针对所述各个现场物体，将对应的模型表面完整二维图像渲染到对应的初始三维模型的表面上，得到对应的最终三维模型；
在所述初始实景三维场景中，将所述各个现场物体的初始三维模型更新为对应的最终三维模型，得到所述目标现场区域的最终实景三维场景。
2.根据权利要求1所述的实景三维虚拟现实场景构建方法，其特征在于，针对在所述多个现场物体中的某个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则基于生成对抗神经网络GAN对该模型表面初始二维图像进行图像修复处理，得到对应的模型表面最终二维图像，包括：
针对在所述多个现场物体中的某个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则按照区域面积从小到大顺序依次排列所述至少一个建模空洞区域，得到一个建模空洞区域序列；
针对在所述建模空洞区域序列中的第k个建模空洞区域，基于生成对抗神经网络GAN对与在所述建模空洞区域序列中的第k-1个建模空洞区域对应的模型表面修复二维图像进行图像修复处理，得到对应的模型表面修复二维图像，其中，k表示正整数，所述某个现场物体的模型表面初始二维图像作为与第零个建模空洞区域对应的模型表面修复二维图像；
将与在所述建模空洞区域序列中的最末一个建模空洞区域对应的模型表面修复二维图像作为所述某个现场物体的模型表面最终二维图像。
3.根据权利要求2所述的实景三维虚拟现实场景构建方法，其特征在于，针对在所述建模空洞区域序列中的第k个建模空洞区域，基于生成对抗神经网络GAN对与在所述建模空洞区域序列中的第k-1个建模空洞区域对应的模型表面修复二维图像进行图像修复处理，得到对应的模型表面修复二维图像，包括有如下步骤S521～S525：
S521.应用在基于生成对抗神经网络GAN的且已完成预训练的完整图像生成模型中的图像生成器生成一个新图像，然后执行步骤S522；
S522.应用在所述完整图像生成模型中的图像鉴别器判断所述新图像是否为完整图像，若是，则执行步骤S523，否则再次应用所述图像生成器生成一个新图像，然后执行步骤S522；
S523.根据所述新图像和与第k-1个建模空洞区域对应的模型表面修复二维图像，计算得到两图像在非建模空洞区域内各个像素点的颜色差值，然后执行步骤S524，其中，k表示正整数，所述某个现场物体的模型表面初始二维图像作为与第零个建模空洞区域对应的模型表面修复二维图像；
S524.判断所述两图像在所述各个像素点的颜色差值的标准差是否达到预设标准差阈值，若是，则将所述新图像作为与在所述建模空洞区域序列中的第k个建模空洞区域对应的模型表面修复二维图像，否则执行步骤S525；
S525.将所述两图像在所述各个像素点的颜色差值作为内容损失惩罚项数据导入所述图像生成器，并再次应用所述图像生成器生成一个新图像，然后执行步骤S522。
4.根据权利要求3所述的实景三维虚拟现实场景构建方法，其特征在于，所述完整图像生成模型的训练过程包括：
获取真实的多个物体表面二维图像；
应用所述多个物体表面二维图像，对包括有图像生成器和图像鉴别器的生成对抗神经网络GAN进行训练，得到所述完整图像生成模型。
5.根据权利要求1所述的实景三维虚拟现实场景构建方法，其特征在于，对所述各个现场物体的模型表面初始二维图像分别进行建模空洞区域识别处理,得到所述各个现场物体的建模空洞区域识别结果，包括：
针对所述各个现场物体，将对应的模型表面初始二维图像导入基于YOLO目标检测算法的且已完成预训练的建模空洞区域识别模型，输出得到对应的建模空洞区域识别结果。
6.根据权利要求1所述的实景三维虚拟现实场景构建方法，其特征在于，对所述各个现场物体的模型表面初始二维图像分别进行建模空洞区域识别处理,得到所述各个现场物体的建模空洞区域识别结果，包括：
针对在所述多个现场物体中的某个现场物体，将对应的模型表面初始二维图像导入基于YOLO目标检测算法的且已完成预训练的建模空洞区域识别模型，输出得到对应的建模空洞区域识别结果；
若所述某个现场物体的建模空洞区域识别结果指示在所述某个现场物体的模型表面初始二维图像中存在有至少一个建模空洞区域标记框，则根据所述至少一个建模空洞区域标记框，从所述某个现场物体的模型表面初始二维图像中截取出与所述至少一个建模空洞区域标记框一一对应的至少一个建模空洞区域图像；
对所述至少一个建模空洞区域图像分别依次进行图像去噪处理、灰度转换处理和基于预设灰度阈值的二值化处理，得到与所述至少一个建模空洞区域图像一一对应的至少一个二值化图像，其中，所述预设灰度阈值根据建模空洞区域灰度值来预先设定；
针对在所述至少一个二值化图像中的各个二值化图像，基于Canny算法提取得到对应的中心连通域，并将该中心连通域作为在对应建模空洞区域标记框内的建模空洞区域；
汇总所有的所述建模空洞区域，得到所述某个现场物体的且最终的建模空洞区域识别结果。
7.一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建***，其特征在于，包括有依次通信连接的数据获取模块、初始建模模块、图像抠取模块、空洞识别模块、图像修复模块、图像渲染模块和模型替换模块；
所述数据获取模块，用于获取由无人机倾斜摄影设备对目标现场区域采集的倾斜摄影数据以及与所述倾斜摄影数据同步记录的无人机姿态测量数据或像控测量数据；
所述初始建模模块，用于根据所述倾斜摄影数据以及所述无人机姿态测量数据或所述像控测量数据，采用无人机倾斜摄影实景三维建模软件构建得到所述目标现场区域的初始实景三维场景，其中，所述初始实景三维场景包含有多个现场物体的初始三维模型；
所述图像抠取模块，用于针对在所述多个现场物体中的各个现场物体，根据对应的初始三维模型，抠取得到对应的模型表面初始二维图像；
所述空洞识别模块，用于对所述各个现场物体的模型表面初始二维图像分别进行建模空洞区域识别处理,得到所述各个现场物体的建模空洞区域识别结果；
所述图像修复模块，用于针对所述各个现场物体，若对应的建模空洞区域识别结果指示在对应的模型表面初始二维图像中存在有至少一个建模空洞区域，则基于生成对抗神经网络GAN对该模型表面初始二维图像进行图像修复处理，得到对应的模型表面完整二维图像，否则直接将对应的模型表面初始二维图像作为对应的模型表面完整二维图像；
所述图像渲染模块，用于针对所述各个现场物体，将对应的模型表面完整二维图像渲染到对应的初始三维模型的表面上，得到对应的最终三维模型；
所述模型替换模块，用于在所述初始实景三维场景中，将所述各个现场物体的初始三维模型更新为对应的最终三维模型，得到所述目标现场区域的最终实景三维场景。
8.一种驾驶培训模拟器***，其特征在于，包括有驾驶组件、VR显示器、运动控制卡、四自由度运动平台和视景信息处理设备，其中，所述驾驶组件包括有方向盘、踩油门件和踩刹车件；
所述驾驶组件，通信连接所述视景信息处理设备，用于响应驾驶学员的操作产生驾驶信号，并将所述驾驶信号传送至所述视景信息处理设备；
所述视景信息处理设备，分别通信连接所述VR显示器和所述运动控制卡，用于根据所述驾驶信号和驾驶考场区域的且应用如权利要求1～6中任意一项所述的实景三维虚拟现实场景构建方法所得的最终实景三维场景，确定所述驾驶学员的所驾车辆的驾驶仿真虚拟影像和在该最终实景三维场景中的车辆运动姿态信息，并将所述驾驶仿真虚拟影像传送至所述VR显示器，以及将所述车辆运动姿态信息传送至所述运动控制卡；
所述VR显示器，用于向所述驾驶学员输出展示所述驾驶仿真虚拟影像；
所述运动控制卡，通信连接所述四自由度运动平台，用于根据所述车辆运动姿态信息解算得到电机脉冲量，然后基于所述电机脉冲量控制所述四自由度运动平台进行驾驶仿真运动。
9.一种计算机设备，其特征在于，包括有依次通信连接的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～6中任意一项所述的实景三维虚拟现实场景构建方法。
10.一种计算机可读存储介质，其特征在于,所述计算机可读存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～6中任意一项所述的实景三维虚拟现实场景构建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311195794.7A CN117197388A (zh) | 2023-09-15 | 2023-09-15 | 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311195794.7A CN117197388A (zh) | 2023-09-15 | 2023-09-15 | 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117197388A true CN117197388A (zh) | 2023-12-08 |
Family
ID=88986731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311195794.7A Pending CN117197388A (zh) | 2023-09-15 | 2023-09-15 | 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117197388A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117440140A (zh) * | 2023-12-21 | 2024-01-23 | 四川师范大学 | 一种基于虚拟现实技术的多人异地过节服务*** |
| CN117765186A (zh) * | 2024-02-18 | 2024-03-26 | 广东电网有限责任公司广州供电局 | 一种环境空间的重构方法、装置、设备和存储介质 |
-
2023
- 2023-09-15 CN CN202311195794.7A patent/CN117197388A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117440140A (zh) * | 2023-12-21 | 2024-01-23 | 四川师范大学 | 一种基于虚拟现实技术的多人异地过节服务*** |
| CN117440140B (zh) * | 2023-12-21 | 2024-03-12 | 四川师范大学 | 一种基于虚拟现实技术的多人异地过节服务*** |
| CN117765186A (zh) * | 2024-02-18 | 2024-03-26 | 广东电网有限责任公司广州供电局 | 一种环境空间的重构方法、装置、设备和存储介质 |
| CN117765186B (zh) * | 2024-02-18 | 2024-05-28 | 广东电网有限责任公司广州供电局 | 一种环境空间的重构方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108335353B (zh) | 动态场景的三维重建方法、装置和***、服务器、介质 | |
| CN110246163B (zh) | 图像处理方法及其装置、设备、计算机存储介质 | |
| CN108805979B (zh) | 一种动态模型三维重建方法、装置、设备和存储介质 | |
| CN103703758B (zh) | 移动增强现实*** | |
| CN111291885A (zh) | 近红外图像的生成方法、生成网络的训练方法和装置 | |
| CN117197388A (zh) | 一种基于生成对抗神经网络和倾斜摄影的实景三维虚拟现实场景构建方法及*** | |
| CN111753698A (zh) | 一种多模态三维点云分割***和方法 | |
| CN114758337B (zh) | 一种语义实例重建方法、装置、设备及介质 | |
| CN114332385A (zh) | 一种基于三维虚拟地理场景的单目相机目标检测与空间定位方法 | |
| EP4050305A1 (en) | Visual positioning method and device | |
| WO2022052782A1 (zh) | 图像的处理方法及相关设备 | |
| CN112465977B (zh) | 基于稠密点云修补三维模型水面漏洞的方法 | |
| CN111899345B (zh) | 一种基于2d视觉图像的三维重建方法 | |
| CN111612898B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN114581571A (zh) | 基于imu和前向变形场的单目人体重建方法及装置 | |
| CN116051747A (zh) | 一种基于缺失点云数据的房屋三维模型重建方法及设备、介质 | |
| CN104463962A (zh) | 基于gps信息视频的三维场景重建方法 | |
| CN113793251A (zh) | 位姿确定方法、装置、电子设备和可读存储介质 | |
| CN112132466A (zh) | 基于三维建模的路线规划方法、装置、设备和存储介质 | |
| CN116912645A (zh) | 融合纹理和几何特征的三维目标检测方法及装置 | |
| CN113628349B (zh) | 基于场景内容自适应的ar导航方法、设备及可读存储介质 | |
| CN115115713A (zh) | 一种统一时空融合的环视鸟瞰图感知方法 | |
| CN115131407A (zh) | 面向数字仿真环境的机器人目标跟踪方法、装置和设备 | |
| CN116883770A (zh) | 深度估计模型的训练方法、装置、电子设备及存储介质 | |
| Zhang et al. | A Self-Supervised Monocular Depth Estimation Approach Based on UAV Aerial Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |