CN112509129B - 一种基于改进gan网络的空间视场图像生成方法 - Google Patents

一种基于改进gan网络的空间视场图像生成方法 Download PDF

Info

Publication number
CN112509129B
CN112509129B CN202011517733.4A CN202011517733A CN112509129B CN 112509129 B CN112509129 B CN 112509129B CN 202011517733 A CN202011517733 A CN 202011517733A CN 112509129 B CN112509129 B CN 112509129B
Authority
CN
China
Prior art keywords
sample
image
projection
dimensional
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011517733.4A
Other languages
English (en)
Other versions
CN112509129A (zh
Inventor
朱锦雷
张传锋
井焜
朱爱红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Synthesis Electronic Technology Co Ltd
Original Assignee
Synthesis Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Synthesis Electronic Technology Co Ltd filed Critical Synthesis Electronic Technology Co Ltd
Priority to CN202011517733.4A priority Critical patent/CN112509129B/zh
Publication of CN112509129A publication Critical patent/CN112509129A/zh
Application granted granted Critical
Publication of CN112509129B publication Critical patent/CN112509129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于改进GAN网络的空间视场图像生成方法，本方法将重叠面积大于阈值的样本划分为一组，从不同组中分别抽取数据加入训练集与验证集，根据样本参数即三维位置（x,y,z）、视角（yaw，pitch，roll）和焦距（f），训练集向验证集指定样本几何投射，得到该样本的投射训练集，GAN网络以投射训练集训练生成模型，以其对应的验证集样本训练判别模型。本方法是一个不经过三维空间建模的视场图像生成方法，即输入其它参数的二维图像序列，得到一个新参数条件下的二维视场图像，中间没有三维空间建模过程。

Description

一种基于改进GAN网络的空间视场图像生成方法
技术领域
本发明涉及一种基于改进GAN网络的空间视场图像生成方法，属于机器学习与图像处理领域。
背景技术
生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的输出。近年来，GAN网络经常用于生成新图片，也可用于空间信息的生成，如将多角度二维图像变换为三维空间图像。
目前空间图像生成存在三个方面需要改进：一是，在训练模型时，需要先用专业设备采集空间数据进行三维建模，要求数据覆盖性完整，才能生成好的三维空间模型，进而基于三维空间模型生成某一位置与方向（观察者视角）的二维视场图像，没有采用二维图像序列向特定视场直接计算的方法获得；二是，在已知相机参数时，传统的计算机图像学经典方法可以进行二维图像投射，但投射后的目标视场图像可能不完整或者有较配准偏差，GAN网络在处理这一类问题时具有显著优势；三是，当可供选择的样本比较多时，采用基于已知样本序列，采用迭代方式生成目标视频图像，使图像变得更加清晰，如何通过记忆方式增强生成图像是一大技术难题。
发明内容
本发明要解决的技术问题是提供一种基于改进GAN网络的空间视场图像生成方法，从其他参数的二维图像序列得到一个新参数条件下的二维视场图像，中间没有三维空间建模过程。
为了解决所述技术问题，本发明采用的技术方案是：一种基于改进GAN网络的空间视场图像生成方法，包括以下步骤：
S01）、输入不同地点、不同视角采集的二维样本图像，并对二维样本图像进行标注，样本标注参数包括图像三维坐标（x,y,z）、视角（yaw,pich,roll）和焦距f，其中yaw表示偏航角，pitch表示俯仰角，roll表示翻滚角；
S02）、根据样本标注参数与空间几何投射方法，计算出从不同地点、不同视角拍摄的图像是否存在同一物理目标，抽取重叠面积大于指定阈值的样本图像标记为重叠组；
S03）、从每个重叠组的样本中抽取部分数据加入训练集，其余加入验证集，其中训练集用于GAN网络中的生成模型，验证集用于GAN网络中的判别模型；
S04）、重叠组中的训练集向验证集指定样本几何投射，得到该样本的投射训练集；
S05）、基于投射训练集的训练过程，训练包括两个阶段，第一阶段基于验证集指定样本的投射训练集训练生成网络模型，第二阶段基于验证集指定样本的投射训练集和生成网络模型图像训练判别网络模型；其中，生成网络模型的编码模块与解码模块之间植入记忆单元，使生成网络模型具有记忆功能；
S06）、指定观察参数预测视场图像，如果想得到某一视场二维图像，输入待获取二维图像的三维坐标（x,y,z）、视角（yaw,pich,roll）和焦距f，抽取与该视场重叠的原始样本图像，并完成相应空间几何投射，投射图像序列依次输入生成网络模型，从而得到该视场的二维图像。
进一步的，验证集指定样本的投射训练集为正样本，生成网络模型图像为负样本。
进一步的，记忆单元为GRU或者LSTM单元；同一组训练样本输入训练时，在初始状态，记忆单元首先按投射面积大小作为贡献能力降序排列，先后输入至GAN网络编码模块；生成场景图像与真实场景图像经由判别模型时，计算出相似度，把相似度作为样本组中各样本的贡献能力，重新降序排列，以调整输入顺序。
本发明的有益效果：本发明将重叠面积大于阈值的样本划分为一组，从不同组中分别抽取数据加入训练集与验证集，根据样本参数即三维位置（x, y, z）、视角（yaw，pitch，roll） 和焦距（f），训练集向验证集指定样本几何投射，得到该样本的投射训练集，GAN网络以投射训练集训练生成模型，以其对应的验证集样本训练判别模型。
生成网络模型具有记忆功能，即在编码模块与解码模块之间植入GRU/LSTM等类似单元，投射训练集序列输入时，可以不断生成增强后的视场图像。其特征在于，其记忆能力还体现在，同一组训练样本输入训练时，在初始状态，首先按投射面积大小作为贡献能力降序排列，先后输入至GAN网络编码模块；生成场景图像与真实场景图像经由判别模型时，会计算出相似度（属于GAN网络常识内容），把相似度作为样本组中各样本的贡献能力，重新降序排列，以调整输入顺序。
本方法是一个不经过三维空间建模的视场图像生成方法，即输入其它参数的二维图像序列，得到一个新参数条件下的二维视场图像，中间没有三维空间建模过程。
具体实施方式
下面结合具体实施例对本发明组进一步的说明。
实施例1
本实施例公开一种基于改进GAN网络的空间视场图像生成方法，包括以下步骤：
S01）、输入不同地点、不同视角采集的二维样本图像，并对二维样本图像进行标注，样本标注参数包括图像三维坐标（x,y,z）、视角（yaw,pich,roll）和焦距f，其中yaw表示偏航角，pitch表示俯仰角，roll表示翻滚角；图像三维坐标（x,y,z）、视角（yaw,pich,roll）通过在摄像机上增加相应的传感器实现；
S02）、根据样本标注参数与空间几何投射方法，计算出从不同地点、不同视角拍摄的图像是否存在同一物理目标，抽取重叠面积大于指定阈值的样本图像标记为重叠组；
S03）、从每个重叠组的样本中抽取部分数据加入训练集，其余加入验证集，其中训练集用于GAN网络中的生成模型，验证集用于GAN网络中的判别模型；
S04）、重叠组中的训练集向验证集指定样本几何投射，得到该样本的投射训练集；
S05）、基于投射训练集的训练过程，训练包括两个阶段，第一阶段基于验证集指定样本的投射训练集训练生成网络模型，第二阶段基于验证集指定样本的投射训练集和生成网络模型图像训练判别网络模型；其中，生成网络模型的编码模块与解码模块之间植入记忆单元，使生成网络模型具有记忆功能；
S06）、指定观察参数预测视场图像，如果想得到某一视场二维图像，输入待获取二维图像的三维坐标（x,y,z）、视角（yaw,pich,roll）和焦距f，抽取与该视场重叠的原始样本图像，并完成相应空间几何投射，投射图像序列依次输入生成网络模型，从而得到该视场的二维图像。
本实施例中，验证集指定样本的投射训练集为正样本，生成网络模型图像为负样本。
本实施例中，记忆单元为GRU或者LSTM单元。投射训练集序列输入时，可以不断生成增强后的视场图像。其记忆能力还体现在，同一组训练样本输入训练时，在初始状态，首先按投射面积大小作为贡献能力降序排列，先后输入至GAN网络编码模块；生成场景图像与真实场景图像经由判别模型时，会计算出相似度（属于GAN网络常识内容），把相似度作为样本组中各样本的贡献能力，重新降序排列，以调整输入顺序。
该方法主要用于基于改进GAN网络的空间三维影像视图生成，可用于视觉目标空间位置估计、人物导览导航等领域。该方法本质上是，采用创新的GAN网络结构，训练样本包括随意抓拍的系列二维图片，以及各二维图片对应的三维视角，输入改进后的GAN网络进行训练形成模型，预测时随意输入生成器几张周围图片即可自动合成出三维空间的二维视图。
以上描述的仅是本发明的基本原理和优选实施例，本领域技术人员根据本发明做出的改进和替换，属于本发明的保护范围。

Claims (3)

1.一种基于改进GAN网络的空间视场图像生成方法，其特征在于：包括以下步骤：
S01）、输入不同地点、不同视角采集的二维样本图像，并对二维样本图像进行标注，样本标注参数包括图像三维坐标（x,y,z）、视角（yaw,pich,roll）和焦距f，其中yaw表示偏航角，pitch表示俯仰角，roll表示翻滚角；
S02）、根据样本标注参数与空间几何投射方法，计算出从不同地点、不同视角拍摄的图像是否存在同一物理目标，若存在同一物理目标，抽取重叠面积大于指定阈值的样本图像标记为重叠组；
S03）、从每个重叠组的样本中抽取部分数据加入训练集，其余加入验证集，其中训练集用于GAN网络中的生成模型，验证集用于GAN网络中的判别模型；
S04）、重叠组中的训练集向验证集指定样本几何投射，得到该样本的投射训练集；
S05）、基于投射训练集的训练过程，训练包括两个阶段，第一阶段基于验证集指定样本的投射训练集训练生成网络模型，第二阶段基于验证集指定样本的投射训练集和生成网络模型图像训练判别网络模型；其中，生成网络模型的编码模块与解码模块之间植入记忆单元，使生成网络模型具有记忆功能；
S06）、指定观察参数预测视场图像，如果想得到某一视场二维图像，输入待获取二维图像的三维坐标（x,y,z）、视角（yaw,pich,roll）和焦距f，抽取与该视场重叠的原始样本图像，并完成相应空间几何投射，投射图像序列依次输入生成网络模型，从而得到该视场的二维图像。
2.根据权利要求1所述的基于改进GAN网络的空间视场图像生成方法，其特征在于：验证集指定样本的投射训练集为正样本，生成网络模型图像为负样本。
3.根据权利要求1所述的基于改进GAN网络的空间视场图像生成方法，其特征在于：记忆单元为GRU或者LSTM单元；同一组训练样本输入训练时，在初始状态，记忆单元首先按投射面积大小作为贡献能力降序排列，先后输入至GAN网络编码模块；生成场景图像与真实场景图像经由判别模型时，计算出相似度，把相似度作为样本组中各样本的贡献能力，重新降序排列，以调整输入顺序。
CN202011517733.4A 2020-12-21 2020-12-21 一种基于改进gan网络的空间视场图像生成方法 Active CN112509129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011517733.4A CN112509129B (zh) 2020-12-21 2020-12-21 一种基于改进gan网络的空间视场图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011517733.4A CN112509129B (zh) 2020-12-21 2020-12-21 一种基于改进gan网络的空间视场图像生成方法

Publications (2)

Publication Number Publication Date
CN112509129A CN112509129A (zh) 2021-03-16
CN112509129B true CN112509129B (zh) 2022-12-30

Family

ID=74922766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011517733.4A Active CN112509129B (zh) 2020-12-21 2020-12-21 一种基于改进gan网络的空间视场图像生成方法

Country Status (1)

Country Link
CN (1) CN112509129B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220358265A1 (en) * 2021-05-04 2022-11-10 X Development Llc Realistic plant growth modeling
CN114264298B (zh) * 2021-12-30 2024-02-20 神思电子技术股份有限公司 一种室内地图的导航路径生成方法、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009093587A1 (ja) * 2008-01-21 2009-07-30 Pasco Corporation オルソフォト画像の生成方法、および撮影装置
CN107945282A (zh) * 2017-12-05 2018-04-20 洛阳中科信息产业研究院(中科院计算技术研究所洛阳分所) 基于对抗网络的快速多视角三维合成和展示方法及装置
CN110263192A (zh) * 2019-06-06 2019-09-20 西安交通大学 一种基于条件生成对抗网络的磨粒形貌数据库创建方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5910447B2 (ja) * 2012-02-29 2016-04-27 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
JP5811923B2 (ja) * 2012-03-28 2015-11-11 富士通株式会社 情報処理装置、画像処理方法およびプログラム
WO2014171418A1 (ja) * 2013-04-19 2014-10-23 凸版印刷株式会社 ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
CN104299261B (zh) * 2014-09-10 2017-01-25 深圳大学 人体三维成像方法及***
JP6894685B2 (ja) * 2016-09-29 2021-06-30 株式会社カブク 情報処理装置、情報処理方法及びプログラム
US11478214B2 (en) * 2017-03-16 2022-10-25 The Johns Hopkins University Geometric calibration for cone beam CT using line fiducials
CN108960001B (zh) * 2017-05-17 2021-12-24 富士通株式会社 训练用于人脸识别的图像处理装置的方法和装置
CN108052512B (zh) * 2017-11-03 2021-05-11 同济大学 一种基于深度注意力机制的图像描述生成方法
CN108510194B (zh) * 2018-03-30 2022-11-29 平安科技（深圳）有限公司 风控模型训练方法、风险识别方法、装置、设备及介质
JP6601825B2 (ja) * 2018-04-06 2019-11-06 株式会社ＥｍｂｏｄｙＭｅ 画像処理装置および２次元画像生成用プログラム
CN110059100B (zh) * 2019-03-20 2022-02-22 广东工业大学 基于演员-评论家网络的sql语句构造方法
CN110706328B (zh) * 2019-08-21 2020-12-18 重庆特斯联智慧科技股份有限公司 一种基于gan网络的三维场景虚拟生成方法和***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009093587A1 (ja) * 2008-01-21 2009-07-30 Pasco Corporation オルソフォト画像の生成方法、および撮影装置
CN107945282A (zh) * 2017-12-05 2018-04-20 洛阳中科信息产业研究院(中科院计算技术研究所洛阳分所) 基于对抗网络的快速多视角三维合成和展示方法及装置
CN110263192A (zh) * 2019-06-06 2019-09-20 西安交通大学 一种基于条件生成对抗网络的磨粒形貌数据库创建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Edge-Gan edge conditioned multi-view face image generation";heqing zou 等;《2020 IEEE international conference on image processing（ICIP）》;20201028;全文 *
基于二维点云图的三维人体建模方法;张广翩等;《计算机工程与应用》(第19期);全文 *
生成式对抗网络的应用综述;叶晨等;《同济大学学报(自然科学版)》;20200415(第04期);全文 *

Also Published As

Publication number Publication date
CN112509129A (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
US11151734B2 (en) Method and system for generating synthetic point cloud data using a generative model
CN110781838B (zh) 一种复杂场景下行人的多模态轨迹预测方法
Dawar et al. Data augmentation in deep learning-based fusion of depth and inertial sensing for action recognition
Lee et al. Context-aware synthesis and placement of object instances
Cao et al. 3D aided duet GANs for multi-view face image synthesis
CN106056050B (zh) 一种基于自适应三维人体运动统计模型的多视角步态识别方法
CN112364757B (zh) 一种基于时空注意力机制的人体动作识别方法
Liu et al. Pose-guided R-CNN for jersey number recognition in sports
CN109214366A (zh) 局部目标重识别方法、装置及***
CN112509129B (zh) 一种基于改进gan网络的空间视场图像生成方法
CN111860400B (zh) 人脸增强识别方法、装置、设备及存储介质
CN111639580B (zh) 一种结合特征分离模型和视角转换模型的步态识别方法
CN114666564A (zh) 一种基于隐式神经场景表示进行虚拟视点图像合成的方法
Chen et al. Silhouette-based object phenotype recognition using 3D shape priors
CN112801945A (zh) 基于双重注意力机制特征提取的深度高斯混合模型颅骨配准方法
CN114626476A (zh) 基于Transformer与部件特征融合的鸟类细粒度图像识别方法及装置
CN114332942A (zh) 基于改进YOLOv3的夜间红外行人检测方法及***
CN116097307A (zh) 图像的处理方法及相关设备
CN115471863A (zh) 三维姿态的获取方法、模型训练方法和相关设备
CN113065506B (zh) 一种人体姿态识别方法及***
CN101661625B (zh) 基于一幅标准图像生成各视角下样本图像的方法
Zhou et al. PersDet: Monocular 3D Detection in Perspective Bird's-Eye-View
CN112990154B (zh) 一种数据处理方法、计算机设备以及可读存储介质
CN108564043A (zh) 一种基于时空分布图的人体行为识别方法
Chu et al. Semi-supervised 3d human pose estimation by jointly considering temporal and multiview information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant