CN111193920A - 一种基于深度学习网络的视频画面立体拼接方法和*** - Google Patents
一种基于深度学习网络的视频画面立体拼接方法和*** Download PDFInfo
- Publication number
- CN111193920A CN111193920A CN201911406584.1A CN201911406584A CN111193920A CN 111193920 A CN111193920 A CN 111193920A CN 201911406584 A CN201911406584 A CN 201911406584A CN 111193920 A CN111193920 A CN 111193920A
- Authority
- CN
- China
- Prior art keywords
- video picture
- matching
- splicing
- registration
- panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 59
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习网络的视频画面立体拼接方法和***,该方法包括:提取步骤:提取同一视点拍摄的二维视频画面中的匹配点;拼接步骤:基于所述二维视频画面中的匹配点,利用GAN网络,对所述二维视频画面进行拼接,生成全景视频画面;判别步骤:将所述全景视频画面输入所述GAN网络进行判别,生成第一视点的全景视频画面;重复步骤:提取另一视点拍摄的二维视频画面中的匹配点,重复拼接步骤与判别步骤,生成第二视点的全景视频画面;组合步骤:将所述第一视点的全景视频画面与所述第二视点的全景视频画面进行组合,生成全景立体视频。该方法通过GAN网络实现对景点实时风貌和表演进行全景立体视频展示,降低人工成本。
Description
技术领域
本发明涉及视频画面拼接技术领域,具体是一种基于深度学习网络的视频画面立体拼接方法和***。
背景技术
随着在线智慧旅游服务的兴起,以及VR头盔等设备进入消费市场,越来越多的景区开始在其官网或者APP上面提供景点的全景立体视频展示服务,让游客在家中通过头戴VR头盔设备,也能够身临其境,获得360度无死角的立体视觉感官体验。
甚至可以根据在景点实时拍摄的全景立体视频,对在线展示的内容进行同步更新,比如全景立体视频展示服务呈现的景点的当前风貌与真实景点完全同步,或者通过全景立体视频展示服务也可以观赏景点正在举办的表演等活动。
但是,真正的高清晰度全景立体视频摄像机价格不菲,无法做到在景点大量安装,而且为了与游客的正常视角一致,这些摄像机的安装高度应该与人体高度近似,这也造成设备很容易被损坏。
因此,从成本的角度出发,可以利用高清晰度的普通摄像头,从各个视角方向上拍摄较大数量的景点二维视频画面,再通过后期拼接技术生成景点的全景立体视频画面;但是,一般后期拼接都要由专门的工作人员花费较多的工时,人力成本高,而且无法实现对景点实时风貌和表演进行全景立体视频展示。
因此,如何对景点实时风貌和表演进行全景立体视频展示,降低人工成本是本领域技术人员亟待解决的问题。
发明内容
鉴于上述问题,本发明的目的是解决通过后期拼接技术将景点二维视频画面生成景点的全景立体视频画面人力成本高,而且无法实现对景点实时风貌和表演进行全景立体视频展示的问题,实现对景点实时风貌和表演进行全景立体视频展示,降低人工成本。
本发明实施例提供一种基于深度学习网络的视频画面立体拼接方法,包括:
提取步骤:提取同一视点拍摄的二维视频画面中的匹配点;
拼接步骤:基于所述二维视频画面中的匹配点,利用GAN网络,对所述二维视频画面进行拼接,生成全景视频画面;
判别步骤:将所述全景视频画面输入所述GAN网络进行判别,生成第一视点的全景视频画面;
重复步骤:提取另一视点拍摄的二维视频画面中的匹配点,重复拼接步骤与判别步骤,生成第二视点的全景视频画面;
组合步骤:将所述第一视点的全景视频画面与所述第二视点的全景视频画面进行组合,生成全景立体视频。
在一个实施例中,基于所述二维视频画面中的匹配点,利用GAN网络,对所述二维视频画面进行拼接,生成全景视频画面,包括:
建立所述二维视频画面中的匹配点之间的初始匹配向量集合;
将所述初始匹配向量集合输入生成器G,获取配准匹配向量,生成配准匹配向量集合;
根据所述配准匹配向量集合,确定任意两个二维视频画面之间的配准关系;
根据所述配准关系,对所述二维视频画面进行拼接,生成所述全景视频画面。
在一个实施例中,将所述全景视频画面输入所述GAN网络进行判别,生成第一视点的全景视频画面,包括:
将所述全景视频画面输入经过训练之后的判别器D进行判别,生成判别结果,并将所述判别结果反馈给所述生成器G;
若判别结果为伪,则所述生成器G生成下一轮的配准匹配向量集合;
根据所述下一轮的配准向量集合,确定所述任意两个二维视频画面之间的配准关系;
根据所述配准关系,对所述任两个二维视频画面进行拼接,生成下一轮的全景视频画面;
将所述下一轮的全景视频画面输入所述判别器D进行判别,生成判别结果;
若判别结果为伪,重复上述步骤,直至所述判别结果为真,生成所述第一视点的全景视频画面。
在一个实施例中,若判别结果为伪,则所述生成器G生成下一轮的配准匹配向量集合,包括:
若判别结果为伪,所述生成器G的神经网络调节神经元连接权重,生成匹配向量集合;
根据所述下一轮的匹配向量集合,获取下一轮的配准匹配向量,生成所述下一轮的配准匹配向量集合。
在一个实施例中,所述匹配点,包括以下任意一种:
SIFT特征点、HARRIS角点。
第二方面,本发明还提供一种基于深度学习网络的视频画面立体拼接***,包括:
提取模块,用于提取同一视点拍摄的二维视频画面中的匹配点;
拼接模块,用于基于所述二维视频画面中的匹配点,利用GAN网络,对所述二维视频画面进行拼接,生成全景视频画面;
判别模块,用于将所述全景视频画面输入所述GAN网络进行判别,生成第一视点的全景视频画面;
重复模块,用于提取另一视点拍摄的二维视频画面中的匹配点,重复拼接步骤与判别步骤,生成第二视点的全景视频画面;
组合模块,用于将所述第一视点的全景视频画面与所述第二视点的全景视频画面进行组合,生成全景立体视频。
在一个实施例中,所述拼接模块,包括:
建立子模块,用于建立所述二维视频画面中的匹配点之间的初始匹配向量集合;
第一生成子模块,用于将所述初始匹配向量集合输入生成器G,获取配准匹配向量,生成配准匹配向量集合;
第一确定子模块,用于根据所述配准匹配向量集合,确定任意两个二维视频画面之间的配准关系;
拼接子模块,用于根据所述配准关系,对所述二维视频画面进行拼接,生成所述全景视频画面。
在一个实施例中,所述判别模块,包括:
反馈子模块,用于将所述全景视频画面输入经过训练之后的判别器D进行判别,生成判别结果,并将所述判别结果反馈给所述生成器G;
第二生成子模块,用于若判别结果为伪,则所述生成器G生成下一轮的配准匹配向量集合;
第二确定子模块,用于根据所述下一轮的配准向量集合,确定所述任意两个二维视频画面之间的配准关系;
全景视频画面生成子模块,用于根据所述配准关系,对所述任两个二维视频画面进行拼接,生成下一轮的全景视频画面;
判别子模块,用于将所述下一轮的全景视频画面输入所述判别器D进行判别,生成判别结果;
重复子模块,用于若判别结果为伪,重复上述步骤,直至所述判别结果为真,生成所述第一视点的全景视频画面。
在一个实施例中,所述第二生成子模块,包括:
调节单元,用于若判别结果为伪,所述生成器G的神经网络调节神经元连接权重,生成匹配向量集合;
获取单元,用于根据所述下一轮的匹配向量集合,获取下一轮的配准匹配向量,生成所述下一轮的配准匹配向量集合。
在一个实施例中,所述提取模块中的所述匹配点,包括以下任意一种:
SIFT特征点、HARRIS角点。
本发明实施例提供的上述技术方案的有益效果至少包括:
本发明实施例提供的一种基于深度学习网络的视频画面立体拼接方法,本方法利用GAN网络对同一视点的二维视频画面进行拼接与判断,能够快速准确地实现拼接较多数量的二维视频画面,并利用GAN网络对拼接后的全景视频画面进行判断,提高了拼接的准确率,降低了人力成本,提高了效率。将不同视点的全景视频画面进行组合,实现了对景点实时风貌和表演的全景立体视频展示,提高了用户体验。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步地详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例提供的一种基于深度学习网络的视频画面立体拼接方法的流程图;
图2为本发明实施例提供的步骤S102流程图;
图3为本发明实施例提供的步骤S103的流程图;
图4为本发明实施例提供的一种基于深度学习网络的视频画面立体拼接***的框图;
图5为本发明实施例提供的提取模块42的框图;
图6为本发明实施例提供的提取模块43的框图;
图7为本发明实施例提供的第二生成子模块432的框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
参照图1所示,本发明实施例提供的一种基于深度学习网络的视频画面立体拼接方法,该方法包括:步骤S101~S105;
S101、提取步骤:提取同一视点(即前端由摄像头在同一个位置以不同的视角方向拍摄)拍摄的二维视频画面中的匹配点。
S102、拼接步骤:基于所述二维视频画面中的匹配点,利用GAN网络,对所述二维视频画面进行拼接,生成全景视频画面;
S103、判别步骤:将所述全景视频画面输入所述GAN网络进行判别,生成第一视点(例如左眼视点)的全景视频画面;
S104、重复步骤:提取另一视点拍摄的二维视频画面中的匹配点,重复拼接步骤与判别步骤,生成第二视点(例如右眼视点)的全景视频画面;
S105、组合步骤:将所述第一视点的全景视频画面与所述第二视点的全景视频画面进行组合(例如将左眼视点的全景视频画面与右眼视点的全景视频画面进行组合),生成全景立体视频。
本实施例中,利用GAN网络对同一视点的二维视频画面进行拼接与判断,能够快速准确地实现拼接较多数量的二维视频画面,并利用GAN网络对拼接后的全景视频画面进行判断,提高了拼接的准确率,降低了人力成本,提高了效率。将不同视点的全景视频画面进行组合,实现了对景点实时风貌和表演的全景立体视频展示,提高了用户体验。
在步骤S101中,所述匹配点,包括以下任意一种:SIFT特征点、HARRIS角点。
其中,提取所述二维视频画面中的SIFT特征点的具体步骤如下:
A、尺度空间极值检测:搜索所述二维视频画面所有尺度上的图像位置,通过高斯微分函数来识别潜在的对于尺度和旋转不变的兴趣点;
B、关键点定位:在每个候选的位置上,通过一个拟合精细的模型来确定位置和尺度,关键点的选择依据于它们的稳定程度;
C、方向确定:基于图像局部的梯度方向,分配给每个关键点位置一个或多个方向,所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换,从而提供对于这些变换的不变性;
D、关键点描述:在每个关键点周围的邻域内,在选定的尺度上测量图像局部的梯度,这些梯度被变换成一种表示,这种表示允许比较大的局部形状的变形和光照变化。
进一步的,提取所述二维视频画面中的HARRIS角点的具体步骤如下:
A、利用水平、竖直差分算子对二维视频图像中每个像素进行滤波,求得Ix、Iy,进而求得图矩阵m中四个元素的值,具体公式如下所示:
B、对图矩阵m中的四个元素进行高斯平滑滤波(目的是提高抗噪能力),得到新的图矩阵m。其中,离散二维零均值高斯函数为:
C、利用新的图矩阵m计算对应与每个像素的角点量cim,具体的计算公式如下所示:
D、若二维视频图像中的点同时满足条件cim大于阈值thresh(提前设置阈值)和条件cim是某邻域内的局部极大值,则上述二维视频图像中的点为角点。
在一个实施例中,参照图2所示,上述步骤S102中基于所述二维视频画面中的匹配点,利用GAN网络,对所述二维视频画面进行拼接,生成全景视频画面,包括:
S1021、建立所述二维视频画面中的匹配点之间的初始匹配向量集合;其中,所述初始匹配向量集合包含随机生成的匹配向量;
S1022、将所述初始匹配向量集合输入生成器G,获取配准匹配向量,生成配准匹配向量集合;其中,生成器G是一个神经网络,由生成器G对所述初始匹配向量集合中的匹配向量进行调试,获得配准匹配向量,从而形成配准匹配向量集合;
S1023、根据所述配准匹配向量集合,确定任意两个二维视频画面之间的配准关系;
S1024、根据所述配准关系,对所述二维视频画面进行拼接,生成所述全景视频画面。
本实施例中,利用GAN网络中的生成器G根据任意两个二维视频画面之间的配准关系进行拼接,只用到了反向传播,可以产生更加清晰,真实的样本,拼接形成的全景视频画面更加准确。
在一个实施例中,参照图3所示,上述步骤S103中将所述全景视频画面输入所述GAN网络进行判别,生成第一视点的全景视频画面,包括:
将所述全景视频画面输入经过训练之后的判别器D进行判别,生成判别结果,并将所述判别结果反馈给所述生成器G;
其中,判别器D是一个神经网络,且采用一定数量的、真实全景视频画面的图像样本进行了训练,从而使得该判别器对接近真实的全景视频画面输出为真,对不接近真实的全景视频画面输出为伪;
若判别结果为伪,则所述生成器G生成下一轮的配准匹配向量集合;若判别结果为真,则将全景视频画面作为第一视点的全景视频画面;
具体的,若判别结果为伪,所述生成器G的神经网络调节神经元连接权重,生成匹配向量集合;根据所述下一轮的匹配向量集合,获取下一轮的配准匹配向量,生成所述下一轮的配准匹配向量集合。
根据所述下一轮的配准向量集合,确定所述任意两个二维视频画面之间的配准关系;
根据所述配准关系,对所述任两个二维视频画面进行拼接,生成下一轮的全景视频画面;
将所述下一轮的全景视频画面输入所述判别器D进行判别,生成判别结果;
若判别结果为伪,重复上述步骤,直至所述判别结果为真,生成所述第一视点的全景视频画面。
本实施例中,利用GAN网络中的判别器D对拼接形成的全景视频画面判别真伪,实现了无监督的学习方式训练,自动对全景视频画面的真伪进行判别,节约了人力成本,并且通过生成器G与判别器D之间的循环训练,生成第一视点的全景视频画面更加准确,提高了判别效率。
基于同一发明构思,本发明实施例还提供了一种基于深度学习网络的视频画面立体拼接***,由于该装置所解决问题的原理与前述一种基于深度学习网络的视频画面立体拼接方法相似,因此该装置的实施可以参见前述方法的实施,重复之处不再赘述。
本发明实施例提供的一种基于深度学习网络的视频画面立体拼接***,参照图4所示,包括:
提取模块41,用于提取同一视点(即前端由摄像头在同一个位置以不同的视角方向拍摄)拍摄的二维视频画面中的匹配点;
拼接模块42,用于基于所述二维视频画面中的匹配点,利用GAN网络,对所述二维视频画面进行拼接,生成全景视频画面;
判别模块43,用于将所述全景视频画面输入所述GAN网络进行判别,生成第一视点(例如左眼视点)的全景视频画面;
重复模块44,用于提取另一视点拍摄的二维视频画面中的匹配点,重复拼接步骤与判别步骤,生成第二视点(例如右眼视点)的全景视频画面;
组合模块45,用于将所述第一视点的全景视频画面与所述第二视点的全景视频画面进行组合(例如将左眼视点的全景视频画面与右眼视点的全景视频画面进行组合),生成全景立体视频。
在一个实施例中,如图5所示,所述拼接模块42,包括:
建立子模块421,用于建立所述二维视频画面中的匹配点之间的初始匹配向量集合;
第一生成子模块422,用于将所述初始匹配向量集合输入生成器G,获取配准匹配向量,生成配准匹配向量集合;其中,生成器G是一个神经网络,由生成器G对所述初始匹配向量集合中的匹配向量进行调试,获得配准匹配向量,从而形成配准匹配向量集合;
第一确定子模块423,用于根据所述配准匹配向量集合,确定任意两个二维视频画面之间的配准关系;
拼接子模块424,用于根据所述配准关系,对所述二维视频画面进行拼接,生成所述全景视频画面。
在一个实施例中,如图6所示,所述判别模块43,包括:
反馈子模块431,用于将所述全景视频画面输入经过训练之后的判别器D进行判别,生成判别结果,并将所述判别结果反馈给所述生成器G;
其中,判别器D是一个神经网络,且采用一定数量的、真实全景视频画面的图像样本进行了训练,从而使得该判别器对接近真实的全景视频画面输出为真,对不接近真实的全景视频画面输出为伪;
第二生成子模块432,用于若判别结果为伪,则所述生成器G生成下一轮的配准匹配向量集合;
第二确定子模块433,用于根据所述下一轮的配准向量集合,确定所述任意两个二维视频画面之间的配准关系;
全景视频画面生成子模块434,用于根据所述配准关系,对所述任两个二维视频画面进行拼接,生成下一轮的全景视频画面;
判别子模块435,用于将所述下一轮的全景视频画面输入所述判别器D进行判别,生成判别结果;
重复子模块436,用于若判别结果为伪,重复上述步骤,直至所述判别结果为真,生成所述第一视点的全景视频画面。
在一个实施例中,所述第二生成子模块432,包括:
调节单元4321,用于若判别结果为伪,所述生成器G的神经网络调节神经元连接权重,生成匹配向量集合;
获取单元4322,用于根据所述下一轮的匹配向量集合,获取下一轮的配准匹配向量,生成所述下一轮的配准匹配向量集合。
在一个实施例中,所述提取模块41中的所述匹配点,包括以下任意一种:
SIFT特征点、HARRIS角点。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种基于深度学习网络的视频画面立体拼接方法,其特征在于,包括:
提取步骤:提取同一视点拍摄的二维视频画面中的匹配点;
拼接步骤:基于所述二维视频画面中的匹配点,利用GAN网络,对所述二维视频画面进行拼接,生成全景视频画面;
判别步骤:将所述全景视频画面输入所述GAN网络进行判别,生成第一视点的全景视频画面;
重复步骤:提取另一视点拍摄的二维视频画面中的匹配点,重复拼接步骤与判别步骤,生成第二视点的全景视频画面;
组合步骤:将所述第一视点的全景视频画面与所述第二视点的全景视频画面进行组合,生成全景立体视频。
2.如权利要求1所述的一种基于深度学习网络的视频画面立体拼接方法,其特征在于,基于所述二维视频画面中的匹配点,利用GAN网络,对所述二维视频画面进行拼接,生成全景视频画面,包括:
建立所述二维视频画面中的匹配点之间的初始匹配向量集合;
将所述初始匹配向量集合输入生成器G,获取配准匹配向量,生成配准匹配向量集合;
根据所述配准匹配向量集合,确定任意两个二维视频画面之间的配准关系;
根据所述配准关系,对所述二维视频画面进行拼接,生成所述全景视频画面。
3.如权利要求1所述一种基于深度学习网络的视频画面立体拼接方法,其特征在于,将所述全景视频画面输入所述GAN网络进行判别,生成第一视点的全景视频画面,包括:
将所述全景视频画面输入经过训练之后的判别器D进行判别,生成判别结果,并将所述判别结果反馈给所述生成器G;
若判别结果为伪,则所述生成器G生成下一轮的配准匹配向量集合;
根据所述下一轮的配准向量集合,确定所述任意两个二维视频画面之间的配准关系;
根据所述配准关系,对所述任两个二维视频画面进行拼接,生成下一轮的全景视频画面;
将所述下一轮的全景视频画面输入所述判别器D进行判别,生成判别结果;
若判别结果为伪,重复上述步骤,直至所述判别结果为真,生成所述第一视点的全景视频画面。
4.如权利要求3所述的一种基于深度学习网络的视频画面立体拼接方法,其特征在于,若判别结果为伪,则所述生成器G生成下一轮的配准匹配向量集合,包括:
若判别结果为伪,所述生成器G的神经网络调节神经元连接权重,生成匹配向量集合;
根据所述下一轮的匹配向量集合,获取下一轮的配准匹配向量,生成所述下一轮的配准匹配向量集合。
5.如权利要求1所述的一种基于深度学习网络的视频画面立体拼接方法,其特征在于,所述匹配点,包括以下任意一种:
SIFT特征点、HARRIS角点。
6.一种基于深度学习网络的视频画面立体拼接***,其特征在于,包括:
提取模块,用于提取同一视点拍摄的二维视频画面中的匹配点;
拼接模块,用于基于所述二维视频画面中的匹配点,利用GAN网络,对所述二维视频画面进行拼接,生成全景视频画面;
判别模块,用于将所述全景视频画面输入所述GAN网络进行判别,生成第一视点的全景视频画面;
重复模块,用于提取另一视点拍摄的二维视频画面中的匹配点,重复拼接步骤与判别步骤,生成第二视点的全景视频画面;
组合模块,用于将所述第一视点的全景视频画面与所述第二视点的全景视频画面进行组合,生成全景立体视频。
7.如权利要求6所述的一种基于深度学习网络的视频画面立体拼接***,其特征在于,所述拼接模块,包括:
建立子模块,用于建立所述二维视频画面中的匹配点之间的初始匹配向量集合;
第一生成子模块,用于将所述初始匹配向量集合输入生成器G,获取配准匹配向量,生成配准匹配向量集合;
第一确定子模块,用于根据所述配准匹配向量集合,确定任意两个二维视频画面之间的配准关系;
拼接子模块,用于根据所述配准关系,对所述二维视频画面进行拼接,生成所述全景视频画面。
8.如权利要求6所述的一种基于深度学习网络的视频画面立体拼接***,其特征在于,所述判别模块,包括:
反馈子模块,用于将所述全景视频画面输入经过训练之后的判别器D进行判别,生成判别结果,并将所述判别结果反馈给所述生成器G;
第二生成子模块,用于若判别结果为伪,则所述生成器G生成下一轮的配准匹配向量集合;
第二确定子模块,用于根据所述下一轮的配准向量集合,确定所述任意两个二维视频画面之间的配准关系;
全景视频画面生成子模块,用于根据所述配准关系,对所述任两个二维视频画面进行拼接,生成下一轮的全景视频画面;
判别子模块,用于将所述下一轮的全景视频画面输入所述判别器D进行判别,生成判别结果;
重复子模块,用于若判别结果为伪,重复上述步骤,直至所述判别结果为真,生成所述第一视点的全景视频画面。
9.如权利要求8所述的一种基于深度学习网络的视频画面立体拼接***,其特征在于,所述第二生成子模块,包括:
调节单元,用于若判别结果为伪,所述生成器G的神经网络调节神经元连接权重,生成匹配向量集合;
获取单元,用于根据所述下一轮的匹配向量集合,获取下一轮的配准匹配向量,生成所述下一轮的配准匹配向量集合。
10.如权利要求6所述的一种基于深度学习网络的视频画面立体拼接***,其特征在于,所述提取模块中的所述匹配点,包括以下任意一种:
SIFT特征点、HARRIS角点。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911406584.1A CN111193920B (zh) | 2019-12-31 | 2019-12-31 | 一种基于深度学习网络的视频画面立体拼接方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911406584.1A CN111193920B (zh) | 2019-12-31 | 2019-12-31 | 一种基于深度学习网络的视频画面立体拼接方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111193920A true CN111193920A (zh) | 2020-05-22 |
CN111193920B CN111193920B (zh) | 2020-12-18 |
Family
ID=70709727
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911406584.1A Active CN111193920B (zh) | 2019-12-31 | 2019-12-31 | 一种基于深度学习网络的视频画面立体拼接方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111193920B (zh) |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012002046A1 (ja) * | 2010-06-30 | 2012-01-05 | 富士フイルム株式会社 | 立体パノラマ画像合成装置及び複眼撮像装置並びに立体パノラマ画像合成方法 |
CN102918858A (zh) * | 2010-12-24 | 2013-02-06 | 富士胶片株式会社 | 立体全景图像创建设备、立体全景图像创建方法和立体全景图像创建程序,立体全景图像再现设备、立体全景图像再现方法和立体全景图像再现程序,以及记录介质 |
US20160344999A1 (en) * | 2013-12-13 | 2016-11-24 | 8702209 Canada Inc. | SYSTEMS AND METHODs FOR PRODUCING PANORAMIC AND STEREOSCOPIC VIDEOS |
CN107945282A (zh) * | 2017-12-05 | 2018-04-20 | 洛阳中科信息产业研究院(中科院计算技术研究所洛阳分所) | 基于对抗网络的快速多视角三维合成和展示方法及装置 |
CN108886611A (zh) * | 2016-01-12 | 2018-11-23 | 上海科技大学 | 全景立体视频***的拼接方法和装置 |
CN109257527A (zh) * | 2018-10-10 | 2019-01-22 | 清华大学 | 图像拼接数据的采集装置及方法 |
US20190057519A1 (en) * | 2017-08-18 | 2019-02-21 | Synapse Technology Corporation | Generating Synthetic Image Data |
CN109377520A (zh) * | 2018-08-27 | 2019-02-22 | 西安电子科技大学 | 基于半监督循环gan的心脏图像配准***及方法 |
CN109448035A (zh) * | 2018-11-14 | 2019-03-08 | 重庆邮电大学 | 基于深度学习的红外图像与可见光图像配准方法 |
US20190114348A1 (en) * | 2017-10-13 | 2019-04-18 | Microsoft Technology Licensing, Llc | Using a Generative Adversarial Network for Query-Keyword Matching |
EP3483620A1 (en) * | 2017-11-13 | 2019-05-15 | Technische Universität München | Automated noninvasive determining the fertility of a bird's egg |
CN109952760A (zh) * | 2016-12-30 | 2019-06-28 | 谷歌有限责任公司 | 多视图场景流拼接 |
CN110021037A (zh) * | 2019-04-17 | 2019-07-16 | 南昌航空大学 | 一种基于生成对抗网络的图像非刚性配准方法及*** |
CN110069656A (zh) * | 2019-03-28 | 2019-07-30 | 天津大学 | 一种基于生成对抗网络的二维图片检索三维模型的方法 |
CN110099220A (zh) * | 2019-06-17 | 2019-08-06 | 广东中星微电子有限公司 | 一种全景拼接方法及装置 |
CN110363183A (zh) * | 2019-07-30 | 2019-10-22 | 贵州大学 | 基于生成式对抗网络的服务机器人视觉图片隐私保护方法 |
US20190370432A1 (en) * | 2018-06-05 | 2019-12-05 | International Business Machines Corporation | Generative adversarial networks for generating physical design layout patterns of integrated multi-layers |
-
2019
- 2019-12-31 CN CN201911406584.1A patent/CN111193920B/zh active Active
Patent Citations (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102972035A (zh) * | 2010-06-30 | 2013-03-13 | 富士胶片株式会社 | 立体全景图像合成装置、多眼成像装置和立体全景图像合成方法 |
WO2012002046A1 (ja) * | 2010-06-30 | 2012-01-05 | 富士フイルム株式会社 | 立体パノラマ画像合成装置及び複眼撮像装置並びに立体パノラマ画像合成方法 |
CN102918858A (zh) * | 2010-12-24 | 2013-02-06 | 富士胶片株式会社 | 立体全景图像创建设备、立体全景图像创建方法和立体全景图像创建程序,立体全景图像再现设备、立体全景图像再现方法和立体全景图像再现程序,以及记录介质 |
US20160344999A1 (en) * | 2013-12-13 | 2016-11-24 | 8702209 Canada Inc. | SYSTEMS AND METHODs FOR PRODUCING PANORAMIC AND STEREOSCOPIC VIDEOS |
CN108886611A (zh) * | 2016-01-12 | 2018-11-23 | 上海科技大学 | 全景立体视频***的拼接方法和装置 |
CN109952760A (zh) * | 2016-12-30 | 2019-06-28 | 谷歌有限责任公司 | 多视图场景流拼接 |
US20190057519A1 (en) * | 2017-08-18 | 2019-02-21 | Synapse Technology Corporation | Generating Synthetic Image Data |
US20190114348A1 (en) * | 2017-10-13 | 2019-04-18 | Microsoft Technology Licensing, Llc | Using a Generative Adversarial Network for Query-Keyword Matching |
EP3483620A1 (en) * | 2017-11-13 | 2019-05-15 | Technische Universität München | Automated noninvasive determining the fertility of a bird's egg |
CN107945282A (zh) * | 2017-12-05 | 2018-04-20 | 洛阳中科信息产业研究院(中科院计算技术研究所洛阳分所) | 基于对抗网络的快速多视角三维合成和展示方法及装置 |
US20190370432A1 (en) * | 2018-06-05 | 2019-12-05 | International Business Machines Corporation | Generative adversarial networks for generating physical design layout patterns of integrated multi-layers |
CN109377520A (zh) * | 2018-08-27 | 2019-02-22 | 西安电子科技大学 | 基于半监督循环gan的心脏图像配准***及方法 |
CN109257527A (zh) * | 2018-10-10 | 2019-01-22 | 清华大学 | 图像拼接数据的采集装置及方法 |
CN109448035A (zh) * | 2018-11-14 | 2019-03-08 | 重庆邮电大学 | 基于深度学习的红外图像与可见光图像配准方法 |
CN110069656A (zh) * | 2019-03-28 | 2019-07-30 | 天津大学 | 一种基于生成对抗网络的二维图片检索三维模型的方法 |
CN110021037A (zh) * | 2019-04-17 | 2019-07-16 | 南昌航空大学 | 一种基于生成对抗网络的图像非刚性配准方法及*** |
CN110099220A (zh) * | 2019-06-17 | 2019-08-06 | 广东中星微电子有限公司 | 一种全景拼接方法及装置 |
CN110363183A (zh) * | 2019-07-30 | 2019-10-22 | 贵州大学 | 基于生成式对抗网络的服务机器人视觉图片隐私保护方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111193920B (zh) | 2020-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110427917B (zh) | 用于检测关键点的方法和装置 | |
CN109690620B (zh) | 三维模型生成装置以及三维模型生成方法 | |
US20180240265A1 (en) | Systems and Methods for Depth-Assisted Perspective Distortion Correction | |
KR101994121B1 (ko) | 중간 뷰로부터의 효율적인 캔버스 뷰 생성 | |
JP5740884B2 (ja) | 繰り返し撮影用arナビゲーション及び差異抽出のシステム、方法及びプログラム | |
KR20180111798A (ko) | 파노라마 프레임 생성 프로세스에서 프레임의 적응적 스티칭 | |
US9756260B1 (en) | Synthetic camera lenses | |
CN106462956A (zh) | 局部自适应直方图均衡 | |
KR20110059506A (ko) | 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품 | |
KR100560464B1 (ko) | 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법 | |
US8811717B2 (en) | Image generating apparatus and computer program | |
CN103260046A (zh) | 一种三维显示方法及*** | |
KR101176743B1 (ko) | 객체 인식 장치 및 방법과 이를 이용한 정보 컨텐츠 제공 장치 및 정보 컨텐츠 관리 서버 | |
US20140168375A1 (en) | Image conversion device, camera, video system, image conversion method and recording medium recording a program | |
US11410459B2 (en) | Face detection and recognition method using light field camera system | |
CN108109148A (zh) | 图像立体分配方法、移动终端 | |
CN114449303A (zh) | 直播画面生成方法和装置、存储介质及电子装置 | |
JP6388532B2 (ja) | 画像提供システムおよび画像提供方法 | |
CN111193920B (zh) | 一种基于深度学习网络的视频画面立体拼接方法和*** | |
JP7192526B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN116051876A (zh) | 三维数字化模型的相机阵列目标识别方法及*** | |
CN113225484B (zh) | 快速获取屏蔽非目标前景的高清图片的方法及装置 | |
KR20160039447A (ko) | 스테레오 카메라를 이용한 공간분석시스템 | |
KR101718309B1 (ko) | 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법 | |
CN114007056A (zh) | 一种立体全景图像的生成方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |