CN113674145B - Ptz运动图像的球面拼接与实时对准方法 - Google Patents

Ptz运动图像的球面拼接与实时对准方法 Download PDF

Info

Publication number
CN113674145B
CN113674145B CN202010411353.6A CN202010411353A CN113674145B CN 113674145 B CN113674145 B CN 113674145B CN 202010411353 A CN202010411353 A CN 202010411353A CN 113674145 B CN113674145 B CN 113674145B
Authority
CN
China
Prior art keywords
image
background
target
focal length
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010411353.6A
Other languages
English (en)
Other versions
CN113674145A (zh
Inventor
蔡亮亮
周颐
周忠
江玲
吴威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Bigview Technology Co ltd
Beihang University
Original Assignee
Beijing Bigview Technology Co ltd
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bigview Technology Co ltd, Beihang University filed Critical Beijing Bigview Technology Co ltd
Priority to CN202010411353.6A priority Critical patent/CN113674145B/zh
Publication of CN113674145A publication Critical patent/CN113674145A/zh
Application granted granted Critical
Publication of CN113674145B publication Critical patent/CN113674145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种PTZ运动图像的球面拼接与实时对准方法，通过获取目标场景中全景背景的三维图像及全景特征点集；获取PTZ相机拍摄的目标场景中的目标图像；根据目标图像，从全景特征点集中确定与目标图像相对应的全景图局部区域特征点集；获取目标图像的目标图像特征点集；根据局部区域特征点集和目标图像特征点集，调整目标图像特征点集中的特征点，使得目标图像特征点集中的特征点的位置与局部区域特征点集中的特征点的位置之间的差异小于预设差异，获得调整后的目标图像，并将调整后的目标图像投影至三维图像中，获得融合的三维图像。因此，上述方法可以实现目标场景中的目标图像与全景背景的三维图像的精确匹配，解决了实时对准的问题。

Description

PTZ运动图像的球面拼接与实时对准方法
技术领域
本申请实施例涉及虚拟融合技术领域，尤其涉及一种PTZ运动图像的球面拼接与实时对准方法。
背景技术
虚实融合技术是在三维场景中展示图像或者视频流，即将图片与三维模型进行融合显示，而且用户可以在任一视角下进行观看。该技术在城市漫游、交通分析以及视频监控等领域有着重要的应用。由于全方位移动及镜头变倍、变焦控制(Pan Tilt Zoom，PTZ)相机具有视场范围广、姿态可调以及缩放变焦等特点，因此，PTZ相机极大地增强了虚实融合场景的信息捕捉量、提高了相机资源的利用率。
现有技术中，PTZ相机在三维场景下的注册方法是基于模型定位的方法，该注册方法通过找到模型上关键点与待标定图像特征点的对应关系，进一步估计模型与图像的变换关系。例如在运动场场景(例球类赛场)下，针对运动场模型，使用随机决策树的方法训练图像中运动场标志物(例如足球场中的守门界限，门框等)的特征点与运动场的三维模型的关键点的空间对应关系，对待标定图像中运动场标志物特征点与运动场的三维模型的关键点进行匹配，进一步的实现待标定图像与运动场的三维模型之间的配准。
但是，上述方法主要适用于标志物明确的场景，对于标志物不明确的场景，例如室内场景，可能会使得特征点匹配出现混乱，导致待标定图像与三维模型之间无法实现精确配准，进一步的使得PTZ相机在运动过程中产生实时对准的问题。
发明内容
本申请实施例提供一种PTZ运动图像的球面拼接与实时对准方法，以解决现有技术中PTZ相机在运动过程中产生的实时对准的问题。
第一方面，本申请实施例提供一种PTZ运动图像的球面拼接与实时对准方法，所述方法包括：获取目标场景中全景背景的三维图像以及全景特征点集；获取PTZ相机拍摄的目标场景中的目标图像；根据所述目标图像，从所述全景特征点集中确定与所述目标图像相对应的全景图局部区域特征点集；获取所述目标图像的目标图像特征点集；根据所述全景图局部区域特征点集和所述目标图像特征点集，扭曲调整目标图像特征点集中的特征点，使得目标图像特征点集中的特征点的位置与匹配的所述全景图局部区域特征点集中的特征点的位置之间的差异小于预设差异，获得调整后的目标图像；根据实时纹理投影原理，将所述调整后的目标图像投影至所述全景背景的三维图像中，获得融合的三维图像。
可选地，所述根据所述目标图像，从所述全景特征点集中确定与所述图像相对应的全景图局部区域特征点集，包括：根据所述PTZ相机拍摄所述目标图像相对于拍摄初始图像的旋转角度以及所述PTZ相机拍摄所述目标图像的焦距，确定所述目标图像映射到所述全景背景的图像中的位置；从所述全景背景的三维图像的全景特征点集中确定所述位置对应的全景图局部区域特征点集。
可选地，所述获取目标场景中全景背景的三维图像，包括：获取所述目标场景中全景背景的图像；根据所述全景背景的图像，进行三维建模，获得所述全景背景的三维图像。
可选地，所述获取所述目标场景中全景背景的图像，包括：获取目标场景中的多张背景的图像；对所述多张背景的图像进行全景拼接，获得全景背景的图像。
可选地，所述多张背景的图像是根据PTZ相机在不同焦距等级下拍摄的图像得到的，所述对所述多张背景的图像进行全景拼接，获得全景背景的图像，包括：根据同一焦距等级下的多张背景的图像，获得所述焦距等级下的多张背景的图像间的单应矩阵和旋转矩阵；根据所述单应矩阵和所述旋转矩阵，获取所述焦距等级下的所述PTZ相机的内参矩阵，所述内参矩阵包括所述焦距等级对应的焦距以及所述焦距等级下的背景的图像的主点坐标；根据相邻两焦距等级下的所述PTZ相机的内参矩阵，通过如下公式修正所述相邻两焦距等级中后一焦距等级下的背景的图像的主点坐标；根据修正后的所述不同焦距等级下的背景的图像的主点坐标，获得目标主点坐标；根据所述不同焦距等级分别对应的焦距、相邻两焦距等级间对应的焦距以及所述目标主点坐标，对所述不同焦距等级下获得的多张背景的图像进行全景拼接，获得全景背景的图像。
式中，表示焦距等级为Zi时，所述背景的图像的任一特征点的像素坐标值；/>表示焦距等级为Zi-1时，所述背景的图像的任一特征点的像素坐标值；f(Zi)表示焦距等级为Zi时的所述PTZ相机的焦距值；f(Zi-1)表示焦距等级为Zi-1时的所述PTZ相机的焦距值；(px,py)表示修正后的相邻两焦距等级中后一焦距等级下的背景的图像的主点坐标。
可选地，所述获取目标场景中的多张背景的图像，包括：获取PTZ相机在不同位置下拍摄的目标场景中的多张图像；针对一个位置，根据所述位置下拍摄的多张图像和损失函数，计算损失值；若损失值大于预设阈值，则将损失值作为迭代误差，根据所述位置下拍摄的多张图像和损失函数，重新计算损失值；若损失值小于预设阈值，则将所述损失值对应得到的背景的图像确定为所述位置的背景的图像。
所述损失函数为：
其中，IK表示所述位置下拍摄的目标场景中的多张图像中的第K张图像；I表示所述位置下的背景的图像；∞表示逐元素的乘积；WK表示所述位置下的第K张图像与所述背景的图像的像素差值的权重的二维矩阵，该矩阵中的每个元素为 表示同一位置下第K张图像在第i行第j列的像素值，ε表示迭代误差，/>表示所述位置下的第K张图像与所述背景的图像在第i行第j列的像素差值的权重值；所述位置下的背景的图像I的第i行第j列的像素Iij初始值为该位置下拍摄的目标场景中的多张图像像素的加权平均值，/>
可选地，所述方法还包括：显示所述融合的三维图像。
本申请实施例提供的一种PTZ运动图像的球面拼接与实时对准方法，通过获取目标场景中全景背景的三维图像以及全景特征点集；获取PTZ相机拍摄的目标场景中的目标图像；根据所述目标图像，从所述全景特征点集中确定与所述目标图像相对应的全景图局部区域特征点集；获取所述目标图像的目标图像特征点集；根据所述全景图局部区域特征点集和所述目标图像特征点集，扭曲调整目标图像特征点集中的特征点，使得目标图像特征点集中的特征点的位置与匹配的所述全景图局部区域特征点集中的特征点的位置之间的差异小于预设差异，获得调整后的目标图像；根据实时纹理投影原理，将所述调整后的目标图像投影至所述全景背景的三维图像中，获得融合的三维图像。因此，上述方法可以实现PTZ相机拍摄的目标场景中的目标图像与所获取的目标场景中全景背景的三维图像的精确匹配，解决了现有技术中所产生的实时对准的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的PTZ运动图像的球面拼接与实时对准方法的流程示意图；
图2为本申请另一实施例提供的PTZ运动图像的球面拼接与实时对准方法的流程示意图；
图3为本申请一实施例提供的全景背景的三维图像立体示意图；
图4为本申请一实施例提供的目标图像特征点扭曲调整匹配示意图；
图5为本申请一实施例提供的融合后的三维图像的立体示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
PTZ运动图像的球面拼接与实时对准方法主要涉及两个方面。一方面是三维场景下的PTZ相机注册。其中，PTZ相机注册是指在三维场景中确定出PTZ相机的正确位姿，例如PTZ相机在三维场景中的位置、朝向以及焦距等。现有技术中的PTZ相机在三维场景下的注册方法是基于模型定位的方法，该注册方法通过找到模型上关键点与待标定图像特征点的对应关系，进一步估计模型与图像的变换关系。例如在运动场场景(例球类赛场)下，针对运动场模型，使用随机决策树的方法训练图像中运动场标志物(例如足球场中的守门界限，罚球点等)的特征点与运动场的三维模型的关键点的空间对应关系，对待标定图像中运动场标志物特征点与运动场的三维模型的关键点进行匹配，进一步的实现待标定图像与运动场的三维模型之间的配准。但是，上述方法主要适用于标志物明确的场景，对于标志物不明确的场景，例如室内场景，场景内没有明显的标志物，可能会使得特征点匹配出现混乱，导致待标定图像与三维模型之间无法实现精确配准，进一步的使得PTZ相机在运动过程中产生实时对准的问题。
基于上述技术问题，本申请提供了一种PTZ运动图像的球面拼接与实时对准方法。该方法主要通过对PTZ相机实时拍摄的图像中的特征点调整，使得PTZ相机实时拍摄的图像中的特征点与对应的目标场景中的背景的三维图像特征点进行匹配，在PTZ相机运动过程中(例如旋转时)通过运动相机模型求解PTZ相机的位姿，然后将调整后的PTZ相机实时拍摄的图像投影到对应的目标场景中的背景的三维图像中，实现运动过程中PTZ相机实时拍摄的图像和背景的三维图像融合。该方法中，对PTZ相机实时拍摄的图像中的背景的特征点与目标场景中的背景的特征点进行匹配，PTZ相机实时拍摄的图像中的目标物的特征点则被作为错误点剔除，使得拍摄获取的图像与三维图像之间可以实现精确配准，解决了PTZ相机在运动过程中产生实时对准的问题。
下面结合几个具体的实施例，对本申请的技术方案进行描述。
图1为本申请一实施例提供的PTZ运动图像的球面拼接与实时对准方法的流程示意图，如图1所示，本申请实施例的方法可以包括：
S201、获取目标场景中全景背景的三维图像。
获取目标场景中全景背景的三维图像，该三维图像中包含有目标场景例如会议室中的所有背景的图像。其中，背景的图像可以为会议室中静止不动的物体所组成的图像，即背景的图像中不包含运动物体例如用户的图像。
S202、获取目标场景中全景背景的三维图像的全景特征点集。
根据特征点检测算法，从S201中所获取的目标场景中全景背景的三维图像中提取该全景背景的三维图像的全景特征点集，该特征点集称为全景特征点集。其中，特征点检测算法属于现有技术，此处不再赘述。
S203、获取PTZ相机拍摄的目标场景中的目标图像。
将PTZ相机放置在目标场景中，该PTZ相机可实时拍摄获取该目标场景中的视频图像，从所拍摄的视频图像中获取目标场景中的一帧图像作为目标图像。
S204、根据目标图像，从全景特征点集中确定与目标图像相对应的全景图局部区域特征点集。
根据S203中PTZ相机拍摄的目标图像，找到目标图像在上述全景背景的三维图像中对应的区域。然后从上述S202中所获取的全景背景的三维图像的全景特征点集中确定目标图像在全景背景的三维图像中对应的区域的特征点集，该特征点集称为全景图局部区域特征点集。PTZ相机实时拍摄的视频图像中的每一帧图像的处理方法与上述目标图像的处理方法类似，此处不再赘述。
S205、获取目标图像的目标图像特征点集。
根据特征点检测算法，从S203中PTZ相机拍摄的目标场景中的目标图像中提取图像的特征点集，该特征点集称为目标图像特征点集。其中，所说特征点检测算法属于现有技术，此处不再赘述。
可选地，S204与S205的执行顺序不分先后，可以先执行S204再执行S205，也可以先执行S205再执行S204。
S206、根据全景图局部区域特征点集和目标图像特征点集，扭曲调整目标图像特征点集中的特征点，使得目标图像特征点集中的特征点的位置与匹配的全景图局部区域特征点集中的特征点的位置之间的差异小于预设差异，获得调整后的目标图像。
根据S204中所获取的全景图局部区域特征点集与S205中所获取的目标图像特征点集，对全景图局部区域特征点集与目标图像特征点集中的特征点采用随机抽样一致(Random Sample Consensus，RANSAC)算法，对目标图像的目标图像特征点集中的特征点与其在全景背景的三维图像中对应的全景图局部区域特征点集中的特征点进行匹配，实现目标图像与全景背景的三维图像的初始匹配。然后根据目标图像与全景背景的三维图像的特征点匹配关系得到最佳匹配点对(例如匹配点之间的距离最短)。若匹配点对中目标图像特征点集中的特征点的位置与匹配的全景图局部区域特征点集中的特征点的位置之间的差异小于预设差异，则无需对目标图像的目标图像特征点集中的特征点进行调整，此时，目标图像即为PTZ相机所拍摄的视频中的任意一帧图像。若匹配点对中目标图像特征点集中的特征点的位置与匹配的全景图局部区域特征点集中的特征点的位置之间的差异大于等于预设差异，则需对目标图像的目标图像特征点集中的特征点进行扭曲变形调整，使得目标图像特征点集中的特征点的位置与匹配的全景图局部区域特征点集中的特征点的位置之间的差异小于预设差异，获得调整后的目标图像。
S207、根据实时纹理投影原理，将调整后的目标图像投影至全景背景的三维图像中，获得融合的三维图像。
根据实时纹理投影原理，将S206中所获得的调整后的目标图像投影至S201中所获得的目标场景中全景背景的三维图像中，获得融合的三维图像，以实现PTZ相机实时拍摄的图像与三维图像的精确配准，实现虚实融合场景下的图像显示，提升用户的视觉体验。
本申请实施例提供的PTZ运动图像的球面拼接与实时对准方法，通过获取目标场景中全景背景的三维图像以及全景特征点集；获取PTZ相机拍摄的目标场景中的目标图像；根据目标图像，从全景特征点集中确定与目标图像相对应的全景图局部区域特征点集；获取目标图像的目标图像特征点集；根据全景图局部区域特征点集和目标图像特征点集，扭曲调整目标图像特征点集中的特征点，使得目标图像特征点集中的特征点的位置与匹配的全景图局部区域特征点集中的特征点的位置之间的差异小于预设差异，获得调整后的目标图像；根据实时纹理投影原理，将调整后的目标图像投影至全景背景的三维图像中，获得融合的三维图像。因此，上述方法可以实现PTZ相机拍摄的目标场景中的目标图像与所获取的目标场景中全景背景的三维图像的精确匹配，解决了现有技术中所产生的实时对准的问题。
在一些实施例中，图2为本申请另一实施例提供的PTZ运动图像的球面拼接与实时对准方法的流程示意图，如图2所示，在图1所示实施例的基础上，本申请实施例的方法可以包括：
S301、获取目标场景中全景背景的图像。
PTZ相机拍摄目标场景中的多张图像，然后对目标场景中的多张图像进行相应的处理，获取目标场景中多张背景的图像。然后对目标场景中的多张背景的图像进行球面全景转换、拼缝估计和多频带融合，实现目标场景中的多张背景的图像全景拼接，并以交互方式修复全景拼接结果，以获取目标场景中全景背景的图像。其中，对目标场景中的多张背景的图像进行球面全景转换、拼缝估计和多频带融合，实现目标场景中的多张背景的图像全景拼接，并以交互方式修复全景拼接结果的技术属于现有技术，此处不再赘述。
可选地，S301的一种可能的实现方式为：
S301a、获取目标场景中的多张背景的图像。
PTZ相机拍摄目标场景中的多张图像，然后对目标场景中的多张图像进行相应的处理，获取目标场景中多张图像的背景的图像。对目标场景中的多张图像进行相应的处理参见如下实施例中的相关描述
可选地，S301a的一种可能的实现方式为：
S301a1、获取PTZ相机在不同位置下拍摄的目标场景中的多张图像。
目标场景中的多张图像是通过PTZ相机在不同焦距等级、不同位置下拍摄获取的多张图像。
PTZ相机在多个焦距等级中的同一个焦距等级下，以水平方向旋转360度，垂直方向旋转90度进行全球面遍历拍摄获取目标场景中的多张图像。本实施例中以PTZ相机的两个不同的焦距等级，以及每个焦距等级下，PTZ相机处于三个不同的位置为例进行说明。PTZ相机在第一焦距等级下，在第一个位置处拍摄获取目标场中的多张图像；第二个位置处拍摄获取目标场中的多张图像；第三个位置处拍摄获取目标场中的多张图像。PTZ相机在第二焦距等级下，在第一个位置处拍摄获取目标场中的多张图像；第二个位置处拍摄获取目标场中的多张图像；第三个位置处拍摄获取目标场中的多张图像。需要说明的是，上述目标场景例如会议室中的多张图像中既包括有运动物体例如人，又包括有静止物体例如会议室中的桌子椅子等。
按照上述方法便可获取PTZ相机在不同焦距等级下对应的不同位置处的每个位置下拍摄的目标场景中的多张图像。
S301a2、针对一个位置，根据位置下拍摄的多张图像和损失函数，计算损失值。
例如，对上述S301a1中的第一焦距等级下的，第一个位置处拍摄获取的目标场中的多张图像，采用损失函数计算多张图像的损失值。类似的，利用损失函数计算不同焦距等级下的不同位置处的多张图像的损失值。
S301a3、判断损失值是否小于预设阈值；若损失值大于等于预设阈值，则将损失值作为迭代误差，返回执行S301a2；若损失值小于预设阈值，则执行S301a4。
S301a4、将损失值对应得到的背景的图像确定为位置的背景的图像。
具体的，针对同一焦距等级下的一个位置，对该位置下拍摄的多张图像采用损失函数计算损失值。
损失函数为：
公式一中，IK表示所述位置下拍摄的目标场景中的多张图像中的第K张图像；I表示所述位置下的背景的图像；∞表示逐元素的乘积；WK表示所述位置下的第K张图像与所述背景的图像的像素差值的权重的二维矩阵，该矩阵中的每个元素为 表示同一位置下第K张图像在第i行第j列的像素值，ε表示迭代误差，/>表示所述位置下的第K张图像与所述背景的图像在第i行第j列的像素差值的权重值；所述位置下的背景的图像I的第i行第j列的像素初始值Iij为该位置下拍摄的目标场景中的多张图像像素的加权平均值，/>
损失值的具体计算过程如下：
1)计算该位置下的背景的图像I的第i行第j列的像素初始值Iij，Iij为该位置下拍摄的目标场景中的多张图像像素的加权平均值，计算如公式二。
公式二中，表示同一位置下所获取的多张图像中的第K张图像在第i行第j列的像素值；/> 表示所述位置下的多张图像中的第K张图像与所述背景的图像在第i行第j列的像素差值的权重值，在求取该位置下的背景的图像I的第i行第j列的像素初始值Iij时，取迭代误差ε＝0；p＝0.5。
2)将初始值Iij代入公式一中，求取损失函数的损失值。
3)若所计算的损失值ε大于预设阈值，则将损失值作为迭代误差，将该迭代误差ε代入中，重新求取该位置下新的/>然后将重新求取的该位置下新的/>代入公式二中，求取该位置下的背景的图像I的第i行第j列的像素值Iij。最后再执行上述步骤2)求取损失函数的损失值，直至损失函数的损失值小于预设阈值为止。当损失函数的损失值小于预设阈值时，将所述损失值对应得到的背景的图像确定为该位置下的背景的图像。
4)重复执行上述步骤1)-3)，获取同一焦距等级下的不同位置下的背景的图像。所获取的同一焦距等级下的不同位置下的背景的图像例如为上述第一焦距等级下的第一位置下的背景的图像，第一焦距等级下的第二位置下的背景的图像，第一焦距等级下的第三位置下的背景的图像，此时，第一焦距等级下对应有不同位置下的三张背景的图像。
类似的，根据上述步骤获取第二焦距等级下的三张背景的图像。
S301b、对多张背景的图像进行全景拼接，获得全景背景的图像。
对S301a中所获取的不同焦距下的多个位置的多张背景的图像进行相应的处理，获取全景背景的图像。对目标场景中的多张图像进行相应的处理参见如下实施例中的相关描述。
可选地，S301b的一种可能的实现方式为：
S301b1、根据同一焦距等级下的多张背景的图像，获得焦距等级下的多张背景的图像间的单应矩阵和旋转矩阵。
根据同一焦距等级下的多张背景的图像中的每相邻两张背景的图像，获得该焦距等级下的每相邻两张背景的图像间的单应矩阵和旋转矩阵。然后对所获取的每相邻两张背景的图像间的单应矩阵和旋转矩阵进行约束处理，以获取该焦距等级下的多张背景的图像间的单应矩阵和旋转矩阵。其中，对上述每相邻两张背景的图像间的单应矩阵和旋转矩阵的约束处理属于现有技术，此处不再赘述。
例如，根据第一焦距等级下的第一位置下的背景的图像与第二位置下的背景的图像，获得第一焦距等级下的相邻两张背景的图像间的单应矩阵例如第一单应矩阵和第一旋转矩阵。根据第一焦距等级下的第二位置下的背景的图像与第三位置下的背景的图像，获得第一焦距等级下的相邻两张背景的图像间的单应矩阵例如第二单应矩阵和第二旋转矩阵。然后对上述第一单应矩阵和第二单应矩阵进行约束处理以及第一旋转矩阵和第二旋转矩阵进行约束处理，获取该第一焦距等级下的三张背景的图像间的单应矩阵和旋转矩阵。
类似的，根据上述方法获取第二焦距等级下的三张背景的图像间的单应矩阵和旋转矩阵。
S301b2、根据单应矩阵和旋转矩阵，获取焦距等级下的PTZ相机的内参矩阵，内参矩阵包括焦距等级对应的焦距以及焦距等级下的背景的图像的主点坐标。
例如，根据上述S301b1中所获取的第一焦距等级下的三张背景的图像间的单应矩阵和旋转矩阵，获取第一焦距等级下的PTZ相机的内参矩阵，该内参矩阵包括第一焦距等级对应的焦距以及第一焦距等级下的背景的图像的主点坐标。
类似的，根据上述S301b1中所获取的第二焦距等级下的三张背景的图像间的单应矩阵和旋转矩阵，获取第二焦距等级下的PTZ相机的内参矩阵，该内参矩阵包括第二焦距等级对应的焦距以及第二焦距等级下的背景的图像的主点坐标。
S301b3、根据相邻两焦距等级下的PTZ相机的内参矩阵，通过公式三修正相邻两焦距等级中后一焦距等级下的背景的图像的主点坐标。
例如，根据S301b2中所获取的第一焦距等级与第二焦距等级对应的焦距以及相应焦距等级下的背景的图像的主点坐标，采用公式三对第二焦距等级下的背景的图像的主点坐标进行修正。
公式三中，表示焦距等级为Zi时，所述背景的图像的任一特征点的像素坐标值；/>表示焦距等级为Zi-1时，所述背景的图像的任一特征点的像素坐标值，且和/>是在焦距等级为Zi和焦距等级为Zi-1时所获取的相邻两张背景图像中相匹配的特征点；f(Zi)表示焦距等级为Zi时的所述PTZ相机的焦距值；f(Zi-1)表示焦距等级为Zi-1时的所述PTZ相机的焦距值；(px,py)表示修正后的相邻两焦距等级中后一焦距等级下的背景的图像的主点坐标。
S301b4、根据修正后的不同焦距等级下的背景的图像的主点坐标，获得目标主点坐标。
根据上述修正后的不同焦距等级下的背景的图像的尺寸，对修正后的不同焦距等级下的背景的图像的主点坐标求取平均值，获取背景的图像的目标主点坐标。
例如，对第一焦距等级下的背景的图像的尺寸以及修正后的第二焦距等级下的背景的图像的主点坐标求取平均值，获取背景的图像的目标主点坐标。
S301b5、根据不同焦距等级分别对应的内参矩阵，对多张背景的图像进行全景拼接，获得全景背景的图像。
根据S301b2中所获取的不同焦距等级内参矩阵，对不同焦距等级下的多张背景的图像进行全景拼接，获得全景背景的图像。
S302、根据全景背景的图像，进行三维建模，获得全景背景的三维图像。
根据S301中所获取的目标场景中的全景背景的图像，对该全景背景的图像进行三维建模，获取全景背景的三维图像，其中，对该全景背景的图像进行三维建模处理属于现有技术，此处不再赘述。例如图3所示，图3为本申请一实施例提供的全景背景的三维图像立体示意图。
S303、获取目标场景中全景背景的三维图像的全景特征点集。
根据特征点检测算法，从S301a中所获取的目标场景中的多张背景的图像中提取多张背景的图像的特征点集。然后对所提取的多张背景的图像的每个特征点进行球面全景转换，获取目标场景中全景背景的图像的特征点集。然后将目标场景中全景背景的图像的特征点集进行三维化转换，获取目标场景中全景背景的三维图像的全景特征点集。其中，所说特征点检测算法属于现有技术，此处不再赘述。
S304、获取PTZ相机拍摄的目标场景中的目标图像。
S304的具体实现过程可以参见图1所示实施例中的相关描述，此处不再赘述。
S305、根据PTZ相机拍摄的目标图像相对于拍摄初始图像的旋转角度以及PTZ相机拍摄目标图像的焦距，确定目标图像映射到全景背景的图像中的位置。
根据PTZ相机拍摄的目标图像相对于拍摄初始图像的位姿例如水平旋转角度、垂直旋转角度以及当前的焦距值，找到PTZ相机拍摄的目标图像映射在S301中所获取的全景背景的图像中对应的位置。
S306、从全景背景的三维图像的全景特征点集中确定位置对应的全景图局部区域特征点集。
根据S305中所确定的目标图像映射到全景背景的图像中的位置，从S303中所获取的该全景背景的图像的全景特征点集中确定目标图像在该全景背景的图像中对应的位置处的全景图局部区域特征点集。
S307、获取目标图像的目标图像特征点集。
S307的具体实现过程可以参见图1所示实施例中的相关描述，此处不再赘述。
可选地，S306与S307的执行顺序不分先后，可以先执行S306再执行S307，也可以先执行S307再执行S306。
S308、根据全景图局部区域特征点集和目标图像特征点集，调整目标图像特征点集中的特征点，使得目标图像特征点集中的特征点的位置与匹配的全景图局部区域特征点集中的特征点的位置之间的差异小于预设差异，获得调整后的目标图像。
该步骤中的特征点匹配调整主要分为两个阶段，一个是运动过程，一个是静止过程。运动过程的时PTZ相机所拍摄的视频图像也在不断发生变化，此时，特征点匹配花费的时间太多，满足不了实时性要求，因此通过PTZ相机运动模型，获取PTZ相机在不同时间下所处的位姿，然后直接将视频图像投影到三维场景中，因为图像内容是运动的，即使有小幅度的纹理错误也不影响用户体验。在静止过程则是使用特征点匹配校准算法。
运动过程中，以旋转为例，PTZ相机例如PTZ相机旋转过程中朝向是不断发生变化的，即PTZ相机位姿在不断发生变化，因此需要实时获取PTZ相机位姿。即采用运动相机模型算法获取PTZ相机位姿。该算法通过采集PTZ相机在旋转过程中的旋转角度随时间的变化数据，并通过函数拟合成旋转角度与旋转时间的函数图像，在PTZ相机发生旋转的时候，则可以根据如下公式四计算出旋转角度，更新PTZ相机位姿。并将该图像投影到全景背景的图像的三维场景中，实现运动变化过程中PTZ相机拍摄的视频的每一帧图像和全景背景的图像的纹理对齐。
PTZ相机的旋转角度随时间的变化关系如以下公式四：
公式四中，t表示PTZ相机开始旋转后转动的时间，θ表示PTZ相机的旋转角度，a，b，A，B表示常量。
例如，如图4所示，图4为本申请一实施例提供的目标图像特征点扭曲调整匹配示意图。以PTZ相机旋转过程为例进行说明。当PTZ相机旋转时，PTZ相机实时纹理的内容发生了变化，假设在旋转之前实时纹理展示的内容是场景中A位置(初始位置)的初始图像，经过一定角度的旋转，实时纹理展示的初始图像变为C位置的实时图像例如目标图像。当PTZ相机开始转动时，根据转动时间可以计算出从A位置到C位置的PTZ相机的位姿，并不断更新PTZ相机的位姿。当PTZ相机的位姿发生变化时，实时纹理会重新映射到全景背景的图像中。在旋转停止后，即PTZ相机处在C位置时，PTZ相机处在静止状态，然后对将C位置处的目标图像的特征点与全景背景的图像的C位置区域的区域特征点进行特征匹配和局部扭曲，实现在静止状态下实时纹理与全景纹理更加精准的配准。
S309、根据实时纹理投影原理，将调整后的目标图像投影至全景背景的三维图像中，获得融合的三维图像。
S308-S309的具体实现过程可以参见图1所示实施例中的相关描述，此处不再赘述。
S310、显示融合的三维图像。
将融合的三维图像显示在三维背景的图像中，这样用户可以在任一视角下进行观看PTZ相机拍摄的图像或者视频内容。例如图5所示，图5为本申请一实施例提供的融合后的三维图像的立体示意图。
本实施例中，通过获取PTZ相机在不同位置下拍摄的目标场景中的多张图像；根据位置下拍摄的多张图像和损失函数，计算损失值；当损失值小于预设阈值时，将损失值对应得到的背景的图像确定为位置的背景的图像，使得获取的多张背景的图像更精确。然后根据同一焦距等级下的多张背景的图像，获得焦距等级下的多张背景的图像间的单应矩阵和旋转矩阵；根据单应矩阵和旋转矩阵，获取焦距等级下的PTZ相机的内参矩阵，内参矩阵包括焦距等级对应的焦距以及焦距等级下的背景的图像的主点坐标；根据相邻两焦距等级下的PTZ相机的内参矩阵，修正相邻两焦距等级中后一焦距等级下的背景的图像的主点坐标；根据不同焦距等级下的背景的图像的主点坐标，获得目标主点坐标；根据不同焦距等级分别对应的焦距；根据不同焦距等级分别对应的焦距以及目标主点坐标，对多张背景的图像进行全景拼接，获得全景背景的图像，然后对该全景背景的图像进行三维建模处理，获取目标场景中全景背景的三维图像；然后获取目标场景中全景背景的三维图像的全景特征点集；获取PTZ相机拍摄的目标场景中的目标图像；根据目标图像，从全景特征点集中确定与目标图像相对应的全景图局部区域特征点集；获取目标图像的目标图像特征点集；根据全景图局部区域特征点集和目标图像特征点集，调整目标图像特征点集中的特征点，使得目标图像特征点集中的特征点的位置与匹配的全景图局部区域特征点集中的特征点的位置之间的差异小于预设差异，获得调整后的目标图像；根据实时纹理投影原理，将调整后的目标图像投影至全景背景的三维图像中，获得融合的三维图像。因此，上述方法可以实现PTZ相机拍摄的目标场景中的目标图像与所获取的目标场景中全景背景的三维图像的精确匹配，解决了现有技术中所产生的实时对准的问题。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：只读内存(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (7)

1.一种PTZ运动图像的球面拼接与实时对准方法，其特征在于，所述方法包括：
获取目标场景中全景背景的三维图像以及全景特征点集；
获取全方位移动及镜头变倍、变焦控制PTZ相机拍摄的目标场景中的目标图像；
根据所述目标图像，从所述全景特征点集中确定与所述目标图像相对应的全景图局部区域特征点集；
获取所述目标图像的目标图像特征点集；
根据所述全景图局部区域特征点集和所述目标图像特征点集，扭曲调整目标图像特征点集中的特征点，使得目标图像特征点集中的特征点的位置与匹配的所述全景图局部区域特征点集中的特征点的位置之间的差异小于预设差异，获得调整后的目标图像；
根据实时纹理投影原理，将所述调整后的目标图像投影至所述全景背景的三维图像中，获得融合的三维图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述目标图像，从所述全景特征点集中确定与所述图像相对应的全景图局部区域特征点集，包括：
根据所述PTZ相机拍摄所述目标图像相对于拍摄初始图像的旋转角度以及所述PTZ相机拍摄所述目标图像的焦距，确定所述目标图像映射到所述全景背景的图像中的位置；
从所述全景背景的三维图像的全景特征点集中确定所述位置对应的全景图局部区域特征点集。
3.根据权利要求1所述的方法，其特征在于，所述获取目标场景中全景背景的三维图像，包括：
获取所述目标场景中全景背景的图像；
根据所述全景背景的图像，进行三维建模，获得所述全景背景的三维图像。
4.根据权利要求3所述的方法，其特征在于，所述获取所述目标场景中全景背景的图像，包括：
获取目标场景中的多张背景的图像；
对所述多张背景的图像进行全景拼接，获得全景背景的图像。
5.根据权利要求4所述的方法，其特征在于，所述多张背景的图像是根据PTZ相机在不同焦距等级下拍摄的图像得到的，所述对所述多张背景的图像进行全景拼接，获得全景背景的图像，包括：
根据同一焦距等级下的多张背景的图像，获得所述焦距等级下的多张背景的图像间的单应矩阵和旋转矩阵；根据所述单应矩阵和所述旋转矩阵，获取所述焦距等级下的所述PTZ相机的内参矩阵，所述内参矩阵包括所述焦距等级对应的焦距以及所述焦距等级下的背景的图像的主点坐标；
根据相邻两焦距等级下的所述PTZ相机的内参矩阵，通过如下公式修正所述相邻两焦距等级中后一焦距等级下的背景的图像的主点坐标；
式中，表示焦距等级为Zi时，所述背景的图像的任一特征点的像素坐标值；表示焦距等级为Zi-1时，所述背景的图像的任一特征点的像素坐标值；f(Zi)表示焦距等级为Zi时的所述PTZ相机的焦距值；f(Zi-1)表示焦距等级为Zi-1时的所述PTZ相机的焦距值；(px,py)表示修正后的相邻两焦距等级中后一焦距等级下的背景的图像的主点坐标；
根据修正后的所述不同焦距等级下的背景的图像的主点坐标，获得目标主点坐标；
根据所述不同焦距等级分别对应的焦距以及所述目标主点坐标，对所述不同焦距等级下获得的多张背景的图像进行全景拼接，获得全景背景的图像。
6.根据权利要求4所述的方法，其特征在于，所述获取目标场景中的多张背景的图像，包括：
获取PTZ相机在不同位置下拍摄的目标场景中的多张图像；
针对一个位置，根据所述位置下拍摄的多张图像和损失函数，计算损失值；
若损失值大于预设阈值，则将损失值作为迭代误差，根据所述位置下拍摄的多张图像和损失函数，重新计算损失值；
若损失值小于预设阈值，则将所述损失值对应得到的背景的图像确定为所述位置的背景的图像；
所述损失函数为：
其中，IK表示所述位置下拍摄的目标场景中的多张图像中的第K张图像；I表示所述位置下的背景的图像；∞表示逐元素的乘积；WK表示所述位置下的第K张图像与所述背景的图像的像素差值的权重的二维矩阵，该矩阵中的每个元素为 表示同一位置下第K张图像在第i行第j列的像素值，ε表示迭代误差，/>表示所述位置下的第K张图像与所述背景的图像在第i行第j列的像素差值的权重值；所述位置下的背景的图像I的第i行第j列的像素Iij初始值为该位置下拍摄的目标场景中的多张图像像素的加权平均值，/>
7.根据权利要求1-6任一项所述的方法，其特征在于，还包括：
显示所述融合的三维图像。
CN202010411353.6A 2020-05-15 2020-05-15 Ptz运动图像的球面拼接与实时对准方法 Active CN113674145B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010411353.6A CN113674145B (zh) 2020-05-15 2020-05-15 Ptz运动图像的球面拼接与实时对准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010411353.6A CN113674145B (zh) 2020-05-15 2020-05-15 Ptz运动图像的球面拼接与实时对准方法

Publications (2)

Publication Number Publication Date
CN113674145A CN113674145A (zh) 2021-11-19
CN113674145B true CN113674145B (zh) 2023-08-18

Family

ID=78537506

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010411353.6A Active CN113674145B (zh) 2020-05-15 2020-05-15 Ptz运动图像的球面拼接与实时对准方法

Country Status (1)

Country Link
CN (1) CN113674145B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197455A (zh) * 2019-06-03 2019-09-03 北京石油化工学院 二维全景图像的获取方法、装置、设备和存储介质
CN110782394A (zh) * 2019-10-21 2020-02-11 中国人民解放军63861部队 全景视频快速拼接方法及***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080198159A1 (en) * 2007-02-16 2008-08-21 Matsushita Electric Industrial Co., Ltd. Method and apparatus for efficient and flexible surveillance visualization with context sensitive privacy preserving and power lens data mining

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110197455A (zh) * 2019-06-03 2019-09-03 北京石油化工学院 二维全景图像的获取方法、装置、设备和存储介质
CN110782394A (zh) * 2019-10-21 2020-02-11 中国人民解放军63861部队 全景视频快速拼接方法及***

Also Published As

Publication number Publication date
CN113674145A (zh) 2021-11-19

Similar Documents

Publication Publication Date Title
CN108564617B (zh) 多目相机的三维重建方法、装置、vr相机和全景相机
US8599317B2 (en) Scene recognition methods for virtual insertions
US20030012410A1 (en) Tracking and pose estimation for augmented reality using real features
CN112085659B (zh) 一种基于球幕相机的全景拼接融合方法、***及存储介质
CN108776976B (zh) 一种同时定位与建图的方法、***及存储介质
CN110827321B (zh) 一种基于三维信息的多相机协同的主动目标跟踪方法
CN108519102A (zh) 一种基于二次投影的双目视觉里程计算方法
CN111242988A (zh) 一种广角相机与长焦相机联动双云台跟踪目标的方法
CN109120901B (zh) 一种摄像机间画面切换的方法
Shum et al. Tracking the translational and rotational movement of the ball using high-speed camera movies
CN116309686A (zh) 游泳运动员视频定位测速方法、装置、设备及存储介质
JP2003179800A (ja) 多視点画像生成装置、画像処理装置、および方法、並びにコンピュータ・プログラム
CN114882106A (zh) 位姿确定方法和装置、设备、介质
CN114037923A (zh) 一种目标活动热点图绘制方法、***、设备及存储介质
CN112465702B (zh) 一种多路超高清视频同步自适应拼接显示处理方法
CN110910489B (zh) 一种基于单目视觉的智能球场运动信息采集***与方法
CN113763544A (zh) 图像确定方法、装置、电子设备和计算机可读存储介质
CN112184807A (zh) 一种高尔夫球落地式检测方法、***及存储介质
CN113674145B (zh) Ptz运动图像的球面拼接与实时对准方法
KR101132976B1 (ko) 복수 개의 카메라를 구비한 모바일 기기, 이를 이용한 디스플레이 표시방법
Garau et al. Unsupervised continuous camera network pose estimation through human mesh recovery
WO2021056552A1 (zh) 视频的处理方法和装置
CN111784749A (zh) 一种基于双目视觉的空间定位与运动分析***
TWI775637B (zh) 高爾夫揮桿解析系統、高爾夫揮桿解析方法及資訊記憶媒體
TWI775636B (zh) 高爾夫揮桿解析系統、高爾夫揮桿解析方法及資訊記憶媒體

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant