CN109672826A - 用于拍摄全景视频的装置和方法 - Google Patents

用于拍摄全景视频的装置和方法 Download PDF

Info

Publication number
CN109672826A
CN109672826A CN201910143173.1A CN201910143173A CN109672826A CN 109672826 A CN109672826 A CN 109672826A CN 201910143173 A CN201910143173 A CN 201910143173A CN 109672826 A CN109672826 A CN 109672826A
Authority
CN
China
Prior art keywords
video
camera
matrix
marker
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910143173.1A
Other languages
English (en)
Inventor
陶权义
刘帛涛
黄珂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Second Memory Technology Co Ltd
Original Assignee
Chengdu Second Memory Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Second Memory Technology Co Ltd filed Critical Chengdu Second Memory Technology Co Ltd
Priority to CN201910143173.1A priority Critical patent/CN109672826A/zh
Publication of CN109672826A publication Critical patent/CN109672826A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本公开提供一种用于拍摄全景视频的装置和方法，所述装置包括：由M*N个摄像机以平面矩阵的方式固定排列成的多摄像机矩阵，所述多摄像机矩阵中的每个摄像机所覆盖的拍摄范围大小可配置；由K个标示物固定排列而成的标志物组，所述标志物组中的任意标志物均固定在所述多摄像机矩阵中与所述标志物相对应地相邻两个摄像机所覆盖的拍摄范围的重叠区域之内；其中，M、N与K均为大于1的整数，m为大于1且小于M的整数，n为大于1且小于N的整数。

Description

用于拍摄全景视频的装置和方法
技术领域
本公开涉及一种用于拍摄全景视频的装置和方法。
背景技术
目前，时常需要获取宽视角、运动场景的全景视频，但是由于摄像设备中的限制，单个固定摄像设备一般只能得到运动场景的局部视频。一些硬件设备，如鱼眼摄像机和广角镜头虽然可以得到全景视频，但成本较高，不适合广泛使用。同时拍摄需要人为进行调节镜头以得到符合拍摄物体的最优画面，从而使得拍摄的人工成本增高。
发明内容
技术问题
目前，在大场景跟拍应用中，跟拍的产量和性价比一直是一个痛点，具体为：跟拍需要拉近且跟随主体移动摄像机，所以在同时有多个运动目标时，人手动跟拍会造成其他运动目标无法顾及。因此需要增加大量人手来同时跟拍，造成昂贵的拍摄代价。
根据现有技术，目前在大场景跟拍应用中存在的单个摄像机覆盖率低、多个摄像机利用率低的技术问题。
鉴于以上，本公开通过构建能覆盖拍摄场地全景的摄像机阵列，保证整个阵列能覆盖拍摄场地全景，通过多个摄像机同时对拍摄场地进行拍摄，并利用标志物来确定每个摄像机所拍摄的场景范围，从而解决了如何使用多个摄像机来拍摄全景视频的技术问题。
技术方案
根据本公开的至少一个实施例提供了一种用于拍摄全景视频的装置，该装置包括：由M*N个摄像机以平面矩阵的方式固定排列成的多摄像机矩阵，该多摄像机矩阵中的每个摄像机所覆盖的拍摄范围大小可配置；由K个标示物固定排列而成的标志物组，该标志物组中的任意标志物均固定在该多摄像机矩阵中与该标志物相对应地相邻两个摄像机所覆盖的拍摄范围的重叠区域之内；其中，M、N与K均为大于1的整数，m为大于1且小于M的整数，n为大于1且小于N的整数。
例如，在至少一个实施例中，该标志物组中的每个标志物具有能够与所拍摄的全景视频的背景相区别的特征点集合，其中，该特征点集合包括以下特征点中的一个或多个：能够与所拍摄的全景视频的背景相区别的颜色；能够与所拍摄的全景视频的背景相区别的形状；能够与所拍摄的全景视屏的背景相区别的纹理。
根据本公开的至少一个实施例提供了一种拍摄全景视频的方法，该方法由用于拍摄全景视频的装置执行，该装置包括由M*N个摄像机以平面矩阵的方式固定排列成的多摄像机矩阵和由K个标示物固定排列成的标志物组，该方法包括：步骤一：该多摄像机矩阵中的每个摄像机分别拍摄视频，以获取M*N个视频；步骤二：基于在该M*N个视频中的该K个标志物中每个标志物的特征点，将该M*N个视频拼合成一个完整视频；步骤三：在该完整视频上对该一个或多个跟踪对象进行跨视频跟踪处理。
例如，在至少一个实施例中，其中步骤二包括：第一拼接子步骤：在该M*N个视频的相同时刻的画面中分别提取该标志物组中的每个标志物的特征点集合；第二拼接子步骤：基于M*N个特征点集合，获取用于拼接的拼接矩阵；第三拼接子步骤：基于该拼接矩阵拼接该多摄像机阵列拍摄的视频中的每一帧的画面。
例如，在至少一个实施例中，第二拼接子步骤还包括：获取任意一个摄像机Cameram*n所拍摄的、在第i时刻的画面P中的标志物X的特征点集合Featurex，其中，m为大于等于0且小于等于M的整数，n为大于等于0且小于等于N的整数，i为视频拍摄时段中任意时刻；获取与摄像机Cameram*n相邻的摄像机Cameram*n’所拍摄的、在第i时刻的画面P’中的标志物X的特征点集合Featurex’，其中，标志物X为该标志物组中位于摄像机Cameram*n与摄像机Cameram*n’的所重叠的拍摄区域中的标志物；将Featurex与Featurex’相匹配，以通过最小二乘法计算对应于拼接后的图像的单应性矩阵；基于该单应性矩阵，分别对画面P和画面P’进行参数估计，以分别获取摄像机Cameram*n和Cameram*n’的摄像机的焦距F和F’、光学中心、旋转参数和尺度参数；基于焦距F和F’，获取内参数矩阵；基于内参数矩阵，获取由旋转矩阵和平移向量共同构成的外参数矩阵，其中该旋转矩阵是基于内参数矩阵确定的、用于校正摄像机Cameram*n和Cameram*n’在三维空间中的位置和朝向的矩阵，该平移向量是用于校正摄像机Cameram*n和Cameram*n’之间的平移距离和方向的向量；该内参数矩阵和外参数矩阵共同构成了用于拼接的拼接矩阵。
例如，在至少一个实施例中，其中，该基于该单应性矩阵分别对画面P和画面P’进行参数估计还包括：利用密集网格划分画面P和画面P’；以网格中心到特征点的距离为权重，为每个网格计算与之对应的子单应矩阵以获得子单应性矩阵集合；基于该子单应性矩阵集合中的每个单应性矩阵估计该摄像机Cameram*n和Cameram*n’的焦距集合{f}和{f’}，分别对焦距集合{f}和{f’}求均值以获取焦距F和F’。
例如，在至少一个实施例中，其中，该第三拼接子步骤还包括：基于拼接矩阵，将该摄像机Cameram*n和Cameram*n’所拍摄的视频中每一帧的画面中的重叠区域中的像素值采用加权平均的方法获取新的像素值；基于拼接矩阵，将该摄像机Cameram*n和Cameram*n’所拍摄的视频中每一帧的画面中的非重叠区域中像素值进行图像映射。
例如，在至少一个实施例中，其中，步骤三还包括：第一跟踪子步骤：在需要跟踪的区域设置开始跟踪线，当检测到有跟踪对象并且经过开始跟踪线时，初始化该跟踪对象；第二跟踪子步骤：检测所拼接的视频中该跟踪对象的当前位置；第三跟踪子步骤：利用卡尔曼预测算法预测该跟踪对象的运动方向；第四跟踪子步骤：用单目标跟踪算法预测该跟踪对象的下一个位置；第五跟踪子步骤：基于该跟踪对象的当前位置、运动方向、和下一位置确定该跟踪对象是否丢失、以及该跟踪对象在该拼接视频中的运动轨迹。
根据本公开的至少一个实施例提供了一种拍摄全景视频的设备，该设备包括用于拍摄全景视频的装置，该装置包括由M*N个摄像机以平面矩阵的方式固定排列成的多摄像机矩阵和由K个标示物固定排列成的标志物组，该设备还包括：拍摄模块：该多摄像机矩阵中的每个摄像机分别拍摄视频，以获取M*N个视频；拼接模块：基于在该M*N个视频中的该K个标志物中每个标志物的特征点，将该M*N个视频拼合成一个完整视频；跟踪模块：在该完整视频上对该一个或多个跟踪对象进行跨视频跟踪处理。
发明的有益效果
本公开通过构建能覆盖拍摄场地全景的摄像机阵列，保证整个阵列能覆盖拍摄场地全景，通过多个摄像机同时对拍摄场地进行拍摄，并利用标志物来确定每个摄像机所拍摄的场景范围，从而解决了如何使用多个摄像机来拍摄全景视频的技术问题。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。下面描述中的附图仅仅是本公开的示例性实施例。
图1A是示出根据本公开的一些实施例的用于拍摄全景视频的装置的示意图。
图1B是示出根据本公开的一些实施例的用于拍摄全景视频的装置的结构图。
图2是示出根据本公开的一些实施例的一种拍摄全景视频的方法的流程图。
图3是示出根据本公开的一些实施例的一种拍摄全景视频的方法的步骤二的流程图。
图4是示出根据本公开的一些实施例的一种拍摄全景视频的方法的步骤二的部分流程图。
图5是示出根据本公开的一些实施例的一种拍摄全景视频的方法的步骤二中对画面P和画面P’进行参数估计的流程图。
图6是示出根据本公开的一些实施例的一种拍摄全景视频的方法的拼接子步骤的部分流程图。
图7是示出根据本公开的一些实施例的一种拍摄全景视频的方法的步骤三的流程图。
具体实施方式
为了使得本公开的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。基于本公开中描述的本公开实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本公开的保护范围之内。
需要注意的是，在本说明书和附图中，具有基本上相同步骤和元素用相同的附图标记来表示，且对这些步骤和元素的重复描述将被省略。
图1A是示出根据本公开的一些实施例的用于拍摄全景视频的装置的示意图，图1B是示出根据本公开的一些实施例的用于拍摄全景视频的装置的结构图。
参考图1A，用于拍摄全景视频的装置包括多摄像机矩阵和标志物组。图1A中的圆形表示摄像机，五角星表示标志物。由圆形组成的阵列表示多摄像机矩阵，由五角星组成的阵列表示标志物组。每个摄像机仅可以覆盖拍摄场景的一部分范围，而多摄像机矩阵可以覆盖整个拍摄场景。
参考图1B，根据本公开的至少一个实施例提供了一种用于拍摄全景视频的装置，该装置包括：
（1）由M*N个摄像机以平面矩阵的方式固定排列成的多摄像机矩阵，该多摄像机矩阵中的每个摄像机所覆盖的拍摄范围大小可配置。
（2）由K个标示物固定排列而成的标志物组，该标志物组中的任意标志物均固定在该多摄像机矩阵中与该标志物相对应地相邻两个摄像机所覆盖的拍摄范围的重叠区域之内。
其中，M、N与K均为大于1的整数，m为大于1且小于M的整数，n为大于1且小于N的整数。
根据本公开的上述实施例，可以通过多摄像机矩阵来拍摄整个场景。其中，每个摄像机仅负责一部分场景的拍摄。由于每个摄像机是固定放置的，从而不需要人工去调节每个摄像机的拍摄角度和焦距，节省了人力物力。
可选地，该多摄像机矩阵中的每个摄像机所覆盖的拍摄范围大小可以相同，也可以不同。
同时，根据本公开的上述实施例，可以通过标志物的位置，来校准各个摄像机的拍摄范围和拍摄图像。尤其是在单调背景的场景下，每个摄像机拍摄的场景可能相似，这就给后续处理图像/视频的拼接带来了困难。而通过设置一个或多个标志物，则可以方便地在摄像机拍摄的场景中提取特征点，进一步便利了后续拼接。
例如，在至少一个实施例中，该标志物组中的每个标志物具有能够与所拍摄的全景视频的背景相区别的特征点集合，其中，该特征点集合包括以下特征点中的一个或多个：能够与所拍摄的全景视频的背景相区别的颜色、能够与所拍摄的全景视频的背景相区别的形状、能够与所拍摄的全景视屏的背景相区别的纹理。
例如，在单调背景的滑雪运动场，由于背景均为白色，标志物就可以是各种颜色的油漆桶等。在这样的情况下，使用标志物就可以使得多摄像机矩阵中的每个摄像机能够更好的定位其应该负责的局部场景，以方便后续对待拍摄的对象的捕捉。
图2是示出根据本公开的一些实施例的一种拍摄全景视频的方法的流程图。
如图2所示，根据本公开的至少一个实施例提供了一种拍摄全景视频的方法，该方法由用于拍摄全景视频的装置执行，该装置包括由M*N个摄像机以平面矩阵的方式固定排列成的多摄像机矩阵和由K个标示物固定排列成的标志物组，该方法包括：
步骤S201：该多摄像机矩阵中的每个摄像机分别拍摄视频，以获取M*N个视频。
步骤S202：基于在该M*N个视频中的该K个标志物中每个标志物的特征点，将该M*N个视频拼合成一个完整视频。
步骤S203：在该完整视频上对该一个或多个跟踪对象进行跨视频跟踪处理。
根据本公开的上述实施例，可以通过多摄像机矩阵来拍摄整个场景。其中，每个摄像机仅负责一部分场景的拍摄。在将多个视频拼接成一个完整的场景大视频之后，对一个或多个跟踪对象进行处理，从而可以实现人手动跟拍跟踪对象的效果。
图3是示出根据本公开的一些实施例的一种拍摄全景视频的方法的步骤二的流程图。
如图3所示，在至少一个实施例中，其中步骤二（图2中的步骤S202）包括：
第一拼接子步骤S2021：在该M*N个视频的相同时刻的画面中分别提取该标志物组中的每个标志物的特征点集合。
第二拼接子步骤S2022：基于M*N个特征点集合，获取用于拼接的拼接矩阵。
第三拼接子步骤S2023：基于该拼接矩阵拼接该多摄像机阵列拍摄的视频中的每一帧的画面。
由于每个标志物的特征点集合中的特征点与每个标志物相关，由此可以将每个摄像机拍摄的视频与其它摄像机拍摄的视频区分开。并且基于这些特征点集合，可以更好的确定在全景视频中各个视频拼接的顺序。
图4是示出根据本公开的一些实施例的一种拍摄全景视频的方法的步骤二的部分流程图。
如图4所示，例如，在至少一个实施例中，第二拼接子步骤（图3中的S2022）还包括：
步骤S2022a：获取任意一个摄像机Cameram*n所拍摄的、在第i时刻的画面P中的标志物X的特征点集合Featurex，其中，m为大于等于0且小于等于M的整数，n为大于等于0且小于等于N的整数，i为视频拍摄时段中任意时刻。
步骤S2022b：获取与摄像机Cameram*n相邻的摄像机Cameram*n’所拍摄的、在第i时刻的画面P’中的标志物X的特征点集合Featurex’，其中，标志物X为该标志物组中位于摄像机Cameram*n与摄像机Cameram*n’的所重叠的拍摄区域中的标志物。
步骤S2022c：将Featurex与Featurex’相匹配，以通过最小二乘法计算对应于拼接后的图像的单应性矩阵。
步骤S2022d：基于该单应性矩阵，分别对画面P和画面P’进行参数估计，以分别获取摄像机Cameram*n和Cameram*n’的摄像机的焦距F和F’、光学中心、旋转参数和尺度参数。
步骤S2022e：基于焦距F和F’，获取内参数矩阵。
步骤S2022f：基于内参数矩阵，获取由旋转矩阵和平移向量共同构成的外参数矩阵，其中该旋转矩阵是基于内参数矩阵确定的、用于校正摄像机Cameram*n和Cameram*n’在三维空间中的位置和朝向的矩阵，该平移向量是用于校正摄像机Cameram*n和Cameram*n’之间的平移距离和方向的向量。
其中，该内参数矩阵和外参数矩阵共同构成了用于拼接的拼接矩阵。
根据本公开的上述实施例，可以通过将多摄像机矩阵中的各个摄像机拍摄的视频进行拼接，从而获取一个拼接部分良好，表征平滑的全景视频。
由于每个摄像机对场景进行了独立拍摄，因此每个摄像机的焦距和拍摄方向可能不同。同时由于每个摄像机拍摄的局部场景也可能不同，因此，每个摄像机所拍摄的场景中的光照可能变化。因此只是直接对相同时刻的视频按照矩阵中的位置进行直接拼接的话，拼接出的全景视频的场景的局部可能跳变。因此需要根据摄像机的焦距F和F’、光学中心、旋转参数和尺度参数等参数来调节各个摄像机拍摄的视频画面，从而拼接成一个用户友好的全景视频。
同时还应该对各个摄像机的平移距离和方向进行校正，从而使得全景视频的各个细节更加准确。
图5是示出根据本公开的一些实施例的一种拍摄全景视频的方法的步骤二中对画面P和画面P’进行参数估计的流程图。
如图5所示，例如，在至少一个实施例中，其中，该基于该单应性矩阵分别对画面P和画面P’进行参数估计还包括：
步骤S501：利用密集网格划分画面P和画面P’。
步骤S502：以网格中心到特征点的距离为权重，为每个网格计算与之对应的子单应矩阵以获得子单应性矩阵集合。
步骤S503：基于该子单应性矩阵集合中的每个单应性矩阵估计该摄像机Cameram*n和Cameram*n’的焦距集合{f}和{f’}，分别对焦距集合{f}和{f’}求均值以获取焦距F和F’。
由于每个摄像机拍摄的图像可能存在失真，尤其是在采用特殊的摄像机（比如鱼眼摄像机）的情况下。因此，对于每个摄像机拍摄的图像进行密集网格划分并以网格中心到特征点的距离为权重，为每个网格计算与之对应的子单应矩阵以获得子单应性矩阵集合可以获取每个摄像机拍摄的图像的局部细节的参数，从而可以更精细的调节全景图像的拼接。
图6是示出根据本公开的一些实施例的一种拍摄全景视频的方法的拼接子步骤的部分流程图。
如图6所示，例如，在至少一个实施例中，其中，该第三拼接子步骤（图3中的步骤S2023）还包括：
步骤S2023a：基于拼接矩阵，将该摄像机Cameram*n和Cameram*n’所拍摄的视频中每一帧的画面中的重叠区域中的像素值采用加权平均的方法获取新的像素值。
步骤S2023b：基于拼接矩阵，将该摄像机Cameram*n和Cameram*n’所拍摄的视频中每一帧的画面中的非重叠区域中像素值进行图像映射。
由于精细化地调整了重叠区域的各个像素值之间的映射关系，从而可以基于这样的映射关系，对每一帧的画面中的非重叠区域中像素值进行图像映射，从而使得整个全景视频在细节上完整统一。
图7是示出根据本公开的一些实施例的一种拍摄全景视频的方法的步骤三的流程图。
如图7所示，例如，在至少一个实施例中，其中，步骤三（图2中的步骤S203）还包括：
第一跟踪子步骤S2031：在需要跟踪的区域设置开始跟踪线，当检测到有跟踪对象并且经过开始跟踪线时，初始化该跟踪对象。
第二跟踪子步骤S2032：检测所拼接的视频中该跟踪对象的当前位置。第三跟踪子步骤 S2033：利用卡尔曼预测算法预测该跟踪对象的运动方向。
第四跟踪子步骤S2034：用单目标跟踪算法预测该跟踪对象的下一个位置。
第五跟踪子步骤S2035：基于该跟踪对象的当前位置、运动方向、和下一位置确定该跟踪对象是否丢失、以及该跟踪对象在该拼接视频中的运动轨迹。
在获取全景视频之后，就可以对跟踪对象进行捕捉，从而获取一个或多个跟踪对象的跟踪视频。
由于跟踪对象的运动姿态和运动轨迹可能是无规律的，因此需要使用多种算法对跟踪对象的运动姿态和运动轨迹进行预测和校准。经验证，卡尔曼预测算法与单目标跟踪算法相结合可以优化对象捕捉的准确率，同时使得捕捉的对象的运动轨迹相对平滑。
根据本公开的至少一个实施例还提供了一种拍摄全景视频的设备，该设备包括用于拍摄全景视频的装置，该装置包括由M*N个摄像机以平面矩阵的方式固定排列成的多摄像机矩阵和由K个标示物固定排列成的标志物组，该设备还包括：拍摄模块：该多摄像机矩阵中的每个摄像机分别拍摄视频，以获取M*N个视频；拼接模块：基于在该M*N个视频中的该K个标志物中每个标志物的特征点，将该M*N个视频拼合成一个完整视频；跟踪模块：在该完整视频上对该一个或多个跟踪对象进行跨视频跟踪处理。
虽然已经参考其示例性实施例具体地示出和描述了本公开的构思，本领域普通技术人员将理解，在不脱离由权利要求定义的本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。因此期望本实施例在所有方面被认为是说明性的而不是限制性的，对所附权利要求而不是前述描述进行参考以指示所要求保护的本公开的范围。

Claims (9)

1.一种用于拍摄全景视频的装置，所述装置包括：
由M*N个摄像机以平面矩阵的方式固定排列成的多摄像机矩阵，所述多摄像机矩阵中的每个摄像机所覆盖的拍摄范围大小可配置；
由K个标示物固定排列而成的标志物组，所述标志物组中的任意标志物均固定在所述多摄像机矩阵中与所述标志物相对应地相邻两个摄像机所覆盖的拍摄范围的重叠区域之内；
其中，M、N与K均为大于1的整数，m为大于1且小于M的整数，n为大于1且小于N的整数。
2.如权利要求1所述的用于拍摄全景视频的装置，其中，所述标志物组中的每个标志物具有能够与所拍摄的全景视频的背景相区别的特征点集合，其中，所述特征点集合包括以下特征点中的一个或多个：
能够与所拍摄的全景视频的背景相区别的颜色；
能够与所拍摄的全景视频的背景相区别的形状；
能够与所拍摄的全景视屏的背景相区别的纹理。
3.一种拍摄全景视频的方法，所述方法由用于拍摄全景视频的装置执行，所述装置包括由M*N个摄像机以平面矩阵的方式固定排列成的多摄像机矩阵和由K个标示物固定排列成的标志物组，所述方法包括：
步骤一：所述多摄像机矩阵中的每个摄像机分别拍摄视频，以获取M*N个视频；
步骤二：基于在所述M*N个视频中的所述K个标志物中每个标志物的特征点，将所述M*N个视频拼合成一个完整视频；
步骤三：在所述完整视频上对所述一个或多个跟踪对象进行跨视频跟踪处理。
4.如权利要求3所述的拍摄全景视频的方法，其中步骤二包括：
第一拼接子步骤：在所述M*N个视频的相同时刻的画面中分别提取所述标志物组中的每个标志物的特征点集合；
第二拼接子步骤：基于M*N个特征点集合，获取用于拼接的拼接矩阵；
第三拼接子步骤：基于所述拼接矩阵拼接所述多摄像机阵列拍摄的视频中的每一帧的画面。
5.如权利要求4所述的拍摄全景视频的方法，其中，所述第二拼接子步骤还包括：
获取任意一个摄像机Cameram*n所拍摄的、在第i时刻的画面P中的标志物X的特征点集合Featurex，其中，m为大于等于0且小于等于M的整数，n为大于等于0且小于等于N的整数，i为视频拍摄时段中任意时刻；
获取与摄像机Cameram*n相邻的摄像机Cameram*n’所拍摄的、在第i时刻的画面P’中的标志物X的特征点集合Featurex’，其中，标志物X为所述标志物组中位于摄像机Cameram*n与摄像机Cameram*n’的所重叠的拍摄区域中的标志物；
将Featurex与Featurex’相匹配，以通过最小二乘法计算对应于拼接后的图像的单应性矩阵；
基于所述单应性矩阵，分别对画面P和画面P’进行参数估计，以分别获取摄像机Cameram*n和Cameram*n’的摄像机的焦距F和F’、光学中心、旋转参数和尺度参数；
基于焦距F和F’，获取内参数矩阵；
基于内参数矩阵，获取由旋转矩阵和平移向量共同构成的外参数矩阵，其中所述旋转矩阵是基于内参数矩阵确定的、用于校正摄像机Cameram*n和Cameram*n’在三维空间中的位置和朝向的矩阵，所述平移向量是用于校正摄像机Cameram*n和Cameram*n’之间的平移距离和方向的向量；
所述内参数矩阵和外参数矩阵共同构成了用于拼接的拼接矩阵。
6.如权利要求5所述的拍摄全景视频的方法，其中，所述基于所述单应性矩阵分别对画面P和画面P’进行参数估计还包括：
利用密集网格划分画面P和画面P’；
以网格中心到特征点的距离为权重，为每个网格计算与之对应的子单应矩阵以获得子单应性矩阵集合；
基于所述子单应性矩阵集合中的每个单应性矩阵估计所述摄像机Cameram*n和Cameram*n’的焦距集合{f}和{f’}，
分别对焦距集合{f}和{f’}求均值以获取焦距F和F’。
7.如权利要求4所述的拍摄全景视频的方法，其中，所述第三拼接子步骤还包括：
基于拼接矩阵，将所述摄像机Cameram*n和Cameram*n’所拍摄的视频中每一帧的画面中的重叠区域中的像素值采用加权平均的方法获取新的像素值；
基于拼接矩阵，将所述摄像机Cameram*n和Cameram*n’所拍摄的视频中每一帧的画面中的非重叠区域中像素值进行图像映射。
8.如权利要求3所述的拍摄全景视频的方法，其中，步骤三还包括：
第一跟踪子步骤：在需要跟踪的区域设置开始跟踪线，当检测到有跟踪对象并且经过开始跟踪线时，初始化所述跟踪对象；
第二跟踪子步骤：检测所拼接的视频中所述跟踪对象的当前位置；
第三跟踪子步骤：利用卡尔曼预测算法预测所述跟踪对象的运动方向；
第四跟踪子步骤：用单目标跟踪算法预测所述跟踪对象的下一个位置；
第五跟踪子步骤：基于所述跟踪对象的当前位置、运动方向、和下一位置确定所述跟踪对象是否丢失、以及所述跟踪对象在所述拼接视频中的运动轨迹。
9.一种拍摄全景视频的设备，所述设备包括用于拍摄全景视频的装置，所述装置包括由M*N个摄像机以平面矩阵的方式固定排列成的多摄像机矩阵和由K个标示物固定排列成的标志物组，所述设备还包括：
拍摄模块：所述多摄像机矩阵中的每个摄像机分别拍摄视频，以获取M*N个视频；
拼接模块：基于在所述M*N个视频中的所述K个标志物中每个标志物的特征点，将所述M*N个视频拼合成一个完整视频；
跟踪模块：在所述完整视频上对所述一个或多个跟踪对象进行跨视频跟踪处理。
CN201910143173.1A 2019-02-26 2019-02-26 用于拍摄全景视频的装置和方法 Pending CN109672826A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910143173.1A CN109672826A (zh) 2019-02-26 2019-02-26 用于拍摄全景视频的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910143173.1A CN109672826A (zh) 2019-02-26 2019-02-26 用于拍摄全景视频的装置和方法

Publications (1)

Publication Number Publication Date
CN109672826A true CN109672826A (zh) 2019-04-23

Family

ID=66151931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910143173.1A Pending CN109672826A (zh) 2019-02-26 2019-02-26 用于拍摄全景视频的装置和方法

Country Status (1)

Country Link
CN (1) CN109672826A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021103427A1 (zh) * 2019-11-29 2021-06-03 威海华菱光电股份有限公司 图像扫描***
CN117676340A (zh) * 2024-01-31 2024-03-08 百鸟数据科技(北京)有限责任公司 一种基于onvif协议的摄像头全景拼接方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574445A (zh) * 2015-01-23 2015-04-29 北京航空航天大学 一种目标跟踪方法及装置
CN104639916A (zh) * 2015-03-04 2015-05-20 合肥巨清信息科技有限公司 一种大场景多目标跟踪拍摄视频监控***及其监控方法
CN106504274A (zh) * 2016-10-10 2017-03-15 广东技术师范学院 一种基于红外摄像头下的视觉跟踪方法及***
CN106657910A (zh) * 2016-12-22 2017-05-10 国网浙江省电力公司杭州供电公司 一种电力变电站的全景视频监控方法
CN109087244A (zh) * 2018-07-26 2018-12-25 贵州火星探索科技有限公司 一种全景图像拼接方法、智能终端及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574445A (zh) * 2015-01-23 2015-04-29 北京航空航天大学 一种目标跟踪方法及装置
CN104639916A (zh) * 2015-03-04 2015-05-20 合肥巨清信息科技有限公司 一种大场景多目标跟踪拍摄视频监控***及其监控方法
CN106504274A (zh) * 2016-10-10 2017-03-15 广东技术师范学院 一种基于红外摄像头下的视觉跟踪方法及***
CN106657910A (zh) * 2016-12-22 2017-05-10 国网浙江省电力公司杭州供电公司 一种电力变电站的全景视频监控方法
CN109087244A (zh) * 2018-07-26 2018-12-25 贵州火星探索科技有限公司 一种全景图像拼接方法、智能终端及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021103427A1 (zh) * 2019-11-29 2021-06-03 威海华菱光电股份有限公司 图像扫描***
CN117676340A (zh) * 2024-01-31 2024-03-08 百鸟数据科技(北京)有限责任公司 一种基于onvif协议的摄像头全景拼接方法及***
CN117676340B (zh) * 2024-01-31 2024-06-21 百鸟数据科技(北京)有限责任公司 一种基于onvif协议的摄像头全景拼接方法及***

Similar Documents

Publication Publication Date Title
US10425638B2 (en) Equipment and method for promptly performing calibration and verification of intrinsic and extrinsic parameters of a plurality of image capturing elements installed on electronic device
CN106462944B (zh) 高分辨率全景vr生成器及方法
CN108564617A (zh) 多目相机的三维重建方法、装置、vr相机和全景相机
CN109003311B (zh) 一种鱼眼镜头的标定方法
Matsuyama et al. 3D video and its applications
CN103971375B (zh) 一种基于图像拼接的全景凝视相机空间标定方法
CN108805801A (zh) 一种全景图像校正方法及***
EP2993894B1 (en) Image capturing method and electronic apparatus
CN106251334A (zh) 一种摄像机参数调整方法、导播摄像机及***
CN104113702B (zh) 闪光控制方法及控制装置、图像采集方法及采集装置
CN106357976A (zh) 一种全方位全景图像生成的方法和装置
KR102515482B1 (ko) 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
CN108200360A (zh) 一种多鱼眼镜头全景摄像机的实时视频拼接方法
CN111182238B (zh) 基于扫描光场的高分辨率移动电子设备的成像装置及方法
CN109166076B (zh) 多相机拼接的亮度调整方法、装置及便携式终端
CN105335977B (zh) 摄像***及目标对象的定位方法
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN106023073A (zh) 一种图像拼接***
CN109672826A (zh) 用于拍摄全景视频的装置和方法
CN103544696B (zh) 一种用于fpga实现的缝合线实时查找方法
CN110290287A (zh) 多摄像头帧同步方法
CN104700354B (zh) 一种信息植入方法及装置
CN108156383B (zh) 基于相机阵列的高动态十亿像素视频采集方法及装置
CN109600556B (zh) 一种基于单反相机的高质量精密全景成像***及方法
JP4281139B2 (ja) 位置認識装置、位置認識方法及び仮想画像立体合成装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190423