CN112616018B - 一种可堆叠的全景视频实时拼接方法 - Google Patents

一种可堆叠的全景视频实时拼接方法 Download PDF

Info

Publication number
CN112616018B
CN112616018B CN202011481837.4A CN202011481837A CN112616018B CN 112616018 B CN112616018 B CN 112616018B CN 202011481837 A CN202011481837 A CN 202011481837A CN 112616018 B CN112616018 B CN 112616018B
Authority
CN
China
Prior art keywords
cameras
angle
video
starting
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011481837.4A
Other languages
English (en)
Other versions
CN112616018A (zh
Inventor
杨培春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qidebao Technology Co ltd
Original Assignee
Shenzhen Puhui Zhilian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Puhui Zhilian Technology Co ltd filed Critical Shenzhen Puhui Zhilian Technology Co ltd
Priority to CN202011481837.4A priority Critical patent/CN112616018B/zh
Publication of CN112616018A publication Critical patent/CN112616018A/zh
Application granted granted Critical
Publication of CN112616018B publication Critical patent/CN112616018B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种可堆叠的全景视频实时拼接方法，所述拼接方法包括：根据所要拍摄视频的角度范围设置摄像机个数，并根据摄像机个数确定相邻两个摄像机之间的主光轴夹角，其中，多个摄像机的视角相同；启动多个摄像机，并对摄像机的拍摄一致性进行校验；将完成一致性校验的全部摄像机在同一时间在同一时间点的同一帧视频图像，并将视频图像进行拼接处理，获得拼接后的全景图像。

Description

一种可堆叠的全景视频实时拼接方法
技术领域
本发明提出的一种可堆叠的全景视频实时拼接方法，属于视频处理技术领域。
背景技术
随着智能智造、智慧城市领域的蓬勃发展，越来越多场景需要有360度无死角的监控，最简单的解决方案就是直接在中心区域安装一个球形全景摄像机。但需要达到360度无死角拍摄，要求球形全景相机的必须垂直对地安装在场景的中心区域，要求场景中没有大型遮挡物，要求对相机输出图像进行畸变矫正，而且球形全景摄像机由于成像关系的原因，与主光轴夹角最小的正下方区域几乎占据整个输出视频的80％，而离主光轴角度越大区域拍摄的清晰度越低。相对于以上种种条件的限制，使用多个枪型或其他常规使用的非球形全景摄像机堆叠摄影的方式能满足90％以上场景对于360度无死角监控的需求。但由于摄像机安装数量的增多，并且由人工一个个的查看每个摄像机所拍摄视频非常的费事费神费力，同时，若多个摄像机因兼顾其他功能(例如，娱乐设施或场景下的娱乐场景监控或录音等功能)的实现而采用了规格不同视角的摄像机时，每个摄像机之间的角度调整更加耗费精力，并且极易导致后续图像融合的质量较低。
发明内容
本发明提供了一种可堆叠的全景视频实时拼接方法，用以解决现有全景视频拼接效率较低、视频拼接质量较低的问题：
本发明提出的一种可堆叠的全景视频实时拼接方法，所述拼接方法包括：
根据所要拍摄视频的角度范围设置摄像机个数，并根据摄像机个数确定相邻两个摄像机之间的主光轴夹角，其中，多个摄像机的视角相同；
启动多个摄像机，并对摄像机的拍摄一致性进行校验；
将完成一致性校验的全部摄像机在同一时间在同一时间点的同一帧视频图像，并将视频图像进行拼接处理，获得拼接后的全景图像。
进一步地，所述根据所要拍摄视频的角度范围设置摄像机个数，包括：
确定所要拍摄的全景范围；
根据全景范围利用个数确定模型确定摄像机个数；所述个数确定模型如下：
Figure BDA0002837809090000011
其中，n表示确定的摄像机个数；α表示摄像机对应的视角角度；
Figure BDA0002837809090000012
表示所要拍摄的全景范围所需的视角角度；λ表示视角调整角度，λ的取值范围为20°至26°。
进一步地，根据摄像机个数确定相邻两个摄像机之间的主光轴夹角，包括：
将所述摄像机按照获取的个数，等间距排列在所述要拍摄视频的场景内；
根据摄像机的视角，利用视角设置模型获取每相邻两个摄像机之间的主光轴夹角，其中，所述视角设置模型为：
Figure BDA0002837809090000021
其中，ω表示每相邻两个摄像机之间的主光轴夹角。
进一步地，启动多个摄像机，并对摄像机的拍摄一致性进行校验，包括：
同时启动多个摄像机，并记录每个摄像机启动后进入视频拍摄的起始时间点，并判断每个摄像机之间的起始时间点之间的时间差；
根据启动时间调整模型利用每个摄像机的进入视频拍摄的起始时间点，获取每相邻两个个摄像机的启动时间间隔，使拍摄时所有摄像机能够在同一时间范围进入视频拍摄阶段；
调整每相邻两个摄像机的启动时间之后，依次获取每相邻两个摄像机在同一时刻拍摄的同一帧的视屏图像；并判断视频图像的重叠区域的面积是否符合预设区域阈值；如果所述每相邻两个摄像机在同一时刻拍摄的同一帧的视屏图像的重叠区域大于预设的区域阈值，则启动对所采集的视频图像进行拼接处理，其中，启动时间调整模型为：
Figure BDA0002837809090000022
其中，Tg表示每相邻两个摄像机中，启动时间晚的摄像机与启动时间早的摄像机之间的调整后的启动时间间隔；启动时间较晚的摄像机提前Tg时间进行启动；T0表示摄像机从启动开机到进入视频拍摄的标准时间段；Ti表示第i对相邻两个摄像机之间的进入视频拍摄的起始时间点之间的时间差；m表示所有摄像机中，所有的相邻两个摄像机的对数；ε表示时间调整系数，所述时间调整系数的取值范围为0.81-0.95，其中优选为0.87。
进一步地，判断视频图像的重叠区域的面积是否符合预设区域阈值，包括：
判断视频图像的重叠区域的面积与预设区域阈值之间的大小关系，如果所述相邻两个摄像机在同一时刻拍摄的同一帧的视屏图像的重叠区域大于预设的区域阈值，则启动对所采集的视频图像进行拼接处理；
如果所述相邻两个摄像机在同一时刻拍摄的同一帧的视屏图像的重叠区域小于预设的区域阈值，将所述相邻两个摄像机标记为目标调整摄像机，并利用角度补偿模型对所述目标调整摄像机之间的主光轴角度进行补偿调整，所述角度补偿模型如下：
Figure BDA0002837809090000031
其中，ωt表示通过角度补偿模型调整后的每相邻两个摄像机之间的主光轴夹角，h表示角度调整系数，所述角度调整系数的范围为1.12-1.23；其中，优选为1.14；S0表示视频图像的预设区域阈的区域面积值，S表示实际视频图像的重叠区域的面积值。
进一步地，所述拼接方法通拼接***来实现，所述拼接***包括：
数量及角度确定模块，用于根据所要拍摄视频的角度范围设置摄像机个数，并根据摄像机个数确定相邻两个摄像机之间的主光轴夹角，其中，多个摄像机的视角相同；
启动校验模块，用于启动多个摄像机，并对摄像机的拍摄一致性进行校验；
全景拼接模块，用于将完成一致性校验的全部摄像机在同一时间在同一时间点的同一帧视频图像，并将视频图像进行拼接处理，获得拼接后的全景图像。
进一步地，所述数量及角度确定模块包括：
全景范围确定模块，用于确定所要拍摄的全景范围；
个数确定模块，用于根据全景范围利用个数确定模型确定摄像机个数。
进一步地，所述数量及角度确定模块，还包括：
排列控制模块，用于将所述摄像机按照获取的个数，等间距排列在所述要拍摄视频的场景内；
角度设置模块，用于根据摄像机的视角，利用视角设置模型获取每相邻两个摄像机之间的主光轴夹角。
进一步地，所述启动校验模块包括：
时间获取模块，用于同时启动多个摄像机，并记录每个摄像机启动后进入视频拍摄的起始时间点，并判断每个摄像机之间的起始时间点之间的时间差；
时间间隔获取模块，用于根据启动时间调整模型利用每个摄像机的进入视频拍摄的起始时间点，获取每相邻两个个摄像机的启动时间间隔，使拍摄时所有摄像机能够在同一时间范围进入视频拍摄阶段；
调整模块，用于调整每相邻两个摄像机的启动时间之后，依次获取每相邻两个摄像机在同一时刻拍摄的同一帧的视屏图像；并判断视频图像的重叠区域的面积是否符合预设区域阈值；如果所述每相邻两个摄像机在同一时刻拍摄的同一帧的视屏图像的重叠区域大于预设的区域阈值，则启动对所采集的视频图像进行拼接处理。
进一步地，所述调整模块包括：
判断启动模块，用于判断视频图像的重叠区域的面积与预设区域阈值之间的大小关系，如果所述相邻两个摄像机在同一时刻拍摄的同一帧的视屏图像的重叠区域大于预设的区域阈值，则启动对所采集的视频图像进行拼接处理；
角度补偿模块，用于如果所述相邻两个摄像机在同一时刻拍摄的同一帧的视屏图像的重叠区域小于预设的区域阈值，将所述相邻两个摄像机标记为目标调整摄像机，并利用角度补偿模型对所述目标调整摄像机之间的主光轴角度进行补偿调整。
本发明有益效果：
本发明提出的一种可堆叠的全景视频实时拼接方法，能够在多个相同视角范围的摄像机排列情况下，通过正式进行视频拼接操作之前的校验环节，对摄像设备进行统一一次性校验调节，有效节省设备调节时间，提高设备调节效率，同时进一步提高后续视频拼接处理的质量。通过保持多个摄像机启动的时间一致性来提高视频采集效率，进而提高全景视频的整体拼接处理效率。同时，通过摄像机的个数及主光轴角度调整，能够有效提高视频数据采集的拼接要求达标率，进一步提高视频图像数据采集质量和视频图像数据采集效率，极大程度上减少了后续视频处理过程中由于采集的视频图像数据标准不达标造成的重复设备调整所浪费的时间。同时，通过提高视频图像采集的质量进而提高了全景视频拼接后的视频质量。
附图说明
图1为本发明所述方法的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明提出的一种可堆叠的全景视频实时拼接方法，所述拼接方法包括：
S1、根据所要拍摄视频的角度范围设置摄像机个数，并根据摄像机个数确定相邻两个摄像机之间的主光轴夹角，其中，多个摄像机的视角相同；
S2、启动多个摄像机，并对摄像机的拍摄一致性进行校验；
S3、将完成一致性校验的全部摄像机在同一时间在同一时间点的同一帧视频图像，并将视频图像进行拼接处理，获得拼接后的全景图像。
上述技术方案的工作原理为:首先，根据所要拍摄视频的角度范围设置摄像机个数，并根据摄像机个数确定相邻两个摄像机之间的主光轴夹角，其中，多个摄像机的视角相同；然后，启动多个摄像机，并对摄像机的拍摄一致性进行校验；最后，将完成一致性校验的全部摄像机在同一时间在同一时间点的同一帧视频图像，并将视频图像进行拼接处理，获得拼接后的全景图像。
上述技术方案的效果为：能够在多个相同视角范围的摄像机排列情况下，通过保持多个摄像机启动的时间一致性来提高视频采集效率，进而提高全景视频的整体拼接处理效率。同时，通过摄像机的个数及主光轴角度调整，能够有效提高视频数据采集的拼接要求达标率，进一步提高视频图像数据采集质量和视频图像数据采集效率，极大程度上减少了后续视频处理过程中由于采集的视频图像数据标准不达标造成的重复设备调整所浪费的时间。同时，通过提高视频图像采集的质量进而提高了全景视频拼接后的视频质量。
本发明的一个实施例，所述根据所要拍摄视频的角度范围设置摄像机个数，包括：
S101、确定所要拍摄的全景范围；
S102、根据全景范围利用个数确定模型确定摄像机个数；所述个数确定模型如下：
Figure BDA0002837809090000051
其中，n表示确定的摄像机个数；α表示摄像机对应的视角角度；
Figure BDA0002837809090000053
表示所要拍摄的全景范围所需的视角角度；λ表示视角调整角度，λ的取值范围为20°至26°。
上述技术方案的工作原理为：首先，确定所要拍摄的全景范围；然后。根据全景范围利用个数确定模型确定摄像机个数。
上述技术方案的效果为：通过上述公式和方式获得的摄像机的个数，能够准确快速的获得满足现场拍摄全景范围需求的摄像机个数，极大程度上降低了摄像机个数通过尝试或经验来进行调整所浪费的时间，通过上述个数公式获取的摄像机个数能够保证在后续的摄像机角度调整过程中，无需再添加新的摄像机即可满足视频图像采集的重叠区域范围质量要求。有效减少后续设备增加环节，有效降低设备调整所浪费的时间，提高设备设置的达标效率。
本发明的一个实施例，根据摄像机个数确定相邻两个摄像机之间的主光轴夹角，包括：
S103、将所述摄像机按照获取的个数，等间距排列在所述要拍摄视频的场景内；
S104、根据摄像机的视角，利用视角设置模型获取每相邻两个摄像机之间的主光轴夹角，其中，所述视角设置模型为：
Figure BDA0002837809090000052
其中，ω表示每相邻两个摄像机之间的主光轴夹角。
上述技术方案的工作原理为：首选，将所述摄像机按照获取的个数，等间距排列在所述要拍摄视频的场景内；然后，根据摄像机的视角，利用视角设置模型获取每相邻两个摄像机之间的主光轴夹角。
上述技术方案的效果为：通过上述公式获取的相连两个摄像机的主光轴夹角，能够有效提高视角范围相同的相邻两个摄像机所拍摄图像重叠区域的达标率，其拍摄图像重叠区域的达标率可高达96％。极大程度上降低了后续摄像机调节的可能性，同时节省了视频拼接前期的设备调整时间。
本发明的一个实施例，启动多个摄像机，并对摄像机的拍摄一致性进行校验，包括：
S201、同时启动多个摄像机，并记录每个摄像机启动后进入视频拍摄的起始时间点，并判断每个摄像机之间的起始时间点之间的时间差；
S202、根据启动时间调整模型利用每个摄像机的进入视频拍摄的起始时间点，获取每相邻两个个摄像机的启动时间间隔，使拍摄时所有摄像机能够在同一时间范围进入视频拍摄阶段；
S203、调整每相邻两个摄像机的启动时间之后，依次获取每相邻两个摄像机在同一时刻拍摄的同一帧的视屏图像；并判断视频图像的重叠区域的面积是否符合预设区域阈值；如果所述每相邻两个摄像机在同一时刻拍摄的同一帧的视屏图像的重叠区域大于预设的区域阈值，则启动对所采集的视频图像进行拼接处理，其中，启动时间调整模型为：
Figure BDA0002837809090000061
其中，Tg表示每相邻两个摄像机中，启动时间晚的摄像机与启动时间早的摄像机之间的调整后的启动时间间隔；启动时间较晚的摄像机提前Tg时间进行启动；T0表示摄像机从启动开机到进入视频拍摄的标准时间段；Ti表示第i对相邻两个摄像机之间的进入视频拍摄的起始时间点之间的时间差；m表示所有摄像机中，所有的相邻两个摄像机的对数；ε表示时间调整系数，所述时间调整系数的取值范围为0.81-0.95，其中优选为0.87。
上述技术方案的工作原理为：首先，同时启动多个摄像机，并记录每个摄像机启动后进入视频拍摄的起始时间点，并判断每个摄像机之间的起始时间点之间的时间差；然后，根据启动时间调整模型利用每个摄像机的进入视频拍摄的起始时间点，获取每相邻两个个摄像机的启动时间间隔，使拍摄时所有摄像机能够在同一时间范围进入视频拍摄阶段；最后，调整每相邻两个摄像机的启动时间之后，依次获取每相邻两个摄像机在同一时刻拍摄的同一帧的视屏图像；并判断视频图像的重叠区域的面积是否符合预设区域阈值；如果所述每相邻两个摄像机在同一时刻拍摄的同一帧的视屏图像的重叠区域大于预设的区域阈值，则启动对所采集的视频图像进行拼接处理
上述技术方案的效果为：由于相同规格和视角范围的摄像机，其在开机过程中，也会存在开机后进入到可以进行视频拍摄的时间点存在不同步的情况发生。摄像机在同时开机过程中，由于进入到可以进行视频拍摄的时间点存在差异，就导致需要等待较长的时间保证每个摄像机都以进入视频拍摄状态才能够进行视频图像采集，消耗较多的前期数据采集的等待时间，因此，通过上述公式计算了启动时间间隔，在准备进行视频采集拼接操作时，在控制摄像机启动过程中，针对较慢或较晚进入可以进行视频拍摄的摄像机进行提前开启，其提前开启时间与其他摄像机开启时间的时间间隔通过上述启动时间间隔确定。通过上述启动时间间隔，能够在所有摄像机中，无论有多少个存在进入可以进行视频拍摄的时间点较晚或较慢的摄像机，都能保证所有摄像机的进入视频拍摄的时间点均在预设的时间点差值的范围内，保证前期摄像机启动进入视频拍摄阶段的同步性。有效降低因等待所有拍摄设备进入可以进行视频拍摄所消耗的时间。进一步提高视频图像数据的采集效率。
本发明的一个实施例，判断视频图像的重叠区域的面积是否符合预设区域阈值，包括：
判断视频图像的重叠区域的面积与预设区域阈值之间的大小关系，如果所述相邻两个摄像机在同一时刻拍摄的同一帧的视屏图像的重叠区域大于预设的区域阈值，则启动对所采集的视频图像进行拼接处理；
如果所述相邻两个摄像机在同一时刻拍摄的同一帧的视屏图像的重叠区域小于预设的区域阈值，将所述相邻两个摄像机标记为目标调整摄像机，并利用角度补偿模型对所述目标调整摄像机之间的主光轴角度进行补偿调整，所述角度补偿模型如下：
Figure BDA0002837809090000071
其中，ωt表示通过角度补偿模型调整后的每相邻两个摄像机之间的主光轴夹角，h表示角度调整系数，所述角度调整系数的范围为1.12-1.23；其中，优选为1.14；S0表示视频图像的预设区域阈的区域面积值，S表示实际视频图像的重叠区域的面积值。
上述技术方案的工作原理为：判断视频图像的重叠区域的面积与预设区域阈值之间的大小关系，如果所述相邻两个摄像机在同一时刻拍摄的同一帧的视屏图像的重叠区域大于预设的区域阈值，则启动对所采集的视频图像进行拼接处理；如果所述相邻两个摄像机在同一时刻拍摄的同一帧的视屏图像的重叠区域小于预设的区域阈值，将所述相邻两个摄像机标记为目标调整摄像机，并利用角度补偿模型对所述目标调整摄像机之间的主光轴角度进行补偿调整
上述技术方案的效果为：由于同一规格摄像机或者视角规格范围相同的摄像机在实际使用中常出现视角上的误差，因此会出现因视角误差导致的视频图像的重叠范围不达标的问题发生，因此，在摄像机存在误差而导致图像的重叠范围不达标的情况时，通过上述公式能够有效快速的将摄像机主光轴角度调整到图像重叠区域达标的位置，无需再次进行角度补偿调节，有效提高角度调整效率，并缩短角度调整时间。同时，其计算量较小，大大减少了角度调节的计算量和计算时间。
本发明的一个实施例，所述拼接方法通拼接***来实现，所述拼接***包括：
数量及角度确定模块，用于根据所要拍摄视频的角度范围设置摄像机个数，并根据摄像机个数确定相邻两个摄像机之间的主光轴夹角，其中，多个摄像机的视角相同；
启动校验模块，用于启动多个摄像机，并对摄像机的拍摄一致性进行校验；
全景拼接模块，用于将完成一致性校验的全部摄像机在同一时间在同一时间点的同一帧视频图像，并将视频图像进行拼接处理，获得拼接后的全景图像。
其中，所述数量及角度确定模块包括：
全景范围确定模块，用于确定所要拍摄的全景范围；
个数确定模块，用于根据全景范围利用个数确定模型确定摄像机个数。
所述数量及角度确定模块，还包括：
排列控制模块，用于将所述摄像机按照获取的个数，等间距排列在所述要拍摄视频的场景内；
角度设置模块，用于根据摄像机的视角，利用视角设置模型获取每相邻两个摄像机之间的主光轴夹角。
所述启动校验模块包括：
时间获取模块，用于同时启动多个摄像机，并记录每个摄像机启动后进入视频拍摄的起始时间点，并判断每个摄像机之间的起始时间点之间的时间差；
时间间隔获取模块，用于根据启动时间调整模型利用每个摄像机的进入视频拍摄的起始时间点，获取每相邻两个个摄像机的启动时间间隔，使拍摄时所有摄像机能够在同一时间范围进入视频拍摄阶段；
调整模块，用于调整每相邻两个摄像机的启动时间之后，依次获取每相邻两个摄像机在同一时刻拍摄的同一帧的视屏图像；并判断视频图像的重叠区域的面积是否符合预设区域阈值；如果所述每相邻两个摄像机在同一时刻拍摄的同一帧的视屏图像的重叠区域大于预设的区域阈值，则启动对所采集的视频图像进行拼接处理。
所述调整模块包括：
判断启动模块，用于判断视频图像的重叠区域的面积与预设区域阈值之间的大小关系，如果所述相邻两个摄像机在同一时刻拍摄的同一帧的视屏图像的重叠区域大于预设的区域阈值，则启动对所采集的视频图像进行拼接处理；
角度补偿模块，用于如果所述相邻两个摄像机在同一时刻拍摄的同一帧的视屏图像的重叠区域小于预设的区域阈值，将所述相邻两个摄像机标记为目标调整摄像机，并利用角度补偿模型对所述目标调整摄像机之间的主光轴角度进行补偿调整。
上述技术方案的效果为：能够在多个相同视角范围的摄像机排列情况下，通过正式进行视频拼接操作之前的校验环节，对摄像设备进行统一一次性校验调节，有效节省设备调节时间，提高设备调节效率，同时进一步提高后续视频拼接处理的质量。通过保持多个摄像机启动的时间一致性来提高视频采集效率，进而提高全景视频的整体拼接处理效率。同时，通过摄像机的个数及主光轴角度调整，能够有效提高视频数据采集的拼接要求达标率，进一步提高视频图像数据采集质量和视频图像数据采集效率，极大程度上减少了后续视频处理过程中由于采集的视频图像数据标准不达标造成的重复设备调整所浪费的时间。同时，通过提高视频图像采集的质量进而提高了全景视频拼接后的视频质量。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (8)

1.一种可堆叠的全景视频实时拼接方法，其特征在于，所述拼接方法包括：
根据所要拍摄视频的角度范围设置摄像机个数，并根据摄像机个数确定相邻两个摄像机之间的主光轴夹角，其中，多个摄像机的视角相同；
启动多个摄像机，并对摄像机的拍摄一致性进行校验；
将完成一致性校验的全部摄像机在同一时间点获取同一帧视频图像，并将视频图像进行拼接处理，获得拼接后的全景图像；
其中，根据摄像机个数确定相邻两个摄像机之间的主光轴夹角，包括：
将所述摄像机按照获取的个数，等间距排列在所述要拍摄视频的场景内；
根据摄像机的视角，利用视角设置模型获取每相邻两个摄像机之间的主光轴夹角，其中，所述视角设置模型为：
Figure 90573DEST_PATH_IMAGE001
其中，ω表示每相邻两个摄像机之间的主光轴夹角；n表示确定的摄像机个数；α表示摄像机对应的视角角度；
Figure DEST_PATH_IMAGE003A
表示所要拍摄的全景范围所需的视角角度；
启动多个摄像机，并对摄像机的拍摄一致性进行校验，包括：
同时启动多个摄像机，并记录每个摄像机启动后进入视频拍摄的起始时间点，并判断每个摄像机之间的起始时间点之间的时间差；
根据启动时间调整模型利用每个摄像机的进入视频拍摄的起始时间点，获取每相邻两个摄像机的启动时间间隔，使拍摄时所有摄像机能够在同一时间范围进入视频拍摄阶段；
调整每相邻两个摄像机的启动时间之后，依次获取每相邻两个摄像机在同一时刻拍摄的同一帧的视频图像；并判断视频图像的重叠区域的面积是否符合预设区域阈值；如果所述每相邻两个摄像机在同一时刻拍摄的同一帧的视频图像的重叠区域大于预设的区域阈值，则启动对所采集的视频图像进行拼接处理，其中，启动时间调整模型为：
Figure 804451DEST_PATH_IMAGE004
其中，T g 表示每相邻两个摄像机中，启动时间晚的摄像机与启动时间早的摄像机之间的调整后的启动时间间隔；启动时间较晚的摄像机提前T g 时间进行启动；T 0表示摄像机从启动开机到进入视频拍摄的标准时间段；T i 表示第i对相邻两个摄像机之间的进入视频拍摄的起始时间点之间的时间差；m表示所有摄像机中，所有的相邻两个摄像机的对数；ε表示时间调整系数，所述时间调整系数的取值范围为0.81-0.95。
2.根据权利要求1所述方法，其特征在于，所述根据所要拍摄视频的角度范围设置摄像机个数，包括：
确定所要拍摄的全景范围；
根据全景范围利用个数确定模型确定摄像机个数；所述个数确定模型如下：
Figure 302297DEST_PATH_IMAGE005
其中，n表示确定的摄像机个数；α表示摄像机对应的视角角度；
Figure DEST_PATH_IMAGE003AA
表示所要拍摄的全景范围所需的视角角度；λ表示视角调整角度，λ的取值范围为20°至26°。
3.根据权利要求1所述方法，其特征在于，判断视频图像的重叠区域的面积是否符合预设区域阈值，包括：
判断视频图像的重叠区域的面积与预设区域阈值之间的大小关系，如果所述相邻两个摄像机在同一时刻拍摄的同一帧的视频图像的重叠区域大于预设的区域阈值，则启动对所采集的视频图像进行拼接处理；
如果所述相邻两个摄像机在同一时刻拍摄的同一帧的视频图像的重叠区域小于预设的区域阈值，将所述相邻两个摄像机标记为目标调整摄像机，并利用角度补偿模型对所述目标调整摄像机之间的主光轴角度进行补偿调整，所述角度补偿模型如下：
Figure 822140DEST_PATH_IMAGE006
其中，ω t 表示通过角度补偿模型调整后的每相邻两个摄像机之间的主光轴夹角，h表示角度调整系数，所述角度调整系数的范围为1.12-1.23；S 0表示视频图像的预设区域阈的区域面积值，S表示实际视频图像的重叠区域的面积值。
4.根据权利要求1所述方法，其特征在于，所述拼接方法通过 拼接***来实现，所述拼接***包括：
数量及角度确定模块，用于根据所要拍摄视频的角度范围设置摄像机个数，并根据摄像机个数确定相邻两个摄像机之间的主光轴夹角，其中，多个摄像机的视角相同；
启动校验模块，用于启动多个摄像机，并对摄像机的拍摄一致性进行校验；
全景拼接模块，用于将完成一致性校验的全部摄像机在同一时间点获取同一帧视频图像，并将视频图像进行拼接处理，获得拼接后的全景图像。
5.根据权利要求4所述方法，其特征在于，所述数量及角度确定模块包括：
全景范围确定模块，用于确定所要拍摄的全景范围；
个数确定模块，用于根据全景范围利用个数确定模型确定摄像机个数。
6.根据权利要求4所述方法，其特征在于，所述数量及角度确定模块，还包括：
排列控制模块，用于将所述摄像机按照获取的个数，等间距排列在所述要拍摄视频的场景内；
角度设置模块，用于根据摄像机的视角，利用视角设置模型获取每相邻两个摄像机之间的主光轴夹角。
7.根据权利要求4所述方法，其特征在于，所述启动校验模块包括：
时间获取模块，用于同时启动多个摄像机，并记录每个摄像机启动后进入视频拍摄的起始时间点，并判断每个摄像机之间的起始时间点之间的时间差；
时间间隔获取模块，用于根据启动时间调整模型利用每个摄像机的进入视频拍摄的起始时间点，获取每相邻两个摄像机的启动时间间隔，使拍摄时所有摄像机能够在同一时间范围进入视频拍摄阶段；
调整模块，用于调整每相邻两个摄像机的启动时间之后，依次获取每相邻两个摄像机在同一时刻拍摄的同一帧的视频图像；并判断视频图像的重叠区域的面积是否符合预设区域阈值；如果所述每相邻两个摄像机在同一时刻拍摄的同一帧的视频图像的重叠区域大于预设的区域阈值，则启动对所采集的视频图像进行拼接处理。
8.根据权利要求7所述方法，其特征在于，所述调整模块包括：
判断启动模块，用于判断视频图像的重叠区域的面积与预设区域阈值之间的大小关系，如果所述相邻两个摄像机在同一时刻拍摄的同一帧的视频图像的重叠区域大于预设的区域阈值，则启动对所采集的视频图像进行拼接处理；
角度补偿模块，用于如果所述相邻两个摄像机在同一时刻拍摄的同一帧的视频图像的重叠区域小于预设的区域阈值，将所述相邻两个摄像机标记为目标调整摄像机，并利用角度补偿模型对所述目标调整摄像机之间的主光轴角度进行补偿调整。
CN202011481837.4A 2020-12-15 2020-12-15 一种可堆叠的全景视频实时拼接方法 Active CN112616018B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011481837.4A CN112616018B (zh) 2020-12-15 2020-12-15 一种可堆叠的全景视频实时拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011481837.4A CN112616018B (zh) 2020-12-15 2020-12-15 一种可堆叠的全景视频实时拼接方法

Publications (2)

Publication Number Publication Date
CN112616018A CN112616018A (zh) 2021-04-06
CN112616018B true CN112616018B (zh) 2022-03-11

Family

ID=75239395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011481837.4A Active CN112616018B (zh) 2020-12-15 2020-12-15 一种可堆叠的全景视频实时拼接方法

Country Status (1)

Country Link
CN (1) CN112616018B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114286017A (zh) * 2021-11-15 2022-04-05 华能国际电力股份有限公司上海石洞口第二电厂 基于自由视角的超大尺度电力设备图像采集方法及***
CN114827749A (zh) * 2022-04-21 2022-07-29 应急管理部天津消防研究所 一种多视点全景视频无缝切换播放的方法
CN115100209B (zh) * 2022-08-28 2022-11-08 电子科技大学 一种基于摄像机的图像质量的修正方法及修正***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103618881A (zh) * 2013-12-10 2014-03-05 深圳英飞拓科技股份有限公司 多镜头全景拼接控制方法及装置
CN104618648A (zh) * 2015-01-29 2015-05-13 桂林长海发展有限责任公司 一种全景视频拼接***及拼接方法
CN105306837A (zh) * 2015-10-27 2016-02-03 浙江宇视科技有限公司 多图像拼接方法及装置
CN106303497A (zh) * 2016-08-12 2017-01-04 南方科技大学 一种虚拟现实内容生成方法和装置
CN108234933A (zh) * 2016-12-21 2018-06-29 上海杰图软件技术有限公司 基于多路图像信号处理的实时拼接全景影像的方法及***
CN111405196A (zh) * 2019-12-31 2020-07-10 智慧互通科技有限公司 一种基于视频拼接的车辆管理的方法及***

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103618881A (zh) * 2013-12-10 2014-03-05 深圳英飞拓科技股份有限公司 多镜头全景拼接控制方法及装置
CN104618648A (zh) * 2015-01-29 2015-05-13 桂林长海发展有限责任公司 一种全景视频拼接***及拼接方法
CN105306837A (zh) * 2015-10-27 2016-02-03 浙江宇视科技有限公司 多图像拼接方法及装置
CN106303497A (zh) * 2016-08-12 2017-01-04 南方科技大学 一种虚拟现实内容生成方法和装置
CN108234933A (zh) * 2016-12-21 2018-06-29 上海杰图软件技术有限公司 基于多路图像信号处理的实时拼接全景影像的方法及***
CN111405196A (zh) * 2019-12-31 2020-07-10 智慧互通科技有限公司 一种基于视频拼接的车辆管理的方法及***

Also Published As

Publication number Publication date
CN112616018A (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN112616018B (zh) 一种可堆叠的全景视频实时拼接方法
CN107659774B (zh) 一种基于多尺度相机阵列的视频成像***及视频处理方法
CN110769246B (zh) 一种检测监控设备故障的方法、装置
CN111583116A (zh) 基于多摄像机交叉摄影的视频全景拼接融合方法及***
CN110800282B (zh) 云台调整方法、云台调整设备、移动平台及介质
CN105657333B (zh) 视讯幕墙的自动安装方法及其***
US20160034784A1 (en) Abnormality detection apparatus, abnormality detection method, and recording medium storing abnormality detection program
CN105551032B (zh) 一种基于视觉伺服的杆塔图像采集***及其方法
CN103226694B (zh) 一种实时人像获取比对和预警布控***及其使用方法
CN103139492B (zh) 摄像装置、摄像方法以及监视***
CN104618691A (zh) 一种全景亮度平衡调节***及调节方法
CN105611184A (zh) 数码影像装置白平衡调试方法及调试***
CN105472345A (zh) 六路拼接式实时全景成像装置
CN109326125B (zh) 基于嵌入式***的图片质量诊断***及诊断方法
CN115578662A (zh) 无人机前端图像处理方法、***、存储介质及设备
CN112927214A (zh) 建筑物缺陷定位方法、***和存储介质
WO2018214838A1 (zh) 监控抓拍方法、装置及***
CN115810041A (zh) 一种基于多摄像头视觉的线缆尺寸检测方法及***
US20220232173A1 (en) Method and device of image processing, imaging system and storage medium
CN104469153A (zh) 快速调焦方法和***
CN106991701A (zh) 一种用于全景拍摄设备参数的标定***及方法
CN109600556B (zh) 一种基于单反相机的高质量精密全景成像***及方法
CN107465880A (zh) 对焦方法、装置、终端和计算机可读存储介质
CN112616017B (zh) 基于多摄像机交叉摄影的视频全景拼接融合方法和***
CN108540720B (zh) 一种用于子弹时间自动选取最优图像的***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 518000 Room 201, building 4, software industry base, No. 19, 17 and 18, Haitian 1st Road, Binhai community, Yuehai street, Nanshan District, Shenzhen, Guangdong

Patentee after: Shenzhen qidebao Technology Co.,Ltd.

Address before: 518000 1705, satellite building, 61 Gaoxin South 9th Road, Gaoxin high tech Zone community, Yuehai street, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen Puhui Zhilian Technology Co.,Ltd.