CN107948544A - 一种基于fpga的多路视频拼接***及方法 - Google Patents

一种基于fpga的多路视频拼接***及方法 Download PDF

Info

Publication number
CN107948544A
CN107948544A CN201711212165.5A CN201711212165A CN107948544A CN 107948544 A CN107948544 A CN 107948544A CN 201711212165 A CN201711212165 A CN 201711212165A CN 107948544 A CN107948544 A CN 107948544A
Authority
CN
China
Prior art keywords
image
video
fpga
coordinate
splicing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201711212165.5A
Other languages
English (en)
Inventor
许会
张智福
余思洋
陈捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Full Image Technology Co Ltd
Original Assignee
Changsha Full Image Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Full Image Technology Co Ltd filed Critical Changsha Full Image Technology Co Ltd
Priority to CN201711212165.5A priority Critical patent/CN107948544A/zh
Publication of CN107948544A publication Critical patent/CN107948544A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

一种基于FPGA的多路视频拼接***及方法，其中拼接***包括多个鱼眼摄像头、FPGA芯片、ASIC视频处理芯片；所有鱼眼摄像头以等间隔的角度固定在同一水平面；所述鱼眼摄像头的视频数据输入到FPGA中，在FPGA中进行图像畸变矫正与图像融合，完成后将视频数据传输给ASIC视频处理芯片，将视频进行压缩编码，以形成可传输的拼接视频。本发明采用FPGA作为多路视频拼接处理的核心，FPGA是并行运作的，单个时钟周期内能进行大量的操作，特别适合用于视频图像处理，使得拼接操作同步与视频的采集，达到视频实时处理的效果。

Description

一种基于FPGA的多路视频拼接***及方法
技术领域
本发明属于图像通信技术领域，具体涉及一种基于FPGA的多路视频拼接***及方法。
背景技术
视频拼接技术采用以计算机技术以及图像处理为核心，从多个视频图像采集设备上同步获得位置及角度不同并有部分重叠区域的视频图像，通过图像配准及融合等技术而得到多路视频拼接图像。
目前，多路视频拼接***的绝大部分都是采用嵌入式ARM方法实现的，嵌入式平台的处理器是串行处理的，它的处理速度有限，对数据量大以及计算复杂的视频拼接方法难以满足实时性要求；嵌入式平台的功耗通常很大，由于视频拼接要求处理大量数据，运算量大，这将使得处理器功耗增大，进而增加了多路视频拼接***的散热设计难度；为了满足视频拼接的实时性要求，则必须采用高性能的嵌入式处理器，从而增加设计的成本。因此，基于嵌入式平台的多路视频拼接技术很难在移动平台上推广。
发明内容
现有技术中，多路视频拼接***的绝大部分都是采用嵌入式ARM方法实现的，嵌入式平台的处理器是串行处理的，它的处理速度有限，对数据量大以及计算复杂的视频拼接方法难以满足实时性要求，为了解决这种问题，本发明提供一种基于FPGA的多路视频拼接***，具体方案如下：
一种基于FPGA的多路视频拼接***，包括：
多个鱼眼摄像头、FPGA芯片、ASIC视频处理芯片；所有鱼眼摄像头以等间隔的角度固定在同一水平面；所述鱼眼摄像头的视频数据输入到FPGA中，在FPGA中进行图像畸变矫正与图像融合，完成后将视频数据传输给ASIC视频处理芯片，将视频进行压缩编码，以形成可传输的拼接视频。
其中，在上述***中，所述***还包括实时时钟模块和GPS模块，所述实时时钟模块和所述GPS模块用于在视频或图片中添加拍摄时间和拍摄地点信息。
其中，在上述***中，所述***还包括陀螺仪，用于防止拍摄过程中产生的抖动，以提升拍摄的质量。
其中，在上述***中，所述***还包括SD卡和WIFI通讯模块，以通过WIFI连接智能终端，将视频数据传输到智能终端，在智能终端的APP中可进行实时预览拼接视频，并通过智能终端可发送拍摄指令，当ASIC视频处理芯片接收到拍摄指令后，将视频或图片保存在设备的SD卡中。
本发明提供的基于FPGA的多路视频拼接***，该***可制作成手持式设备，便于携带，本发明制作成便携式的手持设备，并且可自带电池，可以随身携带进行全景视频拍摄，通过WIFI连接在手机APP上进行实时预览，同时设备实现视频存储功能，可将拍摄的视频储存在SD卡中。
本发明还提供了一种基于FPGA的多路视频拼接方法，具体包括如下步骤：
步骤S1，初始化多路视频拼接***，并使用同一配置线同时对多路视频拼接***的每个摄像头进行初始化配置，所述初始化配置包括视频处理芯片、FPGA芯片、图像ISP设置以及视频多拼接模式的初始化配置文件；
步骤S2，采集图像，并通过FPGA实时地读取每路摄像头的视频数据，以进行图像的畸变矫正；
步骤S3，将畸变矫正的视频数据通过FPGA进行图像融合；
步骤S4，将图像融合后的视频数据进行视频压缩编码处理，生成可传输的拼接视频。
其中，在上述方法中，所述步骤S2中多路视频拼接***采用全套自主可控的图像ISP处理算法进行图像采集，具体包括；
首先，利用多路视频拼接***的各个摄像头采集Bayer格式的Raw图像；
然后，将Raw图像发送给ISP，并经过ISP算法处理，输出RGB空间域的图像给后续的视频采集单元；
其中，该***提供的自主可控的ISP处理算法具体包括自动白平衡(AWB)校正、色彩校正矩阵(CCM)、镜头阴影校正(LSC)以及颜色紫边校正(CAC)。
其中，在上述方法中，所述步骤S2采用计算坐标映射表的方法进行图像的畸变矫正，具体包括如下步骤：
步骤S21：对给定的多路视频拼接***，利用棋盘格标定方法计算出各个镜头的内参数和畸变系数，相邻镜头之间的空间关系参数；
步骤S22：利用镜头的内参数和畸变系数以及镜头之间的空间关系参数计算出原始图像与目标图像之间的坐标映射表,坐标映射表保存了各个镜头采集的原始图像与经过图像拼接方法形成的目标图像中像素点坐标之间的一对多的对应关系,其中，目标图像为去畸变的图像；
步骤S23：根据所述的坐标映射表将各个鱼眼镜头拍摄到的原始图片映射到目标图像上，将所述目标图像中的像素点作为目标像素点，利用所述预设坐标映射表，确定所述目标像素点与所述待处理原始图像上的源像素点的对应关系；
其中，在上述方法中，所述步骤S2中确定所述目标像素点与所述待处理原始图像上的源像素点的对应关系具体包括：
在原始图像中查找与目标像素点相对应的源像素点，其计算方法如下：
Dst(x，y)＝Src(Lut_x(x，y)，Lut_y(x，y))
其中，Dst(x，y)表示坐标为(x，y)的目标像素点，Lut_x(x，y)表示目标像素点坐标(x，y)经过预设坐标映射表映射到源图像中X方向上的坐标值，Lut_y(x，y)表示目标像素点坐标(x，y)经过预设坐标映射表映射到源图像中Y方向上的坐标值，Src(Lut_x(x，y)，Lut_y(x，y))表示目标像素点坐标(x，y)经过预设坐标映射表映射到源图像中的位置；
当目标像素点坐标映射到源图像中得到的坐标值不为整数时，将非整数坐标进行插值运行，生成非整数坐标下的整数像素值，采用双立方插值算法生成整数像素值，双立方插值算法的计算公式如下：
其中，(i′，j′)表示待计算像素点在4×4的采样区域中包含小数部分的像素坐标，P(i′，j′)表示4×4的采样区域中的16个像素值与各自的权重做卷积和之后形成的新像素值，dx表示X方向的小数坐标，dy表示Y方向的小数坐标，m表示4×4的采样区域中X方向上的坐标，n表示4×4的采样区域中Y方向上的坐标，P(m，n)表示4×4的采样区域中的坐标为(m，n)的像素值，R(.)表示插值表达式，常见的有基于三角取值、Bell分布表达式、B样条曲线表达式，本实施例中采用B样条曲线表达式进行插值，数学公式如下：
利用双立方插值对目标图像中每一个目标像素点进行投影映射后，保存目标像素点与原始图像中有效像素的对应关系，目标像素点与源像素点的对应关系在目标图像中的重叠区域是一种一对二的关系，在其他区域是一对一的关系。
其中，在上述方法中，所述步骤S3中将畸变矫正的视频数据通过FPGA进行图像融合具体包括：
根据所述步骤S2计算出来的坐标映射表，由于各个原始图像中相邻两张图片之间存在一定的重叠区域，对于重叠区域，则预设坐标映射表为其保存两组对应关系；
判断利用所述目标像素点确定出的所述源像素点的数目是否唯一；如果所述数目唯一，则判定所述目标像素点未位于所述重叠区域；否则判定所述目标像素点位于所述重叠区域；
采用线性加权的方法对重叠区域的两个源像素点的像素值做α混合得到混合像素值，计算方法如下:
Idst(x，y)＝α×Isrc1(x，y)+(1-α)×Isrc2(x，y)
其中，Idst(x，y)表示目标图像中坐标(x，y)处的像素值，Isrc1(x，y)表示原始图像1中坐标(x，y)处的像素值，Lsrc2(x，y)表示原始图像2中坐标(x，y)处的像素值，α表示加权系数；
采用线性加权的方法可以使得重叠部分左边图像“渐出”，而重叠部分右边图像“渐入”，这就实现了平缓的过度，使得图像拼接看起来自然。
其中，在上述方法中，所述步骤S4中通过ASIC视频处理芯片对视频数据进行压缩，并通过WIFI将视频输出到移动终端。
本发明提供的基于FPGA的多路视频拼接***，该***可制作成手持式设备，便于携带，本发明制作成便携式的手持设备，并且可自带电池，可以随身携带进行全景视频拍摄，通过WIFI连接在手机APP上进行实时预览，同时设备实现视频存储功能，可将拍摄的视频储存在SD卡中。
本发明提供的基于FPGA的多路视频拼接***及方法可实现高质量视频实时拼接，以往的拼接技术大都是基于图像进行拼接，由于算法复杂度大，把图像拼接技术移植到视频上时未能达到实时处理的效果，本发明利用FPGA的并行处理优点再通过算法的改进，使得拼接操作同步与视频的采集，达到视频实时处理的效果。
附图说明
图1是本发明基于FPGA的多路视频拼接***提供的一实例的结构示意图；
图2是本发明基于FPGA的多路视频拼接方法提供的一实例的方法流程图；
图3是本发明的实施例提供的线性加权图像融合示意图；
图4是本发明实施例提供的图像插值示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
视频拼接技术采用以计算机技术以及图像处理为核心，从多个视频图像采集设备上同步获得位置及角度不同并有部分重叠区域的视频图像，通过图像配准及融合等技术而得到多路视频拼接图像。
目前，多路视频拼接***的绝大部分都是采用嵌入式ARM方法实现的，嵌入式平台的处理器是串行处理的，它的处理速度有限，对数据量大以及计算复杂的视频拼接方法难以满足实时性要求；嵌入式平台的功耗通常很大，由于视频拼接要求处理大量数据，运算量大，这将使得处理器功耗增大，进而增加了多路视频拼接***的散热设计难度；为了满足视频拼接的实时性要求，则必须采用高性能的嵌入式处理器，从而增加设计的成本。本发明采用FPGA作为多路视频拼接处理的核心，FPGA是并行运作的，单个时钟周期内能进行大量的操作，特别适合用于视频图像处理。
本发明提供的基于FPGA的多路视频拼接***，如图1所示，该***包括：
多个鱼眼摄像头、FPGA芯片、ASIC视频处理芯片；所有鱼眼摄像头以等间隔的角度固定在同一水平面；所述鱼眼摄像头的视频数据输入到FPGA中，在FPGA中进行图像畸变矫正与图像融合，完成后将视频数据传输给ASIC视频处理芯片，将视频进行压缩编码，以形成可传输的拼接视频。
优选地，本发明的多路视频拼接***采用了4个鱼眼摄像头，均满足横向视场角度为100度，纵向视场角度为200度，且每个鱼眼摄像头可输出的视频分辨率为1920*1080，实时输出的拼接视频的帧率为30fps。
4个摄像头间隔90度被固定在采集设备中，且始终保持在同一水平面，相对位置固定不变，因此，设备所采集的图像质量较高，不会出现旋转、不在同一水平面等视频拼接不起来的情况。
进一步优选地，本发明的多路视频拼接***所采集的数据在FPGA芯片的RAM或FIFO中，以将4个鱼眼摄像头的异步信号进行同步处理。
具体实施中，所述***还包括实时时钟模块和GPS模块，所述实时时钟模块和所述GPS模块用于在视频或图片中添加拍摄时间和拍摄地点信息。
具体实施中，所述***还包括陀螺仪，用于防止拍摄过程中产生的抖动，以提升拍摄的质量。
具体实施中，所述***还包括SD卡和WIFI通讯模块，以通过WIFI连接智能终端，将视频数据传输到智能终端，在智能终端的APP中可进行实时预览拼接视频，并通过智能终端可发送拍摄指令，当ASIC视频处理芯片接收到拍摄指令后，将视频或图片保存在设备的SD卡中，其中，智能终端为手机，通过手机预置的APP即可下载并预览拼接视频。
进一步地，本发明的多路视频拼接***支持外接麦克风输入，可实现音视频的同步，此外，多路视频拼接***的HDMI支持音频输出。
进一步地，本发明的多路视频拼接***支持RTMP推流的直播协议，***通过网线接入Internet，可实现4K高清直播。
本发明提供的基于FPGA的多路视频拼接***，该***可制作成手持式设备，便于携带，本发明制作成便携式的手持设备，并且可自带电池，可以随身携带进行全景视频拍摄，通过WIFI连接在手机APP上进行实时预览，同时设备实现视频存储功能，可将拍摄的视频储存在SD卡中。
本发明还提供了一种基于FPGA的多路视频拼接方法，如图2所示，该方法具体包括如下步骤：
步骤S1，初始化多路视频拼接***，并使用同一配置线同时对多路视频拼接***的每个摄像头进行初始化配置，所述初始化配置包括视频处理芯片、FPGA芯片、图像ISP设置以及视频多拼接模式的初始化配置文件；
步骤S2，采集图像，并通过FPGA实时地读取每路摄像头的视频数据，以进行图像的畸变矫正；
步骤S3，将畸变矫正的视频数据过FPGA进行图像融合；
步骤S4，将图像融合后的视频数据进行视频压缩编码处理，生成可传输的拼接视频。
具体实施中，所述步骤S2中多路视频拼接***采用全套自主可控的图像ISP处理算法进行图像采集，具体包括；
首先，利用多路视频拼接***的各个摄像头采集Bayer格式的Raw图像；
然后，将Raw图像发送给ISP，并经过ISP算法处理，输出RGB空间域的图像给后续的视频采集单元；
其中，该***提供的自主可控的ISP处理算法具体包括自动白平衡(AWB)校正、色彩校正矩阵(CCM)、镜头阴影校正(LSC)以及颜色紫边校正(CAC)。
基于自主可控的ISP处理算法可以使拍摄的内容更接近它本身的色彩，提高成像的质量，获得更好的用户体验。
进一步优选地，本发明的多路视频拼接***采用了四种不同场景的拼接模式，分别是微距模式、室内模式、室外模式以及航拍模式。
在不同的拼接模式，设定不同的拼接距离、适用范围，以此来适用于多种场景的视频拼接，确保其在不同的场景下达到无缝拼接。
该***采用的视频多拼接模式与现有的单一拼接模式相比，可以改善视频拼接过程中出现的拼接重影、模糊等问题。
具体实施中，所述步骤S2采用计算坐标映射表的方法进行图像的畸变矫正，具体包括如下步骤：
步骤S21：对给定的多路视频拼接***，利用棋盘格标定方法计算出各个镜头的内参数和畸变系数，相邻镜头之间的空间关系参数；
步骤S22：利用镜头的内参数和畸变系数以及镜头之间的空间关系参数计算出原始图像与目标图像之间的坐标映射表,坐标映射表保存了各个镜头采集的原始图像与经过图像拼接方法形成的目标图像中像素点坐标之间的一对多的对应关系,其中，目标图像为去畸变的图像；
步骤S23：根据所述的坐标映射表将各个鱼眼镜头拍摄到的原始图片映射到目标图像上，将所述目标图像中的像素点作为目标像素点，利用所述预设坐标映射表，确定所述目标像素点与所述待处理原始图像上的源像素点的对应关系；
其中，在上述方法中，所述步骤S2中确定所述目标像素点与所述待处理原始图像上的源像素点的对应关系具体包括：
在原始图像中查找与目标像素点相对应的源像素点，其计算方法如下：
Dst(x，y)＝Src(Lut_x(x，y)，Lut_y(x，y))
其中，Dst(x，y)表示坐标为(x，y)的目标像素点，Lut_x(x，y)表示目标像素点坐标(x，y)经过预设坐标映射表映射到源图像中X方向上的坐标值，Lut_y(x，y)表示目标像素点坐标(x，y)经过预设坐标映射表映射到源图像中Y方向上的坐标值，Src(Lut_x(x，y)，Lut_y(x，y))表示目标像素点坐标(x，y)经过预设坐标映射表映射到源图像中的位置；
由于目标像素点坐标映射到源图像中得到的坐标值不一定是整数，非整数坐标下对应的像素值就表现为小数，考虑到图像的像素值是用整数值表示的，因此需要对得到的非整数坐标进行插值运行，生成非整数坐标下的整数像素值，采用双立方插值算法生成整数像素值，双立方插值算法的示意图如图3所示，双立方插值算法的计算公式如下：
其中，(i′，j′)表示待计算像素点在4×4的采样区域中包含小数部分的像素坐标，P(i′，j′)表示4×4的采样区域中的16个像素值与各自的权重做卷积和之后形成的新像素值，dx表示X方向的小数坐标，dy表示Y方向的小数坐标，m表示4×4的采样区域中X方向上的坐标，n表示4×4的采样区域中Y方向上的坐标，P(m，n)表示4×4的采样区域中的坐标为(m，n)的像素值，R(.)表示插值表达式，常见的有基于三角取值、Bell分布表达式、B样条曲线表达式，本实施例中采用B样条曲线表达式进行插值，数学公式如下：
利用双立方插值对目标图像中每一个目标像素点进行投影映射后，保存目标像素点与原始图像中有效像素的对应关系，目标像素点与源像素点的对应关系在目标图像中的重叠区域是一种一对二的关系，在其他区域是一对一的关系。
具体实施中，所述步骤S3中将畸变矫正的视频数据通过FPGA进行图像融合具体包括：
根据所述步骤S2计算出来的坐标映射表，由于各个原始图像中相邻两张图片之间存在一定的重叠区域，对于重叠区域，则预设坐标映射表为其保存两组对应关系；
判断利用所述目标像素点确定出的所述源像素点的数目是否唯一；如果所述数目唯一，则判定所述目标像素点未位于所述重叠区域；否则判定所述目标像素点位于所述重叠区域；
采用线性加权的方法对重叠区域的两个源像素点的像素值做α混合得到混合像素值，如图4所示，计算方法如下:
Idst(x，y)＝α×Isrc1(x，y)+(1-α)×Isrc2(x，y)
其中，Idst(x，y)表示目标图像中坐标(x，y)处的像素值，Isrc1(x，y)表示原始图像1中坐标(x，y)处的像素值，Isrc2(x，y)表示原始图像2中坐标(x，y)处的像素值，α表示加权系数；
采用线性加权的方法可以使得重叠部分左边图像“渐出”，而重叠部分右边图像“渐入”，这就实现了平缓的过度，使得图像拼接看起来自然。
线性加权的方法需要在图像融合前确定融合的区域，在本发明实施例中选取的融合宽度为128个像素，然后选出一条尽可能理想的融合线，在本发明实施例中，采用的是动态规划的方法计算融合线。
具体实施中，所述步骤S4中通过ASIC视频处理芯片对视频数据进行压缩，并通过WIFI将视频输出到移动终端，以便在移动设备端查看。
相对于嵌入式处理器，FPGA是并行运作的，单个时钟周期内能进行大量的操作，特别适用于视频图像处理，且FPAG具有功耗低的特点，采用FPGA作为处理的核心将在功耗和成本都得到降低。
本发明采用FPGA作为多路视频拼接处理的核心，FPGA是并行运作的，单个时钟周期内能进行大量的操作，特别适合用于视频图像处理，本发明设计了低资源占用的视频拼接算法与自主可控的ISP处理算法，这两种算法无需使用专用的大容量存储器，仅使用FPGA内部的储存资源，算法实现简单，在占用逻辑资源少的同时节省了外部存储器的开销，且FPGA具有功耗低的特点，采用FPGA作为核心将在功耗和成本都得到降低。
本发明提供的基于FPGA的多路视频拼接方法可实现高质量视频实时拼接，以往的拼接技术大都是基于图像进行拼接，由于算法复杂度大，把图像拼接技术移植到视频上时未能达到实时处理的效果，本发明利用FPGA的并行处理优点再通过算法的改进，使得拼接操作同步与视频的采集，达到视频实时处理的效果。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种基于FPGA的多路视频拼接***，其特征在于，包括多个鱼眼摄像头、FPGA芯片、ASIC视频处理芯片；所有鱼眼摄像头以等间隔的角度固定在同一水平面；所述鱼眼摄像头的视频数据输入到FPGA中，在FPGA中进行图像畸变矫正与图像融合，完成后将视频数据传输给ASIC视频处理芯片，将视频进行压缩编码，以形成可传输的拼接视频。
2.根据权利要求1所述的***，其特征在于，所述***还包括实时时钟模块和GPS模块，所述实时时钟模块和所述GPS模块用于在视频或图片中添加拍摄时间和拍摄地点信息。
3.根据权利要求1所述的***，其特征在于，所述***还包括陀螺仪，用于防止拍摄过程中产生的抖动，以提升拍摄的质量。
4.根据权利要求1所述的***，其特征在于，所述***还包括SD卡和WIFI通讯模块，以通过WIFI连接智能终端，将视频数据传输到智能终端，在智能终端的APP中可进行实时预览拼接视频，并通过智能终端可发送拍摄指令，当ASIC视频处理芯片接收到拍摄指令后，将视频或图片保存在设备的SD卡中。
5.一种基于权利要求1至4任一项所述的基于FPGA的多路视频拼接***的拼接方法，其特征在于，包括如下步骤：
步骤S1，初始化多路视频拼接***，并使用同一配置线同时对多路视频拼接***的每个摄像头进行初始化配置，所述初始化配置包括视频处理芯片、FPGA芯片、图像ISP设置以及视频多拼接模式的初始化配置文件；
步骤S2，采集图像，并通过FPGA实时地读取每路摄像头的视频数据，以进行图像的畸变矫正；
步骤S3，将畸变矫正的视频数据通过FPGA进行图像融合；
步骤S4，将图像融合后的视频数据进行视频压缩编码处理，生成可传输的拼接视频。
6.根据权利要求5所述的方法，其特征在于，所述步骤S2中多路视频拼接***采用全套自主可控的图像ISP处理算法进行图像采集，具体包括；
首先，利用多路视频拼接***的各个摄像头采集Bayer格式的Raw图像；
然后，将Raw图像发送给ISP，并经过ISP算法处理，输出RGB空间域的图像给后续的视频采集单元；
其中，该***提供的自主可控的ISP处理算法具体包括自动白平衡(AWB)校正、色彩校正矩阵(CCM)、镜头阴影校正(LSC)以及颜色紫边校正(CAC)。
7.根据权利要求6所述的方法，其特征在于，所述步骤S2采用计算坐标映射表的方法进行图像的畸变矫正，具体包括如下步骤：
步骤S21：对给定的多路视频拼接***，利用棋盘格标定方法计算出各个镜头的内参数和畸变系数，相邻镜头之间的空间关系参数；
步骤S22：利用镜头的内参数和畸变系数以及镜头之间的空间关系参数计算出原始图像与目标图像之间的坐标映射表,坐标映射表保存了各个镜头采集的原始图像与经过图像拼接方法形成的目标图像中像素点坐标之间的一对多的对应关系,其中，目标图像为去畸变的图像；
步骤S23：根据所述的坐标映射表将各个鱼眼镜头拍摄到的原始图片映射到目标图像上，将所述目标图像中的像素点作为目标像素点，利用所述预设坐标映射表，确定所述目标像素点与所述待处理原始图像上的源像素点的对应关系。
8.根据权利要求7所述的方法，其特征在于，所述步骤S2中确定所述目标像素点与所述待处理原始图像上的源像素点的对应关系具体包括：
在原始图像中查找与目标像素点相对应的源像素点，其计算方法如下：
Dst(x，y)＝Src(Lut_x(x，y)，Lut_y(x，y))
其中，Dst(x，y)表示坐标为(x，y)的目标像素点，Lut_x(x，y)表示目标像素点坐标(x，y)经过预设坐标映射表映射到源图像中X方向上的坐标值，Lut_y(x，y)表示目标像素点坐标(x，y)经过预设坐标映射表映射到源图像中Y方向上的坐标值，Scr(Lut_x(x，y)，LUt_y(x，y)表示目标像素点坐标(x，y)经过预设坐标映射表映射到源图像中的位置；
当目标像素点坐标映射到源图像中得到的坐标值不为整数时，将非整数坐标进行插值运行，生成非整数坐标下的整数像素值，采用双立方插值算法生成整数像素值，双立方插值算法的计算公式如下：
其中，(i′，j′)表示待计算像素点在4×4的采样区域中包含小数部分的像素坐标，P(i′，j′)表示4×4的采样区域中的16个像素值与各自的权重做卷积和之后形成的新像素值，dx表示X方向的小数坐标，dy表示Y方向的小数坐标，m表示4×4的采样区域中X方向上的坐标，n表示4×4的采样区域中Y方向上的坐标，P(m，n)表示4×4的采样区域中的坐标为(m，n)的像素值，R(.)表示插值表达式，常见的有基于三角取值、Bell分布表达式、B样条曲线表达式，本实施例中采用B样条曲线表达式进行插值，数学公式如下：
利用双立方插值对目标图像中每一个目标像素点进行投影映射后，保存目标像素点与原始图像中有效像素的对应关系，目标像素点与源像素点的对应关系在目标图像中的重叠区域是一种一对二的关系，在其他区域是一对一的关系。
9.根据权利要求8所述的方法，其特征在于，所述步骤S3中将畸变矫正的视频数据通过FPGA进行图像融合具体包括：
根据所述步骤S2计算出来的坐标映射表，由于各个原始图像中相邻两张图片之间存在一定的重叠区域，对于重叠区域，则预设坐标映射表为其保存两组对应关系；
判断利用所述目标像素点确定出的所述源像素点的数目是否唯一；如果所述数目唯一，则判定所述目标像素点未位于所述重叠区域；否则判定所述目标像素点位于所述重叠区域；
采用线性加权的方法对重叠区域的两个源像素点的像素值做α混合得到混合像素值，计算方法如下:
Idst(x，y)＝α×Isrc1(x，y)+(1-α)×Isrc2(x，y)
其中，Idst(x，y)表示目标图像中坐标(x，y)处的像素值，Isrc1(x，y)表示原始图像1中坐标(x，y)处的像素值，Isrc2(x，y)表示原始图像2中坐标(x，y)处的像素值，α表示加权系数；
采用线性加权的方法可以使得重叠部分左边图像“渐出”，而重叠部分右边图像“渐入”，这就实现了平缓的过度，使得图像拼接看起来自然。
10.根据权利要求9所述的方法，其特征在于，所述步骤S4中通过ASIC视频处理芯片对视频数据进行压缩，并通过WIFI将视频输出到移动终端。
CN201711212165.5A 2017-11-28 2017-11-28 一种基于fpga的多路视频拼接***及方法 Withdrawn CN107948544A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711212165.5A CN107948544A (zh) 2017-11-28 2017-11-28 一种基于fpga的多路视频拼接***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711212165.5A CN107948544A (zh) 2017-11-28 2017-11-28 一种基于fpga的多路视频拼接***及方法

Publications (1)

Publication Number Publication Date
CN107948544A true CN107948544A (zh) 2018-04-20

Family

ID=61950172

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711212165.5A Withdrawn CN107948544A (zh) 2017-11-28 2017-11-28 一种基于fpga的多路视频拼接***及方法

Country Status (1)

Country Link
CN (1) CN107948544A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151341A (zh) * 2018-09-27 2019-01-04 中国船舶重工集团公司第七0九研究所 一种嵌入式平台多源高清视频融合实现***及方法
CN109726697A (zh) * 2019-01-04 2019-05-07 北京灵优智学科技有限公司 融合av视频通讯与ai实物识别的在线视频***及方法
CN110246081A (zh) * 2018-11-07 2019-09-17 浙江大华技术股份有限公司 一种图像拼接方法、装置及可读存储介质
CN110572621A (zh) * 2019-09-26 2019-12-13 湖州南太湖智能游艇研究院 一种全景视频实时拼接的方法
CN110691203A (zh) * 2019-10-21 2020-01-14 湖南泽天智航电子技术有限公司 基于纹理映射的多路全景视频拼接显示方法及其***
CN110910312A (zh) * 2019-11-21 2020-03-24 北京百度网讯科技有限公司 图像处理方法和装置、自动驾驶车辆、电子设备
CN111193877A (zh) * 2019-08-29 2020-05-22 桂林电子科技大学 一种arm-fpga协同的广域视频实时融合方法及嵌入式设备
CN113409719A (zh) * 2021-08-19 2021-09-17 南京芯视元电子有限公司 视频源显示方法、***、微显示芯片和存储介质
WO2022089083A1 (zh) * 2020-10-29 2022-05-05 深圳Tcl数字技术有限公司 Led 电视墙的显示方法、电视和计算机可读存储介质
CN114449245A (zh) * 2022-01-28 2022-05-06 上海瞳观智能科技有限公司 一种基于可编程芯片的实时双路视频处理***及其方法
CN114513675A (zh) * 2022-01-04 2022-05-17 桂林电子科技大学 一种全景视频直播***构建方法
WO2023040540A1 (zh) * 2021-09-15 2023-03-23 Oppo广东移动通信有限公司 图像处理芯片、应用处理芯片、电子设备和图像处理方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151341A (zh) * 2018-09-27 2019-01-04 中国船舶重工集团公司第七0九研究所 一种嵌入式平台多源高清视频融合实现***及方法
CN110246081B (zh) * 2018-11-07 2023-03-17 浙江大华技术股份有限公司 一种图像拼接方法、装置及可读存储介质
CN110246081A (zh) * 2018-11-07 2019-09-17 浙江大华技术股份有限公司 一种图像拼接方法、装置及可读存储介质
CN109726697A (zh) * 2019-01-04 2019-05-07 北京灵优智学科技有限公司 融合av视频通讯与ai实物识别的在线视频***及方法
CN109726697B (zh) * 2019-01-04 2021-07-20 北京灵优智学科技有限公司 融合av视频通讯与ai实物识别的在线视频***及方法
CN111193877A (zh) * 2019-08-29 2020-05-22 桂林电子科技大学 一种arm-fpga协同的广域视频实时融合方法及嵌入式设备
CN111193877B (zh) * 2019-08-29 2021-11-30 桂林电子科技大学 一种arm-fpga协同的广域视频实时融合方法及嵌入式设备
CN110572621A (zh) * 2019-09-26 2019-12-13 湖州南太湖智能游艇研究院 一种全景视频实时拼接的方法
CN110691203A (zh) * 2019-10-21 2020-01-14 湖南泽天智航电子技术有限公司 基于纹理映射的多路全景视频拼接显示方法及其***
CN110691203B (zh) * 2019-10-21 2021-11-16 湖南泽天智航电子技术有限公司 基于纹理映射的多路全景视频拼接显示方法及其***
CN110910312A (zh) * 2019-11-21 2020-03-24 北京百度网讯科技有限公司 图像处理方法和装置、自动驾驶车辆、电子设备
WO2022089083A1 (zh) * 2020-10-29 2022-05-05 深圳Tcl数字技术有限公司 Led 电视墙的显示方法、电视和计算机可读存储介质
CN113409719A (zh) * 2021-08-19 2021-09-17 南京芯视元电子有限公司 视频源显示方法、***、微显示芯片和存储介质
WO2023040540A1 (zh) * 2021-09-15 2023-03-23 Oppo广东移动通信有限公司 图像处理芯片、应用处理芯片、电子设备和图像处理方法
CN114513675A (zh) * 2022-01-04 2022-05-17 桂林电子科技大学 一种全景视频直播***构建方法
CN114449245A (zh) * 2022-01-28 2022-05-06 上海瞳观智能科技有限公司 一种基于可编程芯片的实时双路视频处理***及其方法
CN114449245B (zh) * 2022-01-28 2024-04-05 上海瞳观智能科技有限公司 一种基于可编程芯片的实时双路视频处理***及其方法

Similar Documents

Publication Publication Date Title
CN107948544A (zh) 一种基于fpga的多路视频拼接***及方法
CN108600576B (zh) 图像处理装置、方法和***以及计算机可读记录介质
CN103763479B (zh) 实时高速高清全景视频的拼接装置及其方法
CN105894451B (zh) 全景图像拼接方法和装置
CN104835118A (zh) 通过两路鱼眼摄像头采集全景图像的方法
CN105100615A (zh) 一种图像的预览方法、装置及终端
EP3674967A1 (en) Image signal processing method, apparatus and device
CN201523430U (zh) 一种全景视频监控***
CN107925751A (zh) 用于多视点降噪和高动态范围的***和方法
CN105205796A (zh) 广域图像获取方法和装置
CN108200360A (zh) 一种多鱼眼镜头全景摄像机的实时视频拼接方法
CN107302657B (zh) 适用于物联网的图像采集***
CA2776881A1 (en) Image processing device, image processing method, image processing program, and recording medium
CN109166076B (zh) 多相机拼接的亮度调整方法、装置及便携式终端
JP2022524806A (ja) 画像融合方法及び携帯端末
CN111385461B (zh) 全景拍摄方法及装置、相机、移动终端
CN107169926A (zh) 图像处理方法和装置
CN103544696B (zh) 一种用于fpga实现的缝合线实时查找方法
CN107948547A (zh) 全景视频拼接的处理方法、装置及电子设备
CN106157305B (zh) 基于局部特性的高动态图像快速生成方法
CN110009567A (zh) 用于鱼眼镜头的图像拼接方法和装置
CN109600556B (zh) 一种基于单反相机的高质量精密全景成像***及方法
CN106657947A (zh) 生成图像的方法和摄像装置
WO2022227752A1 (zh) 拍照方法及装置
KR102285756B1 (ko) 전자 시스템 및 영상 처리 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180420

WW01 Invention patent application withdrawn after publication