CN108234966A - 一种基于嵌入式平台的实时全景视频拼接*** - Google Patents

一种基于嵌入式平台的实时全景视频拼接*** Download PDF

Info

Publication number
CN108234966A
CN108234966A CN201810225102.1A CN201810225102A CN108234966A CN 108234966 A CN108234966 A CN 108234966A CN 201810225102 A CN201810225102 A CN 201810225102A CN 108234966 A CN108234966 A CN 108234966A
Authority
CN
China
Prior art keywords
image
module
real
panoramic video
system based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810225102.1A
Other languages
English (en)
Inventor
李柄宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Flower Information Technology Co Ltd
Original Assignee
Chengdu Flower Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Flower Information Technology Co Ltd filed Critical Chengdu Flower Information Technology Co Ltd
Priority to CN201810225102.1A priority Critical patent/CN108234966A/zh
Publication of CN108234966A publication Critical patent/CN108234966A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于嵌入式平台的实时全景视频拼接***,包括全景相机、云平台服务器和智能终端,所述全景相机包括图像采集装置和主机,所述图像采集装置包括图像传感模块、模数转换模块、数字信号处理模块和USB接口,所述主机包括主控处理模块、畸变还原模块、视角转化模块、图像拼接模块、图像增强模块和无线通讯模块,所述全景相机通过所述无线通讯模块与所述云平台服务器和所述智能终端连接。本发明极大的简化了视频拼接的算法复杂度,以及硬件实现的功耗,快速实现视频拼接算法中图像配准,投影变换,图像融合的问题。解决了视频拼接算法的运算量大、实时性差的问题。

Description

一种基于嵌入式平台的实时全景视频拼接***
技术领域
本发明涉及视频拼接领域,特别一种基于嵌入式平台的实时全景视频拼接***。
背景技术
随着集成电路和计算机技术的发展,计算机视觉和计算机图像处理技术得到了快速发展,给人们的生活带来了极大的方便。全景视频因为其宽广的视野和较高的分辨率,已被利用到不同领域,可用于停车场视频监控,智能家居,增强现实(AR)等各个领域。
全景视频拼接技术其本质是基于图像拼接,但是由于时间的连续性和视频编解码传输效率的要求,视频拼接对实时性和正确性的要求更高。图像拼接的基本流程主要包括:图像采集,图像预处理,图像配准,投影变换,图像融合。其中图像配准和图像融合的耗时和计算量是最大的。现有的技术主要从图像配准和计算能力两个方面来加快拼接速度。
图像配准是图像拼接环节中最为耗时和最为重要的一个环节,主要是将不同视角和不同传感器以及不同曝光率下的获得的图像进行匹配,其最终目的是建立两幅图像之间的对应关系,以确定一幅图像与另一幅图像的几何关系,常用的图像配准技术有点匹配法,这个方法的速度慢,精度低,而且常常需要人工选取初始匹配点,无法适应大数据量图像的融合;相位相关配准法主要是利用傅里叶变换的平移性质对图像进行配准,但该方法只适合存在纯平移关系的两幅图像之间的像素级配准。基于尺度空间的,对图像平移、旋转、缩放保持不变性的图像局部特征算法-特征检测算法。
在计算能力方面,北京时代拓灵科技在专利“ 一种全景视频拼接的处理方法及***”中,利用云端的计算技术在云端完成全景拼接;虽然利用云端的计算资源,提高了拼接速度,但是在上传视频的过程中会出现延迟问题,无法满足实时性,而且会占有较多的***资源。基于ARM平台的全景视频监控***来完成图像的配准和拼接,这样所需的成本太高,需要提供性能很好的ARM处理器,以及内存资源,并且功耗也会存在较大的问题。
发明内容
本发明的目的在于克服现有技术的缺点,提供一种基于CMOS图像传感器的工业相机。
本发明的目的通过以下技术方案来实现:
一种基于嵌入式平台的实时全景视频拼接***,包括全景相机、云平台服务器和智能终端,所述全景相机包括图像采集装置和主机,所述图像采集装置包括图像传感模块、模数转换模块、数字信号处理模块和USB接口,所述图像传感模块用于生成原始图像模拟信号并将原始图像模拟信号发送至模数转换模块,所述模数转换模块用于将模拟信号转换为数字信号并将数字信号发送至数字信号处理模块,所述数字信号处理模块用于处理数字信号并将处理后的信号发送至USB接口,所述图像传感模块、模数转换模块、数字信号处理模块、USB接口依次连接,所述主机包括主控处理模块、畸变还原模块、视角转化模块、图像拼接模块、图像增强模块和无线通讯模块,所述主控处理模块用于接收客户端控制模块发送来的拼接模式消息,并解释为执行命令,发出控制信号,所述畸变还原模块用于把采集过来的图像由于角度问题发生的畸变进行还原,所述视角转化模块用于对图像的视角进行分析,随后在进行图像的视角转化,从而能够转化出从各个视角观察的图像,所述图像拼接模块用于对各个视角的图像进行整合和拼接,从而能够呈现出各个视角的图像,所述图像增强模块用于对图像进行增强,提高用户对图像的辨识度,所述无线通讯模块用于全景相机与云平台服务器和智能终端的通讯连接,所述主控处理模块、畸变还原模块、视角转化模块、图像拼接模块、图像增强模块依次连接,所述主控处理模块与无线通讯模块连接,所述智能终端包括客户端控制模块,所述USB接口与所述主控处理模块连接,所述客户端控制模块用于在不同的应用场景下,选择并输出与当前场景相对应的拼接模式,所述全景相机通过所述无线通讯模块与所述云平台服务器和所述智能终端连接。
进一步地,所述图像传感模块为两路鱼眼视频摄像头,所述两路鱼眼视频摄像头采集视角为从-120度至+120度。
进一步地,所述两路鱼眼视频摄像头的分辨率为960x1920。
进一步地,所述图像拼接模块通过将图像配准的坐标通过相机校准和标定的方法得到并提前将其写入一个二进制文件中,这里的坐标指的是决定图像拼接后对应坐标处的像素的原始图像的坐标位置,将图像拼接进行双线性插值的系数也写入上述的二进制文件中,在进行图像拼接的时候通过直接查询二进制文件的方式得到目标图像坐标处的像素值所需进行插值的像素值和插值系数,利用得到的决定目的图像像素的坐标(源图像中)以及插值系数,利用双线性插值的方法计算出目的图像的像素值。
进一步地,所述全景相机还包括供电电源和供电管理电路,所述供电电源通过供电管理电路给全景相机供电。
进一步地,所述供电电源的为充电电池,所述充电电池电压为12伏。
进一步地,所述主机还包括射频信号接收器,用于接收无线射频遥控器发出的信号。
进一步地,所述主控处理模块为中央处理器,所述中央处理器与智能终端构建CPU和GPU的异构体系,将拼接,融合的过程在GPU中进行加速处理。
进一步地,所述无线通讯模块为3G、4G、5G、WIFI和蓝牙中的一种或多种。
进一步地,所述智能终端为电脑、平板和智能手机中的一种或多种。
本发明具有以下优点:
通过将图像配准,投影变换、双线性插值系数提前写入一个二进制文件中,在拼接的过程中通过直接获取决定目的图像坐标处像素值的源图像坐标,并对文件中的数据进行数据压缩,减少数据读取带宽。极大的简化了视频拼接的算法复杂度,以及硬件实现的功耗。快速实现视频拼接算法中图像配准,投影变换,图像融合的问题。解决了视频拼接算法的运算量大、实时性差的问题。
附图说明
图1为本发明的结构示意图;
图2为本发明的图像采集装置结构示意图;
图3为本发明的主机结构示意图。
具体实施方式
下面结合附图对本发明做进一步的描述,但本发明的保护范围不局限于以下所述。
如图1所示,一种基于嵌入式平台的实时全景视频拼接***,包括全景相机、云平台服务器和智能终端,所述全景相机包括图像采集装置和主机,所述图像采集装置包括图像传感模块、模数转换模块、数字信号处理模块和USB接口,所述图像传感模块用于生成原始图像模拟信号并将原始图像模拟信号发送至模数转换模块,所述模数转换模块用于将模拟信号转换为数字信号并将数字信号发送至数字信号处理模块,所述数字信号处理模块用于处理数字信号并将处理后的信号发送至USB接口,所述图像传感模块、模数转换模块、数字信号处理模块、USB接口依次连接,所述主机包括主控处理模块、畸变还原模块、视角转化模块、图像拼接模块、图像增强模块和无线通讯模块,所述主控处理模块用于接收客户端控制模块发送来的拼接模式消息,并解释为执行命令,发出控制信号,所述畸变还原模块用于把采集过来的图像由于角度问题发生的畸变进行还原,所述视角转化模块用于对图像的视角进行分析,随后在进行图像的视角转化,从而能够转化出从各个视角观察的图像,所述图像拼接模块用于对各个视角的图像进行整合和拼接,从而能够呈现出各个视角的图像,所述图像增强模块用于对图像进行增强,提高用户对图像的辨识度,所述无线通讯模块用于全景相机与云平台服务器和智能终端的通讯连接,所述主控处理模块、畸变还原模块、视角转化模块、图像拼接模块、图像增强模块依次连接,所述主控处理模块与无线通讯模块连接,所述智能终端包括客户端控制模块,所述USB接口与所述主控处理模块连接,所述客户端控制模块用于在不同的应用场景下,选择并输出与当前场景相对应的拼接模式,所述全景相机通过所述无线通讯模块与所述云平台服务器和所述智能终端连接。
进一步地,所述图像传感模块为两路鱼眼视频摄像头,所述两路鱼眼视频摄像头采集视角为从-120度至+120度。
进一步地,所述两路鱼眼视频摄像头的分辨率为960x1920。
进一步地,所述图像拼接模块通过将图像配准的坐标通过相机校准和标定的方法得到并提前将其写入一个二进制文件中,这里的坐标指的是决定图像拼接后对应坐标处的像素的原始图像的坐标位置,将图像拼接进行双线性插值的系数也写入上述的二进制文件中,在进行图像拼接的时候通过直接查询二进制文件的方式得到目标图像坐标处的像素值所需进行插值的像素值和插值系数,利用得到的决定目的图像像素的坐标(源图像中)以及插值系数,利用双线性插值的方法计算出目的图像的像素值。
进一步地,所述全景相机还包括供电电源和供电管理电路,所述供电电源通过供电管理电路给全景相机供电。
进一步地,所述供电电源的为充电电池,所述充电电池电压为12伏。
进一步地,所述主机还包括射频信号接收器,用于接收无线射频遥控器发出的信号。
进一步地,所述主控处理模块为中央处理器,所述中央处理器与智能终端构建CPU和GPU的异构体系,将拼接,融合的过程在GPU中进行加速处理。
进一步地,所述无线通讯模块为3G、4G、5G、WIFI和蓝牙中的一种或多种。
进一步地,所述智能终端为电脑、平板和智能手机中的一种或多种。
本发明的工作过程如下:
本发明是一种基于嵌入式平台的实时全景视频拼接***,通过构建CPU和GPU的异构体系将拼接,融合的过程在GPU中进行加速处理,并将图像配准和投影变换所需的参数通过相机校准和提前计算的方法写入二进制文件中,减少了拼接的计算量和进行拼接过程所需的数据带宽。结果表明,该方法在保证拼接效果的基础上,能够有效的实现2路视频的实时拼接,帧率达到40帧/秒,相比于其它的FPGA和CPU版本的***更能够满足视频拼接实时性和功耗的要求。用两路鱼眼视频摄像头同步采集2路视频图像,每个摄像头的采集视角从-120°至+120°,通过2路视频采集获得的图像是一幅包含两个摄像头视角的960x1920分辨率的图像。通过将图像配准和投影变换的参数提前写入一个文件保存中,并且对参数用如下方法做了优化:在保证精度和拼接效果的基础上,对保存参数的数据类型做了优化。通过游程编码的方式对参数进行压缩存储,减少了数据读取时所占有的带宽。参数在拼接时会被传递至GPU端供GPU进行拼接时使用。参数文件主要保存了与拼接后的图像像素相关的原始图像的坐标位置。在进行图像拼接时,会采用双线性插值的方法来获取提高拼接的效果。在GPU对图像拼接完成之后,其接缝处会产生较为明显的鬼影和重叠区域,所以接下来需要对图像进行融合,这里主要采用加权融合的方式实现,最后就可以获得全景视频流。

Claims (10)

1.一种基于嵌入式平台的实时全景视频拼接***,其特征在于:所述实时全景视频拼接***包括全景相机、云平台服务器和智能终端,所述全景相机包括图像采集装置和主机,所述图像采集装置包括图像传感模块、模数转换模块、数字信号处理模块和USB接口,所述图像传感模块用于生成原始图像模拟信号并将原始图像模拟信号发送至模数转换模块,所述模数转换模块用于将模拟信号转换为数字信号并将数字信号发送至数字信号处理模块,所述数字信号处理模块用于处理数字信号并将处理后的信号发送至USB接口,所述图像传感模块、模数转换模块、数字信号处理模块、USB接口依次连接,所述主机包括主控处理模块、畸变还原模块、视角转化模块、图像拼接模块、图像增强模块和无线通讯模块,所述主控处理模块用于接收客户端控制模块发送来的拼接模式消息,并解释为执行命令,发出控制信号,所述畸变还原模块用于把采集过来的图像由于角度问题发生的畸变进行还原,所述视角转化模块用于对图像的视角进行分析,随后在进行图像的视角转化,从而能够转化出从各个视角观察的图像,所述图像拼接模块用于对各个视角的图像进行整合和拼接,从而能够呈现出各个视角的图像,所述图像增强模块用于对图像进行增强,提高用户对图像的辨识度,所述无线通讯模块用于全景相机与云平台服务器和智能终端的通讯连接,所述主控处理模块、畸变还原模块、视角转化模块、图像拼接模块、图像增强模块依次连接,所述主控处理模块与无线通讯模块连接,所述智能终端包括客户端控制模块,所述USB接口与所述主控处理模块连接,所述客户端控制模块用于在不同的应用场景下,选择并输出与当前场景相对应的拼接模式,所述全景相机通过所述无线通讯模块与所述云平台服务器和所述智能终端连接。
2.根据权利要求1所述的一种基于嵌入式平台的实时全景视频拼接***,其特征在于:所述图像传感模块为两路鱼眼视频摄像头,所述两路鱼眼视频摄像头采集视角为从-120度至+120度。
3.根据权利要求2所述的一种基于嵌入式平台的实时全景视频拼接***,其特征在于:所述两路鱼眼视频摄像头的分辨率为960x1920。
4.根据权利要求1所述的一种基于嵌入式平台的实时全景视频拼接***,其特征在于:所述图像拼接模块通过将图像配准的坐标通过相机校准和标定的方法得到并提前将其写入一个二进制文件中,这里的坐标指的是决定图像拼接后对应坐标处的像素的原始图像的坐标位置,将图像拼接进行双线性插值的系数也写入上述的二进制文件中,在进行图像拼接的时候通过直接查询二进制文件的方式得到目标图像坐标处的像素值所需进行插值的像素值和插值系数,利用得到的决定目的图像像素的坐标(源图像中)以及插值系数,利用双线性插值的方法计算出目的图像的像素值。
5.根据权利要求1所述的一种基于嵌入式平台的实时全景视频拼接***,其特征在于:所述全景相机还包括供电电源和供电管理电路,所述供电电源通过供电管理电路给全景相机供电。
6.根据权利要求5所述的一种基于嵌入式平台的实时全景视频拼接***,其特征在于:所述供电电源的为充电电池,所述充电电池电压为12伏。
7.根据权利要求1所述的一种基于嵌入式平台的实时全景视频拼接***,其特征在于:所述主机还包括射频信号接收器,用于接收无线射频遥控器发出的信号。
8.根据权利要求1所述的一种基于嵌入式平台的实时全景视频拼接***,其特征在于:所述主控处理模块为中央处理器,所述中央处理器与智能终端构建CPU和GPU的异构体系,将拼接,融合的过程在GPU中进行加速处理。
9.根据权利要求1所述的一种基于嵌入式平台的实时全景视频拼接***,其特征在于:所述无线通讯模块为3G、4G、5G、WIFI和蓝牙中的一种或多种。
10.根据权利要求1所述的一种基于嵌入式平台的实时全景视频拼接***,其特征在于:所述智能终端为电脑、平板和智能手机中的一种或多种。
CN201810225102.1A 2018-03-19 2018-03-19 一种基于嵌入式平台的实时全景视频拼接*** Withdrawn CN108234966A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810225102.1A CN108234966A (zh) 2018-03-19 2018-03-19 一种基于嵌入式平台的实时全景视频拼接***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810225102.1A CN108234966A (zh) 2018-03-19 2018-03-19 一种基于嵌入式平台的实时全景视频拼接***

Publications (1)

Publication Number Publication Date
CN108234966A true CN108234966A (zh) 2018-06-29

Family

ID=62659764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810225102.1A Withdrawn CN108234966A (zh) 2018-03-19 2018-03-19 一种基于嵌入式平台的实时全景视频拼接***

Country Status (1)

Country Link
CN (1) CN108234966A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108900733A (zh) * 2018-07-04 2018-11-27 百度在线网络技术(北京)有限公司 拍摄设备、同步拍摄***及方法
CN109146978A (zh) * 2018-07-25 2019-01-04 南京富锐光电科技有限公司 一种高速相机成像畸变校准装置及方法
CN109873959A (zh) * 2019-03-22 2019-06-11 赵林宏 一种基于5g通讯模块的多窗口网络视频显示装置
CN110475080A (zh) * 2019-08-23 2019-11-19 湖南融视文化创意有限公司 一种基于gpu的多屏幕融合矫正显示处理方法
CN110807955A (zh) * 2019-11-01 2020-02-18 刘晓英 基于数据捕获的行驶路线实时切换平台及方法
CN111970481A (zh) * 2020-07-07 2020-11-20 深圳英飞拓智能技术有限公司 一种基于5g传输超高清解码拼接视频方法及***
CN113114993A (zh) * 2021-04-07 2021-07-13 南京云格信息技术有限公司 一种基于fpga的无线图像采集***
CN113978410A (zh) * 2021-11-11 2022-01-28 南京市德赛西威汽车电子有限公司 一种基于车载环视摄像头的移动设备端互联方法及***
CN114125178A (zh) * 2021-11-16 2022-03-01 阿里巴巴达摩院(杭州)科技有限公司 视频拼接方法、设备和可读介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108900733A (zh) * 2018-07-04 2018-11-27 百度在线网络技术(北京)有限公司 拍摄设备、同步拍摄***及方法
CN109146978A (zh) * 2018-07-25 2019-01-04 南京富锐光电科技有限公司 一种高速相机成像畸变校准装置及方法
CN109146978B (zh) * 2018-07-25 2021-12-07 南京富锐光电科技有限公司 一种高速相机成像畸变校准装置及方法
CN109873959A (zh) * 2019-03-22 2019-06-11 赵林宏 一种基于5g通讯模块的多窗口网络视频显示装置
CN110475080A (zh) * 2019-08-23 2019-11-19 湖南融视文化创意有限公司 一种基于gpu的多屏幕融合矫正显示处理方法
CN110807955A (zh) * 2019-11-01 2020-02-18 刘晓英 基于数据捕获的行驶路线实时切换平台及方法
CN110807955B (zh) * 2019-11-01 2020-10-23 诸暨山争网络科技有限公司 基于数据捕获的行驶路线实时切换平台及方法
CN111970481A (zh) * 2020-07-07 2020-11-20 深圳英飞拓智能技术有限公司 一种基于5g传输超高清解码拼接视频方法及***
CN113114993A (zh) * 2021-04-07 2021-07-13 南京云格信息技术有限公司 一种基于fpga的无线图像采集***
CN113978410A (zh) * 2021-11-11 2022-01-28 南京市德赛西威汽车电子有限公司 一种基于车载环视摄像头的移动设备端互联方法及***
CN114125178A (zh) * 2021-11-16 2022-03-01 阿里巴巴达摩院(杭州)科技有限公司 视频拼接方法、设备和可读介质

Similar Documents

Publication Publication Date Title
CN108234966A (zh) 一种基于嵌入式平台的实时全景视频拼接***
US11762475B2 (en) AR scenario-based gesture interaction method, storage medium, and communication terminal
WO2020001168A1 (zh) 三维重建方法、装置、设备和存储介质
WO2019238114A1 (zh) 动态模型三维重建方法、装置、设备和存储介质
CN110335317B (zh) 基于终端设备定位的图像处理方法、装置、设备和介质
CN107371040B (zh) 一种无人机影像高效处理***
CN101945284B (zh) 一种运动估计的装置和方法
CN105100640A (zh) 一种局部配准并行视频拼接方法及***
CN102402855A (zh) 用于智能交通的双摄像机实时全景视频融合方法及***
CN112288816B (zh) 位姿优化方法、位姿优化装置、存储介质与电子设备
CN104251737A (zh) 红外测温仪数据分析处理平台及其方法
CN104013424A (zh) 一种基于深度信息的超声宽景成像方法
CN111325828A (zh) 一种基于三目相机的三维人脸采集方法及装置
Liu et al. Uniseg: A unified multi-modal lidar segmentation network and the openpcseg codebase
CN108986144B (zh) 一种基于arm和fpga的车辆识别追踪方法、***和装置
CN108337452A (zh) 一种基于云计算的全景视频拼接***
CN112884803A (zh) 基于dsp的实时智能监控目标检测方法及装置
WO2023160445A1 (zh) 即时定位与地图构建方法、装置、电子设备及可读存储介质
CN116824080A (zh) 一种基于多传感器融合实现输电走廊slam点云建图方法
CN110276722B (zh) 一种视频图像拼接方法
CN110807375A (zh) 基于深度图像的人头检测方法、装置、设备及存储介质
CN114373018A (zh) 一种实时驱动方法、装置及设备
CN114638748A (zh) 图像处理方法、图像修复方法、计算机设备、存储介质
CN112308809A (zh) 一种图像合成方法、装置、计算机设备及存储介质
CN110661785A (zh) 视频处理方法、装置、***、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180629

WW01 Invention patent application withdrawn after publication