CN105635648A - 视频实时边缘检测*** - Google Patents
视频实时边缘检测*** Download PDFInfo
- Publication number
- CN105635648A CN105635648A CN201410588321.8A CN201410588321A CN105635648A CN 105635648 A CN105635648 A CN 105635648A CN 201410588321 A CN201410588321 A CN 201410588321A CN 105635648 A CN105635648 A CN 105635648A
- Authority
- CN
- China
- Prior art keywords
- module
- fpga
- video
- sdram
- vga
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及视频检测***,本发明的基于FPGA的视频实时边缘检测***,包括主控FPGA模块、摄像头、SDRAM模块、VGA液晶显示器,主控FPGA模块分别与摄像头、SDRAM模块、VGA液晶显示器连接;其中主控FPGA模块包括I2C配置模块、视频数据采集模块、SDRAM控制模块、Sobel边缘检测模块和VGA控制模块,FPGA首先通过I2C总线完成对摄像头的初始化,然后将采集到的数据通过视频数据采集模块转换成RGB565标准的视频数据,图像数据通过FIFO_IN模块在SDRAM模块中进行缓冲。本发明***速度快,精度高,能够很好的应用在目标识别、目标跟踪、智能视频监控等领域。
Description
技术领域
本发明涉及视频检测***,尤其涉及一种视频实时边缘检测***。
背景技术
随着科技的发展,视频采集***越来越广泛的应用于各个领域,如体育直播、视频会议、导弹的电视制导等等。而图像边缘是图像的基本特征之一,其中包含了很重要的边界信息,这些信息是图像分析、目标识别的基础。在交通信息控制应用领域中,边缘检测已经是车牌识别、车流量监控、自动导航等技术中的重要环节。通过有效的边缘检测,可以大大简化后续图像处理过程对图像信息的分析工作。对于视频图像的边缘检测,若采用软件方式实现由于受到***处理速度的限制,容易出现断帧现象,这对于要求实时处理的情况下将是一个很大的缺陷。硬件实现主要有基于专用芯片、基于DSP和基于FPGA的三种处理方式。基于专用芯片方式并不适合前期产品的开发。基于DSP的方式在运算速度、数据吞吐量等方面有限制。
发明内容
本发明的技术效果能够克服上述缺陷,提供一种基于FPGA的视频实时边缘检测***,其利用FPGA良好的并行结构,使计算速率得到了很大的提升,达到了***的实时性要求。
为实现上述目的,本发明采用如下技术方案:其包括主控FPGA模块、摄像头、SDRAM模块、VGA液晶显示器,主控FPGA模块分别与摄像头、SDRAM模块、VGA液晶显示器连接;其中主控FPGA模块包括I2C配置模块、视频数据采集模块、SDRAM控制模块、Sobel边缘检测模块和VGA控制模块,FPGA首先通过I2C总线完成对摄像头的初始化,然后将采集到的数据通过视频数据采集模块转换成RGB565标准的视频数据,图像数据通过FIFO_IN模块在SDRAM模块中进行缓冲,Sobel边缘检测模块通过FIFO_OUT模块读取数据并进行处理,VGA控制模块控制VGA接口的行同步和场同步信号完成VGA显示。
主控FPGA模块采用EP4CE115F29CN7型号。
摄像头采用OV7670型号。
本发明设计了一个基于FPGA的视频实时边缘检测***,利用FPGA良好的并行结构,使计算速率得到了很大的提升,达到了***的实时性要求。实现了VGA分辨率视频在液晶屏上的彩色显示、灰度显示、边缘检测图像显示。该***速度快,精度高,能够很好的应用在目标识别、目标跟踪、智能视频监控等领域。
附图说明
图1为***整体结构框图;
图2为I2C传输时序图;
图3为数据采集时序仿真图;
图4为Sobel梯度算子;
图5为卷积硬件结构图;
图6为SignaltapⅡ抓取VGA时序图。
具体实施方式
本发明所要解决的技术问题是提出一种基于FPGA的视频实时边缘检测***的设计。
一、***的总体设计
本***基于一片Altera公司的CycloneIV系列EP4CE115F29CN7主控FPGA,***的整体结构框图如图1所示。主要包括:摄像头I2C配置模块、视频数据采集模块、SDRAM控制模块、Sobel边缘检测模块和VGA控制模块。FPGA首先通过I2C总线完成对OV7670的初始化,然后将采集到的数据通过视频数据采集模块转换成RGB565标准的视频数据,图像数据通过FIFO_IN模块在SDRAM中进行缓冲,Sobel边缘检测模块通过FIFO_OUT模块读取数据并进行处理,VGA控制模块控制VGA接口的行同步和场同步信号完成VGA显示。
二、视频采集与边缘检测子模块
I2C配置模块
本***采用OmniVision公司的OV7670这一款CMOS传感器,为***提供视频信号。通过SCCB(SerialCameraControlBus)总线对OV7670的共201个控制寄存器进行配置,来改变输出数据的格式、视频分辨率、传输方式,调整图像的白平衡、饱和度、色度、伽玛曲线等。两线制的SCCB总线与I2C总线相同,都是双向两线制同步串行总线。I2C传输时序如图2所示,I2C_SCLK就等同于SCCB中的SIOC、I2C_SDAT就等同于SCCB中的SIOD,模块每次传输24位数据,前8位为从设备地址(0x42代表写寄存器,0x43代表度寄存器),中间8位是从设备寄存器地址,最后8位是对寄存器进行配置的数据。
视频数据采集模块
视频数据采集模块,主要是通过FPGA配合CMOS摄像头OV7670的行、场同步信号采集图像数据。首先通过配置控制寄存器,控制OV7670输出视频数据为RGB565格式。因为OV7670数据位宽为8,视频数据采集模块主要是将采集到的前后2个8位数据合并成一个16位数据,以方便数据在SDRAM中的缓存以及后续模块的处理。如图3所示为数据采集ModelSim时序仿真图。
SDRAM控制模块
SDRAM模块主要有FIFO和片外SDRAM两部分组成,因为CMOS摄像头OV7670采集的数据速率和SDRAM读写速率是不一样的,为了匹配这两个不同传输速率的模块,其中必须添加一个FIFO存储器。其中FIFO不需要单独通过语言描述得到,只需要通过MegaWizard工具配置得到。本设计中用到的SDRAM为DE2-115开发板上的两个64M字节SDRAM,其中每个SDRAM又包含4个BANK。SDRAM行地址线和列地址线是复用13位的地址总线,在读写时,先要激活某个BANK,接着锁存行地址,最后在读写指令有效时锁存列地址。SDRAM的最高读写速率可达到166MHz,本***中应用为100MHz,同时每个时钟上升沿又可读写16bit数据,因此SDRAM完全可以实现数据的无缝缓冲工作。
Sobel边缘检测模块
图像边缘是一幅图像中灰度变化比较剧烈的区域,计算灰度图像中各区域的梯度幅值可以用来判定图像的边缘信息。设图像的亮度为f(x,y),则梯度可以定义如下:
幅值为:|▽f(x,y)|=[fx 2(x,y),fy 2(x,y)]1/2……………………(2)
方向为:θ=arctan[fy(x,y)/fx(x,y)]………………………………(3)
Sobel边缘检测便是是基于梯度的检测,其利用Sobel算子如图4所示Gx与Gy,在3×3的图像邻域内和亮度数据做卷积运算,表达式如下:
用硬件做边缘检测,由于是实时处理,SDRAM中缓存的数据只是连续视频图像中一帧图像,而且视频数据还不停的从摄像头中传过来,因此就不能像软件处理那样先建立一个二维的数据阵列,这样就必须采用流水线方式进行运算,流水线数目和每次参加运算的像素数目相等,这里就总共需要9条流水线。为此专门设计了3Line_Buffer来完成式(4)与式(5)的运算,3条Line_Buffer由MegaWizard中配置的altshift_tab完成,altshift_tab实际上就是一个移位寄存器,因为视频分辨率为640×480像素,所以每条Line_Buffer实际是向后移位一整行,也就是640个像素值。这样就等同于3条Line_Buffer中的数据视频图像中相毗邻的三行图像数据,这3行数据再与Sobel算子做卷积。如图5所示为卷积运算硬件结构图,其中P9—P1为像素数据,X9—X1为Sobel梯度算子。乘法与并行加法部分分别有MegaWizard配置的altmult_add和parallel_add完成。
VGA显示模块
VGA显示器的显示采用逐行扫描,从屏幕左上方开始,从左到右,从上到下扫描。每一行的现实受到行同步信号(HREF)控制,每一帧的信号受到场同步信号(VSYNC)控制。本***中CMOS摄像头采集图像分辨率为640×480像素,VGA(640×480)的工业标准为行扫描:Ta(同步脉冲)=96,Tb(行消隐后肩)=40,Tc=8,Td(有效时序)=640,Te=80,Tf(行消隐前肩)=8,Tg(行周期)=800;场扫描:Ta(同步脉冲)=2,Tb(场消隐后肩)=25,Tc=8,Td(有
效时序)=480,Te=8,Tf(场消隐前肩)=2,Tg(场周期)=525。图6为由SignalTapII抓取的VGA时序图,其中最后一行数据为当前一帧视频所显示的行数统计。
Claims (3)
1.一种基于FPGA的视频实时边缘检测***,其特征在于,包括主控FPGA模块、摄像头、SDRAM模块、VGA液晶显示器,主控FPGA模块分别与摄像头、SDRAM模块、VGA液晶显示器连接;其中主控FPGA模块包括I2C配置模块、视频数据采集模块、SDRAM控制模块、Sobel边缘检测模块和VGA控制模块,FPGA首先通过I2C总线完成对摄像头的初始化,然后将采集到的数据通过视频数据采集模块转换成RGB565标准的视频数据,图像数据通过FIFO_IN模块在SDRAM模块中进行缓冲,Sobel边缘检测模块通过FIFO_OUT模块读取数据并进行处理,VGA控制模块控制VGA接口的行同步和场同步信号完成VGA显示。
2.根据权利要求1所述的基于FPGA的视频实时边缘检测***,其特征在于,主控FPGA模块采用EP4CE115F29CN7型号。
3.根据权利要求1所述的基于FPGA的视频实时边缘检测***,其特征在于,摄像头采用OV7670型号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410588321.8A CN105635648A (zh) | 2014-10-28 | 2014-10-28 | 视频实时边缘检测*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410588321.8A CN105635648A (zh) | 2014-10-28 | 2014-10-28 | 视频实时边缘检测*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105635648A true CN105635648A (zh) | 2016-06-01 |
Family
ID=56050085
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410588321.8A Pending CN105635648A (zh) | 2014-10-28 | 2014-10-28 | 视频实时边缘检测*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105635648A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106651949A (zh) * | 2016-10-17 | 2017-05-10 | 中国人民解放军63920部队 | 一种基于仿真的空间机械臂抓捕目标遥操作方法及*** |
CN110035259A (zh) * | 2019-04-04 | 2019-07-19 | 北京明略软件***有限公司 | 视频图像的处理方法、装置及*** |
CN112511790A (zh) * | 2019-09-16 | 2021-03-16 | 国网山东省电力公司东营市河口区供电公司 | 基于fpga的煤矿高速图像采集与降噪***及处理方法 |
CN114088726A (zh) * | 2021-12-08 | 2022-02-25 | 西安石油大学 | 管道焊缝表面缺陷检测平台 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100098339A1 (en) * | 2008-10-16 | 2010-04-22 | Keyence Corporation | Contour-Information Extracting Method by Use of Image Processing, Pattern Model Creating Method in Image Processing, Pattern Model Positioning Method in Image Processing, Image Processing Apparatus, Image Processing Program, and Computer Readable Recording Medium |
-
2014
- 2014-10-28 CN CN201410588321.8A patent/CN105635648A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100098339A1 (en) * | 2008-10-16 | 2010-04-22 | Keyence Corporation | Contour-Information Extracting Method by Use of Image Processing, Pattern Model Creating Method in Image Processing, Pattern Model Positioning Method in Image Processing, Image Processing Apparatus, Image Processing Program, and Computer Readable Recording Medium |
Non-Patent Citations (2)
Title |
---|
郭龙,段哲民,陈洋,李茸,田志海: "基于FPGA的视频实时边缘检测***", 《电子设计工程》 * |
陈伦海,黄君凯,杨帆,唐徐立: "基于FPGA的实时边缘检测***", 《液晶与显示》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106651949A (zh) * | 2016-10-17 | 2017-05-10 | 中国人民解放军63920部队 | 一种基于仿真的空间机械臂抓捕目标遥操作方法及*** |
CN106651949B (zh) * | 2016-10-17 | 2020-05-15 | 中国人民解放军63920部队 | 一种基于仿真的空间机械臂抓捕目标遥操作方法及*** |
CN110035259A (zh) * | 2019-04-04 | 2019-07-19 | 北京明略软件***有限公司 | 视频图像的处理方法、装置及*** |
CN112511790A (zh) * | 2019-09-16 | 2021-03-16 | 国网山东省电力公司东营市河口区供电公司 | 基于fpga的煤矿高速图像采集与降噪***及处理方法 |
CN114088726A (zh) * | 2021-12-08 | 2022-02-25 | 西安石油大学 | 管道焊缝表面缺陷检测平台 |
CN114088726B (zh) * | 2021-12-08 | 2024-04-02 | 西安石油大学 | 管道焊缝表面缺陷检测平台 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105635648A (zh) | 视频实时边缘检测*** | |
CN101673473A (zh) | 基于dsp的全景视觉泊车辅助装置及生成全景视觉图像的方法 | |
CN107071324A (zh) | 一种视觉图像处理***及其设计方法 | |
CN101729919B (zh) | 基于fpga的全自动平面视频转立体视频*** | |
CN104200447A (zh) | 一种实时低照度彩色图像增强方法及其实现装置 | |
CN112686928A (zh) | 一种基于多源信息融合的运动目标视觉跟踪方法 | |
CN103984955A (zh) | 基于显著性特征和迁移增量学习的多摄像机目标识别方法 | |
CN103442180A (zh) | 基于sopc的双目视频拼装置及双目视频拼接方法 | |
CN102316283B (zh) | 空间行间转移面阵ccd相机漏光现象实时消除装置 | |
CN105472272A (zh) | 基于fpga的多路视频拼接方法及装置 | |
Zhang et al. | Formulating event-based image reconstruction as a linear inverse problem with deep regularization using optical flow | |
CN106068642A (zh) | 成像装置、图像处理装置、显示控制装置以及成像显示设备 | |
Abdelgawad et al. | High level synthesis of canny edge detection algorithm on Zynq platform | |
CN110691203B (zh) | 基于纹理映射的多路全景视频拼接显示方法及其*** | |
CN101694385B (zh) | 基于傅立叶光学的微小目标检测仪及检测方法 | |
CN206575517U (zh) | 一种高清图像处理拼接器 | |
CN102158655B (zh) | 一种dvi/hdmi/dp/vga信号的后级无抖校正*** | |
CN105513016A (zh) | 一种彩色图像的fpga实时增强*** | |
Zhou et al. | Real-time implementation of panoramic mosaic camera based on FPGA | |
Seo et al. | A new parallel hardware architecture for high-performance stereo matching calculation | |
CN201503590U (zh) | 复杂场景下图像目标提取与识别装置 | |
Bako et al. | Embedded implementation of a real-time motion estimation method in video sequences | |
Gohil | Car license plate detection | |
CN113705577A (zh) | 一种基于深度学习的车牌识别方法 | |
CN109873954A (zh) | 一种基于FPGA实现Bayer阵列彩色恢复方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20160601 |
|
WD01 | Invention patent application deemed withdrawn after publication |