CN114363485B - 一种基于fpga的双目摄像头图像拼接处理装置及方法 - Google Patents
一种基于fpga的双目摄像头图像拼接处理装置及方法 Download PDFInfo
- Publication number
- CN114363485B CN114363485B CN202111502351.9A CN202111502351A CN114363485B CN 114363485 B CN114363485 B CN 114363485B CN 202111502351 A CN202111502351 A CN 202111502351A CN 114363485 B CN114363485 B CN 114363485B
- Authority
- CN
- China
- Prior art keywords
- display
- fifo
- image
- blockram
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 title claims abstract description 8
- 230000005540 biological transmission Effects 0.000 claims description 18
- 239000013307 optical fiber Substances 0.000 claims description 10
- 230000003321 amplification Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000010354 integration Effects 0.000 abstract description 5
- 230000003139 buffering effect Effects 0.000 description 5
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000005493 welding type Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于FPGA的双目摄像头图像拼接处理装置及方法,属于仪器仪表图像采集处理技术领域,本装置包括CMOS图像传感器、FPGA、DDR和显示器;CMOS图像传感器、DDR和显示器分别通过线路与FPGA连接。本发明拼接速度最高支持60帧/秒,可实现缩放、叠加字符显示等功能,具有拼接速度快、支持分辨率高、成本低、集成扩展方便等优点。
Description
技术领域
本发明属于仪器仪表图像采集处理技术领域,具体涉及一种基于FPGA的双目摄像头图像拼接处理装置及方法。
背景技术
光纤测试、光纤熔接等类型仪器,通常需要使用双目摄像头从两个方向获取图像信息,以拼接显示模式同时显示多组图像信息,要求拼接速度快、分辨率高、集成方便,具有缩放、叠加文字等功能。现有技术多采用FPGA加静态存储器方式,或专业图像板卡***集成方式实现拼接功能,前者在拼接速度、分辨率等方面存在不足,后者价格高、集成难度大。
发明内容
针对现有技术中存在的上述技术问题,本发明提出了一种基于FPGA的双目摄像头图像拼接处理装置及方法,设计合理,克服了现有技术的不足,具有良好的效果。
为了实现上述目的,本发明采用如下技术方案:
一种基于FPGA的双目摄像头图像拼接处理装置,包括CMOS图像传感器、FPGA、DDR和显示器;CMOS图像传感器、DDR和显示器分别通过线路与FPGA连接;
CMOS图像传感器包括CMOS图像传感器-X和CMOS图像传感器-Y;
FPGA包括FIFO-X、FIFO-Y、存储器控制器、BLOCKRAM-X、BLOCKRAM-Y、字符ROM和送显控制器;
CMOS图像传感器-X、FIFO-X、存储器控制器、BLOCKRAM-X、送显控制器、显示器通过线路依次连接;
CMOS图像传感器-Y、FIFO-Y、存储器控制器、BLOCKRAM-Y、送显控制器、显示器通过线路依次连接;
字符ROM与送显控制器通过线路连接;
DDR与存储器控制器通过线路连接;
CMOS图像传感器-X和CMOS图像传感器-Y正交安装,被配置为用于进行光纤成像放大,并产生数字化光纤图像数据;
FIFO-X、FIFO-Y,被配置为用于将传输速率为类型一的图像数据临时缓存;
存储器控制器,被配置为用于进行DDR读、写控制;
BLOCKRAM-X,被配置为用于单行中指定像素数据读取,能够实现多种数据长度输出;
BLOCKRAM-Y,被配置为用于单行中指定像素数据读取,能够实现多种数据长度输出;
送显控制器,被配置为用于将视频变换为显示器支持的数据格式,根据需要叠加文字;
DDR,被配置为用于缓存图像数据;
显示器,被配置为用于显示图像;
通过CMOS图像传感器-X和CMOS图像传感器-Y,实时获取X向和Y向光纤图像数据,并将图像数据通过并行数据接口分别送到FPGA的FIFO-X、FIFO-Y中进行缓存,CMOS图像传感器以传输速率类型一将图像送往FIFO-X、FIFO-Y;
缓存完成后,存储器控制器使用类型二的传输速率将图像数据从FIFO-X和FIFO-Y中读出,并送往DDR中进行缓存;
在DDR中完成缓存图像数据后,存储器控制器再以传输速率类型三,将图像数据从DDR中读出,并送往BLOCKRAM-X、BLOCKRAM-Y中暂存,然后根据图像显示的需要,与字符ROM中的内容一并送往送显控制器中;
在送显控制器中,根据需要,将X和Y两相的图像进行拼接,同时再根据需要,将字符ROM中的信息拼接到图像中,从而得到最终的图像,这个图像通过并行接口,以显示器设定的传输速率类型四将图像数据传输到显示器中,完成全部的图像缓存与显示工作。
优选地,为了不丢失CMOS图像传感器送来的数据,存储器控制器从FIFO-X、FIFO-Y中读取数据的速率类型二大于CMOS图像传感器将图像送往FIFO-X、FIFO-Y的传输速率一。
此外,本发明还提到一种基于FPGA的双目摄像头图像拼接处理方法,该方法采用如上所述的一种基于FPGA的双目摄像头图像拼接处理装置,具体包括如下步骤:
步骤1:通过图像采集模块X向和图像采集模块Y向,实时获取X向和Y向光纤图像数据,按照每行数据为1组分别缓存到FIFO-X、FIFO-Y中;
步骤2:缓存完成后,存储器控制器使用类型二的传输速率将图像数据从FIFO-X和FIFO-Y中读出,并送往DDR中进行缓存;
步骤3:在DDR中完成缓存图像数据后,存储器控制器以传输速率类型三,将图像数据从DDR中读出,并送往BLOCKRAM-X、BLOCKRAM-Y中暂存;
步骤4:通过BLOCKRAM-X和BLOCKRAM-Y,实现任意像素点数据的读取,实现图像放大和缩小功能;
步骤5:根据图像显示的需要,BLOCKRAM-X、BLOCKRAM-Y中暂存的内容与字符ROM中的内容一并送往送显控制器中;
步骤6:通过送显控制器,将视频变换为显示器支持的数据格式,读取字符ROM中数据,实现叠加文字显示;
在送显控制器中,根据需要,将X和Y两相的图像进行拼接,同时再根据需要,将字符ROM中的信息拼接到图像中,从而得到最终的图像,这个图像通过并行接口,以显示器设定的传输速率类型四将图像数据传输到显示器中,完成全部的图像缓存与显示工作。此外,本发明还提到一种基于FPGA的双目摄像头图像拼接处理方法,该方法采用如上所述的一种基于FPGA的双目摄像头图像拼接处理装置,具体包括如下步骤:
本发明所带来的有益技术效果:
本发明拼接速度最高支持60帧/秒,可实现缩放、叠加字符显示等功能,具有拼接速度快、支持分辨率高、成本低、集成扩展方便等优点。
附图说明
图1是本发明装置的原理框图。
其中,1-CMOS图像传感器-X;2-CMOS图像传感器-Y;3-FIFO-X;4-FIFO-Y;5-存储器控制器;6-BLOCKRAM-X;7-BLOCKRAM-Y;8-字符ROM;9-送显控制器;10-DDR;11-显示器。
具体实施方式
下面结合附图以及具体实施方式对本发明作进一步详细说明:
如图1所示,在FPGA(Field-Programmable Gate Array,即现场可编程门阵列集成电路)内设置有图像采集单器、内存控制器、显示控制器等,负责将采集图像后,先进行缓存,后将缓存数据提取出来并显示。其中图像采集单元由两个CMOS(Complementary Metal-Oxide-Semiconductor,即互补金属氧化物半导体芯片)图像传感器组成,即CMOS图像传感器-X和CMOS图像传感器-Y,两个CMOS图像传感器直接与主控模块FPGA相连。FPGA外挂1片动态随机存储单元DDR 10,该单元用于缓存图像数据。同时FPGA还与一块显示器11相连,用于显示图像。
工作时,两片CMOS图像传感器(CMOS图像传感器-X和CMOS图像传感器-Y)将图像通过并行数据接口分别送到FPGA中,而FPGA中有两个缓存用的FIFO模块(FIFO-X1和FIFO-Y2,用来将传输速率为类型一的图像数据先临时缓存,以便后续再进行处理。
待FPGA内部两片FIFO的数据空间缓存完成后,存储器控制器5使用类型二的传输速率将图像数据从两片FIFO中读出,并送往DDR10中进行缓存。为了不会丢失CMOS图像传感器送来的数据,存储器控制器5从FIFO中读取数据的速率类型二必须大于CMOS图像传感器将图像送往FIFO的传输速率一。
在存储器DDR中缓存完成两片CMOS的图像后,存储器控制器5再以传输速率类型三,将图像数据从DDR存储器中读出,并送往两片BLOCKRAM(BLOCKRAM-X6和BLOCKRAM-Y7)中。图像被送往BLOCKRAM中暂存,再根据图像显示的需要,与字符ROM8中的内容一并送往送显控制器9中。
在送显控制器中,根据需要,将X和Y两相的图像进行拼接,同时再根据需要,将单元字符ROM8中的信息拼接到图像中,从而最终的图像。这个图像通过并行接口,以显示器11设定的传输速率类型四将图像数据传输到显示器11中,完成全部的图像缓存与显示工作。
当然,上述说明并非是对本发明的限制,本发明也并不仅限于上述举例,本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换,也应属于本发明的保护范围。
Claims (1)
1.一种基于FPGA的双目摄像头图像拼接处理方法,其特征在于:采用一种基于FPGA的双目摄像头图像拼接处理装置,该装置包括CMOS图像传感器、FPGA、DDR和显示器;CMOS图像传感器、DDR和显示器分别通过线路与FPGA连接;
CMOS图像传感器包括CMOS图像传感器-X和CMOS图像传感器-Y共2个;
FPGA 包括FIFO-X、FIFO-Y、存储器控制器、BLOCKRAM-X、BLOCKRAM-Y、字符ROM和送显控制器;
CMOS图像传感器-X、FIFO-X、存储器控制器、BLOCKRAM-X、送显控制器、显示器通过线路依次连接;
CMOS图像传感器-Y、FIFO-Y、存储器控制器、BLOCKRAM-Y、送显控制器、显示器通过线路依次连接;
字符ROM与送显控制器通过线路连接;
DDR与存储器控制器通过线路连接;
CMOS图像传感器-X和CMOS图像传感器-Y正交安装,被配置为用于进行光纤成像放大,并产生数字化光纤图像数据;
FIFO-X、FIFO-Y,被配置为用于将传输速率为类型一的图像数据临时缓存;
存储器控制器,被配置为用于进行DDR读、写控制;
BLOCKRAM-X,被配置为用于单行中指定像素数据读取,能够实现多种数据长度输出;
BLOCKRAM-Y,被配置为用于单行中指定像素数据读取,能够实现多种数据长度输出;
送显控制器,被配置为用于将视频变换为显示器支持的数据格式,根据需要叠加文字;
DDR,被配置为用于缓存图像数据;
显示器,被配置为用于显示图像;
通过CMOS图像传感器-X和CMOS图像传感器-Y,实时获取X向和Y向光纤图像数据,并将图像数据通过并行数据接口分别送到FPGA 的FIFO-X、FIFO-Y中进行缓存,CMOS图像传感器以传输速率类型一将图像送往FIFO-X、FIFO-Y;
缓存完成后,存储器控制器使用类型二的传输速率将图像数据从FIFO-X和FIFO-Y中读出,并送往DDR中进行缓存;
在DDR中完成缓存图像数据后,存储器控制器再以传输速率类型三,将图像数据从DDR中读出,并送往BLOCKRAM-X、BLOCKRAM-Y中暂存,然后根据图像显示的需要,与字符ROM中的内容一并送往送显控制器中;
具体包括如下步骤:
步骤1:通过图像采集模块X向和图像采集模块Y向,实时获取X向和Y向光纤图像数据,按照每行数据为1组分别缓存到FIFO-X、FIFO-Y中;
步骤2:缓存完成后,存储器控制器使用类型二的传输速率将图像数据从FIFO-X和FIFO-Y中读出,并送往DDR中进行缓存;
步骤3:在DDR中完成缓存图像数据后,存储器控制器以传输速率类型三,将图像数据从DDR中读出,并送往BLOCKRAM-X、BLOCKRAM-Y中暂存;
步骤4:通过BLOCKRAM-X和BLOCKRAM-Y,实现任意像素点数据的读取,实现图像放大和缩小功能;
步骤5:根据图像显示的需要,BLOCKRAM-X、BLOCKRAM-Y中暂存的内容与字符ROM中的内容一并送往送显控制器中;
步骤6:通过送显控制器,将视频变换为显示器支持的数据格式,读取字符ROM中数据,实现叠加文字显示;
在送显控制器中,将X和Y两相的图像进行拼接,同时将字符ROM中的信息拼接到图像中,从而得到最终的图像,这个图像通过并行接口,以显示器设定的传输速率类型四将图像数据传输到显示器中,完成全部的图像缓存与显示工作。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111502351.9A CN114363485B (zh) | 2021-12-10 | 2021-12-10 | 一种基于fpga的双目摄像头图像拼接处理装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111502351.9A CN114363485B (zh) | 2021-12-10 | 2021-12-10 | 一种基于fpga的双目摄像头图像拼接处理装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114363485A CN114363485A (zh) | 2022-04-15 |
CN114363485B true CN114363485B (zh) | 2024-04-16 |
Family
ID=81098782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111502351.9A Active CN114363485B (zh) | 2021-12-10 | 2021-12-10 | 一种基于fpga的双目摄像头图像拼接处理装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114363485B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115379135A (zh) * | 2022-07-19 | 2022-11-22 | 中电科思仪科技(安徽)有限公司 | 一种基于fpga的视频切换与拼接***实现电路及方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN203522895U (zh) * | 2013-08-27 | 2014-04-02 | 桂林电子科技大学 | 基于sopc的双目视频拼装置 |
WO2017107672A1 (zh) * | 2015-12-25 | 2017-06-29 | 北京搜狗科技发展有限公司 | 一种信息处理方法和装置、一种用于信息处理的装置 |
CN109284750A (zh) * | 2018-08-14 | 2019-01-29 | 北京市商汤科技开发有限公司 | 票据识别方法及装置、电子设备及存储介质 |
CN109698937A (zh) * | 2018-12-13 | 2019-04-30 | 中电科仪器仪表(安徽)有限公司 | 一种基于fpga的自适应lcd控制器 |
CN112367537A (zh) * | 2020-11-02 | 2021-02-12 | 上海无线电设备研究所 | 一种基于zynq的视频采集-拼接-显示*** |
CN113132554A (zh) * | 2019-12-30 | 2021-07-16 | 西安奇维科技有限公司 | 一种基于fpga的实时图像采集及处理*** |
-
2021
- 2021-12-10 CN CN202111502351.9A patent/CN114363485B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN203522895U (zh) * | 2013-08-27 | 2014-04-02 | 桂林电子科技大学 | 基于sopc的双目视频拼装置 |
WO2017107672A1 (zh) * | 2015-12-25 | 2017-06-29 | 北京搜狗科技发展有限公司 | 一种信息处理方法和装置、一种用于信息处理的装置 |
CN109284750A (zh) * | 2018-08-14 | 2019-01-29 | 北京市商汤科技开发有限公司 | 票据识别方法及装置、电子设备及存储介质 |
CN109698937A (zh) * | 2018-12-13 | 2019-04-30 | 中电科仪器仪表(安徽)有限公司 | 一种基于fpga的自适应lcd控制器 |
CN113132554A (zh) * | 2019-12-30 | 2021-07-16 | 西安奇维科技有限公司 | 一种基于fpga的实时图像采集及处理*** |
CN112367537A (zh) * | 2020-11-02 | 2021-02-12 | 上海无线电设备研究所 | 一种基于zynq的视频采集-拼接-显示*** |
Non-Patent Citations (2)
Title |
---|
基于FPGA的图像拼接技术研究与实现;徐扬;王晓曼;朱佶;刘鹏;姜浩;;长春理工大学学报(自然科学版);20181215(06);全文 * |
基于FPGA的高帧速CMOS成像***设计;陈必威;梁志毅;王延新;裴改霞;;计算机测量与控制;20120525(05);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114363485A (zh) | 2022-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114363485B (zh) | 一种基于fpga的双目摄像头图像拼接处理装置及方法 | |
CN110933382A (zh) | 一种基于fpga实现的车载视频图像画中画显示方法 | |
CN111212310B (zh) | 一种图像显示方法及装置 | |
KR20020047069A (ko) | 영상데이터 전송장치 및 방법 | |
JP6013247B2 (ja) | 撮像装置 | |
US8462222B2 (en) | Image processing method and device, and imaging apparatus using the image processing device | |
CN116539160A (zh) | 非制冷型红外探测器成像及热时间常数测试***及方法 | |
KR101849853B1 (ko) | 대용량 영상신호 고속 전송장치 | |
CN111681164B (zh) | 一种全景图像局部首尾相接巡航的装置与方法 | |
KR20010012716A (ko) | 광파이버관찰용 화상처리장치 | |
CN115412651A (zh) | 视频处理装置、视频处理方法和显示*** | |
CN113658049A (zh) | 一种图像转置的方法、设备和计算机可读存储介质 | |
CN101369417B (zh) | 一种异步显示图像的叠加装置 | |
CN117156075B (zh) | 视频采集注入装置、***、汽车及回注设备 | |
CN104915923A (zh) | 不同分辨率图像自适应缩放方法 | |
KR100284420B1 (ko) | 디지털 비디오 캡쳐 보드 | |
CN113315929B (zh) | 一种光轴一致性调整装置 | |
JP2002199281A (ja) | 画像処理装置 | |
JP2006050002A (ja) | 撮像装置及びそれを用いた顕微鏡装置 | |
JPS6139018A (ja) | 光学顕微鏡による物体の三次元情報取り込み装置 | |
CN112954241A (zh) | 图像传感器的图像数据读取***及读取与组织的方法 | |
US8229271B2 (en) | Microcomputer, system including the same, and data transfer device | |
CN201974576U (zh) | 测量投影显微镜 | |
KR100286103B1 (ko) | 영상 데이터 처리방법 | |
EP0321070A2 (en) | Data/image acquisition system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |