CN109286749A - 高带宽图像采集、预处理和分发***及图像处理*** - Google Patents

高带宽图像采集、预处理和分发***及图像处理*** Download PDF

Info

Publication number
CN109286749A
CN109286749A CN201811089556.7A CN201811089556A CN109286749A CN 109286749 A CN109286749 A CN 109286749A CN 201811089556 A CN201811089556 A CN 201811089556A CN 109286749 A CN109286749 A CN 109286749A
Authority
CN
China
Prior art keywords
module
image
acquisition
processing system
control module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811089556.7A
Other languages
English (en)
Other versions
CN109286749B (zh
Inventor
范秋香
蒿杰
冯卉
舒琳
宋亚芳
赵良田
吕志丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201811089556.7A priority Critical patent/CN109286749B/zh
Publication of CN109286749A publication Critical patent/CN109286749A/zh
Application granted granted Critical
Publication of CN109286749B publication Critical patent/CN109286749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H04N5/0733—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明属于生命科学图像采集处理技术领域，具体提供一种高带宽图像采集、预处理和分发***及图像处理***，该***包括：相机控制模块、采集***控制模块、千兆网模块、图像数据采集模块、图像缓存模块、图像预处理模块、图像动态分发模块和高速接口模块，千兆网模块分别与相机控制模块和采集***控制模块连接，相机控制模块、图像数据采集模块、图像缓存模块、图像预处理模块、图像动态分发模块和高速接口模块依次连接，采集***控制模块分别与图像缓存模块、图像预处理模块和图像动态分发模块连接。本发明的***接收图像带宽高，相机控制方式灵活，图像预处理效率高，并且***易于扩展。

Description

高带宽图像采集、预处理和分发***及图像处理***
技术领域
本发明属于涉及生命科学图像采集处理技术领域，具体提供一种高带宽图像采集、预处理和分发***及图像处理***。
背景技术
在生物成像中，需要对组织、细胞进行形态学观察或是在亚细胞层面对特定分子进行定位，而生物体的生长发育、生命活动、细胞内部复杂的生化反应和信号传递等快速发生和变化的过程，因此需要高速，高精度的相机进行捕捉，在这种应用场景中，对后端的图像实时采集和处理***要求很高，传统的图像采集处理***由于传输速率低，计算处理带宽小，往往只将一小段时间内图像实时采集和存储，再进行离线处理分析，这种低效率的方式不利于实验的实时开展，无法很好地满足科研需求。
因此，本领域需要一种新的高带宽图像采集、预处理和分发***及图像处理***来解决上述问题。
发明内容
为了解决现有技术中的上述问题，本发明提供了一种高带宽图像采集、预处理和分发***，高带宽图像采集、预处理和分发***包括：相机控制模块、采集***控制模块、千兆网模块、图像数据采集模块、图像缓存模块、图像预处理模块、图像动态分发模块和高速接口模块，千兆网模块分别与相机控制模块和采集***控制模块连接，相机控制模块、图像数据采集模块、图像缓存模块、图像预处理模块、图像动态分发模块和高速接口模块依次连接，采集***控制模块分别与图像缓存模块、图像预处理模块和图像动态分发模块连接。
在上述高带宽图像采集、预处理和分发***的优选技术方案中，图像数据采集模块为camera link图像数据采集模块。
在上述高带宽图像采集、预处理和分发***的优选技术方案中，高速接口模块包括与图像动态分发模块相连的多个高速接口。
在上述高带宽图像采集、预处理和分发***的优选技术方案中，高速接口为万兆网口。
此外，本发明还提供了一种图像处理***，该图像处理***包括上述的高带宽图像采集、预处理和分发***。
在上述图像处理***的优选技术方案中，图像处理***还包括PC，PC与千兆网模块连接。
在上述图像处理***的优选技术方案中，图像处理***还包括GPU处理器，GPU处理器与高速接口模块连接。
在上述图像处理***的优选技术方案中，图像处理***还包括采集卡，采集卡与图像数据采集模块连接。
在上述图像处理***的优选技术方案中，采集卡通过FMC接口与图像数据采集模块连接。
在上述图像处理***的优选技术方案中，图像处理***还包括相机，相机分别与采集卡和相机控制模块连接。
本领域技术人员能够理解的是，在本发明的优选技术方案中，本发明具有以下优点：1、接收图像带宽高，***基于camera link协议，在full模式下，最高接收带宽可达800MB/s；2、相机控制方式灵活，既可以由上位机通过千兆网模块控制，也可以在FPGA程序内部设定默认工作模式，脱离上位机工作；3、图像预处理效率高，充分利用FPGA的并行和流水线特性，可在单片FPGA上对图像进行多种预处理算法，通过高速串行通信接口，***可实时高效将预处理结果分发往后级空闲的处理器进行下一步的运算；4、***易于扩展，可根据前端图像带宽和后级处理器计算带宽动态扩展高速通信接口数量。
附图说明
图1为本发明的基于FPGA的高带宽图像的实时采集、预处理和分发***在整个实时图像处理***中的示意图；
图2为本发明的基于FPGA的高带宽图像的实时采集、预处理和分发***框图；
图3为本发明的基于FPGA的高带宽图像的实时采集、预处理和分发***中相机输出图像顺序的示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
具体地，如图1和2所示，本发明的图像处理***包括PC、GPU处理器、采集卡、相机和FPGA板，其中FPGA板上集成设置有本发明的高带宽图像采集、预处理和分发***中的各个模块，具体而言，本发明的高带宽图像采集、预处理和分发***包括：相机控制模块、采集***控制模块、千兆网模块、图像数据采集模块、图像缓存模块、图像预处理模块、图像动态分发模块和高速接口模块，千兆网模块分别与相机控制模块和采集***控制模块连接，相机控制模块、图像数据采集模块、图像缓存模块、图像预处理模块、图像动态分发模块和高速接口模块依次连接，采集***控制模块分别与图像缓存模块、图像预处理模块和图像动态分发模块连接。其中，PC与千兆网模块连接，GPU处理器与高速接口模块连接，采集卡通过FMC接口与图像数据采集模块连接，相机，相机分别与采集卡和相机控制模块连接。需要说明的是，FPGA指的是现场可编程门阵列，它是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物，能够实现并行运算。
优选地，图像数据采集模块为camera link图像数据采集模块，高速接口模块包括与图像动态分发模块相连的多个高速接口，其中，高速接口为万兆网口。
在本发明中，相机控制模块接收和解析以太网模块的控制指令，转换成相机***控制字，配置相机的工作模式，曝光时长，触发方式等，相机控制模块可同时对多台相机进行控制，实现对生物体组织和细胞的实时多维成像；采集***控制模块用于接收和解析以太网模块的控制指令，并将指令转发到***的其他模块，控制***所有模块的正常工作；千兆网模块用于实现千兆网协议，接收上位机发送给***的指令；camera link图像数据采集模块用于接收相机传输过来的原始图像数据，随后将图像数据同步到***时钟域并传输到图像缓存模块；图像缓存模块接收camera link图像采集模块的原始图像数据，将原始图像数据按行和列序号从小到大的顺序依次存放于缓存的地址空间中；图像预处理模块用于对图像进行预处理，具体包括图像抽取、插值和切割等操作；图像动态分发模块用于将预处理后的图像动态分发到空闲的高速接口，高速接口的数量可根据***的实际需求动态扩展；高速接口模块用于实现高速串行通信协议，本***在实际应用中可以使用10g以太网协议，后端可与不同的处理器直接相连，也可以连接到网络交换机。
具体地，千兆网模块实现千兆以太网协议，接收和解析上位机的指令，通过识别指令包标识符，千兆网模块将指令发到采集***控制模块或者相机控制模块。千兆网模块内部由send和receive两个子模块构成，receive模块负责接收上位机下发的指令包并转发到相应的模块；send模块上传***的数据到上位机，包括***各个模块的状态信息，相机的返回信息等。
相机控制模块有两种工作模式，第一种是在上位机的控制下工作，在这种模式下相机控制模块接收千兆网模块的指令(包含相机的工作模式，触发方式，曝光时长，连续拍摄次数等)，并将指令解析成相机可识别的控制字，通过串口转发给相机，串口的通信协议为UART协议；第二种模式是脱离上位机工作，在模块内部设置好相机工作需要的所有参数，通过串口发送给相机。相机控制模块还负责生成相机的触发脉冲，控制相机的开启和停止，进行多台相机的同步。
采集***控制模块接收千兆网模块的指令，控制图像缓存模块，图像预处理模块和图像动态分发模块的正常工作。
Camera link图像采集模块接收图像数据并将数据同步到***的时钟域，模块内部实现camera link图像传输协议，采用FIFO将数据同步到***时钟域。
图像缓存模块进行图像的缓存操作，本***的相机采用从中间往两边曝光的方式，所以图像按照从中间行向两边行的顺序输出(请参阅图3)，图像乒乓缓存模块需要将输入图像调整顺序，按照行序号从小到大的顺序依次存储在从低到高的地址空间里。在这种方式下，图像乒乓存储模块只有在存储完完整一帧图像以后才能输出图像，为了防止当前图像还没有完全输出即被下一帧图像覆盖，图像缓存模块采用乒乓结构。图像缓存的起始地址由采集***控制模块配置，完成一帧图像的缓存以后模块发送完成标志到图像预处理模块。
图像预处理模块在接收到图像缓存模块的完成标志后开始进行图像的预处理操作，包括图像抽取，插值和切割等，相关的参数由采集***控制模块配置。
图像动态分发模块接收预处理后的图像数据，读取后端高速通信接口的状态，将图像数据分发到空闲的端口，根据实际的实验需求，高速通信接口数量可动态扩展，相关参数由采集***控制模块配置。
高速接口模块实现高速串行通信协议，实现图像的快速转发。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种高带宽图像采集、预处理和分发***，其特征在于，所述高带宽图像采集、预处理和分发***包括：相机控制模块、采集***控制模块、千兆网模块、图像数据采集模块、图像缓存模块、图像预处理模块、图像动态分发模块和高速接口模块，所述千兆网模块分别与所述相机控制模块和所述采集***控制模块连接，所述相机控制模块、所述图像数据采集模块、所述图像缓存模块、所述图像预处理模块、所述图像动态分发模块和所述高速接口模块依次连接，所述采集***控制模块分别与所述图像缓存模块、所述图像预处理模块和所述图像动态分发模块连接。
2.根据权利要求1所述的高带宽图像采集、预处理和分发***，其特征在于，所述图像数据采集模块为camera link图像数据采集模块。
3.根据权利要求1所述的高带宽图像采集、预处理和分发***，其特征在于，所述高速接口模块包括与所述图像动态分发模块相连的多个高速接口。
4.根据权利要求3所述的高带宽图像采集、预处理和分发***，其特征在于，所述高速接口为万兆网口。
5.一种图像处理***，其特征在于，所述图像处理***包括权利要求1至4中任一项所述的高带宽图像采集、预处理和分发***。
6.根据权利要求5所述的图像处理***，其特征在于，所述图像处理***还包括PC，所述PC与千兆网模块连接。
7.根据权利要求5所述的图像处理***，其特征在于，所述图像处理***还包括GPU处理器，所述GPU处理器与所述高速接口模块连接。
8.根据权利要求8所述的图像处理***，其特征在于，所述图像处理***还包括采集卡，所述采集卡与所述图像数据采集模块连接。
9.根据权利要求8所述的图像处理***，其特征在于，所述采集卡通过FMC接口与所述图像数据采集模块连接。
10.根据权利要求5所述的图像处理***，其特征在于，所述图像处理***还包括相机，所述相机分别与所述采集卡和所述相机控制模块连接。
CN201811089556.7A 2018-09-18 2018-09-18 高带宽图像采集、预处理和分发***及图像处理*** Active CN109286749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811089556.7A CN109286749B (zh) 2018-09-18 2018-09-18 高带宽图像采集、预处理和分发***及图像处理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811089556.7A CN109286749B (zh) 2018-09-18 2018-09-18 高带宽图像采集、预处理和分发***及图像处理***

Publications (2)

Publication Number Publication Date
CN109286749A true CN109286749A (zh) 2019-01-29
CN109286749B CN109286749B (zh) 2020-12-08

Family

ID=65181142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811089556.7A Active CN109286749B (zh) 2018-09-18 2018-09-18 高带宽图像采集、预处理和分发***及图像处理***

Country Status (1)

Country Link
CN (1) CN109286749B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766600A (zh) * 2019-12-26 2020-02-07 武汉精立电子技术有限公司 一种分布式架构的图像处理***
CN110796242A (zh) * 2019-11-01 2020-02-14 广东三维家信息科技有限公司 神经网络模型推理方法、装置、电子设备及可读介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020171737A1 (en) * 1998-01-06 2002-11-21 Tullis Barclay J. Wireless hand-held digital camera
CN101778209A (zh) * 2010-01-28 2010-07-14 无锡蓝天电子有限公司 一种模块化cmos工业相机
CN101916428A (zh) * 2010-08-18 2010-12-15 中国科学院光电技术研究所 一种图像数据的图像处理装置
US20100321485A1 (en) * 2009-06-16 2010-12-23 Leonard Pool Intrinsically safe video inspection system
CN102629968A (zh) * 2012-04-11 2012-08-08 湖南镭目科技有限公司 一种图像处理装置、方法及***
CN103647925A (zh) * 2013-07-31 2014-03-19 中南大学 一种基于GigE接口的嵌入式并行多路数字图像采集***
CN103986869A (zh) * 2014-05-22 2014-08-13 中国科学院长春光学精密机械与物理研究所 一种高速tdiccd遥感相机图像采集与显示装置
CN104284065A (zh) * 2014-09-30 2015-01-14 华中科技大学 一种基于fpga的工业智能相机
US20150101002A1 (en) * 2013-10-08 2015-04-09 Sony Corporation Signal processing apparatus, signal processing method, program, and signal transmission system
US20170184837A1 (en) * 2015-12-29 2017-06-29 INTHESMART Inc. Apparatus for transferring image data and endoscopy system including the same
CN206932317U (zh) * 2017-05-19 2018-01-26 上海集成电路研发中心有限公司 一种基于无线网络通信的工业相机
CN107817216A (zh) * 2017-10-31 2018-03-20 武汉精测电子技术股份有限公司 一种基于cpu+gpu+fpga架构的自动光学检测***

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020171737A1 (en) * 1998-01-06 2002-11-21 Tullis Barclay J. Wireless hand-held digital camera
US20100321485A1 (en) * 2009-06-16 2010-12-23 Leonard Pool Intrinsically safe video inspection system
CN101778209A (zh) * 2010-01-28 2010-07-14 无锡蓝天电子有限公司 一种模块化cmos工业相机
CN101916428A (zh) * 2010-08-18 2010-12-15 中国科学院光电技术研究所 一种图像数据的图像处理装置
CN102629968A (zh) * 2012-04-11 2012-08-08 湖南镭目科技有限公司 一种图像处理装置、方法及***
CN103647925A (zh) * 2013-07-31 2014-03-19 中南大学 一种基于GigE接口的嵌入式并行多路数字图像采集***
US20150101002A1 (en) * 2013-10-08 2015-04-09 Sony Corporation Signal processing apparatus, signal processing method, program, and signal transmission system
CN103986869A (zh) * 2014-05-22 2014-08-13 中国科学院长春光学精密机械与物理研究所 一种高速tdiccd遥感相机图像采集与显示装置
CN104284065A (zh) * 2014-09-30 2015-01-14 华中科技大学 一种基于fpga的工业智能相机
US20170184837A1 (en) * 2015-12-29 2017-06-29 INTHESMART Inc. Apparatus for transferring image data and endoscopy system including the same
CN206932317U (zh) * 2017-05-19 2018-01-26 上海集成电路研发中心有限公司 一种基于无线网络通信的工业相机
CN107817216A (zh) * 2017-10-31 2018-03-20 武汉精测电子技术股份有限公司 一种基于cpu+gpu+fpga架构的自动光学检测***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
阚晓博: "基于PEX8311 PCIE总线的高速图像采集***设计", 《电子设计工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796242A (zh) * 2019-11-01 2020-02-14 广东三维家信息科技有限公司 神经网络模型推理方法、装置、电子设备及可读介质
CN110766600A (zh) * 2019-12-26 2020-02-07 武汉精立电子技术有限公司 一种分布式架构的图像处理***

Also Published As

Publication number Publication date
CN109286749B (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN104820418B (zh) 一种针对机械臂的嵌入式视觉***及其使用方法
CN101710256A (zh) 基于Camera Link接口的高速图像数据采集处理卡
CN109286749A (zh) 高带宽图像采集、预处理和分发***及图像处理***
CN210781101U (zh) 数据采集装置及数据采集***
DE112012004451T5 (de) Mehrfachprotokoll-Serdes-PHY-Vorrichting
CN105426329B (zh) 基于嵌入式万兆网硬协议栈的信号高速采集转发实现方法
CN112153306A (zh) 图像采集***、方法、装置、电子设备及可穿戴设备
CN110276110A (zh) 一种双目立体视觉***的软硬件协同设计方法
CN108460721A (zh) 一种基于硬件加速卡的全景视频拼接***及方法
CN112256627A (zh) 一种光电跟踪***高清高帧频实时图像处理平台及方法
CN112584092A (zh) 数据采集装置及数据采集***
CN206932317U (zh) 一种基于无线网络通信的工业相机
Ibraheem et al. A resource-efficient multi-camera gige vision ip core for embedded vision processing platforms
CN108737809B (zh) 一种远程同步图像采集方法
CN104378560A (zh) 一种基于cmos相机的图形采集***
CN106572327A (zh) 基于fgpa的高清视频采集传输***及方法
CN113208653A (zh) 一种超声图像采集处理***
CN106686323B (zh) 一种高速cmos相机成像方法及***
CN103944738B (zh) 一种支持功能扩展的交换机
CN113315935B (zh) 一种基于fpga的cmos图像传感器数据采集装置及方法
Wang et al. Design and implementation of FC-AE-ASM data acquisition and forwarding system
CN103064811A (zh) 一种用于生物显微镜的高速高分辨率图像的采集存储装置
CN107485840A (zh) 一种万帧高速摄像电动计时器及其工作方法
Mielczarek et al. Framework for high-performance video acquisition and processing in mtca. 4 form factor
CN105426885A (zh) 多模态生物识别装置及其进行图像传输的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant