CN112689072A - 一种相机*** - Google Patents
一种相机*** Download PDFInfo
- Publication number
- CN112689072A CN112689072A CN202011531986.7A CN202011531986A CN112689072A CN 112689072 A CN112689072 A CN 112689072A CN 202011531986 A CN202011531986 A CN 202011531986A CN 112689072 A CN112689072 A CN 112689072A
- Authority
- CN
- China
- Prior art keywords
- module
- image
- data
- pixel data
- view camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
本发明公开了一种相机***，该***包括用于传感器配置，传感器像素数据接收、解析、传输的高速多目相机主***；用于多传感器图像数据接收，缓存，传输的高速多目相机分***；该高速多目相机主***包括传感器模组、处理与控制单元、主***Cameralink发送模块；该高速多目相机分***包括分***Cameralink接收模块、图像存储模块、数据传输模块及存储控制与传输单元。本发明具有***集成度高，尺寸小，采图控制灵活，图像采集速度快等优点。
Description
技术领域
本发明涉及机器视觉的工业图像采集技术领域，具体涉及一种高速多目相机***。
背景技术
随着技术的不断发展，机器视觉大量应用于工业领域。其中多目相机是指具有多个成像单元的相机***，多目相机可同时控制不同成像单元拍摄不同物体，广泛应用于工业检测领域及SMT表面贴装领域。
现有的工业多目相机***大多采用多个相机模组独立控制，分开采集的方式；分别通过数据总线传递到上位机采集终端，由上位机端完成各个图像数据的合成与处理。目前的多目相机***大多存在以下弊端：(1)多相机模组***中存在多个相机模组，分别与采集终端直联，导致相机采集终端接口繁多，***复杂，集成度不高，尺寸较大。(2)***中多相机模组独立控制，大多只有一个采集终端与控制终端，导致相机控制不够灵活，无法满足相机模组之间的互联工作。(3)数据总线多采用网口传输或其他低速总线传输，带宽受限，采集时间长，采集速度普遍不高；无法适用于高速SMT表面贴装领域。
目前市场还缺乏一种传感器模组集成式、能实现高速采集的多目相机***。
发明内容
为了解决上述问题，本发明提供一种相机***，以期能解决多传感器控制单一，图像采集速度不快等问题，提高图像采集速度，使得采图控制更加灵活。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种相机***的特点包括：高速多目相机主***与高速多目相机分***；
所述高速多目相机主***包括：传感器模组、处理与控制单元、Cameralink发送模块；
所述处理与控制单元包括：传感器配置模块、触发控制模块、图像解析模块、传输控制模块；
所述图像解析模块包括：MIPI解串模块、数据解析模块、FIFO缓存模块；
所述传输控制模块包括：帧头封装模块、图像帧计数器、图像行计数器、图像缓存模块、错误监控模块，缓存读取控制模块；
所述传感器模组生成原始串行数据流并发送给所述MIPI解串模块进行串并转换处理，得到原始合并并行数据后发送给所述数据解析模块；所述数据解析模块对原始合并并行数据进行图像数据提取处理，得到图像像素数据后存入FIFO缓存模块中；
所述帧头封装模块从所述FIFO缓存模块中读取所述图像像素数据，根据所述图像帧计数器和图像行计数器提供的图像帧序号及行序号信息，以及错误监控模块提供的监控状态信息对所述图像像素数据进行帧头封装处理，得到封装后的处理像素数据存入所述图像缓存模块；
所述缓存读取控制模块利用循环竞争读取控制方法从多个图像缓存模块中读取封装后的处理像素数据并发送给所述Cameralink发送模块，从而将所述处理像素数据通过所述Cameralink发送模块发送至所述高速多目相机分***；
所述高速多目相机分***包括：Cameralink接收模块，存储控制与传输单元，图像存储模块，图像传输模块；
所述高速多目相机分***的Cameralink接收模块接收所述处理像素数据并发送给所述存储控制与传输单元进行解包与控制存储处理，得到解包像素数据后，并根据帧头信息存入所述图像存储模块的不同缓存区内，所述图像传输模块从所述图像存储模块中依次读取所述解包像素数据并传输给终端设备。
本发明所述的一种相机***的特点在于：所述传感器配置模块接收来自Cameralink发送模块中的控制命令，并通过I2C接口与所述传感器模组进行通信。
所述的触发控制模块通过IO接口与所述传感器模组连接，控制所述传感器模组进行拍照。
所述MIPI解串模块包括：位对齐模块、Lane对齐模块；
所述位对齐模块对接收到的原始串行数据流进行解串及位同步处理，得到原始并行数据；所述Lane对齐模块对每个通道中的所述原始并行数据进行数据对齐及合并处理，得到所述原始合并并行数据。
所述数据解析模块包括：帧头提取模块，像素提取模块，像素数据合成模块；
所述帧头提取模块对所述原始合并并行数据进行帧头信息的提取，得到帧头信息；
所述像素提取模块对去除帧头信息后的并行数据进行有效像素信息的提取，得到每个通道的像素数据流；
所述像素数据合成模块对多个通道的像素数据流进行合并，最终得到所述图像像素数据。
所述帧头提取模块通过判断帧起始、行起始标志字符，判断数据帧的起始位置以及行像素的起始位置。
所述循环竞争读取控制方法是按如下步骤进行：
(1)当主***初始化配置完成后即进入发送等待状态；
(2)对若干个图像缓存模块进行循环判断，当监测到图像缓存模块存取数据量达到预定阈值后，根据寄存器配置信息中传感器传输的优先级别，选择优先级别高的图像缓存模块开启相应的读取功能；
(3)优先级别高的图像缓存模块读取完成后，再依次对优先级别低的图像缓存模块完成读取，当所有满足阈值条件的图像缓存模块取完成后立即进入发送等待状态，并返回步骤2开启下一次循环判断。
所述高速多目相机分***Cameralink接收模块应与所述高速多目相机主***Cameralink发送模块相连；所述Cameralink接收模块与所述Cameralink发送模块均包括：信号IO接口、串口信号接口及图像信号LVDS接口；
所述触发控制模块通过所述IO接口接收来自高速多目相机分***的触发电平信号，控制所述传感器模组进行拍照；
所述传感器配置模块通过所述串口信号接口接收来自高速多目相机分***的指令，并通过I2C接口与所述传感器模组进行通信；
所述图像信号LVDS接口为高速多目相机主***与分***进行图像传输的物理通道。
与传统多目相机***相比，本发明具有如下有益效果：
1，本发明***基于Cameralink接口实现，集成度高，尺寸小，***简单；将多个传感器模组集中在一块板卡中，控制灵活；与其他多目相机***相比，只有一组Cameralink接口，接口较少。
2，本发明图像采集速度快，各个传感器模组同时进行曝光与采图，并通过像素合并处理，同时将多个图像数据传送出去，从而能实现所有传感器的同时采图。
3，本发明采图控制灵活，传感器模组统一由一个控制与处理单元控制；可接受上位机发送的指令，控制1个传感器模组或者多个传感器模组出图；且对控制顺序没有要求。
附图说明
图1为本发明相机***架构图。
图2为本发明高速多目相机主***处理与控制单元***架构图。
图3为本发明高速多目相机主***所述图像解析模块***架构图。
图4为本发明高速多目相机主***所述传输控制模块***架构图。
图5为本发明速多目相机主***对多个传感器图像数据进行合并处理的示意图。
图6为本发明传输控制模块中缓存读取动作流程图。
图中标号：100-传感器模组；101-第一传感器模组；102-第二传感器模组；103-第三传感器模组；104-第四传感器模组；105-第五传感器模组；106-第六传感器模组；107-第七传感器模组；108-第八传感器模组；200-高速多目相机主***处理与控制单元；210-传感器配置模块；220-触发接口模块；230-MIPI解析模块；231-MIPI解串模块；232-数据解析模块；233-FIFO缓存；240-传输控制模块；241-帧头封装模块；242-图像帧计数器；243-图像行计数器；244-图像缓存模块；245-缓存读取控制模块；246-错误监控模块；300-高速多目相机主***Cameralink发送模块；400-高速多目相机分***Cameralink接收模块；500-高速多目相机分***存储控制与传输单元；600-图像存储模块；700-图像传输模块；800-终端设备。
具体实施方式
下面结合附图对本发明的一种优选实施方式作详细的说明。
如图1所示，一种相机***包括：进行传感器配置，传感器像素数据接收、解析、传输的高速多目相机主***，以及进行多传感器图像数据接收，缓存，传输的高速多目相机分***；
如图1所示，高速多目相机主***包括：传感器模组100，处理与控制单元200，Cameralink发送模块300；传感器模组100与处理与控制单元200连接，处理与控制单元200与Cameralink发送模块300连接。
如图1所示，高速多目相机分***包括：Cameralink接收模块400，存储控制与传输单元500，图像存储模块600，图像传输模块700；其中高速多目相机分***的Cameralink接收模块400与高速多目相机主***Cameralink发送模块300相连，Cameralink接收模块400与存储控制与传输单元500连接，图像存储模块600与存储控制与传输单元500连接，图像传输模块700与存储控制与传输单元500连接，图像传输模块700与终端设备800连接。
如图1所示，高速多目相机分***的Cameralink接收模块400接收处理像素数据并发送给存储控制与传输单元500进行解包与控制存储处理，得到解包像素数据后，并根据帧头信息存入图像存储模块600的不同缓存区内，图像传输模块从图像存储模块600中依次读取解包像素数据并传输给终端设备。
传感器模组与处理与控制单元200应包括以下接口：
(1)图像数据LVDS输出MIPI接口；
(2)对所述传感器模组的寄存器进行配置的I2C接口；
(3)触发传感器模组采集图像的IO接口。
如图1所示，Cameralink接收模块400与Cameralink发送模块300均包括：信号IO接口、串口信号接口及图像信号LVDS接口。
触发控制模块通过IO接口接收来自高速多目相机分***的触发电平信号，控制传感器模组进行拍照；
传感器配置模块通过串口信号接口接收来自高速多目相机分***的指令，并通过I2C接口与传感器模组进行通信。
图像信号LVDS接口为高速多目相机主***与分***进行图像传输的物理通道。
如图2所示，处理与控制单元200包括：传感器配置模块210，触发控制模块220，图像解析模块230，传输控制模块240。
如图2所示，传感器模组101-108发送的MIPI图像数据依次经过MIPI解串模块231，数据解析模块232存入至FIFO缓存模块233中。FIFO缓存模块将解析的图像数据流传输至传输控制模块240中。
如图2所示，传感器配置模块210接收来自Cameralink发送模块300中的控制命令，并通过I2C接口与传感器模组进行通信。
如图2所示，触发控制模块220通过IO接口与传感器模组连接，控制传感器模组进行拍照。
如图2，图3所示，图像解析模块230包括：MIPI解串模块231、数据解析模块232、FIFO缓存模块233；
传感器模组100生成原始串行数据流并发送给MIPI解串模块231进行串并转换处理，得到原始合并并行数据后发送给数据解析模块232；数据解析模块232对原始合并并行数据进行图像数据提取处理，得到图像像素数据后存入FIFO缓存模块中233；
如图4所示，传输控制模块包括：帧头封装模块241，图像帧计数器242，图像行计数器242，图像缓存模块243，错误监控模块246，缓存读取控制模块245。
如图4所示，帧头封装模块241从FIFO缓存模块233中读取图像像素数据，图像帧计数器242接收来自传感器配置模块210的配置信息，并根据配置信息对接收到的图像数据流的帧序列进行计算；图像行计数器242对当前图像帧的行序列进行计算；错误监控模块246对图像数据流进行监控，从而根据图像帧计数器242和图像行计数器242提供的图像帧序号及行序号信息，以及错误监控模块246提供的监控状态信息对图像像素数据进行帧头封装处理，得到封装后的处理像素数据存入图像缓存模块243；
如图4所示，发生错误时向图像缓存模块246提供清空指令。
如图4所示，图像缓存模块246对帧头封装后的处理像素数据进行缓存；缓存读取控制模块246对缓存到的处理像素数据进行读取控制。
如图4所示，缓存读取控制模块246利用循环竞争读取控制方法从多个图像缓存模块246中读取封装后的处理像素数据并发送给Cameralink发送模块300，从而将处理像素数据通过Cameralink发送模块300发送至高速多目相机分***；
如图6所示，循环竞争读取控制方法是按如下步骤进行：
(1)当主***初始化配置完成后即进入发送等待状态。
(2)对若干个图像缓存模块进行循环判断，当监测到图像缓存模块存取数据量达到预定阈值后，根据寄存器配置信息中传感器传输的优先级别，选择优先级别高的图像缓存模块开启相应的读取功能；
(3)优先级别高的图像缓存模块读取完成后，再依次对优先级别低的图像缓存模块完成读取，当所有满足阈值条件的图像缓存模块取完成后立即进入发送等待状态，并返回步骤2开启下一次循环判断。
如图3所示，MIPI解串模块231包括：位对齐模块、Lane对齐模块；
位对齐模块对接收到的原始串行数据流进行解串及位同步处理，得到原始并行数据；Lane对齐模块对每个通道中的原始并行数据进行数据对齐及合并处理，得到原始合并并行数据。
如图3所示，数据解析模块232包括：帧头提取模块，像素提取模块，像素数据合成模块；
Lane对齐模块生成的原始合并并行数据，依次通过帧头提取模块进行帧头信息提取，通过像素提取模块提取有效像素信息，通过像素数据合成模块对多通道像素信息进行合并，最终得到的图像像素数据。
如图3所示，帧头提取模块通过判断帧起始、行起始标志字符，判断数据帧的起始位置以及行像素的起始位置；像素提取模块对前端数据进行有效图像像素数据提取，得到每个通道的像素数据流；像素数据合成模块对前端数据进行多通道像素数据的合成处理，最终得到图像像素数据。
如图5所示，对合并像素帧格式进行描述，合并像素帧第1行为相机1的完整第1行像素(包括帧头信息，图像像素，不再赘述)；合并像素帧第2行为相机2的完整第1行像素；合并像素帧第3行为相机3的完整第1行像素；类似地，合并像素帧第n行为相机n的完整第1行像素。
如图5所示，合并像素帧第n+1行为相机1的完整第2行像素；合并像素帧第n+2行为相机2的完整第2行像素；类似地，合并像素帧第2n行为相机n的完整第2行像素；合并像素帧第3n行为相机n的完整第3行像素；LVDS发送模块320按照的合并像素帧格式将多个图像数据发送给高速多目相机分***。
Claims (8)
1.一种相机***，其特征包括：高速多目相机主***与高速多目相机分***；
所述高速多目相机主***包括：传感器模组、处理与控制单元、Cameralink发送模块；
所述处理与控制单元包括：传感器配置模块、触发控制模块、图像解析模块、传输控制模块；
所述图像解析模块包括：MIPI解串模块、数据解析模块、FIFO缓存模块；
所述传输控制模块包括：帧头封装模块、图像帧计数器、图像行计数器、图像缓存模块、错误监控模块，缓存读取控制模块；
所述传感器模组生成原始串行数据流并发送给所述MIPI解串模块进行串并转换处理，得到原始合并并行数据后发送给所述数据解析模块；所述数据解析模块对原始合并并行数据进行图像数据提取处理，得到图像像素数据后存入FIFO缓存模块中；
所述帧头封装模块从所述FIFO缓存模块中读取所述图像像素数据，根据所述图像帧计数器和图像行计数器提供的图像帧序号及行序号信息，以及错误监控模块提供的监控状态信息对所述图像像素数据进行帧头封装处理，得到封装后的处理像素数据存入所述图像缓存模块；
所述缓存读取控制模块利用循环竞争读取控制方法从多个图像缓存模块中读取封装后的处理像素数据并发送给所述Cameralink发送模块，从而将所述处理像素数据通过所述Cameralink发送模块发送至所述高速多目相机分***；
所述高速多目相机分***包括：Cameralink接收模块，存储控制与传输单元，图像存储模块，图像传输模块；
所述高速多目相机分***的Cameralink接收模块接收所述处理像素数据并发送给所述存储控制与传输单元进行解包与控制存储处理，得到解包像素数据后，并根据帧头信息存入所述图像存储模块的不同缓存区内，所述图像传输模块从所述图像存储模块中依次读取所述解包像素数据并传输给终端设备。
2.如权利要求1所述的一种相机***，其特征在于：所述传感器配置模块接收来自Cameralink发送模块中的控制命令，并通过I2C接口与所述传感器模组进行通信。
3.如权利要求1所述的一种相机***，其特征在于：所述的触发控制模块通过IO接口与所述传感器模组连接，控制所述传感器模组进行拍照。
4.如权利要求1所述的一种相机***，其特征在于：所述MIPI解串模块包括：位对齐模块、Lane对齐模块；
所述位对齐模块对接收到的原始串行数据流进行解串及位同步处理，得到原始并行数据；所述Lane对齐模块对每个通道中的所述原始并行数据进行数据对齐及合并处理，得到所述原始合并并行数据。
5.如权利要求1所述的一种相机***，其特征在于：所述数据解析模块包括：帧头提取模块，像素提取模块，像素数据合成模块；
所述帧头提取模块对所述原始合并并行数据进行帧头信息的提取，得到帧头信息；
所述像素提取模块对去除帧头信息后的并行数据进行有效像素信息的提取，得到每个通道的像素数据流；
所述像素数据合成模块对多个通道的像素数据流进行合并，最终得到所述图像像素数据。
6.如权利要求1所述的一种相机***，其特征在于，所述帧头提取模块通过判断帧起始、行起始标志字符，判断数据帧的起始位置以及行像素的起始位置。
7.如权利要求1所述的一种机***，其特征在于，所述循环竞争读取控制方法是按如下步骤进行：
(1)当主***初始化配置完成后即进入发送等待状态；
(2)对若干个图像缓存模块进行循环判断，当监测到图像缓存模块存取数据量达到预定阈值后，根据寄存器配置信息中传感器传输的优先级别，选择优先级别高的图像缓存模块开启相应的读取功能；
(3)优先级别高的图像缓存模块读取完成后，再依次对优先级别低的图像缓存模块完成读取，当所有满足阈值条件的图像缓存模块取完成后立即进入发送等待状态，并返回步骤2开启下一次循环判断。
8.如权利要求1所述的一种相机***，其特征在于：所述高速多目相机分***Cameralink接收模块应与所述高速多目相机主***Cameralink发送模块相连；所述Cameralink接收模块与所述Cameralink发送模块均包括：信号IO接口、串口信号接口及图像信号LVDS接口；
所述触发控制模块通过所述IO接口接收来自高速多目相机分***的触发电平信号，控制所述传感器模组进行拍照；
所述传感器配置模块通过所述串口信号接口接收来自高速多目相机分***的指令，并通过I2C接口与所述传感器模组进行通信；
所述图像信号LVDS接口为高速多目相机主***与分***进行图像传输的物理通道。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011531986.7A CN112689072A (zh) | 2020-12-23 | 2020-12-23 | 一种相机*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011531986.7A CN112689072A (zh) | 2020-12-23 | 2020-12-23 | 一种相机*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112689072A true CN112689072A (zh) | 2021-04-20 |
Family
ID=75450833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011531986.7A Withdrawn CN112689072A (zh) | 2020-12-23 | 2020-12-23 | 一种相机*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112689072A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113315935A (zh) * | 2021-05-20 | 2021-08-27 | 中国科学院光电技术研究所 | 一种基于fpga的cmos图像传感器数据采集装置及方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102859987A (zh) * | 2010-04-05 | 2013-01-02 | 高通股份有限公司 | 组合来自多个图像传感器的数据 |
| US20180376061A1 (en) * | 2014-10-24 | 2018-12-27 | Bounce Imaging, Inc. | Imaging systems and methods |
| CN209642799U (zh) * | 2019-04-01 | 2019-11-15 | 长春博益信息技术有限公司 | 一种大型车360°环视中控液晶显示屏控制板 |
| CN111800565A (zh) * | 2020-07-21 | 2020-10-20 | 华中科技大学 | 一种用于平面信息检测的多通道图像采集***及设备 |
-
2020
- 2020-12-23 CN CN202011531986.7A patent/CN112689072A/zh not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102859987A (zh) * | 2010-04-05 | 2013-01-02 | 高通股份有限公司 | 组合来自多个图像传感器的数据 |
| US20180376061A1 (en) * | 2014-10-24 | 2018-12-27 | Bounce Imaging, Inc. | Imaging systems and methods |
| CN209642799U (zh) * | 2019-04-01 | 2019-11-15 | 长春博益信息技术有限公司 | 一种大型车360°环视中控液晶显示屏控制板 |
| CN111800565A (zh) * | 2020-07-21 | 2020-10-20 | 华中科技大学 | 一种用于平面信息检测的多通道图像采集***及设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113315935A (zh) * | 2021-05-20 | 2021-08-27 | 中国科学院光电技术研究所 | 一种基于fpga的cmos图像传感器数据采集装置及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN208971624U (zh) | 车载摄像*** | |
| CN108806243B (zh) | 一种基于Zynq-7000的交通流量信息采集终端 | |
| CN107249101A (zh) | 一种高分辨率图像采集与处理装置 | |
| US20160119575A1 (en) | Image data processing for digital overlap wide dynamic range sensors | |
| CN111314641B (zh) | 一种高帧频图像的采集存储显示***及方法 | |
| CN108696727A (zh) | 工业相机 | |
| CN109788214B (zh) | 一种基于fpga的多路视频无缝切换***和方法 | |
| CN109600532B (zh) | 无人机多路视频无缝切换***和方法 | |
| US20220321840A1 (en) | Method for transmitting high bandwidth camera data through serdes links | |
| CN108712625B (zh) | 多通道实时高清图像传输***及传输方法 | |
| CN106034199A (zh) | 一种模拟数据源的图像采集装置和方法 | |
| CN112291523B (zh) | 一种贴片机设备的图像数据接收***及方法 | |
| CN112689072A (zh) | 一种相机*** | |
| CN104935885B (zh) | 一种基于axi总线的可扩展多路图像采集装置 | |
| CN113986192B (zh) | 一种CoaXPress接口数据和Cameralink接口数据互相转换的方法 | |
| CN114359662B (zh) | 一种基于异构fpga和融合多分辨率的卷积神经网络的实现方法 | |
| CN111147522A (zh) | 多通道RocketIO协议与FC协议实时转换方法 | |
| CN211830923U (zh) | 一种可连接双摄像头的装置 | |
| WO2002033959A2 (en) | Cmos imaging apparatus | |
| CN208890933U (zh) | 工业相机 | |
| US8922676B2 (en) | Video frame buffer | |
| CN219204583U (zh) | 一种图像采集装置及电子设备 | |
| CN113923381B (zh) | 一种可实现多种视频接口切换器及其测量方法 | |
| CN113315935B (zh) | 一种基于fpga的cmos图像传感器数据采集装置及方法 | |
| CN207927153U (zh) | 一种贴片机高速抓拍摄像头 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210420 |
|
| WW01 | Invention patent application withdrawn after publication |