CN106598543A - 图像传感器数据处理*** - Google Patents

图像传感器数据处理*** Download PDF

Info

Publication number
CN106598543A
CN106598543A CN201611075294.XA CN201611075294A CN106598543A CN 106598543 A CN106598543 A CN 106598543A CN 201611075294 A CN201611075294 A CN 201611075294A CN 106598543 A CN106598543 A CN 106598543A
Authority
CN
China
Prior art keywords
data
parallel
module
lvds
control module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611075294.XA
Other languages
English (en)
Inventor
叶红磊
王勇
李赟晟
王凯
蒋亮亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai IC R&D Center Co Ltd
Chengdu Image Design Technology Co Ltd
Original Assignee
Shanghai Integrated Circuit Research and Development Center Co Ltd
Chengdu Image Design Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Integrated Circuit Research and Development Center Co Ltd, Chengdu Image Design Technology Co Ltd filed Critical Shanghai Integrated Circuit Research and Development Center Co Ltd
Priority to CN201611075294.XA priority Critical patent/CN106598543A/zh
Publication of CN106598543A publication Critical patent/CN106598543A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F5/00—Methods or arrangements for data conversion without changing the order or content of the data handled
    • G06F5/06—Methods or arrangements for data conversion without changing the order or content of the data handled for changing the speed of data flow, i.e. speed regularising or timing, e.g. delay lines, FIFO buffers; over- or underrun control therefor
    • G06F5/065—Partitioned buffers, e.g. allowing multiple independent queues, bidirectional FIFO's

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种图像传感器数据处理***，包括：与图像传感器相连接的LVDS接口、与LVDS相连接的FPGA、与FPGA相连接的并行接口、与并行接口相连接的图像处理器；LVDS接口具有多个LVDS串行行数据传输通道；FPGA具有串并转换模块、存储模块和存储控制模块；串并转换模块将每路LVDS串行数据转换为并行传输数据；采集模块将每路LVDS转换后的并行数据存储到FIFO中；存储控制模块把FIFO数据经过一定的方式转换成平行的数据传输给图像处理器，从而实现了图像传感器数据到图像处理器的实时传输，不需要额外增加存储设备。

Description

图像传感器数据处理***
技术领域
本发明涉及集成电路技术领域，具体涉及一种图像传感器数据处理***。
背景技术
图像传感器对物体探测之后得到探测数据，然后要将探测数据传输给图像处理器进行处理得到图像。通常，图像传感器的传输接口为平行数据接口，而且前端的图像传感器一般为lvds接口，而且数据的排列方式也不一样，这样就不能把sensor直接连接到图像处理器上；造成图像传感器与图像处理器之间的数据不能得到及时传输和实时处理。
发明内容
为了克服以上问题，本发明旨在提供一种图像传感器数据处理***，采用FPGA对图像传感器数据实现并行转换。
为了达到上述目的，本发明提供了一种图像传感器数据处理***，用于对图像传感器的数据进行处理并传输到图像处理器中；其特征在于，包括：
与LVDS相连接的FPGA、与FPGA相连接的并行接口、与并行接口相连接的图像处理器；其中，
LVDS接口，其具有多个LVDS串行数据传输通道，用于将图像传感器的数据并行传输给FPGA；
FPGA，具有串并转换模块、存储模块和存储控制模块；
串并转换模块，将每路LVDS串行数据传输通道所传输的数据转换为并行传输数据；
采集模块，将每路LVDS数据传输通道由串并转换模块转换得到的并行传输数据进行采集；
采集控制模块，读取采集模块所采集的并行传输数据，并且通过并行接口传输给图像处理器。
优选地，所述串并转换模块将每个LVDS串行数据传输通道的每个像素的总传输数据作为一个像素的并行传输数据。
优选地，所述采集模块为多个且分别采集与每个LVDS串行数据传输通道对应的并行传输数据。
优选地，FPGA还具有一个FIFO控制模块，FPGA从多个FIFO模块依次读取并行传输数据，FIFO每个模块将并行传输数据通过并行接口传输给图像处理器。
优选地，FIFO模块为多个且分别对应读取每个LVDS串行数据传输通道的并行传输数据
优选地，并行接口包括帧控制模块、行控制模块和多个并行数据传输通道；帧控制模块用于判断FIFO模块读取一帧的并行传输数据是否正常；行控制模块用于判断FIFO模块是否正常读取每个LVDS串行数据传输通道对应的并行传输数据；当帧控制模块和行控制模块得到的结果均为正常时，FIFO模块将读取的并行传输数据通过多个并行数据传输通道传输给图像处理器。
优选地，所述FIFO模块读取采集模块中所采集的每个LVDS串行数据传输通道对应的并行传输数据时，行控制模块发出1，帧控制模块发出1，当每路fifo数据传输通道对应的并行传输数据读取完时，行控制模块发出0，帧控制模块发出1，当所有的fifo数据传输通道对应的并行传输数据读取完时，行控制模块和帧控制模块发出0，此时，FIFO模块将读取完的一帧的并行传输数据通过多个并行数据传输通道传输给图像处理器。
优选地，LVDS接口还具有LVDS控制模块，LVDS控制模块用于判断多个LVDS串行行数据传输通道所传输的数据是否异常，若出现异常，LVDS控制模块发送信号给FIFO模块，FIFO模块不读取该异常的数据。
优选地，若多个LVDS串行数据传输通道所传输的数据出现异常，，LVDS控制模块还标记出现异常的数据并且发送标记信号给FIFO模块，FIFO模块根据标记信号来识别该异常的数据并且不读取该异常的数据。
本发明的图像传感器数据处理***，实现了图像传感器数据到图像处理器的实时传输，不需要额外增加存储设备，大大降低了***开发难度和开发周期以及开发成本。
附图说明
图1为本发明的一个较佳实施例的图像传感器数据处理***的方块图
图2为本发明的一个较佳实施例的LVDS串行数据传输通道的示意图
图3为本发明的一个较佳实施例的FPGA的架构示意图
图4为本发明的一个较佳实施例的帧控制模块和行控制模块的信号输出示意图
具体实施方式
为使本发明的内容更加清楚易懂，以下结合说明书附图，对本发明的内容作进一步说明。当然本发明并不局限于该具体实施例，本领域内的技术人员所熟知的一般替换也涵盖在本发明的保护范围内。
以下结合附图1-4和具体实施例对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式、使用非精准的比例，且仅用以方便、清晰地达到辅助说明本实施例的目的。
请参阅图1，本实施例中，图像传感器数据处理***，用于对CMV4000图像传感器的数据进行处理并传输到图像处理器中；其包括：与LVDS相连接的FPGA、与FPGA相连接的并行接口、与并行接口相连接的图像处理器；其中，
请结合图1和2，LVDS接口，其具有16个LVDS串行行数据传输通道channel 1至channel 16，每个LVDS串行数据传输通道传输128个像素的数据，如图2所示，channel 1传输第0至第127个像素的数据，channel 2传输第128至第255个像素的数据，以此类推，channel 16传输第1920至第2027个像素，其中，每个像素传输10个次例如每次传输1bit，传输10次为10bit构成一个像素的数据，用于将图像传感器的数据并行传输给FPGA；这里，LVDS接口还具有LVDS控制模块，LVDS控制模块用于判断多个LVDS串行行数据传输通道所传输的数据是否异常，若出现异常，LVDS控制模块发送信号给FIFO模块，FIFO模块不读取该异常的数据。此外，若不正常，LVDS控制模块还标记出现异常的数据并且发送标记信号给FIFO模块，FIFO模块根据标记信号来识别该异常的数据并且不读取该异常的数据。例如，LVDS控制模块发现第10行的并行数据传输通道所传输的数据出现异常，则发送信号给FIFO模块，FIFO模块不读取该第10行所传输的数据。
请参阅图3，FPGA具有串并转换模块、采集模块和FIFO模块；
串并转换模块将每个LVDS串行数据传输通道所传输的数据转换为并行传输数据；这里，串并转换模块将每个LVDS串行数据传输通道的每个像素的总传输数据作为一个像素的并行传输数据；例如，每个LVDS串行数据传输通道的每个像素均需传送10次来完成一个像素的数据，则转换之前每一行的并行数据传输通道的所传输的数据的数量为1280个，在串并转换模块对相同像素的10次所传输的数据合并为一个像素的并行传输数据后，针对每行有128个像素则得到128像素的并行传输数据，即转换后的并行传输数据的数量为128个，从而实现对LVDS串行数据传输通道所传输的数据的合并。
采集模块将每个LVDS串行数据传输通道由串并转换模块转换得到的并行传输数据进行采集；这里，采集模块为多个且分别采集与每个LVDS串行行数据传输通道对应的并行传输数据，FIFO模块为多个且分别对应读取每个LVDS串行行数据传输通道的并行传输数据。例如，一共有16个LVDS串行行数据传输通道，则对应有16的FIFO模块用于读取所转换得到的并行传输数据。请结合图2和图3，一共有16个LVDS串行数据传输通道，采集模块分别采集这16个LVDS串行行数据传输通道所传输的数据，分别得到对应于channel 1的pix0至pix127(第0个像素至第127个像素)的数据，依次类推，对应channel 16的pix1920至pix2047(第1920个像素至第2047个像素)的数据。
FIFO模块读取采集模块所采集的并行传输数据，并且通过并行接口传输给图像处理器。同时，本实施例中，FPGA从多个FIFO模块依次读取并行传输数据将并行传输数据通过并行接口传输给图像处理器。
本实施例中，请再次参阅图1，并行传输接口包括帧控制模块、行控制模块和多个并行数据传输通道；帧控制模块用于判断FIFO模块读取一帧的并行传输数据是否正常；行控制模块用于判断FIFO模块是否正常读取每个fofo数据传输通道对应的并行传输数据；当帧控制模块和行控制模块得到的结果均为正常时，FIFO模块将读取的并行传输数据通过多个并行数据传输通道传输给图像处理器。举例来说，请参阅图4，为本实施例的帧控制模块和行控制模块的信号输出示意图；曲线A为帧控制模块的信号输出曲线，曲线B为行控制模块的信号输出曲线；这里，FIFO模块读取采集模块中所采集的每个LVDS串行数据传输通道对应的并行传输数据时，行控制模块发出1，帧控制模块发出1，当每个LVDS串行数据传输通道对应的并行传输数据读取完时，行控制模块发出0，帧控制模块发出1，当所有的LVDS串行数据传输通道对应的并行传输数据读取完时，行控制模块和帧控制模块发出0，此时，FIFO模块将读取完的一帧的并行传输数据通过多个并行数据传输通道传输给图像处理器；重复上述过程，完成对图2中的2048个像素的数据的传输。
虽然本发明已以较佳实施例揭示如上，然所述实施例仅为了便于说明而举例而已，并非用以限定本发明，本领域的技术人员在不脱离本发明精神和范围的前提下可作若干的更动与润饰，本发明所主张的保护范围应以权利要求书所述为准。

Claims (9)

1.一种图像传感器数据处理***，用于对图像传感器的数据进行处理并传输到图像处理器中；其特征在于，包括：与LVDS相连接的FPGA、与FPGA相连接的并行接口、与并行接口相连接的图像处理器；其中，
LVDS接口，其具有多个LVDS串行数据传输通道，用于将图像传感器的数据并行传输给FPGA；
FPGA，具有串并转换模块、存储模块和存储控制模块；其中，
串并转换模块，将每路LVDS串行数据传输通道所传输的数据转换为并行传输数据；
采集模块，将每路LVDS数据传输通道由串并转换模块转换得到的并行传输数据进行采集；
采集控制模块，读取采集模块所采集的并行传输数据，并且通过并行接口传输给图像处理器。
2.根据权利要求1所述的图像传感器数据处理***，其特征在于，所述串并转换模块将每个LVDS串行数据传输通道的每个像素的总传输数据作为一个像素的并行传输数据。
3.根据权利要求1所述的图像传感器数据处理***，其特征在于，所述采集模块为多个且分别采集与每个LVDS串行数据传输通道对应的并行传输数据。
4.根据权利要求3所述的图像传感器数据处理***，其特征在于，FPGA还具有一个FIFO模块，FPGA从多个FIFO模块依次读取并行传输数据，每个FIFO模块将并行传输数据通过并行接口传输给图像处理器。
5.根据权利要求4所述的图像传感器数据处理***，其特征在于，所述FIFO模块为多个且分别对应读取每个LVDS串行数据传输通道的并行传输数据。
6.根据权利要求4所述的图像传感器数据处理***，其特征在于，并行接口包括帧控制模块、行控制模块和多个并行数据传输通道；帧控制模块用于判断FIFO模块读取一帧的并行传输数据是否正常；行控制模块用于判断FIFO模块是否正常读取每个FIFO并行数据传输通道对应的并行传输数据；当帧控制模块和行控制模块得到的结果均为正常时，FIFO模块将读取的并行传输数据通过多个并行数据传输通道传输给图像处理器。
7.根据权利要求5所述的图像传感器数据处理***，其特征在于，所述FIFO模块读取采集模块中并行数据传输通道对应的并行传输数据时，行控制模块发出1，帧控制模块发出1，当每个并行数据传输通道对应的并行传输数据读取完时，行控制模块发出0，帧控制模块发出1，当所有的LVDS串行行数据传输通道对应的并行传输数据读取完时，行控制模块发出0和帧控制模块发出0，此时，FIFO模块将读取完的一帧的并行传输数据通过多个并行数据传输通道传输给图像处理器。
8.根据权利要求4所述的图像传感器数据处理***，其特征在于，LVDS接口还具有LVDS控制模块，LVDS控制模块用于判断多个LVDS串行数据传输通道所传输的数据是否异常，若出现异常，LVDS控制模块发送信号给FIFO模块，FIFO模块不读取该异常的数据。
9.根据权利要求8所述的图像传感器数据处理***，其特征在于，若多个LVDS串行数据传输通道所传输的数据出现异常，LVDS控制模块还标记出现异常的数据并且发送标记信号给FIFO模块，FIFO模块根据标记信号来识别该异常的数据并且不读取该异常的数据。
CN201611075294.XA 2016-11-30 2016-11-30 图像传感器数据处理*** Pending CN106598543A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611075294.XA CN106598543A (zh) 2016-11-30 2016-11-30 图像传感器数据处理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611075294.XA CN106598543A (zh) 2016-11-30 2016-11-30 图像传感器数据处理***

Publications (1)

Publication Number Publication Date
CN106598543A true CN106598543A (zh) 2017-04-26

Family

ID=58593735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611075294.XA Pending CN106598543A (zh) 2016-11-30 2016-11-30 图像传感器数据处理***

Country Status (1)

Country Link
CN (1) CN106598543A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108471511A (zh) * 2018-03-12 2018-08-31 深圳怡化电脑股份有限公司 图像数据的处理***及其处理方法
CN110769206A (zh) * 2019-11-19 2020-02-07 深圳开立生物医疗科技股份有限公司 一种电子内窥镜信号传输方法、装置和***及电子设备
CN110769207A (zh) * 2019-11-19 2020-02-07 深圳开立生物医疗科技股份有限公司 一种电子内窥镜信号传输方法、装置和设备及***
CN113965710A (zh) * 2021-09-08 2022-01-21 上海集成电路装备材料产业创新中心有限公司 信号转换***及信号转换方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201191888Y (zh) * 2008-04-15 2009-02-04 北京思比科微电子技术有限公司 一种图像传输装置
CN101360245A (zh) * 2008-09-19 2009-02-04 中国人民解放军国防科学技术大学 基于多dsp并行处理的大容量图像数据实时压缩设备及方法
US20110122262A1 (en) * 2009-11-20 2011-05-26 Hiroshi Shinozaki Method and apparatus for information reproduction
CN102629968A (zh) * 2012-04-11 2012-08-08 湖南镭目科技有限公司 一种图像处理装置、方法及***
CN103986869A (zh) * 2014-05-22 2014-08-13 中国科学院长春光学精密机械与物理研究所 一种高速tdiccd遥感相机图像采集与显示装置
CN104408011A (zh) * 2014-11-28 2015-03-11 成都中远信电子科技有限公司 一种多路数据存储的便携式地面测试设备
CN104407809A (zh) * 2014-11-04 2015-03-11 盛科网络（苏州）有限公司 多通道fifo缓冲器及其控制方法
CN104853077A (zh) * 2015-05-27 2015-08-19 周毅 一种广播级高速高清摄像机

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201191888Y (zh) * 2008-04-15 2009-02-04 北京思比科微电子技术有限公司 一种图像传输装置
CN101360245A (zh) * 2008-09-19 2009-02-04 中国人民解放军国防科学技术大学 基于多dsp并行处理的大容量图像数据实时压缩设备及方法
US20110122262A1 (en) * 2009-11-20 2011-05-26 Hiroshi Shinozaki Method and apparatus for information reproduction
CN102629968A (zh) * 2012-04-11 2012-08-08 湖南镭目科技有限公司 一种图像处理装置、方法及***
CN103986869A (zh) * 2014-05-22 2014-08-13 中国科学院长春光学精密机械与物理研究所 一种高速tdiccd遥感相机图像采集与显示装置
CN104407809A (zh) * 2014-11-04 2015-03-11 盛科网络（苏州）有限公司 多通道fifo缓冲器及其控制方法
CN104408011A (zh) * 2014-11-28 2015-03-11 成都中远信电子科技有限公司 一种多路数据存储的便携式地面测试设备
CN104853077A (zh) * 2015-05-27 2015-08-19 周毅 一种广播级高速高清摄像机

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108471511A (zh) * 2018-03-12 2018-08-31 深圳怡化电脑股份有限公司 图像数据的处理***及其处理方法
CN110769206A (zh) * 2019-11-19 2020-02-07 深圳开立生物医疗科技股份有限公司 一种电子内窥镜信号传输方法、装置和***及电子设备
CN110769207A (zh) * 2019-11-19 2020-02-07 深圳开立生物医疗科技股份有限公司 一种电子内窥镜信号传输方法、装置和设备及***
CN113965710A (zh) * 2021-09-08 2022-01-21 上海集成电路装备材料产业创新中心有限公司 信号转换***及信号转换方法

Similar Documents

Publication Publication Date Title
CN106598543A (zh) 图像传感器数据处理***
CN112599083B (zh) 显示屏的数据传输方法、数据接收方法、发送卡及接收卡
CN103268209B (zh) 电视墙
CA2366397A1 (en) An interface for data transfer between integrated circuits
CN103827760B (zh) 用于通过网关设备来传输过程映像的方法和***
CN107766200A (zh) 一种i2c总线监控***及监控方法
CN104901859A (zh) 一种axi/pcie总线转换装置
CN105136804A (zh) 高速带钢表面图像采集及图像处理装置和方法
CN102629968A (zh) 一种图像处理装置、方法及***
CN107071520A (zh) 一种CoaXPress高速图像接口协议IP的实现方法
CN105427772A (zh) 共用协议层的多通道显示接口信号生成***及方法
CN106416144A (zh) 用于总线***的用户站和用于提高总线***中的传输容量的方法
CN106851183A (zh) 基于fpga的多路视频处理***及其方法
CN103795499A (zh) 一种卫星载荷高速串口检错纠错方法
CN109429043B (zh) 基于fpga的交通标志视频图像的采集***及方法
CN103705260A (zh) 一种基于光纤通信的数字医学成像设备的数据传输***
CN104079859B (zh) 基于反馈机制的视频传输速率自适应***
CN201754277U (zh) 一种基于pci-e的数据交换处理装置
CN107748728B (zh) 一种串口通讯分配装置及其通讯方法
CN202424939U (zh) 一种cmos图像传感器调试器
CN105489160B (zh) 一种led显示屏的数据传输装置、数据传输方法及***
CN211656247U (zh) 多传感器数据同步***
CN207039793U (zh) 一种机器视觉***
CN102594484A (zh) 一种高速串行传输链路异常检测重组的方法及装置
CN112272337A (zh) 一种基于NB-IoT的水表、数据上传方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170426