CN107370909A - 一种基于机器视觉技术的钢板矫直机自动控制方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉技术的钢板矫直机自动控制方法，1、通过模数转换器件将摄像头输出的模拟视频转换成能被计算机处理的数字视频；2、接收数字视频字节流，根据帧存选择信号和有效行同步信号对有效视频数据进行采集和格式转换，并缓存到相应的存储器中；3、搭建两片SRAM作为视频数据的缓冲存储器；图像处理模块对一帧图像进行中值滤波、边缘检测、二值化、细化处理，得到能够被计算机直接识别的图像信息，向USB控制模块发送；USB控制模块接收处理后的视频数据，控制USB设备端芯片向上位机发送；本发明方法能够准确测量板形的检测信息，可以达到25fps的帧率，满足实时性要求，比使用软件实现图像处理功能具有明显的优越性。

Description

一种基于机器视觉技术的钢板矫直机自动控制方法

技术领域

本发明属于自动化以及机器视觉技术领域，特别涉及一种基于机器视觉技术的钢板矫直机自动控制方法。

背景技术

在基于机器视觉技术的钢板矫直机自动控制***中，板形检测信息呈带状，在进行识别前需要首先将其从背景中提取出来，并细化为一个像素的宽度，方便计算机的处理。市面上现有的视频采集卡具有体积大、功耗高、功能不易扩充等缺点，用软件实现图像处理，造成上位机负担过重，使整个控制***实时性能下降。

发明内容

为了克服上述现有技术存在的问题，本发明的目的在于提供一种基于机器视觉技术的钢板矫直机自动控制方法，利用FPGA的并行处理能力，自行设计视频采集***，并将图像处理功能用FPGA实现，以便减轻上位机的处理负担。

为了达到上述目的，本发明采用如下技术方案：

本发明板形检测信息采集***，从硬件方面来说，***共分为四个部分：模数转换器件SAA7113将摄像头输出的模拟视频转换成能被计算机处理的数字视频；FPGA主要完成视频数据的采集和处理等控制功能，是整个***的核心器件；两片SRAM作为视频数据的缓冲存储器，实现隔行扫描数据的逐行存储；通过USB控制端芯片CY7C68013FX2实现视频数据的实时发送。

FPGA内部逻辑的设计分为5个模块：

(1)I2C总线控制器模块与模数转换器件SAA7113的I2C总线接口相连，利用I2C总线协议向模数转换器件SAA7113写入初始化控制字，设置其工作方式。

(2)控制信号产生模块接收从模数转换器件SAA7113输出的数字视频字节流，根据视频流中的定时基准信号SAV和EAV产生视频数据采集所需的有效行同步信号和帧存切换信号。

(3)帧存控制模块接收模数转换器件SAA7113输出的数字视频字节流，根据控制信号产生模块发出的帧存选择信号和有效行同步信号对有效视频数据进行采集和格式转换，并缓存到相应的存储器中；一帧图像转换完毕后，就将其向图像处理模块发送。

(4)图像处理模块对一帧图像进行中值滤波、边缘检测、二值化、细化等处理，最后得到可以被计算机直接识别的图像信息，向USB控制模块发送。

(5)USB控制模块接收处理后的视频数据，对其进行8位到16位的位宽转换后，控制USB设备端芯片CY7C68013向上位机发送。

本发明一种基于视觉技术的钢板矫直机自动控制方法，该方法包括以下步骤：

步骤A：通过模数转换器件将钢板矫直机摄像头输出的模拟视频转换成能被计算机处理的数字视频；

步骤B：采用控制信号产生模块和帧存控制模块主要完成视频数据的采集和处理控制；利用I2C总线控制器模块与模数转换器件SAA7113的I2C总线接口相连，接收从SAA7113输出的数字视频字节流，根据控制信号产生模块发出的帧存选择信号和有效行同步信号对有效视频数据进行采集和格式转换，并缓存到相应的存储器中；

步骤C：搭建两片SRAM作为钢板矫直机视频数据的缓冲存储器，实现隔行扫描数据的逐行存储；钢板矫直机图像处理模块对一帧图像进行中值滤波、边缘检测、二值化、细化处理，最后得到能够被计算机直接识别的图像信息，向钢板矫直机USB控制模块发送；USB控制模块接收处理后的视频数据，控制USB设备端芯片CY7C68013向上位机发送，实现检测信息的空间域图像处理方法。

和现有技术相比较，本发明具备如下优点：

1、采集部分采用缓冲存储策略，利用两片SRAM同时读写提高数据吞吐率。

2、图像处理部分采用同步FIFO实现空间域滤波的滑动窗口。

本发明设计***能够准确测量板形的检测信息，可以达到25fps的帧率，满足实时性要求，比使用软件实现图像处理功能具有明显的优越性。附图说明

图1是本发明的板形检测信息采集***总体结构。

图2是本发明的YUV4:2:2PAL制式图像的格式，其中图2(a)为一帧视频数据的格式，图2(b)为场有效期间的一行数据，图2(c)为定时基准信号定义。

图3是本发明的同步控制信号的产生过程，其中图3(a)为帧存切换信号的产生流程图，图3(b)为同步信号的产生流程图。

图4是本发明的SRAM控制模块内部逻辑。

图5是本发明的滑动窗口的实现。

图6是本发明的图像处理效果，其中图6(a)为原始图像，图6(b)为边缘提取合二值化后图像，图6(c)为细化后图像。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步详细说明：

如图1所示，控制信号产生模块和帧存控制模块实现了对有效视频数据进行采集的功能，图像处理模块实现了检测信息的空间域图像处理功能。

步骤A：通过模数转换器件将钢板矫直机摄像头输出的模拟视频转换成能被计算机处理的数字视频。

步骤B：采用控制信号产生模块和帧存控制模块主要完成视频数据的采集和处理控制功能；利用I2C总线控制器模块与模数转换器件SAA7113的I2C总线接口相连，接收从SAA7113输出的数字视频字节流，根据控制信号产生模块发出的帧存选择信号和有效行同步信号对有效视频数据进行采集和格式转换，并缓存到相应的存储器中。

SAA7113输出的视频格式为YUV4:2:2PAL制式图像，其格式如图2所示。其中图2(a)表示一帧视频数据的格式，一帧视频数据共包括625行，前312行为奇场，后313行为偶场。每场又分有效和消隐两个阶段。场有效期间共涵盖288个有效行，它们包含了一场中的全部有效数据，场消隐阶段中所有的行都是无效数据。一行数据也分为有效和消隐两部分，场有效期间一行数据的格式如图2(b)所示。每行的消隐数据和有效数据靠两个定时基准信号SAV和EAV隔开，其中SAV在每个视频有效数据块的开始，EAV在每个视频有效数据块的结束。SAV和EAV由4个字节的序列组成，格式为：FF 00 00XY。其中头三个字节是定时基准信号的识别码。第4个字节XY包含场标识、场消隐状态和行消隐状态等信息，其定义如图2(c)所示。

在采集过程中，应该只采集其中的有效数据，为了达到这个目的，必须知道每一个有效行的起始位置；此外，还须知道一帧图像何时开始。控制信号产生模块就是通过捕捉SAV和EAV信号，根据其第四个字节的含义来判断每一个有效行和一帧图像的起始位置的，其工作过程如图3(a)所示，描述了帧存切换信号的产生过程：首先捕捉定时基准信号的识别前缀“FF 00 00”序列，然后比较当前XY与前一个定时基准信号的XY(暂存在临时寄存器中)，若当前XY为B6，而上一个XY为EC，则表明当前位置为一帧图像的开始，因为XY从EC转变为B6只有在两帧图像进行切换的时候才会发生，此时将帧存切换信号ramsel取反。图3(b)所示的有效行同步信号的产生过程也类似，通过定时基准信号中XY的值(80表示奇场有效行开始，C7表示偶场有效行开始)判断是否有效行的开始，若是，则使能有效行同步信号qfv，同时对有效像素数据开始计数，当需要采集的有效数据计满时，使有效行同步信号qfv无效。

由于帧存有两片SRAM，它们的控制模块也有两个，但两个控制模块的设计完全相同，其内部逻辑如图4所示。它的输入为像素数据vpo，同步信号qfv及帧存切换信号ramsel。ramaddr[18:0]、ramdata[15:0]、oe、we和ce分别为SRAM的地址总线、数据总线以及控制信号，控制模块就是靠这5个信号实现对SRAM的读写。dataen_sr和dout_sr[7:0]为模块的数据输出及同步信号。

帧存控制模块的工作过程分为写和读两个阶段，其中数据写入阶段要对有效视频数据进行采集，是整个模块设计的关键。***中两片帧存的交替工作是靠帧存切换信号ramsel的电平变化实现的，当ramsel上跳时，一片SRAM工作，当ramsel下跳时，另一片工作。从这个过程中可以看出，ramsel的跳变可以作为相应帧存控制模块的启动信号，当一片帧存开始工作后，就可以根据qfv信号采集一帧图像中的有效行。由于***中使用的两片SRAM容量为512K字节，无法保存一帧图像中的全部有效数据，因此***中只截取一帧图像中大小为512×512的部分，对于YUV4:2:2的格式来说，每个像素占用两个字节，刚好存满一片帧存。具体而言，设计中采集的是奇场数据的前256行和偶场数据的前256行。对于一帧中的全部有效行来说，采集的数据对应其中的第1行到256行(奇场)，以及第289行到第544行(偶场)。

为了方便空间域图像处理，隔行扫描的数据必须按逐行方式进行存储。设计中对帧存储器的19位地址线按视频的行列格式进行划分，即用地址线的高9位作为视频数据存储的行地址，低10位作为视频数据的行内像素地址。地址变换策略如下：

1)行地址和列地址初值为0；

2)每采集一行，行地址加2；

3)行地址为510时，表明奇场数据采集完毕，将行地址设为1，开始采集偶场数据，仍然是每采集一行地址加2。

4)行地址为511时表明一帧数据的采集和格式转换完成。

5)行内像素的地址根据对qfv的计数实现，每采集一个像素地址加1。

上述过程结束后，一帧隔行扫描的图像就转换为逐行存储的格式了。这时就可以从0地址开始，将所有视频数据从帧存中读出，并发送给图像处理模块。

SRAM读写时序必须严格遵循如下顺序：发送地址，发读写控制信号、数据读写、取消读写控制信号。帧存控制模块就是靠产生稳定正确的时序信号对SRAM进行读写的。

步骤C：搭建两片SRAM作为钢板矫直机视频数据的缓冲存储器，实现隔行扫描数据的逐行存储；钢板矫直机图像处理模块对一帧图像进行中值滤波、边缘检测、二值化、细化处理，最后得到可以被计算机直接识别的图像信息，向钢板矫直机USB控制模块发送；USB控制模块接收处理后的视频数据，控制USB设备端芯片CY7C68013向上位机发送，实现检测信息的空间域图像处理方法。

图像处理模块共需实现三个功能：中值滤波、边缘提取及二值化，图像细化。

1)中值滤波

对设计中使用的3×3窗口而言，中值滤波的实质就是通过比较操作找出窗口中9个数据的中值，是一个排序的问题。如果采用常用的排序方法，往往需要进行几十次比较操作，无法保证滤波的实时性，因此本发明使用如下思路进行中值滤波的快速比较。

第一步，找出窗口中第一行三个数据的最大值、中间值和最小值，分别记作max1，med1和min1；同理，第二行的最大值、中间值和最小值，记作max2，med2，min2，第三行的最大值、中间值和最小值，记作max3，med3和min3。

第二步，对第一步得到的max1、max2和max3进行排序，找出其中的最大值，中间值和最小值，记作max_max123，med_max123和min_max123；同理，找出med1，med2和med3的最大值，中间值和最小值max_med123，med_med123和min_med123，还有min1，min2和min3的最大值，中间值和最小值max_min123，med_min123和min_min123。

max_max123是9个数里最大的，不可能是中间值；而min_min123是9个数里最小的，也不可能是中值；对于med_max123来说，至少有5个数比它小，(med_max123所在行的其余两个数，min_max123所在行的3个数)，因此不可能是中值，同理med_min123也不是中值；再来分析max_med123，也是至少5个数比它小(max_med123所在行的最小值，med_med123及其所在行的最小值，min_med123及其所在行的最小值)，因此它不是中值，同理有min_med123也不是中值。

第三步，经过上面的分析，现在中值只可能出现在min_max123，max_min123和med_med123三个值里，因此，只要在这一步中找出它们的中值，即为窗口中9个数的中值。

综上所述，这种中值滤波思路共经历了三个步骤，每个步骤中进行比较的数据组都是互相独立的，在FPGA中可以对它们并行处理。而每个步骤都是要在三个数中找到最大值、最小值和中间值，为了在8个时钟内完成这3个步骤，必须把每步的操作压缩在2个时钟内实现，具体如下：

(1)比较前两个数的大小，将较大者记为max，较小者记为min；

(2)比较max与第三个数，较大者即为最大值。比较min与第三个数，较小者即为最小值。对于中间值的确定，可以通过一个分支语句实现：若max小于第三个数，则max为中间值；否则比较min与第三个数的大小，取较大者为中值。

在FPGA中实现中值滤波的另一个关键问题是滑动窗口的实现，设计中采用的思路是使用同步fifo构造滑动窗口[4]，如图5所示。3个大小为1018字节的fifo，每个fifo加上末端的6个寄存器，刚好可以保存1行视频数据。这3组fifo和寄存器首尾相接可以缓存3行视频数据，其中寄存器f11、f13、f15、f21、f23、f25、f31、f33和f35组成了亮度信号的滑动窗口。每隔两个像素时钟，该滑动窗口滑动一个像素。

2)边缘提取和二值化

边缘提取采用Sobel算子进行处理，模块的结构与中值滤波模块完全相同，两者的区别仅在于处理过程有所不同。为了保证运算的可靠，边缘提取后新灰度值的计算分为四步完成：

(1)对模板系数为2的点，采用左移一位的方式实现乘法运算。

(2)将窗口中上下两行数据分别相加。

(3)将第二步得到的数据进行相减操作，相减后的结果可能出现负数。而对于Verilog的寄存器来说，由于没有负数的概念，如果被减数小于减数，相减后的结果反而是一个很大的正数。因此在进行减法运算前首先要判断被减数是否大于减数，若是，则可以相减；否则，将结果处理成最小灰度级0。

(4)对处理过的新灰度值进行二值化处理，处理过程很简单，只需给定一个阈值即可。

3)图像细化

对激光条进行细化最好的方法是对光条中心线进行提取，但这样要对图像进行纵向遍历，把已经转换好的图像格式重新打乱输出，前面的所有采集和处理工作都没有了意义。考虑到激光线上下边缘基本平行，在设计中采用近似的方法，对激光线的上边缘进行提取。具体方法是：用一个1×2的窗口(用1K的同步FIFO实现)扫描整帧图像，如果窗口中位于上方的灰度值是0，位于下方的灰度值是255，说明该处是带状图像的上边缘，此时保持窗口下方的灰度值不变。如果窗口中的两个灰度是其它任何一种情况，则将下方当前处理的灰度值改为0。

3板形检测信息采集***处理效果和性能分析

板形检测信息原始图像及视频采集***处理后的图像对比如图6所示。(a)为原始图像，可以看到其带状的检测信息比较宽大，背景信息也比较多。(b)为中值滤波和边缘提取及二值化处理后的结果，可以看到检测信息已经从背景中提取出来，但每条检测信息仍有一定宽度，不能直接用于计算机的识别。最后，经过细化处理的图像如(c)所示，图像中只剩下了板形检测带状信息的上边缘，且只有一个像素宽度，这时的检测信息就可以直接用来确定钢板相对基准位置的偏移，从而通过激光三角测量法的几何关系确定该段板形的延伸率。

最后对视频采集***的实时性进行测试，并对图像处理功能的FPGA实现和软件实现进行了对比，结果如表1所示：

表1图像处理功能用FPGA与软件实现对比

可以看到，采用FPGA进行图像采集和处理，1分钟内共处理1500帧图像，可以达到25fps的帧率，无丢帧现象。而用软件处理海量图像数据的效率是十分低下的，在一分钟内只处理了246帧图像，帧率只有4.1fps，丢帧率达到了83.6％，而CPU占用率却高达59％～74％。

Claims (1)

1.一种基于视觉技术的钢板矫直机自动控制方法，其特征在于：该方法包括以下步骤：

步骤A：通过模数转换器件将钢板矫直机摄像头输出的模拟视频转换成能被计算机处理的数字视频；

步骤B：采用控制信号产生模块和帧存控制模块主要完成视频数据的采集和处理控制；利用I2C总线控制器模块与模数转换器件SAA7113的I2C总线接口相连，接收从模数转换器件SAA7113输出的数字视频字节流，根据控制信号产生模块发出的帧存选择信号和有效行同步信号对有效视频数据进行采集和格式转换，并缓存到相应的存储器中；

步骤C：搭建两片SRAM作为钢板矫直机视频数据的缓冲存储器，实现隔行扫描数据的逐行存储；钢板矫直机图像处理模块对一帧图像进行中值滤波、边缘检测、二值化、细化处理，最后得到能够被计算机直接识别的图像信息，向钢板矫直机USB控制模块发送；USB控制模块接收处理后的视频数据，控制USB设备端芯片CY7C68013向上位机发送，实现检测信息的空间域图像处理方法。