CN105279765B - 一种基于fpga的颜色目标检测***及方法 - Google Patents

Abstract

本发明提供一种基于FPGA的颜色目标检测***及方法。该***包括Bayer信号接收模块；Bayer格式插值转RGB模块；R、G、B三路颜色分量相加模块；R、G、B三路颜色分量左移模块；除法模块；颜色判定及二值化目标模块；上述模块均在FPGA中实现。本发明能够对高分辨率的图像实时地检测出带有颜色特征信息的目标，并将其分割出来，从而进行目标跟踪等后续的处理。

Description

一种基于FPGA的颜色目标检测***及方法

技术领域

本发明属于目标实时检测与跟踪领域，具体涉及一种基于FPGA的颜色目标检测***及方法。

背景技术

机器视觉是一门应用计算机技术模拟人和生物视觉的科学，利用机器人代替人眼来进行测量和判断目标.其中视觉跟踪是机器视觉的一个重要分支。

在视觉跟踪中,首要的工作就是使用视觉***进行目标检测，只有在正确确认目标的基础上才能够检测和跟踪目标，目标检测过程就是图像分析处理的过程，选择合适的图像处理方法可以提高目标检测的实时性和鲁棒性。

现有的颜色目标实时检测方法主要是基于PC和摄像头体系的颜色区域目标检测方法和基于嵌入式颜色区域目标检测方法。基于PC和摄像头体系的颜色区域目标检测方法是将摄像头接入到PC机中，然后在Microsoft Visual Studio等纯软件环境下进行目标检测，但是这种检测方法需要购买与相机配套的采集卡，价格昂贵，且因为是纯软件环境，图像处理速度十分缓慢，达不到实时性的要求；基于嵌入式颜色区域目标检测方法有在ARM，MCU和FPGA中实现的，基于FPGA嵌入式的颜色区域目标检测方法使用了NiosII嵌入式中央处理器，算法运行速度较慢。这些传统的方法由于受到PC机性能及数字信号处理芯片性能的制约，在彩色图像处理能力上大多只能完成30万像素图像的准实时处理，无法实时处理更高分辨的图像。

发明内容

本发明的目的在于提供一种基于FPGA的颜色目标检测***及方法，能够对高分辨率的图像实时地检测出带有颜色特征信息的目标，并将其分割出来，从而进行目标跟踪等后续的处理。

为了解决上述技术问题，本发明提供一种基于FPGA的颜色目标实时检测***，包括Bayer信号接收模块；Bayer格式插值转RGB模块；R、G、B三路颜色分量相加模块；R、G、B三路颜色分量左移模块；除法模块；颜色判定及二值化目标模块；上述 模块均在FPGA中实现。

本发明还提供一种基于FPGA的颜色目标检测方法，包括以下步骤：

步骤一、根据图像中待分割目标的颜色，设定待分割区域每个像素是否属于该颜色的R、G、B三路颜色分量占颜色总量比例的判定阈值；

步骤二、将Bayer格式的图像转化为RGB格式的图像；

步骤三、提取RGB格式的图像中R、G、B三路颜色分量，将R、G、B三路颜色分量相加后获得每个像素的颜色总量，然后分别对R、G、B三路颜色分量左移N位，N的取值范围在4到32之间，获得将R、G、B三路颜色分量扩大2的N次方倍后的分量值

步骤四：计算分量分别占颜色总量的比例；

步骤五：将步骤一设定的判定阈值扩大2的N次方倍，然后判断三路颜色分量占颜色总量的比例是否满足扩大2的N次方倍后的颜色阈值判断条件，如果满足，则将该像素赋值为1，如果不满足则将该像素赋值为0，获得待跟踪目标所属区域的二值化图像，供目标跟踪后续的处理。

本发明与现有技术相比，其显著优点在于：(1)本发明可以处理的带宽可达Gpbs以上，在高分辨率高帧频图像处理中具有显著优势；(2)本发明在FPGA中脱离NiosII嵌入式中央处理器，采用纯硬件逻辑，处理速度可达60fps以上，具有很强的实时性实现了颜色区域目标的检测；(3)本发明将颜色各分量占颜色总量的比例设为阈值，使得判别颜色的条件更加充分，从而达到更为精确的效果。

附图说明

图1是本发明一种基于FPGA的颜色目标检测***结构示意图。

图2是本发明一种基于FPGA的颜色目标检测方法流程图。

图3是Bayer图像格式示意图。

图4是Bayer格式图像中R、G、B分量存在的四种组合方式示意图。

图5是本发明仿真实验中作为检测对象的图像。

图6是本发明仿真实验中获得的检测结果图像。

具体实施方式

如图1所示，本发明一种基于FPGA的颜色目标检测***，包括Bayer信号接收模块；Bayer格式插值转RGB模块；R、G、B三路颜色分量相加模块；R、G、B三路颜色分量左移模块；除法模块；颜色判定及二值化目标模块；上述模块均在FPGA中实现。FPGA固有的可重复编程性，使得本发明***硬件的功能可以像软件一样灵活而方便地编程配置，而且不仅可以提升***的处理速度，保障算法的高效运行，还可以减小***体积，便于应用和普及。

Bayer信号接收模块，用于接收Bayer格式的图像信号，然后将Bayer格式的图像信号送入Bayer格式插值转RGB模块；

Bayer格式插值转GRB模块用于将Bayer格式的图像转换为RGB格式的图像，并提取RGB格式图像中每个像素的R路颜色分量、G路颜色分量和B路颜色分量，然后将R、G、B三路颜色分量分别同时送入R、G、B三路颜色分量相加模块和R、G、B颜色分量左移模块；

R、G、B三路颜色分量相加模块用于计算R、G、B三路颜色分量的总量，然后将颜色总量发送给除法模块；

R、G、B颜色分量左移模块用于将R、G、B三路颜色分量分别左移N位，N的取值范围为4到32，获得将R、G、B三路颜色分量扩大2的N次方倍后的三路颜色分量，并将三路颜色分量发送到除法模块；

除法模块用于计算每个像素的三路颜色分量各自占颜色总量的比值，并将比值发送给颜色判定模块；

颜色判定及二值化目标模块将每个像素的颜色分量值占颜色总量的比值与预先设定的目标颜色判定阈值条件进行比较，满足阈值条件的像素即为符合待跟踪目标颜色的像素，也即该像素属于待跟踪目标区域内的像素，将该像素赋值为1；不满足阈值条件的像素即为不符合待跟踪目标颜色的像素，也即该像素属于待跟踪目标区域以外的像素，将该像素赋值为0，从而获得待跟踪目标所属区域的二值化图像，然后将二值化图像发送给后端做目标跟踪处理。本方法巧妙地解决了FPGA中浮点运算难题，使得在颜色区域检测目标达到更为精确的效果。

如图2所示，本发明一种基于FPGA的颜色目标检测方法，包括以下步骤：

步骤一、根据图像中待分割目标的颜色，设定待分割区域每个像素是否属于该颜色的R、G、B三路颜色分量占颜色总量比例的判定阈值，例如：

当待分割目标的颜色为红色时，如果图像内某个像素的R、G、B三路颜色分量占颜色总量比例满足如下阈值判断条件，则该像素为红色，即该像素属于待分割目标区域内的像素，

属于红色像素的阈值判断条件：

当待分割目标的颜色为绿色时，如果图像内某个像素的R、G、B三路颜色分量占颜色总量比例满足如下阈值判断条件，则该像素为绿色，即该像素属于待分割目标区域内的像素，

属于绿色像素的阈值判断条件：

当待分割目标的颜色为蓝色时，如果图像内某个像素的R、G、B三路颜色分量占颜色总量比例满足如下阈值判断条件，则该像素为蓝色，即该像素属于待分

属于绿色像素的阈值判断条件：

其中，R、G、B分别为R、G、B三路颜色分量，r、g、b分别为R颜色分量、G颜色分量或B颜色分量占R、G、B颜色总量的比值。

步骤二、将Bayer格式的图像转化为RGB格式的图像，具体过程为：

使用插值运算将Bayer格式的图像信号转化为RGB格式的图像信号，Bayer图像格式如图3所示，在图3中，每个方格代表一个像素，且每个像素含有R、G、B三种分量的中的一种，例如，奇数行的像素由R、G分量交替构成，偶数行的像素由G、B分量交替构成，其中G分量占所有像素的一半，R分量和B分量共占所有像素的另一半，即G分量是R、B分量的2倍。因此，将Bayer格式的图像转化为RGB格式的图像时，需要对G分量进行插值，将插值运算后的R、G、B分量作为RGB格式图像的R、G、B颜色分量，从而将Bayer格式的图像格式转化为RGB格式的图像。如图4所示，Bayer格式图像中，R、G、B分量存在四种组合方式，四种组合方式分别对应四种插值计算方式。

第一种情况为：第一行从左到右为R、G分量，第二行从左到右为G、B分量，该情况对应的对右下角的第一个元素进行插值的方式如公式(1)所示，

B＝B₂₂,R＝R₁₁,G＝(G₁₂+G₂₁)/2； (1)

第二种情况为：第一行从左到右为B、G分量，第二行从左到右为G、R分量，该情况对应的对右下角的第一个元素进行插值的方式如公式(2)所示，

G＝(G₁₁+G₂₂)/2；B＝B₁₂,R＝R₂₁； (2)

第三种情况为：第一行从左到右为G、B分量，第二行从左到右为R、G分量，该情况对应的对右下角的第一个元素进行插值的方式如公式(3)所示，

G＝(G₁₁+G₂₂)/2；B＝B₁₂,R＝R₂₁； (3)

第四种情况为：第一行从左到右为G、R分量，第二行从左到右为B、G分量，该情况对应的对右下角的第一个元素进行插值的方式如公式(4)所示，

G＝(G₁₁+G₂₂)/2,R＝R₁₂，B＝B₂₁； (4)

以上公式中，B_ij表示第i行第j列的B分量像素；R_ij表示第i行第j列的R分量像素；G_ij表示第i行第j列的G分量像素，其中i和j的取值范围为1到2。

步骤三、提取RGB格式的图像中R、G、B三路颜色分量，将R、G、B三路颜色分量相加后获得每个像素的颜色总量，然后分别对R、G、B三路颜色分量左移N位，N的取值范围为一般为4到32，获得将R、G、B三路颜色分量扩大2的N次方倍后的分量值

步骤四：计算分量分别占颜色总量的比例，计算方式如公式(5)所示，

公式(5)中，RS、GS、BS分别表示R、G、B三路颜色分量扩大2的N次方倍后三路颜色分量占颜色总量(R+G+B)的比例。

步骤五：将步骤一设定的判定阈值扩大2的N次方倍，然后判断三路颜色分量占颜色总量(R+G+B)的比例，即判断每一个像素的RS、GS、BS是否满足扩大2的N次方倍后的颜色阈值判断条件，如果满足，则将该像素赋值为1，如果不满足则将该像素赋值为0，获得待跟踪目标所属区域的二值化图像，供目标跟踪后续的处理。

例如：

属于红色目标的待分割区域的像素应当满足：

(RS>0.4*2^N)&(GS<0.3*2^N)&(BS<0.2*2^N)；

属于绿色目标的待分割区域的像素应当满足：

(RS<0.4*2^N)&(GS>0.4*2^N)&(BS<0.2*2^N)；

属于蓝色目标的待分割区域的像素应当满足：

(RS<0.4*2^N)&(GS<0.3*2^N)&(BS>0.3*2^N)；

本步骤巧妙地解决了FPGA中浮点运算难题，使得在颜色区域检测目标达到更为精确的效果。

本发明的有益效果可以通过以下仿真实验进一步说明：

实验硬件平台为Alter CycloneIV芯片，软件平台为QuartusII,，被检测对象如图5所示，将带有红、黄、蓝、灰颜色信息的黑白棋盘格放在地面上，做红色目标(图中放在左上角的红色Ipad外壳)的检测。实验结果如图6所示，图6中白色部分是二值化后检测出来的红色目标区域。说明本发明可以将红色目标准确地提取出来，具有很高的精确度。若要判别其他颜色目标，在程序中修改对应颜色的阈值判断条件即可，充分体现了本发明的灵活性。本发明还做了大量颜色目标检测的实验，处理图像帧频可达60fps,实验中未出现延时的现象，因此本发明实时性能卓越。

Claims (6)

1.一种基于FPGA的颜色目标实时检测***，其特征在于，包括Bayer信号接收模块；Bayer格式插值转RGB模块；R、G、B三路颜色分量相加模块；R、G、B三路颜色分量左移模块；除法模块；颜色判定及二值化目标模块；上述模块均在FPGA中实现；

Bayer信号接收模块接收到Bayer格式的图像信号后将Bayer格式的图像信号送入Bayer格式插值转RGB模块；

Bayer格式插值转RGB模块使用插值算法将Bayer格式的图像转换为RGB格式的图像，并提取RGB格式图像中每个像素的R路颜色分量、G路颜色分量和B路颜色分量，然后将R、G、B三路颜色分量分别同时送入R、G、B三路颜色分量相加模块和R、G、B颜色分量左移模块；

R、G、B三路颜色分量相加模块计算R、G、B三路颜色分量的总量，然后将颜色总量发送给除法模块；

R、G、B颜色分量左移模块将R、G、B三路颜色分量分别左移N位，N的取值范围在4到32之间，获得将R、G、B三路颜色分量扩大2的N次方倍后的三路颜色分量，并将三路颜色分量发送到除法模块；

除法模块计算每个像素的三路颜色分量各自占颜色总量的比值，并将比值发送给颜色判定及二值化目标模块。

2.一种基于FPGA的颜色目标实时检测方法，其特征在于，包括以下步骤：

步骤一、根据图像中待跟踪目标的颜色，设定待跟踪目标所在区域每个像素是否属于该颜色的判定阈值，所述判定阈值是该像素R、G、B三路颜色分量占颜色总量的比例；

步骤二、将Bayer格式的图像转化为RGB格式的图像；

步骤三、提取RGB格式的图像中R、G、B三路颜色分量，将R、G、B三路颜色分量相加后获得每个像素的颜色总量，然后分别对R、G、B三路颜色分量左移N位，N的取值范围在4到32之间，获得将R、G、B三路颜色分量扩大2的N次方倍后的分量值

步骤四：计算分量分别占颜色总量的比例；

步骤五：将步骤一设定的判定阈值扩大2的N次方倍，然后判断三路颜色分量占颜色总量的比例是否满足扩大2的N次方倍后的颜色阈值判断条件，如果满足，则将该像素赋值为1，如果不满足则将该像素赋值为0，获得待跟踪目标所属区域的二值化图像，供目标跟踪后续的处理。

3.如权利要求2所述的基于FPGA的颜色目标实时检测方法，其特征在于，步骤一中，

当待分割目标的颜色为红色时，则判断图像内某个像素是否属于红色区域像素的阈值判断条件为：

当待分割目标的颜色为绿色时，则判断图像内某个像素是否属于绿色区域像素的阈值判断条件为：

当待分割目标的颜色为蓝色时，则判断图像内某个像素是否属于蓝色区域像素的阈值判断条件为：

其中，R、G、B分别为某一像素的R、G、B三路颜色分量，r、g、b分别为R颜色分量、G颜色分量或B颜色分量占R、G、B颜色总量的比值。

4.如权利要求2所述的基于FPGA的颜色目标实时检测方法，其特征在于，步骤二中使用插值运算将Bayer格式的图像转化为RGB格式的图像；其中Bayer格式图像中，R、G、B分量四种组合方式分别对应的插值计算方式如下：

当第一行从左到右为R、G分量，第二行从左到右为G、B分量，该对应的对右下角的第一个元素进行插值的方式如公式(1)所示，

B＝B₂₂,R＝R₁₁,G＝(G₁₂+G₂₁)/2； (1)

当第一行从左到右为B、G分量，第二行从左到右为G、R分量，则对应的对右下角的第一个元素进行插值的方式如公式(2)所示，

G＝(G₁₁+G₂₂)/2；B＝B₁₂,R＝R₂₁； (2)

当第一行从左到右为G、B分量，第二行从左到右为R、G分量，则对应的对右下角的第一个元素进行插值的方式如公式(3)所示，

G＝(G₁₁+G₂₂)/2；B＝B₁₂,R＝R₂₁； (3)

当第一行从左到右为G、R分量，第二行从左到右为B、G分量，则对应的对右下角的第一个元素进行插值的方式如公式(4)所示，

G＝(G₁₁+G₂₂)/2,R＝R₁₂，B＝B₂₁； (4)

以上公式中，B_ij表示第i行第j列像素的B颜色分量；R_ij表示第i行第j列像素的R颜色分量；G_ij表示第i行第j列像素的G颜色分量，其中i和j的取值范围为1到2。

5.如权利要求2所述的基于FPGA的颜色目标实时检测方法，其特征在于，步骤四中分量分别占颜色总量的比例的计算方式如公式(5)所示，

公式(5)中，RS、GS、BS分别表示R、G、B三路颜色分量扩大2的N次方倍后三路颜色分量占颜色总量(R+G+B)的比例。

6.如权利要求5所述的基于FPGA的颜色目标实时检测方法，其特征在于，步骤五中，

属于红色目标的待分割区域的像素应当满足：

(RS>0.4*2^N)&(GS<0.3*2^N)&(BS<0.2*2^N)；

属于绿色目标的待分割区域的像素应当满足：

(RS<0.4*2^N)&(GS>0.4*2^N)&(BS<0.2*2^N)；

属于蓝色目标的待分割区域的像素应当满足：

(RS<0.4*2^N)&(GS<0.3*2^N)&(BS>0.3*2^N)。