CN105678767B - 一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法 - Google Patents
一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法 Download PDFInfo
- Publication number
- CN105678767B CN105678767B CN201610009929.XA CN201610009929A CN105678767B CN 105678767 B CN105678767 B CN 105678767B CN 201610009929 A CN201610009929 A CN 201610009929A CN 105678767 B CN105678767 B CN 105678767B
- Authority
- CN
- China
- Prior art keywords
- image
- egf
- detection
- filtering
- lab
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 58
- 239000004744 fabric Substances 0.000 title claims abstract description 37
- 238000013461 design Methods 0.000 title claims abstract description 19
- 238000001914 filtration Methods 0.000 claims abstract description 35
- 230000007547 defect Effects 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims abstract description 12
- 238000006243 chemical reaction Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 13
- 230000000007 visual effect Effects 0.000 claims description 11
- 238000000034 method Methods 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000009286 beneficial effect Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000002950 deficient Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000002474 experimental method Methods 0.000 claims description 3
- 238000011895 specific detection Methods 0.000 claims description 3
- CVRALZAYCYJELZ-UHFFFAOYSA-N O-(4-bromo-2,5-dichlorophenyl) O-methyl phenylphosphonothioate Chemical compound C=1C=CC=CC=1P(=S)(OC)OC1=CC(Cl)=C(Br)C=C1Cl CVRALZAYCYJELZ-UHFFFAOYSA-N 0.000 claims 2
- 238000004458 analytical method Methods 0.000 abstract description 6
- 238000000605 extraction Methods 0.000 abstract description 5
- 102000009024 Epidermal Growth Factor Human genes 0.000 description 27
- 101800003838 Epidermal growth factor Proteins 0.000 description 27
- 229940116977 epidermal growth factor Drugs 0.000 description 27
- VBEQCZHXXJYVRD-GACYYNSASA-N uroanthelone Chemical compound C([C@@H](C(=O)N[C@H](C(=O)N[C@@H](CS)C(=O)N[C@@H](CC(N)=O)C(=O)N[C@@H](CS)C(=O)N[C@H](C(=O)N[C@@H]([C@@H](C)CC)C(=O)NCC(=O)N[C@@H](CC=1C=CC(O)=CC=1)C(=O)N[C@@H](CO)C(=O)NCC(=O)N[C@@H](CC(O)=O)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](CS)C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@@H]([C@@H](C)O)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](CC(O)=O)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CCCNC(N)=N)C(=O)N[C@@H](CC=1C2=CC=CC=C2NC=1)C(=O)N[C@@H](CC=1C2=CC=CC=C2NC=1)C(=O)N[C@@H](CCC(O)=O)C(=O)N[C@@H](CC(C)C)C(=O)N[C@@H](CCCNC(N)=N)C(O)=O)C(C)C)[C@@H](C)O)NC(=O)[C@H](CO)NC(=O)[C@H](CC(O)=O)NC(=O)[C@H](CC(C)C)NC(=O)[C@H](CO)NC(=O)[C@H](CCC(O)=O)NC(=O)[C@@H](NC(=O)[C@H](CC=1NC=NC=1)NC(=O)[C@H](CCSC)NC(=O)[C@H](CS)NC(=O)[C@@H](NC(=O)CNC(=O)CNC(=O)[C@H](CC(N)=O)NC(=O)[C@H](CC(C)C)NC(=O)[C@H](CS)NC(=O)[C@H](CC=1C=CC(O)=CC=1)NC(=O)CNC(=O)[C@H](CC(O)=O)NC(=O)[C@H](CC=1C=CC(O)=CC=1)NC(=O)[C@H](CO)NC(=O)[C@H](CO)NC(=O)[C@H]1N(CCC1)C(=O)[C@H](CS)NC(=O)CNC(=O)[C@H]1N(CCC1)C(=O)[C@H](CC=1C=CC(O)=CC=1)NC(=O)[C@H](CO)NC(=O)[C@@H](N)CC(N)=O)C(C)C)[C@@H](C)CC)C1=CC=C(O)C=C1 VBEQCZHXXJYVRD-GACYYNSASA-N 0.000 description 27
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 5
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000004753 textile Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 229910052691 Erbium Inorganic materials 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- UYAHIZSMUZPPFV-UHFFFAOYSA-N erbium Chemical compound [Er] UYAHIZSMUZPPFV-UHFFFAOYSA-N 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30124—Fabrics; Textile; Paper
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法,利用视觉显著性分析和纹理特征提取的结合,在嵌入式平台Zynq SoC上实现算法的软硬件协同设计以提高检测***的有效性和实时性;离线阶段利用差分进化算法对无瑕疵样本图像进行椭圆Gabor滤波器的参数寻优,得到最优EGF,在线阶段基于FPGA进行RGB图像采集、快速中值滤波、RGB到CIE LAB格式的颜色空间转换、LAB三通道的EGF处理,通过AXI VDMA总线将数据传输到ARM部分,并计算滤波前后图像特征向量,利用两特征向量提取瑕疵显著区域,确定阈值分割瑕疵,最后得到高亮瑕疵的二值图像;本***对于本色、纯色布匹瑕疵检测有较高的检测效率和实时性。
Description
技术领域
本发明涉及一种基于嵌入式机器视觉的布匹瑕疵实时视觉检测方法,具体涉及一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法。
背景技术
随着工业技术和工艺水平的提高,市场对产品质量的要求也日益增大,在纺织印染产品的生产中,布面瑕疵是影响布匹质量的重要因素之一,因此,布匹的质量检测要求也更加严格。传统的布匹检测主要是依靠经验丰富的员工,在纺织品产量持续增涨,质量要求日益苛刻的形势下,人工检测方法存在许多的局限,如检测速度慢、检测率不高、误检率大、人力资源浪费等,故快速准确地检测布匹瑕疵成为纺织品生产中待解决的重要问题。
布匹瑕疵检测主要是利用图像的颜色亮度、灰度值变化、纹理等特征进行瑕疵检测,主要方法集中于统计法、频域法、模型法等。针对布匹瑕疵检测存在的布匹种类多和瑕疵类型繁多的难题,目前的算法大都只能检测出某几种类型的瑕疵,且检出率与实时性不高。
人类在观察事物时能够快速捕获到场景中重要目标或感兴趣区域,这种原理称为视觉注意机制。对于布匹瑕疵检测,无论是什么样的布匹种类或瑕疵类型,在不同光照、不同工艺、生产环境的情况下,人类都能快速准确的找到瑕疵,因为瑕疵区域相较于其他背景部分,易引起视觉注意。故在进行机器视觉检测中引入视觉显著性分析,能够快速定位到瑕疵显著区域,又布匹图像的纹理信息较为丰富,而椭圆Gabor滤波器在纹理特征提取中表现最好,因此本发明结合视觉显著性分析和纹理特征提取进行瑕疵检测。目前大部分基于智能相机的视觉检测***为串行结构,对于一些检测速度和精度要求较高的应用场合难以满足。
发明内容
本发明目的针对传统视觉检测速度较慢和实时性不强等问题提出一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法,以取代效率低下的人工检测法。一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法,在Zynq SoC平台上通过并行部分提取图像显著性区域和纹理特征;通过串行部分进行融合所述纹理特征,确定阈值分割,分离出瑕疵区域;以串并行方式实现检测算法,包含以下步骤:
离线训练:
A.利用线阵CCD相机获取RGB无瑕疵样本布匹的图像,根据相机捕获所述图像的外部触发频率调节布匹的传送速度以及相机光圈焦距等参数,并存储所述图像;
B.对灰度化后的所述图像进行快速中值滤波预处理,以抑制噪声并去除随机干扰;
C.构建椭圆Gabor滤波器,选取滤波器参数构成待训练参数集;
D.利用差分进化算法对所述椭圆Gabor滤波器进行参数寻优,得到最优参数集;
在线检测:
E.基于SoC的并行部分进行RGB图像采集,并通过AXI4_Stream总线输入FPGA缓存模块BRAM;
F.对采集到的所述RGB图像进行R、G、B三通道的快速中值滤波预处理,以去除噪声;
G.对去噪后的图像进行RGB格式到CIE LAB格式的颜色空间转换,以进行视觉显著性区域提取;
H.对LAB空间的图像进行L、a、b三通道的最优椭圆Gabor滤波,利用纹理特征再次凸显图像中瑕疵区域;
I.基于SoC串行部分分别计算滤波前后像素特征向量以进行瑕疵显著性区域提取,再进行阈值分割,得到分离出瑕疵的二值图像,输出检测结果实时显示。。
进一步地,所述步骤C中椭圆Gabor滤波器的构造与参数的选取:
构建2D Gabor函数,表达式为:
其中,(σx,σy)为高斯尺度参数,(u0,v0)为中心空间频率坐标,(x',y')为旋转操作,具体定义为:
其中,θ为所述Gabor滤波器的旋转角度,则(1)式中所述Gabor滤波器的2D傅里叶变换为:
其中,
EGF具有类似于RGF的尺度选择的性能,有利于纹理分析,但RGF的频域中心固定在坐标原点,限制了其在瑕疵检测中的应用,鉴于此,本发明提出了一种中心、频率和方向可调整的新型EGF,即其频域的中心可以以任意的特定带宽和方向定义在任意位置,有利于提高其检测性能。EGF具体表达式为:
其中,F0为滤波器在空间频域的中心频率,为高斯长宽比,式(4)中EGF的2D傅里叶变换为:
其中,可见EGF性能取决于参数集{F0,u0,v0,θ,β,λ}。
进一步地,所述步骤D中利用差分进化算法进行EGF参数寻优:
对于大小为N×N的输入图像I(x,y)经EGF滤波后其能量函数为:
f(x,y)=I(x,y)*G(x,y) (6)
E(x,y)=Sqrt[fRe(x,y)2+fIm(x,y)2] (7)
其中,fRe(x,y),fIm(x,y)分别为经实、虚EGF滤波后图像,则能量函数的均值和标准差分别为:
根据给定的两个无瑕疵的训练样本图像T1(x,y),T2(x,y)定义Fisher代价评估函数为:
其中,(μ1,μ2),(σ1,σ2)分别为T1(x,y),T2(x,y)经滤波后能量函数E(x,y)的均值和标准差,通过寻求F(t)最大值来确定最优参数集;基于上述论证和实验分析,为提高寻优效率和效果,对寻优参数集作出下列约束:0≤θ≤π,
进一步地,所述步骤F中对LAB空间图像进行EGF滤波处理:
FPGA实现EGF主要是通过输入图像像素数据与EGF的2D卷积模块进行乘法加法操作,输出滤波后的图像数据,利用掩模大小为5×5的卷积模块处理图像,得到处理结果W(x,y)为:
其中G(u,v)为坐标(u,v)处的滤波系数,该25个系数为通过离线训练阶段优化EGF而得到的,且存入ROM,通过对应系数坐标载入卷积单元。
根据权利要求1所述的一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法,其特征在于,所述步骤I中计算滤波前后特征向量与提取瑕疵显著图,包括以下步骤:第一步:计算LAB颜色空间中未滤波的图像像素平均特征向量Flab(x,y),再计算经最优EGF滤波后的图像特征向量Fegf(x,y),则瑕疵显著区域D(x,y)为:
D(x,y)=||Fegf(x,y)-Flab(x,y)|| (12)
第二步:对滤波后得到的瑕疵区域灰度图像按式(8)(9)求取D(x,y)的均值和方差,并按式(13)进行阈值分割:
其中,k为控制常数,根据具体的检测对象和实验确定。
本发明的有益效果是:本发明提供了一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法,对于本色、纯色布匹图像进行显著性区域和纹理特征的提取,利用瑕疵区域相对于背景部分在纹理和像素值上的突变提取瑕疵区域。在Zynq SoC平台上,利用软硬件协同设计技术将检测算法进行合理的软硬件划分,充分利用其硬件资源的并行优化和串行部分的灵活性对检测***进行较大地提速。在线阵CCD相机实时高速采集连续运动的布匹图像时,能够快速地进行实时处理,大大提高检测速度和检测效率。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1本发明的***硬件框架图;
图2本发明的算法整体流程图;
图3本发明检测算法的软硬件协同设计结构图;
图4最优EGF的5×5 2D卷积模块IP设计结构图。
具体实施方式
为使本发明的目的、技术方案和优点等更加清楚明白,以下结合具体实例,并参照附图,对本发明进一步详细说明。
本发明的目的是检验布匹的表面瑕疵,在Zynq SoC平台上实现布匹图像的采集与处理,并显示检测结果。本发明提出了一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法,针对布匹表面瑕疵利用显著性区域与纹理特征的提取实现在线视觉检测。
检测***的硬件框图如附图1所示,Zynq SoC通过AXI4总线实现FPGA(PL)与ARM(PS)间的数据交互与通信,其中ARM为核心,控制整个***的运行,上电第一个启动,进入FSBL(第一引导阶段),再执行检测算法硬件IP块设计生成的Bit文件,使得PL按照Bit中设计方式运行,ARM通过AXI4_Lite接口控制图像采集与输入,图像数据经过AXI4_Stream总线进入PL,进行预处理和瑕疵检测处理,数据传输到DDR3 SDRAM中计算特征向量提取瑕疵区域,并确定阈值二值化,检测结果经AXI4_Stream总线输出并通过VGA接口显示。
检测算法整体流程如附图2所示,在离线训练阶段,构建椭圆Gabor滤波器,利用差分进化算法对训练布匹图像进行参数寻优;在线检测时,基于SoC并行部分(FPGA)采集图像并进行中值滤波、颜色空间转换、最优EGF滤波;在SoC串行部分(ARM)计算特征向量并提取瑕疵显著区域,最后确定阈值分割出瑕疵区域;整个检测算法的软硬件协同设计方式如附图3所示,该设计充分利用FPGA的硬件并行优化加速和ARM的软件灵活性提高算法的实时性。
进一步的,具体实现步骤为:
离线训练:
A.利用线阵CCD相机获取RGB无瑕疵样本布匹图像,根据相机捕获图像的外部触发频率调节布匹的传送速度以及相机光圈焦距等参数,并存储图像。
B.将样本图像灰度化处理,再进行中值滤波预处理,以抑制噪声并去除随机干扰。
C.构造椭圆Gabor滤波器,选取参数集。
构建2D Gabor函数,表达式为:
其中,(σx,σy)为高斯尺度参数,(u0,v0)为中心空间频率坐标,(x',y')为旋转操作,具体定义为:
其中,θ为滤波器的旋转角度,则(1)式中Gabor滤波器的2D傅里叶变换为:
其中,
RGF(Ring Gabor Filter)是传统Gabor滤波器的改进,为2D带通滤波器,其通带形似一个戒指环,在频域有高斯横截面,具有旋转不变性,不能作为方向检测器,而EGF(Elliptical Gabor Filter)具有类似于RGF的尺度选择的性能,有利于纹理分析。但RGF的频域中心固定在坐标原点,限制了其在瑕疵检测中的应用,鉴于此,本发明提出了一种中心、频率和方向可调整的新型EGF,即其频域的中心可以以任意的特定带宽和方向定义在任意位置,有利于提高其检测性能。EGF具体表达式为:
其中,F0为滤波器在空间频域的中心频率,为高斯长宽比。式(4)中EGF的2D傅里叶变换为:
其中,可见EGF性能取决于参数集{F0,u0,v0,θ,β,λ}。
D.利用差分进化算法(DE)进行离线寻优
对于大小为N×N的输入图像I(x,y)经EGF滤波后其能量函数为:
f(x,y)=I(x,y)*G(x,y) (6)
E(x,y)=Sqrt[fRe(x,y)2+fIm(x,y)2] (7)
其中,fRe(x,y),fIm(x,y)分别为经实、虚EGF滤波后图像,则能量函数的均值和标准差分别为:
根据给定的两个无瑕疵的训练样本图像T1(x,y),T2(x,y)定义Fisher代价评估函数为:
其中,(μ1,μ2),(σ1,σ2)分别为T1(x,y),T2(x,y)经EGF滤波后能量函数E(x,y)的均
值和标准差,通过寻求F(t)最大值来确定最优参数集。基于上述论证和实验分析,为提高寻
优效率和效果,对寻优参数集作出下列约束:0≤θ≤π,
具体寻优步骤为:
步骤1:初始化DE控制参数库:种群数量为D=6、变异算子为F=0.5、交叉算子为CR=0.1、最大进化代数为100,即终止条件,随机产生初始种群,进化代数为1;
步骤2:对初始种群进行评价,计算初始种群中每个个体的适应度值,通过构建的EDFs对训练图像进行滤波,进行目标代价函数评估;
步骤3:判断是否达到终止条件,若是,则进化终止,将此时的最佳个体作为解输出;若否,继续;
步骤4:进行变异和交叉操作,对边界条件进行处理,得到临时种群;
步骤5:对临时种群进行评价,计算临时种群中每个个体的适应度值,利用EDFs对训练图像进行滤波,进行目标代价函数评估;
步骤6:进行选择操作,得到新种群;
步骤7:下一进化代数,转步骤3。
在线检测:
按照预定的检测速度,调整相机位置、焦距、视场和光源打光方向与亮度,设定布匹传送速度和相机采样频率,由SoC给出图像采集信号,控制图像的采集与缓存。
E.利用FPGA部分对RGB图像进行R、G、B三通道3×3快速中值滤波
预处理,以抑制噪声去除干扰;
3×3快速中值滤波是将列排序(降序)后的模板分别求取第一行的最小值min1和第三行的最大值max3,各需比较2次,再求中间行的中值med2需比较3次,最后求取Med{min1,med2,max3},相较于传统中值滤波,总的比较次数降为19次。
F.利用FPGA部分对预处理后的图像进行颜色空间转换,由RGB格式转换为CIELAB格式;
CIELAB颜色空间更接近于人类视觉,在视觉注意机制中是最常用也是表现最好的图像特征,在该空间进行特征提取计算显著性区域效果良好。由RGB格式转换为CIELAB格式需要两步:RGB转化为CIEXYZ格式,再转换为LAB格式,通过优化转换公式在FPGA上利用乘法器、加法器和查找表可以实现该转换。
G.利用FPGA在LAB颜色空间进行最优椭圆Gabor滤波器处理,得到处理后凸显瑕疵区域的图像;
FPGA实现EGF主要是通过输入图像像素数据与EGF的2D卷积模块进行乘法、加法操作,输出滤波后的图像数据。利用掩模大小为5×5的卷积模块处理图像,得到处理结果W(x,y)为:
其中G(u,v)为坐标(u,v)处的滤波系数,该25个系数为通过离线训练阶段优化EGF而得到的,且存入ROM,通过对应系数坐标载入卷积单元,附图4为5×5 2D卷积模块结构设计图,其中卷积系数G(u,v)从ROM中读取。
H.ARM部分利用AXIVDMA总线从DDR3存储器读取FPGA上处理后
的图像数据,并计算LAB空间中滤波前后的特征向量;利用两特征向量提取测试图像的瑕疵显著性区域图,最大程度凸显出瑕疵区域;
首先计算LAB颜色空间中未滤波的图像像素平均特征向量Flab(x,y),再计算经最优EGF滤波后的图像特征向量Fegf(x,y),则瑕疵显著区域D(x,y)为:
D(x,y)=||Fegf(x,y)-Flab(x,y)|| (12)
I.确定阈值,分割出瑕疵区域并通过VGA接口在显示器上直接显示检测结果高亮出瑕疵区域的二值图像;
对滤波后得到的瑕疵区域灰度图像按式(8)、(9)求取D(x,y)的均值和方差,并按式(13)进行阈值分割:
其中,k为控制常数,根据具体的检测对象和实验确定。
判断检测结果,若存在瑕疵,保存该图像序列与检测结果,并作出标记进入下一幅图像检测;若不存在瑕疵,则不保存图像与结果直接进入下一幅图像。
以上所述仅为说明本发明的实施方式,并不用于限制本发明,对于本领域的技术人员来说,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法,其特征在于,在Zynq SoC平台上通过并行部分提取图像显著性区域和纹理特征;通过串行部分进行融合所述纹理特征,确定阈值分割,分离出瑕疵区域;以串并行方式实现检测算法,包含以下步骤:
离线训练:
A.利用线阵CCD相机获取RGB无瑕疵样本布匹的图像,根据相机捕获所述图像的外部触发频率调节布匹的传送速度以及相机光圈焦距参数,并存储所述图像;
B.对RGB图像进行灰度化,并对灰度化后的图像进行快速中值滤波预处理,以抑制噪声并去除随机干扰;
C.构建椭圆Gabor滤波器,选取滤波器参数构成待训练参数集;
D.利用差分进化算法对所述椭圆Gabor滤波器进行参数寻优,得到最优参数集;
在线检测:
E.基于SoC的并行部分进行RGB图像采集,并通过AXI4_Stream总线输入FPGA缓存模块BRAM;
F.对采集到的所述RGB图像进行R、G、B三通道的快速中值滤波预处理,以去除噪声;
G.对去噪后的图像进行RGB格式到CIE LAB格式的颜色空间转换,以进行视觉显著性区域提取;
H.对LAB空间的图像进行L、A、B三通道的最优椭圆Gabor滤波,利用纹理特征再次凸显图像中瑕疵区域;
I.基于SoC串行部分分别计算滤波前后像素特征向量以进行瑕疵显著性区域提取,再进行阈值分割,得到分离出瑕疵的二值图像,输出检测结果实时显示;
步骤C中所述椭圆Gabor滤波器的构造与参数的选取:
构建2D Gabor函数,表达式为:
其中,(σx,σy)为高斯尺度参数,(u0,v0)为中心空间频率坐标,(x,y)为旋转前的坐标,(x',y')为旋转后的坐标,具体定义为:
其中,θ为2DGabor滤波器的旋转角度,则(1)式中2DGabor滤波器的2D傅里叶变换为:
其中,
EGF具有类似于RGF的尺度选择的性能,有利于纹理分析,但RGF的频域中心固定在坐标原点,限制了其在瑕疵检测中的应用,鉴于此,提出了一种中心、频率和方向可调整的新型EGF,即其频域的中心可以以任意的特定带宽和方向定义在任意位置,有利于提高其检测性能,EGF具体表达式为:
其中,F0为滤波器在空间频域的中心频率,为高斯长宽比,式(4)中EGF的2D傅里叶变换为:
其中,可见EGF性能取决于参数集{F0,u0,v0,θ,β,λ};
所述步骤D中利用差分进化算法进行EGF参数寻优:
对于大小为N×N的输入图像I(x,y)经EGF滤波后为:
其能量函数为:
E(x,y)=Sqrt[fRe(x,y)2+fIm(x,y)2] (7)
其中,fRe(x,y),fIm(x,y)分别为经实、虚EGF滤波后图像,则能量函数的均值和标准差分别为:
根据给定的两个无瑕疵的训练样本图像T1(x,y),T2(x,y)定义Fisher代价评估函数为:
其中,(μ1,μ2),(σ1,σ2)分别为T1(x,y),T2(x,y)经滤波后能量函数E(x,y)的均值和标准差,通过寻求F(t)最大值来确定最优参数集;为提高寻优效率和效果,对寻优参数集作出下列约束:0≤θ≤π,
步骤H中对LAB空间图像进行EGF滤波处理:
FPGA实现EGF是通过输入图像像素数据与EGF的2D卷积模块进行乘法加法操作,输出滤波后的图像数据,利用掩模大小为5×5的卷积模块处理图像,得到处理结果W(x,y)为:
其中为坐标(u1,v1)处的滤波系数,系数为通过离线训练阶段优化EGF而得到的,且存入ROM,通过对应系数坐标载入卷积单元;
所述步骤I中计算滤波前后特征向量与提取瑕疵显著图,包括以下步骤:
第一步:计算LAB颜色空间中未滤波的图像像素平均特征向量Flab(x,y),再计算经最优EGF滤波后的图像特征向量Fegf(x,y),则瑕疵显著区域D(x,y)为:
D(x,y)=||Fegf(x,y)-Flab(x,y)|| (12)
第二步:对滤波后得到的瑕疵区域灰度图像按式(8)(9)求取D(x,y)的均值和方差,并按式(13)进行阈值分割:
其中,k为控制常数,根据具体的检测对象和实验确定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610009929.XA CN105678767B (zh) | 2016-01-07 | 2016-01-07 | 一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610009929.XA CN105678767B (zh) | 2016-01-07 | 2016-01-07 | 一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105678767A CN105678767A (zh) | 2016-06-15 |
CN105678767B true CN105678767B (zh) | 2019-02-19 |
Family
ID=56299479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610009929.XA Active CN105678767B (zh) | 2016-01-07 | 2016-01-07 | 一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105678767B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016121662A1 (de) * | 2016-11-11 | 2018-05-17 | Saurer Germany Gmbh & Co. Kg | Verfahren und Vorrichtung zur Beurteilung der Qualität eines längsbewegten strangförmigen Gutes |
CN107123107A (zh) * | 2017-03-24 | 2017-09-01 | 广东工业大学 | 基于神经网络深度学习的布匹缺陷检测方法 |
CN107843741B (zh) * | 2017-12-13 | 2023-05-26 | 中国地质大学(武汉) | 一种基于线阵ccd的布匹运动速度测量装置及方法 |
CN108566357B (zh) * | 2017-12-21 | 2020-04-03 | 中国科学院西安光学精密机械研究所 | 基于ZYNQ-7000和FreeRTOS的图像传输与控制***及方法 |
CN108564008A (zh) * | 2018-03-28 | 2018-09-21 | 厦门瑞为信息技术有限公司 | 一种基于zynq的实时行人与人脸检测方法 |
CN109035195B (zh) * | 2018-05-08 | 2021-11-30 | 武汉纺织大学 | 一种织物疵点检测方法 |
CN110336928A (zh) * | 2019-03-15 | 2019-10-15 | 浙江工业大学 | 一种基于zynq的oct光谱信号采集及传输*** |
CN110084827B (zh) * | 2019-04-17 | 2020-12-25 | 江阴芗菲纺织科技有限公司 | 一种基于频域特征的织物纹理分类方法 |
CN110717549A (zh) * | 2019-10-17 | 2020-01-21 | 上海眼控科技股份有限公司 | 目标检测方法、装置、设备及存储介质 |
CN113469946A (zh) * | 2021-06-03 | 2021-10-01 | 阿里巴巴新加坡控股有限公司 | 数据处理方法、装置及电子设备 |
CN113284147B (zh) * | 2021-07-23 | 2021-09-28 | 常州市新创智能科技有限公司 | 一种基于黄色异物疵点的异物检测方法和*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103234976A (zh) * | 2013-04-03 | 2013-08-07 | 江南大学 | 基于Gabor变换的经编机布匹瑕疵在线视觉检测方法 |
CN103871053A (zh) * | 2014-02-25 | 2014-06-18 | 苏州大学 | 一种基于视觉显著性的布匹瑕疵检测方法 |
CN103955922A (zh) * | 2014-04-17 | 2014-07-30 | 西安工程大学 | 基于Gabor滤波器的印花织物疵点检测方法 |
CN105046681A (zh) * | 2015-05-14 | 2015-11-11 | 江南大学 | 一种基于SoC的图像显著性区域检测方法 |
CN105205828A (zh) * | 2015-10-20 | 2015-12-30 | 江南大学 | 基于最优Gabor滤波器的经编织物瑕疵检测方法 |
-
2016
- 2016-01-07 CN CN201610009929.XA patent/CN105678767B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103234976A (zh) * | 2013-04-03 | 2013-08-07 | 江南大学 | 基于Gabor变换的经编机布匹瑕疵在线视觉检测方法 |
CN103871053A (zh) * | 2014-02-25 | 2014-06-18 | 苏州大学 | 一种基于视觉显著性的布匹瑕疵检测方法 |
CN103955922A (zh) * | 2014-04-17 | 2014-07-30 | 西安工程大学 | 基于Gabor滤波器的印花织物疵点检测方法 |
CN105046681A (zh) * | 2015-05-14 | 2015-11-11 | 江南大学 | 一种基于SoC的图像显著性区域检测方法 |
CN105205828A (zh) * | 2015-10-20 | 2015-12-30 | 江南大学 | 基于最优Gabor滤波器的经编织物瑕疵检测方法 |
Non-Patent Citations (3)
Title |
---|
Guang-Hua Hu.Automated defect detection in textured surfaces using optimal elliptical Gabor filters.《Optik》.2015,第1331-1340页. |
基于Gabor滤波器组的织物疵点检测方法;韩润萍 等;《计算机工程与应用》;20071231;第43卷(第7期);第211-214页 |
新的基于图像显著性区域特征的织物疵点检测算法;赵波 等;《计算机应用》;20120601;第32卷(第6期);第1574-1577页 |
Also Published As
Publication number | Publication date |
---|---|
CN105678767A (zh) | 2016-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105678767B (zh) | 一种基于SoC软硬件协同设计的布匹表面瑕疵检测方法 | |
CN109934802B (zh) | 一种基于傅里叶变换和图像形态学的布匹疵点检测方法 | |
CN104574353B (zh) | 基于视觉显著性的表面缺陷判定方法 | |
CN103871053B (zh) | 一种基于视觉显著性的布匹瑕疵检测方法 | |
CN109472788B (zh) | 一种飞机铆钉表面的伤痕检测方法 | |
CN105138987B (zh) | 一种基于聚合通道特征和运动估计的车辆检测方法 | |
CN103149214B (zh) | 水果表面缺陷检测方法 | |
CN107545550B (zh) | 细胞图像偏色校正方法 | |
CN105139391B (zh) | 一种雾霾天气交通图像边缘检测方法 | |
CN109584258B (zh) | 草地边界识别方法及应用其的智能割草装置 | |
Feng et al. | A separating method of adjacent apples based on machine vision and chain code information | |
CN105678245A (zh) | 一种基于哈尔特征的靶位识别方法 | |
CN107133962A (zh) | 一种基于边缘检测的金刚石锯片裂纹提取方法 | |
CN113706566B (zh) | 一种基于边缘检测的加香喷雾性能检测方法 | |
CN110807763A (zh) | 一种陶瓦表面鼓包检测方法及*** | |
CN111738931B (zh) | 光伏阵列无人机航拍图像的阴影去除算法 | |
CN112862744A (zh) | 一种基于超声图像的电容内部缺陷智能检测方法 | |
CN104952754A (zh) | 基于机器视觉的镀膜后硅片分选方法 | |
CN111127384A (zh) | 基于偏振成像的强反射工件视觉测量方法 | |
CN109472779A (zh) | 一种基于形态结构的纱线外观特征参数提取与分析方法 | |
CN116385758A (zh) | 基于YOLOv5网络对传送带表面损伤的检测方法 | |
Tian et al. | Corrosion identification of fittings based on computer vision | |
CN107256549A (zh) | 一种基于机器视觉的竹条缺陷检测方法 | |
CN114332081A (zh) | 基于图像处理的纺织品表面异常判定方法 | |
Tian et al. | Pedestrian detection based on laplace operator image enhancement algorithm and faster R-CNN |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |