CN106846354B - 一种基于图像分割和随机hough变换的架上图书清点方法 - Google Patents
一种基于图像分割和随机hough变换的架上图书清点方法 Download PDFInfo
- Publication number
- CN106846354B CN106846354B CN201710057749.3A CN201710057749A CN106846354B CN 106846354 B CN106846354 B CN 106846354B CN 201710057749 A CN201710057749 A CN 201710057749A CN 106846354 B CN106846354 B CN 106846354B
- Authority
- CN
- China
- Prior art keywords
- image
- parameter
- pixel
- rho
- theta
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000003709 image segmentation Methods 0.000 title claims abstract description 21
- 238000009825 accumulation Methods 0.000 claims abstract description 60
- 230000009466 transformation Effects 0.000 claims abstract description 24
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 19
- 238000003708 edge detection Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims 2
- 238000001914 filtration Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 101100134058 Caenorhabditis elegans nth-1 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于图像分割和随机hough变换的架上图书清点方法,属于图书馆管理技术领域。首先,根据图像边缘像素积累提取框架信息,从而把图像分成多个子图像,每个子图像代表书架上一个摆放格中的书脊图像;然后,通过随机hough映射实现子图像中图书边界直线在参数空间中的快速积累;最后,在参数空间中检测局部峰值,从而实现书架上每一摆放格中图书册数的计数清点,并最终得到书架上所有图书的册数;本发明较好地结合了图像处理和随机hough变换的优点,采用计算机处理实现架上图书的自动清点;方法简单高效,易于实施,大大降低了图书清点的工作量,具有较强的实用性和推广应用价值。
Description
技术领域
本发明属于图书馆管理技术领域,具体涉及一种基于图像分割和随机hough变换的架上图书清点方法。
背景技术
图书清点是图书统计指标中的基础数据,是图书馆管理的一个难点问题。通过清点图书可以准确确定图书馆现有的图书财产,对于客观地反映学校办学实力、争取更多的经费投入具有重要的参考价值。因此,图书清点工作对于图书馆的日常管理非常必要,但是传统的人工清点方式既耗时又费力,存在劳动力需求大、信息更新不及时等缺点。对于图书馆管理来说,将传统的图书清点工作进行数字化、自动化改进是一个重要的研究方向,近年来,图像处理技术在图书管理方面得到了卓有成效的应用,为图书清点提供了一种新的方法。
背景技术[刘汝翠.基于书脊图像特征和空域滤波的自动图书清点方法:中国,ZL201410383904.7,2016.05.04],采用图像特征和空域滤波的方法对书脊图像进行处理,实现了单排图书的自动清点,提高了图书清点的效率,该方法的主要步骤为:
1)采集书库内的书脊图像,确保图像内只含有一排图书;
2)获取图书的排列方向倾角,对边缘像素进行投影,获得书脊文字投影波形图;
3)对边缘投影波形图进行滤波,得到平滑的边缘投影波形图;
4)检测边缘投影波形中波峰的个数,即为图像中包含图书的册数。
上述方法采用了图像处理的方法实现了单排图书的清点,提高了工作效率;但其主要针对简单的单排图书的图像处理,即只能对书架上单个图书摆放格内的图书进行清点,而现在图书馆的藏书数量十分巨大,每一书架上有多个图书摆放格,上述方法难以高效清点这些海量藏书;另一方面,上述方法采用边缘投影检测的方法来计算书脊文字的积累峰值,该方法对书脊背景状况要求较高;当图书书脊上文字较少或者与背景区分不大时,容易导致图书漏检;而当文字较多,在书脊上呈两列分布时,容易导致图书虚报。上述问题的出现,限制了背景技术的实用性和应用范围。
发明内容
1.要解决的技术问题
本发明的目的是提出一种基于图像分割和随机hough变换的架上图书清点方法,从而克服现有技术的不足,大幅提高图书清点的效率。
2.技术方案
本发明提供了一种基于图像分割和随机hough变换的架上图书清点方法,采用技术方案步骤如下:
步骤1:图像预处理
采集包含书架框体和书脊的彩色图像,对图片进行修正,得到水平方向一致的图片,并确保书架框体占满整幅图像,该图像记为P;以图像左下角为原点,建立x-y直角坐标系,其中坐标系x轴方向与图像下边界重合,坐标系y轴方向与图像左边界重合;令i和j分别为图像在坐标系x和y方向的像素单元数,则图像P可以表示成像素矩阵的形式其中p(i,j)为像素单元(i,j)处的像素值,I为图P在x方向总的像素个数,J为y方向总的像素个数;
步骤2:图像分割
(1)把彩色图像P转化为256级的灰度图F,该灰度图在x-y直角坐标系中可以表示成像素矩阵的形式其中f(i,j)为像素单元(i,j)处的像素值;对于任意像素单元f(i,j),通过邻域单元像素进行微分处理计算x方向的梯度fx和y方向的梯度fy
则图像在坐标单元(i,j)处的梯度幅值为梯度方向为α(i,j)=arctan(fy/fx),其中arctan()表示求反正切函数;
(2)通过非极大值抑制来提取边缘的局部极值,从而剔除部分非边缘点的影响;首先,根据α(i,j)的取值,将像素单元f(i,j)处的梯度方向均匀划分为四个扇区区间,分别代表水平方向、左倾方向、右倾方向和竖直方向的梯度:
其中,s(i,j)为坐标单元(i,j)处梯度方向所属的扇区,π为180°角对应的弧度数;然后根据s(i,j)取值,查找坐标单元(i,j)处同一梯度方向的两个8邻域坐标单元
其中,和分别为(i,j)的两个8邻域坐标单元在坐标系x和y方向的像素单元数;最后,将坐标单元(i,j)处的梯度幅值与同一梯度方向的邻域像素比较,提取梯度幅值的局部极大值:
(3)采用双阈值门限对梯度幅值进行二值化处理,设低阈值门限为σlow,高阈值门限为σhigh,对图像进行边缘检测得到二值化图像其中b(i,j)为像素单元(i,j)处的二值化像素值:
对于梯度幅值介于σlow和σhigh之间的坐标单元(i,j),b(i,j)的取值根据8邻域像素单元的梯度确定
其中,Mmax为坐标单元(i,j)处8邻域像素单元梯度的极大值;
(4)每一格书架框架的边缘是水平和垂直方向的直线,而框架内图书的边缘则存在较多对角的斜线,因此采用一个对角线矩阵对二值化图像B进行滤波处理,得到新的像素值:
b(i,j)=max[b(i,j),b(i-1,j-1),b(i+1,j+1),b(i-1,j+1),b(i+1,j-1)],其中,max[]表示取极大值运算;然后将二值图像分别向水平和垂直方向投影,得到图像在水平方向的积累参数Qx(i)和垂直方向的积累参数Qy(j):
根据积累参数的水平检测门限γx和垂直检测门限γy,提取Qx(i)谷值对应的序列号存入数组Dx,提取Qy(j)谷值对应的序列号存入数组Dy:
其中,arg[·]表示满足约束条件[·]的序列号,则Dx数据对应书架框架在水平方向的坐标,Dy数据对应书架框架在垂直方向的坐标;
(5)接下来利用框架的信息将原图像分割成多个子图像,每个子图像对应书架中一个矩形摆放格中的书脊图像;首先,提取书架框架的位置坐标Dx和Dy,从而实现对书架中各矩形摆放格的定位;然后,根据矩形摆放格的边界对彩色图像P进行分割,得到多个子图像,实现原始图像的分割处理:
其中N为子图像的总个数,Pn表示第n个子图像。
步骤3:随机采样
(1)对于第n个子图像Pn,记In为其在x方向总的像素个数,Jn为其在y方向总的像素个数;进行预处理,得到像素单元(i,j)处的梯度方向αn(i,j);然后将αn(i,j)均匀划分为四个扇区区间;用sn(i,j)表示子图像Pn在坐标单元(i,j)处梯度方向所属的扇区;进行边缘检测得到二值化图像其中bn(i,j)为子图像Pn在像素单元(i,j)处的二值化像素值;
(2)在二值化图像Bn中随机选取一个非零元素的像素单元(i1,j1),使得0.3Jn≤j1≤0.7Jn且bn(i1,j1)≠0,该像素单元对应的梯度方向区间为sn(i1,j1);
(3)在二值化图像Bn中选取第二个非零元素的像素单元(i2,j2)≠(i1,j1),使得0.3Jn≤j2≤0.7Jn且bn(i2,j2)≠0,该像素单元对应的梯度方向区间为sn(i2,j2);如果sn(i1,j1)≠sn(i2,j2),重新采样,直到sn(i1,j1)=sn(i2,j2),将两个像素单元(i1,j1)和(i2,j2)组成一个随机采样像素对;;
(4)重复采样,得到L个随机采样像素对。
步骤4:参数积累
计算积累单元距离,建立hough参数空间(ρ,θ),ρ和θ分别为空间中的距离和角度参数;将随机采样的两个像素单元(i1,j1)和(i2,j2)通过hough变换投影到参量空间,计算相应的参数单元(ρhough,θhough),ρhough和θhough分别为hough变换后参数空间中的距离和角度参数;在相应的积累单元进行投票积累,使对应同一直线的采样点能够落入相同的积累单元,得到参数积累矩阵H(ρ,θ),具体方法如下:
(1)根据离散间隔Δρ和Δθ对参数ρ和θ进行离散化处理,形成参数空间(ρ,θ),在(u,v)个参数单元的中心点参数为ρu和θv:
ρu=(u-1/2)Δρ,u=1,2,…,U,
θv=(v-1/2)Δθ-π/2,v=1,2,…,V,
其中,u和v分别为参数ρ和θ的序号,ρ的参数单元数目U以及θ的参数单元数目V取值分别为:V=Int(π/Δθ),Int()表示取整运算,π为180°角对应的弧度数;建立参数积累矩阵H(ρ,θ),置每一单元初始值为0;
(2)将第一个随机采样的像素对(i1,j1)和(i2,j2)通过hough变换投影到参量空间,计算该像素对所确定的参数ρhough和θhough:
θhough=arctan[-(i1-i2)/(j1-j2)];
ρhough=0.5(i1+i2)cos(θhough)+0.5(j1+j2)sin(θhough);
(3)在参数空间(ρ,θ)中查找相应的单元(ρu,θv),使得||ρhough-ρu||≤Δρ,||θhough-θv||≤Δθ;如果(ρu,θv)存在,则在参数积累矩阵H(ρ,θ)的存储单元(ρu,θv)中进行累加:H(ρu,θv)=H(ρu,θv)+1;否则,将(ρhough,θhough)***参数空间(ρ,θ),并取初始值H(ρhough,θhough)=1;
(4)重复积累,直到L个随机采样像素对都映射到参数空间,得到参数积累矩阵H(ρ,θ)。
步骤5:峰值检测
(1)根据检测门限G1,对参数积累矩阵H(ρ,θ)进行检测,令H(ρ,θ)中取值小于G1的元素值为零,检测门限设置为G1=0.3Jn;考虑图书倾斜角,设置角度约束值θT,令H(ρ,θ)中θ绝对值小于θT的元素值为零;
(2)在H(ρ,θ)中任何一个不为零的参数单元(ρu,θv),定义其局部搜索区域Ω(ρu,θv)为:Ω(ρu,θv)={(ρ,θ)|[||ρ-ρu||≤5,θ=θv,H(ρ,θ)≠0]};
(3)接下来根据Ω(ρu,θv)进行判断:如果Ω(ρu,θv)为空,这参数单元(ρu,θv)为一个局部峰值;如果Ω(ρu,θv)不为空,若H(ρu,θv)的取值大于等于区域Ω(ρu,θv)中所有单元的取值:H(ρu,θv)≥H(ρ,θ),(ρ,θ)∈Ω(ρu,θv),则参数单元(ρu,θv)为一个局部峰值;
(4)提取H(ρ,θ)所有的局部峰值单元,计算局部峰值的个数tn,则子图像Pn中图书的册数为tn-1;
步骤6:计数清点
当n的取值从1到N变化时,对于所有的子图像Pn,重复步骤3到步骤5的过程,检测得到所有子图像参数积累矩阵中的峰值个数tn,n=1,2,…,N,则整个书架上图书的册数T为:
3.有益效果
和背景技术相比,本发明的有益效果说明:
(1)本发明采用的一种基于图像分割和随机hough变换的架上图书清点方法,首先通过图像分割将图像分割成多个子图像,然后对每个子图像进行图书清点,可以解决海量架上图书的清点问题,具有良好的实际应用价值;
(2)通过随机hough变换对图书边界区域进行快速积累,检测确定边界峰值的数量,可以降低处理的计算量,提高清点的准确性。
附图说明
附图1是本发明的整体流程图;
附图2是本发明实施例中要处理的架上图书图像;
附图3是本发明实施例中二值化处理后的图像;
附图4是本发明实施例中滤波处理后的图像;
附图5是本发明实施例中水平和垂直方向像素积累结果图;
附图6是本发明实施例中图像分割后得到的子图像;
附图7是本发明实施例中第一个子图像边缘检测结果;
附图8是本发明实施例中第一个子图像参数积累结果;
附图9是本发明实施例中门限检测和角度约束后的参数积累图;
附图10是本发明实施例中第一个子图像中局部峰值检测结果;
具体实施方式
本发明主要采用试验的方法进行验证,所有步骤、结论都在Matlab2010a上验证。以下结合说明书附图1对本发明的一种基于图像分割和随机hough变换的架上图书清点方法进行详细描述。如附图1所示,本发明处理过程可以分成3个模块:M1是图像分割模块,主要根据图像信息提取书架框架,从而根据书架的摆放格进行分割,把图像分成多个子图像;M2是随机hough变换处理模块,主要通过hough映射实现子图像中边缘像素在参数空间中的积累;M3是峰值检测模块,主要通过参数空间局部峰值的检测实现图书册数的计数清点。
本发明的具体处理流程如下:
步骤1:图像预处理
采集包含书架框体和书脊的彩色图像,对图片进行修正,得到水平方向一致的图片,并确保书架框体占满整幅图像,该图像记为P,如图2所示;以图像左下角为原点,建立x-y直角坐标系,其中坐标系x轴方向与图像下边界重合,坐标系y轴方向与图像左边界重合;令i和j分别为图像在坐标系x和y方向的像素单元数,则图像P可以表示成像素矩阵的形式其中p(i,j)为像素单元(i,j)处的像素值,I为图P在x方向总的像素个数,J为y方向总的像素个数;
步骤2:图像分割
(1)把彩色图像P转化为256级的灰度图F,该灰度图在x-y直角坐标系中可以表示成像素矩阵的形式其中f(i,j)为像素单元(i,j)处的像素值;对于任意像素单元f(i,j),通过邻域单元像素进行微分处理计算x方向的梯度fx和y方向的梯度fy,则图像在坐标单元(i,j)处的梯度方向为α(i,j)=arctan(fy/fx),梯度幅值为
(2)通过非极大值抑制来提取边缘的局部极值,从而剔除部分非边缘点的影响;首先,根据α(i,j)的取值,将像素单元f(i,j)处的梯度方向均匀划分为四个扇区区间s(i,j),分别代表水平方向、左倾方向、右倾方向和竖直方向的梯度;然后根据s(i,j)取值,查找坐标单元(i,j)处同一梯度方向的两个8邻域坐标单元最后,将坐标单元(i,j)处的梯度幅值与同一梯度方向的邻域像素比较,提取梯度幅值的局部极大值;
(3)采用双阈值门限对梯度幅值进行二值化处理,设低阈值门限为σlow,高阈值门限为σhigh,对图像进行边缘检测得到二值化图像其中b(i,j)为像素单元(i,j)处的二值化像素值;对于梯度幅值介于σlow和σhigh之间的坐标单元(i,j),b(i,j)的取值根据8邻域像素单元的梯度确定;处理后得到的二值化图像如图3所示,可见书架框架像素与图书像素之间存在细微差别,但是区分度不大;
(4)每一格书架框架的边缘是水平和垂直方向的直线,而框架内图书的边缘则存在较多对角的斜线,因此采用一个对角线矩阵对二值化图像B进行滤波处理,得到新的像素值;滤波后得到的图像如图4所示,可见经过滤波处理后,有效降低了背景的影响,增加了框架像素与图书像素之间的差异性;
(5)将二值图像分别向水平和垂直方向投影,得到图像在水平方向的积累像素Qx(i)和垂直方向的积累像素Qy(j),如图5所示,其中图5(a)为水平方向的像素积累图,图5(b)为垂直方向的像素积累图;对比图2和图5可以看出,图5中像素积累的谷值正好对应图2中书架的框架位置;
(6)根据积累参数的水平检测门限γx和垂直检测门限γy,提取Qx(i)谷值对应的序列号存入数组Dx,提取Qy(j)谷值对应的序列号存入数组,则Dx数据对应书架框架在水平方向的坐标,Dy数据对应书架框架在垂直方向的坐标;利用框架的信息将原图像分割成多个子图像,每个子图像对应书架中一个矩形摆放格中的书脊图像,实现原始图像的分割处理,得到图像分割结果如图6所示;可以看出,经过图像分割后,原始图像按照书架摆放格的位置准确分割成了4个子图像,分割效果较好;
步骤3:随机采样
(1)对于第n=1个子图像,进行预处理,得到像素单元(i,j)处的梯度方向αn(i,j);然后将αn(i,j)均匀划分为四个扇区区间;用sn(i,j)表示子图像Pn在坐标单元(i,j)处梯度方向所属的扇区;进行边缘检测得到二值化图像如图7所示;可以看出,经过处理后,图书的边缘较为明显;
(2)在二值化图像Bn中随机选取一个非零元素的像素单元(i1,j1),使得0.3Jn≤j1≤0.7Jn且bn(i1,j1)≠0,该像素单元对应的梯度方向区间为sn(i1,j1);
(3)在二值化图像Bn中选取第二个非零元素的像素单元(i2,j2)≠(i1,j1),使得0.3Jn≤j2≤0.7Jn且bn(i2,j2)≠0,该像素单元对应的梯度方向区间为sn(i2,j2);如果sn(i1,j1)≠sn(i2,j2),重新采样,直到sn(i1,j1)=sn(i2,j2),将两个像素单元(i1,j1)和(i2,j2)组成一个随机采样像素对;
(4)重复采样,得到L个随机采样像素对;
步骤4:参数积累
计算积累单元距离,建立hough参数空间(ρ,θ),ρ和θ分别为空间中的距离和角度参数;将随机采样的两个像素单元(i1,j1)和(i2,j2)通过随机hough变换投影到参量空间,计算相应的参数单元(ρhough,θhough);在相应的积累单元进行投票积累,使对应同一直线的采样点能够落入相同的积累单元,得到参数积累矩阵H(ρ,θ),如图8所示,其中图8(a)为三维立体直方图,图8(b)为H(ρ,θ)向ρ-θ平面投影后得到的二维显示图;从图中可以看出,由于采用了随机hough变换进行积累,得到的参数积累矩阵是稀疏的,该方法只需进行有限采样像素点的映射就能实现图书边界的稀疏积累,因此其计算量比传统的hough变换要低;
步骤5:峰值检测
(1)根据检测门限G1=0.3Jn,对参数积累矩阵H(ρ,θ)进行检测,令H(ρ,θ)中取值小于G1的元素值为零;考虑图书倾斜角,设置角度约束值θT=10°,令H(ρ,θ)中θ绝对值小于θT的元素值为零,得到结果如图9所示;与图8(b)对比可知,经过门限检测和角度约束后,图9中排除了大量无关积累单元;
(2)在H(ρ,θ)中任何一个不为零的参数单元(ρu,θv),定义其局部搜索区域Ω(ρu,θv)为:Ω(ρu,θv)={(ρ,θ)|[||ρ-ρu||≤5,θ=θv,H(ρ,θ)≠0]};
(3)接下来根据Ω(ρu,θv)进行判断:如果Ω(ρu,θv)为空,参数单元(ρu,θv)为一个局部峰值;如果Ω(ρu,θv)不为空,若H(ρu,θv)的取值大于等于区域Ω(ρu,θv)中所有单元的取值:H(ρu,θv)≥H(ρ,θ),(ρ,θ)∈Ω(ρu,θv),则参数单元(ρu,θv)为一个局部峰值;
(4)提取H(ρ,θ)所有的局部峰值单元,如图10所示,其中白色矩形表示局部峰值的位置,对峰值数量进行计数可得t1=48,则子图像P1中图书的册数为t1-1=47,这与该子图像中图书的册数一致;
步骤6:计数清点
当n的取值从1到N变化时,对于所有的子图像Pn,重复步骤3到步骤5的过程,检测得到所有子图像参数积累矩阵中的峰值个数,如表1所示:
表1图书清点结果
图像类别 | 实际册数 | 检测册数(θ<sub>T</sub>=5°) | 检测册数(θ<sub>T</sub>=10°) |
子图像P<sub>1</sub> | 47 | 47 | 47 |
子图像P<sub>2</sub> | 37 | 37 | 37 |
子图像P<sub>3</sub> | 44 | 44 | 44 |
子图像P<sub>4</sub> | 38 | 35 | 38 |
整体图像P | 166 | 163 | 166 |
为了便于比较,表1在角度约束值θT的取值分别为5°、10°的环境中进行验证,可以看出θT的取值对方法的性能影响较大;例如,在子图像P4中,由于部分图书的倾斜角较大,当θT取值较小时,会造成漏检;通过调整θT的取值,可以提高图书清点的准确性,如果在图书摆放时尽量使图书垂直放置,本方法清点的效果更好。
从实施例验证结果可以看出,本发明很好地解决了架上图书的清点问题:首先,根据图像边缘像素积累提取框架信息,从而把图像分成多个子图像,每个子图像代表书架上一个摆放格中的书脊图像;然后,通过随机hough映射实现子图像中图书边界直线在参数空间中的快速积累;最后,在参数空间中检测局部峰值,从而实现书架上每一摆放格中图书册数的计数清点,并最终得到书架上所有图书的册数;本发明较好地结合了图像处理和随机hough变换的优点,采用计算机处理实现架上图书的自动清点;方法简单高效,易于实施,大大降低了图书清点的工作量,具有较强的实用性和推广应用价值。
本实施例没有详细叙述的部分属本行业公知的常用手段,这里不一一叙述。
Claims (5)
1.一种基于图像分割和随机hough变换的架上图书清点方法,其特征在于,包括以下步骤:
步骤1:图像预处理
采集包含书架框体和书脊的彩色图像,对图片进行修正,得到水平方向一致的图片,并确保书架框体占满整幅图像,该图像记为P;以图像左下角为原点,建立x-y直角坐标系,其中坐标系x轴方向与图像下边界重合,坐标系y轴方向与图像左边界重合;令i和j分别为图像在坐标系x和y方向的像素单元序号,则P可以表示成像素矩阵的形式其中p(i,j)为像素单元(i,j)处的像素值,I为P在x方向总的像素个数,J为y方向总的像素个数;
步骤2:图像分割
首先将图像P转化为灰度图,进行邻域微分处理,提取图像的边缘信息;然后,通过像素积累检测得到书架框架的位置,从而提取书架中矩形摆放格的边界信息;最后,根据矩形摆放格的边界信息,将图像P分割成N个子图像,每一个子图像对应书架中一个矩形摆放格中的书脊图像,其中第n个子图像记为Pn;
步骤3:随机采样
对于第n个子图像Pn,记In为其在x方向总的像素个数,Jn为其在y方向总的像素个数;首先进行图像预处理,提取像素单元(i,j)处的梯度方向αn(i,j);然后根据αn(i,j)的取值将梯度方向均匀划分为四个扇区区间,并进行边缘检测得到二值化图像最后,从同一扇区区间中随机选取两个像素单元(i1,j1)和(i2,j2)作为一个像素对,其中i1和j1分别为第一个采样像素在坐标系x和y方向的单元序号,i2和j2分别为第二个采样像素在坐标系x和y方向的像素单元序号;
步骤4:参数积累
计算积累单元距离,建立hough参数空间(ρ,θ),ρ和θ分别为空间中的距离和角度参数;将随机采样的两个像素单元(i1,j1)和(i2,j2)通过hough变换投影到参量空间,计算相应的参数单元(ρhough,θhough),ρhough和θhough分别为hough变换后参数空间中的距离和角度参数;在相应的积累单元进行投票积累,使对应同一直线的采样点能够落入相同的积累单元,得到参数积累矩阵H(ρ,θ);
步骤5:峰值检测
根据检测门限,对参数积累矩阵H(ρ,θ)进行门限检测,获取矩阵中局部峰值的个数tn,则子图像Pn中图书的册数为tn-1;
步骤6:计数清点
当n的取值从1到N变化时,对于所有的子图像Pn,重复步骤3到步骤5的过程,检测得到所有子图像参数积累矩阵中的峰值个数tn,n=1,2,…,N,则整个书架上图书的册数T为:
其中,表示当n的取值从1到N变化时对括号中内容进行求和计算。
2.根据权利要求1所述的一种基于图像分割和随机hough变换的架上图书清点方法,其特征在于步骤2所述的图像分割方法:
S21:灰度处理
把彩色图像P转化为256级的灰度图,该灰度图记为F,其在x-y直角坐标系中可以表示成像素矩阵的形式其中f(i,j)为像素单元(i,j)处的像素值;
S22:邻域微分处理
对于任意像素单元f(i,j),通过邻域单元像素进行微分处理,计算x方向的梯度fx和y方向的梯度fy:
则图像在坐标单元(i,j)处的梯度幅值为梯度方向为α(i,j)=arctan(fy/fx),其中arctan()表示求反正切函数;
S23:提取边缘局部极值
通过非极大值抑制来提取图像边缘的局部极值,从而剔除部分非边缘点的影响;首先,根据α(i,j)的取值,将像素单元f(i,j)处的梯度方向均匀划分为四个扇区区间,分别代表水平方向、左倾方向、右倾方向和竖直方向的梯度:
其中,s(i,j)为坐标单元(i,j)处梯度方向所属的扇区,π为180°角对应的弧度数;然后,根据s(i,j)取值,查找坐标单元(i,j)处同一梯度方向的两个8邻域坐标单元
其中,和分别为(i,j)的两个8邻域坐标单元在坐标系x和y方向的像素单元序号;最后,将坐标单元(i,j)处的梯度幅值与同一梯度方向的邻域像素比较,提取梯度幅值的局部极大值:
S24:边缘检测
采用双阈值门限对梯度幅值进行二值化处理,设低阈值门限为σlow,高阈值门限为σhigh,对图像进行边缘检测得到二值化图像其中b(i,j)为像素单元(i,j)处的二值化像素值:
对于梯度幅值介于σlow和σhigh之间的坐标单元(i,j),b(i,j)的取值根据8邻域像素单元的梯度确定
其中,Mmax为坐标单元(i,j)处8邻域像素单元梯度的极大值;
S25:框架提取
书架框架的边缘是水平和垂直方向的直线,而框架内图书的边缘则存在较多对角的斜线,因此采用一个对角线矩阵对二值化图像B进行滤波处理,得到新的像素值:
b(i,j)=max[b(i,j),b(i-1,j-1),b(i+1,j+1),b(i-1,j+1),b(i+1,j-1)],
其中,max[]表示取极大值运算;然后将二值图像分别向水平和垂直方向投影,得到图像在水平方向的积累参数Qx(i)和垂直方向的积累参数Qy(j):
根据积累参数的水平检测门限γx和垂直检测门限γy,提取Qx(i)谷值对应的序列号存入数组Dx,提取Qy(j)谷值对应的序列号存入数组Dy:
其中,arg[·]表示取满足约束条件[·]的序列号,则Dx数据对应书架框架在水平方向的坐标,Dy数据对应书架框架在垂直方向的坐标;
S26:分割图像
接下来将原图像分割成多个子图像,每个子图像对应书架上去去一个矩形摆放格中的书脊图像;首先,提取书架框架的位置坐标Dx和Dy,从而实现对书架中各矩形摆放格的定位;然后,根据矩形摆放格的边界对彩色图像P进行分割,得到多个子图像,实现原始图像的分割处理:
其中N为子图像的总个数,Pn表示第n个子图像。
3.根据权利要求1所述的一种基于图像分割和随机hough变换的架上图书清点方法,其特征在于步骤3所述的随机采样方法:
S31:图像预处理
按照步骤S22的方法对子图像Pn进行预处理,得到像素单元(i,j)处的梯度方向αn(i,j);然后按照步骤S23的方法将αn(i,j)均匀划分为四个扇区区间;用sn(i,j)表示子图像Pn在坐标单元(i,j)处的梯度方向所属的扇区;按照步骤S24的方法进行边缘检测得到二值化图像其中bn(i,j)为子图像Pn在像素单元(i,j)处的二值化像素值;
S32:选取第一个像素点
在二值化图像Bn中随机选取一个非零元素的像素单元(i1,j1),使得0.3Jn≤j1≤0.7Jn且bn(i1,j1)≠0,该像素单元对应的梯度方向区间为sn(i1,j1);
S33:选取第二个像素点
在二值化图像Bn中选取第二个非零元素的像素单元(i2,j2)≠(i1,j1),使得0.3Jn≤j2≤0.7Jn且bn(i2,j2)≠0,该像素单元对应的梯度方向区间为sn(i2,j2);
如果sn(i1,j1)=sn(i2,j2),进行步骤S34;
如果sn(i1,j1)≠sn(i2,j2),重复步骤S33,直到sn(i1,j1)=sn(i2,j2),进行步骤S34;
S34:组成随机采样像素对
将两个像素单元(i1,j1)和(i2,j2)组成一个随机采样像素对;
S35:终止采样
重复步骤S32~S34,得到L个随机采样像素对。
4.根据权利要求1所述的一种基于图像分割和随机hough变换的架上图书清点方法,其特征在于步骤4所述的参数积累方法:
S41:建立参数积累空间:
根据离散间隔△ρ和△θ对参数ρ和θ进行离散化处理,形成参数空间(ρ,θ),第(u,v)个参数单元的中心点参数为ρu和θv:
ρu=(u-1/2)△ρ,u=1,2,…,U,
θv=(v-1/2)△θ-π/2,v=1,2,…,V,
其中,u和v分别为参数ρ和θ的序号,ρ的参数单元数目U以及θ的参数单元数目V取值分别为:V=Int(π/△θ),Int()表示取整运算,π为180o角对应的弧度数;
S42:建立参数积累矩阵
根据定义的参数空间(ρ,θ),建立参数积累矩阵H(ρ,θ),置每一单元初始值为0;
S43:图像边缘映射到参数空间
将第一个随机采样的像素对(i1,j1)和(i2,j2)通过hough变换投影到参量空间,计算该像素对所确定的参数ρhough和θhough:
θhough=arctan[-(i1-i2)/(j1-j2)];
ρhough=0.5(i1+i2)cos(θhough)+0.5(j1+j2)sin(θhough);
S44:投票积累
在参数空间(ρ,θ)中查找相应的单元(ρu,θv),使得||ρhough-ρu||≤△ρ,||θhough-θv||≤△θ,其中||·||表示求绝对值;
如果(ρu,θv)存在,则在参数积累矩阵H(ρ,θ)的相应单元中进行参数累加:H(ρu,θv)=H(ρu,θv)+1;
否则,将(ρhough,θhough)***参数空间(ρ,θ),并取初始值H(ρhough,θhough)=1;
S45:终止积累
重复步骤S43~S44,直到L个随机采样像素对都映射到参数空间,得到参数积累矩阵H(ρ,θ)。
5.根据权利要求1所述的一种基于图像分割和随机hough变换的架上图书清点方法,其特征在于步骤5所述的峰值检测方法:
S51:门限检测
根据检测门限G1,对参数积累矩阵H(ρ,θ)进行检测,令H(ρ,θ)中取值小于G1的元素值为零,检测门限设置为G1=0.3Jn;
S52:角度约束
考虑图书倾斜角,设置角度约束值θT,获取H(ρ,θ)中参数θ绝对值小于θT的单元,令该单元相应元素值为零;
S53:局部搜索
在H(ρ,θ)中任何一个不为零的参数单元(ρu,θv),定义其局部搜索区域Ω(ρu,θv)为:
Ω(ρu,θv)={(ρ,θ)|[||ρ-ρu||≤5,θ=θv,H(ρ,θ)≠0]};
S54:峰值提取
接下来根据Ω(ρu,θv)进行判断:
1)如果Ω(ρu,θv)为空,则参数单元(ρu,θv)为一个局部峰值;
2)如果Ω(ρu,θv)不为空,若H(ρu,θv)的取值大于等于Ω(ρu,θv)中所有单元的取值,即满足:
H(ρu,θv)≥H(ρ,θ),(ρ,θ)∈Ω(ρu,θv),
则参数单元(ρu,θv)为一个局部峰值;
S55:峰值计数
重复步骤S53~S54,提取H(ρ,θ)所有的局部峰值单元,计算局部峰值的个数tn,则子图像Pn中图书的册数为tn-1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710057749.3A CN106846354B (zh) | 2017-01-23 | 2017-01-23 | 一种基于图像分割和随机hough变换的架上图书清点方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710057749.3A CN106846354B (zh) | 2017-01-23 | 2017-01-23 | 一种基于图像分割和随机hough变换的架上图书清点方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106846354A CN106846354A (zh) | 2017-06-13 |
CN106846354B true CN106846354B (zh) | 2019-07-23 |
Family
ID=59121259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710057749.3A Active CN106846354B (zh) | 2017-01-23 | 2017-01-23 | 一种基于图像分割和随机hough变换的架上图书清点方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106846354B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109544577B (zh) * | 2018-11-27 | 2022-10-14 | 辽宁工程技术大学 | 一种基于边缘点编组的改进直线提取方法 |
CN111898555B (zh) * | 2020-07-31 | 2023-05-19 | 上海交通大学 | 基于图像与文本的图书盘点识别方法、装置、设备及*** |
CN111967526B (zh) * | 2020-08-20 | 2023-09-22 | 东北大学秦皇岛分校 | 基于边缘映射和深度学习的遥感图像变化检测方法及*** |
CN113507546B (zh) * | 2021-06-01 | 2023-07-18 | 暨南大学 | 基于dct-64的图像加密方法 |
CN113642406B (zh) * | 2021-07-14 | 2023-01-31 | 广州市玄武无线科技股份有限公司 | 密集悬挂纸片的清点***、方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2199976A3 (en) * | 2008-11-10 | 2012-05-09 | FUJIFILM Corporation | Image processing method, image processing apparatus and image processing program |
CN103295034A (zh) * | 2013-04-30 | 2013-09-11 | 中南大学 | 一种基于dsp的嵌入式图书乱架清点***及方法 |
CN103777187A (zh) * | 2014-01-15 | 2014-05-07 | 杭州电子科技大学 | 基于遍历随机Hough变换的弱目标检测前跟踪方法 |
CN104182934A (zh) * | 2014-08-06 | 2014-12-03 | 西安电子科技大学 | 基于书脊图像特征和空域滤波的自动图书清点方法 |
CN104808173A (zh) * | 2015-05-14 | 2015-07-29 | 中国人民解放军海军航空工程学院 | 基于Hough变换的测向交叉定位***虚假点消除方法 |
CN105354610A (zh) * | 2014-08-18 | 2016-02-24 | 无锡慧眼电子科技有限公司 | 一种基于随机Hough变换的人数统计方法 |
-
2017
- 2017-01-23 CN CN201710057749.3A patent/CN106846354B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2199976A3 (en) * | 2008-11-10 | 2012-05-09 | FUJIFILM Corporation | Image processing method, image processing apparatus and image processing program |
CN103295034A (zh) * | 2013-04-30 | 2013-09-11 | 中南大学 | 一种基于dsp的嵌入式图书乱架清点***及方法 |
CN103777187A (zh) * | 2014-01-15 | 2014-05-07 | 杭州电子科技大学 | 基于遍历随机Hough变换的弱目标检测前跟踪方法 |
CN104182934A (zh) * | 2014-08-06 | 2014-12-03 | 西安电子科技大学 | 基于书脊图像特征和空域滤波的自动图书清点方法 |
CN105354610A (zh) * | 2014-08-18 | 2016-02-24 | 无锡慧眼电子科技有限公司 | 一种基于随机Hough变换的人数统计方法 |
CN104808173A (zh) * | 2015-05-14 | 2015-07-29 | 中国人民解放军海军航空工程学院 | 基于Hough变换的测向交叉定位***虚假点消除方法 |
Non-Patent Citations (4)
Title |
---|
Fusion based particle filter TBD algorithm for dim targets;YU hongbo等;《 Chinese Journal of Electronics》;20151231;第24卷(第3期);第590-596页 |
基于点集合并的修正 Hough 变换 TBD 算法;王国宏等;《航空学报》;20160321;第1-12页 |
快速随机hough变换多直线检测算法;张江鑫等;《浙江工业大学学报》;20130630;第41卷(第3期);第346-350页 |
随机Hough变换在高压输电线检测中的应用;李芳等;《软件导刊》;20140930;第13卷(第9期);第155-157页 |
Also Published As
Publication number | Publication date |
---|---|
CN106846354A (zh) | 2017-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106846354B (zh) | 一种基于图像分割和随机hough变换的架上图书清点方法 | |
CN111814722B (zh) | 一种图像中的表格识别方法、装置、电子设备及存储介质 | |
CN108596166A (zh) | 一种基于卷积神经网络分类的集装箱箱号识别方法 | |
CN108647681A (zh) | 一种带有文本方向校正的英文文本检测方法 | |
CN104008359B (zh) | 一种用于qr码识别的精确网格采样方法 | |
CN106097360A (zh) | 一种带钢表面缺陷识别方法及装置 | |
JP2008171417A (ja) | 画像内の略矩形のオブジェクトを検出する方法、画像内のバックグラウンド色を推定する方法、コンピュータ可読媒体、画像内の略矩形のオブジェクトを検出する装置、および画像内のバックグラウンド色を推定する装置 | |
Moghaddam et al. | Application of multi-level classifiers and clustering for automatic word spotting in historical document images | |
CN108197644A (zh) | 一种图像识别方法和装置 | |
CN102132323A (zh) | 自动图像矫直 | |
CN111753706B (zh) | 一种基于图像统计学的复杂表格交点聚类提取方法 | |
CN104636706A (zh) | 一种基于梯度方向一致性复杂背景条码图像自动分割方法 | |
CN111353961B (zh) | 一种文档曲面校正方法及装置 | |
CN110738216A (zh) | 基于改进surf算法的药品识别方法 | |
CN104036292A (zh) | 一种医学影像数字胶片中文字区域提取方法及提取*** | |
CN106909869A (zh) | 一种矩阵式二维码的采样网格划分方法及装置 | |
CN113723399A (zh) | 一种车牌图像矫正方法、车牌图像矫正装置和存储介质 | |
CN105608689A (zh) | 一种全景拼接消除图像特征误匹配方法及装置 | |
CN112418210B (zh) | 一种杆塔巡检信息智能分类方法 | |
CN110020659A (zh) | 一种基于二进小波的遥感影像多尺度边缘提取与匹配方法和*** | |
CN112036294B (zh) | 一种纸质表格结构自动识别的方法及装置 | |
CN112036232A (zh) | 一种图像表格结构识别方法、***、终端以及存储介质 | |
CN113989823B (zh) | 基于ocr坐标的图片表格还原方法及*** | |
Joseph et al. | A fully automated gridding technique for real composite cDNA microarray images | |
CN113159031B (zh) | 一种手写文本检测方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20190627 Address after: 264001 scientific research office, two Road 188, Zhifu District, Yantai, Shandong Applicant after: Naval Aviation University of PLA Address before: 264001 scientific research department, two Road 188, Yantai, Shandong Applicant before: Naval Aeronautical Engineering Institute PLA |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |