CN103307979A - 基于计算机视觉的水果体积测量方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的水果体积测量方法，通过对CCD摄像机拍摄的水果三视图进行预处理、边缘提取和调整，从创建的立方体的正面和侧面分别按照正视图边缘轮廓和侧视图边缘轮廓进行切割得到矩形切片集，利用矩形切片集轮廓点最小纵坐标之间的关系得到缩小倍数；利用双插值算法对俯视图边缘按缩小倍数进行缩小得到缩小边缘，再将缩小边缘根据区域生长法得到水果切片序列图，对此序列图进行三维重建得到水果的立体三维散点图，统计该立体三维散点图的像素个数；拟合该像素个数与水果的实际体积得到两者之间的数学模型，用此数学模型即可计算出同类其他水果的体积。本发明实现了对水果体积的有效测量，操作简单且测量精度较高。

Description

基于计算机视觉的水果体积测量方法

技术领域

本发明涉及一种基于计算机视觉的水果体积测量方法，主要从水果的三视图来测量水果体积，属于图像处理、模式识别和计算机视觉领域。

背景技术

体积作为一个重要的指标在许多领域都有不可忽视的作用，在水果分级中体积占有很大的比重。二维图像所提供的信息存在局限性，因此三维重建可视化技术得到迅速发展。现有的体积测量方法，对于规则物体用标准的公式即可求其体积，对于不规则物体则有排水法、超声波测体积、激光测体积和CT断层图像三维恢复等方法，这些方法有些耗时费力，有些成本昂贵不便推广；基于计算机视觉的求取体积方法有近似椭圆算法、根据表面纹理深浅的重构体积法、基于轮廓特征的神经网络体积估计等，近似椭圆算法和基于轮廓特征的神经网络体积估计法得到的体积精度不高，根据表面纹理深浅的重构体积法则对外界环境的要求苛刻。

发明内容

有鉴于此，本发明目的在于提供一种基于计算机视觉的水果体积测量方法，实现对一般水果体积的测量，成本低且测量精度较高。

本发明提出了一种基于计算机视觉的水果体积测量方法，其特征在于，该方法所包含的步骤为：

步骤101：通过CCD摄像机获取水果的正视图、侧视图和俯视图，调整此三视图使每幅图都为100×100像素；读入正视图，求取正视图边缘；找到正视图边缘轮廓点中的最东面、最西面、最北面和最南面的4个方位点的坐标；

步骤102：读入侧视图，求取侧视图边缘，找到侧视图边缘轮廓点中的最东面、最西面、最北面和最南面的4个方位点的坐标；以正视图边缘为标准，调整侧视图边缘的位置，使其边缘轮廓点中的最北面方位点的横坐标与正视图边缘轮廓点中的最北面方位点的横坐标相对准；

步骤103：读入俯视图，求取俯视图边缘；以正视图边缘4个方位点坐标和调整后的侧视图边缘4个方位点坐标为参照，调整俯视图边缘的位置，使其边缘轮廓点中的最北面方位点的横坐标对准侧视图边缘轮廓点中的最东面方位点的纵坐标；调整俯视图边缘使其边缘轮廓点中的最西面方位点的纵坐标与正视图边缘轮廓点中的最西面方位点的纵坐标相对准；找到调整后俯视图边缘轮廓点中的最东面、最西面、最北面和最南面的4个方位点的坐标，利用此4个方位点的坐标找到俯视图边缘的中心点；

步骤104：创建100×100×100的正方体零矩阵 KJ1；将正视图边缘对应KJ1的正面，侧视图边缘对应KJ1的侧面，俯视图边缘对应KJ1的上面；

步骤105_1：以侧视图边缘轮廓点中的最西面方位点的纵坐标i ₁=cm_xi(2)为起点，最东面方位点的纵坐标i _n =cm_dong(2)为终点，将正视图边缘矩阵复制给KJ1的第i _x 层KJ1(:, i _x , :) ，i _x ∈(i ₁, i ₂,…, i _x , …, i _n-1, i _n )，遍历完所有i _x 值；

步骤105_2：以正视图边缘轮廓点中的最东面方位点的纵坐标j ₁=zm_dong(2)为起点，最西面方位点的纵坐标j _n =zm_xi(2)为终点；将KJ1(j _x , :, :)转置后赋给100×100的正方形零矩阵QP，j _x ∈(j ₁, j ₂,…, j _x  ,…, j _n-1, j _n )；将QP和侧视图边缘中心点对准后进行叠加并找到两者交集部分的边缘轮廓点的坐标(x _z , y _z )，z=1,…, t，t为边缘轮廓点数；将上述KJ1的第j _x 层KJ1(j _x , :, :)清零，再将KJ1(j _x , x _z , y _z )赋值为1，遍历完所有j _x 值得到侧视边缘切片集； 

步骤106：在KJ1(:, :, k _x )中不同k _x 对应不同的矩形切片，k _x ∈(k ₁, k ₂,…,k _x  ,…, k _n-1, k _n )，k ₁=zm_bei(1)为正视图边缘轮廓点中的最北面方位点的横坐标，k _n =zm_nan(1)为正视图边缘轮廓点中的最南面方位点的横坐标；遍历完所有矩形切片,将各层矩形切片轮廓点中的最小纵坐标值存放在数组jx_edge中；找到jx_edge中的最大值和最小值，将两者相减的绝对值作为缩小倍数基数；

步骤107-1：分别以k ₁、k _n 作为起点和终点，将第k _x 层的矩形切片KJ1(:, :, k _x )转置并上下交换后赋给矩阵qiepian_f，将qiepian_f所述矩形切片轮廓点中的最小纵坐标值与jx_edge中的最小值相减，相减后的差值的绝对值和缩小倍数基数相除的结果作为第k _x 层俯视图边缘缩小的倍数λ；

步骤107-2：利用双插值算法对俯视图边缘按照倍数λ进行缩小，将缩小后的图像矩阵扩展为100×100的矩阵，在扩展过程中，原图像矩阵各点的坐标不变，新扩展的点则全部用0来填充；将缩小后的图像的中心点和俯视图边缘的中心点对准得到矩阵st_image；将st_image和qiepian_f的中心点对准后进行叠加得到矩阵jiemian，在jiemian中将st_image和qiepian_f的交集部分定义为边界；利用jiemian中的最东面、最西面、最南面和最北面方位点的坐标找到jiemian的中心点，若该中心点不为整数则将其化为整数，以此中心点作为生长起始坐标；从该生长起始点开始，在jiemian中向四面生长，直到找完包括生长起始点在内的生长起始点和边界之间所有值为0的点的坐标(x _m , y _m ), m=1,…, p，p为生长起始点和边界之间所有值为0的点的个数；创建100×100×100的正方体零矩阵KJ2，将所有KJ2(y _m , x _m , k _x ) 赋值为1，遍历完所有k _x 值即得到区域生长切片序列图，不同k _x 对应不同区域生长切片图；

步骤108：绘制出KJ2中所有值为1的点即得到水果的立体三维散点图；

步骤109：统计KJ2中1的个数，得到水果立体三维散点图的像素个数；步骤110：拟合像素个数与水果实际体积获得两者之间的数学模型；

任选一个同类水果的像素个数输入该数学模型，即可计算出该水果的体积。

本发明与现有技术相比具有以下创新点：（1）本发明的成本低，不需要类似CT图一样的断层序列图，仅需在水果的正面、侧面和上面进行拍摄，简单快捷；（2）传统体积测量方法繁琐复杂，本发明的方法思路来自于工程制图，思路简单易于推广，测量精度相对较高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：

图1是本发明的算法流程图；

图2是本发明100                                                

100像素的水果三视图；

图3是本发明调整后水果三视图的边缘；

图4是本发明的水果侧视边缘切割效果图；

图5是本发明的矩形切片效果图；

图6是本发明的双插值缩小叠加矩形切片效果图和区域生长效果图；

图7是本发明的水果立体三维散点图。

图中标记，021.正视图, 022.侧视图,023.俯视图,031.调整后正视图边缘,032.调整后侧视图边缘,033.调整后俯视图边缘,041.侧视边缘切割效果图一,042侧视边缘切割效果图二,043.侧视边缘切割效果图三, 051.矩形切片一, 052.矩形切片二, 053.矩形切片三,061.俯视图边缘双插值缩小叠加矩形切片效果图一,062.区域生长效果图一,063.俯视图边缘双插值缩小叠加矩形切片效果图二,064.区域生长效果图二。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明的基于计算机视觉的水果体积测量方法，结合附图和实施例程详细说明。

参照图1， 步骤101、102和103通过对CCD摄像机得到的水果三视图进行预处理，边缘提取和调整；步骤104和105将创建的立方体从正面和侧面分别按照正视图边缘轮廓和侧视图边缘轮廓切割，得到交集部分即为矩形切片集；步骤106用当前矩形切片轮廓点中的最小纵坐标值与所有矩形切片轮廓点中的最小纵坐标值相减，将相减后的差值的绝对值除以缩小倍数基数得到缩小倍数λ；步骤107利用双插值算法对俯视图边缘按缩小倍数λ进行缩小得到缩小的边缘；步骤108将前述的缩小边缘根据区域生长法得到切片序列图，对该切片序列图进行三维重建得到立体结果；步骤109统计像素个数；步骤110拟合此像素个数与水果的实际体积获得两者之间的数学模型； 将同类任意一个水果的像素个数输入此数学模型，即可计算出该水果的体积。

参照图2，通过CCD摄像机获取水果的三视图，调整三视图使每幅图都为100×100像素，如021、022、023；将正视图021由红绿蓝三个颜色通道（RGB）映射到色调、饱和度和亮度空间（HSV）并求取其边缘；同理，求取侧视图022的边缘及俯视图023的边缘；找到正视图边缘轮廓点中的最东面、最西面、最北面和最南面的4个方位点的坐标，同理，找到侧视图边缘轮廓点中的4个方位点的坐标。

参照图3，以正视图边缘031轮廓点中的4个方位点坐标为参照，调整侧视图边缘，使其边缘轮廓点中的最北面方位点的横坐标与正视图边缘031轮廓点中的最北面方位点的横坐标相对准，得到调整后的侧视图边缘032；同理，以正视图边缘031轮廓点中的4个方位点的坐标和调整后的侧视图边缘032的4个方位点的坐标为参照，调整俯视图边缘，使其边缘轮廓点中的最北面方位点的横坐标对准侧视图边缘032轮廓点中的最东面方位点的纵坐标；调整俯视图边缘，使其边缘轮廓点中的最西面方位点的纵坐标与正视图边缘031轮廓点中的最西面方位点的纵坐标相对准，得到调整后的俯视图边缘033；找到调整后的俯视图边缘033轮廓点中的最东面、最西面、最北面和最南面的4个方位点的坐标，利用此4个方位点的坐标即可找到俯视图边缘033的中心点；创建100×100×100的正方体零矩阵KJ1；找到正视图边缘031轮廓点的坐标(x _i , y _i )，i=1,…, h，h为正视图边缘031轮廓点个数；以侧视图边缘032轮廓点中的最西面方位点的纵坐标i ₁=cm_xi(2)为起点，最东面方位点的纵坐标i _n =cm_dong(2)为终点；将所有KJ1(x _i , i _x , y _i )赋值为1，遍历完所有i _x ∈(i ₁, i ₂,…, i _x , …, i _n-1, i _n )值。

参照图4的041、043、045，以正视图边缘031轮廓点中的最东面方位点的纵坐标j ₁=zm_dong(2)为起点，最西面方位点的纵坐标j _n =zm_xi(2)为终点；将KJ1(j _x , :, :)转置后赋给100×100的正方形零矩阵QP，j _x ∈(j ₁, j ₂,…, j _x  ,…, j _n-1, j _n )；将QP和侧视图边缘032的中心点对准后进行叠加得到矩阵jiedian，不同j _x 对应不同的jiedian。

参照图4的042、044、046，找到jiedian中QP和侧视图边缘032的交集部分的边缘轮廓点的坐标(x _z , y _z )，z=1,…, t，t为边缘轮廓点数；将上述KJ1的第j _x 层KJ1(j _x , :, :)清零，再将KJ1(j _x , x _z , y _z )赋值为1，遍历完所有j _x 得到侧视边缘切片集；不同j _x 对应不同的侧视边缘切片。

参照图5，在KJ1(:, :, k _x )中不同k _x 对应不同的矩形切片， k _x ∈(k ₁, k ₂,…,k _x  ,…, k _n-1, k _n )，k ₁=zm_bei(1)为正视图边缘031轮廓点中的最北面方位点的横坐标，k _n =zm_nan(1)为正视图边缘031轮廓点中的最南面方位点的横坐标；051、052、053代表不同k _x 值时的矩形切片；遍历完所有矩形切片,将各层矩形切片轮廓点的最小纵坐标值存放在数组jx_edge中；找到jx_edge中的最大值和最小值，将两者相减后的差值的绝对值作为缩小倍数基数。 

 参照图6，分别以k ₁、k _n 作为起点和终点，将第k _x 层的矩形切片KJ1(:, :, k _x )转置并上下交换后赋给矩阵qiepian_f，将qiepian_f所述矩形切片轮廓点中的最小纵坐标值减去jx_edge中的最小值，相减后的差值的绝对值和缩小倍数基数相除，将相除后的结果作为第k _x 层俯视图边缘缩小的倍数λ；利用双插值算法对俯视图边缘033按照倍数λ进行缩小，将缩小后的图像矩阵扩展为100×100的矩阵，在扩展过程中，原图像矩阵各点的坐标不变，新扩展的点则全部用0来填充；将缩小后的图像的中心点和俯视图边缘的中心点对准后得到矩阵st_image；将st_image和qiepian_f的中心点对准后进行叠加得到矩阵jiemian，不同层的jiemian如图061和063；在jiemian中将矩阵st_image和qiepian_f的交集部分的轮廓定义为边界；利用jiemian的最东面、最西面、最南面和最北面的方位点的坐标找到其中心点，若该中心点不为整数则将其化为整数，以此中心点作为生长起始坐标；从生长起始点开始，在jiemian中向四面生长，找完包括生长起始点在内的生长起始点和边界之间所有值为0的点的坐标(x _m , y _m ), m=1,…, p，p代表生长起始点和边界之间所有值为0的点的个数；创建100×100×100的正方体零矩阵KJ2(，将KJ2(y _m , x _m , k _x )赋值为1，遍历完所有k _x 值，得到区域生长切片序列图，不同层的切片如图062和064。

参照图7，判断KJ2中的值是否为1，若为1则绘制此点直至KJ2中所有点都遍历完，得到水果的立体三维散点图；统计KJ2中1的个数，得到水果的立体三维图的像素个数，拟合该像素个数与水果实际体积获得两者之间的数学模型；任选一个同类水果的像素个数输入该数学模型，即可计算出该水果的体积。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (2)

1.一种基于计算机视觉的水果体积测量方法，其特征在于，首先从创建的立方体的正面和侧面分别按照水果的正视图边缘轮廓和侧视图边缘轮廓进行切割，得到交集部分即为矩形切片集；用最大矩形切片轮廓点中的最小纵坐标值减去最小矩形切片轮廓点中的最小纵坐标值，然后将该差值的绝对值作为缩小倍数基数；用每一层矩形切片轮廓点中的最小纵坐标值减去最小矩形切片轮廓点中的最小纵坐标值，然后将该差值的绝对值除以缩小倍数基数作为缩小倍数；利用双插值算法对水果的俯视图边缘按前述缩小倍数进行缩小，将缩小边缘利用区域生长法得到水果的切片序列图，由该序列图三维重建得到水果的立体三维散点图，统计该立体三维散点图的像素个数，拟合该像素个数与水果实际体积获得两者之间的数学模型，将像素个数输入该数学模型即可获得水果的体积。

2.根据权利要求1所述的基于计算机视觉的水果体积测量方法，其特征是，具体步骤为：

步骤101：通过CCD摄像机获取水果的正视图、侧视图和俯视图，调整此三视图使每幅图都为100×100像素；读入正视图，求取正视图边缘；找到正视图边缘轮廓点中的最东面、最西面、最北面和最南面的4个方位点的坐标；

步骤102：读入侧视图，求取侧视图边缘，找到侧视图边缘轮廓点中的最东面、最西面、最北面和最南面的4个方位点的坐标；以正视图边缘为标准，调整侧视图边缘的位置，使其边缘轮廓点中的最北面方位点的横坐标与正视图边缘轮廓点中的最北面方位点的横坐标相对准；

步骤103：读入俯视图，求取俯视图边缘；以正视图边缘4个方位点坐标和调整后的侧视图边缘4个方位点坐标为参照，调整俯视图边缘的位置，使其边缘轮廓点中的最北面方位点的横坐标对准侧视图边缘轮廓点中的最东面方位点的纵坐标；调整俯视图边缘使其边缘轮廓点中的最西面方位点的纵坐标与正视图边缘轮廓点中的最西面方位点的纵坐标相对准；找到调整后俯视图边缘轮廓点中的最东面、最西面、最北面和最南面的4个方位点的坐标，利用此4个方位点的坐标找到俯视图边缘的中心点；

步骤104：创建100×100×100的正方体零矩阵 KJ1；将正视图边缘对应KJ1的正面，侧视图边缘对应KJ1的侧面，俯视图边缘对应KJ1的上面；

步骤105_1：以侧视图边缘轮廓点中的最西面方位点的纵坐标i ₁=cm_xi(2)为起点，最东面方位点的纵坐标i _n =cm_dong(2)为终点，将正视图边缘矩阵复制给KJ1的第i _x 层KJ1(:, i _x , :) ，i _x ∈(i ₁, i ₂,…, i _x , …, i _n-1, i _n )，遍历完所有i _x 值；

步骤105_2：以正视图边缘轮廓点中的最东面方位点的纵坐标j ₁=zm_dong(2)为起点，最西面方位点的纵坐标j _n =zm_xi(2)为终点；将KJ1(j _x , :, :)转置后赋给100×100的正方形零矩阵QP，j _x ∈(j ₁, j ₂,…, j _x  ,…, j _n-1, j _n )；将QP和侧视图边缘中心点对准后进行叠加并找到两者交集部分的边缘轮廓点的坐标(x _z , y _z )，z=1,…, t，t为边缘轮廓点数；将上述KJ1的第j _x 层KJ1(j _x , :, :)清零，再将KJ1(j _x , x _z , y _z )赋值为1，遍历完所有j _x 值得到侧视边缘切片集； 

步骤106：在KJ1(:, :, k _x )中不同k _x 对应不同的矩形切片，k _x ∈(k ₁, k ₂,…,k _x  ,…, k _n-1, k _n )，k ₁=zm_bei(1)为正视图边缘轮廓点中的最北面方位点的横坐标，k _n =zm_nan(1)为正视图边缘轮廓点中的最南面方位点的横坐标；遍历完所有矩形切片,将各层矩形切片轮廓点中的最小纵坐标值存放在数组jx_edge中；找到jx_edge中的最大值和最小值，将两者相减的绝对值作为缩小倍数基数；

步骤107-1：分别以k ₁、k _n 作为起点和终点，将第k _x 层的矩形切片KJ1(:, :, k _x )转置并上下交换后赋给矩阵qiepian_f，将qiepian_f所述矩形切片轮廓点中的最小纵坐标值与jx_edg中的最小值相减，相减后的差值的绝对值和缩小倍数基数相除的结果作为第k _x 层俯视图边缘缩小的倍数λ；

步骤107-2：利用双插值算法对俯视图边缘按照倍数λ进行缩小，将缩小后的图像矩阵扩展为100×100的矩阵，在扩展过程中，原图像矩阵各点的坐标不变，新扩展的点则全部用0来填充；将缩小后的图像的中心点和俯视图边缘的中心点对准得到矩阵st_image；将st_image和qiepian_f的中心点对准后进行叠加得到矩阵jiemian，在jiemian中将st_image和qiepian_f的交集部分定义为边界；利用jiemian中的最东面、最西面、最南面和最北面方位点的坐标找到jiemian的中心点，若该中心点不为整数则将其化为整数，以此中心点作为生长起始坐标；从该生长起始点开始，在jiemian中向四面生长，直到找完包括生长起始点在内的生长起始点和边界之间所有值为0的点的坐标(x _m , y _m ), m=1,…, p，p为生长起始点和边界之间所有值为0的点的个数；创建100×100×100的正方体零矩阵KJ2，将所有KJ2(y _m , x _m , k _x ) 赋值为1，遍历完所有k _x 值即得到区域生长切片序列图，不同k _x 对应不同区域生长切片图；

步骤108：绘制出KJ2中所有值为1的点即得到水果的立体三维散点图；

步骤109：统计KJ2中1的个数，得到水果立体三维散点图的像素个数；

步骤110：拟合像素个数与水果实际体积获得两者之间的数学模型；

任选一个同类水果的像素个数输入该数学模型，即可计算出该水果的体积。

Images