CN109784378A - 一种基于机器视觉的水下捕鱼方法 - Google Patents
一种基于机器视觉的水下捕鱼方法 Download PDFInfo
- Publication number
- CN109784378A CN109784378A CN201811608004.2A CN201811608004A CN109784378A CN 109784378 A CN109784378 A CN 109784378A CN 201811608004 A CN201811608004 A CN 201811608004A CN 109784378 A CN109784378 A CN 109784378A
- Authority
- CN
- China
- Prior art keywords
- fish
- pixel
- image
- weight
- underwater
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 241000251468 Actinopterygii Species 0.000 claims abstract description 102
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims abstract description 9
- 238000012544 monitoring process Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 7
- 230000005284 excitation Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000012417 linear regression Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000001939 inductive effect Effects 0.000 claims description 3
- 238000012804 iterative process Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 4
- 235000019688 fish Nutrition 0.000 description 68
- 238000005516 engineering process Methods 0.000 description 3
- 238000009395 breeding Methods 0.000 description 2
- 230000001488 breeding effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000972773 Aulopiformes Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000004459 forage Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000001850 reproductive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 235000019515 salmon Nutrition 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- CMJCEVKJYRZMIA-UHFFFAOYSA-M thallium(i) iodide Chemical group [Tl]I CMJCEVKJYRZMIA-UHFFFAOYSA-M 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K61/00—Culture of aquatic animals
- A01K61/90—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination
- A01K61/95—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination specially adapted for fish
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Zoology (AREA)
- Environmental Sciences (AREA)
- Engineering & Computer Science (AREA)
- Marine Sciences & Fisheries (AREA)
- Animal Husbandry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于机器视觉的水下捕鱼方法,该水下捕鱼方法通过水下捕鱼装置配合鱼类识别分类、鱼类长度测量及重量预测的步骤实时监测鱼类生长情况,精准掌握最佳捕鱼时期;其中,所述鱼类识别分类包括图像采集与预处理、小波特征提取和BP神经网络鱼类图像分类,所述鱼类长度测量及重量预测包括鱼类样本长度和重量参数获取、鱼类长度信息提取、长度误差补偿和重量预测。本发明的优点在于:本发明基于机器视觉的水下捕鱼方法,可以捕捉特定种类和特定大小的鱼类,同时,也可以估测鱼类重量,实时监测鱼类生长情况,精准掌握最佳捕鱼时期。
Description
技术领域
本发明涉及水下鱼类捕捉技术,特别涉及一种基于机器视觉的水下捕鱼方法。
背景技术
海洋渔业生产的主要捕捞对象是那些在进行洄游、繁殖、索饵或越冬等活动的鱼类或经济动物的密集群体,特别是繁殖群体,密度大且稳定,而且多数鱼群是以同一体长组或同一年龄组进行集群的,如鲑鳟鱼类特别明显。
因此,在进行捕捞作业时,如果对达不到捕捞规格的对象(如低龄或性未成熟的幼鱼)进行酷捕,则必然得不偿失,严重影响来年的资源量,甚至能导致渔业资源的衰退,后患无穷。所以要实现可持续、合理化捕鱼,就需要对不同种类、以及不同大小的鱼类进行选择性捕捞。
然而目前对于小规模内陆养鱼来说,一般都是采取竭泽而渔的方式,而对于海场养鱼,也都是采取渔船拉网、撒网,最后再进行人工分拣,不符合捕捞的鱼类再放回,这样就导致人工劳动强度大,工作量非常繁重,效率低下等问题。因此,水下捕鱼机器人具有极其重要的理论研究与实际应用意义,具有良好的经济价值和社会效益。
发明内容
本发明要解决的技术问题是提供一种基于机器视觉的水下捕鱼方法,可以捕捉特定种类和特定大小的鱼类,同时,也可以估测鱼类重量,实时监测鱼类生长情况,精准掌握最佳捕鱼时期。
为解决上述技术问题,本发明的技术方案为:一种基于机器视觉的水下捕鱼方法,其创新点在于:所述水下捕鱼方法通过水下捕鱼装置配合鱼类识别分类、鱼类长度测量及重量预测的步骤实时监测鱼类生长情况,精准掌握最佳捕鱼时期;
其中,所述鱼类识别分类包括图像采集与预处理、小波特征提取和BP神经网络鱼类图像分类,所述鱼类长度测量及重量预测包括鱼类样本长度和重量参数获取、鱼类长度信息提取、长度误差补偿和重量预测;
所述水下捕鱼装置包括用于采集图像的水下摄像机、用于黑暗环境照明的水下照明灯、用于诱导鱼儿的诱鱼灯装置和用于捕捉鱼儿的水下专用捕鱼网及水下机器人;其中,所述诱鱼灯装置包括三色LED和变频发声器。
进一步地,所述鱼类识别分类具体包括如下步骤:
步骤1:图像采集与预处理:水下摄像机采集到鱼类的彩色图片,通过改进的中值滤波器对原始图像进行滤波,然后对滤波后图片进行图像分割,得到去除背景后的分割图像,然后对分割图像进行灰度、形态学和二值化操作,获取到经过处理的鱼体二维二值图像;
步骤2:小波特征提取:
1)归一化处理:对步骤1的预处理图像进行归一化处理;
2)极坐标化:假设f(x,y)表示直角坐标上的二维二值图像,其标准矩定义为Mpq=∫∫xpyqf(x,y)dxdy,由x=rcos(θ),y=rsin(θ)将上式转为极坐标系得到矩特征的一般表达式为Fpq=∫∫f(r,θ)gp(r)ejqθrdrdθ,其中gp(r)为变换核的角度分量,ejqθ是变换核的角度分量;
3)旋转不变小波矩特征提取:令sq(r)=∫f(r,θ)ejqθdθ,则上式可写为Fpq=∫sq(r)gp(r)rdr,可以证明图像发生旋转后特征值模||Fpq||保持不变;选择适当的的基本小波ψ(r),然后通过伸展、平移来生成小波函数集ψm,n(r),m,n分别为尺度和平移变量,则小波矩不变量为||Fm,n,q||=||∫sq(r)ψm,n(r)rdr||;
步骤3:BP神经网络鱼类图像分类
1)网络初始化:将上述步骤获得的目标图像的矩特征作为BP网络的输入,进而识别目标;假设输入层的节点个数为n,隐含层的节点个数为l,输出层的节点个数为m,则输入层到隐含层的权重ωij,隐含层到输出层的权重为ωjk,输入层到隐含层的偏置为aj,隐含层到输出层的偏置为bk;学习速率为η,激励函数为g(x);其中,激励函数为g(x)取Sigmoid函数,形式为:
2)计算隐含层和输出层输出:采用三层BP神经网络,隐含层输出为输出层的输出为
3)误差的计算:取误差公式为:其中Yk为期望输出;记Yk-Ok=ek,则误差E可以表示为公式中i=1…n,j=1…l,k=1…m;
4)权值和偏置更新:
权值更新公式为:
偏置更新公式为:
5)输出单元产生的激活再与期望值相比较,判断算法是否已经收敛,如果收敛输出图像识别结果,否则跳转到2)。
进一步地,所述步骤1中图像分割为对滤波图像切割成矩形图像,然后使用GrabCut算法对所述图像进行分割。
进一步地,所述Grab Cut算法采用RGB颜色空间,分别用一个K个高斯分量,一般取K=5的全协方差混合高斯模型GMM来对目标和背景进行建模,则存在一个额外的向量k={k1,...,kn,...,kN},其中kn就是第n个像素对应于那个高斯分量,kn∈{1,...k};其中,对于每个像素,来自于目标GMM的某个高斯分量,或来自于背景GMM的某个高斯分量,则用于整个图像的Gibbs能量为:
E(α,k,θ,z)=U(α,k,θ,z)+V(α,z);
其中,U就是区域项,表示一个像素被归类为目标或者背景的惩罚,即是某个像素属于目标或者背景的概率的负对数,混合高斯密度模型是如下形式:且0≤πi≤1;
Grab Cut是迭代最小的,每次迭代过程都使得对目标和背景建模的GMM的参数更优,使得图像分割更优,具体步骤如下:
步骤1:用户通过直接框选目标来得到一个初始的trimap T,即方框外的像素全部作为背景像素TB,而方框内TU的像素全部作为“可能是目标”的像素;
步骤2:对TB内的每一像素n,初始化像素n的标签αn=0,即为背景像素;而对TU内的每个像素n,初始化像素n的标签αn=1,即作为“可能是目标”的像素;
步骤3:经过步骤1和步骤2,分别得到属于目标(αn=1)的一些像素,剩下的为属于背景(αn=0)的像素,则通过这个像素来估计目标和背景的GMM了;同时,通过k-mean算法分别把属于目标和背景的像素聚类为K类,即GMM中的K个高斯模型,则GMM中每个高斯模型就具有了一些像素样本集,它的参数均值和协方差可以通过RGB值估计得到,则该高斯分量的权值可以通过属于该高斯分量的像素个数与总的像素个数的比值来确定。
进一步地,所述迭代最小化的具体步骤如下:
步骤1:对每个像素分配GMM中的高斯分量,即像素n是目标像素,那么把像素n的RGB值代入目标GMM中的每一个高斯分量中,概率最大的那个就是最有可能生成n的,也即像素n的第kn个高斯分量:
步骤2:对于给定的图像数据Z,学习优化GMM的参数
步骤3:分割估计,通过高斯模型GMM分析的Gibbs能量项,建立一个图,并求出权值t-link和n-link,然后通过max flow/min cut算法来进行分割:
步骤4:重复步骤1到步骤3,直到收敛。
进一步地,所述鱼类长度测量及重量预测具体包括如下步骤:
步骤1:鱼类样本长度和重量参数获取:通过测量大量同一种鱼类的长度和重量数据,并采用线性回归处理计算出二者之间存在的关系,并根据最终测得的鱼类长度来估测鱼类重量,进而评估整个渔场鱼类的生长情况,以及是否满足水下机器人的捕捉条件;
步骤2:鱼类长度信息提取:在水下专用捕鱼网的末端与之相平行的位置设置一个直径为5cm的圆,并且使其成像位置在整幅图片的左上角;在种类识别的预处理图像基础上,通过计算鱼类处理后图片的最左侧和最右侧的像素点个数和圆环直径的相熟点个数之比乘上圆环直径来计算出鱼的长度;
步骤3:长度误差补偿:鱼类距离水下专用捕鱼网口的距离为10-20cm,在计算鱼类长度时,加入5%-10%误差补偿;
步骤4:重量预测:将从预处理图像中提取出的长度信息输入到线性回归函数预测模型中,计算出鱼类重量近似重量。
本发明的优点在于:本发明基于机器视觉的水下捕鱼方法,通过水下捕鱼装置配合鱼类识别分类、鱼类长度测量及重量预测的步骤实时监测鱼类生长情况,精准掌握最佳捕鱼时期;即通过图像处理,测量鱼类长度,实现精准捕捉,通过图像处理对鱼类重量进行估测,实时监测鱼类生长情况,使养殖收益最大化,进而可实现自动捕鱼、分鱼过程,简化了大量的捕鱼工作,提高工作效率;此外,结合水下机器人技术和图像识别技术,有助于减少人员劳动量、提高生产效率、增强自动化水平,具有理论与实际应用上的意义。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是实施例基于机器视觉的水下捕鱼方法中鱼类识别分类的流程图。
图2是图1中图像采集与预处理的具体流程图。
图3是实施例基于机器视觉的水下捕鱼方法中鱼类长度测量及重量预测的流程图。
图4是实施例基于机器视觉的水下捕鱼方法中鱼体长度预测处理中间图像。
具体实施方式
下面的实施例可以使本专业的技术人员更全面地理解本发明,但并不因此将本发明限制在所述的实施例范围之中。
实施例
本实施例基于机器视觉的水下捕鱼方法中水下捕鱼装置,包括用于采集图像的康奈视In-Sight7000型工业相机、用于黑暗环境照明的水下照明灯、用于诱导鱼儿的诱鱼灯装置和用于捕捉鱼儿的水下专用捕鱼网及水下机器人,其中,诱鱼灯装置包括三色LED和变频发声器;此外,考虑到水下光传播的蓝绿偏移,水下照明灯选用为碘化铊灯,它辐射的光能大部分集中在蓝与绿范围内,水对它吸收很少;水下摄像机采用这种光源与白炽灯相比,在相同的功率条件下,效率在六倍以上。
本实施例基于机器视觉的水下捕鱼方法,通过水下捕鱼装置配合鱼类识别分类、鱼类长度测量及重量预测的步骤实时监测鱼类生长情况,精准掌握最佳捕鱼时期。
本实施例中,鱼类识别分类,如图1所示,具体包括如下步骤:
步骤(1):图像采集与预处理:如图2所示,水下摄像机采集到鱼类的彩色图片,通过改进的中值滤波器对原始图像进行滤波,然后对滤波后图片切割成矩形图像,然后使用Grab Cut算法对所述图像进行分割,得到去除背景后的分割图像,然后对分割图像进行灰度、形态学和二值化操作,获取到经过处理的鱼体二维二值图像;其中,Grab Cut算法采用RGB颜色空间,分别用一个K个高斯分量,一般取K=5的全协方差混合高斯模型GMM来对目标和背景进行建模,则存在一个额外的向量k={k1,...,kn,...,kN},其中kn就是第n个像素对应于那个高斯分量,kn∈{1,...k};其中,对于每个像素,来自于目标GMM的某个高斯分量,或来自于背景GMM的某个高斯分量,则用于整个图像的Gibbs能量为:E(α,k,θ,z)=U(α,k,θ,z)+V(α,z);其中,U就是区域项,表示一个像素被归类为目标或者背景的惩罚,即是某个像素属于目标或者背景的概率的负对数,混合高斯密度模型是如下形式:且0≤πi≤1;Grab Cut是迭代最小的,每次迭代过程都使得对目标和背景建模的GMM的参数更优,使得图像分割更优,具体步骤如下:
步骤1:用户通过直接框选目标来得到一个初始的trimap T,即方框外的像素全部作为背景像素TB,而方框内TU的像素全部作为“可能是目标”的像素;
步骤2:对TB内的每一像素n,初始化像素n的标签αn=0,即为背景像素;而对TU内的每个像素n,初始化像素n的标签αn=1,即作为“可能是目标”的像素;
步骤3:经过步骤1和步骤2,分别得到属于目标(αn=1)的一些像素,剩下的为属于背景(αn=0)的像素,则通过这个像素来估计目标和背景的GMM了;同时,通过k-mean算法分别把属于目标和背景的像素聚类为K类,即GMM中的K个高斯模型,则GMM中每个高斯模型就具有了一些像素样本集,它的参数均值和协方差可以通过RGB值估计得到,则该高斯分量的权值可以通过属于该高斯分量的像素个数与总的像素个数的比值来确定。
作为实施例,更具体的实施方式为迭代最小化的具体步骤如下:
步骤1:对每个像素分配GMM中的高斯分量,即像素n是目标像素,那么把像素n的RGB值代入目标GMM中的每一个高斯分量中,概率最大的那个就是最有可能生成n的,也即像素n的第kn个高斯分量:
步骤2:对于给定的图像数据Z,学习优化GMM的参数
步骤3:分割估计,通过高斯模型GMM分析的Gibbs能量项,建立一个图,并求出权值t-link和n-link,然后通过max flow/min cut算法来进行分割:
步骤4:重复步骤1到步骤3,直到收敛。
步骤(2):小波特征提取:
1)归一化处理:对步骤(1)的预处理图像进行归一化处理;
2)极坐标化:假设f(x,y)表示直角坐标上的二维二值图像,其标准矩定义为Mpq=∫∫xpyqf(x,y)dxdy,由x=rcos(θ),y=rsin(θ)将上式转为极坐标系得到矩特征的一般表达式为Fpq=∫∫f(r,θ)gp(r)ejqθrdrdθ,其中gp(r)为变换核的角度分量,ejqθ是变换核的角度分量;
3)旋转不变小波矩特征提取:令sq(r)=∫f(r,θ)ejqθdθ,则上式可写为Fpq=∫sq(r)gp(r)rdr,可以证明图像发生旋转后特征值模||Fpq||保持不变;选择适当的的基本小波ψ(r),然后通过伸展、平移来生成小波函数集ψm,n(r),m,n分别为尺度和平移变量,则小波矩不变量为||Fm,n,q||=||∫sq(r)ψm,n(r)rdr||;
步骤(3):BP神经网络鱼类图像分类
1)网络初始化:将上述步骤获得的目标图像的矩特征作为BP网络的输入,进而识别目标;假设输入层的节点个数为n,隐含层的节点个数为l,输出层的节点个数为m,则输入层到隐含层的权重ωij,隐含层到输出层的权重为ωjk,输入层到隐含层的偏置为aj,隐含层到输出层的偏置为bk;学习速率为η,激励函数为g(x);其中,激励函数为g(x)取Sigmoid函数,形式为:
2)计算隐含层和输出层输出:采用三层BP神经网络,隐含层输出为输出层的输出为
3)误差的计算:取误差公式为:其中Yk为期望输出;记Yk-Ok=ek,则误差E可以表示为公式中i=1…n,j=1…l,k=1…m;
4)权值和偏置更新:
权值更新公式为:
偏置更新公式为:
5)输出单元产生的激活再与期望值相比较,判断算法是否已经收敛,如果收敛输出图像识别结果,否则跳转到2)。
本实施例中,鱼类长度测量及重量预测,如图3所示,具体包括如下步骤:
步骤1:鱼类样本长度和重量参数获取:通过测量大量同一种鱼类的长度和重量数据,并采用线性回归处理计算出二者之间存在的关系,并根据最终测得的鱼类长度来估测鱼类重量,进而评估整个渔场鱼类的生长情况,以及是否满足水下机器人的捕捉条件;
步骤2:鱼类长度信息提取:如图4所示,在水下专用捕鱼网的末端与之相平行的位置设置一个直径为5cm的圆,并且使其成像位置在整幅图片的左上角;在种类识别的预处理图像基础上,通过计算鱼类处理后图片的最左侧和最右侧的像素点个数和圆环直径的相熟点个数之比乘上圆环直径来计算出鱼的长度;
步骤3:长度误差补偿:鱼类距离水下专用捕鱼网口的距离为10-20cm,在计算鱼类长度时,加入5%-10%误差补偿;
步骤4:重量预测:将从预处理图像中提取出的长度信息输入到线性回归函数预测模型中,计算出鱼类重量近似重量。
以上显示和描述了本发明的基本原理和主要特征以及本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (6)
1.一种基于机器视觉的水下捕鱼方法,其特征在于:所述水下捕鱼方法通过水下捕鱼装置配合鱼类识别分类、鱼类长度测量及重量预测的步骤实时监测鱼类生长情况,精准掌握最佳捕鱼时期;
其中,所述鱼类识别分类包括图像采集与预处理、小波特征提取和BP神经网络鱼类图像分类,所述鱼类长度测量及重量预测包括鱼类样本长度和重量参数获取、鱼类长度信息提取、长度误差补偿和重量预测;
所述水下捕鱼装置包括用于采集图像的水下摄像机、用于黑暗环境照明的水下照明灯、用于诱导鱼儿的诱鱼灯装置和用于捕捉鱼儿的水下专用捕鱼网及水下机器人;其中,所述诱鱼灯装置包括三色LED和变频发声器。
2.根据权利要求1所述的基于机器视觉的水下捕鱼方法,其特征在于:所述鱼类识别分类具体包括如下步骤:
步骤1:图像采集与预处理:水下摄像机采集到鱼类的彩色图片,通过改进的中值滤波器对原始图像进行滤波,然后对滤波后图片进行图像分割,得到去除背景后的分割图像,然后对分割图像进行灰度、形态学和二值化操作,获取到经过处理的鱼体二维二值图像;
步骤2:小波特征提取:
1)归一化处理:对步骤1的预处理图像进行归一化处理;
2)极坐标化:假设f(x,y)表示直角坐标上的二维二值图像,其标准矩定义为Mpq=∫∫xpyqf(x,y)dxdy,由x=rcos(θ),y=rsin(θ)将上式转为极坐标系得到矩特征的一般表达式为Fpq=∫∫f(r,θ)gp(r)ejqθrdrdθ,其中gp(r)为变换核的角度分量,ejqθ是变换核的角度分量;
3)旋转不变小波矩特征提取:令sq(r)=∫f(r,θ)ejqθdθ,则上式可写为Fpq=∫sq(r)gp(r)rdr,可以证明图像发生旋转后特征值模||Fpq||保持不变;选择适当的的基本小波ψ(r),然后通过伸展、平移来生成小波函数集ψm,n(r),m,n分别为尺度和平移变量,则小波矩不变量为||Fm,n,q||=||∫sq(r)ψm,n(r)rdr||;
步骤3:BP神经网络鱼类图像分类
1)网络初始化:将上述步骤获得的目标图像的矩特征作为BP网络的输入,进而识别目标;假设输入层的节点个数为n,隐含层的节点个数为l,输出层的节点个数为m,则输入层到隐含层的权重ωij,隐含层到输出层的权重为ωjk,输入层到隐含层的偏置为aj,隐含层到输出层的偏置为bk;学习速率为η,激励函数为g(x);其中,激励函数为g(x)取Sigmoid函数,形式为:
2)计算隐含层和输出层输出:采用三层BP神经网络,隐含层输出为输出层的输出为
3)误差的计算:取误差公式为:其中Yk为期望输出;记Yk-Ok=ek,则误差E可以表示为公式中i=1…n,j=1…l,k=1…m;
4)权值和偏置更新:
权值更新公式为:
偏置更新公式为:
5)输出单元产生的激活再与期望值相比较,判断算法是否已经收敛,如果收敛输出图像识别结果,否则跳转到2)。
3.根据权利要求2所述的基于机器视觉的水下捕鱼方法,其特征在于:所述步骤1中图像分割为对滤波图像切割成矩形图像,然后使用Grab Cut算法对所述图像进行分割。
4.根据权利要求3所述的基于机器视觉的水下捕鱼方法,其特征在于:所述Grab Cut算法采用RGB颜色空间,分别用一个K个高斯分量,一般取K=5的全协方差混合高斯模型GMM来对目标和背景进行建模,则存在一个额外的向量k={k1,...,kn,...,kN},其中kn就是第n个像素对应于那个高斯分量,kn∈{1,...k};其中,对于每个像素,来自于目标GMM的某个高斯分量,或来自于背景GMM的某个高斯分量,则用于整个图像的Gibbs能量为:
E(α,k,θ,z)=U(α,k,θ,z)+V(α,z);
其中,U就是区域项,表示一个像素被归类为目标或者背景的惩罚,即是某个像素属于目标或者背景的概率的负对数,混合高斯密度模型是如下形式:且0≤πi≤1;
Grab Cut是迭代最小的,每次迭代过程都使得对目标和背景建模的GMM的参数更优,使得图像分割更优,具体步骤如下:
步骤1:用户通过直接框选目标来得到一个初始的trimap T,即方框外的像素全部作为背景像素TB,而方框内TU的像素全部作为“可能是目标”的像素;
步骤2:对TB内的每一像素n,初始化像素n的标签αn=0,即为背景像素;而对TU内的每个像素n,初始化像素n的标签αn=1,即作为“可能是目标”的像素;
步骤3:经过步骤1和步骤2,分别得到属于目标(αn=1)的一些像素,剩下的为属于背景(αn=0)的像素,则通过这个像素来估计目标和背景的GMM了;同时,通过k-mean算法分别把属于目标和背景的像素聚类为K类,即GMM中的K个高斯模型,则GMM中每个高斯模型就具有了一些像素样本集,它的参数均值和协方差可以通过RGB值估计得到,则该高斯分量的权值可以通过属于该高斯分量的像素个数与总的像素个数的比值来确定。
5.根据权利要求4所述的基于机器视觉的水下捕鱼方法,其特征在于:所述迭代最小化的具体步骤如下:
步骤1:对每个像素分配GMM中的高斯分量,即像素n是目标像素,那么把像素n的RGB值代入目标GMM中的每一个高斯分量中,概率最大的那个就是最有可能生成n的,也即像素n的第kn个高斯分量:
步骤2:对于给定的图像数据Z,学习优化GMM的参数
步骤3:分割估计,通过高斯模型GMM分析的Gibbs能量项,建立一个图,并求出权值t-link和n-link,然后通过max flow/min cut算法来进行分割:
步骤4:重复步骤1到步骤3,直到收敛。
6.根据权利要求1所述的基于机器视觉的水下捕鱼方法,其特征在于:所述鱼类长度测量及重量预测具体包括如下步骤:
步骤1:鱼类样本长度和重量参数获取:通过测量大量同一种鱼类的长度和重量数据,并采用线性回归处理计算出二者之间存在的关系,并根据最终测得的鱼类长度来估测鱼类重量,进而评估整个渔场鱼类的生长情况,以及是否满足水下机器人的捕捉条件;
步骤2:鱼类长度信息提取:在水下专用捕鱼网的末端与之相平行的位置设置一个直径为5cm的圆,并且使其成像位置在整幅图片的左上角;在种类识别的预处理图像基础上,通过计算鱼类处理后图片的最左侧和最右侧的像素点个数和圆环直径的相熟点个数之比乘上圆环直径来计算出鱼的长度;
步骤3:长度误差补偿:鱼类距离水下专用捕鱼网口的距离为10-20cm,在计算鱼类长度时,加入5%-10%误差补偿;
步骤4:重量预测:将从预处理图像中提取出的长度信息输入到线性回归函数预测模型中,计算出鱼类重量近似重量。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811608004.2A CN109784378A (zh) | 2018-12-27 | 2018-12-27 | 一种基于机器视觉的水下捕鱼方法 |
PCT/CN2019/108334 WO2020134255A1 (zh) | 2018-12-27 | 2019-09-27 | 一种基于机器视觉对鱼类生长情况进行监测的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811608004.2A CN109784378A (zh) | 2018-12-27 | 2018-12-27 | 一种基于机器视觉的水下捕鱼方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109784378A true CN109784378A (zh) | 2019-05-21 |
Family
ID=66498475
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811608004.2A Withdrawn CN109784378A (zh) | 2018-12-27 | 2018-12-27 | 一种基于机器视觉的水下捕鱼方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109784378A (zh) |
WO (1) | WO2020134255A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110347134A (zh) * | 2019-07-29 | 2019-10-18 | 南京图玩智能科技有限公司 | 一种ai智能水产养殖样本识别方法及养殖*** |
CN110378241A (zh) * | 2019-06-25 | 2019-10-25 | 北京百度网讯科技有限公司 | 作物生长状态监控方法、装置、计算机设备及存储介质 |
WO2020134255A1 (zh) * | 2018-12-27 | 2020-07-02 | 南京芊玥机器人科技有限公司 | 一种基于机器视觉对鱼类生长情况进行监测的方法 |
CN111406693A (zh) * | 2020-04-23 | 2020-07-14 | 上海海洋大学 | 基于仿生海鳗的海洋牧场渔业资源养护效果评价方法 |
CN112287913A (zh) * | 2020-12-25 | 2021-01-29 | 浙江渔生泰科技有限公司 | 一种鱼类视频识别的智能监管*** |
CN113205283A (zh) * | 2021-06-02 | 2021-08-03 | 中国水产科学研究院南海水产研究所 | 一种外海渔业捕捞调度方法及*** |
CN114049577A (zh) * | 2021-11-17 | 2022-02-15 | 中国水利水电科学研究院 | 一种鱼类规格的测量方法及*** |
CN114241291A (zh) * | 2021-12-15 | 2022-03-25 | 广东省农业科学院动物科学研究所 | 基于惰性元素标记法与计算机视觉的诱食剂筛选方法 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NO347281B1 (en) * | 2020-10-05 | 2023-08-21 | Fishency Innovation As | Generating three dimensional skeleton representations of aquatic animals using machine learning |
CN112419392A (zh) * | 2020-11-30 | 2021-02-26 | 广州博进信息技术有限公司 | 基于机器视觉计算运动物体实际大小的方法、设备及介质 |
CN113239324B (zh) * | 2021-04-13 | 2023-11-10 | 江苏农林职业技术学院 | 一种黑鱼性成熟度判别方法和判别*** |
CN113591671B (zh) * | 2021-07-28 | 2023-10-24 | 常州大学 | 一种基于Mask-Rcnn识别鱼类生长检测方法 |
CN113628182B (zh) * | 2021-08-03 | 2024-04-26 | 中国农业大学 | 鱼类重量自动估计方法、装置、电子设备及存储介质 |
CN114742806A (zh) * | 2022-04-21 | 2022-07-12 | 海南大学 | 一种基于关键点坐标回归的鱼体形态学特征测量方法 |
CN117011795B (zh) * | 2023-08-08 | 2024-02-13 | 南京农业大学 | 基于类高斯模糊支持度的河蟹生长状态无损监测评估平台及方法 |
CN116843085B (zh) * | 2023-08-29 | 2023-12-01 | 深圳市明心数智科技有限公司 | 淡水鱼生长监控方法、装置、设备及存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103444613B (zh) * | 2013-08-29 | 2014-11-19 | 北京农业信息技术研究中心 | 一种用于鱼类养殖的投喂控制***及方法 |
CN106561532B (zh) * | 2016-11-08 | 2019-07-26 | 深圳技师学院 | 一种监测鱼活动的方法和装置 |
PH12016000469A1 (en) * | 2016-12-15 | 2018-06-25 | Univ Of The Philippines Diliman | Estimating fish size, population density, species distribution and biomass |
CN107909137A (zh) * | 2017-11-27 | 2018-04-13 | 南瑞集团有限公司 | 一种鱼道过鱼计数和识别方法 |
CN109784378A (zh) * | 2018-12-27 | 2019-05-21 | 南京芊玥机器人科技有限公司 | 一种基于机器视觉的水下捕鱼方法 |
-
2018
- 2018-12-27 CN CN201811608004.2A patent/CN109784378A/zh not_active Withdrawn
-
2019
- 2019-09-27 WO PCT/CN2019/108334 patent/WO2020134255A1/zh active Application Filing
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020134255A1 (zh) * | 2018-12-27 | 2020-07-02 | 南京芊玥机器人科技有限公司 | 一种基于机器视觉对鱼类生长情况进行监测的方法 |
CN110378241A (zh) * | 2019-06-25 | 2019-10-25 | 北京百度网讯科技有限公司 | 作物生长状态监控方法、装置、计算机设备及存储介质 |
CN110378241B (zh) * | 2019-06-25 | 2022-04-29 | 北京百度网讯科技有限公司 | 作物生长状态监控方法、装置、计算机设备及存储介质 |
CN110347134A (zh) * | 2019-07-29 | 2019-10-18 | 南京图玩智能科技有限公司 | 一种ai智能水产养殖样本识别方法及养殖*** |
CN111406693A (zh) * | 2020-04-23 | 2020-07-14 | 上海海洋大学 | 基于仿生海鳗的海洋牧场渔业资源养护效果评价方法 |
CN112287913A (zh) * | 2020-12-25 | 2021-01-29 | 浙江渔生泰科技有限公司 | 一种鱼类视频识别的智能监管*** |
CN113205283A (zh) * | 2021-06-02 | 2021-08-03 | 中国水产科学研究院南海水产研究所 | 一种外海渔业捕捞调度方法及*** |
CN113205283B (zh) * | 2021-06-02 | 2023-09-12 | 中国水产科学研究院南海水产研究所 | 一种外海渔业捕捞调度方法及*** |
CN114049577A (zh) * | 2021-11-17 | 2022-02-15 | 中国水利水电科学研究院 | 一种鱼类规格的测量方法及*** |
CN114241291A (zh) * | 2021-12-15 | 2022-03-25 | 广东省农业科学院动物科学研究所 | 基于惰性元素标记法与计算机视觉的诱食剂筛选方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2020134255A1 (zh) | 2020-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109784378A (zh) | 一种基于机器视觉的水下捕鱼方法 | |
CN111178197B (zh) | 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法 | |
CN109684906B (zh) | 基于深度学习的检测红脂大小蠹的方法 | |
CN112598713A (zh) | 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法 | |
CN110781921A (zh) | 一种基于深度残差网络与迁移学习的毒蕈图像识别方法和装置 | |
Lainez et al. | Automated fingerlings counting using convolutional neural network | |
Tamilselvi et al. | Unsupervised machine learning for clustering the infected leaves based on the leaf-colours | |
CN109242826B (zh) | 基于目标检测的移动设备端签状物根数计数方法及*** | |
CN111127423B (zh) | 一种基于cnn-bp神经网络算法水稻病虫害识别方法 | |
CN110853070A (zh) | 基于显著性与Grabcut的水下海参图像分割方法 | |
CN115294404A (zh) | 一种基于随机森林算法的底栖动物高光谱数据分类方法 | |
CN106872467A (zh) | 鸡胚成活性检测方法和装置 | |
CN112270681A (zh) | 一种黄板害虫深度检测与计数方法与*** | |
CN109815973A (zh) | 一种适用于鱼类细粒度识别的深度学习方法 | |
Saifullah et al. | Thresholding and hybrid CLAHE-HE for chicken egg embryo segmentation | |
Zhang et al. | Robust image segmentation method for cotton leaf under natural conditions based on immune algorithm and PCNN algorithm | |
Loresco et al. | Segmentation of lettuce plants using super pixels and thresholding methods in smart farm hydroponics setup | |
CN110532935A (zh) | 一种大田作物表型信息高通量对等监测***及监测方法 | |
CN110428374A (zh) | 一种小体积害虫自动检测方法及*** | |
Sosa-Trejo et al. | Vision-based techniques for automatic marine plankton classification | |
CN107016401B (zh) | 一种基于数码相机图像的水稻冠层识别方法 | |
CN113723833B (zh) | 造林实绩质量评价方法、***、终端设备及存储介质 | |
Han et al. | A deep learning model for automatic plastic waste monitoring using unmanned aerial vehicle (UAV) data | |
TW202309823A (zh) | 人工智慧養殖魚群食慾判斷方法與系統 | |
Lin et al. | A Real-Time Counting Method of Fish based on the Instance Segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190521 |