CN116363494A - 一种鱼类数量监测、洄游跟踪的方法和*** - Google Patents
一种鱼类数量监测、洄游跟踪的方法和*** Download PDFInfo
- Publication number
- CN116363494A CN116363494A CN202310634836.6A CN202310634836A CN116363494A CN 116363494 A CN116363494 A CN 116363494A CN 202310634836 A CN202310634836 A CN 202310634836A CN 116363494 A CN116363494 A CN 116363494A
- Authority
- CN
- China
- Prior art keywords
- fish
- tracking
- frame
- detection
- migration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000013508 migration Methods 0.000 title claims abstract description 43
- 230000005012 migration Effects 0.000 title claims abstract description 43
- 238000012544 monitoring process Methods 0.000 title claims abstract description 39
- 241000251468 Actinopterygii Species 0.000 claims abstract description 340
- 238000001514 detection method Methods 0.000 claims abstract description 113
- 238000013136 deep learning model Methods 0.000 claims abstract description 26
- 239000000203 mixture Substances 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 9
- 238000004891 communication Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 241000764238 Isis Species 0.000 claims description 3
- 238000009432 framing Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 21
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/05—Underwater scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种鱼类数量监测、洄游跟踪的方法和***,所述方法包括:通过水下鱼类图像数据集训练深度学习模型,得到鱼类检测模型;通过鱼类检测模型预测得到第一鱼类检测框和对应的置信度;通过高斯混合模型,计算连续采集的待测鱼类图像中的鱼类概率图,并提取第二鱼类检测框;计算第一鱼类检测框和第二鱼类检测框的总数作为鱼类数量初步统计值;比较不同时刻对应的鱼类检测框内鱼的深度特征,跟踪鱼的轨迹,剔除重复计数的鱼,得到鱼类数量监测值;根据鱼的轨迹进行鱼类洄游跟踪。本发明将基于深度学习模型和高斯混合模型相结合鱼类数量监测和轨迹跟踪,可以避免漏检和重复计数,提高鱼类数量监测的准确度。
Description
技术领域
本发明属于生态环境检测技术领域,具体涉及一种鱼类数量监测、洄游跟踪的方法和***。
背景技术
在水生态环境检测中,鱼类的检测是评价生态变化的重要指标,鱼类数量、洄游的情况跟水质密切相关。环境工作者需要根据这些指标分析水质情况,了解环境变化带来的影响,还可以科学的制定生态捕捞方案。目前鱼类检测主要有两种方式1.局部水域幼苗采用,通过采样局部水域幼苗的数量,估算出总体鱼的数量;2.局部水域观察,通过人眼观察鱼的数量,估算出总体鱼的数量。以上方法主观性太强,存在重复统计的情况,外界环境的变化也会对监测数量产生较大影响,而且需要人工参与,效率比较低。
现有技术中也出现一些利用图像处理的手段进行鱼类数量估计的方案,比如申请号为CN114255203A的专利公开了一种鱼苗数量估计方法及***,其通过光学相机和摄像机等图像采集设备,采集待识别的鱼苗的多幅图像,对鱼苗图像进行热力图处理,并通过神经网络模型预测鱼类数量。但是种类方案一般只适用于水体清澈、采集的鱼苗图像较清晰的场景,而在普通的水质分析场景下,水下环境复杂,往往水体浑浊、采集的图像质量不高,而且鱼类来回游动,容易漏检或重复计数,很难准确进行数量估计。
因此,需要一种鱼类计数更准确的鱼类数量监测、洄游跟踪的方法。
发明内容
有鉴于此,本发明提出了一种鱼类数量监测、洄游跟踪的方法和***,用于解决水体浑浊情况下鱼类数量估计准确度不高的问题。
本发明第一面,公开一种鱼类数量监测、洄游跟踪的方法,所述方法包括:
搭建深度学习模型,通过水下鱼类图像数据集训练深度学习模型,得到鱼类检测模型;
将连续采集的多帧待测鱼类图像输入鱼类检测模型,预测得到第一鱼类检测框和对应的置信度;
通过高斯混合模型,计算连续采集的待测鱼类图像中的鱼类概率图,并提取第二鱼类检测框;
计算第一鱼类检测框和第二鱼类检测框的总数作为鱼类数量初步统计值,并提取所有鱼类检测框内鱼的深度特征;
比较不同时刻对应的鱼类检测框内鱼的深度特征,跟踪鱼的轨迹,从鱼类数量初步统计值中剔除重复计数的鱼,得到鱼类数量监测值;
根据鱼的轨迹进行鱼类洄游跟踪。
在以上技术方案的基础上,优选的,所述深度学习模型由32个基础网络单元串联组成,每个基础网络单元包括依次连接的卷积层、BatchNorm层和激活层。
在以上技术方案的基础上,优选的,所述通过高斯混合模型,计算连续采集的待测鱼类图像中的鱼类概率图,并提取第二鱼类检测框具体包括:
根据各个像素位置处的像素值得到鱼类概率图,通过求连通域提取第二鱼类检测框。
在以上技术方案的基础上,优选的,所述比较不同时刻对应的鱼类检测框内鱼的深度特征,跟踪鱼的轨迹具体包括:
在以上技术方案的基础上,优选的,所述根据鱼的轨迹进行鱼类洄游跟踪具体包括:
其方向角度为:
本发明第二方面,公开一种鱼类数量监测、洄游跟踪的***,所述***包括:
第一检测框提取模块:用于搭建深度学习模型,通过水下鱼类图像数据集训练深度学习模型,得到鱼类检测模型;将连续采集的多帧待测鱼类图像输入鱼类检测模型,预测得到第一鱼类检测框和对应的置信度;
第二检测框提取模块:用于通过高斯混合模型,计算连续采集的待测鱼类图像中的鱼类概率图,并提取第二鱼类检测框;
鱼类数量计算模块:用于计算第一鱼类检测框和第二鱼类检测框的总数作为鱼类数量初步统计值,并提取所有鱼类检测框内鱼的深度特征;比较不同时刻对应的鱼类检测框内鱼的深度特征,跟踪鱼的轨迹,从鱼类数量初步统计值中剔除重复计数的鱼,得到鱼类数量监测值;
鱼类洄游跟踪模块:用于根据鱼的轨迹进行鱼类洄游跟踪。
本发明第三方面,公开一种电子设备,包括:至少一个处理器、至少一个存储器、通信接口和总线;
其中,所述处理器、存储器、通信接口通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令,以实现如本发明第一方面所述的方法。
本发明第四方面,公开一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令使计算机实现如本发明第一方面所述的方法。
本发明相对于现有技术具有以下有益效果:
1)本发明将基于深度学习模型的鱼类检测和基于高斯混合模型的鱼类检测相结合进行鱼类数量监测,通过高斯混合模型计算鱼类概率图,弥补水质浑浊情况下深度学习模型不能很好地检测出背景中所有鱼类目标的问题,从而避免漏检,同时通过比较不同时刻对应的鱼类检测框内鱼的深度特征以跟踪鱼的轨迹,可以避免重复计数,提高鱼类数量监测的准确度;
2)本发明根据第前一帧待测鱼类图像对应像素位置的均值更新下一帧待测鱼类图像对应像素位置的均值和方差,从而关联不同时刻的水体背景图像,以适应水下环境的动态变化,并在动态环境下计算鱼类概率图,提高提取剩下的鱼的检测框的准确度;
3)本发明可以根据鱼类跟踪判断鱼的洄游方向,且不受环境、天气的影响,可以***性的观察鱼的数量和洄游状态,计算效率较高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的鱼类数量监测、洄游跟踪的方法检测框架示意图;
图2为鱼类样本标注示意图;
图3为深度学习模型结构示意图;
图4为待测鱼类图像的局部截图和对应的鱼类概率图。
具体实施方式
下面将结合本发明实施方式,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
现有的基于机器学习/深度学习的鱼类数量监测一般只能适用于水质较好、采集的图像清晰的情况下,但对于用于水质检测分析的鱼类数量监测,当水体浑浊或水下环境发生变化时这类方法的准确率明显下降,漏检或重复计数时有发生,导致鱼类数量估算不准确,而且鱼类的洄游跟踪也是水质分析的重要一环,现有的鱼类数量监测很少设计轨迹跟踪。本发明提出了一种鱼类数量监测、洄游跟踪的方法及***,可以准确的进行鱼类数量检测和洄游跟踪,提高计算效率。
本发明提出一种鱼类数量监测、洄游跟踪的方法,采用深度学习模型与高斯混合模型相结合的检测框架,图1为本发明的检测框架示意图,所述方法包括:
S1、采集水下鱼类图像并进行样本标注,构建数据集。
采集一系列水下鱼类图像并进行标注,如图2所示为鱼类样本标注示意图,其中鱼的四周的四个圆点为标注框的四个角点,标注出鱼类样本和负样本后,构建数据集。可将数据集分为训练集、验证集和测试集,训练集用于训练步骤S2的深度学习模型,验证集和测试集分别用于对训练得到的鱼类检测模型进行验证和测试。
S2、搭建深度学习模型,通过数据集训练深度学习模型,得到鱼类检测模型。
如图3所示为深度学习模型结构示意图,该深度学习模型由32个基础网络串联组成,每个基础网络中包括5个子单元,图2右侧的基础网络中,从上到下的5个Sigmoid(BN(Conv(x)_w[·])单元依次为第一子单元、第二子单元、第三子单元、第四子单元和第五子单元,其中第一子单元、第二子单元、第三子单元、第四子单元依次串联,第二子单元的输出结果与第四子单元的输出结果相加得到第一中间结果,第一子单元的输出结果输入第五子单元得到第二中间结果,将第一中间结果与第二中间结果相加,得到每个基础网络提取的特征图。深度学习模型一种有161层。
第一子单元、第二子单元、第三子单元、第四子单元和第五子单元中,每个子单元均包括依次连接的卷积层Conv(x)、BN层和激活层,BN层表示BatchNorm,激活层采用Sigmoid函数,因此每个子单元均可以用Sigmoid(BN(Conv(x)_w[·])表示,其中w[·]表示卷积层Conv(x)对应的权重向量尺寸,每个子单元的卷积层Conv(x)对应的权重向量尺寸不同。
S3、将连续采集的多帧待测鱼类图像输入鱼类检测模型,预测得到第一鱼类检测框和对应的置信度。
连续采集的待测鱼类图像,通过鱼类检测模型提取第一鱼类检测框。
经过161层后的特征可以表示为:
将第161层的特征分成两个部分:
S4、通过高斯混合模型,计算连续采集的待测鱼类图像中的鱼类概率图,并提取第二鱼类检测框。
由于在水质混浊、水体环境变化等情况下,基于深度学习模型的鱼类检测模型存在漏检情况,本发明通过高斯混合模型,计算待测鱼类图像的鱼类概率图,即通过高斯混合模型进行二次检测,提取第二鱼类检测框。
通过高斯混合模型提取第二鱼类检测框的具体方式如下:
设待测鱼类图像共有m行n列,则,i=1,2,...,m,j=1,2,...,n。
其中,待测鱼类图像共有T+1帧,t=0,1,2,...,T。
本发明根据第前一帧待测鱼类图像对应像素位置的均值更新下一帧待测鱼类图像对应像素位置的均值和方差,从而关联不同时刻的水体背景图像,以适应水下环境的动态变化,并在动态环境下计算鱼类概率图,提高提取剩下的鱼的检测框的准确度。
S5、计算第一鱼类检测框和第二鱼类检测框的总数作为鱼类数量初步统计值,并提取所有鱼类检测框内鱼的深度特征。
初始化鱼的轨迹,分别将第一鱼类检测框和第二鱼类检测框的位置对应到第160层的深度学习模型中,便可以提取对应检测框位置的特征。
S6、比较不同时刻对应的鱼类检测框内鱼的深度特征,跟踪鱼的轨迹,从鱼类数量初步统计值中剔除重复计数的鱼,得到鱼类数量监测值。
设t时刻第s个鱼类检测框中鱼的深度特征向量为,设t-1时刻第r个鱼类检测框中鱼的深度特征向量为/>,其中/>,N'为t-1时刻对应的鱼类检测框总数。计算深度特征向量/>和/>的相似度/>,。当/>时,认为是同一条鱼的轨迹,同一条鱼的轨迹不重复计数,将重复计数的情况从鱼类数量初步统计值中剔除,得到修正后的鱼类数量监测值。
本发明将基于深度学习模型的鱼类检测和基于高斯混合模型的鱼类检测相结合进行鱼类数量监测,通过高斯混合模型计算鱼类概率图,弥补水质浑浊、水体环境变化情况下深度学习模型不能很好地检测出背景中所有鱼类目标的问题,从而避免漏检,同时通过比较不同时刻对应的鱼类检测框内鱼的深度特征以跟踪鱼的轨迹,可以避免重复计数,提高鱼类数量监测的准确度。
S7、根据鱼的轨迹进行鱼类洄游跟踪。
其方向角度为:
本发明通过人工智能算法对比鱼的特征,可以不受环境天气的影响,能准确跟踪鱼的轨迹,避免了重复统计的情况且能同时进行鱼类洄游分析,便于***性的观察鱼的数量和洄游状态,计算准确效率高。
与上述方法实施例相对应,本发明还提出一种鱼类数量监测、洄游跟踪的***,所述***包括:
样本标注模块:用于采集水下鱼类图像并进行样本标注,构建数据集;
第一检测框提取模块:用于搭建深度学习模型,通过数据集训练深度学习模型,得到鱼类检测模型;将连续采集的多帧待测鱼类图像输入鱼类检测模型,预测得到第一鱼类检测框和对应的置信度;
第二检测框提取模块:用于通过高斯混合模型,计算连续采集的待测鱼类图像中的鱼类概率图,并提取第二鱼类检测框;
鱼类数量计算模块:用于计算第一鱼类检测框和第二鱼类检测框的总数作为鱼类数量初步统计值,并提取所有鱼类检测框内鱼的深度特征;比较不同时刻对应的鱼类检测框内鱼的深度特征,跟踪鱼的轨迹,从鱼类数量初步统计值中剔除重复计数的鱼,得到鱼类数量监测值;
鱼类洄游跟踪模块:用于根据鱼的轨迹进行鱼类洄游跟踪。
以上***实施例和方法实施例是一一对应的,***实施例简述之处请参阅方法实施例即可。
本发明还公开一种电子设备,包括:至少一个处理器、至少一个存储器、通信接口和总线;其中,所述处理器、存储器、通信接口通过所述总线完成相互间的通信;所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令,以实现本发明前述的方法。
本发明还公开一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机实现本发明实施例所述方法的全部或部分步骤。所述存储介质包括:U盘、移动硬盘、只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的***实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以分布到多个网络单元上。本领域普通技术人员在不付出创造性的劳动的情况下,可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
以上所述仅为本发明的较佳实施方式而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种鱼类数量监测、洄游跟踪的方法,其特征在于,所述方法包括:
搭建深度学习模型,通过水下鱼类图像数据集训练深度学习模型,得到鱼类检测模型;
将连续采集的多帧待测鱼类图像输入鱼类检测模型,预测得到第一鱼类检测框和对应的置信度;
通过高斯混合模型,计算连续采集的待测鱼类图像中的鱼类概率图,并提取第二鱼类检测框;
计算第一鱼类检测框和第二鱼类检测框的总数作为鱼类数量初步统计值,并提取所有鱼类检测框内鱼的深度特征;
比较不同时刻对应的鱼类检测框内鱼的深度特征,跟踪鱼的轨迹,从鱼类数量初步统计值中剔除重复计数的鱼,得到鱼类数量监测值;
根据鱼的轨迹进行鱼类洄游跟踪。
2.根据权利要求1所述的鱼类数量监测、洄游跟踪的方法,其特征在于,所述深度学习模型由32个基础网络单元串联组成,每个基础网络单元包括依次连接的卷积层、BatchNorm层和激活层。
3.根据权利要求1所述的鱼类数量监测、洄游跟踪的方法,其特征在于,所述通过高斯混合模型,计算连续采集的待测鱼类图像中的鱼类概率图,并提取第二鱼类检测框具体包括:
根据各个像素位置处的像素值得到鱼类概率图,通过对鱼类概率图求连通域提取第二鱼类检测框。
8.一种鱼类数量监测、洄游跟踪的***,其特征在于,所述***包括:
第一检测框提取模块:用于搭建深度学习模型,通过水下鱼类图像数据集训练深度学习模型,得到鱼类检测模型;将连续采集的多帧待测鱼类图像输入鱼类检测模型,预测得到第一鱼类检测框和对应的置信度;
第二检测框提取模块:用于通过高斯混合模型,计算连续采集的待测鱼类图像中的鱼类概率图,并提取第二鱼类检测框;
鱼类数量计算模块:用于计算第一鱼类检测框和第二鱼类检测框的总数作为鱼类数量初步统计值,并提取所有鱼类检测框内鱼的深度特征;比较不同时刻对应的鱼类检测框内鱼的深度特征,跟踪鱼的轨迹,从鱼类数量初步统计值中剔除重复计数的鱼,得到鱼类数量监测值;
鱼类洄游跟踪模块:用于根据鱼的轨迹进行鱼类洄游跟踪。
9.一种电子设备,其特征在于,包括:至少一个处理器、至少一个存储器、通信接口和总线;
其中,所述处理器、存储器、通信接口通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令,以实现如权利要求1~7任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储计算机指令,所述计算机指令使计算机实现如权利要求1~7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310634836.6A CN116363494B (zh) | 2023-05-31 | 2023-05-31 | 一种鱼类数量监测、洄游跟踪的方法和*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310634836.6A CN116363494B (zh) | 2023-05-31 | 2023-05-31 | 一种鱼类数量监测、洄游跟踪的方法和*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116363494A true CN116363494A (zh) | 2023-06-30 |
CN116363494B CN116363494B (zh) | 2023-08-04 |
Family
ID=86924057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310634836.6A Active CN116363494B (zh) | 2023-05-31 | 2023-05-31 | 一种鱼类数量监测、洄游跟踪的方法和*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116363494B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117218161A (zh) * | 2023-11-09 | 2023-12-12 | 聊城市敏锐信息科技有限公司 | 一种鱼缸内鱼类轨迹跟踪方法及*** |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130251197A1 (en) * | 2012-03-21 | 2013-09-26 | Nec (China) Co., Ltd. | Method and a device for objects counting |
CN108038872A (zh) * | 2017-12-22 | 2018-05-15 | 中国海洋大学 | 一种基于动静态目标检测与实时压缩感知追踪研究方法 |
CN108805064A (zh) * | 2018-05-31 | 2018-11-13 | 中国农业大学 | 一种基于深度学习的鱼类定位检测和识别方法及*** |
KR20200060868A (ko) * | 2018-11-23 | 2020-06-02 | 주식회사 월드씨엔에스 | 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템 |
CN112070799A (zh) * | 2020-05-29 | 2020-12-11 | 清华大学 | 基于人工神经网络的鱼类轨迹跟踪方法和*** |
CN112487908A (zh) * | 2020-11-23 | 2021-03-12 | 东南大学 | 基于车载视频的前方车辆压线行为检测和动态追踪方法 |
WO2021114702A1 (zh) * | 2019-12-10 | 2021-06-17 | ***股份有限公司 | 一种目标跟踪方法、装置、***及计算机可读存储介质 |
CN113139620A (zh) * | 2021-05-14 | 2021-07-20 | 重庆理工大学 | 基于目标关联学习的端到端多目标检测与跟踪联合方法 |
WO2021217934A1 (zh) * | 2020-04-28 | 2021-11-04 | 平安国际智慧城市科技股份有限公司 | 监控牲畜数量的方法、装置、计算机设备及存储介质 |
CN113674328A (zh) * | 2021-07-14 | 2021-11-19 | 南京邮电大学 | 一种多目标车辆跟踪方法 |
CN113674306A (zh) * | 2021-07-29 | 2021-11-19 | 杭州宇泛智能科技有限公司 | 基于鱼眼镜头的行人轨迹获取方法、***、装置和介质 |
CN113689459A (zh) * | 2021-07-30 | 2021-11-23 | 南京信息工程大学 | 动态环境下基于gmm结合yolo实时跟踪与建图方法 |
CN113689488A (zh) * | 2021-08-19 | 2021-11-23 | 安徽工大信息技术有限公司 | 一种基于深度学习的近海养殖鱼框个数与面积统计方法 |
CN114202563A (zh) * | 2021-12-15 | 2022-03-18 | 中国农业大学 | 一种基于平衡性联合网络的鱼类多目标跟踪方法 |
CN114782481A (zh) * | 2022-04-19 | 2022-07-22 | 国能大渡河大数据服务有限公司 | 一种基于视觉技术的鱼类游过数目与游向的预测方法 |
CN114782875A (zh) * | 2022-05-18 | 2022-07-22 | 电子科技大学 | 一种基于鱼道构建的鱼类细粒度信息获取方法 |
CN114863323A (zh) * | 2022-04-13 | 2022-08-05 | 中国农业科学院农业信息研究所 | 一种果园实时测产远程监测方法及*** |
CN115424292A (zh) * | 2022-07-29 | 2022-12-02 | 华南农业大学 | 基于改进YOLOX与DeepSORT的鱼群跟踪方法 |
CN115496780A (zh) * | 2022-09-21 | 2022-12-20 | 浙江大学 | 一种鱼类识别计数、测速预警和进出数量统计*** |
-
2023
- 2023-05-31 CN CN202310634836.6A patent/CN116363494B/zh active Active
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130251197A1 (en) * | 2012-03-21 | 2013-09-26 | Nec (China) Co., Ltd. | Method and a device for objects counting |
CN108038872A (zh) * | 2017-12-22 | 2018-05-15 | 中国海洋大学 | 一种基于动静态目标检测与实时压缩感知追踪研究方法 |
CN108805064A (zh) * | 2018-05-31 | 2018-11-13 | 中国农业大学 | 一种基于深度学习的鱼类定位检测和识别方法及*** |
KR20200060868A (ko) * | 2018-11-23 | 2020-06-02 | 주식회사 월드씨엔에스 | 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템 |
WO2021114702A1 (zh) * | 2019-12-10 | 2021-06-17 | ***股份有限公司 | 一种目标跟踪方法、装置、***及计算机可读存储介质 |
WO2021217934A1 (zh) * | 2020-04-28 | 2021-11-04 | 平安国际智慧城市科技股份有限公司 | 监控牲畜数量的方法、装置、计算机设备及存储介质 |
CN112070799A (zh) * | 2020-05-29 | 2020-12-11 | 清华大学 | 基于人工神经网络的鱼类轨迹跟踪方法和*** |
CN112487908A (zh) * | 2020-11-23 | 2021-03-12 | 东南大学 | 基于车载视频的前方车辆压线行为检测和动态追踪方法 |
CN113139620A (zh) * | 2021-05-14 | 2021-07-20 | 重庆理工大学 | 基于目标关联学习的端到端多目标检测与跟踪联合方法 |
CN113674328A (zh) * | 2021-07-14 | 2021-11-19 | 南京邮电大学 | 一种多目标车辆跟踪方法 |
CN113674306A (zh) * | 2021-07-29 | 2021-11-19 | 杭州宇泛智能科技有限公司 | 基于鱼眼镜头的行人轨迹获取方法、***、装置和介质 |
CN113689459A (zh) * | 2021-07-30 | 2021-11-23 | 南京信息工程大学 | 动态环境下基于gmm结合yolo实时跟踪与建图方法 |
CN113689488A (zh) * | 2021-08-19 | 2021-11-23 | 安徽工大信息技术有限公司 | 一种基于深度学习的近海养殖鱼框个数与面积统计方法 |
CN114202563A (zh) * | 2021-12-15 | 2022-03-18 | 中国农业大学 | 一种基于平衡性联合网络的鱼类多目标跟踪方法 |
CN114863323A (zh) * | 2022-04-13 | 2022-08-05 | 中国农业科学院农业信息研究所 | 一种果园实时测产远程监测方法及*** |
CN114782481A (zh) * | 2022-04-19 | 2022-07-22 | 国能大渡河大数据服务有限公司 | 一种基于视觉技术的鱼类游过数目与游向的预测方法 |
CN114782875A (zh) * | 2022-05-18 | 2022-07-22 | 电子科技大学 | 一种基于鱼道构建的鱼类细粒度信息获取方法 |
CN115424292A (zh) * | 2022-07-29 | 2022-12-02 | 华南农业大学 | 基于改进YOLOX与DeepSORT的鱼群跟踪方法 |
CN115496780A (zh) * | 2022-09-21 | 2022-12-20 | 浙江大学 | 一种鱼类识别计数、测速预警和进出数量统计*** |
Non-Patent Citations (6)
Title |
---|
AHSAN JALAL 等: "Fish detection and species classification in underwater environments using deep learning with temporal information", 《ECOLOGICAL INFORMATICS》, pages 1 - 13 * |
PEISHENG QIAN 等: "Multi-Target Deep Learning for Algal Detection and Classification", 《ARXIV:2005.03232V1 [ CS.CV]》, pages 1 - 4 * |
QIWEI PENG 等: "Pedestrian Detection for Transformer Substation Based on Gaussian Mixture Model and YOLO", 《2016 8TH INTERNATIONAL CONFERENCE ON INTELLIGENT HUMAN-MACHINE SYSTEMS AND CYBERNETICS (IHMSC)》, pages 1 - 4 * |
李俊毅 等: "基于YOLO和GMM的视频行人检测方法", 《中国电子科学研究院学报》, vol. 14, no. 03, pages 265 - 271 * |
田青;齐自强;高国飞;刘婧怡;: "基于改进的YOLO与GMM相结合的地铁行人检测算法", 工业控制计算机, no. 04, pages 49 - 55 * |
袁永明;施;: "基于图像处理的鱼群运动监测方法研究", 南方水产科学, no. 05, pages 111 - 116 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117218161A (zh) * | 2023-11-09 | 2023-12-12 | 聊城市敏锐信息科技有限公司 | 一种鱼缸内鱼类轨迹跟踪方法及*** |
CN117218161B (zh) * | 2023-11-09 | 2024-01-16 | 聊城市敏锐信息科技有限公司 | 一种鱼缸内鱼类轨迹跟踪方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN116363494B (zh) | 2023-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104766320B (zh) | 阈值化量测下的多伯努利滤波弱目标检测与跟踪方法 | |
CN108960086A (zh) | 基于生成对抗网络正样本增强的多姿态人体目标跟踪方法 | |
CN112818969B (zh) | 一种基于知识蒸馏的人脸姿态估计方法及*** | |
CN107203781A (zh) | 一种基于显著性指导的端到端的弱监督目标检测方法 | |
CN116363494B (zh) | 一种鱼类数量监测、洄游跟踪的方法和*** | |
Braakmann-Folgmann et al. | Sea level anomaly prediction using recurrent neural networks | |
CN110889343A (zh) | 基于注意力型深度神经网络的人群密度估计方法及装置 | |
CN109376589A (zh) | 基于卷积核筛选ssd网络的rov形变目标与小目标识别方法 | |
CN113298023B (zh) | 一种基于深度学习及图像技术的昆虫动态行为识别方法 | |
CN111141653B (zh) | 一种基于神经网络的隧道渗漏速率预测方法 | |
CN112765908B (zh) | 一种基于图像序列分析的燃气涡轮发动机燃烧室稳定性分析方法 | |
CN113610046B (zh) | 一种基于深度视频联动特征的行为识别方法 | |
CN115512215A (zh) | 水下生物监测方法、装置及存储介质 | |
CN114663769A (zh) | 一种基于YOLO v5的水果识别方法 | |
CN117576616A (zh) | 一种基于深度学习的鱼类游泳行为预警方法、***及装置 | |
CN116434066B (zh) | 基于深度学习的大豆豆荚考种方法、***及装置 | |
CN112699824A (zh) | 电能表仪表常数检测方法、设备及存储介质 | |
CN109034033B (zh) | 一种基于改进vgg16卷积网络的排烟视频检测方法 | |
CN116704606A (zh) | 一种理化实验操作行为识别方法、***、装置及存储介质 | |
CN112085779B (zh) | 一种波浪参数估算方法及装置 | |
CN113628182B (zh) | 鱼类重量自动估计方法、装置、电子设备及存储介质 | |
CN114022831A (zh) | 一种基于双目视觉的牲畜体况监测方法及*** | |
CN111507185A (zh) | 一种基于堆叠空洞卷积网络的摔倒检测方法 | |
CN112215107A (zh) | 一种猪的行为识别方法及装置、电子设备和存储介质 | |
CN110610173A (zh) | 基于Mobilenet的羽毛球动作分析***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |