CN116363494A - 一种鱼类数量监测、洄游跟踪的方法和*** - Google Patents

一种鱼类数量监测、洄游跟踪的方法和*** Download PDF

Info

Publication number
CN116363494A
CN116363494A CN202310634836.6A CN202310634836A CN116363494A CN 116363494 A CN116363494 A CN 116363494A CN 202310634836 A CN202310634836 A CN 202310634836A CN 116363494 A CN116363494 A CN 116363494A
Authority
CN
China
Prior art keywords
fish
tracking
frame
detection
migration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310634836.6A
Other languages
English (en)
Other versions
CN116363494B (zh
Inventor
刘浩兵
周明
江鹏
程和煦
黄金
徐珏
金靖芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruike Environmental Technology China Co ltd
Original Assignee
Ruike Environmental Technology China Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruike Environmental Technology China Co ltd filed Critical Ruike Environmental Technology China Co ltd
Priority to CN202310634836.6A priority Critical patent/CN116363494B/zh
Publication of CN116363494A publication Critical patent/CN116363494A/zh
Application granted granted Critical
Publication of CN116363494B publication Critical patent/CN116363494B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/05—Underwater scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种鱼类数量监测、洄游跟踪的方法和***，所述方法包括：通过水下鱼类图像数据集训练深度学习模型，得到鱼类检测模型；通过鱼类检测模型预测得到第一鱼类检测框和对应的置信度；通过高斯混合模型，计算连续采集的待测鱼类图像中的鱼类概率图，并提取第二鱼类检测框；计算第一鱼类检测框和第二鱼类检测框的总数作为鱼类数量初步统计值；比较不同时刻对应的鱼类检测框内鱼的深度特征，跟踪鱼的轨迹，剔除重复计数的鱼，得到鱼类数量监测值；根据鱼的轨迹进行鱼类洄游跟踪。本发明将基于深度学习模型和高斯混合模型相结合鱼类数量监测和轨迹跟踪，可以避免漏检和重复计数，提高鱼类数量监测的准确度。

Description

一种鱼类数量监测、洄游跟踪的方法和***
技术领域
本发明属于生态环境检测技术领域，具体涉及一种鱼类数量监测、洄游跟踪的方法和***。
背景技术
在水生态环境检测中，鱼类的检测是评价生态变化的重要指标，鱼类数量、洄游的情况跟水质密切相关。环境工作者需要根据这些指标分析水质情况，了解环境变化带来的影响，还可以科学的制定生态捕捞方案。目前鱼类检测主要有两种方式1.局部水域幼苗采用，通过采样局部水域幼苗的数量，估算出总体鱼的数量；2.局部水域观察，通过人眼观察鱼的数量，估算出总体鱼的数量。以上方法主观性太强，存在重复统计的情况，外界环境的变化也会对监测数量产生较大影响，而且需要人工参与，效率比较低。
现有技术中也出现一些利用图像处理的手段进行鱼类数量估计的方案，比如申请号为CN114255203A的专利公开了一种鱼苗数量估计方法及***，其通过光学相机和摄像机等图像采集设备，采集待识别的鱼苗的多幅图像，对鱼苗图像进行热力图处理，并通过神经网络模型预测鱼类数量。但是种类方案一般只适用于水体清澈、采集的鱼苗图像较清晰的场景，而在普通的水质分析场景下，水下环境复杂，往往水体浑浊、采集的图像质量不高，而且鱼类来回游动，容易漏检或重复计数，很难准确进行数量估计。
因此，需要一种鱼类计数更准确的鱼类数量监测、洄游跟踪的方法。
发明内容
有鉴于此，本发明提出了一种鱼类数量监测、洄游跟踪的方法和***，用于解决水体浑浊情况下鱼类数量估计准确度不高的问题。
本发明第一面，公开一种鱼类数量监测、洄游跟踪的方法，所述方法包括：
搭建深度学习模型，通过水下鱼类图像数据集训练深度学习模型，得到鱼类检测模型；
将连续采集的多帧待测鱼类图像输入鱼类检测模型，预测得到第一鱼类检测框和对应的置信度；
通过高斯混合模型，计算连续采集的待测鱼类图像中的鱼类概率图，并提取第二鱼类检测框；
计算第一鱼类检测框和第二鱼类检测框的总数作为鱼类数量初步统计值，并提取所有鱼类检测框内鱼的深度特征；
比较不同时刻对应的鱼类检测框内鱼的深度特征，跟踪鱼的轨迹，从鱼类数量初步统计值中剔除重复计数的鱼，得到鱼类数量监测值；
根据鱼的轨迹进行鱼类洄游跟踪。
在以上技术方案的基础上，优选的，所述深度学习模型由32个基础网络单元串联组成，每个基础网络单元包括依次连接的卷积层、BatchNorm层和激活层。
在以上技术方案的基础上，优选的，所述通过高斯混合模型，计算连续采集的待测鱼类图像中的鱼类概率图，并提取第二鱼类检测框具体包括：
设t代表第t帧待测鱼类图像，
Figure SMS_1
为第t帧待测鱼类图像中第i行、第j列的像素位置的像素值；
初始化每个像素位置(i,j)处的像素值
Figure SMS_2
的像素均值/>
Figure SMS_3
和方差/>
Figure SMS_4
；
对于第t帧待测鱼类图像，根据第t-1帧待测鱼类图像的均值和方差计算各个像素位置为前景的概率
Figure SMS_5
；
当
Figure SMS_6
时，根据第t-1帧待测鱼类图像像素位置(i,j)处的像素均值/>
Figure SMS_7
更新第t帧待测鱼类图像像素位置(i,j)处的像素均值/>
Figure SMS_8
和方差/>
Figure SMS_9
；
根据第t帧待测鱼类图像的像素位置(i,j)处的像素均值
Figure SMS_10
和方差/>
Figure SMS_11
重新计算各个像素位置为前景的概率/>
Figure SMS_12
；
根据重新计算的各个像素位置为前景的概率
Figure SMS_13
更新对应像素位置(i,j)的像素值：
Figure SMS_14
其中，
Figure SMS_15
为像素位置(i,j)处的像素值；
根据各个像素位置处的像素值得到鱼类概率图，通过求连通域提取第二鱼类检测框。
在以上技术方案的基础上，优选的，通过正态分布计算各个像素位置为前景的概率
Figure SMS_16
。
在以上技术方案的基础上，优选的，所述根据第t-1帧待测鱼类图像像素位置(i,j)处的像素均值
Figure SMS_17
更新第t帧待测鱼类图像像素位置(i,j)处的像素均值/>
Figure SMS_18
和方差/>
Figure SMS_19
的公式为：
Figure SMS_20
其中，
Figure SMS_21
为第t-1帧待测鱼类图像中像素位置(i,j)处的像素均值，/>
Figure SMS_22
、/>
Figure SMS_23
分别为第t帧待测鱼类图像中像素位置(i,j)处的像素均值和方差。
在以上技术方案的基础上，优选的，所述比较不同时刻对应的鱼类检测框内鱼的深度特征，跟踪鱼的轨迹具体包括：
设t时刻第s个鱼类检测框中鱼的深度特征向量为
Figure SMS_24
，设t-1时刻第r个鱼类检测框中鱼的深度特征向量为/>
Figure SMS_25
，其中/>
Figure SMS_26
，N'为t-1时刻对应的鱼类检测框总数；
当
Figure SMS_27
时，认为是同一条鱼的轨迹，同一条鱼的轨迹不重复计数，其中/>
Figure SMS_28
。
在以上技术方案的基础上，优选的，所述根据鱼的轨迹进行鱼类洄游跟踪具体包括：
设
Figure SMS_29
为第s条鱼前t个时刻的轨迹向量，则t时刻的轨迹向量表示为：
Figure SMS_30
其方向角度为：
Figure SMS_31
其中，
Figure SMS_32
分别为/>
Figure SMS_33
在横轴x上的分量和在纵轴y上的分量；
当
Figure SMS_34
为正向洄游，/>
Figure SMS_35
为逆向洄游。
本发明第二方面，公开一种鱼类数量监测、洄游跟踪的***，所述***包括：
第一检测框提取模块：用于搭建深度学习模型，通过水下鱼类图像数据集训练深度学习模型，得到鱼类检测模型；将连续采集的多帧待测鱼类图像输入鱼类检测模型，预测得到第一鱼类检测框和对应的置信度；
第二检测框提取模块：用于通过高斯混合模型，计算连续采集的待测鱼类图像中的鱼类概率图，并提取第二鱼类检测框；
鱼类数量计算模块：用于计算第一鱼类检测框和第二鱼类检测框的总数作为鱼类数量初步统计值，并提取所有鱼类检测框内鱼的深度特征；比较不同时刻对应的鱼类检测框内鱼的深度特征，跟踪鱼的轨迹，从鱼类数量初步统计值中剔除重复计数的鱼，得到鱼类数量监测值；
鱼类洄游跟踪模块：用于根据鱼的轨迹进行鱼类洄游跟踪。
本发明第三方面，公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；
其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现如本发明第一方面所述的方法。
本发明第四方面，公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使计算机实现如本发明第一方面所述的方法。
本发明相对于现有技术具有以下有益效果：
1）本发明将基于深度学习模型的鱼类检测和基于高斯混合模型的鱼类检测相结合进行鱼类数量监测，通过高斯混合模型计算鱼类概率图，弥补水质浑浊情况下深度学习模型不能很好地检测出背景中所有鱼类目标的问题，从而避免漏检，同时通过比较不同时刻对应的鱼类检测框内鱼的深度特征以跟踪鱼的轨迹，可以避免重复计数，提高鱼类数量监测的准确度；
2）本发明根据第前一帧待测鱼类图像对应像素位置的均值更新下一帧待测鱼类图像对应像素位置的均值和方差，从而关联不同时刻的水体背景图像，以适应水下环境的动态变化，并在动态环境下计算鱼类概率图，提高提取剩下的鱼的检测框的准确度；
3）本发明可以根据鱼类跟踪判断鱼的洄游方向，且不受环境、天气的影响，可以***性的观察鱼的数量和洄游状态，计算效率较高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的鱼类数量监测、洄游跟踪的方法检测框架示意图；
图2为鱼类样本标注示意图；
图3为深度学习模型结构示意图；
图4为待测鱼类图像的局部截图和对应的鱼类概率图。
具体实施方式
下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
现有的基于机器学习/深度学习的鱼类数量监测一般只能适用于水质较好、采集的图像清晰的情况下，但对于用于水质检测分析的鱼类数量监测，当水体浑浊或水下环境发生变化时这类方法的准确率明显下降，漏检或重复计数时有发生，导致鱼类数量估算不准确，而且鱼类的洄游跟踪也是水质分析的重要一环，现有的鱼类数量监测很少设计轨迹跟踪。本发明提出了一种鱼类数量监测、洄游跟踪的方法及***，可以准确的进行鱼类数量检测和洄游跟踪，提高计算效率。
本发明提出一种鱼类数量监测、洄游跟踪的方法，采用深度学习模型与高斯混合模型相结合的检测框架，图1为本发明的检测框架示意图，所述方法包括：
S1、采集水下鱼类图像并进行样本标注，构建数据集。
采集一系列水下鱼类图像并进行标注，如图2所示为鱼类样本标注示意图，其中鱼的四周的四个圆点为标注框的四个角点，标注出鱼类样本和负样本后，构建数据集。可将数据集分为训练集、验证集和测试集，训练集用于训练步骤S2的深度学习模型，验证集和测试集分别用于对训练得到的鱼类检测模型进行验证和测试。
S2、搭建深度学习模型，通过数据集训练深度学习模型，得到鱼类检测模型。
如图3所示为深度学习模型结构示意图，该深度学习模型由32个基础网络串联组成，每个基础网络中包括5个子单元，图2右侧的基础网络中，从上到下的5个Sigmoid(BN(Conv(x)_w[·])单元依次为第一子单元、第二子单元、第三子单元、第四子单元和第五子单元，其中第一子单元、第二子单元、第三子单元、第四子单元依次串联，第二子单元的输出结果与第四子单元的输出结果相加得到第一中间结果，第一子单元的输出结果输入第五子单元得到第二中间结果，将第一中间结果与第二中间结果相加，得到每个基础网络提取的特征图。深度学习模型一种有161层。
第一子单元、第二子单元、第三子单元、第四子单元和第五子单元中，每个子单元均包括依次连接的卷积层Conv(x)、BN层和激活层，BN层表示BatchNorm，激活层采用Sigmoid函数，因此每个子单元均可以用Sigmoid(BN(Conv(x)_w[·])表示，其中w[·]表示卷积层Conv(x)对应的权重向量尺寸，每个子单元的卷积层Conv(x)对应的权重向量尺寸不同。
S3、将连续采集的多帧待测鱼类图像输入鱼类检测模型，预测得到第一鱼类检测框和对应的置信度。
连续采集的待测鱼类图像，通过鱼类检测模型提取第一鱼类检测框。
设
Figure SMS_36
表示输入层输入的待测鱼类图像矩阵，经过一层卷积层、BN层和激活函数后的特征表示为：
Figure SMS_37
经过161层后的特征可以表示为：
Figure SMS_38
将第161层的特征分成两个部分：
Figure SMS_39
其中/>
Figure SMS_40
表示鱼的置信度，/>
Figure SMS_41
表示鱼的检测框的参数，用于表征第一鱼类检测框在待测鱼类图像中的位置。
S4、通过高斯混合模型，计算连续采集的待测鱼类图像中的鱼类概率图，并提取第二鱼类检测框。
由于在水质混浊、水体环境变化等情况下，基于深度学习模型的鱼类检测模型存在漏检情况，本发明通过高斯混合模型，计算待测鱼类图像的鱼类概率图，即通过高斯混合模型进行二次检测，提取第二鱼类检测框。
通过高斯混合模型提取第二鱼类检测框的具体方式如下：
S41、设t代表第t帧待测鱼类图像，
Figure SMS_42
为第t帧待测鱼类图像中第i行、第j列的像素位置(i,j)处的像素值。
设待测鱼类图像共有m行n列，则，i=1,2,...,m，j=1,2,...,n。
S42、初始化每个像素位置(i,j)处的像素值
Figure SMS_43
的像素均值/>
Figure SMS_44
和方差/>
Figure SMS_45
：
Figure SMS_46
其中，待测鱼类图像共有T+1帧，t=0,1,2,...,T。
S43、对于第t帧待测鱼类图像，根据第t-1帧待测鱼类图像的均值和方差计算各个像素位置为前景的概率
Figure SMS_47
：
Figure SMS_48
其中，
Figure SMS_49
表示正态分布，/>
Figure SMS_50
分别为第t-1帧待测鱼类图像在像素位置(i,j)处的像素均值和方差。
S44、当
Figure SMS_51
时，根据第t-1帧待测鱼类图像像素位置(i,j)处的像素均值/>
Figure SMS_52
更新第t帧待测鱼类图像像素位置(i,j)处的像素均值/>
Figure SMS_53
和方差/>
Figure SMS_54
；
Figure SMS_55
其中，
Figure SMS_56
为第t-1帧待测鱼类图像中像素位置(i,j)处的像素均值，/>
Figure SMS_57
、/>
Figure SMS_58
分别为第t帧待测鱼类图像中像素位置(i,j)处的像素均值和方差。
S45、根据第t帧待测鱼类图像的像素位置(i,j)处的像素均值
Figure SMS_59
和方差/>
Figure SMS_60
重新计算各个像素位置为前景的概率/>
Figure SMS_61
。
基于第t帧待测鱼类图像的像素位置(i,j)处的像素均值
Figure SMS_62
和方差/>
Figure SMS_63
，同样基于正态分布计算各个像素位置(i,j)为前景的概率/>
Figure SMS_64
。
根据重新计算的各个像素位置为前景的概率
Figure SMS_65
更新对应像素位置(i,j)的像素值：
Figure SMS_66
其中，
Figure SMS_67
为像素位置(i,j)处的像素值。
根据各个像素位置处的像素值得到鱼类概率图，如图4所示为待测鱼类图像的局部截图和对应的鱼类概率图，通过求连通域提取第二鱼类检测框
Figure SMS_68
，其中，/>
Figure SMS_69
的连通域代表鱼类目标，否则为背景图像。
本发明根据第前一帧待测鱼类图像对应像素位置的均值更新下一帧待测鱼类图像对应像素位置的均值和方差，从而关联不同时刻的水体背景图像，以适应水下环境的动态变化，并在动态环境下计算鱼类概率图，提高提取剩下的鱼的检测框的准确度。
S5、计算第一鱼类检测框和第二鱼类检测框的总数作为鱼类数量初步统计值，并提取所有鱼类检测框内鱼的深度特征。
具体的，提取检测到的所有检测框
Figure SMS_70
，计算第一鱼类检测框和第二鱼类检测框的总数N作为鱼类数量初步统计值。
初始化鱼的轨迹，分别将第一鱼类检测框和第二鱼类检测框的位置对应到第160层的深度学习模型中，便可以提取对应检测框位置的特征。
S6、比较不同时刻对应的鱼类检测框内鱼的深度特征，跟踪鱼的轨迹，从鱼类数量初步统计值中剔除重复计数的鱼，得到鱼类数量监测值。
设t时刻第s个鱼类检测框中鱼的深度特征向量为
Figure SMS_72
，设t-1时刻第r个鱼类检测框中鱼的深度特征向量为/>
Figure SMS_73
，其中/>
Figure SMS_74
，N'为t-1时刻对应的鱼类检测框总数。计算深度特征向量/>
Figure SMS_75
和/>
Figure SMS_76
的相似度/>
Figure SMS_77
，
Figure SMS_78
。当/>
Figure SMS_71
时，认为是同一条鱼的轨迹，同一条鱼的轨迹不重复计数，将重复计数的情况从鱼类数量初步统计值中剔除，得到修正后的鱼类数量监测值。
本发明将基于深度学习模型的鱼类检测和基于高斯混合模型的鱼类检测相结合进行鱼类数量监测，通过高斯混合模型计算鱼类概率图，弥补水质浑浊、水体环境变化情况下深度学习模型不能很好地检测出背景中所有鱼类目标的问题，从而避免漏检，同时通过比较不同时刻对应的鱼类检测框内鱼的深度特征以跟踪鱼的轨迹，可以避免重复计数，提高鱼类数量监测的准确度。
S7、根据鱼的轨迹进行鱼类洄游跟踪。
设
Figure SMS_79
为第s条鱼前t个时刻的轨迹向量，则其t时刻的轨迹向量表示为：
Figure SMS_80
其方向角度为：
Figure SMS_81
其中，
Figure SMS_82
分别为/>
Figure SMS_83
在鱼类轨迹坐标系o-xy的横轴x上的分量、在纵轴y上的分量；
当
Figure SMS_84
为正向洄游，/>
Figure SMS_85
为逆向洄游。
本发明通过人工智能算法对比鱼的特征，可以不受环境天气的影响，能准确跟踪鱼的轨迹，避免了重复统计的情况且能同时进行鱼类洄游分析，便于***性的观察鱼的数量和洄游状态，计算准确效率高。
与上述方法实施例相对应，本发明还提出一种鱼类数量监测、洄游跟踪的***，所述***包括：
样本标注模块：用于采集水下鱼类图像并进行样本标注，构建数据集；
第一检测框提取模块：用于搭建深度学习模型，通过数据集训练深度学习模型，得到鱼类检测模型；将连续采集的多帧待测鱼类图像输入鱼类检测模型，预测得到第一鱼类检测框和对应的置信度；
第二检测框提取模块：用于通过高斯混合模型，计算连续采集的待测鱼类图像中的鱼类概率图，并提取第二鱼类检测框；
鱼类数量计算模块：用于计算第一鱼类检测框和第二鱼类检测框的总数作为鱼类数量初步统计值，并提取所有鱼类检测框内鱼的深度特征；比较不同时刻对应的鱼类检测框内鱼的深度特征，跟踪鱼的轨迹，从鱼类数量初步统计值中剔除重复计数的鱼，得到鱼类数量监测值；
鱼类洄游跟踪模块：用于根据鱼的轨迹进行鱼类洄游跟踪。
以上***实施例和方法实施例是一一对应的，***实施例简述之处请参阅方法实施例即可。
本发明还公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现本发明前述的方法。
本发明还公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明实施例所述方法的全部或部分步骤。所述存储介质包括：U盘、移动硬盘、只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的***实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以分布到多个网络单元上。本领域普通技术人员在不付出创造性的劳动的情况下，可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种鱼类数量监测、洄游跟踪的方法，其特征在于，所述方法包括：
搭建深度学习模型，通过水下鱼类图像数据集训练深度学习模型，得到鱼类检测模型；
将连续采集的多帧待测鱼类图像输入鱼类检测模型，预测得到第一鱼类检测框和对应的置信度；
通过高斯混合模型，计算连续采集的待测鱼类图像中的鱼类概率图，并提取第二鱼类检测框；
计算第一鱼类检测框和第二鱼类检测框的总数作为鱼类数量初步统计值，并提取所有鱼类检测框内鱼的深度特征；
比较不同时刻对应的鱼类检测框内鱼的深度特征，跟踪鱼的轨迹，从鱼类数量初步统计值中剔除重复计数的鱼，得到鱼类数量监测值；
根据鱼的轨迹进行鱼类洄游跟踪。
2.根据权利要求1所述的鱼类数量监测、洄游跟踪的方法，其特征在于，所述深度学习模型由32个基础网络单元串联组成，每个基础网络单元包括依次连接的卷积层、BatchNorm层和激活层。
3.根据权利要求1所述的鱼类数量监测、洄游跟踪的方法，其特征在于，所述通过高斯混合模型，计算连续采集的待测鱼类图像中的鱼类概率图，并提取第二鱼类检测框具体包括：
设t代表第t帧待测鱼类图像，
Figure QLYQS_1
为第t帧待测鱼类图像中第i行、第j列的像素位置的像素值；
初始化每个像素位置(i, j)处的像素值
Figure QLYQS_2
的像素均值/>
Figure QLYQS_3
和方差/>
Figure QLYQS_4
；
对于第t帧待测鱼类图像，根据第t-1帧待测鱼类图像的均值和方差计算各个像素位置为前景的概率
Figure QLYQS_5
；
当
Figure QLYQS_6
时，根据第t-1帧待测鱼类图像像素位置(i, j)处的像素均值/>
Figure QLYQS_7
更新第t帧待测鱼类图像像素位置(i, j)处的像素均值/>
Figure QLYQS_8
和方差/>
Figure QLYQS_9
；
根据第t帧待测鱼类图像的像素位置(i, j)处的像素均值
Figure QLYQS_10
和方差/>
Figure QLYQS_11
重新计算各个像素位置为前景的概率/>
Figure QLYQS_12
；
根据重新计算的各个像素位置为前景的概率
Figure QLYQS_13
更新对应像素位置(i, j)的像素值：
Figure QLYQS_14
；
其中，
Figure QLYQS_15
为像素位置(i, j)处的像素值；
根据各个像素位置处的像素值得到鱼类概率图，通过对鱼类概率图求连通域提取第二鱼类检测框。
4.根据权利要求3所述的鱼类数量监测、洄游跟踪的方法，其特征在于，通过正态分布计算各个像素位置为前景的概率
Figure QLYQS_16
。
5.根据权利要求4所述的鱼类数量监测、洄游跟踪的方法，其特征在于，所述当
Figure QLYQS_17
时，根据第t-1帧待测鱼类图像像素位置(i, j)处的像素均值/>
Figure QLYQS_18
更新第t帧待测鱼类图像像素位置(i, j)处的像素均值/>
Figure QLYQS_19
和方差/>
Figure QLYQS_20
的公式为：
Figure QLYQS_21
；
其中，
Figure QLYQS_22
为第t-1帧待测鱼类图像中像素位置(i, j)处的像素均值，/>
Figure QLYQS_23
、/>
Figure QLYQS_24
分别为第t帧待测鱼类图像中像素位置(i, j)处的像素均值和方差。
6.根据权利要求4所述的鱼类数量监测、洄游跟踪的方法，其特征在于，所述比较不同时刻对应的鱼类检测框内鱼的深度特征，跟踪鱼的轨迹具体包括：
设t时刻第s个鱼类检测框中鱼的深度特征向量为
Figure QLYQS_25
，设t-1时刻第r个鱼类检测框中鱼的深度特征向量为/>
Figure QLYQS_26
，其中/>
Figure QLYQS_27
，N'为t-1时刻对应的鱼类检测框总数；
当
Figure QLYQS_28
时，认为是同一条鱼的轨迹，同一条鱼的轨迹不重复计数，其中/>
Figure QLYQS_29
。
7.根据权利要求6所述的鱼类数量监测、洄游跟踪的方法，其特征在于，所述根据鱼的轨迹进行鱼类洄游跟踪具体包括：
设
Figure QLYQS_30
为第s条鱼前t个时刻的轨迹向量，则t时刻的轨迹向量表示为：
Figure QLYQS_31
；
其方向角度为：
Figure QLYQS_32
；
其中，
Figure QLYQS_33
分别为/>
Figure QLYQS_34
在鱼类轨迹坐标系o-xy的横轴x上的分量、在纵轴y上的分量；
当
Figure QLYQS_35
为正向洄游，/>
Figure QLYQS_36
为逆向洄游。
8.一种鱼类数量监测、洄游跟踪的***，其特征在于，所述***包括：
第一检测框提取模块：用于搭建深度学习模型，通过水下鱼类图像数据集训练深度学习模型，得到鱼类检测模型；将连续采集的多帧待测鱼类图像输入鱼类检测模型，预测得到第一鱼类检测框和对应的置信度；
第二检测框提取模块：用于通过高斯混合模型，计算连续采集的待测鱼类图像中的鱼类概率图，并提取第二鱼类检测框；
鱼类数量计算模块：用于计算第一鱼类检测框和第二鱼类检测框的总数作为鱼类数量初步统计值，并提取所有鱼类检测框内鱼的深度特征；比较不同时刻对应的鱼类检测框内鱼的深度特征，跟踪鱼的轨迹，从鱼类数量初步统计值中剔除重复计数的鱼，得到鱼类数量监测值；
鱼类洄游跟踪模块：用于根据鱼的轨迹进行鱼类洄游跟踪。
9.一种电子设备，其特征在于，包括：至少一个处理器、至少一个存储器、通信接口和总线；
其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现如权利要求1~7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令使计算机实现如权利要求1~7任一项所述的方法。
CN202310634836.6A 2023-05-31 2023-05-31 一种鱼类数量监测、洄游跟踪的方法和*** Active CN116363494B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310634836.6A CN116363494B (zh) 2023-05-31 2023-05-31 一种鱼类数量监测、洄游跟踪的方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310634836.6A CN116363494B (zh) 2023-05-31 2023-05-31 一种鱼类数量监测、洄游跟踪的方法和***

Publications (2)

Publication Number Publication Date
CN116363494A true CN116363494A (zh) 2023-06-30
CN116363494B CN116363494B (zh) 2023-08-04

Family

ID=86924057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310634836.6A Active CN116363494B (zh) 2023-05-31 2023-05-31 一种鱼类数量监测、洄游跟踪的方法和***

Country Status (1)

Country Link
CN (1) CN116363494B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218161A (zh) * 2023-11-09 2023-12-12 聊城市敏锐信息科技有限公司 一种鱼缸内鱼类轨迹跟踪方法及***

Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130251197A1 (en) * 2012-03-21 2013-09-26 Nec (China) Co., Ltd. Method and a device for objects counting
CN108038872A (zh) * 2017-12-22 2018-05-15 中国海洋大学 一种基于动静态目标检测与实时压缩感知追踪研究方法
CN108805064A (zh) * 2018-05-31 2018-11-13 中国农业大学 一种基于深度学习的鱼类定位检测和识别方法及***
KR20200060868A (ko) * 2018-11-23 2020-06-02 주식회사 월드씨엔에스 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템
CN112070799A (zh) * 2020-05-29 2020-12-11 清华大学 基于人工神经网络的鱼类轨迹跟踪方法和***
CN112487908A (zh) * 2020-11-23 2021-03-12 东南大学 基于车载视频的前方车辆压线行为检测和动态追踪方法
WO2021114702A1 (zh) * 2019-12-10 2021-06-17 ***股份有限公司 一种目标跟踪方法、装置、***及计算机可读存储介质
CN113139620A (zh) * 2021-05-14 2021-07-20 重庆理工大学 基于目标关联学习的端到端多目标检测与跟踪联合方法
WO2021217934A1 (zh) * 2020-04-28 2021-11-04 平安国际智慧城市科技股份有限公司 监控牲畜数量的方法、装置、计算机设备及存储介质
CN113674328A (zh) * 2021-07-14 2021-11-19 南京邮电大学 一种多目标车辆跟踪方法
CN113674306A (zh) * 2021-07-29 2021-11-19 杭州宇泛智能科技有限公司 基于鱼眼镜头的行人轨迹获取方法、***、装置和介质
CN113689459A (zh) * 2021-07-30 2021-11-23 南京信息工程大学 动态环境下基于gmm结合yolo实时跟踪与建图方法
CN113689488A (zh) * 2021-08-19 2021-11-23 安徽工大信息技术有限公司 一种基于深度学习的近海养殖鱼框个数与面积统计方法
CN114202563A (zh) * 2021-12-15 2022-03-18 中国农业大学 一种基于平衡性联合网络的鱼类多目标跟踪方法
CN114782481A (zh) * 2022-04-19 2022-07-22 国能大渡河大数据服务有限公司 一种基于视觉技术的鱼类游过数目与游向的预测方法
CN114782875A (zh) * 2022-05-18 2022-07-22 电子科技大学 一种基于鱼道构建的鱼类细粒度信息获取方法
CN114863323A (zh) * 2022-04-13 2022-08-05 中国农业科学院农业信息研究所 一种果园实时测产远程监测方法及***
CN115424292A (zh) * 2022-07-29 2022-12-02 华南农业大学 基于改进YOLOX与DeepSORT的鱼群跟踪方法
CN115496780A (zh) * 2022-09-21 2022-12-20 浙江大学 一种鱼类识别计数、测速预警和进出数量统计***

Patent Citations (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130251197A1 (en) * 2012-03-21 2013-09-26 Nec (China) Co., Ltd. Method and a device for objects counting
CN108038872A (zh) * 2017-12-22 2018-05-15 中国海洋大学 一种基于动静态目标检测与实时压缩感知追踪研究方法
CN108805064A (zh) * 2018-05-31 2018-11-13 中国农业大学 一种基于深度学习的鱼类定位检测和识别方法及***
KR20200060868A (ko) * 2018-11-23 2020-06-02 주식회사 월드씨엔에스 객체 탐지 및 자동 추적이 가능한 다시점 영상 감시 시스템
WO2021114702A1 (zh) * 2019-12-10 2021-06-17 ***股份有限公司 一种目标跟踪方法、装置、***及计算机可读存储介质
WO2021217934A1 (zh) * 2020-04-28 2021-11-04 平安国际智慧城市科技股份有限公司 监控牲畜数量的方法、装置、计算机设备及存储介质
CN112070799A (zh) * 2020-05-29 2020-12-11 清华大学 基于人工神经网络的鱼类轨迹跟踪方法和***
CN112487908A (zh) * 2020-11-23 2021-03-12 东南大学 基于车载视频的前方车辆压线行为检测和动态追踪方法
CN113139620A (zh) * 2021-05-14 2021-07-20 重庆理工大学 基于目标关联学习的端到端多目标检测与跟踪联合方法
CN113674328A (zh) * 2021-07-14 2021-11-19 南京邮电大学 一种多目标车辆跟踪方法
CN113674306A (zh) * 2021-07-29 2021-11-19 杭州宇泛智能科技有限公司 基于鱼眼镜头的行人轨迹获取方法、***、装置和介质
CN113689459A (zh) * 2021-07-30 2021-11-23 南京信息工程大学 动态环境下基于gmm结合yolo实时跟踪与建图方法
CN113689488A (zh) * 2021-08-19 2021-11-23 安徽工大信息技术有限公司 一种基于深度学习的近海养殖鱼框个数与面积统计方法
CN114202563A (zh) * 2021-12-15 2022-03-18 中国农业大学 一种基于平衡性联合网络的鱼类多目标跟踪方法
CN114863323A (zh) * 2022-04-13 2022-08-05 中国农业科学院农业信息研究所 一种果园实时测产远程监测方法及***
CN114782481A (zh) * 2022-04-19 2022-07-22 国能大渡河大数据服务有限公司 一种基于视觉技术的鱼类游过数目与游向的预测方法
CN114782875A (zh) * 2022-05-18 2022-07-22 电子科技大学 一种基于鱼道构建的鱼类细粒度信息获取方法
CN115424292A (zh) * 2022-07-29 2022-12-02 华南农业大学 基于改进YOLOX与DeepSORT的鱼群跟踪方法
CN115496780A (zh) * 2022-09-21 2022-12-20 浙江大学 一种鱼类识别计数、测速预警和进出数量统计***

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
AHSAN JALAL 等: "Fish detection and species classification in underwater environments using deep learning with temporal information", 《ECOLOGICAL INFORMATICS》, pages 1 - 13 *
PEISHENG QIAN 等: "Multi-Target Deep Learning for Algal Detection and Classification", 《ARXIV:2005.03232V1 [ CS.CV]》, pages 1 - 4 *
QIWEI PENG 等: "Pedestrian Detection for Transformer Substation Based on Gaussian Mixture Model and YOLO", 《2016 8TH INTERNATIONAL CONFERENCE ON INTELLIGENT HUMAN-MACHINE SYSTEMS AND CYBERNETICS (IHMSC)》, pages 1 - 4 *
李俊毅 等: "基于YOLO和GMM的视频行人检测方法", 《中国电子科学研究院学报》, vol. 14, no. 03, pages 265 - 271 *
田青;齐自强;高国飞;刘婧怡;: "基于改进的YOLO与GMM相结合的地铁行人检测算法", 工业控制计算机, no. 04, pages 49 - 55 *
袁永明;施;: "基于图像处理的鱼群运动监测方法研究", 南方水产科学, no. 05, pages 111 - 116 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117218161A (zh) * 2023-11-09 2023-12-12 聊城市敏锐信息科技有限公司 一种鱼缸内鱼类轨迹跟踪方法及***
CN117218161B (zh) * 2023-11-09 2024-01-16 聊城市敏锐信息科技有限公司 一种鱼缸内鱼类轨迹跟踪方法及***

Also Published As

Publication number Publication date
CN116363494B (zh) 2023-08-04

Similar Documents

Publication Publication Date Title
CN104766320B (zh) 阈值化量测下的多伯努利滤波弱目标检测与跟踪方法
CN108960086A (zh) 基于生成对抗网络正样本增强的多姿态人体目标跟踪方法
CN112818969B (zh) 一种基于知识蒸馏的人脸姿态估计方法及***
CN107203781A (zh) 一种基于显著性指导的端到端的弱监督目标检测方法
CN116363494B (zh) 一种鱼类数量监测、洄游跟踪的方法和***
Braakmann-Folgmann et al. Sea level anomaly prediction using recurrent neural networks
CN110889343A (zh) 基于注意力型深度神经网络的人群密度估计方法及装置
CN109376589A (zh) 基于卷积核筛选ssd网络的rov形变目标与小目标识别方法
CN113298023B (zh) 一种基于深度学习及图像技术的昆虫动态行为识别方法
CN111141653B (zh) 一种基于神经网络的隧道渗漏速率预测方法
CN112765908B (zh) 一种基于图像序列分析的燃气涡轮发动机燃烧室稳定性分析方法
CN113610046B (zh) 一种基于深度视频联动特征的行为识别方法
CN115512215A (zh) 水下生物监测方法、装置及存储介质
CN114663769A (zh) 一种基于YOLO v5的水果识别方法
CN117576616A (zh) 一种基于深度学习的鱼类游泳行为预警方法、***及装置
CN116434066B (zh) 基于深度学习的大豆豆荚考种方法、***及装置
CN112699824A (zh) 电能表仪表常数检测方法、设备及存储介质
CN109034033B (zh) 一种基于改进vgg16卷积网络的排烟视频检测方法
CN116704606A (zh) 一种理化实验操作行为识别方法、***、装置及存储介质
CN112085779B (zh) 一种波浪参数估算方法及装置
CN113628182B (zh) 鱼类重量自动估计方法、装置、电子设备及存储介质
CN114022831A (zh) 一种基于双目视觉的牲畜体况监测方法及***
CN111507185A (zh) 一种基于堆叠空洞卷积网络的摔倒检测方法
CN112215107A (zh) 一种猪的行为识别方法及装置、电子设备和存储介质
CN110610173A (zh) 基于Mobilenet的羽毛球动作分析***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant