CN116229518A - 一种基于机器学习的鸟类物种观测方法及*** - Google Patents

一种基于机器学习的鸟类物种观测方法及*** Download PDF

Info

Publication number
CN116229518A
CN116229518A CN202310258842.6A CN202310258842A CN116229518A CN 116229518 A CN116229518 A CN 116229518A CN 202310258842 A CN202310258842 A CN 202310258842A CN 116229518 A CN116229518 A CN 116229518A
Authority
CN
China
Prior art keywords
picture
target
target picture
bird
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310258842.6A
Other languages
English (en)
Other versions
CN116229518B (zh
Inventor
高树会
雷佳琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bainiao Data Technology Beijing Co ltd
Original Assignee
Bainiao Data Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bainiao Data Technology Beijing Co ltd filed Critical Bainiao Data Technology Beijing Co ltd
Priority to CN202310258842.6A priority Critical patent/CN116229518B/zh
Publication of CN116229518A publication Critical patent/CN116229518A/zh
Application granted granted Critical
Publication of CN116229518B publication Critical patent/CN116229518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及鸟类物种观测技术领域，具体地说，涉及一种基于机器学习的鸟类物种观测方法及***。其包括根据目标图片质量选择不同识别方案：采用细粒度图片识别算法对清晰图片中的鸟类进行物种识别；采用多模态信息识别算法对模糊图片中的鸟类进行物种识别。本发明通过建立的识别模型识别出目标图片质量，并根据目标图片质量将目标图片分为清晰图片或模糊图片，根据目标图片质量选择不同识别方案，有利于提高监控场景下的物种识别精度，将生态学家专业知识以及鸟类动作信息结合到鸟类识别模型中，使得鸟类识别模型在图片模糊的情况下，也能够进行鸟类物种识别，以适应不同监控状态下采集到的图片中的鸟类物种识别工作，提高识别效率。

Description

一种基于机器学习的鸟类物种观测方法及***
技术领域
本发明涉及鸟类物种观测技术领域，具体地说，涉及一种基于机器学习的鸟类物种观测方法及***。
背景技术
鸟类物种观测设备主要用于野外环境下的物种细粒度图像识别，主要存在下面几个难点：
难点1:细粒度图像普遍存在类间差异小、类内差异大的特点，如何准确地对细粒度类别进行精准的判定，在当前仍是一个极大挑战。
难点2:自然界存在的长尾分布特点会映射到网络中，使网络中的数据存在长尾分布，从而导致数据存在过拟合问题，影响模型的识别精度。
难点3:边缘端的处理设备如何持续、稳定、低功耗工作。
解决上面的问题目前的主要范式包括：
(1)具有定位分类子网络的细粒度识别
使用两个子网络，为定位子网络和分类子网络。
定位子网络来定位关键部分，可以获得更多有区别的中间级别(部分级别)表示。进一步增强了分类子网络的学习能力，这些方法将多个部分级特征连接为一个整体图像表示，并将其输入到下面的分类子网络中进行最终识别。
分类子网络跟随并用于识别。这两个协作子网络的框架形成了第一个范式，即具有定位分类子网络的细粒度识别，然而，需要人工注释关注的部分，限制了可拓展性。趋势：先找到对应的部分，然后比较它们的外观，希望捕获语义部分(例如，头部和躯干)以在细粒度类别之间共享，同时希望发现这些部分表示之间的细微差异。
(2)具有端到端特征编码
这种范式倾向于通过开发强大的深度模型进行细粒度识别来直接学习更具辨别力的特征表示，双线性CNN：将图像表示为来自两个深度CNN的特征的池化外积，因此对卷积激活的高阶统计进行编码以增强中级学习能力，由于其高模型容量，双线性CNN实现了显着的细粒度识别性能。然而，双线性特征的极高维数仍然使其在实际应用中不切实际，尤其是对于大规模应用。
为了应对上述问题，现亟需一种基于机器学习的鸟类物种观测方法及***。
发明内容
本发明的目的在于提供一种基于机器学习的鸟类物种观测方法及***，以解决上述背景技术中提出的问题。
为实现上述目的，本发明目的之一在于，提供了一种基于机器学习的鸟类物种观测方法，包括如下步骤：
S1、拍摄地摄像头采集目标图片以及目标视频，并将目标图片传输至边缘处理器；
S2、边缘处理器对目标图片进行预处理，并通过目标检测模型检测出识别的目标；
S3、回传检测目标的原始目标视频至后端服务器；
S4、后端服务器建立识别模型，识别模型识别出目标图片质量，并根据目标图片质量将目标图片分为清晰图片或模糊图片；
S5、根据目标图片质量选择不同识别方案：
采用细粒度图片识别算法对清晰图片中的鸟类进行物种识别；
采用多模态信息识别算法对模糊图片中的鸟类进行物种识别；
S6、输出当前采集的目标图片所识别出的鸟类物种信息。
作为本技术方案的进一步改进，所述S1中目标图片以及目标视频的采集方法包括如下步骤：
S1.1、根据鸟类栖息规律规划拍摄区域，安装对应的摄像头；
S1.2、建立拍摄间隔，根据拍摄间隔实时回传拍摄点拍摄到的目标图片以及目标视频。
作为本技术方案的进一步改进，所述S2中的目标图片预处理方法包括如下步骤：
S2.1、对目标图片进行解码处理，生成解码图片；
S2.2、对解码图片进行抽帧处理，并记录不同帧的时序信息，生成抽帧图片；
S2.3、对各个抽帧图片进行目标识别，剔除其中不含鸟类物种的图片。
作为本技术方案的进一步改进，所述S2中的边缘处理器采用低功耗处理器，低功耗处理器是目标检测模型检测过程中的载体，用于快速获取、处理实时图像信息。
作为本技术方案的进一步改进，所述S2中目标检测模型检测出识别的目标的检测方法包括如下步骤：
S2.4、结合监控区域各项环境因素，对目标图片的各项因素进行特征识别；
S2.5、建立各项因素特征数据库，根据因素特征数据库对比各个目标图片的因素。
作为本技术方案的进一步改进，所述S4中识别模型识别目标图片质量的识别方法包括如下步骤：
S4.1、对每个目标图片进行图片像素点数量计算，得出目标图片的空间复杂度；
S4.2、确定每个目标图片中的噪声数量，得出目标图片的噪声复杂度；
S4.3、结合目标图片的空间复杂度以及噪声复杂度得出目标图片的清晰度；
S4.4、规划目标图片清晰度阈值，将低于目标图片清晰度阈值的目标图片规定为模糊图片，将不低于目标图片清晰度阈值的目标图片规定为清晰图片。
作为本技术方案的进一步改进，所述S4.3中目标图片的清晰度判断采用清晰度计算算法，其算法公式如下：
Figure BDA0004130465420000031
Figure BDA0004130465420000032
其中ρ(Clarity)为目标图片的清晰度数值，K(Space)为目标图片的空间复杂度，N(noise)为目标图片的噪声复杂度，F(ρ)清晰度判断函数，ρ为当前目标图片的清晰度数值，
Figure BDA0004130465420000033
为目标图片清晰度阈值，当当前目标图片的清晰度数值ρ低于目标图片清晰度阈值/>
Figure BDA0004130465420000034
时，清晰度判断函数F(ρ)输出为0，标记该目标图片为模糊图片，当当前目标图片的清晰度数值ρ不低于目标图片清晰度阈值/>
Figure BDA0004130465420000035
时，清晰度判断函数F(ρ)输出为1，标记该目标图片为清晰图片。
作为本技术方案的进一步改进，所述S5细粒度图片识别算法包括如下步骤：
S5.1、整合监控区域的各个鸟类种类，确定每种鸟类的特征；
S5.2、结合每种鸟类的特征，生成鸟类特征数据库；
S5.3、对每个清晰目标图片中识别的鸟类与鸟类特征数据库进行比对，选取出鸟类特征数据库中对应的目标鸟类，作为目标图片中识别的鸟类种类。
作为本技术方案的进一步改进，所述S5中多模态信息识别算法包括如下步骤：
S5.4、确定模糊图片拍摄时序信息、记录的地理位置信息；
S5.5、同时建立生态学家专业知识以及鸟类动作信息数据库；
S5.6、结合模糊图片的拍摄时序信息以及记录的地理位置信息，预分析出模糊图片中识别的鸟类所属鸟类类型；
S5.7、比对生态学家专业知识以及鸟类动作信息数据库，对模糊图片中识别的鸟类进行精确比对，得出模糊图片中识别的鸟类所属种类。
本发明目的之二在于，提供了一种用于基于机器学习的鸟类物种观测方法的观测***，包括若干摄像头、边缘处理器、后端服务器、图片质量分类模块、识别方案分配模块以及识别结果输出模块，所述边缘处理器用于接收摄像头采集目标图片以及目标视频，并对目标图片进行预处理，通过目标检测模型检测出识别的目标，所述后端服务器输入端与所述边缘处理器输出端连接，所述后端服务器用于接收回传检测目标的原始目标视频，所述后端服务器建立识别模型，通过所述识别模型识别出目标图片质量，所述图片质量分类模块输入端与所述后端服务器输出端连接，所述图片质量分类模块包括分类单元，所述分类单元将目标图片分为清晰图片或模糊图片，所述图片质量分类模块输出端与所述识别方案分配模块输入端连接，所述识别方案分配模块根据目标图片分类结果，采用细粒度图片识别算法对清晰图片中的鸟类进行物种识别，采用多模态信息识别算法对模糊图片中的鸟类进行物种识别，所述识别方案分配模块输出端与所述识别结果输出模块输入端连接，所述识别结果输出模块输出当前采集的目标图片所识别出的鸟类物种信息。
与现有技术相比，本发明的有益效果：
1、该基于机器学习的鸟类物种观测方法及***中，通过建立的识别模型识别出目标图片质量，并根据目标图片质量将目标图片分为清晰图片或模糊图片，根据目标图片质量选择不同识别方案，有利于提高监控场景下的物种识别精度，将生态学家专业知识以及鸟类动作信息结合到鸟类识别模型中，使得鸟类识别模型在图片模糊的情况下，也能够进行鸟类物种识别，以适应不同监控状态下采集到的图片中的鸟类物种识别工作，提高识别效率。
附图说明
图1为本发明实施例1的整体流程图；
图2为本发明实施例1的目标图片以及目标视频的采集方法流程图；
图3为本发明实施例1的目标图片预处理方法流程图；
图4为本发明实施例1的目标检测模型检测出识别的目标的检测方法流程图；
图5为本发明实施例1的识别模型识别目标图片质量的识别方法流程图；
图6为本发明实施例1的细粒度图片识别算法流程图；
图7为本发明实施例1的多模态信息识别算法流程图；
图8为本发明实施例1的整体***结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
请参阅图1-图8所示，本实施例目的之一在于，提供了一种基于机器学习的鸟类物种观测方法，包括如下步骤：
S1、拍摄地摄像头采集目标图片以及目标视频，并将目标图片传输至边缘处理器；
S2、边缘处理器对目标图片进行预处理，并通过目标检测模型检测出识别的目标；
S3、回传检测目标的原始目标视频至后端服务器；
S4、后端服务器建立识别模型，识别模型识别出目标图片质量，并根据目标图片质量将目标图片分为清晰图片或模糊图片；
S5、根据目标图片质量选择不同识别方案：
采用细粒度图片识别算法对清晰图片中的鸟类进行物种识别；
采用多模态信息识别算法对模糊图片中的鸟类进行物种识别；
S6、输出当前采集的目标图片所识别出的鸟类物种信息。
具体使用时，首先在拍摄地安装用于进行鸟类物种观测的摄像头，通过摄像头采集目标图片以及目标视频，并将目标图片传输至边缘处理器，边缘处理器对目标图片进行解码、抽帧以及识别，并通过目标检测模型检测出识别的目标，随后回传检测目标的原始目标视频至后端服务器，由于摄像头被固定在某些高塔上，摄像头拍摄到鸟的图片，大致可以分为两种情况：第一种，鸟类处于离摄像头很近的地方，可以拍摄到清晰的图片，有的鸟处于离摄像头很远的地方，拍摄到的图片比较模糊，此时后端服务器建立识别模型，识别模型识别出目标图片质量，并根据目标图片质量将目标图片分为清晰图片或模糊图片，根据目标图片质量选择不同识别方案：
采用细粒度图片识别算法对清晰图片中的鸟类进行物种识别，即采用数据库存储各类鸟类特征信息，并与清晰的目标图片中识别的鸟类特征进行比对，得出当前识别到的清晰的目标图片属于数据库中的那种鸟类，得出清晰图片中的鸟类物种识别信息；
采用多模态信息识别算法对模糊图片中的鸟类进行物种识别，即采用连续帧信息结合地理位置信息以及拍摄之间信息，同时建立生态学家专业知识以及鸟类动作信息数据库，在进行模糊图片中的鸟类物种识别过程中，多模态信息对模糊图片中的鸟类进行物种识别，得出模糊图片中的鸟类物种识别信息；
随后输出当前采集的目标图片所识别出的鸟类物种信息。
本发明通过建立的识别模型识别出目标图片质量，并根据目标图片质量将目标图片分为清晰图片或模糊图片，根据目标图片质量选择不同识别方案，对于不同清晰度的鸟，使用不同的鸟类物种识别模型，有利于提高监控场景下的物种识别精度，在进行模糊图片中的鸟类物种识别过程中，将生态学家专业知识以及鸟类动作信息结合到鸟类识别模型中，使得鸟类识别模型在图片模糊的情况下，也能够进行鸟类物种识别，以适应不同监控状态下采集到的图片中的鸟类物种识别工作，提高识别效率。
进一步的，S1中目标图片以及目标视频的采集方法包括如下步骤：
S1.1、根据鸟类栖息规律规划拍摄区域，安装对应的摄像头；
S1.2、建立拍摄间隔，根据拍摄间隔实时回传拍摄点拍摄到的目标图片以及目标视频。
具体使用时，由于鸟类同一季节栖息场所较为固定，但其活动轨迹却十分宽广，在进行拍摄区域规划过程中，首先需要确定鸟类栖息规律，例如筑巢场所以及捕食常见区域等，随后根据鸟类栖息规律规划拍摄区域，安装对应的摄像头，并建立拍摄间隔，根据拍摄间隔实时回传拍摄点拍摄到的目标图片以及目标视频。
再进一步的，S2中的目标图片预处理方法包括如下步骤：
S2.1、对目标图片进行解码处理，生成解码图片；
S2.2、对解码图片进行抽帧处理，并记录不同帧的时序信息，生成抽帧图片；
S2.3、对各个抽帧图片进行目标识别，剔除其中不含鸟类物种的图片。
具体使用时，首先通过边缘处理器对目标图片进行解码处理，生成解码图片，随后对解码图片进行抽帧处理，并记录不同帧的时序信息，生成抽帧图片，为后期进行模糊图片目标识别处理提供参考依据，由于拍摄的目标图片中，鸟类的运动是随机的，在拍摄的过程中鸟类飞行轨迹发生改变，导致摄像头拍摄的连续图片中会因鸟类脱离拍摄区域，而促使部分拍摄的目标图片不存在任何鸟类，此时对各个抽帧图片进行目标识别，剔除其中不含鸟类物种的图片，提高后期目标图片的鸟类物种识别效率。
具体的，S2中的边缘处理器采用低功耗处理器，低功耗处理器是目标检测模型检测过程中的载体，用于快速获取、处理实时图像信息，能够将视频数据从摄像头端进行预处理，然后通过低带宽的网络进行传输，这样能够有效的降低数据的传输带宽和节省电力，提升数据收集效率，低功耗边缘视频处理器首先实现基本的视频处理任务，如图像缩放，格式转换，编码和解码，进而实现视频分析和智能视频识别等。
此外，S2中目标检测模型检测出识别的目标的检测方法包括如下步骤：
S2.4、结合监控区域各项环境因素，对目标图片的各项因素进行特征识别；
S2.5、建立各项因素特征数据库，根据因素特征数据库对比各个目标图片的因素。
具体使用时，在进行目标图片检测过程中，由于拍摄的目标图片不仅存在鸟类还可能存在树木、岩石以及水源等环境因素，为了区分不同图片类型，，首先结合监控区域各项环境因素，对目标图片的各项因素进行特征识别，例如树木的特征为树木特殊颜色以及树木高度等，随后建立各项因素特征数据库，根据因素特征数据库对比各个目标图片的因素，建立各项因素特征数据库，根据因素特征数据库对比各个目标图片的因素，对每个目标存在的环境因素进行识别，为后期模糊图片的鸟类物种识别提供多模态参考。
除此之外，S4中识别模型识别目标图片质量的识别方法包括如下步骤：
S4.1、对每个目标图片进行图片像素点数量计算，得出目标图片的空间复杂度；
S4.2、确定每个目标图片中的噪声数量，得出目标图片的噪声复杂度；
S4.3、结合目标图片的空间复杂度以及噪声复杂度得出目标图片的清晰度；
S4.4、规划目标图片清晰度阈值，将低于目标图片清晰度阈值的目标图片规定为模糊图片，将不低于目标图片清晰度阈值的目标图片规定为清晰图片。
具体使用时，首先对每个目标图片进行图片像素点数量计算，得出目标图片的空间复杂度，随后对目标图片进行噪声分析，确定每个目标图片中的噪声数量，得出目标图片的噪声复杂度，结合目标图片的空间复杂度以及噪声复杂度得出目标图片的清晰度，规划目标图片清晰度阈值，将低于目标图片清晰度阈值的目标图片规定为模糊图片，将不低于目标图片清晰度阈值的目标图片规定为清晰图片，对每个目标图片进行质量分类，以供后期根据分类结果进行对应识别方案确定。
进一步的，S4.3中目标图片的清晰度判断采用清晰度计算算法，其算法公式如下：
Figure BDA0004130465420000081
Figure BDA0004130465420000091
其中ρ(Clarity)为目标图片的清晰度数值，K(Space)为目标图片的空间复杂度，N(noise)为目标图片的噪声复杂度，F(ρ)清晰度判断函数，ρ为当前目标图片的清晰度数值，
Figure BDA0004130465420000092
为目标图片清晰度阈值，当当前目标图片的清晰度数值ρ低于目标图片清晰度阈值/>
Figure BDA0004130465420000093
时，清晰度判断函数F(ρ)输出为0，标记该目标图片为模糊图片，当当前目标图片的清晰度数值ρ不低于目标图片清晰度阈值/>
Figure BDA0004130465420000094
时，清晰度判断函数F(ρ)输出为1，标记该目标图片为清晰图片。
再进一步的，S5细粒度图片识别算法包括如下步骤：
S5.1、整合监控区域的各个鸟类种类，确定每种鸟类的特征；
S5.2、结合每种鸟类的特征，生成鸟类特征数据库；
S5.3、对每个清晰目标图片中识别的鸟类与鸟类特征数据库进行比对，选取出鸟类特征数据库中对应的目标鸟类，作为目标图片中识别的鸟类种类。
具体使用时，首先整合监控区域的各个鸟类种类，确定每种鸟类的特征，例如啄木鸟的鸟类特征为嘴部尖细且长，随后结合每种鸟类的特征，生成鸟类特征数据库，对每个清晰目标图片中识别的鸟类与鸟类特征数据库进行比对，选取出鸟类特征数据库中对应的目标鸟类，作为目标图片中识别的鸟类种类，由此判断出目标图片的鸟类种类。
具体的，S5中多模态信息识别算法包括如下步骤：
S5.4、确定模糊图片拍摄时序信息、记录的地理位置信息；
S5.5、同时建立生态学家专业知识以及鸟类动作信息数据库；
S5.6、结合模糊图片的拍摄时序信息以及记录的地理位置信息，预分析出模糊图片中识别的鸟类所属鸟类类型；
S5.7、比对生态学家专业知识以及鸟类动作信息数据库，对模糊图片中识别的鸟类进行精确比对，得出模糊图片中识别的鸟类所属种类。
具体使用时，当模糊图片中的鸟类无法识别其具体特征时，首先确定模糊图片拍摄时序信息、记录的地理位置信息，即确定拍摄该模糊图片的时间以及模糊图片中鸟类所属地理环境，根据各个鸟类的生物习惯，预分析出模糊图片中识别的鸟类所属鸟类类型，随后比对生态学家专业知识以及鸟类动作信息数据库，对模糊图片中识别的鸟类进行精确比对，得出模糊图片中识别的鸟类所属种类，采用多模态信息识别进行模糊图片鸟类物种精确识别，提高模糊图片的鸟类物种识别准确度，减少识别误差。
本实施例目的之二在于，提供了一种用于基于机器学习的鸟类物种观测方法的观测***，包括若干摄像头、边缘处理器、后端服务器、图片质量分类模块、识别方案分配模块以及识别结果输出模块，边缘处理器用于接收摄像头采集目标图片以及目标视频，并对目标图片进行预处理，通过目标检测模型检测出识别的目标，后端服务器输入端与边缘处理器输出端连接，后端服务器用于接收回传检测目标的原始目标视频，后端服务器建立识别模型，通过识别模型识别出目标图片质量，图片质量分类模块输入端与后端服务器输出端连接，图片质量分类模块包括分类单元，分类单元将目标图片分为清晰图片或模糊图片，图片质量分类模块输出端与识别方案分配模块输入端连接，识别方案分配模块根据目标图片分类结果，采用细粒度图片识别算法对清晰图片中的鸟类进行物种识别，采用多模态信息识别算法对模糊图片中的鸟类进行物种识别，识别方案分配模块输出端与识别结果输出模块输入端连接，识别结果输出模块输出当前采集的目标图片所识别出的鸟类物种信息。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种基于机器学习的鸟类物种观测方法，其特征在于，包括如下步骤：
S1、拍摄地摄像头采集目标图片以及目标视频，并将目标图片传输至边缘处理器；
S2、边缘处理器对目标图片进行预处理，并通过目标检测模型检测出识别的目标；
S3、回传检测目标的原始目标视频至后端服务器；
S4、后端服务器建立识别模型，识别模型识别出目标图片质量，并根据目标图片质量将目标图片分为清晰图片或模糊图片；
S5、根据目标图片质量选择不同识别方案：
采用细粒度图片识别算法对清晰图片中的鸟类进行物种识别；
采用多模态信息识别算法对模糊图片中的鸟类进行物种识别；
S6、输出当前采集的目标图片所识别出的鸟类物种信息。
2.根据权利要求1所述的基于机器学习的鸟类物种观测方法，其特征在于：所述S1中目标图片以及目标视频的采集方法包括如下步骤：
S1.1、根据鸟类栖息规律规划拍摄区域，安装对应的摄像头；
S1.2、建立拍摄间隔，根据拍摄间隔实时回传拍摄点拍摄到的目标图片以及目标视频。
3.根据权利要求1所述的基于机器学习的鸟类物种观测方法，其特征在于：所述S2中的目标图片预处理方法包括如下步骤：
S2.1、对目标图片进行解码处理，生成解码图片；
S2.2、对解码图片进行抽帧处理，并记录不同帧的时序信息，生成抽帧图片；
S2.3、对各个抽帧图片进行目标识别，剔除其中不含鸟类物种的图片。
4.根据权利要求3所述的基于机器学习的鸟类物种观测方法，其特征在于：所述S2中的边缘处理器采用低功耗处理器，低功耗处理器是目标检测模型检测过程中的载体，用于快速获取、处理实时图像信息。
5.根据权利要求4所述的基于机器学习的鸟类物种观测方法，其特征在于：所述S2中目标检测模型检测出识别的目标的检测方法包括如下步骤：
S2.4、结合监控区域各项环境因素，对目标图片的各项因素进行特征识别；
S2.5、建立各项因素特征数据库，根据因素特征数据库对比各个目标图片的因素。
6.根据权利要求1所述的基于机器学习的鸟类物种观测方法，其特征在于：所述S4中识别模型识别目标图片质量的识别方法包括如下步骤：
S4.1、对每个目标图片进行图片像素点数量计算，得出目标图片的空间复杂度；
S4.2、确定每个目标图片中的噪声数量，得出目标图片的噪声复杂度；
S4.3、结合目标图片的空间复杂度以及噪声复杂度得出目标图片的清晰度；
S4.4、规划目标图片清晰度阈值，将低于目标图片清晰度阈值的目标图片规定为模糊图片，将不低于目标图片清晰度阈值的目标图片规定为清晰图片。
7.根据权利要求6所述的基于机器学习的鸟类物种观测方法，其特征在于：所述S4.3中目标图片的清晰度判断采用清晰度计算算法，其算法公式如下：
Figure FDA0004130465410000021
Figure FDA0004130465410000022
/>
其中ρ(Clarity)为目标图片的清晰度数值，K(Space)为目标图片的空间复杂度，N(noise)为目标图片的噪声复杂度，F(ρ)清晰度判断函数，ρ为当前目标图片的清晰度数值，
Figure FDA0004130465410000024
为目标图片清晰度阈值，当当前目标图片的清晰度数值ρ低于目标图片清晰度阈值/>
Figure FDA0004130465410000025
时，清晰度判断函数F(ρ)输出为0，标记该目标图片为模糊图片，当当前目标图片的清晰度数值ρ不低于目标图片清晰度阈值/>
Figure FDA0004130465410000023
时，清晰度判断函数F(ρ)输出为1，标记该目标图片为清晰图片。
8.根据权利要求1所述的基于机器学习的鸟类物种观测方法，其特征在于：所述S5细粒度图片识别算法包括如下步骤：
S5.1、整合监控区域的各个鸟类种类，确定每种鸟类的特征；
S5.2、结合每种鸟类的特征，生成鸟类特征数据库；
S5.3、对每个清晰目标图片中识别的鸟类与鸟类特征数据库进行比对，选取出鸟类特征数据库中对应的目标鸟类，作为目标图片中识别的鸟类种类。
9.根据权利要求8所述的基于机器学习的鸟类物种观测方法，其特征在于：所述S5中多模态信息识别算法包括如下步骤：
S5.4、确定模糊图片拍摄时序信息、记录的地理位置信息；
S5.5、同时建立生态学家专业知识以及鸟类动作信息数据库；
S5.6、结合模糊图片的拍摄时序信息以及记录的地理位置信息，预分析出模糊图片中识别的鸟类所属鸟类类型；
S5.7、比对生态学家专业知识以及鸟类动作信息数据库，对模糊图片中识别的鸟类进行精确比对，得出模糊图片中识别的鸟类所属种类。
10.一种用于包括权利要求1-9中任意一项所述的基于机器学习的鸟类物种观测方法的观测***，其特征在于：包括若干摄像头、边缘处理器、后端服务器、图片质量分类模块、识别方案分配模块以及识别结果输出模块，所述边缘处理器用于接收摄像头采集目标图片以及目标视频，并对目标图片进行预处理，通过目标检测模型检测出识别的目标，所述后端服务器输入端与所述边缘处理器输出端连接，所述后端服务器用于接收回传检测目标的原始目标视频，所述后端服务器建立识别模型，通过所述识别模型识别出目标图片质量，所述图片质量分类模块输入端与所述后端服务器输出端连接，所述图片质量分类模块包括分类单元，所述分类单元将目标图片分为清晰图片或模糊图片，所述图片质量分类模块输出端与所述识别方案分配模块输入端连接，所述识别方案分配模块根据目标图片分类结果，采用细粒度图片识别算法对清晰图片中的鸟类进行物种识别，采用多模态信息识别算法对模糊图片中的鸟类进行物种识别，所述识别方案分配模块输出端与所述识别结果输出模块输入端连接，所述识别结果输出模块输出当前采集的目标图片所识别出的鸟类物种信息。
CN202310258842.6A 2023-03-17 2023-03-17 一种基于机器学习的鸟类物种观测方法及*** Active CN116229518B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310258842.6A CN116229518B (zh) 2023-03-17 2023-03-17 一种基于机器学习的鸟类物种观测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310258842.6A CN116229518B (zh) 2023-03-17 2023-03-17 一种基于机器学习的鸟类物种观测方法及***

Publications (2)

Publication Number Publication Date
CN116229518A true CN116229518A (zh) 2023-06-06
CN116229518B CN116229518B (zh) 2024-01-16

Family

ID=86569461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310258842.6A Active CN116229518B (zh) 2023-03-17 2023-03-17 一种基于机器学习的鸟类物种观测方法及***

Country Status (1)

Country Link
CN (1) CN116229518B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117809099A (zh) * 2023-12-29 2024-04-02 百鸟数据科技(北京)有限责任公司 一种借助关键部位预测网络预测鸟类类别的方法及***
CN118015551A (zh) * 2024-04-09 2024-05-10 山东世融信息科技有限公司 应用于野外生态湿地的浮岛式监测***

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416774A (zh) * 2018-03-08 2018-08-17 中山大学 一种基于细粒度神经网络的织物种类识别方法
CN110969107A (zh) * 2019-11-25 2020-04-07 上海交通大学 基于网络模型鸟类种群识别分析方法及***
CN111985477A (zh) * 2020-08-27 2020-11-24 平安科技（深圳）有限公司 基于单目摄像头的动物体在线核赔方法、装置及存储介质
CN113076861A (zh) * 2021-03-30 2021-07-06 南京大学环境规划设计研究院集团股份公司 一种基于二阶特征的鸟类细粒度识别方法
CN113205085A (zh) * 2021-07-05 2021-08-03 武汉华信数据***有限公司 一种图像识别方法和装置
WO2021184894A1 (zh) * 2020-03-20 2021-09-23 深圳市优必选科技股份有限公司 一种去模糊的人脸识别方法、***和一种巡检机器人
CN113688751A (zh) * 2021-08-30 2021-11-23 上海城投水务（集团）有限公司制水分公司 一种利用图像识别技术分析矾花特征的方法及装置
WO2022078216A1 (zh) * 2020-10-14 2022-04-21 华为云计算技术有限公司 一种目标识别方法及装置
CN114387499A (zh) * 2022-01-19 2022-04-22 国家海洋环境监测中心 一种海岛滨海湿地水鸟识别方法、分布查询***及介质
US11398089B1 (en) * 2021-02-17 2022-07-26 Adobe Inc. Image processing techniques to quickly find a desired object among other objects from a captured video scene
CN114998934A (zh) * 2022-06-27 2022-09-02 山东省人工智能研究院 基于多模态智能感知和融合的换衣行人重识别和检索方法
CN115035313A (zh) * 2022-06-15 2022-09-09 云南这里信息技术有限公司 黑颈鹤识别方法、装置、设备及存储介质
CN115761802A (zh) * 2022-11-21 2023-03-07 广东鉴面智能科技有限公司 一种动态鸟类识别方法和***

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416774A (zh) * 2018-03-08 2018-08-17 中山大学 一种基于细粒度神经网络的织物种类识别方法
CN110969107A (zh) * 2019-11-25 2020-04-07 上海交通大学 基于网络模型鸟类种群识别分析方法及***
WO2021184894A1 (zh) * 2020-03-20 2021-09-23 深圳市优必选科技股份有限公司 一种去模糊的人脸识别方法、***和一种巡检机器人
CN111985477A (zh) * 2020-08-27 2020-11-24 平安科技（深圳）有限公司 基于单目摄像头的动物体在线核赔方法、装置及存储介质
WO2022078216A1 (zh) * 2020-10-14 2022-04-21 华为云计算技术有限公司 一种目标识别方法及装置
US11398089B1 (en) * 2021-02-17 2022-07-26 Adobe Inc. Image processing techniques to quickly find a desired object among other objects from a captured video scene
CN113076861A (zh) * 2021-03-30 2021-07-06 南京大学环境规划设计研究院集团股份公司 一种基于二阶特征的鸟类细粒度识别方法
CN113205085A (zh) * 2021-07-05 2021-08-03 武汉华信数据***有限公司 一种图像识别方法和装置
CN113688751A (zh) * 2021-08-30 2021-11-23 上海城投水务（集团）有限公司制水分公司 一种利用图像识别技术分析矾花特征的方法及装置
WO2023029117A1 (zh) * 2021-08-30 2023-03-09 上海城市水资源开发利用国家工程中心有限公司 一种利用图像识别技术分析矾花特征的方法及装置
CN114387499A (zh) * 2022-01-19 2022-04-22 国家海洋环境监测中心 一种海岛滨海湿地水鸟识别方法、分布查询***及介质
CN115035313A (zh) * 2022-06-15 2022-09-09 云南这里信息技术有限公司 黑颈鹤识别方法、装置、设备及存储介质
CN114998934A (zh) * 2022-06-27 2022-09-02 山东省人工智能研究院 基于多模态智能感知和融合的换衣行人重识别和检索方法
CN115761802A (zh) * 2022-11-21 2023-03-07 广东鉴面智能科技有限公司 一种动态鸟类识别方法和***

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ZHUANG, PQ (ZHUANG, PEIQIN)； WANG, YL (WANG, YALI) ； QIAO, Y (QIAO, YU): "Wildfish plus plus : A Comprehensive Fish Benchmark for Multimedia Research", 《IEEE TRANSACTIONS ON MULTIMEDIA》, vol. 23, pages 3603 - 3617 *
周晓健等: "基于信息多模态融合技术在动物识别模型中的应用", 《中国高新科技》, no. 03 *
孙伟;王小伟;游世军;石昊坤;胡艳辉;: "模式识别在医用超声数字图像特征提取中的应用研究", 《中国医学装备》, no. 02 *
彭明杰: "基于多模态输入卷积神经网络的蜻蜓识别算法", 《电子世界》, no. 02 *
李国瑞;何小海;吴晓红;卿粼波;滕奇志;: "基于语义信息跨层特征融合的细粒度鸟类识别", 《计算机应用与软件》, no. 04 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117809099A (zh) * 2023-12-29 2024-04-02 百鸟数据科技(北京)有限责任公司 一种借助关键部位预测网络预测鸟类类别的方法及***
CN118015551A (zh) * 2024-04-09 2024-05-10 山东世融信息科技有限公司 应用于野外生态湿地的浮岛式监测***

Also Published As

Publication number Publication date
CN116229518B (zh) 2024-01-16

Similar Documents

Publication Publication Date Title
CN116229518B (zh) 一种基于机器学习的鸟类物种观测方法及***
Yang et al. Computer vision models in intelligent aquaculture with emphasis on fish detection and behavior analysis: a review
Parham et al. Animal population censusing at scale with citizen science and photographic identification
CN112446342B (zh) 关键帧识别模型训练方法、识别方法及装置
CN115100512A (zh) 一种海洋经济物种的监测识别捕捞方法、***及存储介质
Islam et al. SVAM: Saliency-guided visual attention modeling by autonomous underwater robots
CN112347995B (zh) 基于像素和特征转移相融合的无监督行人再识别方法
CN114266977B (zh) 基于超分辨可选择网络的多auv的水下目标识别方法
CN112488071B (zh) 提取行人特征的方法、装置、电子设备和存储介质
CN110796074A (zh) 一种基于时空数据融合的行人再识别方法
Zhou et al. Cross-weather image alignment via latent generative model with intensity consistency
CN109117771A (zh) 一种基于锚节点的图像中暴力事件检测***及方法
CN116977937A (zh) 一种行人重识别的方法及***
Laradji et al. Affinity lcfcn: Learning to segment fish with weak supervision
CN115188066A (zh) 基于协同注意力和多尺度融合的运动目标检测***及方法
CN113536946A (zh) 一种基于摄像头关系的自监督行人重识别方法
CN115359550A (zh) 基于Transformer的步态情绪识别方法、装置、电子设备及存储介质
WO2019003217A1 (en) SYSTEM AND METHOD FOR USE IN CLASSIFICATION OF OBJECTS
Murthi et al. A semi-automated system for smart harvesting of tea leaves
Li et al. A holistic marine video dataset
Zhang et al. Multi-Moving Camera Pedestrian Tracking with a New Dataset and Global Link Model
CN110738692A (zh) 一种基于spark集群的智能视频识别方法
CN109120932B (zh) Hevc压缩域双svm模型的视频显著性预测方法
CN117994575A (zh) 一种基于深度学习的海洋鱼类识别检测***
CN117935260A (zh) 标注方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant