CN117332370A - 一种水下目标声光全景协同识别装置及识别方法 - Google Patents

一种水下目标声光全景协同识别装置及识别方法 Download PDF

Info

Publication number
CN117332370A
CN117332370A CN202311353714.6A CN202311353714A CN117332370A CN 117332370 A CN117332370 A CN 117332370A CN 202311353714 A CN202311353714 A CN 202311353714A CN 117332370 A CN117332370 A CN 117332370A
Authority
CN
China
Prior art keywords
target
image
video information
information
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311353714.6A
Other languages
English (en)
Inventor
邢博闻
孙敏
王微
林密
俞锦松
杨振宁
陈柏道
柏瀚林
吴小妍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Ocean University
Original Assignee
Shanghai Ocean University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Ocean University filed Critical Shanghai Ocean University
Priority to CN202311353714.6A priority Critical patent/CN117332370A/zh
Publication of CN117332370A publication Critical patent/CN117332370A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/08—Systems for measuring distance only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/05—Underwater scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

本发明属于水下目标识别技术领域，本发明公开了一种水下目标声光全景协同识别装置及识别方法，获取声呐信息和第一视频信息；基于所述第一视频信息分析获得目标鱼类图像，并通过技术人员控制电动推杆获取更为完整的目标鱼类图像，将完整的目标鱼类图像标记为第一目标图像，将出现第一目标图像对应时间段标记为目标时段，提取目标时段对应的第一视频信息，并标记为目标视频信息；通过预设时间帧对所述目标视频信息进行抽帧，抽取N帧目标图像信息，将所述目标图像信息通过视频拼接算法进行帧匹配，拼接生成立体圆柱全景图，将所述立体圆柱全景图协同声呐信息进行目标识别，获得目标鱼类图像对应的种类信息、尺寸信息。

Description

一种水下目标声光全景协同识别装置及识别方法
技术领域
本发明涉及水下目标识别技术领域，更具体地说，本发明涉及一种水下目标声光全景协同识别装置及识别方法，具备图像采集功能，能够基于声光信息对水下目标进行准确识别，同时还原目标物的原始尺寸。
背景技术
水下目标识别技术提供了对水下环境中目标的识别和分类能力，对于水下勘探、海洋科学研究、海洋资源开发、海洋安全和军事防御等领域具有重要的应用和价值，水下目标的快速准确识别非常重要。但目前水下目标识别技术仅仅通过声信号或光信号等单一的技术，无法对目标物进行全面准确的识别，例如传统的声呐识别技术虽然可以用于水下目标的探测和识别，但是其分辨率较低，识别效果不理想。而水下光学成像技术由于水下环境的不透明性和折射等问题，也存在识别困难。
发明内容
为了克服现有技术中水下目标识别技术中存在的信息获取方式单一、目标物尺寸识别不精确等问题，本发明提出一种水下目标声光全景协同识别装置及识别方法。
为实现上述目的，本发明提供如下技术方案：一种水下目标声光全景协同识别装置，包括：浮体，以及设置在浮体底部的电动推杆组件，所述电动推杆组件底部通过连接组件连接获取声呐信息的声呐探测组件和第一视频信息的光学成像组件，所述光学成像组件均匀分布在以声呐探测组件为圆心的圆周上；
还包括识别集成组件，所述识别集成组件包括数据采集模块、数据处理模块、目标识别模块；
数据采集模块，获取声呐信息和第一视频信息；
数据处理模块，基于所述第一视频信息分析获得目标鱼类图像，并通过技术人员控制电动推杆获取更为完整的目标鱼类图像，将完整的目标鱼类图像标记为第一目标图像，将出现第一目标图像对应时间段标记为目标时段，提取目标时段对应的第一视频信息，并将目标时段对应的第一视频信息标记为目标视频信息；
目标识别模块，通过预设时间帧对所述目标视频信息进行抽帧，抽取N帧目标图像信息，将所述目标图像信息通过视频拼接算法进行帧匹配，拼接生成立体圆柱全景图，将所述立体圆柱全景图协同声呐信息进行目标识别，获得目标鱼类图像对应的种类信息、尺寸信息。
在一个优选的实施方式中，还包括WI F I传输模块，用于实现数据传输，通过WI FI传输模块将声呐信息的和第一视频信息远程传输至外接设备。
在一个优选的实施方式中，还包括供电模块，将能量转换为电能，并将电能存储在电池中，所述电池为各个模块提供能量，并将存储能源的电池安装在浮体中。
在一个优选的实施方式中，所述目标鱼类图像的获取路径包括但不限于鱼类图库、历史鱼类数据集和专业技术人员标记的鱼类。
在一个优选的实施方式中，所述目标视频信息的获取逻辑：
根据光学成像组件的数量获得等数量的所述第一视频信息，所述第一视频信息的视频采集时段同步；
任意一个所述第一视频信息识别有所述目标鱼类图像，则将当前视频采集时段标记为目标时段，提取目标时段对应同步的第一视频信息；
所述第一视频信息根据光学成像组件所在位置以一定顺序进行有序排列，并将有序排列的视频信息标记为目标视频信息。
在一个优选的实施方式中，对所述目标视频信息进行视频抽帧，包括以下步骤：
根据目标时段进行预设帧数获得N个目标帧集合；所述目标帧集合包括有序排列的目标帧图像；所述目标帧图像为对应位置光学成像组件采集的第一视频信息根据预设帧数对应的帧图像；
将每个所述目标帧集合通过视频拼接算法进行帧匹配，获得时间帧对应的全景图，直至获得N个时间帧对应的全景图。
在一个优选的实施方式中，所述立体圆柱全景图的生成逻辑为：
每个所述目标帧集合中包括M个目标帧图像，任意获得相邻目标帧图像，分别标记为目标帧图像A和目标帧图像B，将目标帧图像B的亮度与目标帧图像A相匹配；
利用sift算法分别提取目标帧图像A和目标帧图像B的特征点，然后利用距离比值法筛选匹配点；
再利用RANSAC算法对特征点进行分析，计算出最佳匹配的变换矩阵H，利用变换矩阵H对目标帧图像B做投影变换，获得目标帧图像B在目标帧图像A中四个顶点的坐标；
根据变换后的坐标等参数评估目标帧图像B是否符合要求，如符合则继续进行拼接，重合部分使用加权平均法进行融合，将融合后的图像标记为初始全景图；否则放弃目标帧图像B；
完成所有相邻目标帧图像的拼接后初始全景图，基于变换矩阵H对初始全景图进行首尾对齐，去除重复部分；再根据最大边界值裁去空白区域，生成立体圆柱全景图。
在一个优选的实施方式中，所述目标鱼类图像对应的种类信息、尺寸信息的获取逻辑为：
利用P360扫描声呐2°水平波束角，25°垂直范围连续扫描每个目标区域，获取所在平面周围物体的声呐信息；
将所述立体圆柱全景图与声呐信息通过目标识别算法进行综合匹配，依据全景图目标画面比例与声呐测出的距离分析得出目标鱼类的实际尺寸与距离。
根据本发明的另一个方面，提供了一种水下目标声光全景协同识别方法，基于上述一种水下目标声光全景协同识别装置，包括：
获取声呐信息和第一视频信息；
基于所述第一视频信息分析获得目标鱼类图像，并通过技术人员控制电动推杆获取更为完整的目标鱼类图像，将完整的目标鱼类图像标记为第一目标图像，将出现第一目标图像对应时间段标记为目标时段，提取目标时段对应的第一视频信息，并将目标时段对应的第一视频信息标记为目标视频信息；
通过预设时间帧对所述目标视频信息进行抽帧，抽取N帧目标图像信息，将所述目标图像信息通过视频拼接算法进行帧匹配，拼接生成立体圆柱全景图，将所述立体圆柱全景图协同声呐信息进行目标识别，获得目标鱼类图像对应的种类信息、尺寸信息。
根据本发明的又一个方面，提供了一种电子设备，包括：处理器和存储器，其中，所述存储器中存储有可供处理器调用的计算机程序；
所述处理器通过调用所述存储器中存储的计算机程序，执行上述任一项所述的一种基于通信网络遭受攻击时的多无人机分布式控制方法
本发明一种水下目标声光全景协同识别装置一种水下目标声光全景协同识别装置及识别方法的技术效果和优点：
本发明快速准确地获取水下目标的声呐信息和第一视频信息，对水下目标进行识别，实现对水下目标的声光全景协同识别，提高了水下目标的识别效果，从而提高了对水下目标的识别精度。
附图说明
图1为本发明水下目标声光全景协同识别装置结构示意图；
图2为本发明水下目标声光全景协同识别***示意图；
图3为本发明识别集成组件***示意图；
图4为本发明水下目标声光全景协同识别算法原理图；
图5为本发明水下目标声光全景协同识别装置工作流程图
图6为本发明水下目标声光全景协同识别方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
请参阅图1-5所示，本实施例所述一种水下目标声光全景协同识别装置，包括用于安装电动推杆组件200、声呐探测组件300和光学成像组件400的浮体100以及识别集成组件500，上述各个模块间通过有线和/或无线的方式连接，实现模块间的数据传输；
浮体100，用于提供浮力，维持装置平衡；内置有控制电动推杆组件200伸缩的驱动电机；
电动推杆组件200，所述电动推杆组件200固定安装在浮体100的底部，并穿过浮体100与控制电动推杆组件200伸缩的驱动电机相连，从而实现伸缩的功能；所述电动推杆组件200底部通过连接组件连接声呐探测组件300和光学成像组件400；
声呐探测组件300，用于获取水下目标的声呐信息，将声呐信息发送至数据采集模块501；所述声呐探测组件300在水下360°范围内发射声波，并测出相关目标鱼类和当前位置的实际距离，协同光学成像组件400采集到的图像及第一视频信息进行分析；
光学成像组件400，用于获取水下目标的第一视频信息，将第一视频信息发送至数据采集模块501；光学成像组件400为可以采集图像或视频的设备，例如摄像头，以摄像头为例，根据摄像头的位置实时获取图像及第一视频信息，能够涵盖360°的范围，对检测到的目标鱼类图像进行种类识别，并配合声呐数据对检测到的距离信息对鱼类尺寸信息进行分析还原；
这里需要说明的是：本实施例附图中光学成像组件400包括四个摄像头，四个摄像头均匀分布在4个方向，实时获取图像及第一视频信息，能够涵盖360°的范围，对检测到的鱼类进行种类识别，并配合声呐数据对检测到的距离信息对鱼类尺寸信息进行分析还原。
还包括识别集成组件500，如图4所示，所述识别集成组件500包括数据采集模块501、数据处理模块502、目标识别模块503，上述各个模块间通过有线和/或无线的方式连接，实现模块间的数据传输。
数据采集模块501，获取声呐探测组件300采集的声呐信息和光学成像组件400采集的第一视频信息。
数据处理模块502，基于所述第一视频信息分析获得目标鱼类图像，并通过技术人员控制电动推杆获取更为完整的目标鱼类图像，将完整的目标鱼类图像标记为第一目标图像，将出现第一目标图像对应时间段标记为目标时段，提取目标时段对应的第一视频信息，并将目标时段对应的第一视频信息标记为目标视频信息；
目标识别模块503，通过预设时间帧对所述目标视频信息进行抽帧，抽取N帧目标图像信息，将所述目标图像信息通过视频拼接算法协同声呐信息进行目标识别，获得目标鱼类图像对应的种类信息、尺寸信息。
这里需要说明的是：数据采集模块501用于收集声呐探测器和光学成像器获取的数据；数据处理模块502负责对声呐探测器和光学成像器获取的数据进行处理和分析；目标识别模块503负责通过对处理后的数据进行识别，进而实现对水下目标的声光全景协同识别。
所述目标鱼类图像的获取路径包括但不限于鱼类图库、历史鱼类数据集和专业技术人员标记的鱼类。
这里需要说明的是：目标鱼类图像包含识别目标(鱼)对应的图像，这是需要事先进行预设的，预设的来源是图像库或者在实际提取图像过程中出现的新品类的鱼或者其他图像，目标鱼类图像的获取方式有很多，例如来自水生生物学研究机构、博物馆、大学等的图像资源。这些图库可能涵盖多个鱼类物种，提供多样性的图像，可以用于目标鱼类的识别和分类研究。
具体包括：鱼类图库通过特定图像资源获取专门收集和维护各种鱼类图像；
历史鱼类数据集：科研航海、潜水活动、社交媒体、公众贡献、科研合作或数据共享平台提供的具有不同的数据质量、分辨率和标注程度的鱼类图像数据集；
专业技术人员标记的鱼类图像：专业的水生生物学家、海洋生态学家或鱼类学专家在参看水下光学成像组件400采集的各种鱼类的图像，可以根据实际需要进行标记，对标记的鱼类进行研究，因此这类标记的鱼类图像也是目标鱼类图像。
所述目标视频信息的获取逻辑：
根据光学成像组件400的数量获得等数量的所述第一视频信息，所述第一视频信息的视频采集时段同步；
任意一个所述第一视频信息识别有所述目标鱼类图像，则将当前视频采集时段标记为目标时段，提取目标时段对应同步的第一视频信息；
所述第一视频信息根据光学成像组件400所在位置以一定顺序进行有序排列，并将有序排列的视频信息标记为目标视频信息。
这里可以举例说明：光学成像组件400以摄像头为例，为了找到出现目标鱼类图像的时间段，需要对采集到的视频进行筛选，删除四个摄像头同时无目标的时间段，以避免无意义的帧处理。其次，找到同一视频采集时段的四个摄像头四段视频后，由于四个摄像头为同步状态，找到同一视频采集时段的四个摄像头对应的四段视频信息后，由于四个摄像头为同步状态，所以根据摄像头的位置，并按照一定的顺序(顺时针或逆时针)进行有序排列，并将有序排列的视频信息标记为目标视频信息。这里存在一个问题，就是相邻两个摄像头采集的第一视频信息之间存在图片信息交叉的部分，而目标视频信息中帧数量巨大，相邻帧之间重复度大，如果对视频中全部帧进行处理，将耗费相当长的时间，因此在进行视频转换时，只需要抽取部分帧便可完成拼接工作。
对所述目标视频信息进行视频抽帧，包括以下步骤：
根据目标时段进行预设帧数获得N个目标帧集合；所述目标帧集合包括有序排列的目标帧图像；所述目标帧图像为对应位置光学成像组件400采集的第一视频信息根据预设帧数对应的帧图像；
将每个所述目标帧集合通过视频拼接算法进行帧匹配，获得时间帧对应的全景图，直至获得N个时间帧对应的全景图。
这里需要说明的是：对于帧数N的设置，需要根据水下环境和识别目标-鱼的具体游动状态进行设置，因此采用预设帧数，以提高全景图生成效率和质量。此外，由于四个摄像头在同一时刻采集视频，在通常情况下等帧距抽帧可以实现帧匹配。当出现摄像头松动或者部分摄像头故障特殊情况时，等帧距抽帧法不再适合，需要针对该段视频，在每帧结束后评估图像质量并在该帧与下帧之间挑选适合的帧与其匹配。
四个摄像头均匀分布在一周的方式获取，在进行视频转换时，只需要抽取部分帧便可完成拼接工作。设置抽取帧数为N，根据视频总帧数算出帧距间隔I NTVAL，在理想情况下，从第一帧开始，每隔I NTVAL抽取一帧与前帧拼合，直至检测结束。
视频拼接算法进行帧匹配的具体步骤：
每个所述目标帧集合中包括M个目标帧图像，任意获得相邻目标帧图像，分别标记为目标帧图像A和目标帧图像B，将目标帧图像B的亮度与目标帧图像A相匹配；
利用sift算法分别提取目标帧图像A和目标帧图像B的特征点，然后利用距离比值法筛选匹配点；
再利用RANSAC算法对特征点进行分析，计算出最佳匹配的变换矩阵H，利用变换矩阵H对目标帧图像B做投影变换，获得目标帧图像B在目标帧图像A中四个顶点的坐标；
根据变换后的坐标等参数评估目标帧图像B是否符合要求，如符合则继续进行拼接，重合部分使用加权平均法进行融合，将融合后的图像标记为初始全景图；否则放弃目标帧图像B；评估目标帧图像B是否符合要求的方法有多种，例如：检查变换后的坐标是否在参考帧图像A的范围内，如果超出范围则说明目标帧图像B与参考帧图像A没有重叠区域，无法进行拼接。检查变换后的坐标是否与参考帧图像A的坐标有较大偏差，如果偏差过大则说明目标帧图像B与参考帧图像A之间存在较大的视角差异或者畸变，可能导致拼接效果不佳。检查变换矩阵H是否满足一定的约束条件，例如行列式不为零、奇异值分布合理等，如果不满足则说明投影变换不可靠或者不唯一，可能导致拼接失败或者错误。如果目标帧图像B符合要求，则继续进行拼接，重合部分使用加权平均法进行融合，将融合后的图像标记为初始全景图。加权平均法是一种常用的图像融合方法，其原理是根据两个图像在重合区域的距离分配不同的权重，然后按照权重对两个图像进行加权平均，从而消除拼缝和色彩差异。
完成所有相邻目标帧图像的拼接后初始全景图，基于变换矩阵H对初始全景图进行首尾对齐，去除重复部分；再根据最大边界值裁去空白区域，生成立体圆柱全景图。
这里需要说明的是：相邻目标帧图像之间含有重复区域，因此在匹配过程中，根据得到的变换坐标找到重复区域边界，然后对目标帧图像进行裁剪，将重复部分去除。其次，在拼接过程中，由于对帧进行了投影变换，原来矩形图像会出变形变，在拼接图像的顶部和底部都会出现空白区域。为了去除这些空白区域，在每一次拼接完成时，都要记录空白区域的范围，并通过比较得到空白区域的最大边界值，根据最大边界值裁去空白区域。
所述目标鱼类图像对应的种类信息、尺寸信息的获取逻辑为：
利用P360扫描声呐2°水平波束角，25°垂直范围连续扫描每个目标区域，获取所在平面周围物体的声呐信息；
将所述立体圆柱全景图与声呐信息通过目标识别算法进行综合匹配，依据全景图目标画面比例p与声呐测出的距离d分析得出目标鱼类的实际体长尺寸L。首先，声呐通过发射声波脉冲并接收反射回来的回波来测量目标鱼类与声呐之间的距离。由于声波在水中传播速度是已知的，所以声呐设备通过计算声波脉冲发射和接收回波之间的时间差来确定目标鱼类与声呐之间的距离d。而全景图中的目标鱼类画面比例p可以通过对全景图进行深度学习图像处理来确定。例如，可以使用yolo目标检测算法来识别全景图中目标鱼类的位置和轮廓，并标注出其体长范围(鱼的口部至尾鳍末端)。最后，结合声呐测出的距离d和全景图中目标画面比例p，结合三角测量原理计算出目标鱼类的实际尺寸L。
还包括WIFI传输模块600，用于实现数据传输，通过WIFI传输模块600将声呐信息的和第一视频信息远程传输至外接设备。
这里需要说明的是：当前使用的水下目标声光全景协同识别装置，其主要用于采集水下目标鱼类信息，其用于数据分析的能力总是有限的，而且用于探测的设备还需要远程监视和控制，因此设置一个WIFI传输模块600将识别装置采集的数据发送至外接设备。
声呐探测组件300获取声呐信息，光学成像组件400捕获第一视频信息，这些数据由WI F I传输模块600发送至外接设备。外接设备可以是一个计算机、智能手机、平板电脑或其他支持WiF i连接的设备，外接设备可以进行数据分析、处理和展示，从而实现对声呐信息和第一视频信息的远程监视和控制。
还包括供电模块700，将能量转换为电能，并将电能存储在电池中，所述电池为各个模块提供能量，并将存储能源的电池安装在浮体100中。
具体来说，供电模块700用于WIFI传输模块600、电动推杆组件200、声呐探测组件300、光学成像组件400和识别集成组件500的能量供应；
这里需要说明的是：供电模块700包括但不限于太阳能板供电模块，如图中1所示，所述供电模块700通过连接件固定安装在浮体100的顶部，供电模块700将其它能量转换成电能，如太阳能板供电模块700将太阳能转换为电能存储在电池中。
这里可以根据实际应用场景的不同，供电模块700还可以是动能供电模块或风能供电模块；具体举例为：当前水域水流流速较大，将浮体100固定在特定的位置，在浮体两侧设置有微型动能发电机，将水流流速产生的动能转换为当前水下目标声光全景协同识别装置所需要的电能，并将电能存储在电池中。
当前水域风速较大，在浮体100顶部固定安装有风力供电模块，由风速产生的动能转换为当前水下目标声光全景协同识别装置所需要的电能，并将电能存储在电池中。
实施例2
请参阅图6所示，本实施例未详细叙述部分见实施例1描述内容，提供一种水下目标声光全景协同识别方法，包括以下步骤：
数据采集模块501，获取声呐信息和第一视频信息；
数据处理模块502，基于所述第一视频信息分析获得目标鱼类图像，并通过技术人员控制电动推杆获取更为完整的目标鱼类图像，将完整的目标鱼类图像标记为第一目标图像，将出现第一目标图像对应时间段标记为目标时段，提取目标时段对应的第一视频信息，并将目标时段对应的第一视频信息标记为目标视频信息；
目标识别模块503，通过预设时间帧对所述目标视频信息进行抽帧，抽取N帧目标图像信息，将所述目标图像信息通过视频拼接算法进行帧匹配，拼接生成立体圆柱全景图，将所述立体圆柱全景图协同声呐信息进行目标识别，获得目标鱼类图像对应的种类信息、尺寸信息。
所述目标鱼类图像的获取路径包括但不限于鱼类图库、历史鱼类数据集和专业技术人员标记的鱼类。
所述目标视频信息的获取逻辑：
根据光学成像组件400的数量获得等数量的所述第一视频信息，所述第一视频信息的视频采集时段同步；
任意一个所述第一视频信息识别有所述目标鱼类图像，则将当前视频采集时段标记为目标时段，提取目标时段对应同步的第一视频信息；
所述第一视频信息根据光学成像组件400所在位置以一定顺序进行有序排列，并将有序排列的视频信息标记为目标视频信息。
对所述目标视频信息进行视频抽帧，包括以下步骤：
根据目标时段进行预设帧数获得N个目标帧集合；所述目标帧集合包括有序排列的目标帧图像；所述目标帧图像为对应位置光学成像组件400采集的第一视频信息根据预设帧数对应的帧图像；
将每个所述目标帧集合通过视频拼接算法进行帧匹配，获得时间帧对应的全景图，直至获得N个时间帧对应的全景图。
所述立体圆柱全景图的生成逻辑为：
每个所述目标帧集合中包括M个目标帧图像，任意获得相邻目标帧图像，分别标记为目标帧图像A和目标帧图像B，将目标帧图像B的亮度与目标帧图像A相匹配；
利用sift算法分别提取目标帧图像A和目标帧图像B的特征点，然后利用距离比值法筛选匹配点；
再利用RANSAC算法对特征点进行分析，计算出最佳匹配的变换矩阵H，利用变换矩阵H对目标帧图像B做投影变换，获得目标帧图像B在目标帧图像A中四个顶点的坐标；
根据变换后的坐标等参数评估目标帧图像B是否符合要求，如符合则继续进行拼接，重合部分使用加权平均法进行融合，将融合后的图像标记为初始全景图；否则放弃目标帧图像B；
完成所有相邻目标帧图像的拼接后初始全景图，基于变换矩阵H对初始全景图进行首尾对齐，去除重复部分；再根据最大边界值裁去空白区域，生成立体圆柱全景图。
所述目标鱼类图像对应的种类信息、尺寸信息的获取逻辑为：
利用P360扫描声呐2°水平波束角，25°垂直范围连续扫描每个目标区域，获取所在平面周围物体的声呐信息；
将所述立体圆柱全景图与声呐信息通过目标识别算法进行综合匹配，依据全景图目标画面比例与声呐测出的距离分析得出目标鱼类的实际尺寸与距离。
上述公式均是去量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最近真实情况的一个公式，公式中的预设参数以及阈值选取由本领域的技术人员根据实际情况进行设置。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线网络或无线网络方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。
本领域普通技术人员可以意识到，结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种水下目标声光全景协同识别装置，其特征在于，包括：浮体(100)，以及设置在浮体(100)底部的电动推杆组件(200)，所述电动推杆组件(200)底部通过连接组件连接获取声呐信息的声呐探测组件(300)和第一视频信息的光学成像组件(400)，所述光学成像组件(400)均匀分布在以声呐探测组件(300)为圆心的圆周上；
还包括识别集成组件(500)，所述识别集成组件(500)包括数据采集模块(501)、数据处理模块(502)、目标识别模块(503)；
数据采集模块(501)，获取声呐信息和第一视频信息；
数据处理模块(502)，基于所述第一视频信息分析获得目标鱼类图像，并通过技术人员控制电动推杆获取更为完整的目标鱼类图像，将完整的目标鱼类图像标记为第一目标图像，将出现第一目标图像对应时间段标记为目标时段，提取目标时段对应的第一视频信息，并将目标时段对应的第一视频信息标记为目标视频信息；
目标识别模块(503)，通过预设时间帧对所述目标视频信息进行抽帧，抽取N帧目标图像信息，将所述目标图像信息通过视频拼接算法进行帧匹配，拼接生成立体圆柱全景图，将所述立体圆柱全景图协同声呐信息进行目标识别，获得目标鱼类图像对应的种类信息、尺寸信息。
2.根据权利要求1所述的一种水下目标声光全景协同识别方法，其特征在于，还包括WIFI传输模块(600)，用于实现数据传输，通过WIFI传输模块(600)600将声呐信息的和第一视频信息远程传输至外接设备。
3.根据权利要求1所述的一种水下目标声光全景协同识别方法，其特征在于，还包括供电模块(700)，将能量转换为电能，并将电能存储在电池中，所述电池为各个模块提供能量，并将存储能源的电池安装在浮体(100)中。
4.根据权利要求1所述的一种水下目标声光全景协同识别方法，其特征在于，所述目标鱼类图像的获取路径包括但不限于鱼类图库、历史鱼类数据集和专业技术人员标记的鱼类。
5.根据权利要求1所述的一种水下目标声光全景协同识别方法，其特征在于，所述目标视频信息的获取逻辑：
根据光学成像组件(400)的数量获得等数量的所述第一视频信息，所述第一视频信息的视频采集时段同步；
任意一个所述第一视频信息识别有所述目标鱼类图像，则将当前视频采集时段标记为目标时段，提取目标时段对应同步的第一视频信息；
所述第一视频信息根据光学成像组件(400)所在位置以一定顺序进行有序排列，并将有序排列的视频信息标记为目标视频信息。
6.根据权利要求3所述的一种水下目标声光全景协同识别方法，其特征在于，对所述目标视频信息进行视频抽帧，包括以下步骤：
根据目标时段进行预设帧数获得N个目标帧集合；所述目标帧集合包括有序排列的目标帧图像；所述目标帧图像为对应位置光学成像组件(400)采集的第一视频信息根据预设帧数对应的帧图像；
将每个所述目标帧集合通过视频拼接算法进行帧匹配，获得时间帧对应的全景图，直至获得N个时间帧对应的全景图。
7.根据权利要求6所述的一种水下目标声光全景协同识别方法，其特征在于，所述立体圆柱全景图的生成逻辑为：
每个所述目标帧集合中包括M个目标帧图像，任意获得相邻目标帧图像，分别标记为目标帧图像A和目标帧图像B，将目标帧图像B的亮度与目标帧图像A相匹配；
利用sift算法分别提取目标帧图像A和目标帧图像B的特征点，然后利用距离比值法筛选匹配点；
再利用RANSAC算法对特征点进行分析，计算出最佳匹配的变换矩阵H，利用变换矩阵H对目标帧图像B做投影变换，获得目标帧图像B在目标帧图像A中四个顶点的坐标；
根据变换后的坐标等参数评估目标帧图像B是否符合要求，如符合则继续进行拼接，重合部分使用加权平均法进行融合，将融合后的图像标记为初始全景图；否则放弃目标帧图像B；
完成所有相邻目标帧图像的拼接后初始全景图，基于变换矩阵H对初始全景图进行首尾对齐，去除重复部分；再根据最大边界值裁去空白区域，生成立体圆柱全景图。
8.根据权利要求7所述的一种水下目标声光全景协同识别方法，其特征在于，所述目标鱼类图像对应的种类信息、尺寸信息的获取逻辑为：
利用P360扫描声呐2°水平波束角，25°垂直范围连续扫描每个目标区域，获取所在平面周围物体的声呐信息；
将所述立体圆柱全景图与声呐信息通过目标识别算法进行综合匹配，依据全景图目标画面比例与声呐测出的距离分析得出目标鱼类的实际尺寸与距离。
9.一种水下目标声光全景协同识别方法，其特征在于，基于所述权利要求1～8任一项所述的一种水下目标声光全景协同识别装置，包括：
获取声呐信息和第一视频信息；
基于所述第一视频信息分析获得目标鱼类图像，并通过技术人员控制电动推杆获取更为完整的目标鱼类图像，将完整的目标鱼类图像标记为第一目标图像，将出现第一目标图像对应时间段标记为目标时段，提取目标时段对应的第一视频信息，并将目标时段对应的第一视频信息标记为目标视频信息；
通过预设时间帧对所述目标视频信息进行抽帧，抽取N帧目标图像信息，将所述目标图像信息通过视频拼接算法进行帧匹配，拼接生成立体圆柱全景图，将所述立体圆柱全景图协同声呐信息进行目标识别，获得目标鱼类图像对应的种类信息、尺寸信息。
10.一种电子设备，其特征在于，包括：处理器和存储器，其中，所述存储器中存储有可供处理器调用的计算机程序；
所述处理器通过调用所述存储器中存储的计算机程序，执行权利要求1～8任一项所述的一种水下目标声光全景协同识别装置。
CN202311353714.6A 2023-10-18 2023-10-18 一种水下目标声光全景协同识别装置及识别方法 Pending CN117332370A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311353714.6A CN117332370A (zh) 2023-10-18 2023-10-18 一种水下目标声光全景协同识别装置及识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311353714.6A CN117332370A (zh) 2023-10-18 2023-10-18 一种水下目标声光全景协同识别装置及识别方法

Publications (1)

Publication Number Publication Date
CN117332370A true CN117332370A (zh) 2024-01-02

Family

ID=89295164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311353714.6A Pending CN117332370A (zh) 2023-10-18 2023-10-18 一种水下目标声光全景协同识别装置及识别方法

Country Status (1)

Country Link
CN (1) CN117332370A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118097721A (zh) * 2024-04-29 2024-05-28 江西师范大学 基于多源遥感观测和深度学习的湿地鸟类识别方法及***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118097721A (zh) * 2024-04-29 2024-05-28 江西师范大学 基于多源遥感观测和深度学习的湿地鸟类识别方法及***

Similar Documents

Publication Publication Date Title
CN113570721B (zh) 三维空间模型的重建方法、装置和存储介质
CN111383285B (zh) 一种基于毫米波雷达与摄像机传感器融合标定方法及***
CN111046725B (zh) 一种基于监控视频的人脸识别和点云融合的空间定位方法
JP6192853B2 (ja) 超音波深度検出を使用するオプティカルフロー画像化システム及び方法
CN112767391A (zh) 融合三维点云和二维图像的电网线路部件缺陷定位方法
KR101045323B1 (ko) 다시점 카메라 시스템을 이용한 실시간 항만 영상관제 시스템 및 그 방법
CN110910460B (zh) 一种获取位置信息的方法、装置及标定设备
CN102577349A (zh) 基于图像的表面追踪
CN117332370A (zh) 一种水下目标声光全景协同识别装置及识别方法
CN103903237A (zh) 一种前扫声纳图像序列拼接方法
US20220309761A1 (en) Target detection method, device, terminal device, and medium
CN105980928A (zh) 使用超声波深度感测的rgb-d成像***和方法
EP3664433A1 (en) Information processing device, information processing method, and program, and interchangeable lens
US20220139030A1 (en) Method, apparatus and system for generating a three-dimensional model of a scene
WO2021035756A1 (zh) 基于飞行器的巡检方法、设备及存储介质
CN115100423B (zh) 一种基于视图采集数据实现实时定位***及方法
WO2020049634A1 (ja) 教師データ生成装置、教師データ生成方法、および、教師データ生成システム
CN112270702A (zh) 体积测量方法及装置、计算机可读介质和电子设备
CN112132900A (zh) 一种视觉重定位方法及***
CN113935379B (zh) 一种基于毫米波雷达信号的人体活动分割方法及***
CN117422858A (zh) 一种双光图像目标检测方法、***、设备和介质
CN213186308U (zh) 无人机机载相机阵列全景图像拼接***
CA3142001C (en) Spherical image based registration and self-localization for onsite and offsite viewing
Joslin et al. Development of a stereo-optical camera system for monitoring tidal turbines
CN114594489A (zh) 一种矿用三维彩色点云重建***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination