CN114155275A - 一种基于IOU-Tracker的鱼类跟踪方法和装置 - Google Patents

一种基于IOU-Tracker的鱼类跟踪方法和装置 Download PDF

Info

Publication number
CN114155275A
CN114155275A CN202111366076.2A CN202111366076A CN114155275A CN 114155275 A CN114155275 A CN 114155275A CN 202111366076 A CN202111366076 A CN 202111366076A CN 114155275 A CN114155275 A CN 114155275A
Authority
CN
China
Prior art keywords
frame
fish
matching
rectangular frame
iou
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111366076.2A
Other languages
English (en)
Inventor
毛亮
龚文超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Polytechnic
Original Assignee
Shenzhen Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Polytechnic filed Critical Shenzhen Polytechnic
Priority to CN202111366076.2A priority Critical patent/CN114155275A/zh
Publication of CN114155275A publication Critical patent/CN114155275A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于IOU－Tracker的鱼类跟踪方法和装置，所述方法包括：输入待检测视频，识别出视频中的多个第一鱼类目标，获得第一矩形框、以及每个矩形框在视频帧中的位置信息；根据视频帧的顺序，对相邻两视频帧进行迭代匹配，直到确定为最后一帧时，输出丢失列表和鱼类目标跟踪信息；其中，在每次迭代匹配中，根据第一矩形框的位置信息进行第一IOU值优先匹配，筛选出第二矩形框，继而位置预测匹配，根据匹配结果，更新丢失列表和鱼类目标跟踪信息。本发明实施例采用了高IOU值匹配策略，能解决鱼类之间的粘连问题，实现对鱼类的实时跟踪，在鱼类目标丢失后能够重新进行跟踪，减少跟踪ID转换次数，具有优良的追踪效果。

Description

一种基于IOU-Tracker的鱼类跟踪方法和装置
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于IOU-Tracker的鱼类跟踪方法和装置。
背景技术
近年来，随着研究人员对鱼类的研究手段越来越深入，传统的鱼类养殖监控技术已经不能满足需求，由此逐渐发展出了基于计算机视觉的对鱼类生存环境及行为进行监控的技术。而多目标跟踪技术是计算机视觉领域的关键技术之一，研究水下鱼类的跟踪方法对渔业的发展也具有重要的意义。
目前，主要的跟踪算法采用目标外观特征信息差异作为跟踪以及，例如DeepSort、CenterTrack、SiameseTrack等。但是将这些算法应用于鱼类目标跟踪会面临外观、光照、速度、方向的变化等影响以及运动模糊的问题，且鱼类之间的外观特征信息差异并不明显。在养殖密度大的情况下，鱼类之间的粘连、遮挡问题严重，采用鱼类外观特征信息作为依据的跟踪方法在距离较近的鱼类之间容易大幅提高跟踪ID转换次数，严重时会导致跟踪策略失效。而传统的基于检测器的IOU-Tracker算法也会存在大幅提高跟踪ID转换次数、检测的视频帧数要求较高以及在检测器漏检、目标被遮挡等情况造成的目标丢失时，无法对目标继续跟踪等技术问题。
发明内容
本发明提供了一种基于IOU-Tracker的鱼类跟踪方法和装置，能有效追踪鱼类，在鱼类目标丢失时能重新识别追踪，大幅减少了跟踪ID转换次数。
为了解决上述技术问题，本发明实施例提供了一种基于IOU-Tracker的鱼类跟踪方法，包括：
输入待检测视频，采用ATSS网络识别出所述待检测视频中的多个第一鱼类目标，获得与各所述第一鱼类目标一一对应的第一矩形框、以及每个所述第一矩形框在每个视频帧中的位置信息；
根据视频帧的顺序，依次对相邻两视频帧进行迭代匹配，直到确定当前视频帧为最后一帧时，输出丢失列表和鱼类目标跟踪信息；
其中，在每次迭代匹配中，根据每个所述第一矩形框的位置信息，对各所述第一矩形框进行第一IOU值优先匹配，筛选出第一IOU值优先匹配不成功的所有第一矩形框作为第二矩形框，继而对各所述第二矩形框进行位置预测匹配，然后根据位置预测匹配结果，更新丢失列表和鱼类目标跟踪信息
进一步地，所述根据每个所述第一矩形框的位置信息，对各所述第一矩形框进行第一IOU值优先匹配，具体为：
获取当前帧所述第一矩形框的面积Area(a)和上一帧所述第一矩形框的面积Area(b)，并根据以下公式计算重合度IOU值：
Figure BDA0003358584550000021
其中，IOU(a,b)为重合度IOU值；
筛选出重合度IOU值大于预设阈值的矩形框作为第三矩形框；
根据各所述第三矩形框的重合度IOU值的从大到小的顺序依次将所述第三矩形框和第一跟踪ID集进行匹配。
进一步地，所述对各所述第二矩形框进行位置预测匹配，具体为：
获取所述第二矩形框对应的鱼类目标消失前的最后一帧的位置Df(x,y)和所述第二矩形框对应的鱼类目标消失前的倒数第二帧的位置Df-1(x,y)，并根据以下公式计算所述第二矩形框对应的鱼类目标的移动速度：
V(x,y)＝Df(x,y)-Df-1(x,y)；
其中，V(x，y)为所述第二矩形框对应的鱼类目标的移动速度；
获取当前帧序和所述第二矩形框对应的鱼类目标消失时的帧序，并根据以下公式计算所述第二矩形框对应的鱼类目标第一预设帧数后出现的位置：
Dpre(x,y)＝D(x,y)+V(x,y)×(fn-f)；
其中，Dpre(x，y)为所述第二矩形框对应的鱼类目标第一预设帧数后出现的位置；
根据预测的第一预设帧数后的位置和当前帧，结合第二跟踪ID集，进行第二IOU值优先匹配。
进一步地，所述根据位置预测匹配结果，更新丢失列表和鱼类目标跟踪信息，具体为：
将位置预测匹配结果中未匹配到的第二跟踪ID对应的鱼类目标归入丢失列表，并将未匹配的第二跟踪ID集对应的鱼类目标跟踪信息保留第二预设帧数。
进一步地，在所述对各所述第二矩形框进行位置预测匹配之后，还包括：
将位置预测匹配结果中未匹配到的矩形框作为第四矩形框，添加新的第三跟踪ID集与所述第四矩形框匹配。
相应的，本发明实施例还提供了一种基于IOU-Tracker的鱼类跟踪装置，包括识别模块、匹配模块和输出模块；其中，
所述识别模块用于输入待检测视频，采用ATSS网络识别出所述待检测视频中的多个第一鱼类目标，获得与各所述第一鱼类目标一一对应的第一矩形框、以及每个所述第一矩形框在每个视频帧中的位置信息；
所述匹配模块用于根据视频帧的顺序，依次对相邻两视频帧进行迭代匹配，直到确定当前视频帧为最后一帧，所述输出模块输出丢失列表和鱼类目标跟踪信息；
其中，在每次迭代匹配中，根据每个所述第一矩形框的位置信息，对各所述第一矩形框进行第一IOU值优先匹配，筛选出第一IOU值优先匹配不成功的所有第一矩形框作为第二矩形框，继而对各所述第二矩形框进行位置预测匹配，然后根据位置预测匹配结果，更新丢失列表和鱼类目标跟踪信息。
进一步地，所述匹配模块包括IOU值匹配单元，所述IOU值匹配单元用于根据每个所述第一矩形框的位置信息，对各所述第一矩形框进行第一IOU值优先匹配，具体为：
所述IOU值匹配单元获取当前帧所述第一矩形框的面积Area(a)和上一帧所述第一矩形框的面积Area(b)，并根据以下公式计算重合度IOU值：
Figure BDA0003358584550000041
其中，IOU(a,b)为重合度IOU值；
筛选出重合度IOU值大于预设阈值的矩形框作为第三矩形框；
根据各所述第三矩形框的重合度IOU值的从大到小的顺序依次将所述第三矩形框和第一跟踪ID集进行匹配。
进一步地，所述匹配模块还包括位置预测匹配单元，所述位置预测匹配单元用于对各所述第二矩形框进行位置预测匹配，具体为：
所述位置预测匹配单元获取所述第二矩形框对应的鱼类目标消失前的最后一帧的位置Df(x,y)和所述第二矩形框对应的鱼类目标消失前的倒数第二帧的位置Df-1(x,y)，并根据以下公式计算所述第二矩形框对应的鱼类目标的移动速度：
V(x,y)＝Df(x,y)-Df-1(x,y)；
其中，V(x，y)为所述第二矩形框对应的鱼类目标的移动速度；
获取当前帧序和所述第二矩形框对应的鱼类目标消失时的帧序，并根据以下公式计算所述第二矩形框对应的鱼类目标第一预设帧数后出现的位置：
Dpre(x,y)＝D(x,y)+V(x,y)×(fn-f)；
其中，Dpre(x，y)为所述第二矩形框对应的鱼类目标第一预设帧数后出现的位置；
根据预测的第一预设帧数后的位置和当前帧，结合第二跟踪ID集，进行第二IOU值优先匹配。
进一步地，所述匹配模块还包括更新单元，所述更新单元用于根据位置预测匹配结果，更新丢失列表和鱼类目标跟踪信息，具体为：
所述更新单元将位置预测匹配结果中未匹配到的第二跟踪ID对应的鱼类目标归入丢失列表，并将未匹配的第二跟踪ID集对应的鱼类目标跟踪信息保留第二预设帧数。
进一步地，所述匹配模块还包括跟踪ID添加单元，所述跟踪ID添加单元用于在所述对各所述第二矩形框进行位置预测匹配之后，将位置预测匹配结果中未匹配到的矩形框作为第四矩形框，添加新的第三跟踪ID集与所述第四矩形框匹配。
相比于现有技术，本发明实施例具有如下有益效果：
本发明实施例提供了一种基于IOU-Tracker的鱼类跟踪方法和装置，所述方法包括：输入待检测视频，采用ATSS网络识别出所述待检测视频中的多个第一鱼类目标，获得与各所述第一鱼类目标一一对应的第一矩形框、以及每个所述第一矩形框在每个视频帧中的位置信息；根据视频帧的顺序，依次对相邻两视频帧进行迭代匹配，直到确定当前视频帧为最后一帧时，输出丢失列表和鱼类目标跟踪信息；其中，在每次迭代匹配中，根据每个所述第一矩形框的位置信息，对各所述第一矩形框进行第一IOU值优先匹配，筛选出第一IOU值优先匹配不成功的所有第一矩形框作为第二矩形框，继而对各所述第二矩形框进行位置预测匹配，然后根据位置预测匹配结果，更新丢失列表和鱼类目标跟踪信息。本发明实施例采用了高IOU值匹配策略，在鱼群密度大时能解决鱼类之间的粘连问题，减少跟踪ID转换次数。同时提供了一种改进IOU-Tracker算法，结合ATSS目标识别网络实现了对鱼类的实时跟踪，能很好处理外观信息相近的目标，通过多帧位置预测算法，在鱼类目标丢失后能够重新进行跟踪，具有优良的追踪效果。
附图说明
图1：为本发明基于IOU-Tracker的鱼类跟踪方法提供的一种实施例的流程示意图。
图2：为本发明基于IOU-Tracker的鱼类跟踪装置提供的一种实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
请参照图1，图1为本发明实施例提供的一种基于IOU-Tracker的鱼类跟踪方法，包括步骤S1至S3；其中，
步骤S1，输入待检测视频，采用ATSS网络识别出所述待检测视频中的多个第一鱼类目标，获得与各所述第一鱼类目标一一对应的第一矩形框、以及每个所述第一矩形框在每个视频帧中的位置信息。
ATSS网络是基于锚框和无锚框检测器本质区别提出的一种自适应选择训练样本的检测器。本发明实施例采用Resnet-34作为ATSS网络的主干网络。用于识别出待检测视频中的第一鱼类目标，获得与各所述第一鱼类目标对应的第一矩形框、以及每个第一矩形框在每个视频帧中的位置信息。在每一个输出的检测层中，计算每个锚框中心和目标中心点的L2距离，选取n个锚框中心离目标中心点最近的锚框作为候选正样本。该网络能在不带来额外计算量和参数的情况下大幅提升模型的性能。
步骤S2，根据视频帧的顺序，依次对相邻两视频帧进行迭代匹配。
在本实施例中，在每次迭代匹配中，根据每个所述第一矩形框的位置信息，对各所述第一矩形框进行第一IOU值优先匹配，筛选出第一IOU值优先匹配不成功的所有第一矩形框作为第二矩形框，继而对各所述第二矩形框进行位置预测匹配，然后根据位置预测匹配结果，更新丢失列表和鱼类目标跟踪信息。
在本实施例中，所述根据每个所述第一矩形框的位置信息，对各所述第一矩形框进行第一IOU值优先匹配，具体为：
获取当前帧所述第一矩形框的面积Area(a)和上一帧所述第一矩形框的面积Area(b)，并根据以下公式计算重合度IOU值：
Figure BDA0003358584550000071
其中，IOU(a,b)为重合度IOU值；
筛选出重合度IOU值大于预设阈值的矩形框作为第三矩形框；
根据各所述第三矩形框的重合度IOU值的从大到小的顺序依次将所述第三矩形框和第一跟踪ID集进行匹配。针对目标粘连、遮挡情况下现有技术的IOU-Tracker算法的单阈值匹配易造成的IDSW问题，本发明实施例采用了高IOU值优先匹配策略，针对重合度大的矩形框/鱼类目标优先与跟踪ID匹配，解决了IDSW的问题。
优选地，针对检测框抖动、目标被遮挡情况下的目标丢失，本发明实施例提出了多帧位置预测算法，所述多帧位置预测算法具体包括：
获取所述第二矩形框对应的鱼类目标消失前的最后一帧的位置Df(x,y)和所述第二矩形框对应的鱼类目标消失前的倒数第二帧的位置Df-1(x,y)，并根据以下公式计算所述第二矩形框对应的鱼类目标的移动速度：
V(x,y)＝Df(x,y)-Df-1(x,y)；
其中，V(x，y)为所述第二矩形框对应的鱼类目标的移动速度。
获取当前帧序和所述第二矩形框对应的鱼类目标消失时的帧序，并根据以下公式计算所述第二矩形框对应的鱼类目标第一预设帧数后出现的位置：
Dpre(x,y)＝D(x,y)+V(x,y)×(fn-f)；
其中，Dpre(x，y)为所述第二矩形框对应的鱼类目标第一预设帧数后出现的位置；
根据预测的第一预设帧数后的位置和当前帧，结合第二跟踪ID集，进行第二IOU值优先匹配，使目标再现与消失时的跟踪ID相关联。
在在所述对各所述第二矩形框进行位置预测匹配之后，还包括：
将位置预测匹配结果中未匹配到的矩形框作为第四矩形框，添加新的第三跟踪ID集与所述第四矩形框匹配。
作为本实施例的一种举例，所述根据位置预测匹配结果，更新丢失列表和鱼类目标跟踪信息，具体为：
为了防止数据冗余，将位置预测匹配结果中未匹配到的第二跟踪ID对应的鱼类目标归入丢失列表，并将未匹配的第二跟踪ID集对应的鱼类目标跟踪信息保留第二预设帧数。所述第二预设帧数太大容易丢失目标，太小会造成信息冗余，而本发明实施例提供的方法可根据实际需要进行设定所述第二预设帧数。
步骤S3，直到确定当前视频帧为最后一帧时，输出丢失列表和鱼类目标跟踪信息。
相应的，本发明实施例还提供了一种基于IOU-Tracker的鱼类跟踪装置，包括识别模块101、匹配模块102和输出模块103；其中，
所述识别模块101用于输入待检测视频，采用ATSS网络识别出所述待检测视频中的多个第一鱼类目标，获得与各所述第一鱼类目标一一对应的第一矩形框、以及每个所述第一矩形框在每个视频帧中的位置信息；
所述匹配模块102用于根据视频帧的顺序，依次对相邻两视频帧进行迭代匹配，直到确定当前视频帧为最后一帧，所述输出模块103输出丢失列表和鱼类目标跟踪信息；
其中，在每次迭代匹配中，根据每个所述第一矩形框的位置信息，对各所述第一矩形框进行第一IOU值优先匹配，筛选出第一IOU值优先匹配不成功的所有第一矩形框作为第二矩形框，继而对各所述第二矩形框进行位置预测匹配，然后根据位置预测匹配结果，更新丢失列表和鱼类目标跟踪信息。
进一步地，所述匹配模块102包括IOU值匹配单元，所述IOU值匹配单元用于根据每个所述第一矩形框的位置信息，对各所述第一矩形框进行第一IOU值优先匹配，具体为：
所述IOU值匹配单元获取当前帧所述第一矩形框的面积Area(a)和上一帧所述第一矩形框的面积Area(b)，并根据以下公式计算重合度IOU值：
Figure BDA0003358584550000081
其中，IOU(a,b)为重合度IOU值；
筛选出重合度IOU值大于预设阈值的矩形框作为第三矩形框；
根据各所述第三矩形框的重合度IOU值的从大到小的顺序依次将所述第三矩形框和第一跟踪ID集进行匹配。
在本实施例中，所述匹配模块102还包括位置预测匹配单元，所述位置预测匹配单元用于对各所述第二矩形框进行位置预测匹配，具体为：
所述位置预测匹配单元获取所述第二矩形框对应的鱼类目标消失前的最后一帧的位置Df(x,y)和所述第二矩形框对应的鱼类目标消失前的倒数第二帧的位置Df-1(x,y)，并根据以下公式计算所述第二矩形框对应的鱼类目标的移动速度：
V(x,y)＝Df(x,y)-Df-1(x,y)；
其中，V(x，y)为所述第二矩形框对应的鱼类目标的移动速度。
获取当前帧序和所述第二矩形框对应的鱼类目标消失时的帧序，并根据以下公式计算所述第二矩形框对应的鱼类目标第一预设帧数后出现的位置：
Dpre(x,y)＝D(x,y)+V(x,y)×(fn-f)；
其中，Dpre(x，y)为所述第二矩形框对应的鱼类目标第一预设帧数后出现的位置；
根据预测的第一预设帧数后的位置和当前帧，结合第二跟踪ID集，进行第二IOU值优先匹配。
在本实施例中，所述匹配模块102还包括更新单元，所述更新单元用于根据位置预测匹配结果，更新丢失列表和鱼类目标跟踪信息，具体为：
所述更新单元将位置预测匹配结果中未匹配到的第二跟踪ID对应的鱼类目标归入丢失列表，并将未匹配的第二跟踪ID集对应的鱼类目标跟踪信息保留第二预设帧数。
进一步地，所述匹配模块102还包括跟踪ID添加单元，所述跟踪ID添加单元用于在所述对各所述第二矩形框进行位置预测匹配之后，将位置预测匹配结果中未匹配到的矩形框作为第四矩形框，添加新的第三跟踪ID集与所述第四矩形框匹配。
相比于现有技术，本发明实施例具有如下有益效果：
本发明实施例提供了一种基于IOU-Tracker的鱼类跟踪方法和装置，所述方法包括：输入待检测视频，采用ATSS网络识别出所述待检测视频中的多个第一鱼类目标，获得与各所述第一鱼类目标一一对应的第一矩形框、以及每个所述第一矩形框在每个视频帧中的位置信息；根据视频帧的顺序，依次对相邻两视频帧进行迭代匹配，直到确定当前视频帧为最后一帧时，输出丢失列表和鱼类目标跟踪信息；其中，在每次迭代匹配中，根据每个所述第一矩形框的位置信息，对各所述第一矩形框进行第一IOU值优先匹配，筛选出第一IOU值优先匹配不成功的所有第一矩形框作为第二矩形框，继而对各所述第二矩形框进行位置预测匹配，然后根据位置预测匹配结果，更新丢失列表和鱼类目标跟踪信息。本发明实施例采用了高IOU值匹配策略，在鱼群密度大时能解决鱼类之间的粘连问题，减少跟踪ID转换次数。同时提供了一种改进IOU-Tracker算法，结合ATSS目标识别网络实现了对鱼类的实时跟踪，能很好处理外观信息相近的目标，通过多帧位置预测算法，在鱼类目标丢失后能够重新进行跟踪，具有优良的追踪效果。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于IOU－Tracker的鱼类跟踪方法，其特征在于，包括：
输入待检测视频，采用ATSS网络识别出所述待检测视频中的多个第一鱼类目标，获得与各所述第一鱼类目标一一对应的第一矩形框、以及每个所述第一矩形框在每个视频帧中的位置信息；
根据视频帧的顺序，依次对相邻两视频帧进行迭代匹配，直到确定当前视频帧为最后一帧时，输出丢失列表和鱼类目标跟踪信息；
其中，在每次迭代匹配中，根据每个所述第一矩形框的位置信息，对各所述第一矩形框进行第一IOU值优先匹配，筛选出第一IOU值优先匹配不成功的所有第一矩形框作为第二矩形框，继而对各所述第二矩形框进行位置预测匹配，然后根据位置预测匹配结果，更新丢失列表和鱼类目标跟踪信息。
2.如权利要求1所述的一种基于IOU－Tracker的鱼类跟踪方法，其特征在于，所述根据每个所述第一矩形框的位置信息，对各所述第一矩形框进行第一IOU值优先匹配，具体为：
获取当前帧所述第一矩形框的面积Area(a)和上一帧所述第一矩形框的面积Area(b)，并根据以下公式计算重合度IOU值：
Figure FDA0003358584540000011
其中，IOU(a,b)为重合度IOU值；
筛选出重合度IOU值大于预设阈值的矩形框作为第三矩形框；
根据各所述第三矩形框的重合度IOU值的从大到小的顺序依次将所述第三矩形框和第一跟踪ID集进行匹配。
3.如权利要求1所述的一种基于IOU－Tracker的鱼类跟踪方法，其特征在于，所述对各所述第二矩形框进行位置预测匹配，具体为：
获取所述第二矩形框对应的鱼类目标消失前的最后一帧的位置Df(x,y)和所述第二矩形框对应的鱼类目标消失前的倒数第二帧的位置Df-1(x,y)，并根据以下公式计算所述第二矩形框对应的鱼类目标的移动速度：
V(x,y)＝Df(x,y)-Df-1(x,y)；
其中，V(x，y)为所述第二矩形框对应的鱼类目标的移动速度；
获取当前帧序和所述第二矩形框对应的鱼类目标消失时的帧序，并根据以下公式计算所述第二矩形框对应的鱼类目标第一预设帧数后出现的位置：
Dpre(x,y)＝D(x,y)+V(x,y)×(fn-f)；
其中，Dpre(x，y)为所述第二矩形框对应的鱼类目标第一预设帧数后出现的位置；
根据预测的第一预设帧数后的位置和当前帧，结合第二跟踪ID集，进行第二IOU值优先匹配。
4.如权利要求1所述的一种基于IOU－Tracker的鱼类跟踪方法，其特征在于，所述根据位置预测匹配结果，更新丢失列表和鱼类目标跟踪信息，具体为：
将位置预测匹配结果中未匹配到的第二跟踪ID对应的鱼类目标归入丢失列表，并将未匹配的第二跟踪ID集对应的鱼类目标跟踪信息保留第二预设帧数。
5.如权利要求1至4任意一项所述的一种基于IOU－Tracker的鱼类跟踪方法，其特征在于，在所述对各所述第二矩形框进行位置预测匹配之后，还包括：
将位置预测匹配结果中未匹配到的矩形框作为第四矩形框，添加新的第三跟踪ID集与所述第四矩形框匹配。
6.一种基于IOU－Tracker的鱼类跟踪装置，其特征在于，包括识别模块、匹配模块和输出模块；其中，
所述识别模块用于输入待检测视频，采用ATSS网络识别出所述待检测视频中的多个第一鱼类目标，获得与各所述第一鱼类目标一一对应的第一矩形框、以及每个所述第一矩形框在每个视频帧中的位置信息；
所述匹配模块用于根据视频帧的顺序，依次对相邻两视频帧进行迭代匹配，直到确定当前视频帧为最后一帧，所述输出模块输出丢失列表和鱼类目标跟踪信息；
其中，在每次迭代匹配中，根据每个所述第一矩形框的位置信息，对各所述第一矩形框进行第一IOU值优先匹配，筛选出第一IOU值优先匹配不成功的所有第一矩形框作为第二矩形框，继而对各所述第二矩形框进行位置预测匹配，然后根据位置预测匹配结果，更新丢失列表和鱼类目标跟踪信息。
7.如权利要求6所述的一种基于IOU－Tracker的鱼类跟踪装置，其特征在于，所述匹配模块包括IOU值匹配单元，所述IOU值匹配单元用于根据每个所述第一矩形框的位置信息，对各所述第一矩形框进行第一IOU值优先匹配，具体为：
所述IOU值匹配单元获取当前帧所述第一矩形框的面积Area(a)和上一帧所述第一矩形框的面积Area(b)，并根据以下公式计算重合度IOU值：
Figure FDA0003358584540000031
其中，IOU(a,b)为重合度IOU值；
筛选出重合度IOU值大于预设阈值的矩形框作为第三矩形框；
根据各所述第三矩形框的重合度IOU值的从大到小的顺序依次将所述第三矩形框和第一跟踪ID集进行匹配。
8.如权利要求6所述的一种基于IOU－Tracker的鱼类跟踪装置，其特征在于，所述匹配模块还包括位置预测匹配单元，所述位置预测匹配单元用于对各所述第二矩形框进行位置预测匹配，具体为：
所述位置预测匹配单元获取所述第二矩形框对应的鱼类目标消失前的最后一帧的位置Df(x,y)和所述第二矩形框对应的鱼类目标消失前的倒数第二帧的位置Df-1(x,y)，并根据以下公式计算所述第二矩形框对应的鱼类目标的移动速度：
V(x,y)＝Df(x,y)-Df-1(x,y)；
其中，V(x，y)为所述第二矩形框对应的鱼类目标的移动速度；
获取当前帧序和所述第二矩形框对应的鱼类目标消失时的帧序，并根据以下公式计算所述第二矩形框对应的鱼类目标第一预设帧数后出现的位置：
Dpre(x,y)＝D(x,y)+V(x,y)×(fn-f)；
其中，Dpre(x，y)为所述第二矩形框对应的鱼类目标第一预设帧数后出现的位置；
根据预测的第一预设帧数后的位置和当前帧，结合第二跟踪ID集，进行第二IOU值优先匹配。
9.如权利要求6所述的一种基于IOU－Tracker的鱼类跟踪装置，其特征在于，所述匹配模块还包括更新单元，所述更新单元用于根据位置预测匹配结果，更新丢失列表和鱼类目标跟踪信息，具体为：
所述更新单元将位置预测匹配结果中未匹配到的第二跟踪ID对应的鱼类目标归入丢失列表，并将未匹配的第二跟踪ID集对应的鱼类目标跟踪信息保留第二预设帧数。
10.如权利要求6至9任意一项所述的一种基于IOU－Tracker的鱼类跟踪装置，其特征在于，所述匹配模块还包括跟踪ID添加单元，所述跟踪ID添加单元用于在所述对各所述第二矩形框进行位置预测匹配之后，将位置预测匹配结果中未匹配到的矩形框作为第四矩形框，添加新的第三跟踪ID集与所述第四矩形框匹配。
CN202111366076.2A 2021-11-17 2021-11-17 一种基于IOU-Tracker的鱼类跟踪方法和装置 Pending CN114155275A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111366076.2A CN114155275A (zh) 2021-11-17 2021-11-17 一种基于IOU-Tracker的鱼类跟踪方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111366076.2A CN114155275A (zh) 2021-11-17 2021-11-17 一种基于IOU-Tracker的鱼类跟踪方法和装置

Publications (1)

Publication Number Publication Date
CN114155275A true CN114155275A (zh) 2022-03-08

Family

ID=80456866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111366076.2A Pending CN114155275A (zh) 2021-11-17 2021-11-17 一种基于IOU-Tracker的鱼类跟踪方法和装置

Country Status (1)

Country Link
CN (1) CN114155275A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516556A (zh) * 2019-07-31 2019-11-29 平安科技（深圳）有限公司 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质
WO2020082258A1 (zh) * 2018-10-24 2020-04-30 深圳鲲云信息科技有限公司 一种多目标实时跟踪方法、装置及电子设备
CN111145214A (zh) * 2019-12-17 2020-05-12 深圳云天励飞技术有限公司 目标跟踪方法、装置、终端设备及介质
CN113192106A (zh) * 2021-04-25 2021-07-30 深圳职业技术学院 一种家畜跟踪方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020082258A1 (zh) * 2018-10-24 2020-04-30 深圳鲲云信息科技有限公司 一种多目标实时跟踪方法、装置及电子设备
CN110516556A (zh) * 2019-07-31 2019-11-29 平安科技（深圳）有限公司 基于Darkflow-DeepSort的多目标追踪检测方法、装置及存储介质
CN111145214A (zh) * 2019-12-17 2020-05-12 深圳云天励飞技术有限公司 目标跟踪方法、装置、终端设备及介质
CN113192106A (zh) * 2021-04-25 2021-07-30 深圳职业技术学院 一种家畜跟踪方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIFENG ZHANG ET AL.: "Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection", 《ARXIV》, 20 June 2020 (2020-06-20), pages 1 - 10 *

Similar Documents

Publication Publication Date Title
CN108447080B (zh) 基于分层数据关联和卷积神经网络的目标跟踪方法、***和存储介质
CN107451553B (zh) 一种基于超图转变的视频中暴力事件检测方法
CN110751674A (zh) 多目标跟踪方法及相应视频分析***
Prasetyo et al. A comparison of yolo and mask r-cnn for segmenting head and tail of fish
US20080187172A1 (en) Tracking Apparatus And Tracking Method
CN109448027B (zh) 一种基于算法融合的自适应、持久的运动目标识别方法
CN115830075A (zh) 一种面向行人多目标跟踪的分级关联匹配方法
CN110688940A (zh) 一种快速的基于人脸检测的人脸追踪方法
CN111739053A (zh) 一种复杂场景下的在线多行人检测跟踪方法
Liang et al. Deep background subtraction with guided learning
CN115457082A (zh) 一种基于多特征融合增强的行人多目标跟踪算法
Zhong et al. A general moving detection method using dual-target nonparametric background model
CN116311063A (zh) 监控视频下基于人脸识别的人员细粒度跟踪方法及***
Han et al. A method based on multi-convolution layers joint and generative adversarial networks for vehicle detection
CN115049954A (zh) 目标识别方法、装置、电子设备和介质
CN113537077A (zh) 基于特征池优化的标签多伯努利视频多目标跟踪方法
CN115631214A (zh) 一种基于运动信息和语义信息的多目标跟踪方法及***
Mishra Video shot boundary detection using hybrid dual tree complex wavelet transform with Walsh Hadamard transform
Fu et al. A case study of utilizing YOLOT based quantitative detection algorithm for marine benthos
Chung et al. SSAT: Self-supervised associating network for multiobject tracking
Bain et al. Count, crop and recognise: Fine-grained recognition in the wild
Hati et al. LOBS: Local background subtracter for video surveillance
Gao et al. Beyond group: Multiple person tracking via minimal topology-energy-variation
CN111681264A (zh) 一种监控场景的实时多目标跟踪方法
CN114155275A (zh) 一种基于IOU-Tracker的鱼类跟踪方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination