CN105225229A - 基于视频信号的鱼类过坝运动轨迹定位装置与方法 - Google Patents

基于视频信号的鱼类过坝运动轨迹定位装置与方法 Download PDF

Info

Publication number
CN105225229A
CN105225229A CN201510566348.1A CN201510566348A CN105225229A CN 105225229 A CN105225229 A CN 105225229A CN 201510566348 A CN201510566348 A CN 201510566348A CN 105225229 A CN105225229 A CN 105225229A
Authority
CN
China
Prior art keywords
fish
coordinate
foreground object
foreground
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510566348.1A
Other languages
English (en)
Other versions
CN105225229B (zh
Inventor
陈从平
黄正
聂葳
王小云
黄杰光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pingyi Economic Development Zone Investment Development Co.,Ltd.
Original Assignee
China Three Gorges University CTGU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Three Gorges University CTGU filed Critical China Three Gorges University CTGU
Priority to CN201510566348.1A priority Critical patent/CN105225229B/zh
Publication of CN105225229A publication Critical patent/CN105225229A/zh
Application granted granted Critical
Publication of CN105225229B publication Critical patent/CN105225229B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

基于视频信号的鱼类过坝运动轨迹定位装置与方法,包括视频获取装置、视频处理装置,所述视频获取装置包括桁架、固定安装在桁架相互垂直三个面上的三个水下摄像机:顶面摄像机、右面摄像机、正面摄像机;所述视频处理装置包括计算机、安装在计算机上的图像处理***,所述水下摄像机与所述计算机通过数据线连接。所述桁架上的任意位置设置了绝对参考坐标系。本发明一种基于视频信号的鱼类过坝运动轨迹定位装置与方法,具有自动化程度高、鲁棒性强的特点,能够实时有效的定位鱼类过坝运动轨迹。

Description

基于视频信号的鱼类过坝运动轨迹定位装置与方法
技术领域
本发明涉及一种基于视频信号的鱼类过坝运动轨迹定位装置与方法,具体涉及鱼类过坝运动轨迹监测领域。
背景技术
水利水电工程对河流的阻隔导致河流生态***受到了严重的影响。其中,对具有洄游***鱼影探测技术等来对鱼的游动轨迹进行跟踪,但由于水下声噪声复杂,且噪声功率密度较大,鱼游动产生的声呐信号易淹没于环境噪声中,加之声呐信号定位技术本身较为复杂,因而在实际使用中效果并不理想。而机器视觉具有眼见为实、鲁棒性强的特点,通过视频信号定位鱼类的运动轨迹,一方面能够实时的区分待观测鱼类与其他杂物的区别并判断是否需要进行定位;另一方面也能够有效的降低水纹、噪声等因素的影响。因此,开发一种基于视频信号的鱼类过坝运动轨迹定位装置是有必要的。
发明内容
本发明提供一种基于视频信号的鱼类过坝运动轨迹定位装置与方法,具有自动化程度高、鲁棒性强的特点,能够实时有效的定位鱼类过坝运动轨迹。
本发明所采用的技术方案是:
基于视频信号的鱼类过坝运动轨迹定位装置,包括视频获取装置、视频处理装置,所述视频获取装置包括桁架、固定安装在桁架相互垂直三个面上的三个水下摄像机:顶面摄像机、右面摄像机、正面摄像机;所述视频处理装置包括计算机、安装在计算机上的图像处理***,所述水下摄像机与所述计算机通过数据线连接。
所述桁架为长方体框架或者类长方体框架,其通过螺栓在鱼槽中固定。
所述桁架上的任意位置设置了绝对参考坐标系,三个水下摄像机与绝对参考坐标系的位置、距离关系进行了标定。
基于视频信号的鱼类过坝运动轨迹定位方法,包括以下步骤:
步骤1、背景建模:通过混合高斯算法建立动态的背景模型,首先为消除缓慢光照变化对背景模型的影响,设置t时刻图像中某一点的像素值为滑动平均像素值μt
μ t = ( 1 - α ) n Σ i = 1 n μ t - n + αp t - - - ( 1 )
其中,α与n为设定阈值,μt-n为第t-n时刻的此点的滑动平均像素值,pt为当前时刻t此点的像素值,当光照发生缓慢变化时,背景点的μt也将发生缓慢变化但变化值不超过设定的阈值,故仍可被认为是背景;其次,由于振荡的水纹会使背景像素值在几个数值间变化,故对每个像素值建立多个滑动平均值模型以消除水纹所造成的影响;并且,当光照发生变化使某一滑动平均值模型被击中次数变少时,移除此模型;反之,若某一像素值被频繁的击中,则对其建立新的滑动平均值模型。
步骤2、前景匹配:确定水下摄像机视野中的背景信息后,图像处理***即可通过降噪、二值化、帧差、边缘提取等步骤识别出处于不同视角的水下摄像机所拍摄的三幅图像中的前景物体;当三幅图像中都只有一个前景物体时,则认为此时三幅图像中的前景物体互相匹配的,为同一物体在不同摄像机中的投影图;当三幅图像中有多个前景物体时,则提取每幅图像中每个前景物体中心点的坐标,由三部水下摄像机位置的几何关系可知,当处于不同图像中的三个前景物体为同一物体的投影时,其由右面摄像机所拍摄前景物体中心点坐标的纵坐标值yyou应和顶面摄像机所拍摄前景物体中心点坐标的纵坐标值yding相近或相等,且正面摄像机所拍摄前景物体中心点坐标的横坐标值xzheng应和顶面摄像机所拍摄前景物体中心点坐标的横坐标值xding相近或相等,故可由以下公式确定不同图像中的三个前景物体是否相匹配:
||yyou-yding||2<T1,且||xding-xzheng||2<T1(2)
其中,T1为设定阈值,当||yyou-yding||2及||xding-xzheng||2的值都小于T1时,则认为三幅图像中前景物体相互匹配,可对这些前景物体进行下一步处理。
步骤3、鱼类识别:当确定互为同一物体投影的三个前景物体后,即可通过特征匹配判定这些前景物体是否为鱼类的投影,通过全局特征匹配与局部特征匹配联合的方式对前景物体进行识别,首先考虑到鱼类边缘模板具有形状独特的头部、背鳍、尾鳍特征,其头部、背鳍、尾鳍的上下、或左右边缘的满足一定的线性关系,故可通过计算前景物体相应区域的边缘像素差值是否满足线性关系以判断其是否满足局部特征匹配:
h y i = | | h y 1 i - h y 2 i | | 2 i = 1 , 2 ... n &Sigma; i = 1 M &sigma; ( h y i + 1 - h y i - 1 + 2 h y i ) < T 1 q u a l i f i e d - - - ( 3 )
其中,为头部区域图像中的第i列的上下边缘差值,σ为标准差,T1为设定阈值。当的标准差小于阈值时,认为此头部区域的边缘像素差值一定满足线性关系,满足局部匹配要求,其他区域计算方式与头部区域计算方式类似。
步骤4、轨迹定位:若三幅图像中的前景物体都满足步骤3中的阈值要求时,则认为三个前景物体为鱼类的投影,此时可按步骤2分别提取三个前景物体的中心点坐标,再结合绝对参考坐标系与各个摄像机的位置关系,可得正面摄像机所拍摄前景物体的中心点p1的空间坐标为(x1,y1,z1),右面摄像机所拍摄前景物体的中心点p2的空间坐标为(x2,y2,z2),顶面摄像机所拍摄前景物体的中心点p3的坐标为(x3,y3,z3)。此时,设正面、右面、顶面摄像机光轴的方向向量分别为则每个中心点沿其所对应的方向向量所指的方向可形成三条空间直线L1,L2,L3
所述步骤3中,当三个前景物体中任意一个满足局部特征匹配时,则认为此三个前景物体为待识别鱼类的投影,但由于鱼类在水中游动时为不规则体且容易被杂物遮挡,故有可能三个前景物体都不满足局部特征匹配,此时则再根据全局特征匹配判定三个前景物体是否为待识别鱼类的投影,全局特征匹配采用对变形不敏感的改进Hu矩值进行计算,得到三个前景物体的Hu矩值并查看这些Hu矩值是否满足阈值要求:
①:当三个前景物体模型都不满足阈值要求时,则判断所拍摄的物体为非鱼类;
②:当三个前景物体模型的其中一个满足阈值要求时,则判断所拍摄的物体为被遮挡的鱼类,但由于无法通过单一图像获得其三维轨迹,故不对其进行轨迹定位;
③:当三个前景物体模型的匹配阈值的其中两个满足要求时,则判断所拍摄的物体为被遮挡的鱼类,此时可通过满足阈值要求的两幅图像对其进行轨迹定位;
④:当三个前景物体模型的匹配阈值都满足要求时,则判断所拍摄的物体为未被遮挡的鱼类,此时可通过满足阈值要求的三幅图像对其进行轨迹定位。
所述步骤4中,
a:当三条空间直线L1,L2,L3相交于一点Q时,此时鱼的最优轨迹坐标为三者交点Q的坐标;
b:当三条空间直线L1,L2,L3其中两条交于一点Q,第三条与其他两条互为异面直线且与这两条直线组成的平面相交于一点O时,此时鱼类最优轨迹坐标为点Q与点O相连线段的中点P的坐标;
c:当三条空间直线L1,L2,L3其中两条互为异面直线,第三条与其他两条分别相交于点Q与点O时,此时鱼类最优轨迹坐标为点Q与点O相连线段的中点P的坐标;
d:当三条空间直线L1,L2,L3互为异面直线时,过此三条直线以及它们的平行线可构建一空间六面体(如长方体的三条异面棱边),此时鱼的最优轨迹坐标为空间六面体的体心Q的坐标;
若三幅图像中的前景物体只有两个满足步骤3中的阈值要求时,则认为其中一个视图受到了遮挡、变形等干扰,此时,摒除此干扰图的信息并同上述处理方法可确定两条空间直线L1,L2。当L1,L2相交于一点Q时,鱼类最优轨迹坐标即为点Q的坐标;当L1,L2互为异面直线时,鱼的最优轨迹坐标即为两直线公垂线段的中点P的坐标。
本发明一种基于视频信号的鱼类过坝运动轨迹定位装置与方法,技术效果如下:
1)、本发明将多台摄像机坐标系分别向设定的同一参考固定坐标系进行标定,避免了复杂的多相机联合标定及计算繁冗的三维重构的问题,使得标定、使用更为简便,实时性也更强;
2)、本发明能够实时的区分待观测鱼类与其他杂物,避免了将随流的杂物判断为鱼类,排除了干扰;
3)、本发明受环境影响程度低,能够有效的降低水纹、噪声等因素的影响,具有更好的适用性;
4)、本发明应用成本较低,其便于移植,移植后只要摄像机之间的相互空间位置不变,亦不需要重新标定。
附图说明
图1为本发明装置的结构示意图。
图2为本发明的算法模型图。
图3为本发明的轨迹定位示意图;
其中:图3a为三条空间直线L1,L2,L3相交于一点Q时,鱼类最优轨迹坐标图;
图3b为三条空间直线L1,L2,L3其中两条交于一点Q时,鱼类最优轨迹坐标图;
图3c为三条空间直线L1,L2,L3其中两条互为异面直线时,鱼类最优轨迹坐标图;
图3d为三条空间直线L1,L2,L3互为异面直线时,鱼类最优轨迹坐标图。
上述图中:
1-顶面摄像机,2-右面摄像机,3-正面摄像机,4-桁架,5-绝对参考坐标系,6-计算机,7-鱼类头部区域,8-鱼类背鳍区域,9-鱼类尾鳍区域。
具体实施方式
如图1所示,基于视频信号的鱼类过坝运动轨迹定位装置,包括视频获取装置、视频处理装置,所述视频获取装置包括桁架4、固定安装在桁架4相互垂直三个面上的三个水下摄像机:顶面摄像机1、右面摄像机2、正面摄像机3,均为水下红外摄像机。所述视频处理装置包括计算机6、安装在计算机6上的图像处理***,所述水下摄像机与所述计算机6通过数据线连接。
所述桁架4为长方体框架或者类长方体框架,其通过螺栓在鱼槽中固定,避免漂浮和晃动。所述桁架4上的任意位置设置了绝对参考坐标系5,三个水下摄像机与绝对参考坐标系5的位置、距离关系进行了标定,并严格测量出三个水下摄像机坐标系各自与绝对参考坐标系5之间的映射关系。
基于视频信号的鱼类过坝运动轨迹定位方法,图像处理***中包括以下步骤:
步骤1、背景建模:通过混合高斯算法建立动态的背景模型,首先为消除缓慢光照变化对背景模型的影响,设置t时刻图像中某一点的像素值为滑动平均像素值μt
&mu; t = ( 1 - &alpha; ) n &Sigma; i = 1 n &mu; t - n + &alpha;p t - - - ( 1 )
其中,α与n为设定阈值,μt-n为第t-n时刻的此点的滑动平均像素值,pt为当前时刻t此点的像素值,当光照发生缓慢变化时,背景点的μt也将发生缓慢变化但变化值不超过设定的阈值,故仍可被认为是背景;其次,由于振荡的水纹会使背景像素值在几个数值间变化,故对每个像素值建立多个滑动平均值模型以消除水纹所造成的影响;并且,当光照发生变化使某一滑动平均值模型被击中次数变少时,移除此模型;反之,若某一像素值被频繁的击中,则对其建立新的滑动平均值模型。
步骤2、前景匹配:确定水下摄像机视野中的背景信息后,图像处理***即可通过降噪、二值化、帧差、边缘提取等步骤识别出处于不同视角的水下摄像机所拍摄的三幅图像中的前景物体;当三幅图像中都只有一个前景物体时,则认为此时三幅图像中的前景物体互相匹配的,为同一物体在不同摄像机中的投影图;当三幅图像中有多个前景物体时,则提取每幅图像中每个前景物体中心点的坐标,由三部水下摄像机位置的几何关系可知,当处于不同图像中的三个前景物体为同一物体的投影时,其由右面摄像机2所拍摄前景物体中心点坐标的纵坐标值yyou应和顶面摄像机1所拍摄前景物体中心点坐标的纵坐标值yding相近或相等,且正面摄像机3所拍摄前景物体中心点坐标的横坐标值xzheng应和顶面摄像机1所拍摄前景物体中心点坐标的横坐标值xding相近或相等,故可由以下公式确定不同图像中的三个前景物体是否相匹配:
||yyou-yding||2<T1,且||xding-xzheng||2<T1(2)
其中,T1为设定阈值,当||yyou-yding||2及||xding-xzheng||2的值都小于T1时,则认为三幅图像中前景物体相互匹配,可对这些前景物体进行下一步处理。
步骤3、鱼类识别:当确定互为同一物体投影的三个前景物体后,即可通过特征匹配判定这些前景物体是否为鱼类的投影,通过全局特征匹配与局部特征匹配联合的方式对前景物体进行识别,首先考虑到鱼类边缘模板具有形状独特的头部、背鳍、尾鳍特征,其头部、背鳍、尾鳍的上下、或左右边缘的满足一定的线性关系,故可通过计算前景物体相应区域的边缘像素差值是否满足线性关系以判断其是否满足局部特征匹配:
h y i = | | h y 1 i - h y 2 i | | 2 i = 1 , 2 ... n &Sigma; i = 1 M &sigma; ( h y i + 1 - h y i - 1 + 2 h y i ) < T 1 q u a l i f i e d - - - ( 3 )
其中,为头部区域图像中的第i列的上下边缘差值,σ为标准差,T1为设定阈值。当的标准差小于阈值时,认为此头部区域的边缘像素差值一定满足线性关系,满足局部匹配要求,其他区域计算方式与头部区域计算方式类似。
当三个前景物体中任意一个满足局部特征匹配时,则认为此三个前景物体为待识别鱼类的投影,但由于鱼类在水中游动时为不规则体且容易被杂物遮挡,故有可能三个前景物体都不满足局部特征匹配,此时则再根据全局特征匹配判定三个前景物体是否为待识别鱼类的投影,全局特征匹配采用对变形不敏感的改进Hu矩值进行计算,得到三个前景物体的Hu矩值并查看这些Hu矩值是否满足阈值要求:
①:当三个前景物体模型都不满足阈值要求时,则判断所拍摄的物体为非鱼类;
②:当三个前景物体模型的其中一个满足阈值要求时,则判断所拍摄的物体为被遮挡的鱼类,但由于无法通过单一图像获得其三维轨迹,故不对其进行轨迹定位;
③:当三个前景物体模型的匹配阈值的其中两个满足要求时,则判断所拍摄的物体为被遮挡的鱼类,此时可通过满足阈值要求的两幅图像对其进行轨迹定位;
④:当三个前景物体模型的匹配阈值都满足要求时,则判断所拍摄的物体为未被遮挡的鱼类,此时可通过满足阈值要求的三幅图像对其进行轨迹定位。
步骤4、轨迹定位:若三幅图像中的前景物体都满足步骤3中的阈值要求时,则认为三个前景物体为鱼类的投影,此时可按步骤2分别提取三个前景物体的中心点坐标,再结合绝对参考坐标系与各个摄像机的位置关系,可得正面摄像机3所拍摄前景物体的中心点p1的空间坐标为(x1,y1,z1),右面摄像机2所拍摄前景物体的中心点p2的空间坐标为(x2,y2,z2),顶面摄像机1所拍摄前景物体的中心点p3的坐标为(x3,y3,z3)。此时,设正面、右面、顶面摄像机光轴的方向向量分别为则每个中心点沿其所对应的方向向量所指的方向可形成三条空间直线L1,L2,L3
如图3a所示:当三条空间直线L1,L2,L3相交于一点Q时,此时鱼的最优轨迹坐标为三者交点Q的坐标。
如图3b所示:当三条空间直线L1,L2,L3其中两条交于一点Q,第三条与其他两条互为异面直线且与这两条直线组成的平面相交于一点O时,此时鱼类最优轨迹坐标为点Q与点O相连线段的中点P的坐标。
如图3c所示:当三条空间直线L1,L2,L3其中两条互为异面直线,第三条与其他两条分别相交于点Q与点O时,此时鱼类最优轨迹坐标为点Q与点O相连线段的中点P的坐标。
如图3d所示:当三条空间直线L1,L2,L3互为异面直线时,过此三条直线以及它们的平行线可构建一空间六面体(如长方体的三条异面棱边),此时鱼的最优轨迹坐标为空间六面体的体心Q的坐标。
若三幅图像中的前景物体只有两个满足步骤3中的阈值要求时,则认为其中一个视图受到了遮挡、变形等干扰,此时,摒除此干扰图的信息并同上述处理方法可确定两条空间直线L1,L2。当L1,L2相交于一点Q时,鱼类最优轨迹坐标即为点Q的坐标;当L1,L2互为异面直线时,鱼的最优轨迹坐标即为两直线公垂线段的中点P的坐标。
当有运动物体进入顶面摄像机1、右面摄像机2及正面摄像机3的视野中时,三部摄像机将拍摄图像并通过数据线将图像信息送入到计算机6中,计算机6根据图像处理***对三幅图像进行处理,分割出图像中所有的前景物体并对其进行配对,再判断已成功配对的前景物体对是否为待追踪鱼类的投影图,若是,则图像处理***将分别提取各前景物体的中心坐标,并结合绝对参考坐标系与摄像机的位置关系得到这些中心坐标的实际三维坐标,最后根据几何分析融合这些坐标信息,得到鱼的最优轨迹坐标。

Claims (7)

1.基于视频信号的鱼类过坝运动轨迹定位装置,包括视频获取装置、视频处理装置,其特征在于,所述视频获取装置包括桁架(4)、固定安装在桁架(4)相互垂直三个面上的三个水下摄像机;所述视频处理装置包括计算机(6)、安装在计算机(6)上的图像处理***,所述水下摄像机与所述计算机(6)通过数据线连接。
2.根据权利要求1所述基于视频信号的鱼类过坝运动轨迹定位装置,其特征在于,所述桁架(4)为长方体框架或者类长方体框架,其通过螺栓在鱼槽中固定。
3.根据权利要求1所述基于视频信号的鱼类过坝运动轨迹定位装置,其特征在于,三个水下摄像机包括顶面摄像机(1)、右面摄像机(2)、正面摄像机(3),所述摄像机通过棱条安装在桁架(4)的相互垂直三个面上。
4.根据权利要求1所述基于视频信号的鱼类过坝运动轨迹定位装置,其特征在于,所述桁架(4)上的任意位置设置了绝对参考坐标系(5),三个水下摄像机与绝对参考坐标系(5)的位置、距离关系进行了标定。
5.基于视频信号的鱼类过坝运动轨迹定位方法,其特征在于包括以下步骤:
步骤1、背景建模:通过混合高斯算法建立动态的背景模型,首先为消除缓慢光照变化对背景模型的影响,设置t时刻图像中某一点的像素值为滑动平均像素值μt
&mu; t = ( 1 - &alpha; ) n &Sigma; i = 1 n &mu; t - n + &alpha;p t - - - ( 1 )
其中,α与n为设定阈值,μt-n为第t-n时刻的此点的滑动平均像素值,pt为当前时刻t此点的像素值,当光照发生缓慢变化时,背景点的μt也将发生缓慢变化但变化值不超过设定的阈值,故仍可被认为是背景;其次,由于振荡的水纹会使背景像素值在几个数值间变化,故对每个像素值建立多个滑动平均值模型以消除水纹所造成的影响;并且,当光照发生变化使某一滑动平均值模型被击中次数变少时,移除此模型;反之,若某一像素值被频繁的击中,则对其建立新的滑动平均值模型;
步骤2、前景匹配:确定水下摄像机视野中的背景信息后,图像处理***即可通过降噪、二值化、帧差、边缘提取等步骤识别出处于不同视角的水下摄像机所拍摄的三幅图像中的前景物体;当三幅图像中都只有一个前景物体时,则认为此时三幅图像中的前景物体互相匹配的,为同一物体在不同摄像机中的投影图;当三幅图像中有多个前景物体时,则提取每幅图像中每个前景物体中心点的坐标,由三部水下摄像机位置的几何关系可知,当处于不同图像中的三个前景物体为同一物体的投影时,其由右面摄像机(2)所拍摄前景物体中心点坐标的纵坐标值yyou应和顶面摄像机(1)所拍摄前景物体中心点坐标的纵坐标值yding相近或相等,且正面摄像机(3)所拍摄前景物体中心点坐标的横坐标值xzheng应和顶面摄像机(1)所拍摄前景物体中心点坐标的横坐标值xding相近或相等,故可由以下公式确定不同图像中的三个前景物体是否相匹配:
||yyou-yding||2<T1,且||xding-xzheng||2<T1(2)
其中,T1为设定阈值,当||yyou-yding||2及||xding-xzheng||2的值都小于T1时,则认为三幅图像中前景物体相互匹配,可对这些前景物体进行下一步处理;
步骤3、鱼类识别:当确定互为同一物体投影的三个前景物体后,即可通过特征匹配判定这些前景物体是否为鱼类的投影,通过全局特征匹配与局部特征匹配联合的方式对前景物体进行识别,首先考虑到鱼类边缘模板具有形状独特的头部、背鳍、尾鳍特征,其头部、背鳍、尾鳍的上下、或左右边缘的满足一定的线性关系,故可通过计算前景物体相应区域的边缘像素差值是否满足线性关系以判断其是否满足局部特征匹配:
h y i = | | h y 1 i - h y 2 i | | 2 i = 1 , 2 ... n &Sigma; i = 1 M &sigma; ( h y i + 1 - h y i - 1 + 2 h y i ) < T 1 q u a l i f i e d - - - ( 3 )
其中,为头部区域图像中的第i列的上下边缘差值,σ为标准差,T1为设定阈值。当的标准差小于阈值时,认为此头部区域的边缘像素差值一定满足线性关系,满足局部匹配要求,其他区域计算方式与头部区域计算方式类似;
步骤4、轨迹定位:若三幅图像中的前景物体都满足步骤3中的阈值要求时,则认为三个前景物体为鱼类的投影,此时可按步骤2分别提取三个前景物体的中心点坐标,再结合绝对参考坐标系与各个摄像机的位置关系,可得正面摄像机(3)所拍摄前景物体的中心点p1的空间坐标为(x1,y1,z1),右面摄像机(2)所拍摄前景物体的中心点p2的空间坐标为(x2,y2,z2),顶面摄像机(1)所拍摄前景物体的中心点p3的坐标为(x3,y3,z3)。此时,设正面、右面、顶面摄像机光轴的方向向量分别为则每个中心点沿其所对应的方向向量所指的方向可形成三条空间直线L1,L2,L3
6.根据权利要求5所述基于视频信号的鱼类过坝运动轨迹定位方法,其特征在于,所述步骤3中,当三个前景物体中任意一个满足局部特征匹配时,则认为此三个前景物体为待识别鱼类的投影,但由于鱼类在水中游动时为不规则体且容易被杂物遮挡,故有可能三个前景物体都不满足局部特征匹配,此时则再根据全局特征匹配判定三个前景物体是否为待识别鱼类的投影,全局特征匹配采用对变形不敏感的改进Hu矩值进行计算,得到三个前景物体的Hu矩值并查看这些Hu矩值是否满足阈值要求:
①:当三个前景物体模型都不满足阈值要求时,则判断所拍摄的物体为非鱼类;
②:当三个前景物体模型的其中一个满足阈值要求时,则判断所拍摄的物体为被遮挡的鱼类,但由于无法通过单一图像获得其三维轨迹,故不对其进行轨迹定位;
③:当三个前景物体模型的匹配阈值的其中两个满足要求时,则判断所拍摄的物体为被遮挡的鱼类,此时可通过满足阈值要求的两幅图像对其进行轨迹定位;
④:当三个前景物体模型的匹配阈值都满足要求时,则判断所拍摄的物体为未被遮挡的鱼类,此时可通过满足阈值要求的三幅图像对其进行轨迹定位。
7.根据权利要求5所述基于视频信号的鱼类过坝运动轨迹定位方法,其特征在于,所述步骤4中,
a:当三条空间直线L1,L2,L3相交于一点Q时,此时鱼的最优轨迹坐标为三者交点Q的坐标;
b:当三条空间直线L1,L2,L3其中两条交于一点Q,第三条与其他两条互为异面直线且与这两条直线组成的平面相交于一点O时,此时鱼类最优轨迹坐标为点Q与点O相连线段的中点P的坐标;
c:当三条空间直线L1,L2,L3其中两条互为异面直线,第三条与其他两条分别相交于点Q与点O时,此时鱼类最优轨迹坐标为点Q与点O相连线段的中点P的坐标;
d:当三条空间直线L1,L2,L3互为异面直线时,过此三条直线以及它们的平行线可构建一空间六面体,此时鱼的最优轨迹坐标为空间六面体的体心Q的坐标;
若三幅图像中的前景物体只有两个满足步骤3中的阈值要求时,则认为其中一个视图受到了遮挡、变形等干扰,此时,摒除此干扰图的信息并同上述处理方法可确定两条空间直线L1,L2;当L1,L2相交于一点Q时,鱼类最优轨迹坐标即为点Q的坐标;当L1,L2互为异面直线时,鱼的最优轨迹坐标即为两直线公垂线段的中点P的坐标。
CN201510566348.1A 2015-09-07 2015-09-07 基于视频信号的鱼类过坝运动轨迹定位装置与方法 Active CN105225229B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510566348.1A CN105225229B (zh) 2015-09-07 2015-09-07 基于视频信号的鱼类过坝运动轨迹定位装置与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510566348.1A CN105225229B (zh) 2015-09-07 2015-09-07 基于视频信号的鱼类过坝运动轨迹定位装置与方法

Publications (2)

Publication Number Publication Date
CN105225229A true CN105225229A (zh) 2016-01-06
CN105225229B CN105225229B (zh) 2017-09-05

Family

ID=54994178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510566348.1A Active CN105225229B (zh) 2015-09-07 2015-09-07 基于视频信号的鱼类过坝运动轨迹定位装置与方法

Country Status (1)

Country Link
CN (1) CN105225229B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355616A (zh) * 2016-09-20 2017-01-25 北京农业信息技术研究中心 一种工厂化循环水养殖鱼类空间位置计算***及方法
CN107730495A (zh) * 2017-10-25 2018-02-23 重庆祺璨科技有限公司 一种基于背景建模的鱼塘缺氧检测方法
CN107818574A (zh) * 2017-09-21 2018-03-20 楚雄师范学院 基于骨架分析的鱼群三维跟踪方法
CN109285189A (zh) * 2018-07-12 2019-01-29 哈尔滨工程大学 一种无需双目同步的直线轨迹快速计算方法
CN110706291A (zh) * 2019-09-26 2020-01-17 哈尔滨工程大学 一种适用于水池实验中运动物体三维轨迹的视觉测量方法
CN111192287A (zh) * 2018-10-29 2020-05-22 可利爱驰有限公司 用于计算拍摄对象的运动轨迹的方法、***及存储介质
CN111678441A (zh) * 2020-07-30 2020-09-18 厦门理工学院 一种基于深度学习的水下鱼类形体测量装置及方法
CN113436178A (zh) * 2021-07-02 2021-09-24 鹏城实验室 机器人状态检测方法、装置、设备、程序产品及存储介质
CN113989914A (zh) * 2021-12-24 2022-01-28 安维尔信息科技(天津)有限公司 一种基于人脸识别的安防监控方法及***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202674A (ja) * 2004-01-15 2005-07-28 Chugoku Electric Power Co Inc:The 魚道を通る魚の計数方法、魚道を通る魚の数を計数するシステム、情報処理装置、及びプログラム
CN102104718A (zh) * 2010-12-29 2011-06-22 中国人民解放军海军潜艇学院 水下摄像机及水下视频监视设备
CN103856750A (zh) * 2012-11-30 2014-06-11 中国科学院沈阳自动化研究所 一种适用于海底长期观测的视频采集、存储方法及装置
CN104680556A (zh) * 2015-02-16 2015-06-03 燕山大学 基于视差的鱼类运动三维轨迹跟踪方法
CN104766346A (zh) * 2015-04-15 2015-07-08 楚雄师范学院 一种基于视频图像的斑马鱼跟踪方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202674A (ja) * 2004-01-15 2005-07-28 Chugoku Electric Power Co Inc:The 魚道を通る魚の計数方法、魚道を通る魚の数を計数するシステム、情報処理装置、及びプログラム
CN102104718A (zh) * 2010-12-29 2011-06-22 中国人民解放军海军潜艇学院 水下摄像机及水下视频监视设备
CN103856750A (zh) * 2012-11-30 2014-06-11 中国科学院沈阳自动化研究所 一种适用于海底长期观测的视频采集、存储方法及装置
CN104680556A (zh) * 2015-02-16 2015-06-03 燕山大学 基于视差的鱼类运动三维轨迹跟踪方法
CN104766346A (zh) * 2015-04-15 2015-07-08 楚雄师范学院 一种基于视频图像的斑马鱼跟踪方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
吴冠豪 等: "用于自由游动鱼三维测量的视频跟踪方法", 《中国科学》 *
徐盼麟 等: "基于单摄像机视频的鱼类三维自动跟踪方法初探", 《水产学报》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355616A (zh) * 2016-09-20 2017-01-25 北京农业信息技术研究中心 一种工厂化循环水养殖鱼类空间位置计算***及方法
CN107818574B (zh) * 2017-09-21 2021-08-27 楚雄师范学院 基于骨架分析的鱼群三维跟踪方法
CN107818574A (zh) * 2017-09-21 2018-03-20 楚雄师范学院 基于骨架分析的鱼群三维跟踪方法
CN107730495A (zh) * 2017-10-25 2018-02-23 重庆祺璨科技有限公司 一种基于背景建模的鱼塘缺氧检测方法
CN109285189B (zh) * 2018-07-12 2021-10-01 哈尔滨工程大学 一种无需双目同步的直线轨迹快速计算方法
CN109285189A (zh) * 2018-07-12 2019-01-29 哈尔滨工程大学 一种无需双目同步的直线轨迹快速计算方法
CN111192287A (zh) * 2018-10-29 2020-05-22 可利爱驰有限公司 用于计算拍摄对象的运动轨迹的方法、***及存储介质
CN111192287B (zh) * 2018-10-29 2023-11-24 可利爱驰有限公司 用于计算拍摄对象的运动轨迹的方法、***及存储介质
CN110706291A (zh) * 2019-09-26 2020-01-17 哈尔滨工程大学 一种适用于水池实验中运动物体三维轨迹的视觉测量方法
CN111678441A (zh) * 2020-07-30 2020-09-18 厦门理工学院 一种基于深度学习的水下鱼类形体测量装置及方法
CN113436178A (zh) * 2021-07-02 2021-09-24 鹏城实验室 机器人状态检测方法、装置、设备、程序产品及存储介质
CN113989914A (zh) * 2021-12-24 2022-01-28 安维尔信息科技(天津)有限公司 一种基于人脸识别的安防监控方法及***
CN113989914B (zh) * 2021-12-24 2022-03-15 安维尔信息科技(天津)有限公司 一种基于人脸识别的安防监控方法及***

Also Published As

Publication number Publication date
CN105225229B (zh) 2017-09-05

Similar Documents

Publication Publication Date Title
CN105225229A (zh) 基于视频信号的鱼类过坝运动轨迹定位装置与方法
CN107844750B (zh) 一种水面全景图像目标检测识别方法
CN106780560B (zh) 一种基于特征融合粒子滤波的仿生机器鱼视觉跟踪方法
CN105550692B (zh) 基于标志物颜色及轮廓检测的无人机自动寻的着陆方法
CN106251353A (zh) 弱纹理工件及其三维位姿的识别检测方法及***
CN114782626B (zh) 基于激光与视觉融合的变电站场景建图及定位优化方法
US11948344B2 (en) Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime
CN105184816A (zh) 基于usv的视觉检测和水面目标追踪***及其检测追踪方法
CN105787962B (zh) 一种基于uuv水下回收的单目视觉跟踪方法
CN113076924A (zh) 基于无人船的河面垃圾实时检测方法、装置及存储介质
CN110825088B (zh) 一种多目视觉导引船体清洁机器人***及清洁方法
CN110261858B (zh) 一种基于水下标志物直线检测的隧洞auv引导方法
CN109213204A (zh) 基于数据驱动的auv海底目标搜寻航行***及方法
CN112862858A (zh) 一种基于场景运动信息的多目标跟踪方法
CN113313116B (zh) 一种基于视觉的水下人工目标准确检测与定位方法
CN114998276B (zh) 一种基于三维点云的机器人动态障碍物实时检测方法
CN111340834B (zh) 基于激光雷达和双目相机数据融合的衬板装配***及方法
Zhou et al. Verification of AIS data by using video images taken by a UAV
Xiong et al. Road-Model-Based road boundary extraction for high definition map via LIDAR
Wang et al. Geometry constraints-based visual rail track extraction
CN103744110B (zh) 超声与单目视觉传感器结合的障碍物识别装置
Giosan et al. Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information
CN113935946B (zh) 实时检测地下障碍物的方法及装置
CN113160299B (zh) 基于卡尔曼滤波的车辆视频测速方法和计算机可读存储介质
CN114235340B (zh) 河道泡漩结构跟踪方法及通航预警方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210914

Address after: Room 35187, building 3, No. 1800, Panyuan Road, Changxing Town, Chongming District, Shanghai 202150 (Shanghai Taihe Economic Development Zone)

Patentee after: Shanghai Oubei Industrial Co.,Ltd.

Address before: 443002 No. 8, University Road, Yichang, Hubei

Patentee before: CHINA THREE GORGES University

Effective date of registration: 20210914

Address after: 273300 No.207, East Second floor, Administration Committee of Shandong Pingyi Economic Development Zone, west section of Jinhua Road, Pingyi Economic Development Zone, Linyi City, Shandong Province

Patentee after: Pingyi Economic Development Zone Investment Development Co.,Ltd.

Address before: Room 35187, building 3, No. 1800, Panyuan Road, Changxing Town, Chongming District, Shanghai 202150 (Shanghai Taihe Economic Development Zone)

Patentee before: Shanghai Oubei Industrial Co.,Ltd.