CN107818574B - 基于骨架分析的鱼群三维跟踪方法 - Google Patents

基于骨架分析的鱼群三维跟踪方法 Download PDF

Info

Publication number
CN107818574B
CN107818574B CN201710914852.5A CN201710914852A CN107818574B CN 107818574 B CN107818574 B CN 107818574B CN 201710914852 A CN201710914852 A CN 201710914852A CN 107818574 B CN107818574 B CN 107818574B
Authority
CN
China
Prior art keywords
view
target
skeleton
points
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710914852.5A
Other languages
English (en)
Other versions
CN107818574A (zh
Inventor
钱志明
***
寸天睿
秦海菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chuxiong Normal University
Original Assignee
Chuxiong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chuxiong Normal University filed Critical Chuxiong Normal University
Priority to CN201710914852.5A priority Critical patent/CN107818574B/zh
Publication of CN107818574A publication Critical patent/CN107818574A/zh
Application granted granted Critical
Publication of CN107818574B publication Critical patent/CN107818574B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于骨架分析的鱼群三维跟踪方法，涉及信息技术领域，该基于骨架分析的鱼群三维跟踪方法以顶视方向的跟踪为主，侧视方向的检测结果不用于跟踪，只用来与顶视跟踪结果做立体匹配，降低跟踪方法的复杂性，提高跟踪效率。该基于骨架分析的鱼群三维跟踪方法仅需要两台摄像机就能够对鱼群目标进行有效的三维跟踪，不但具有较高的准确性，而且具有较快的跟踪速度。

Description

基于骨架分析的鱼群三维跟踪方法
技术领域
本发明涉及信息技术领域，具体来说涉及一种基于骨架分析的鱼群三维跟踪方法。
背景技术
参考文献Qian Z M，Chen Y Q.Feature point based 3D tracking of multiplefish from multi-view images[J].PloS one，2017，12(6)：e0180254中提出了一种基于三视图的鱼群三维跟踪方法。该方法首先利用骨架分析将多视图中的目标简化为特征点表示，然后，根据得到的特征点模型，以顶视方向的跟踪为主，两个侧视方向的跟踪作为参考，对目标进行匹配和关联，最终得到目标在三维空间中的运动轨迹。
在参考文献的跟踪方法中，当顶视图出现遮挡时，该方法使用两个侧视方向的跟踪结果对遮挡前后的目标进行关联，这样处理的优势是可以提高遮挡跟踪的性能，使跟踪结果更为可靠，但这是以牺牲跟踪效率为代价的，如果顶视图的目标没有发生遮挡，则侧视图中的跟踪就不是必要的。
发明内容
本发明所要解决的技术问题是提供一种基于骨架分析的鱼群三维跟踪方法，以顶视方向的跟踪为主，侧视方向的检测结果不用于跟踪，只用来与顶视跟踪结果做立体匹配，降低跟踪方法的复杂性，提高跟踪效率。
为实现上述目的，本发明提供以下的技术方案：
该基于骨架分析的鱼群三维跟踪方法包括如下步骤：
(1)使用骨架端点附近的多个点来估算目标的运动方向，假设骨架端点为p(x，y)，定义端点段es为邻近端点的n个骨架点es＝{(xi，yi)|i＝1，...，n}，端点段的方向可以根据最小二乘法计算得到，
Figure BSA0000151483460000011
联合骨架端点p和端点段方向θ组成的特征点F(p，θ)可以对目标进行表示；
(2)在目标的头尾两个特征点中，可以根据形状的不对称性去除顶视图中目标的尾部特征点，而对于侧视方向，依然保留头尾两个特征点；
(3)对顶视图相邻帧间的特征点进行数据关联，得到顶视二维跟踪轨迹。接下来，使用顶视跟踪轨迹和目标在侧视方向的特征点进行立体匹配，即可得到目标在三维空间中的位置，为解决立体匹配的不确定性问题，使用运动连续性来完成立体匹配；
假设
Figure BSA0000151483460000021
和
Figure BSA0000151483460000022
分别表示顶视图和侧视图中的一个特征点，如果在极线约束下，
Figure BSA0000151483460000023
在侧视图中存在k个可能匹配的候选特征点，则将运动连续性约束定义如下：
Figure BSA0000151483460000024
Figure BSA0000151483460000025
其中，
Figure BSA0000151483460000026
表示t-1时刻与顶视图的特征点
Figure BSA0000151483460000027
相匹配的侧视图的特征点。pcmax和dcmax分别表示相邻帧目标的最大运动距离和最大偏转角度，
Figure BSA0000151483460000028
和
Figure BSA0000151483460000029
分别表示特征点
Figure BSA00001514834600000210
和
Figure BSA00001514834600000211
之间的位置和方向的变化，w和(1-w)分别表示位置和方向在代价函数中所占权重。上式表示，在侧视图的k个候选特征点中，选择与前一时刻的匹配点具有最佳运动连续性的特征点作为当前时刻的匹配点。
采用以上技术方案的有益效果是：该基于骨架分析的鱼群三维跟踪方法以顶视方向的跟踪为主，侧视方向的检测结果不用于跟踪，只用来与顶视跟踪结果做立体匹配，降低跟踪方法的复杂性，提高跟踪效率。该基于骨架分析的鱼群三维跟踪方法仅需要两台摄像机就能够对鱼群目标进行有效的三维跟踪，不但具有较高的准确性，而且具有较快的跟踪速度。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的描述。
图1是基于骨架分析的鱼群三维跟踪流程图；
图2是.基于运动连续性的立体匹配顶视图；
图3是基于运动连续性的立体匹配侧视图。
具体实施方式
下面结合附图详细说明本发明基于骨架分析的鱼群三维跟踪方法的优选实施方式。
图1、图2和图3出示本发明基于骨架分析的鱼群三维跟踪方法的具体实施方式：
该基于骨架分析的鱼群三维跟踪方法以顶视方向的跟踪为主，侧视方向的检测结果不用于跟踪，只用来与顶视跟踪结果做立体匹配，以此来降低跟踪方法的复杂性，提高跟踪效率。图1显示了所提方法的流程图。由于运动区域分割和主骨架提取方法与文献Qian ZM，Chen Y Q.Feature point based 3D tracking of multiple fish from multi-viewimages[J].PloS one，2017，12(6)：e0180254中提出了一种基于三视图的鱼群三维跟踪方法保持一致，这里不再介绍。
该基于骨架分析的鱼群三维跟踪方法包括如下步骤：
(1)使用骨架端点附近的多个点来估算目标的运动方向，假设骨架端点为p(x，y)，定义端点段es为邻近端点的n个骨架点es＝{(xi，yi)|i＝1，...，n}，端点段的方向可以根据最小二乘法计算得到，
Figure BSA0000151483460000031
联合骨架端点p和端点段方向θ组成的特征点F(p，θ)可以对目标进行表示；
这种表示法具有如下优点：(1)数据量少。仅使用两个带方向的点就能有效表示不同视角方向中的目标，极大地降低了跟踪的难度；(2)遮挡处理能力强。能够有效表示大部分遮挡目标，提高了遮挡跟踪的准确性。
(2)在目标的头尾两个特征点中，可以根据形状的不对称性去除顶视图中目标的尾部特征点，而对于侧视方向，依然保留头尾两个特征点；
(3)对顶视图相邻帧间的特征点进行数据关联，得到顶视二维跟踪轨迹。接下来，使用顶视跟踪轨迹和目标在侧视方向的特征点进行立体匹配，即可得到目标在三维空间中的位置，为解决立体匹配的不确定性问题，使用运动连续性来完成立体匹配；
假设
Figure BSA0000151483460000041
和
Figure BSA0000151483460000042
分别表示顶视图和侧视图中的一个特征点，如果在极线约束下，
Figure BSA0000151483460000043
在侧视图中存在k个可能匹配的候选特征点，则将运动连续性约束定义如下：
Figure BSA0000151483460000044
Figure BSA0000151483460000045
其中，
Figure BSA0000151483460000046
表示t-1时刻与顶视图的特征点
Figure BSA0000151483460000047
相匹配的侧视图的特征点。pcmax和dcmax分别表示相邻帧目标的最大运动距离和最大偏转角度，
Figure BSA0000151483460000048
和
Figure BSA0000151483460000049
分别表示特征点
Figure BSA00001514834600000410
和
Figure BSA00001514834600000411
之间的位置和方向的变化，w和(1-w)分别表示位置和方向在代价函数中所占权重，上式表示，在侧视图的k个候选特征点中，选择与前一时刻的匹配点具有最佳运动连续性的特征点作为当前时刻的匹配点。
图2和图3给出了立体匹配的一个示例。图2和图3中的虚线箭头表示极线。图2顶视图中的目标it 在图3侧视图对应的极线上存在k个候选匹配目标，选择与it在前一时刻的匹配点具有最佳运动连续性的目标作为当前时刻的匹配目标。
该基于骨架分析的鱼群三维跟踪方法仅需要两台摄像机就能够对鱼群目标进行有效的三维跟踪，不但具有较高的准确性，而且具有较快的跟踪速度。
以上的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (1)

1.一种基于骨架分析的鱼群三维跟踪方法，其特征在于：所述基于骨架分析的鱼群三维跟踪方法包括如下步骤：
(1)使用骨架端点附近的多个点来估算目标的运动方向，假设骨架端点为p(x,y)，定义端点段es为邻近端点的n个骨架点es＝{(xi,yi)|i＝1,...,n}，端点段的方向可以根据最小二乘法计算得到，
Figure FDA0003170048460000011
联合骨架端点p和端点段方向θ组成的特征点F(p,θ)可以对目标进行表示；
(2)在目标的头尾两个特征点中，可以根据形状的不对称性去除顶视图中目标的尾部特征点，而对于侧视方向，依然保留头尾两个特征点；
(3)对顶视图相邻帧间的特征点进行数据关联，得到顶视二维跟踪轨迹；接下来，使用顶视跟踪轨迹和目标在侧视方向的特征点进行立体匹配，即可得到目标在三维空间中的位置，为解决立体匹配的不确定性问题，使用运动连续性来完成立体匹配；
假设
Figure FDA0003170048460000012
和
Figure FDA0003170048460000013
分别表示顶视图和侧视图中的一个特征点，如果在极线约束下，
Figure FDA0003170048460000014
在侧视图中存在k个可能匹配的候选特征点，则将运动连续性约束定义如下：
Figure FDA0003170048460000015
Figure FDA0003170048460000016
其中，
Figure FDA0003170048460000017
表示t-1时刻与顶视图的特征点
Figure FDA0003170048460000018
相匹配的侧视图的特征点，pcmax和dcmax分别表示相邻帧目标的最大运动距离和最大偏转角度，
Figure FDA0003170048460000019
和
Figure FDA00031700484600000110
分别表示特征点
Figure FDA00031700484600000111
和
Figure FDA00031700484600000112
之间的位置和方向的变化，w和(1-w)分别表示位置和方向在代价函数中所占权重；上式表示，在侧视图的k个候选特征点中，选择与前一时刻的匹配点具有最佳运动连续性的特征点作为当前时刻的匹配点。
CN201710914852.5A 2017-09-21 2017-09-21 基于骨架分析的鱼群三维跟踪方法 Active CN107818574B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710914852.5A CN107818574B (zh) 2017-09-21 2017-09-21 基于骨架分析的鱼群三维跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710914852.5A CN107818574B (zh) 2017-09-21 2017-09-21 基于骨架分析的鱼群三维跟踪方法

Publications (2)

Publication Number Publication Date
CN107818574A CN107818574A (zh) 2018-03-20
CN107818574B true CN107818574B (zh) 2021-08-27

Family

ID=61607068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710914852.5A Active CN107818574B (zh) 2017-09-21 2017-09-21 基于骨架分析的鱼群三维跟踪方法

Country Status (1)

Country Link
CN (1) CN107818574B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476828B (zh) * 2020-03-27 2023-01-10 清华大学 多视点动物群体跟踪方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739568A (zh) * 2009-11-04 2010-06-16 北京交通大学 基于分层观测向量分解的隐马尔科夫模型的行为识别方法
CN102609954A (zh) * 2010-12-17 2012-07-25 微软公司 对人类目标跟踪的确认分析
CN104867135A (zh) * 2015-05-04 2015-08-26 中国科学院上海微***与信息技术研究所 一种基于指导图像引导的高精度立体匹配方法
CN105225229A (zh) * 2015-09-07 2016-01-06 三峡大学 基于视频信号的鱼类过坝运动轨迹定位装置与方法
CN106875429A (zh) * 2017-03-02 2017-06-20 楚雄师范学院 鱼群三维跟踪方法及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101739568A (zh) * 2009-11-04 2010-06-16 北京交通大学 基于分层观测向量分解的隐马尔科夫模型的行为识别方法
CN102609954A (zh) * 2010-12-17 2012-07-25 微软公司 对人类目标跟踪的确认分析
CN104867135A (zh) * 2015-05-04 2015-08-26 中国科学院上海微***与信息技术研究所 一种基于指导图像引导的高精度立体匹配方法
CN105225229A (zh) * 2015-09-07 2016-01-06 三峡大学 基于视频信号的鱼类过坝运动轨迹定位装置与方法
CN106875429A (zh) * 2017-03-02 2017-06-20 楚雄师范学院 鱼群三维跟踪方法及***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An effective and robust method for tracking multiple fish in video image based on fish head detection;Zhi-Ming Qian等;《BMC Bioinformatics》;20161231;全文 *
半遮挡目标鱼体的识别与跟踪方法研究_毛家发半遮挡目标鱼体的识别与跟踪方法研究;毛家发等;《浙江工业大学学报》;20150430;第43卷(第2期);第1-11页 *

Also Published As

Publication number Publication date
CN107818574A (zh) 2018-03-20

Similar Documents

Publication Publication Date Title
US10354129B2 (en) Hand gesture recognition for virtual reality and augmented reality devices
US10366538B2 (en) Method and device for illustrating a virtual object in a real environment
Tombari et al. Classification and evaluation of cost aggregation methods for stereo correspondence
US8199977B2 (en) System and method for extraction of features from a 3-D point cloud
CN108776989B (zh) 基于稀疏slam框架的低纹理平面场景重建方法
EP3114833B1 (en) High accuracy monocular moving object localization
CN102902355A (zh) 移动设备的空间交互方法
Rangesh et al. Ground plane polling for 6dof pose estimation of objects on the road
US8929587B2 (en) Multi-tracking of video objects
Li et al. RGBD relocalisation using pairwise geometry and concise key point sets
US20220277595A1 (en) Hand gesture detection method and apparatus, and computer storage medium
Grabner et al. Gp2c: Geometric projection parameter consensus for joint 3d pose and focal length estimation in the wild
CN109961461B (zh) 一种基于三维分层图模型的多运动目标跟踪方法
Xu et al. Video-object segmentation and 3D-trajectory estimation for monocular video sequences
CN107818574B (zh) 基于骨架分析的鱼群三维跟踪方法
Zhang et al. Monocular 3D localization of vehicles in road scenes
CN105631938A (zh) 一种图像处理方法及电子设备
Fan et al. Human-m3: A multi-view multi-modal dataset for 3d human pose estimation in outdoor scenes
Chattopadhyay et al. STAR: a content based video retrieval system for moving camera video shots
Qian et al. Skeleton-based 3D tracking of multiple fish from two orthogonal views
CN103295220A (zh) 一种双目视觉技术在康复理疗***中的应用方法
JP6910622B2 (ja) 画像処理システム
Yoshimoto et al. Cubistic representation for real-time 3D shape and pose estimation of unknown rigid object
Duanmu et al. A multi-view pedestrian tracking framework based on graph matching
Zhang et al. Vehicle 3D localization in road scenes VIA a monocular moving camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant