CN109918997B

CN109918997B - 一种基于多示例学习的行人目标跟踪方法

Info

Publication number: CN109918997B
Application number: CN201910056927.XA
Authority: CN
Inventors: 连国云; 孙宏伟
Original assignee: Shenzhen Polytechnic
Current assignee: Shenzhen Polytechnic
Priority date: 2019-01-22
Filing date: 2019-01-22
Publication date: 2023-04-07
Anticipated expiration: 2039-01-22
Also published as: CN109918997A

Abstract

本发明公开了基于多示例学习的行人目标跟踪方法，涉及目标跟踪方法相关领域，为解决现有技术中根据第一帧建立的目标模型在目标外观改变较大时易跟踪失败问题。包括有步骤：S1、截取图像资料；S2、将图像资料分解成若干个区块图形；S3、提取区块图形的图形特征，包括提取面部特征、动作特征、颜色特征和形状特征；S4、对比区块图形的图形特征与行人目标的特征；S5、构建分类器；S6、对分类器各分类池中示例进行重合度分数计算；S7、对重合度分数进行权重计算；S8、根据权重计算跟踪行人目标，所述S5构建分类器包括有步骤：S51、剥离区块图形的颜色特征；S52、建立颜色重合度分类池；S53、剥离区块图形的形状特征；S54、建立形状重合度分类池。

Description

一种基于多示例学习的行人目标跟踪方法

技术领域

本发明涉及目标跟踪方法相关领域，具体为一种基于多示例学习的行人目标跟踪方法。

背景技术

机器学习中，多示例学习是由监督式学习演变而来的，相较于输入一系列被单独标注的示例，在多示例学习中，输入的是一系列被标注的“包”，每个“包”都包括许多示例，当包中的所有示例都是负例时，这个包会被标注为负包；当包中至少含有一个正例时，这个包会被标注为正包。当收到一系列被标注的包时，机器试着去：(1)归纳出一个类别概念以便正确标注个别示例；(2)在归纳之外学习怎样去标注一个包。

常用的目标模型为静态模型，在跟踪的初始阶段利用第一帧图像信息建立目标模型，跟踪过程中根据建立好的目标模型在后续帧图像中搜索目标，当目标外观改变较大或者背景信息对目标模型造成干扰时，该方法易造成跟踪失败；因此市场急需研制一种基于多示例学习的行人目标跟踪方法来帮助人们解决现有的问题。

发明内容

本发明的目的在于提供一种基于多示例学习的行人目标跟踪方法，以解决上述背景技术中提出的根据第一帧建立的目标模型在目标外观改变较大时易跟踪失败的问题。

为实现上述目的，本发明提供如下技术方案：一种基于多示例学习的行人目标跟踪方法，包括以下步骤：

S1、截取图像资料；

S2、将图像资料分解成若干个区块图形；

S3、提取区块图形的图形特征；

S4、对比区块图形的图形特征与行人目标的特征；

S5、构建分类器；

S6、对分类器各分类池中示例进行重合度分数计算；

S7、对重合度分数进行权重计算；

S8、根据权重计算跟踪行人目标。

优选的，所述S4的对比方法，包括以下步骤：

S51、剥离区块图形的颜色特征；

S52、建立颜色重合度分类池；

S53、剥离区块图形的形状特征；

S54、建立形状重合度分类池；

S55、识取并去除区块图形的环境特征；

S56、剥离区块图形的人物面部特征；

S57、建立面部特征重合度分类池；

S58、剥离区块图形的人物动作特征；

S59、制作动作特征动态图形；

S510、建立动作特征重合度分类池。

优选的，所述步骤S2中，对图像资料进行分解的数量取决于图像的分辨率及相关像素水平，图像资料的分辨率越高，分解的区块图形越多。

优选的，所述步骤S4中，行人目标为视频第一帧开始手动选取的目标，作为目标追踪的初始数据，根据该目标建立重合度计算的初始标准，第二帧的目标跟踪根据第一帧的初始标准进行分数计算，并将第二帧特征量作为制定重合度的二次标准，第三帧的目标跟踪根据第二帧的初始标准进行分数计算，直至到达尾帧，对比结束。

优选的，所述步骤S5中，分类器包括颜色重合度分类池、形状重合度分类池、面部特征重合度分类池和动作特征重合度分类池。

优选的，所述步骤S6中，颜色特征代号为y,目标图形特征标准的像素量为X_iy，对比图形特征值的像素量为X_jy，则重合度分数

形状特征代号为q,目标图形特征标准的像素量为X_iq，对比图形特征值的像素量为X_jq，则重合度分数

面部特征代号为s,目标图形特征标准的像素量为X_is，对比图形特征值的像素量为X_js，则重合度分数

动作特征代号为z,目标图形特征标准的像素量为X_iz，对比图形特征值的像素量为X_jz，则重合度分数

优选的，所述步骤S7中，颜色特征的权重系数为20％，形状特征的权重系数为15％，面部特征的权重系数为35％，动作特征的权重系数为30％，权重

优选的，所述步骤S8中，权重值较大的区块图形中包含行人目标，若权重值相同，则按面部特征W_s、动作特征W_z、颜色特征W_y和形状特征W_q的顺序进行行人目标的追踪。

优选的，所述步骤S5中，环境特征指除人物以外的外部环境。

优选的，所述步骤S6中，若该区块图形中不包含人物面部特征，则面部特征重合度分数

不对该图形进行权重计算；所述步骤S8中，若该区块图形中不包含人物动作特征，则动作特征重合度分数

不对该图形进行权重计算。

与现有技术相比，本发明的有益效果是：

1、该发明在跟踪的初始阶段利用第一帧图像信息建立目标模型，跟踪过程中根据建立好的目标模型在第二帧图像中搜索目标，搜索后，以第二帧图像信息建立目标模型，根据建立好的目标模型在第三帧图像中搜索目标，直至到达尾帧，即使目标外观改变较大或者背景信息对目标模型造成干扰，但是目标图形设置在搜索帧的前一帧，减少跟踪失败的可能性；

2、该发明中以面部特征、动作特征、颜色特征和形状特征分别建立分类池，并分别计算重合分数，将场景重合部分均进行叠加，以确定行人目标，跟踪的准确性提高；

3、该发明中面部特征W_s、动作特征W_z、颜色特征W_y和形状特征W_q的权重比例不同，当权重值相同时，能按权重比例进行行人目标的追踪，即按面部特征W_s、动作特征W_z、颜色特征W_y和形状特征W_q的顺序进行行人目标的追踪。

附图说明

图1为本发明的一种基于多示例学习的行人目标跟踪方法的工作流程图；

图2为本发明的对比区块图形的图形特征与行人目标的特征的工作流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

请参阅图1-2，本发明提供的一种实施例：一种基于多示例学习的行人目标跟踪方法，包括以下步骤：

S1、截取图像资料；

S2、将图像资料分解成若干个区块图形，其分解取决于图像的分辨率及相关像素水平，能够精确对目标进行定位跟踪；

S3、提取区块图形的图形特征，包括提取面部特征、动作特征、颜色特征和形状特征；

S4、对比区块图形的图形特征与行人目标的特征；

S5、构建分类器，将颜色重合度分类池、形状重合度分类池、面部特征重合度分类池和动作特征重合度分类池放置其中，便于后续的权重计算；

S6、对分类器各分类池中示例进行重合度分数计算，对各特征进行分别计算，再进行整合，能够提高跟踪的准确度；

S7、对重合度分数进行权重计算，权重

S8、根据权重计算跟踪行人目标。

进一步，对步骤S5中构建分类器，包括以下步骤：

S51、剥离区块图形的颜色特征，彩色图像中，在R、G、B三个颜色通道中，每一种颜色通道占用8位，即有256种颜色，三个通道包含256的3次方的颜色，即1677万种颜色，一般的彩色图像需要24位颜色来表现，成为“真彩色”，每个图像都有一个或多个颜色通道，它们存储了图像中有关颜色的信息，颜色特征就是对同样位置的颜色进行提取，并与目标位置进行对比；

S52、建立颜色重合度分类池，其中颜色高重合率的图形区块，在进行形状特征对比时优先对比；

S53、剥离区块图形的形状特征，形状特征既为具体事物的形状特征，又为重叠联合形状的形状特征，通过具象和抽象两种形状特征进行对比分析，因相邻帧的转场和环境区别不大，所以两种对比能更快锁定目标位置；

S54、建立形状重合度分类池，两种形状高重合率的图形区块，在进行人物面部特征对比时优先对比；

S55、识取并去除区块图形的环境特征，即去除人物外的所有环境；

S56、剥离区块图形的人物面部特征，面部特征根据五官的位置进行分别对比；

S57、建立面部特征重合度分类池，五官的重合度分别计算后叠加，若区块图形非五官，则当前器官对比重合度记为0，再进行叠加；

S58、剥离区块图形的人物动作特征，即通过动作值的预估进行行人的目标跟踪；

S59、制作动作特征动态图形，对当前帧的动作进行动作状态预估，进行重合度计算时，下一帧的动作重合度与所有预估动作进行重合度对比，以重合度高的值作为当前帧的动作特征重合度分数；

S510、建立动作特征重合度分类池。

进一步，步骤S2中，对图像资料进行分解的数量取决于图像的分辨率及相关像素水平，图像资料的分辨率越高，分解的区块图形越多。

进一步，步骤S4中，行人目标为视频第一帧开始手动选取的目标，作为目标追踪的初始数据，根据该目标建立重合度计算的初始标准，第二帧的目标跟踪根据第一帧的初始标准进行分数计算，并将第二帧特征量作为制定重合度的二次标准，第三帧的目标跟踪根据第二帧的初始标准进行分数计算，直至到达尾帧，对比结束，即使目标外观改变较大或者背景信息对目标模型造成干扰，但是目标图形设置在搜索帧的前一帧，减少跟踪失败的可能性。

进一步，步骤S5中，分类器包括颜色重合度分类池、形状重合度分类池、面部特征重合度分类池和动作特征重合度分类池，并分别计算重合分数，将场景重合部分均进行叠加，以确定行人目标，跟踪的准确性提高。

进一步，步骤S6中，颜色特征代号为y,目标图形特征标准的像素量为X_iy，对比图形特征值的像素量为X_jy，则重合度分数

进一步，步骤S7中，颜色特征的权重系数为20％，形状特征的权重系数为15％，面部特征的权重系数为35％，动作特征的权重系数为30％，权重

进一步，步骤S8中，权重值较大的区块图形中包含行人目标，若权重值相同，则按面部特征W_s、动作特征W_z、颜色特征W_y和形状特征W_q的顺序进行行人目标的追踪。

进一步，步骤S5中，环境特征指除人物以外的外部环境。

进一步，步骤S6中，若该区块图形中不包含人物面部特征，则面部特征重合度分数

不对该图形进行权重计算；步骤S8中，若该区块图形中不包含人物动作特征，则动作特征重合度分数

不对该图形进行权重计算。

工作原理：使用时，在视频首帧手动选取行人目标，作为目标追踪的初始数据，根据该目标建立重合度计算的初始标准，截取图像资料，将图像资料分解成若干个区块图形，提取区块图形的图形特征，对比区块图形的图形特征与行人目标的特征，第二帧的目标跟踪根据第一帧的初始标准进行分数计算，并将第二帧特征量作为制定重合度的二次标准，第三帧的目标跟踪根据第二帧的初始标准进行分数计算，直至到达尾帧，对比结束，即使目标外观改变较大或者背景信息对目标模型造成干扰，但是目标图形设置在搜索帧的前一帧，减少跟踪失败的可能性，进行对比时剥离区块图形的颜色特征，建立颜色重合度分类池，每个图像都有一个或多个颜色通道，它们存储了图像中有关颜色的信息，颜色特征就是对同样位置的颜色进行提取，并与目标位置进行对比，其中颜色高重合率的图形区块，在进行形状特征对比时优先对比，剥离区块图形的形状特征，形状特征既为具体事物的形状特征，又为重叠联合形状的形状特征，通过具象和抽象两种形状特征进行对比分析，因相邻帧的转场和环境区别不大，所以两种对比能更快锁定目标位置，建立形状重合度分类池，两种形状高重合率的图形区块，在进行人物面部特征对比时优先对比，识取并去除区块图形的环境特征，即去除人物外的所有环境，剥离区块图形的人物面部特征，面部特征根据五官的位置进行分别对比，建立面部特征重合度分类池，若该区块图形中不包含人物面部特征，则面部特征重合度分数为0，不对该图形进行权重计算，剥离区块图形的人物动作特征，制作动作特征动态图形，对当前帧的动作进行动作状态预估，进行重合度计算时，下一帧的动作重合度与所有预估动作进行重合度对比，以重合度高的值作为当前帧的动作特征重合度分数，建立动作特征重合度分类池，若该区块图形中不包含人物动作特征，则动作特征重合度分数为0，不对该图形进行权重计算，通过面部特征W_s、动作特征W_z、颜色特征W_y和形状特征W_q分别建立的分类池构建分类器，对分类器各分类池中示例进行重合度分数计算，对重合度分数进行权重计算，将场景重合部分均进行叠加，以确定行人目标，跟踪的准确性提高，

根据权重计算最大值跟踪行人目标，若权重值相同，则按面部特征W_s、动作特征W_z、颜色特征W_y和形状特征W_q的顺序进行行人目标的追踪。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。