CN109871771A - 一种基于单视角视频的自动检测人体的方法及*** - Google Patents

一种基于单视角视频的自动检测人体的方法及*** Download PDF

Info

Publication number
CN109871771A
CN109871771A CN201910051948.2A CN201910051948A CN109871771A CN 109871771 A CN109871771 A CN 109871771A CN 201910051948 A CN201910051948 A CN 201910051948A CN 109871771 A CN109871771 A CN 109871771A
Authority
CN
China
Prior art keywords
human
picture
human body
training
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910051948.2A
Other languages
English (en)
Inventor
赵琦峰
徐速
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Light Boat Technology Co Ltd
Original Assignee
Beijing Light Boat Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Light Boat Technology Co Ltd filed Critical Beijing Light Boat Technology Co Ltd
Priority to CN201910051948.2A priority Critical patent/CN109871771A/zh
Publication of CN109871771A publication Critical patent/CN109871771A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种基于单视角视频的自动检测人体的方法及***，该方法包括以下步骤：S1：人体检测训练，在运动视频中，将一张图片中将所有人体的区域检测出来并进行标注，S2：人体识别训练，在运动视频中，通过相邻视频帧中将同一个框选人体标注出来，同时将不同的人体标注出来；S3：利用人体识别算法模型和人体跟踪算法模型得到人体特征集合，利用人体检测算法模型检测出图片中的若干人群；S4：将人体特征集合与图片中检测到的若干人群进行比较，计算图片中人体的相似度，该***包括人体检测模块、人体识别模块、算法训练模块和人体跟踪模块，本发明通过人体检测算法模型和人体识别算法模型检测并计算图片中人群的相似度，搜索到框选的目标人体。

Description

一种基于单视角视频的自动检测人体的方法及***
技术领域
本发明涉及计算机视觉领域，具体涉及一种基于单视角视频的自动检测人体的方法及***。
背景技术
体育运动视频中的人***置与形态往往会在极短的时间内发生非常大的变化。在一些专业运动赛事中(比如美国NBA联赛)，会设立多点位、多角度的拍摄机位，运动员的着装也规范(均有号牌，特征明显)，这样规避了人***置形态发生突变给视觉识别带来的困难。在大众运动场馆铺设摄像头无法像专业赛事一样设立多机位(一方面是因为多机位多角度铺设性价比低，另一方面是场馆本身的铺设条件有局限性)，大众运动人群的着装也比较随意，无规律可循，所以，专业赛事中的视觉识别技术和方法在本项目中无法适用。
发明内容
本发明的目的是提供一种基于单视角视频的自动检测人体的方法及***，解决单视角体育运动视频中自动识别搜索某个人物的问题。
本发明的目的是通过以下技术方案来实现：
一种基于单视角视频的自动检测人体的方法，该方法包括以下步骤：S1：人体检测训练，在运动视频中，将一张图片中将所有人体的区域检测出来并进行标注，反复训练，得到人体检测算法模型；
S2：人体识别训练，在运动视频中，将目标人体框选出来，通过相邻视频帧中将同一个框选人体标注出来，作为模型训练正样本，同时将不同的人体标注出来作为模型训练负样本，输入两张图片，比较图片上的人体与人体是否一致，返回两张图片的相似度结果，反复训练，得到人体识别算法模型；
S3：用户在视频中某张图片中框选出希望在视频中搜索的人体，利用人体识别算法模型和人体跟踪算法模型得到人体特征集合，利用人体检测算法模型对视频的每一帧图片进行人体检测，检测出图片中的若干人群；
S4：将人体特征集合与图片中检测到的若干人群进行比较，利用人体识别算法模型计算图片中人体的相似度。
在优选的实施方案中，所述步骤S2中，模型训练正样本包括人体的正面、侧面、背面、旋转和光线变化多种情况下的标注数据。
在优选的实施方案中，所述步骤S3中的跟踪算法模型为将选中图片后5s内的所有图片中被框选的人物跟踪出来，对人物不同的形态进行比较，遴选出该人物的特征集合，反复训练，得到跟踪算法模型。
在优选的实施方案中，所述步骤S4中对视频的每一帧图片，进行人物检测，检测出所有的人体区域，然后基于人体识别算法模型与人物特征集合，对所有的人体进行识别计算，给出每个人体区域的相似度，每张图片选取相似度最高的人体区域作为结果返回。
在优选的实施方案中，所述步骤S4中对所有检测出的若干人群设置一个相似度阈值，超过该阈值的显示给用户，作为人物搜索的结果。
一种基于单视角视频的自动检测人体的***，包括人体检测模块、人体识别模块、算法训练模块和人体跟踪模块，所述人体检测模块用于检测图片中所有的人体区域，并将检测数据送入算法训练模块得到人体检测算法模型；所述人体识别模块用于比较图片上的人体与框选人体是否一致，并给出相似度，并将数据送入算法训练模块得到人体识别算法模型；所述人体跟踪模块用于对选中图片后5s内的所有图片中被框选的人物跟踪，并将数据送入算法训练模块得到跟踪算法模型。
本发明的有益效果为：通过人体检测算法模型和人体识别算法模型检测并计算图片中人群的相似度，搜索到框选的目标人体。
附图说明
下面根据附图对本发明作进一步详细说明。
图1是本发明实施例所述的基于单视角视频的自动检测人体的方法的流程图；
图2是本发明实施例所述的基于单视角视频的自动检测人体的***的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面将参照附图和具体实施例对本发明作进一步的说明。
如图1所示，本发明实施例的一种基于单视角视频的自动检测人体的方法，该方法包括以下步骤：
S1：人体检测训练，在运动视频中，将一张图片中将所有人体的区域检测出来并进行标注，所有人体的区域及人体的各个部位，如头部、驱赶等，反复训练，构建一个人体检测CNN神经网络模型，使用运动场景下的人体标注数据集进行训练，得到适用于体育运动场景下的人体检测算法模型；人体检测算法模型中的数据是有视频中每一帧的大量图片中提取出来的，人体特征数据可以使用由Dalal等人提出的梯度方向直方图(H O G)方法提取，该方法通过对局部图像的梯度和方向分布情况的描述，提取图像局部区域的梯度方向直方图作为检测特征。特征值可以包括外形特征值(如尺寸、轮廓、颜色)及运动特征值(如走，跑，站立，弯腰，蹲下等)。
S2：人体识别训练，在运动视频中，将目标人体框选出来，通过相邻视频帧中将同一个框选人体标注出来，作为模型训练正样本，同时将不同的人体标注出来作为模型训练负样本，构建一个CNN神经网络模型，输入两张图片，比较图片上的人体与人体是否一致，返回两张图片的相似度结果，通过标注的正负样本数据，对CNN神经网络进行训练，反复训练，得到人体识别算法模型。
由于目标人体的状态在每帧都不一样，开始的时候特征数据可能不适合继续作为特征参数，***也需要时时学习更新，适用更多的情况。
S3：用户在视频中某张图片中框选出希望在视频中搜索的人体，利用人体识别算法模型和人体跟踪算法模型得到人体特征集合，利用人体检测算法模型对视频的每一帧图片进行人体检测，检测出图片中的若干人群；
S4：将人体特征集合与图片中检测到的若干人群进行比较，利用人体识别算法模型计算图片中人体的相似度。找到框选的目标人体。
所述步骤S2中，模型训练正样本包括人体的正面、侧面、背面、旋转和光线变化多种情况下的标注数据，以提升模型的适应性。
所述步骤S3中的跟踪算法模型为将选中图片后5s内的所有图片中被框选的人物跟踪出来，对人物不同的形态进行比较，遴选出该人物的特征集合，反复训练，得到跟踪算法模型。
所述步骤S4中对视频的每一帧图片，进行人物检测，检测出所有的人体区域，然后基于人体识别算法模型与人物特征集合，对所有的人体进行识别计算，给出每个人体区域的相似度，每张图片选取相似度最高的人体区域作为结果返回。
所述步骤S4中对所有检测出的若干人群设置一个相似度阈值，超过该阈值的显示给用户，作为人物搜索的结果。
如图2所示，一种基于单视角视频的自动检测人体的***，包括人体检测模块、人体识别模块、算法训练模块和人体跟踪模块，所述人体检测模块用于检测图片中所有的人体区域，并将检测数据送入算法训练模块得到人体检测算法模型；所述人体识别模块用于比较图片上的人体与框选人体是否一致，并给出相似度，并将数据送入算法训练模块得到人体识别算法模型；所述人体跟踪模块用于对选中图片后5s内的所有图片中被框选的人物跟踪，并将数据送入算法训练模块得到跟踪算法模型。
最后应说明的是：以上所述的各实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或全部技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (6)

1.一种基于单视角视频的自动检测人体的方法，其特征在于：该方法包括以下步骤：
S1：人体检测训练，在运动视频中，将一张图片中将所有人体的区域检测出来并进行标注，反复训练，得到人体检测算法模型；
S2：人体识别训练，在运动视频中，将目标人体框选出来，通过相邻视频帧中将同一个框选人体标注出来，作为模型训练正样本，同时将不同的人体标注出来作为模型训练负样本，输入两张图片，比较图片上的人体与人体是否一致，返回两张图片的相似度结果，反复训练，得到人体识别算法模型；
S3：用户在视频中某张图片中框选出希望在视频中搜索的人体，利用人体识别算法模型和人体跟踪算法模型得到人体特征集合，利用人体检测算法模型对视频的每一帧图片进行人体检测，检测出图片中的若干人群；
S4：将人体特征集合与图片中检测到的若干人群进行比较，利用人体识别算法模型计算图片中人体的相似度。
2.根据权利要求1所述的基于单视角视频的自动检测人体的方法，其特征在于：所述步骤S2中，模型训练正样本包括人体的正面、侧面、背面、旋转和光线变化多种情况下的标注数据。
3.根据权利要求1所述的基于单视角视频的自动检测人体的方法，其特征在于：所述步骤S3中的跟踪算法模型为将选中图片后5s内的所有图片中被框选的人物跟踪出来，对人物不同的形态进行比较，遴选出该人物的特征集合，反复训练，得到跟踪算法模型。
4.根据权利要求1所述的基于单视角视频的自动检测人体的方法，其特征在于：所述步骤S4中对视频的每一帧图片，进行人物检测，检测出所有的人体区域，然后基于人体识别算法模型与人物特征集合，对所有的人体进行识别计算，给出每个人体区域的相似度，每张图片选取相似度最高的人体区域作为结果返回。
5.根据权利要求1所述的基于单视角视频的自动检测人体的方法，其特征在于：所述步骤S4中对所有检测出的若干人群设置一个相似度阈值，超过该阈值的显示给用户，作为人物搜索的结果。
6.一种基于单视角视频的自动检测人体的***，其特征在于：包括人体检测模块、人体识别模块、算法训练模块和人体跟踪模块，所述人体检测模块用于检测图片中所有的人体区域，并将检测数据送入算法训练模块得到人体检测算法模型；所述人体识别模块用于比较图片上的人体与框选人体是否一致，并给出相似度，并将数据送入算法训练模块得到人体识别算法模型；所述人体跟踪模块用于对选中图片后5s内的所有图片中被框选的人物跟踪，并将数据送入算法训练模块得到跟踪算法模型。
CN201910051948.2A 2019-01-21 2019-01-21 一种基于单视角视频的自动检测人体的方法及*** Pending CN109871771A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910051948.2A CN109871771A (zh) 2019-01-21 2019-01-21 一种基于单视角视频的自动检测人体的方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910051948.2A CN109871771A (zh) 2019-01-21 2019-01-21 一种基于单视角视频的自动检测人体的方法及***

Publications (1)

Publication Number Publication Date
CN109871771A true CN109871771A (zh) 2019-06-11

Family

ID=66917860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910051948.2A Pending CN109871771A (zh) 2019-01-21 2019-01-21 一种基于单视角视频的自动检测人体的方法及***

Country Status (1)

Country Link
CN (1) CN109871771A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784680A (zh) * 2020-12-23 2021-05-11 中国人民大学 一种人流密集场所锁定密集接触者的方法和***
CN113705510A (zh) * 2021-09-02 2021-11-26 广州市奥威亚电子科技有限公司 目标识别跟踪的方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1072014A1 (en) * 1998-04-13 2001-01-31 Eyematic Interfaces, Inc. Face recognition from video images
CN103177247A (zh) * 2013-04-09 2013-06-26 天津大学 一种融合多视角信息的目标检测方法
CN104392223A (zh) * 2014-12-05 2015-03-04 青岛科技大学 二维视频图像中的人体姿态识别方法
CN105913275A (zh) * 2016-03-25 2016-08-31 哈尔滨工业大学深圳研究生院 一种基于视频主角识别的服装广告投放方法及***
CN106295524A (zh) * 2016-08-01 2017-01-04 马平 一种基于视觉词袋的人体动作识别方法
CN106384360A (zh) * 2016-09-22 2017-02-08 北京舜裔科技有限公司 一种交互式视频创建方法
CN108345837A (zh) * 2018-01-17 2018-07-31 浙江大学 一种基于人体区域对齐化特征表达学习的行人再识别方法
CN108960078A (zh) * 2018-06-12 2018-12-07 温州大学 一种基于单目视觉、从动作识别身份的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1072014A1 (en) * 1998-04-13 2001-01-31 Eyematic Interfaces, Inc. Face recognition from video images
CN103177247A (zh) * 2013-04-09 2013-06-26 天津大学 一种融合多视角信息的目标检测方法
CN104392223A (zh) * 2014-12-05 2015-03-04 青岛科技大学 二维视频图像中的人体姿态识别方法
CN105913275A (zh) * 2016-03-25 2016-08-31 哈尔滨工业大学深圳研究生院 一种基于视频主角识别的服装广告投放方法及***
CN106295524A (zh) * 2016-08-01 2017-01-04 马平 一种基于视觉词袋的人体动作识别方法
CN106384360A (zh) * 2016-09-22 2017-02-08 北京舜裔科技有限公司 一种交互式视频创建方法
CN108345837A (zh) * 2018-01-17 2018-07-31 浙江大学 一种基于人体区域对齐化特征表达学习的行人再识别方法
CN108960078A (zh) * 2018-06-12 2018-12-07 温州大学 一种基于单目视觉、从动作识别身份的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
常永鑫: "基于视觉认知的目标识别技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *
郭丽纯: "基于视频序列的人体动作识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784680A (zh) * 2020-12-23 2021-05-11 中国人民大学 一种人流密集场所锁定密集接触者的方法和***
CN112784680B (zh) * 2020-12-23 2024-02-02 中国人民大学 一种人流密集场所锁定密集接触者的方法和***
CN113705510A (zh) * 2021-09-02 2021-11-26 广州市奥威亚电子科技有限公司 目标识别跟踪的方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN106650620B (zh) 一种应用无人机监测的目标人员识别追踪方法
McNally et al. Golfdb: A video database for golf swing sequencing
Sundberg et al. Occlusion boundary detection and figure/ground assignment from optical flow
CN106845357B (zh) 一种基于多通道网络的视频人脸检测和识别方法
CN109064484B (zh) 基于子群组划分与动量特征融合的人群运动行为识别方法
Kondori et al. 3D head pose estimation using the Kinect
CN107862240B (zh) 一种多摄像头协同的人脸追踪方法
KR101035055B1 (ko) 이종 카메라를 이용한 객체 추적 시스템 및 방법
Denman et al. Soft-biometrics: unconstrained authentication in a surveillance environment
Tulyakov et al. Robust real-time extreme head pose estimation
CN104298968A (zh) 一种基于超像素的复杂场景下的目标跟踪方法
JP7422456B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN104517095A (zh) 一种基于深度图像的人头分割方法
CN106909890A (zh) 一种基于部位聚类特征的人体行为识别方法
CN106445146B (zh) 用于头盔显示器的手势交互方法与装置
CN109871771A (zh) 一种基于单视角视频的自动检测人体的方法及***
Sha et al. Swimmer localization from a moving camera
Gao et al. Non-goal scene analysis for soccer video
KR102434397B1 (ko) 전역적 움직임 기반의 실시간 다중 객체 추적 장치 및 방법
CN107103301B (zh) 视频目标时空最大稳定性判别性颜色区域匹配方法和***
Shah et al. Multi-camera handoff for person re-identification
Singh et al. A multi-gait dataset for human recognition under occlusion scenario
CN114639117A (zh) 一种跨境特定行人追踪的方法和装置
CN108520208A (zh) 局部化面部识别方法
Luo et al. Finding spatio-temporal salient paths for video objects discovery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190611