CN112287877B - 一种多角色特写镜头追踪方法 - Google Patents
一种多角色特写镜头追踪方法 Download PDFInfo
- Publication number
- CN112287877B CN112287877B CN202011294296.4A CN202011294296A CN112287877B CN 112287877 B CN112287877 B CN 112287877B CN 202011294296 A CN202011294296 A CN 202011294296A CN 112287877 B CN112287877 B CN 112287877B
- Authority
- CN
- China
- Prior art keywords
- video
- face detection
- close
- video data
- deep learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Geometry (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种多角色特写镜头追踪方法,包括如下步骤:获取多路视频数据,基于CNN网络构建深度学习模型,通过深度学习模型对多路视频数据分别进行人体检测和人脸检测;根据人体检测和人脸检测结果分别对每路视频中出现的人物进行身份匹配;分别为不同身份人物挑选最佳视角的镜头,并推送不同身份人物对应的最佳视角图像和/或视频流。本发明能够准确的判断监控***中的有效人物数据,提高视频数据的分析能力,提供高质量的分析结果及能够实时提供检测人物的特写图像和/或视频流。
Description
技术领域
本发明涉及视频图像处理技术领域,尤其涉及一种多角色特写镜头追踪方法。
背景技术
目前,深度学习技术不断发展、进步,成为了当今最流行的科学趋势之一。卷积神经网络(Convolutional Neural Network,CNN)作为深度学习中的重要算法,非常擅长处理图像相关的问题,如今广泛运用于计算机视觉领域,在人脸检测、图像检索等方面发挥着重要作用。
现有技术中,常常需要对待监测人物进行监测、识别,目前采用方法绝多数是通过设置视频监测设备对待测人物进行实时监控,将监控得到的大规模数据集建立模型,提取特征并进行待测人物的相关输出,但是在大多数场景中,利用视频数据的进行监测、识别,难以有效满足定制化服务需求,比如:由于托育机构虐童事件频发,为了确保子女的安全性、保持家庭照护与托育照护的一致性,家长往往希望实时查看托育机构的监控视频。但这一需求往往难以得到满足,主要原因如下:(1)直接使用传统监控***查看视频会侵犯其他幼儿隐私;(2)展示全画面的视频会泄露托育机构的特色教育内容,削弱其竞争力;(3)即使部分托育机构允许监护人在手机软件或者电脑软件上实时查看监控视频,由于监控摄像头拍摄角度固定及幼儿的位置移动,不能实时根据待测人物的动作变换,监护人一般难以始终看到其子女的特写镜头,需要花费时间在各监控画面中定位子女,且所有监护人查看到的数据一致,不存在定制化视频数据的分发。因此,基于上述现实问题,急需提供针对某些场景下的多路监控视频下,可以实时追踪特定场景下出现特定人物的特写镜头,实现视频数据的高度定制化自动生成服务,以满足此类场景下的定制化数据需求。
发明内容
为了解决上述技术问题,本发明提出一种多角色特写镜头追踪方法。
为了达到上述目的,本发明的技术方案如下:
一种多角色特写镜头追踪方法,包括如下步骤:
获取多路视频数据,基于CNN网络构建深度学习模型,通过深度学习模型对多路视频数据分别进行人体检测和人脸检测;
根据人体检测和人脸检测结果分别对每路视频中出现的人物进行身份匹配;
分别为不同身份人物挑选最佳视角的镜头,并推送不同身份人物对应的最佳视角图像和/或视频流。
优选地,在所述推送不同身份人物对应的最佳视角图像和/或视频流的步骤前,还包括如下步骤,在每个不同身份人物的最佳视角的镜头内,对该人进行对应的中心区域截取,并将截取的区域进行高清化图像修复。
优选地,所述最佳视角的镜头为多路视频中人脸检测的关键点数量最多的镜头。
优选地,所述人脸检测的关键点包括左内外眼角、鼻跟点、右内外眼角、鼻根点、左鼻翼、右鼻翼、鼻隔点、左右嘴唇、上下嘴唇和颏前点。
优选地,所述对多路视频数据分别进行人体检测和人脸检测,具体包括如下步骤:
基于CNN网络构建深度学习模型,从多路视频数据中提取图像特征,并完成多个位置框预测和类别预测;
多个位置框预测和类别预测分别与标签框进行损失计算,得到对应损失值;
根据所述损失值更新深度学习模型的参数。
优选地,所述位置预测采用的损失函数为smooth L1 loss:
优选地,所述分类预测的损失函数为交叉熵函数:
公式中,y′i指数据标签,yi指预测概率值。
优选地,根据人体检测和人脸检测结果分别对每路视频中人物进行身份匹配的具体方法为:
调用预先训练好的特征向量提取模型,在视频流中提取每路视频中人物的特征向量;
计算特征向量两两之间的欧拉距离;
根据计算得到的欧拉距离,获得每路视频中人物的相似性结果;
根据相似性结果,对每路视频中人物进行身份匹配。
优选地,所述欧拉距离的计算公式为:
公式中,mi和ni是不同的视频流中,任意两组特征向量的元素。
优选地,所述多路视频数据是通过多个监控采集设备从不同角度采集获得。
基于上述技术方案,本发明的有益效果是:本发明以深度学习技术为核心,首先利用深度学习中目标检测技术解决了行人检测、人脸检测问题,复用检测网络的特征向量完成各路视频的人物身份匹配,并自动为场景中出现的每个人物挑选一组视角最佳的镜头,并在视角最佳镜头下实时生成每个人物的特写镜头,本发明准确的判断监控***中的有效人物数据,提高视频数据的分析能力,提供高质量的分析结果。即使人物位置移动,导致最佳视角发生改变,本发明始终会在所有的视频流中,抓取视角最佳的一路进行处理,始终追踪该人物的特写镜头,能够实时提供检测人物的特写图像和/或视频流,提升用户使用体验。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明。
图1:本发明一种多角色特写镜头追踪方法流程图;
图2:本发明一种多角色特写镜头追踪方法中视频流输入输出示意图;
图3:本发明一种多角色特写镜头追踪方法中算法功能流程流程图;
图4:本发明一种多角色特写镜头追踪方法中深度学习训练示意图;
图5:本发明一种多角色特写镜头追踪方法中任务身份匹配示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
实施例一
如图1至5所示,本发明一种多角色特写镜头追踪方法,包括如下步骤:
1、特定场景下(比如幼儿园、托儿所、养老院等),多个监控摄像头从多个视角下采集视频。
2、将步骤1采集的多路视频数据输入到视频数据AI推理边缘侧服务器做综合处理,具体处理步骤是如图1所示:对每一路视频做实时人体检测、人脸检测,可以得对应的多路视频的人体检测结果和人脸识别结果→将各路视频内出现的人物进行身份匹配,匹配的结果是,每一个特定身份的人物会对应多个视角下的监控视频。→对每个特定身份的人物进行最佳视角的挑选,挑选的依据是,人脸检测的关键点的数量多少,检测到的人脸关键点越多,说明视角越佳→为每个人物的最佳视角进行中心区域截取,得到每个特定身份人物专属的“特写镜头”。→为每个特定身份人物的特写镜头进行高清化修复,并推送视频流输出。
以图3为例说明,算法工作流程。假设有两路视频流1和2是两个视角下的不同摄像机采集到的,针对同一场景下有两个人物:大人和小孩。首先用深度学习检测算法对两个视角的视频进行人体检测和人脸检测。视频流1和2各自得到了两个检测结果ID1和ID2。接下来做两个视频流检测到的ID进行身份匹配,结果是,视频流1下的ID2对应视频流2下的ID1是同一身份的人物(大人),视频流1下的ID1对应视频流2下的ID2是同一身份的人物(小孩)。这样,大人和小孩具有两个视角的镜头,对大人而言,既出现在视频1中ID1,又出现在视频流2中的ID2。接下来,对比两个镜头,对大人进行最佳视角的挑选,挑选的依据是,人脸检测的关键点的数量多少,人脸检测的关键点包括左内外眼角、鼻跟点、右内外眼角、鼻根点、左鼻翼、右鼻翼、鼻隔点、左右嘴唇、上下嘴唇和颏前点。发现镜头2下大人可检测到的关键点较多,则镜头2为大人的视角更佳。同样,小孩在镜头1下的视角更佳。接下来对两个人物的最佳镜头进行中心区域截取,并且进行推送视频流。
实现细节:
对多路视频数据分别进行人体检测和人脸检测:采用深度学习为核心的目标检测网络,不限于单阶段、双阶段或anchor(锚框)free,anchor base等框架。
训练流程如图4所示,需要大量带有人物位置标签框的图像数据,输入深度学习模型,该模型以CNN(convolutional neural network卷积神经网络)为主干网络,逐步提取图像特征,最终会输出多个人体/人脸位置框的预测和对应类别的预测,这些预测的结果与标签框进行损失计算,得到网络对一批数据的loss(损失)值,根据loss值,更新深度学习模型的参数,使得模型对后续数据预测的位置预测和类别预测更接近真实值。
其中,位置预测的损失函数是smooth L1 loss:
分类预测的损失函数是cross entropy loss(交叉熵):
公式中,y′i指数据标签,yi指预测概率值。可以看到,人体检测/人脸检测是一个多任务学习的训练过程。
根据人体检测和人脸检测结果分别对每路视频中出现的人物进行身份ID匹配:为了对不同视频流(视角)的内的人物进行身份匹配,本发明采用计算人体检测/人脸检测,输出特征的欧拉距离的方式进行。具体方式如图5所示,检测模型对不同的视频进行推理计算后会得到相应的输出特征,对不同视频流检测结果对应的特征进行欧拉距离计算,进行人物身份匹配。本质上是计算多个特征向量之间的两两欧拉距离,欧拉距离计算公式为如下:
公式中,mi和ni是不同的视频流中,任意两组特征向量的元素。
以上所述仅为本发明所公开的一种多角色特写镜头追踪方法的优选实施方式,并非用于限定本说明书实施例的保护范围。凡在本说明书实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本说明书实施例的保护范围之内。
上述实施例阐明的***、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书实施例中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
Claims (9)
1.一种多角色特写镜头追踪方法,其特征在于,包括如下步骤:
获取多路视频数据,基于CNN网络构建深度学习模型,通过深度学习模型对多路视频数据分别进行人体检测和人脸检测;
根据人体检测和人脸检测结果分别对每路视频中出现的人物进行身份匹配;分别为不同身份人物挑选最佳视角的镜头,并推送不同身份人物对应的最佳视角图像和/或视频流,所述最佳视角的镜头为多路视频中人脸检测的关键点数量最多的镜头。
2.根据权利要求1所述的一种多角色特写镜头追踪方法,其特征在于,在所述推送不同身份人物对应的最佳视角图像和/或视频流的步骤前,还包括如下步骤,在每个不同身份人物的最佳视角的镜头内,对该人进行对应的中心区域截取,并将截取的区域进行高清化图像修复。
3.根据权利要求1所述的一种多角色特写镜头追踪方法,其特征在于,所述人脸检测的关键点包括左内外眼角、鼻跟点、右内外眼角、鼻根点、左鼻翼、右鼻翼、鼻隔点、左右嘴唇、上下嘴唇和颏前点。
4.根据权利要求1所述的一种多角色特写镜头追踪方法,其特征在于,所述对多路视频数据分别进行人体检测和人脸检测,具体包括如下步骤:
基于CNN网络构建深度学习模型,从多路视频数据中提取图像特征,并完成多个位置框预测和类别预测;
多个位置框预测和类别预测分别与标签框进行损失计算,得到对应损失值;根据所述损失值更新深度学习模型的参数。
7.根据权利要求1所述的一种多角色特写镜头追踪方法,其特征在于,根据人体检测和人脸检测结果分别对每路视频中人物进行身份匹配的具体方法为:
调用预先训练好的特征向量提取模型,在视频流中提取每路视频中人物的特征向量;
计算特征向量两两之间的欧拉距离;
根据计算得到的欧拉距离,获得每路视频中人物的相似性结果;
根据相似性结果,对每路视频中人物进行身份匹配。
9.根据权利要求1所述的一种多角色特写镜头追踪方法,其特征在于,所述多路视频数据是通过多个监控采集设备从不同角度采集获得。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011294296.4A CN112287877B (zh) | 2020-11-18 | 2020-11-18 | 一种多角色特写镜头追踪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011294296.4A CN112287877B (zh) | 2020-11-18 | 2020-11-18 | 一种多角色特写镜头追踪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112287877A CN112287877A (zh) | 2021-01-29 |
CN112287877B true CN112287877B (zh) | 2022-12-02 |
Family
ID=74397916
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011294296.4A Active CN112287877B (zh) | 2020-11-18 | 2020-11-18 | 一种多角色特写镜头追踪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112287877B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114542874A (zh) * | 2022-02-23 | 2022-05-27 | 常州工业职业技术学院 | 一种自动调节拍照高度和角度的装置及其控制*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564052A (zh) * | 2018-04-24 | 2018-09-21 | 南京邮电大学 | 基于mtcnn的多摄像头动态人脸识别***与方法 |
CN109543560A (zh) * | 2018-10-31 | 2019-03-29 | 百度在线网络技术(北京)有限公司 | 一种视频中人物的分割方法、装置、设备和计算机存储介质 |
CN110414415A (zh) * | 2019-07-24 | 2019-11-05 | 北京理工大学 | 面向课堂场景的人体行为识别方法 |
CN110852219A (zh) * | 2019-10-30 | 2020-02-28 | 广州海格星航信息科技有限公司 | 一种多行人跨摄像头在线跟踪*** |
CN111783749A (zh) * | 2020-08-12 | 2020-10-16 | 成都佳华物链云科技有限公司 | 一种人脸检测方法、装置、电子设备及存储介质 |
CN111815675A (zh) * | 2020-06-30 | 2020-10-23 | 北京市商汤科技开发有限公司 | 目标对象的跟踪方法及装置、电子设备和存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109325398B (zh) * | 2018-06-30 | 2020-10-09 | 东南大学 | 一种基于迁移学习的人脸属性分析方法 |
CN109117803B (zh) * | 2018-08-21 | 2021-08-24 | 腾讯科技(深圳)有限公司 | 人脸图像的聚类方法、装置、服务器及存储介质 |
CN109829436B (zh) * | 2019-02-02 | 2022-05-13 | 福州大学 | 基于深度表观特征和自适应聚合网络的多人脸跟踪方法 |
CN109919977B (zh) * | 2019-02-26 | 2020-01-17 | 鹍骐科技(北京)股份有限公司 | 一种基于时间特征的视频运动人物跟踪与身份识别方法 |
CN109919097A (zh) * | 2019-03-08 | 2019-06-21 | 中国科学院自动化研究所 | 基于多任务学习的人脸和关键点联合检测***、方法 |
CN111401238B (zh) * | 2020-03-16 | 2023-04-28 | 湖南快乐阳光互动娱乐传媒有限公司 | 一种视频中人物特写片段的检测方法及装置 |
-
2020
- 2020-11-18 CN CN202011294296.4A patent/CN112287877B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108564052A (zh) * | 2018-04-24 | 2018-09-21 | 南京邮电大学 | 基于mtcnn的多摄像头动态人脸识别***与方法 |
CN109543560A (zh) * | 2018-10-31 | 2019-03-29 | 百度在线网络技术(北京)有限公司 | 一种视频中人物的分割方法、装置、设备和计算机存储介质 |
CN110414415A (zh) * | 2019-07-24 | 2019-11-05 | 北京理工大学 | 面向课堂场景的人体行为识别方法 |
CN110852219A (zh) * | 2019-10-30 | 2020-02-28 | 广州海格星航信息科技有限公司 | 一种多行人跨摄像头在线跟踪*** |
CN111815675A (zh) * | 2020-06-30 | 2020-10-23 | 北京市商汤科技开发有限公司 | 目标对象的跟踪方法及装置、电子设备和存储介质 |
CN111783749A (zh) * | 2020-08-12 | 2020-10-16 | 成都佳华物链云科技有限公司 | 一种人脸检测方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
"基于人脸跟踪识别的多摄像头调度***的研究与实现";肖旭章;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20190815;第五章 * |
Also Published As
Publication number | Publication date |
---|---|
CN112287877A (zh) | 2021-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sabir et al. | Recurrent convolutional strategies for face manipulation detection in videos | |
Laraba et al. | 3D skeleton‐based action recognition by representing motion capture sequences as 2D‐RGB images | |
Fan et al. | Video-based emotion recognition using CNN-RNN and C3D hybrid networks | |
US20170032182A1 (en) | System for adaptive real-time facial recognition using fixed video and still cameras | |
CN105590091B (zh) | 一种面部识别方法及其*** | |
CN110796051B (zh) | 基于货柜场景下的实时存取行为检测方法和*** | |
CN112530019B (zh) | 三维人体重建方法、装置、计算机设备和存储介质 | |
US20190013047A1 (en) | Identifying interesting portions of videos | |
CN106709404A (zh) | 图像处理装置及图像处理方法 | |
CN106165391A (zh) | 增强的图像捕获 | |
WO2022120843A1 (zh) | 三维人体重建方法、装置、计算机设备和存储介质 | |
CN111488774A (zh) | 一种图像处理方法、装置和用于图像处理的装置 | |
CN110348371A (zh) | 人体三维动作自动提取方法 | |
KR102511287B1 (ko) | 영상 기반 자세 예측 및 행동 검출 방법 및 장치 | |
CN112287877B (zh) | 一种多角色特写镜头追踪方法 | |
CN110543813B (zh) | 一种基于场景的人脸画像、目光计数方法及*** | |
Kaur et al. | Violence detection in videos using deep learning: A survey | |
Uçan et al. | Deepfake and security of video conferences | |
CN104751144B (zh) | 一种面向视频监控的正面人脸快速评价方法 | |
CN116402811A (zh) | 一种打架斗殴行为识别方法及电子设备 | |
WO2020232697A1 (zh) | 一种在线人脸聚类的方法及*** | |
Deotale et al. | Optimized hybrid RNN model for human activity recognition in untrimmed video | |
CN115393963A (zh) | 运动动作纠正方法、***、存储介质、计算机设备及终端 | |
Liu et al. | User-generated-video summarization using sparse modelling | |
CN111008558B (zh) | 结合深度学习与关系建模的图片/视频重要人物检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20210714 Address after: 215000 room d303, building g-1, shazhouhu science and Technology Innovation Park, Huachang Road, yangshe Town, Zhangjiagang City, Suzhou City, Jiangsu Province Applicant after: Suzhou aikor Intelligent Technology Co.,Ltd. Address before: 201601 building 6, 351 sizhuan Road, Sijing Town, Songjiang District, Shanghai Applicant before: Shanghai Sike Intelligent Technology Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |