CN111414860A - 一种实时的人像跟踪分割方法 - Google Patents

一种实时的人像跟踪分割方法 Download PDF

Info

Publication number
CN111414860A
CN111414860A CN202010200344.2A CN202010200344A CN111414860A CN 111414860 A CN111414860 A CN 111414860A CN 202010200344 A CN202010200344 A CN 202010200344A CN 111414860 A CN111414860 A CN 111414860A
Authority
CN
China
Prior art keywords
portrait
frame
tracking
mask
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010200344.2A
Other languages
English (en)
Inventor
张明琦
李云夕
熊永春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Quwei Science & Technology Co ltd
Original Assignee
Hangzhou Quwei Science & Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Quwei Science & Technology Co ltd filed Critical Hangzhou Quwei Science & Technology Co ltd
Priority to CN202010200344.2A priority Critical patent/CN111414860A/zh
Publication of CN111414860A publication Critical patent/CN111414860A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种实时的人像跟踪分割方法。它具体包括如下步骤:(1)训练阶段用来训练人像分割模型的参数,对分割网络进行离线训练,其包括数据预处理以及模型训练两部分;(2)预测阶段将视频的图片序列帧输入到人像跟踪分割算法中,经过KCF跟踪算法得到人像跟踪框,根据人像跟踪框裁剪出人像区域,对人像区域进行预处理并输入到分割模型中,对输出结果进行后处理,得到与输入帧对应的人像分割掩膜,按视频帧顺序循环这个过程,直到得到最终的视频人像掩膜序列后结束。本发明的有益效果是:提高算法的运行速度;图片数据更容易获取及标注;提高模型的运行速度,达到移动端实时的要求。

Description

一种实时的人像跟踪分割方法
技术领域
本发明涉及图像处理相关技术领域,尤其是指一种实时的人像跟踪分割方法。
背景技术
跟踪算法和分割算法属于两个不同的技术领域。通常来讲,在一个场景中,跟踪算法主要是对一个给定的目标进行持续的跟踪,从而得到其在该场景中的位置信息。而分割算法主要是对给定的目标进行语义分割,从而得到一系列的目标掩膜。因此,如果将跟踪算法和分割算法结合在一起,其应用就会十分的广泛,比如将人像的跟踪分割算法用于短视频行业,能够为后续进行视频特效的渲染等玩法提供基础。
目前的跟踪分割算法大多是基于深度学习的方法。在数据方面,由于需要同时训练跟踪及分割网络,必须以视频作为训练数据,而视频数据的标注需要花费大量的人工时间。因此视频数据的标注成为一大难点。在模型方面,由于跟踪分割算法的复杂性,导致模型结构的复杂度增加,算法运行时间较长,无法满足实时性的需求。
发明内容
本发明是为了克服现有技术中存在上述的不足,提供了一种提高算法运行速度的实时的人像跟踪分割方法。
为了实现上述目的,本发明采用以下技术方案:
一种实时的人像跟踪分割方法,具体包括如下步骤:
(1)训练阶段用来训练人像分割模型的参数,对分割网络进行离线训练,其包括数据预处理以及模型训练两部分;
(2)预测阶段将视频的图片序列帧输入到人像跟踪分割算法中,经过KCF跟踪算法得到人像跟踪框,根据人像跟踪框裁剪出人像区域,对人像区域进行预处理并输入到分割模型中,对输出结果进行后处理,得到与输入帧对应的人像分割掩膜,按视频帧顺序循环这个过程,直到得到最终的视频人像掩膜序列后结束。
本发明采用传统的KCF跟踪算法,提高算法的运行速度;以图片作为分割网络的训练数据,相比于视频数据,图片数据更容易获取及标注;设计轻量化的分割网络,提高模型的运行速度,达到移动端实时的要求;故而本发明提高了整体算法的运行速度,使跟踪分割算法在移动端能达到实时的性能要求。
作为优选,在步骤(1)中,具体操作方法为:
(11)搜集不同的人像数据,并对人像区域进行精确标注,背景区域为0,人像区域为1,从而得到对应的二值化人像掩膜;
(12)对训练的人像数据进行数据增强处理,然后将图像的长边缩放至224,短边等比缩放,不足之处补0对齐,得到尺寸为224*224*3的RGB输入图像Ix,对相应的二值化人像掩膜进行同样的缩放操作得到训练人像掩膜Iy
(13)采用Mobilenetv2作为分割网络的编码模块,整个编码模块对输入图像进行32倍下采样,得到特征图F;解码模块中,采用类似U-net的解码方式对特征图F进行细节的恢复,在将特征图尺寸恢复到56*56后,直接利用4倍的上采样层,得到尺寸为224*224*1的输出人像掩膜Y;
(14)对输出人像掩膜Y和训练人像掩膜Iy进行交叉熵损失函数运算和Dice损失函数运算,得到损失函数Loss;
(15)利用损失函数Loss对整个模型进行迭代,更新模型参数。
作为优选,在步骤(12)中,数据增强处理包括镜像、旋转、亮度对比度变换、仿射变换。
作为优选,在步骤(2)中,具体操作方法为:
(21)对视频进行拆帧处理,得到图片序列帧;
(22)将第一帧图片输入到KCF跟踪算法中,同时手工标记需要跟踪的人像框来初始化KCF跟踪算法,并将此作为第一帧的人像跟踪框B1
(23)假设当前帧的人像跟踪框为Bt,其中t表示图片帧在视频中的位置,KCF跟踪算法根据当前帧的人像跟踪框Bt,来预测下一帧的人像跟踪框Bt+1
(24)根据步骤(23)中得到的人像跟踪框Bt,对人像区域进行自适应裁剪,得到人像区域Pt
(25)对人像区域Pt进行预处理,将人像区域Pt的长边缩放至224,短边等比缩放,不足之处补0对齐,得到尺寸为224*224*3的RGB模型输入It
(26)RGB模型输入It在经过步骤(1)获得的人像分割模型后得到人像掩膜输出Yt
(27)对人像掩膜输出Yt进行后处理来优化结果,得到与原始图像帧对应的二值人像掩膜Nt
(28)循环步骤(23)到步骤(27),直到最后一帧的图像分割完成,得到所有的人像掩膜帧。
作为优选,在步骤(24)中,自适应裁剪具体为:首先判断人像跟踪框的宽高比或者高宽比,如果宽高比或者高宽比小于0.5,则扩大短边的范围,使其比例到达0.5;之后对人像跟踪框的宽高进行同等比例的外扩,得到人像区域Pt,保证整个裁剪区域中包含完整的人像。
作为优选,在步骤(27)中,对人像掩膜输出Yt进行后处理具体为:首先对其进行二值化处理,阈值为0.5,得到二值化的人像掩膜;其次,对该人像掩膜进行联通域分析,除去误分割的区域,保留人像的最大区域;然后将该结果缩放到步骤(24)中的人像区域Pt的尺寸大小;最后根据人像区域Pt的裁剪信息,将人像掩膜周边补0,得到与原始图像帧对应的二值人像掩膜Nt
本发明的有益效果是:提高算法的运行速度;图片数据更容易获取及标注;提高模型的运行速度,达到移动端实时的要求;提高了整体算法的运行速度,使跟踪分割算法在移动端能达到实时的性能要求。
附图说明
图1是本发明的方法流程图;
图2是本发明中分割模型的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
如图1所述的实施例中,一种实时的人像跟踪分割方法,具体包括如下步骤:
(1)训练阶段用来训练人像分割模型的参数,由于KCF跟踪算法不需要离线训练,因此该步仅对分割网络进行离线训练,其包括数据预处理以及模型训练两部分;具体操作方法为:
(11)搜集不同的人像数据,并对人像区域进行精确标注,背景区域为0,人像区域为1,从而得到对应的二值化人像掩膜;
(12)为了提高网络的泛化性,对训练的人像数据进行数据增强处理,数据增强处理包括镜像、旋转、亮度对比度变换、仿射变换等,然后将图像的长边缩放至224,短边等比缩放,不足之处补0对齐,得到尺寸为224*224*3的RGB输入图像Ix,对相应的二值化人像掩膜进行同样的缩放操作得到训练人像掩膜Iy
(13)采用Mobilenetv2作为分割网络的编码模块,该模块主要由一系列Mobilenetv2单元组成,整个编码模块对输入图像进行32倍下采样,得到特征图F;解码模块中,采用类似U-net的解码方式对特征图F进行细节的恢复,同时为了减小计算量,在将特征图尺寸恢复到56*56后,直接利用4倍的上采样层,得到尺寸为224*224*1的输出人像掩膜Y;
(14)对输出人像掩膜Y和训练人像掩膜Iy进行交叉熵损失函数运算和Dice损失函数运算,得到损失函数Loss;
(15)利用损失函数Loss对整个模型进行迭代,更新模型参数。
(2)预测阶段将视频的图片序列帧输入到人像跟踪分割算法中,经过KCF跟踪算法得到人像跟踪框,根据人像跟踪框裁剪出人像区域,对人像区域进行预处理并输入到分割模型中,对输出结果进行后处理,得到与输入帧对应的人像分割掩膜,按视频帧顺序循环这个过程,直到得到最终的视频人像掩膜序列后结束;具体操作方法为:
(21)对视频进行拆帧处理,得到图片序列帧;
(22)将第一帧图片输入到KCF跟踪算法中,同时手工标记需要跟踪的人像框来初始化KCF跟踪算法,并将此作为第一帧的人像跟踪框B1
(23)假设当前帧的人像跟踪框为Bt,其中t表示图片帧在视频中的位置(t=1,2,3…),KCF跟踪算法根据当前帧的人像跟踪框Bt,来预测下一帧的人像跟踪框Bt+1
(24)根据步骤(23)中得到的人像跟踪框Bt,对人像区域进行自适应裁剪,得到人像区域Pt;自适应裁剪具体为:首先判断人像跟踪框的宽高比或者高宽比,如果宽高比或者高宽比小于0.5,则扩大短边的范围,使其比例到达0.5;之后对人像跟踪框的宽高进行同等比例的外扩,得到人像区域Pt,保证整个裁剪区域中包含完整的人像;
(25)对人像区域Pt进行预处理,将人像区域Pt的长边缩放至224,短边等比缩放,不足之处补0对齐,得到尺寸为224*224*3的RGB模型输入It
(26)RGB模型输入It在经过步骤(1)获得的人像分割模型后得到人像掩膜输出Yt
(27)对人像掩膜输出Yt进行后处理来优化结果,得到与原始图像帧对应的二值人像掩膜Nt;对人像掩膜输出Yt进行后处理具体为:首先对其进行二值化处理,阈值为0.5,得到二值化的人像掩膜;其次,对该人像掩膜进行联通域分析,除去误分割的区域,保留人像的最大区域;然后将该结果缩放到步骤(24)中的人像区域Pt的尺寸大小;最后根据人像区域Pt的裁剪信息,将人像掩膜周边补0,得到与原始图像帧对应的二值人像掩膜Nt
(28)循环步骤(23)到步骤(27),直到最后一帧的图像分割完成,得到所有的人像掩膜帧(N1,N2,N3…)。
本发明采用传统的KCF跟踪算法,提高算法的运行速度;以图片作为分割网络的训练数据,相比于视频数据,图片数据更容易获取及标注;设计轻量化的分割网络,提高模型的运行速度,达到移动端实时的要求;故而本发明提高了整体算法的运行速度,使跟踪分割算法在移动端能达到实时的性能要求。

Claims (6)

1.一种实时的人像跟踪分割方法,其特征是,具体包括如下步骤:
(1)训练阶段用来训练人像分割模型的参数,对分割网络进行离线训练,其包括数据预处理以及模型训练两部分;
(2)预测阶段将视频的图片序列帧输入到人像跟踪分割算法中,经过KCF跟踪算法得到人像跟踪框,根据人像跟踪框裁剪出人像区域,对人像区域进行预处理并输入到分割模型中,对输出结果进行后处理,得到与输入帧对应的人像分割掩膜,按视频帧顺序循环这个过程,直到得到最终的视频人像掩膜序列后结束。
2.根据权利要求1所述的一种实时的人像跟踪分割方法,其特征是,在步骤(1)中,具体操作方法为:
(11)搜集不同的人像数据,并对人像区域进行精确标注,背景区域为0,人像区域为1,从而得到对应的二值化人像掩膜;
(12)对训练的人像数据进行数据增强处理,然后将图像的长边缩放至224,短边等比缩放,不足之处补0对齐,得到尺寸为224*224*3的RGB输入图像Ix,对相应的二值化人像掩膜进行同样的缩放操作得到训练人像掩膜Iy
(13)采用Mobilenetv2作为分割网络的编码模块,整个编码模块对输入图像进行32倍下采样,得到特征图F;解码模块中,采用类似U-net的解码方式对特征图F进行细节的恢复,在将特征图尺寸恢复到56*56后,直接利用4倍的上采样层,得到尺寸为224*224*1的输出人像掩膜Y;
(14)对输出人像掩膜Y和训练人像掩膜Iy进行交叉熵损失函数运算和Dice损失函数运算,得到损失函数Loss;
(15)利用损失函数Loss对整个模型进行迭代,更新模型参数。
3.根据权利要求2所述的一种实时的人像跟踪分割方法,其特征是,在步骤(12)中,数据增强处理包括镜像、旋转、亮度对比度变换、仿射变换。
4.根据权利要求1所述的一种实时的人像跟踪分割方法,其特征是,在步骤(2)中,具体操作方法为:
(21)对视频进行拆帧处理,得到图片序列帧;
(22)将第一帧图片输入到KCF跟踪算法中,同时手工标记需要跟踪的人像框来初始化KCF跟踪算法,并将此作为第一帧的人像跟踪框B1
(23)假设当前帧的人像跟踪框为Bt,其中t表示图片帧在视频中的位置,KCF跟踪算法根据当前帧的人像跟踪框Bt,来预测下一帧的人像跟踪框Bt+1
(24)根据步骤(23)中得到的人像跟踪框Bt,对人像区域进行自适应裁剪,得到人像区域Pt
(25)对人像区域Pt进行预处理,将人像区域Pt的长边缩放至224,短边等比缩放,不足之处补0对齐,得到尺寸为224*224*3的RGB模型输入It
(26)RGB模型输入It在经过步骤(1)获得的人像分割模型后得到人像掩膜输出Yt
(27)对人像掩膜输出Yt进行后处理来优化结果,得到与原始图像帧对应的二值人像掩膜Nt
(28)循环步骤(23)到步骤(27),直到最后一帧的图像分割完成,得到所有的人像掩膜帧。
5.根据权利要求4所述的一种实时的人像跟踪分割方法,其特征是,在步骤(24)中,自适应裁剪具体为:首先判断人像跟踪框的宽高比或者高宽比,如果宽高比或者高宽比小于0.5,则扩大短边的范围,使其比例到达0.5;之后对人像跟踪框的宽高进行同等比例的外扩,得到人像区域Pt,保证整个裁剪区域中包含完整的人像。
6.根据权利要求4所述的一种实时的人像跟踪分割方法,其特征是,在步骤(27)中,对人像掩膜输出Yt进行后处理具体为:首先对其进行二值化处理,阈值为0.5,得到二值化的人像掩膜;其次,对该人像掩膜进行联通域分析,除去误分割的区域,保留人像的最大区域;然后将该结果缩放到步骤(24)中的人像区域Pt的尺寸大小;最后根据人像区域Pt的裁剪信息,将人像掩膜周边补0,得到与原始图像帧对应的二值人像掩膜Nt
CN202010200344.2A 2020-03-20 2020-03-20 一种实时的人像跟踪分割方法 Pending CN111414860A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010200344.2A CN111414860A (zh) 2020-03-20 2020-03-20 一种实时的人像跟踪分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010200344.2A CN111414860A (zh) 2020-03-20 2020-03-20 一种实时的人像跟踪分割方法

Publications (1)

Publication Number Publication Date
CN111414860A true CN111414860A (zh) 2020-07-14

Family

ID=71493140

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010200344.2A Pending CN111414860A (zh) 2020-03-20 2020-03-20 一种实时的人像跟踪分割方法

Country Status (1)

Country Link
CN (1) CN111414860A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932546A (zh) * 2020-08-20 2020-11-13 展讯通信(上海)有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN112487974A (zh) * 2020-11-30 2021-03-12 叠境数字科技(上海)有限公司 视频流多人分割方法、***、芯片及介质
CN112529914A (zh) * 2020-12-18 2021-03-19 北京中科深智科技有限公司 一种实时头发分割方法和***
CN113516672A (zh) * 2021-09-07 2021-10-19 北京美摄网络科技有限公司 图像分割方法、装置、电子设备及可读存储介质
CN114041767A (zh) * 2021-10-11 2022-02-15 宁波春建电子科技有限公司 一种基于深度相机和毫米波雷达的心率检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062761A (zh) * 2017-12-25 2018-05-22 北京奇虎科技有限公司 基于自适应跟踪框的图像分割方法、装置及计算设备
CN109977981A (zh) * 2017-12-27 2019-07-05 深圳市优必选科技有限公司 基于双目视觉的场景解析方法、机器人及存储装置
CN110399847A (zh) * 2019-07-30 2019-11-01 北京字节跳动网络技术有限公司 关键帧提取方法、装置及电子设备
CN110490858A (zh) * 2019-08-21 2019-11-22 西安工程大学 一种基于深度学习的织物缺陷像素级分类方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062761A (zh) * 2017-12-25 2018-05-22 北京奇虎科技有限公司 基于自适应跟踪框的图像分割方法、装置及计算设备
CN109977981A (zh) * 2017-12-27 2019-07-05 深圳市优必选科技有限公司 基于双目视觉的场景解析方法、机器人及存储装置
CN110399847A (zh) * 2019-07-30 2019-11-01 北京字节跳动网络技术有限公司 关键帧提取方法、装置及电子设备
CN110490858A (zh) * 2019-08-21 2019-11-22 西安工程大学 一种基于深度学习的织物缺陷像素级分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FANYI XIAO ET AL: "《Track and Segment: An Iterative Unsupervised Approach for Video Object Proposals》", 《IEEE》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932546A (zh) * 2020-08-20 2020-11-13 展讯通信(上海)有限公司 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN112487974A (zh) * 2020-11-30 2021-03-12 叠境数字科技(上海)有限公司 视频流多人分割方法、***、芯片及介质
CN112529914A (zh) * 2020-12-18 2021-03-19 北京中科深智科技有限公司 一种实时头发分割方法和***
CN112529914B (zh) * 2020-12-18 2021-08-13 北京中科深智科技有限公司 一种实时头发分割方法和***
CN113516672A (zh) * 2021-09-07 2021-10-19 北京美摄网络科技有限公司 图像分割方法、装置、电子设备及可读存储介质
CN113516672B (zh) * 2021-09-07 2022-02-25 北京美摄网络科技有限公司 图像分割方法、装置、电子设备及可读存储介质
CN114041767A (zh) * 2021-10-11 2022-02-15 宁波春建电子科技有限公司 一种基于深度相机和毫米波雷达的心率检测方法

Similar Documents

Publication Publication Date Title
CN111414860A (zh) 一种实时的人像跟踪分割方法
CN109299274B (zh) 一种基于全卷积神经网络的自然场景文本检测方法
CN106709964B (zh) 基于梯度修正和多向纹理提取的素描画生成方法及装置
CN110969589A (zh) 基于多流注意对抗网络的动态场景模糊图像盲复原方法
CN110796662B (zh) 一种实时的语义视频分割方法
CN116797488A (zh) 一种基于特征融合与注意力嵌入的低照度图像增强方法
CN112233129A (zh) 基于深度学习的并行多尺度注意力机制语义分割方法及装置
CN113255837A (zh) 工业环境下基于改进的CenterNet网络目标检测方法
CN115393396B (zh) 一种基于掩码预训练的无人机目标跟踪方法
CN112767280B (zh) 一种基于循环迭代机制的单幅图像雨滴去除方法
CN112184585A (zh) 一种基于语义边缘融合的图像补全方法及***
CN113902925A (zh) 一种基于深度卷积神经网络的语义分割方法及***
CN110992374A (zh) 一种基于深度学习的头发精细化分割方法及***
CN111652231B (zh) 一种基于特征自适应选择的铸件缺陷语义分割方法
CN114627269A (zh) 一种基于深度学***台
CN111932645A (zh) 基于生成对抗网络gan自动生成水墨画的方法
CN113962905A (zh) 基于多阶段特征互补网络的单幅图像去雨方法
CN111507279B (zh) 一种基于UNet++网络的掌纹识别方法
CN116895037A (zh) 基于边缘信息和多尺度交叉融合网络的帧***方法及***
CN115457448B (zh) 一种视频关键帧智能提取***
CN108550119B (zh) 一种结合边缘信息的图像去噪方法
CN112200751B (zh) 一种图像增强方法
CN112733714B (zh) 一种基于vgg网络的自动人群计数图像识别方法
CN114627139A (zh) 基于像素特征学习的无监督图像分割方法、装置及设备
CN117745593B (zh) 一种基于扩散模型老照片划痕修复方法与***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200714

RJ01 Rejection of invention patent application after publication