CN107527015B - 一种基于肤色检测的人眼视频定位方法和*** - Google Patents

一种基于肤色检测的人眼视频定位方法和*** Download PDF

Info

Publication number
CN107527015B
CN107527015B CN201710600050.7A CN201710600050A CN107527015B CN 107527015 B CN107527015 B CN 107527015B CN 201710600050 A CN201710600050 A CN 201710600050A CN 107527015 B CN107527015 B CN 107527015B
Authority
CN
China
Prior art keywords
block
skin color
human eye
note
judging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710600050.7A
Other languages
English (en)
Other versions
CN107527015A (zh
Inventor
舒倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mengwang Video Co ltd
Original Assignee
Shenzhen Mengwang Video Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mengwang Video Co ltd filed Critical Shenzhen Mengwang Video Co ltd
Priority to CN201710600050.7A priority Critical patent/CN107527015B/zh
Publication of CN107527015A publication Critical patent/CN107527015A/zh
Application granted granted Critical
Publication of CN107527015B publication Critical patent/CN107527015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提出一种基于肤色检测的人眼视频定位方法和***。涉及图像处理技术领域，本发明方法通过一方面利用肤色检测，设计一种人眼定位技术；另一方面通过视频压缩域的信息确定视频中相关图像帧的人眼定位，以提升人眼视频定位技术的时效性。

Description

一种基于肤色检测的人眼视频定位方法和***
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于肤色检测的人眼视频定位方法和***。
背景技术
随着多媒体技术及计算机网络技术的迅速发展，视频逐渐成为信息传播的主流载体之一。无论是人脸视频检索、还是在线视频美颜，精确快速的人眼定位技术都会增强其事半功倍的效果。目前主流的专设人眼图像定位技术，计算量大，制约了算法的在线使用和二次开发效率。此外，当人眼定位技术应用于视频时，不利用视频的时间相关性，仅做图像处理的纵向延伸，亦会进一步降低算法实施效率。
发明内容
本发明实施例的目的在于提出一种基于肤色检测的人眼视频定位方法，旨在解决现有技术人眼定位技术应用于视频时，不利用视频的时间相关性，仅做图像处理的纵向延伸，实施效率低的问题。
本发明实施例是这样实现的，一种基于肤色检测的人眼视频定位方法，所述方法包括：
Step0：令t＝1，t表示帧序列号；
Step1：解码视频当前帧，获取解码图像；
Step2：为当前帧中每个块设置相应的肤色标识符；
Step3：判断如果当前帧所有块的肤色标识符均为0，则进入Step6；否则，则进入Step4；
Step4：在当前帧中查找人眼待定区域，并设置相应的判定模式；
Step5：按判定模式进行人眼定位，标识；
Step6：如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入Step7；否则，结束；
Step7：如果不存在sbkt-1(i,j)＝1，则进入Step8；否则进入Step10；
sbkt-1(i,j)表示块bkt-1(i,j)的人眼标识参数；bkt-1(i,j)表示pict-1的第i行第j解码块；pict-1表示视频第t-1帧；
Step8：如果pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；
其中，pict表示视频第t帧，也称为当前帧；tpt为场景切换参数；bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；sum(变量)表示对变量求和；
Figure BDA0001356919790000021
条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；bkt(i,j)表示pict的第i行第j解码块；
Step9：如果tpt＝0，则首先，设置所有sbkt(i,j)＝0，然后进入Step6；否则，如果tpt≥0.9*bkh*bkw，则进入Step1；否则，则进入Step10；其中sbkt(i,j)表示块bkt(i,j)的人眼标识参数；
Step10：如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为肤色判定区域；否则，划入非肤色判定块区域；
Step11：为肤色判定区域中每个块设置相应的肤色标识符；
Step12：对非肤色判定区域的块，根据参考块的参数来标识当前块；然后进入Step4。
本发明实施例的另一目的在于提出一种基于肤色检测的人眼视频定位***。所述***包括：
帧序列号初始化模块，用于令t＝1，t表示帧序列号；
解码模块，用于解码视频当前帧，获取解码图像；
当前帧的块肤色标识符设置模块，用于为当前帧中每个块设置相应的肤色标识符；
具体为：用业内公开的以块为单位的肤色判定方法，判断当前帧中每个块是否为肤色块，即如果bkt(i,j)判定为肤色块，则设置该块肤色标识符为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0；
其中，bkt(i,j)表示pict的第i行第j解码块；bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数，notet(i,j)表示当前帧pict的第i行第j块的肤色标识符；
肤色标识符判断模块，用于判断如果当前帧所有块的肤色标识符均为0，则进入下一帧判断处理模块；否则，则进入人眼待定区域判定模式设置装置；
人眼待定区域判定模式设置装置，用于在当前帧中查找人眼待定区域，并设置相应的判定模式；
人眼定位及标识装置，用于按判定模式进行人眼定位，标识；
下一帧判断处理模块，用于判断如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入人眼标识参数判断模块；否则，结束；
人眼标识参数判断模块，用于判断如果不存在sbkt-1(i,j)＝1，则进入帧内预测帧判断处理模块；否则进入肤色和非肤色判定区域划分模块；
sbkt-1(i,j)表示块bkt-1(i,j)的人眼标识参数；bkt-1(i,j)表示pict-1的第i行第j解码块；pict-1表示视频第t-1帧；
帧内预测帧判断处理模块，用于判断如果pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；
其中，条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；tpt为场景切换参数；pict表示视频第t帧，也称为当前帧；
场景切换参数判断处理模块，用于判断如果tpt＝0，则首先，设置所有sbkt(i,j)＝0，然后进入下一帧判断处理模块；否则，如果tpt≥0.9*bkh*bkw，则进入解码模块；否则，则进入肤色和非肤色判定区域划分模块；
肤色和非肤色判定区域划分模块，用于如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为肤色判定区域；否则，划入非肤色判定区域；
肤色标识符设置模块，用于为肤色判定区域中每个块设置相应的肤色标识符；
具体为：用业内公开的以块为单位的肤色判定方法，判断肤色判定区域中每个块是否为肤色块，如果bkt(i,j)判定为肤色块，则设置该块肤色标识符为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0；
非肤色标识符设置模块，用于对非肤色判定区域的块，根据参考块的参数来标识当前块；然后进入人眼待定区域判定模式设置装置；
具体为：如果spbkt(i,j)＝1，则设置sbkt(i,j)＝1；否则，则设置sbkt(i,j)＝0；如果snotet(i,j)＝1，则设置notet(i,j)＝1；否则，则设置notet(i,j)＝0；
其中，snotet(i,j)表示bkt(i,j)的参考块的肤色标识参数；spbkt(i,j)表示bkt(i,j)的参考块的人眼标识参数。
本发明的有益效果
本发明提出一种基于肤色检测的人眼视频定位方法。本发明方法通过一方面利用肤色检测，设计一种人眼定位技术；另一方面通过视频压缩域的信息确定视频中相关图像帧的人眼定位，以提升人眼视频定位技术的时效性。
附图说明
图1是本发明优选实施例一种基于肤色检测的人眼视频定位方法流程图；
图2是图1中Step4详细方法流程图；
图3是图1中Step5中侧面判定模式详细方法流程图；
图4是本发明优选实施例一种基于肤色检测的人眼视频定位***结构图；
图5是图4中人眼待定区域判定模式设置装置结构图；
图6是图4中人眼定位及标识装置中的侧面判定装置结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。
本发明实施例提出一种基于肤色检测的人眼视频定位方法和***。本发明方法实施例通过一方面利用肤色检测，设计一种人眼定位技术；另一方面通过视频压缩域的信息确定视频中相关图像帧的人眼定位，以提升人眼视频定位技术的时效性。
实施例一
图1是本发明优选实施例一种基于肤色检测的人眼视频定位方法流程图；所述方法包括以下步骤：
Step0：令t＝1，pict表示视频第t帧，也称为当前帧，t表示帧序列号。
Step1：解码视频当前帧，获取解码图像。
Step2：为当前帧中每个块设置相应的肤色标识符；
具体为：用业内公开的以块为单位的肤色判定方法，判断当前帧中每个块是否为肤色块，即如果bkt(i,j)判定为肤色块，则设置该块肤色标识符为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0。
其中，bkt(i,j)表示pict的第i行第j解码块(块的大小为16x16(H264等标准)，64x64(HEVC)，当块进一步划分，这些小尺寸块称为子块)，bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数，notet(i,j)表示当前帧pict的第i行第j块的肤色标识符。
Step3：如果当前帧所有块的肤色标识符均为0，则进入Step6；否则，则进入Step4。
Step4：在当前帧中查找人眼待定区域，并设置相应的判定模式；
图2是图1中Step4详细方法流程图；所述方法包括以下步骤：
Step41：首先查找是否存在满足条件：notet(i,j)＝0且notet(i-1,j)＝1且notet(i,j-1)＝1的块，若是，则首先将该块记为sbkt(is,js)，称为人眼起始判定块，然后进入Step42；若否则进入Step6。
其中，is,js分别为块sbkt(is,js)的行号与列号；notet(i-1,j)表示当前帧pict的第i-1行第j块的肤色标识符；notet(i,j-1)表示当前帧pict的第i行第j-1块的肤色标识符；
Step42：然后在人眼起始判定块所在的行查找是否存在满足条件：notet(i,j)＝0且notet(i-1,j)＝1且notet(i,j+1)＝1的块，若是则首先将该块记为dbkt(id,jd)，称为人眼中止判定块，然后进入Step43，若否则进入Step44；
其中，id,jd分别为块dbkt(id,jd)的行号与列号；notet(i,j+1)＝1表示当前帧pict的第i行第j+1块的肤色标识符；
Step43:首先进行待判定区域的融合，即将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，接着将人眼中止判定块邻接的非肤色块一起合并为人眼待定第二区域，然后设置判定模式为正面判定模式；接着进入Step5；
Step44:首先进行待判定区域的融合，即将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，然后设置判定模式为侧面判定模式；接着进入Step5；
Step5：按判定模式进行人眼定位，标识。
侧面判定模式：
图3是图1中Step5中侧面判定模式详细方法流程图；所述方法包括以下步骤：
步骤C1：计算人眼待定第一区域的亮度值分布
p(k)＝sum(sign(yt(m,n)＝k|yt(m,n)∈人眼待定第一区域))。
其中，p(k)标识亮度值k的分布；sum(变量)表示对变量求和；yt(m,n)表示pict第m行第n列的亮度值；
Figure BDA0001356919790000061
步骤C2：求人眼待定第一区域的亮度值分布的最大值和次最大值，并找到对应的亮度值。
perk1(k)＝max(p(k))、kmax1＝arg(k|perk1(k))、
perk2(k)＝max(p(k)|p(k)≠perk1(k))、kmax2＝arg(k|perk2(k))。
其中，perk1(k)、kmax1分别表示亮度值分布的最大值和亮度值分布的最大值对应的亮度值；perk2(k)、kmax2分别表示亮度值分布的次最大值和亮度值分布的次最大值对应的亮度值；kmax1＝arg(k|perk1(k))表示先求perk1(k)，然后将perk1(k)对应的k值，赋值给kmax1，kmax2＝arg(k|perk2(k))表示先求perk2(k)，然后将perk2(k)对应的k值，赋值给kmax2；max(变量|条件)表示对满足条件的变量求最大值、max(变量)表示变量求最大值。
步骤C3：如果abs(kmax1-kmax2)>Thres，则判定人眼待定第一区域为人眼，并标识该区域内所有块为人眼，否则，标识为非人眼。
即sbkt(i,j)＝sign(bkt(i,j)|人眼标识条件)，
其中人眼标识条件：abs(kmax1-kmax2)>Thres且bkt(i,j)∈人眼待定第一区域。其中，sbkt(i,j)表示块bkt(i,j)的人眼标识参数；abs(变量)表示对变量求绝对值。
正面判定模式：对人眼待定第一区域、人眼待定第二区域分别进行一次侧面判定，并将相应的结果作标识。
Step6：如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入Step7；否则，结束。
Step7：如果不存在sbkt-1(i,j)＝1，则进入Step8；否则进入Step10。
sbkt-1(i,j)表示块bkt-1(i,j)的人眼标识参数；bkt-1(i,j)表示pict-1的第i行第j解码块；pict-1表示视频第t-1帧；
Step8：如果pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)。
其中，条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；tpt为场景切换参数。
Step9：如果tpt＝0，则首先，设置所有sbkt(i,j)＝0，然后进入Step6；否则，如果tpt≥0.9*bkh*bkw，则进入Step1；否则，则进入Step10。
Step10：如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为肤色判定区域；否则，划入非肤色判定区域。
Step11：为肤色判定区域中每个块设置相应的肤色标识符；
具体为：用业内公开的以块为单位的肤色判定方法，判断肤色判定区域中每个块是否为肤色块，如果bkt(i,j)判定为肤色块，则设置该块肤色标识符为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0。
Step12：对非肤色判定区域的块，根据参考块的参数来标识当前块；然后进入Step4。
具体为：如果spbkt(i,j)＝1，则设置sbkt(i,j)＝1；否则，则设置sbkt(i,j)＝0；如果snotet(i,j)＝1，则设置notet(i,j)＝1；否则，则设置notet(i,j)＝0。
其中，snotet(i,j)表示bkt(i,j)的参考块的肤色标识参数；spbkt(i,j)表示bkt(i,j)的参考块的人眼标识参数。
实施例二
图4是本发明优选实施例一种基于肤色检测的人眼视频定位***结构图；所述***包括：
帧序列号初始化模块，用于令t＝1，pict表示视频第t帧，也称为当前帧，t表示帧序列号；
解码模块，用于解码视频当前帧，获取解码图像；
当前帧的块肤色标识符设置模块，用于为当前帧中每个块设置相应的肤色标识符；
具体为：用业内公开的以块为单位的肤色判定方法，判断当前帧中每个块是否为肤色块，即如果bkt(i,j)判定为肤色块，则设置该块肤色标识符为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0。
其中，bkt(i,j)表示pict的第i行第j解码块(块的大小为16x16(H264等标准)，64x64(HEVC)，当块进一步划分，这些小尺寸块称为子块)，bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数，notet(i,j)表示当前帧pict的第i行第j块的肤色标识符。
肤色标识符判断模块，用于判断如果当前帧所有块的肤色标识符均为0，则进入下一帧判断处理模块；否则，则进入人眼待定区域判定模式设置装置。
人眼待定区域判定模式设置装置，用于在当前帧中查找人眼待定区域，并设置相应的判定模式；
人眼定位及标识装置，用于按判定模式进行人眼定位，标识。
下一帧判断处理模块，用于判断如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入人眼标识参数判断模块；否则，结束。
人眼标识参数判断模块，用于判断如果不存在sbkt-1(i,j)＝1，则进入帧内预测帧判断处理模块；否则进入肤色和非肤色判定区域划分模块。
sbkt-1(i,j)表示块bkt-1(i,j)的人眼标识参数；bkt-1(i,j)表示pict-1的第i行第j解码块；pict-1表示视频第t-1帧；
帧内预测帧判断处理模块，用于判断如果pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)。
其中，条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；tpt为场景切换参数。
场景切换参数判断处理模块，用于判断如果tpt＝0，则首先，设置所有sbkt(i,j)＝0，然后进入下一帧判断处理模块；否则，如果tpt≥0.9*bkh*bkw，则进入解码模块；否则，则进入肤色和非肤色判定区域划分模块。
肤色和非肤色判定区域划分模块，用于如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为肤色判定区域；否则，划入非肤色判定区域。
肤色标识符设置模块，用于为肤色判定区域中每个块设置相应的肤色标识符；
具体为：用业内公开的以块为单位的肤色判定方法，判断肤色判定区域中每个块是否为肤色块，如果bkt(i,j)判定为肤色块，则设置该块肤色标识符为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0。
非肤色标识符设置模块，用于对非肤色判定区域的块，根据参考块的参数来标识当前块；然后进入人眼待定区域判定模式设置装置。
具体为：如果spbkt(i,j)＝1，则设置sbkt(i,j)＝1；否则，则设置sbkt(i,j)＝0；如果snotet(i,j)＝1，则设置notet(i,j)＝1；否则，则设置notet(i,j)＝0。
其中，snotet(i,j)表示bkt(i,j)的参考块的肤色标识参数；spbkt(i,j)表示bkt(i,j)的参考块的人眼标识参数。
进一步地，图5是图4中人眼待定区域判定模式设置装置结构图；所述装置包括：
人眼起始判定块查找判断模块，用于查找是否存在满足条件：notet(i,j)＝0且notet(i-1,j)＝1且notet(i,j-1)＝1的块，若是，则首先将该块记为sbkt(is,js)，称为人眼起始判定块，然后进入人眼中止判定块查找判断模块；若否则进入下一帧判断处理模块。
其中，is,js分别为块sbkt(is,js)的行号与列号；notet(i-1,j)表示当前帧pict的第i-1行第j块的肤色标识符；notet(i,j-1)表示当前帧pict的第i行第j-1块的肤色标识符；
人眼中止判定块查找判断模块，用于在人眼起始判定块所在的行查找是否存在满足条件：notet(i,j)＝0且notet(i-1,j)＝1且notet(i,j+1)＝1的块，若是则首先将该块记为dbkt(id,jd)，称为人眼中止判定块，然后进入正面判定模式设置模块，若否则进入侧面判定模式设置模块；
其中，id,jd分别为块dbkt(id,jd)的行号与列号；notet(i,j+1)＝1表示当前帧pict的第i行第j+1块的肤色标识符；
正面判定模式设置模块，用于首先进行待判定区域的融合，即将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，接着将人眼中止判定块邻接的非肤色块一起合并为人眼待定第二区域，然后设置判定模式为正面判定模式；接着进入人眼定位及标识装置；
侧面判定模式设置模块，用于首先进行待判定区域的融合，即将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，然后设置判定模式为侧面判定模式；接着进入人眼定位及标识装置；
进一步地，所述人眼定位及标识装置包括侧面判定装置和正面判定装置；
图6是图4中人眼定位及标识装置中的侧面判定装置结构图。所述侧面判定装置包括：
人眼待定第一区域亮度值分布计算模块，用于计算人眼待定第一区域的
亮度值分布p(k)＝sum(sign(yt(m,n)＝k|yt(m,n)∈人眼待定第一区域))。
其中，p(k)标识亮度值k的分布；sum(变量)表示对变量求和；yt(m,n)表示pict第m行第n列的亮度值；
Figure BDA0001356919790000101
亮度值分布最大、次最大值对应的亮度值获取模块，用于求人眼待定第一区域的亮度值分布的最大值和次最大值，并找到对应的亮度值。
perk1(k)＝max(p(k))、kmax1＝arg(k|perk1(k))、
perk2(k)＝max(p(k)|p(k)≠perk1(k))、kmax2＝arg(k|perk2(k))。
其中，perk1(k)、kmax1分别表示亮度值分布的最大值和亮度值分布的最大值对应的亮度值；perk2(k)、kmax2分别表示亮度值分布的次最大值和亮度值分布的次最大值对应的亮度值；kmax1＝arg(k|perk1(k))表示先求perk1(k)，然后将perk1(k)对应的k值，赋值给kmax1，kmax2＝arg(k|perk2(k))表示先求perk2(k)，然后将perk2(k)对应的k值，赋值给kmax2；max(变量|条件)表示对满足条件的变量求最大值、max(变量)表示变量求最大值。
第一人眼标识模块，用于判断如果abs(kmax1-kmax2)>Thres，则判定人眼待定第一区域为人眼，并标识该区域内所有块为人眼，否则，标识为非人眼。
即sbkt(i,j)＝sign(bkt(i,j)|人眼标识条件)，
其中人眼标识条件：abs(kmax1-kmax2)>Thres且bkt(i,j)∈人眼待定第一区域。其中，
sbkt(i,j)表示块bkt(i,j)的人眼标识参数；abs(变量)表示对变量求绝对值。
所述正面判定装置，用于对人眼待定第一区域、人眼待定第二区域分别进行一次侧面判定，并将相应的结果作标识。
本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为ROM、RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于肤色检测的人眼视频定位方法，其特征在于，所述方法包括：
Step0：令t＝1，t表示帧序列号；
Step1：解码视频当前帧，获取解码图像；
Step2：为当前帧中每个块设置相应的肤色标识符；
Step3：判断如果当前帧所有块的肤色标识符均为0，则进入Step6；否则，则进入Step4；
Step4：在当前帧中查找人眼待定区域，并设置相应的判定模式；
Step5：按判定模式进行人眼定位，标识；
Step6：如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入Step7；否则，结束；
Step7：如果不存在sbkt-1(i,j)＝1，则进入Step8；否则进入Step10；
sbkt-1(i,j)表示块bkt-1(i,j)的人眼标识参数；bkt-1(i,j)表示pict-1的第i行第j解码块；pict-1表示视频第t-1帧；
Step8：如果pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；
其中，pict表示视频第t帧，也称为当前帧；tpt为场景切换参数；bkw、bkh分别表示一帧图像划分成块以后图像以块为单位的列数和行数；sum(变量)表示对变量求和；
Figure FDA0002490005140000011
条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；bkt(i,j)表示pict的第i行第j解码块；
Step9：如果tpt＝0，则首先，设置所有sbkt(i,j)＝0，然后进入Step6；否则，如果tpt≥0.9*bkh*bkw，则进入Step1；否则，则进入Step10；其中sbkt(i,j)表示块bkt(i,j)的人眼标识参数；
Step10：如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为肤色判定区域；否则，划入非肤色判定块区域；
Step11：为肤色判定区域中每个块设置相应的肤色标识符；
Step12：对非肤色判定区域的块，根据参考块的参数来标识当前块；然后进入Step4；
所述按判定模式进行人眼定位，标识，具体为：
侧面判定模式：
步骤C1：计算人眼待定第一区域的亮度值分布
p(k)＝sum(sign(yt(m,n)＝k|yt(m,n)∈人眼待定第一区域))；
其中，p(k)表示亮度值k的分布；sum(变量)表示对变量求和；yt(m,n)表示pict第m行第n列的亮度值；
Figure FDA0002490005140000021
步骤C2：求人眼待定第一区域的亮度值分布的最大值和次最大值，并找到对应的亮度值；
perk1(k)＝max(p(k))、kmax1＝arg(k|perk1(k))、
perk2(k)＝max(p(k)|p(k)≠perk1(k))、kmax2＝arg(k|perk2(k))；
其中，perk1(k)、kmax1分别表示亮度值分布的最大值和亮度值分布的最大值对应的亮度值；perk2(k)、kmax2分别表示亮度值分布的次最大值和亮度值分布的次最大值对应的亮度值；kmax1＝arg(k|perk1(k))表示先求perk1(k)，然后将perk1(k)对应的k值，赋值给kmax1，kmax2＝arg(k|perk2(k))表示先求perk2(k)，然后将perk2(k)对应的k值，赋值给kmax2；max(变量|条件)表示对满足条件的变量求最大值、max(变量)表示变量求最大值；
步骤C3：如果abs(kmax1-kmax2)>Thres，则判定人眼待定第一区域为人眼，并标识该区域内所有块为人眼，否则，标识为非人眼；
即sbkt(i,j)＝sign(bkt(i,j)|人眼标识条件)，
其中人眼标识条件：abs(kmax1-kmax2)>Thres且bkt(i,j)∈人眼待定第一区域，其中，sbkt(i,j)表示块bkt(i,j)的人眼标识参数；abs(变量)表示对变量求绝对值；
正面判定模式：对人眼待定第一区域、人眼待定第二区域分别进行一次侧面判定，并将相应的结果作标识。
2.如权利要求1所述的基于肤色检测的人眼视频定位方法，其特征在于，
所述为当前帧中每个块设置相应的肤色标识符，
具体为：用以块为单位的肤色判定方法，判断当前帧中每个块是否为肤色块，即如果bkt(i,j)判定为肤色块，则设置该块肤色标识符为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0；
其中，notet(i,j)表示当前帧pict的第i行第j块的肤色标识符。
3.如权利要求1所述的基于肤色检测的人眼视频定位方法，其特征在于，
所述在当前帧中查找人眼待定区域，并设置相应的判定模式具体为：
Step41：首先查找是否存在满足条件：notet(i,j)＝0且notet(i-1,j)＝1且notet(i,j-1)＝1的块，若是，则首先将该块记为sbkt(is,js)，称为人眼起始判定块，然后进入Step42；若否则进入Step6；
其中，is,js分别为块sbkt(is,js)的行号与列号；notet(i-1,j)表示当前帧pict的第i-1行第j块的肤色标识符；notet(i,j-1)表示当前帧pict的第i行第j-1块的肤色标识符；
Step42：然后在人眼起始判定块所在的行查找是否存在满足条件：notet(i,j)＝0且notet(i-1,j)＝1且notet(i,j+1)＝1的块，若是则首先将该块记为dbkt(id,jd)，称为人眼中止判定块，然后进入Step43，若否则进入Step44；
其中，id,jd分别为块dbkt(id,jd)的行号与列号；notet(i,j+1)＝1表示当前帧pict的第i行第j+1块的肤色标识符；
Step43:首先进行待判定区域的融合，即将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，接着将人眼中止判定块邻接的非肤色块一起合并为人眼待定第二区域，然后设置判定模式为正面判定模式；接着进入Step5；
Step44:首先进行待判定区域的融合，即将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，然后设置判定模式为侧面判定模式；接着进入Step5。
4.如权利要求1所述的基于肤色检测的人眼视频定位方法，其特征在于，
所述为肤色判定区域中每个块设置相应的肤色标识符具体为：
用以块为单位的肤色判定方法，判断肤色判定区域中每个块是否为肤色块，如果bkt(i,j)判定为肤色块，则设置该块肤色标识符为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0；
其中，notet(i,j)表示当前帧pict的第i行第j块的肤色标识符。
5.如权利要求1所述的基于肤色检测的人眼视频定位方法，其特征在于，
所述对非肤色判定区域的块，根据参考块的参数来标识当前块具体为：
如果spbkt(i,j)＝1，则设置sbkt(i,j)＝1；否则，则设置sbkt(i,j)＝0；
如果snotet(i,j)＝1，则设置notet(i,j)＝1；否则，则设置notet(i,j)＝0；
其中，snotet(i,j)表示bkt(i,j)的参考块的肤色标识参数；spbkt(i,j)表示bkt(i,j)的参考块的人眼标识参数；
其中，notet(i,j)表示当前帧pict的第i行第j块的肤色标识符。
6.一种基于肤色检测的人眼视频定位***，其特征在于，所述***包括：
帧序列号初始化模块，用于令t＝1，t表示帧序列号；
解码模块，用于解码视频当前帧，获取解码图像；
当前帧的块肤色标识符设置模块，用于为当前帧中每个块设置相应的肤色标识符；
具体为：用以块为单位的肤色判定方法，判断当前帧中每个块是否为肤色块，即如果bkt(i,j)判定为肤色块，则设置该块肤色标识符为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0；
其中，bkt(i,j)表示pict的第i行第j解码块；bkw、bkh分别表示一帧图像划分成块以后图像以块为单位的列数和行数，notet(i,j)表示当前帧pict的第i行第j块的肤色标识符；
肤色标识符判断模块，用于判断如果当前帧所有块的肤色标识符均为0，则进入下一帧判断处理模块；否则，则进入人眼待定区域判定模式设置装置；
人眼待定区域判定模式设置装置，用于在当前帧中查找人眼待定区域，并设置相应的判定模式；
人眼定位及标识装置，用于按判定模式进行人眼定位，标识；
下一帧判断处理模块，用于判断如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入人眼标识参数判断模块；否则，结束；
人眼标识参数判断模块，用于判断如果不存在sbkt-1(i,j)＝1，则进入帧内预测帧判断处理模块；否则进入肤色和非肤色判定区域划分模块；
sbkt-1(i,j)表示块bkt-1(i,j)的人眼标识参数；bkt-1(i,j)表示pict-1的第i行第j解码块；pict-1表示视频第t-1帧；
帧内预测帧判断处理模块，用于判断如果pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；
其中，p(k)表示亮度值k的分布；sum(变量)表示对变量求和；yt(m,n)表示pict第m行第n列的亮度值；
Figure FDA0002490005140000041
其中，条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；tpt为场景切换参数；pict表示视频第t帧，也称为当前帧；
场景切换参数判断处理模块，用于判断如果tpt＝0，则首先，设置所有sbkt(i,j)＝0，然后进入下一帧判断处理模块；否则，如果tpt≥0.9*bkh*bkw，则进入解码模块；否则，则进入肤色和非肤色判定区域划分模块；
肤色和非肤色判定区域划分模块，用于如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为肤色判定区域；否则，划入非肤色判定区域；
肤色标识符设置模块，用于为肤色判定区域中每个块设置相应的肤色标识符；
具体为：用以块为单位的肤色判定方法，判断肤色判定区域中每个块是否为肤色块，如果bkt(i,j)判定为肤色块，则设置该块肤色标识符为1，即notet(i,j)＝1；否则，设置notet(i,j)＝0；
非肤色标识符设置模块，用于对非肤色判定区域的块，根据参考块的参数来标识当前块；然后进入人眼待定区域判定模式设置装置；
具体为：如果spbkt(i,j)＝1，则设置sbkt(i,j)＝1；否则，则设置sbkt(i,j)＝0；如果snotet(i,j)＝1，则设置notet(i,j)＝1；否则，则设置notet(i,j)＝0；其中，snotet(i,j)表示bkt(i,j)的参考块的肤色标识参数；spbkt(i,j)表示bkt(i,j)的参考块的人眼标识参数；
所述人眼定位及标识装置包括侧面判定装置和正面判定装置；
所述侧面判定装置包括：
人眼待定第一区域亮度值分布计算模块，用于计算人眼待定第一区域的亮度值分布p(k)＝sum(sign(yt(m,n)＝k|yt(m,n)∈人眼待定第一区域))；
其中，p(k)表示 亮度值k的分布；sum(变量)表示对变量求和；yt(m,n)表示pict第m行第n列的亮度值；
Figure FDA0002490005140000051
亮度值分布最大、次最大值对应的亮度值获取模块，用于求人眼待定第一区域的亮度值分布的最大值和次最大值，并找到对应的亮度值；
perk1(k)＝max(p(k))、kmax1＝arg(k|perk1(k))、
perk2(k)＝max(p(k)|p(k)≠perk1(k))、kmax2＝arg(k|perk2(k))；
其中，perk1(k)、kmax1分别表示亮度值分布的最大值和亮度值分布的最大值对应的亮度值；perk2(k)、kmax2分别表示亮度值分布的次最大值和亮度值分布的次最大值对应的亮度值；kmax1＝arg(k|perk1(k))表示先求perk1(k)，然后将perk1(k)对应的k值，赋值给kmax1，kmax2＝arg(k|perk2(k))表示先求perk2(k)，然后将perk2(k)对应的k值，赋值给kmax2；max(变量|条件)表示对满足条件的变量求最大值、max(变量)表示变量求最大值；
第一人眼标识模块，用于判断如果abs(kmax1-kmax2)>Thres，则判定人眼待定第一区域为人眼，并标识该区域内所有块为人眼，否则，标识为非人眼；
即sbkt(i,j)＝sign(bkt(i,j)|人眼标识条件)，
其中人眼标识条件：abs(kmax1-kmax2)>Thres且bkt(i,j)∈人眼待定第一区域，sbkt(i,j)表示块bkt(i,j)的人眼标识参数；abs(变量)表示对变量求绝对值；
所述正面判定装置，用于对人眼待定第一区域、人眼待定第二区域分别进行一次侧面判定，并将相应的结果作标识。
7.如权利要求6所述的基于肤色检测的人眼视频定位***，其特征在于，
所述人眼待定区域判定模式设置装置包括：
人眼起始判定块查找判断模块，用于查找是否存在满足条件：notet(i,j)＝0且notet(i-1,j)＝1且notet(i,j-1)＝1的块，若是，则首先将该块记为sbkt(is,js)，称为人眼起始判定块，然后进入人眼中止判定块查找判断模块；若否则进入下一帧判断处理模块；
其中，is,js分别为块sbkt(is,js)的行号与列号；notet(i-1,j)表示当前帧pict的第i-1行第j块的肤色标识符；notet(i,j-1)表示当前帧pict的第i行第j-1块的肤色标识符；
人眼中止判定块查找判断模块，用于在人眼起始判定块所在的行查找是否存在满足条件：notet(i,j)＝0且notet(i-1,j)＝1且notet(i,j+1)＝1的块，若是则首先将该块记为dbkt(id,jd)，称为人眼中止判定块，然后进入正面判定模式设置模块，若否则进入侧面判定模式设置模块；其中，id,jd分别为块dbkt(id,jd)的行号与列号；notet(i,j+1)＝1表示当前帧pict的第i行第j+1块的肤色标识符；
正面判定模式设置模块，用于首先进行待判定区域的融合，即将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，接着将人眼中止判定块邻接的非肤色块一起合并为人眼待定第二区域，然后设置判定模式为正面判定模式；接着进入人眼定位及标识装置；
侧面判定模式设置模块，用于首先进行待判定区域的融合，即将人眼起始判定块的邻接非肤色块一起合并为人眼待定第一区域，然后设置判定模式为侧面判定模式；接着进入人眼定位及标识装置。
CN201710600050.7A 2017-07-21 2017-07-21 一种基于肤色检测的人眼视频定位方法和*** Active CN107527015B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710600050.7A CN107527015B (zh) 2017-07-21 2017-07-21 一种基于肤色检测的人眼视频定位方法和***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710600050.7A CN107527015B (zh) 2017-07-21 2017-07-21 一种基于肤色检测的人眼视频定位方法和***

Publications (2)

Publication Number Publication Date
CN107527015A CN107527015A (zh) 2017-12-29
CN107527015B true CN107527015B (zh) 2020-08-04

Family

ID=60748365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710600050.7A Active CN107527015B (zh) 2017-07-21 2017-07-21 一种基于肤色检测的人眼视频定位方法和***

Country Status (1)

Country Link
CN (1) CN107527015B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765503B (zh) * 2018-05-21 2020-11-13 深圳市梦网科技发展有限公司 一种肤色检测方法、装置及终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799868A (zh) * 2012-07-10 2012-11-28 吉林禹硕动漫游戏科技股份有限公司 人脸面部关键表情识别方法
CN105787427A (zh) * 2016-01-08 2016-07-20 上海交通大学 嘴唇区域定位方法
CN105844252A (zh) * 2016-04-01 2016-08-10 南昌大学 一种面部关键部位的疲劳检测方法
CN106611043A (zh) * 2016-11-16 2017-05-03 深圳百科信息技术有限公司 一种视频搜索方法及***
CN106682094A (zh) * 2016-12-01 2017-05-17 深圳百科信息技术有限公司 一种人脸视频检索方法和***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101046677B1 (ko) * 2011-03-15 2011-07-06 동국대학교 산학협력단 눈 위치 추적방법 및 이를 이용한 의료용 헤드램프

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799868A (zh) * 2012-07-10 2012-11-28 吉林禹硕动漫游戏科技股份有限公司 人脸面部关键表情识别方法
CN105787427A (zh) * 2016-01-08 2016-07-20 上海交通大学 嘴唇区域定位方法
CN105844252A (zh) * 2016-04-01 2016-08-10 南昌大学 一种面部关键部位的疲劳检测方法
CN106611043A (zh) * 2016-11-16 2017-05-03 深圳百科信息技术有限公司 一种视频搜索方法及***
CN106682094A (zh) * 2016-12-01 2017-05-17 深圳百科信息技术有限公司 一种人脸视频检索方法和***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于肤色的人脸检测和性别识别的研究";姚锡钢;《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》;20061215(第12期);第1-3页和第6-9页 *

Also Published As

Publication number Publication date
CN107527015A (zh) 2017-12-29

Similar Documents

Publication Publication Date Title
JP4725690B2 (ja) 映像識別子抽出装置
Huang et al. Highly accurate moving object detection in variable bit rate video-based traffic monitoring systems
CN107481222B (zh) 一种基于肤色检测的快速眼唇视频定位方法和***
WO2017107188A1 (zh) 视频分类快速识别的方法及装置
CN107371022B (zh) 应用于hevc医学影像无损编码的帧间编码单元快速划分方法
CN106682094B (zh) 一种人脸视频检索方法和***
Chao et al. A novel rate control framework for SIFT/SURF feature preservation in H. 264/AVC video compression
CN107506691B (zh) 一种基于肤色检测的唇部定位方法和***
CN111160295A (zh) 基于区域引导和时空注意力的视频行人重识别方法
EP3438883A1 (en) Method of processing moving picture and apparatus thereof
Soh et al. Reduction of video compression artifacts based on deep temporal networks
CN107563278B (zh) 一种基于肤色检测的快速眼唇定位方法和***
US20120237126A1 (en) Apparatus and method for determining characteristic of motion picture
CN111008608A (zh) 一种基于深度学习的夜间车辆检测方法
CN107516067B (zh) 一种基于肤色检测的人眼定位方法和***
CN109492545B (zh) 一种基于场景及压缩信息的五官定位方法和***
CN106611043B (zh) 一种视频搜索方法及***
CN107527015B (zh) 一种基于肤色检测的人眼视频定位方法和***
CN106664404A (zh) 视频编码中的块分割方式处理方法和相关装置
CN107423704B (zh) 一种基于肤色检测的唇部视频定位方法和***
CN105992012B (zh) 一种错误隐藏的方法和装置
CN107509074B (zh) 基于压缩感知的自适应3d视频压缩编解码方法
CN115239551A (zh) 视频增强方法和装置
CN106572312B (zh) 一种全景视频自适应光照补偿方法和***
JP2011008508A (ja) 重要情報抽出方法および装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518057 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30

Applicant after: Shenzhen mengwang video Co., Ltd

Address before: 518057 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30

Applicant before: SHENZHEN MONTNETS ENCYCLOPEDIA INFORMATION TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant