CN106682094A - 一种人脸视频检索方法和*** - Google Patents
一种人脸视频检索方法和*** Download PDFInfo
- Publication number
- CN106682094A CN106682094A CN201611087529.7A CN201611087529A CN106682094A CN 106682094 A CN106682094 A CN 106682094A CN 201611087529 A CN201611087529 A CN 201611087529A CN 106682094 A CN106682094 A CN 106682094A
- Authority
- CN
- China
- Prior art keywords
- search
- video
- block
- region
- skin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
- G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种人脸视频检索方法和***，本发明方法通过非压缩域的信息确定关键帧的搜索区域，然后通过压缩域的运动与预测信息，获取跟踪搜索区域，从而较少视频搜索的数据量和运算量，提升视频搜索的时效性；此外，本方法还针对人脸检索的特点，通过缩小搜索区域，减少计算量；通过预处理，提升搜索的准确率。
Description
技术领域
本发明涉及视频检索领域，尤其涉及一种人脸视频检索方法和***。
背景技术
随着多媒体技术及计算机网络技术的迅速发展，视频逐渐成为信息传播的主流载体之一。人们面临的问题已不再是视频内容的匮乏，而是面对浩如烟海的视频信息，如何快速、有效地找到自己需要的内容。其中，在社会公共安全领域，视频监控***成为维护社会治安，加强社会管理的一个重要组成部分。人脸视频检索，成为公安用户监控***中迫切需求。作为目前最流行的视频搜索技术，无论是基于非压缩域的视频内容检索和基于压缩域的视频内容检索，这种普通设计模式，没有利用人脸检索的特点，从而影响人脸视频检索技术的效率。
发明内容
本发明实施例的目的在于提出一种人脸视频检索方法，旨在解决现有人脸视频检索技术效率低下的问题。
本发明实施例是这样实现的，一种人脸视频检索方法，所述方法包括以下步骤：
步骤A：判断当前搜索视频当前帧pict的判断参数part是否为1，若是则进入步骤B，否则，进入步骤E；
步骤B：使用第一视频搜索模式对当前帧进行搜索；
步骤C：如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入步骤D；否则，结束；t表示搜索视频序列的帧序号，t的初始值为1；
步骤D：如果不存在sbkt(i,j)＝1，则进入步骤E；否则进入步骤G。
sbkt(i,j)表示bkt(i,j)识别参数，bkt(i,j)表示pict的第i行第j列解码块；
步骤E：如果当前搜索视频当前帧pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；
步骤F：如果tpt＝0，则首先，设置所有sbkt(i,j)＝0，然后进入步骤C；否则，如果tpt≥0.9*bkh*bkw，则进入步骤B；否则，则进入步骤G；bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；
步骤G：使用第二视频搜索模式对当前帧进行搜索，然后，进入步骤C；
第一视频搜索模式包括以下步骤：
解码当前搜索视频当前帧，获取解码图像；
对解码图像所有解码块作如下处理：如果bkt(i,j)预测模式为子块预测模式,则进入细分判定模式；否则，进入粗分判定模式；
统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到同样的尺寸；
首先对当前解码图像的搜索区域，提取图像特征；然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索；
按当前搜索视频当前帧的匹配结果，对当前搜索视频当前帧的各个解码块进行识别参数标识；
其中，sbkt(i,j)＝sign(bkt(i,j)|条件3)，条件3表示：bkt(i,j)匹配目标。
本发明实施例的另一目的在于提出一种人脸视频检索***,所述***包括：
第一判断处理模块，用于判断当前搜索视频当前帧pict的判断参数part是否为1,若是则进入第一视频搜索装置，否则进入场景切换参数计算模块；
其中，part表示pict的判断参数，pict表示当前搜索视频第t帧，t表示搜索视频序列的帧序号，t的初始值为1；条件1表示：t＝1或者pict为帧内预测帧或者tpt≥0.9*bkh*bkw；tpt为场景切换参数，tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；sum(变量|条件)表示对满足条件的变量求和；条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；bkt(i,j)表示pict的第i行第j解码块bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；
第一视频搜索装置，用于使用第一视频搜索模式对当前帧进行搜索；
第二判断处理模块，用于判断当前搜索视频当前帧的下一帧是否存在，若是，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入第三判断处理模块，否则结束；
第三判断处理模块，用于判断是否存在存在sbkt(i,j)＝1，若不存在，则进入场景切换参数计算模块，否则进入第二视频搜索装置；
场景切换参数计算模块，用于判断如果当前搜索视频当前帧pict为帧内预测帧，则令tpt＝bkh*bkw；否则计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；
第四判断处理模块，用于判断是否tpt＝0，若是则设置所有sbkt(i,j)＝0，然后进入第二判断处理模块；否则，判断如果tpt≥0.9*bkh*bkw，则进入第一视频搜索装置；否则，则进入第二视频搜索装置；
第二视频搜索装置，用于使用第二视频搜索模式对当前帧进行搜索，然后进入第二判断处理模块；
所述第一视频搜索装置包括：
解码图像获取模块，用于解码当前搜索视频当前帧，获取解码图像；
预测模式判定模块，用于判断如果bkt(i,j)预测模式为子块预测模式,则进入细分判定装置；否则，进入粗分判定装置；
第一尺寸统一模块，与预测模式判定模块相连，用于统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到同样的尺寸；
第一目标图像搜索模块，用于首先对当前解码图像的搜索区域，提取图像特征；然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索；
第一识别参数标识模块，用于按当前搜索视频当前帧的匹配结果，对当前搜索视频当前帧的各个解码块进行识别参数标识；
其中，sbkt(i,j)＝sign(bkt(i,j)|条件3)，sbkt(i,j)表示表示bkt(i,j)的识别参数；条件3表示：bkt(i,j)匹配目标。
本发明的有益效果
本发明提出一种人脸视频检索方法，本发明方法通过非压缩域的信息确定关键帧的搜索区域，然后通过压缩域的运动与预测信息，获取跟踪搜索区域，从而较少视频搜索的数据量和运算量，提升视频搜索的时效性；此外，本方法还针对人脸检索的特点，通过缩小搜索区域，减少计算量；通过预处理，提升搜索的准确率。
附图说明
图1是本发明优选实施例一种人脸视频检索方法流程图；
图2是图1中Step1的方法流程图；
图3是本发明优选实施例一种人脸视频检索***结构图；
图4是图3中第一视频搜索装置结构图；
图5是图4中细分判定装置结构图；
图6是图4中粗分判定装置结构图；
图7是图3中第二视频搜索装置结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。
本发明实施例提出一种人脸视频检索方法和***，本发明实施例方法通过非压缩域的信息确定关键帧的搜索区域，然后通过压缩域的运动与预测信息，获取跟踪搜索区域，从而较少视频搜索的数据量和运算量，提升视频搜索的时效性；此外，本方法还针对人脸检索的特点，通过缩小搜索区域，减少计算量；通过预处理，提升搜索的准确率。
实施例一
图1是本发明优选实施例一种人脸视频检索方法流程图；所述方法包括以下步骤：
Step:0：判断参数part为1，则进入Step1，否则，进入Step4。
其中，part表示pict的判断参数，pict表示当前搜索视频第t帧(即当前搜索视频当前帧)，t表示搜索视频序列的帧序号，t的初始值为1；条件1表示：t＝1或者pict为帧内预测帧或者tpt≥0.9*bkh*bkw；tpt为场景切换参数，tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；sum(变量|条件)表示对满足条件的变量求和；条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；bkt(i,j)表示pict的第i行第j解码块(块的大小为16x16(H264等标准)，64x64(HEVC)，当块进一步划分，这些小尺寸块称为子块)，bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；
Step1：使用第一视频搜索模式，对当前帧进行搜索。
第一视频搜索模式(图2是图1中Step1的方法流程图)：
Step11：解码当前搜索视频当前帧，获取解码图像。
Step12：根据人脸识别的特点，对解码图像划定搜索区域；即对解码图像所有解码块作如下处理：如果bkt(i,j)预测模式为子块预测模式,即块作了进一步划分，则进入细分判定模式；否则，进入粗分判定模式。细分判定模式：
步骤A1：将块内每个像素点作为肤色判定点，对所述肤色判定点作肤色判定，如果满足肤色判定点为肤色，则该块肤色像素点个数加1。
步骤A2：如果块内肤色像素点个数大于第十四阈值，则判定该块划入人脸视频搜索区域，否则，该块划入非人脸视频搜索区域。第十四阈值上限为块的像素点数量总数，下限可选块的像素点数量总数的一半。
粗分判定模式：
步骤B1：以块内像素点均值为单位作为肤色判定点，即用块内所有像素点相应分量的均值作为各色彩模型分量的值。
步骤B2：对肤色判定点做肤色判定，如果该肤色判定点为肤色，则划入人脸视频搜索区域；否则，该块划入非人脸视频搜索区域。
所述细分判定模式和粗分判断模式中，肤色判定点为肤色须若同时满足下列6个条件：
要求1；Thres1<b-g<Thres2、要求2：Thres3<r-g<Thres4*Wr、
要求3：Gup<g<Gdown、要求4：Thres5<Wr、要求5：Thres6<Co<Thres7、
要求6：Thres8<energyUV<Thres9&&U*Thres10<V&&U*Thres11>V或者Thres12<energyUV<Thres13
其中，Thresjj,jj∈[1,13]分别为第一至第十三阈值，第一至第十三阈值根据实际情况自行设定；基于归一RGB模型，获得归一化RGB色彩分量r、g、b；色彩均衡性参数Wr＝(r-1/3)2+(g-1/3)2；构建绿色分量上界模型Gup＝aupr2+bupr+cup，其中aup,bup,cup为模型参数，Gdown＝adownr2+bdownr+cdown；其中adown,bdown,cdown为模型参数；基于模型YUV模型获得色彩能量Y为亮度分量，U、V分别代表YUV模型两个色度分量；基于YCoCg模型获取Co，Co为YCgCo模型色彩分量值；
第一视频搜索模式中，搜索区域包括人脸视频搜索区域和非人脸视频搜索区域；肤色判定点方法，也可以用业内公开的任何一种方法。
Step13：统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到同样的尺寸。
Step14：首先，对当前解码图像的搜索区域，提取图像特征；然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索。
其中，所述提取图像特征、与搜索目标进行对比，匹配方法可用对应视频搜索领域内公开的任何一种方法，在此不再赘述。
Step15：按当前搜索视频当前帧的匹配结果，对当前搜索视频当前帧的各个解码块进行识别参数标识。
其中，sbkt(i,j)＝sign(bkt(i,j)|条件3)，sbkt(i,j)表示表示bkt(i,j)的识别参数；条件3表示：bkt(i,j)匹配目标。
Step2：如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入Step3；否则，结束。
Step3：如果不存在sbkt(i,j)＝1，则进入Step4；否则进入Step6。
Step4：如果pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)。
Step5：如果tpt＝0，则首先，设置所有sbkt(i,j)＝0，然后进入Step2；否则，如果tpt≥0.9*bkh*bkw，则进入Step1；否则，则进入Step6。
Step6：使用第二视频搜索模式，对当前帧进行搜索，然后，进入Step2。
第二视频搜索模式：
Step61：如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为搜索区域；否则，
如果spbkt(i,j)＝1，则设置sbkt(i,j)＝1，即表示当前块匹配目标；否则，则设置sbkt(i,j)＝0，即表示当前块不匹配目标。
其中，spbkt(i,j)表示bkt(i,j)的参考块的识别参数。
Step62：对当前搜索区域进行预处理，即统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到一样的尺寸。
Step63：首先，对搜索区域，提取图像特征，然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索。
其中，所述提取图像特征、与搜索目标进行对比，匹配方法可用对应视频搜索领域内公开的任何一种方法，在此不再赘述。
Step64：按搜索区域解码块的匹配结果，对解码块进行识别参数标识。
实施例二
图3是本发明优选实施例一种人脸视频检索***结构图；所述***包括：
第一判断处理模块，用于判断当前搜索视频当前帧pict的判断参数part是否为1,若是则进入第一视频搜索装置，否则进入场景切换参数计算模块；
其中，part表示pict的判断参数，pict表示当前搜索视频第t帧(即当前搜索视频当前帧)，t表示搜索视频序列的帧序号，t的初始值为1；条件1表示：t＝1或者pict为帧内预测帧或者tpt≥0.9*bkh*bkw；tpt为场景切换参数，tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；sum(变量|条件)表示对满足条件的变量求和；条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；bkt(i,j)表示pict的第i行第j解码块(块的大小为16x16(H264等标准)，64x64(HEVC)，当块进一步划分，这些小尺寸块称为子块)，bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；
第一视频搜索装置，用于使用第一视频搜索模式对当前帧进行搜索；
第二判断处理模块，用于判断当前搜索视频当前帧的下一帧是否存在，若是，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入第三判断处理模块，否则结束。
第三判断处理模块，用于判断是否存在存在sbkt(i,j)＝1，若不存在，则进入场景切换参数计算模块，否则进入第二视频搜索装置；
场景切换参数计算模块，用于判断如果当前搜索视频当前帧pict为帧内预测帧，则令tpt＝bkh*bkw；否则计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)。
第四判断处理模块，用于判断是否tpt＝0，若是则设置所有sbkt(i,j)＝0，然后进入第二判断处理模块；否则，判断如果tpt≥0.9*bkh*bkw，则进入第一视频搜索装置；否则，则进入第二视频搜索装置。
第二视频搜索装置，用于使用第二视频搜索模式对当前帧进行搜索，然后进入第二判断处理模块；
进一步地，图4是图3中第一视频搜索装置结构图，所述第一视频搜索装置包括：
解码图像获取模块，用于解码当前搜索视频当前帧，获取解码图像；
预测模式判定模块，用于判断如果bkt(i,j)预测模式为子块预测模式,则进入细分判定装置；否则，进入粗分判定装置。
第一尺寸统一模块，与预测模式判定模块相连，用于统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到同样的尺寸；
第一目标图像搜索模块，用于首先对当前解码图像的搜索区域，提取图像特征；然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索。
第一识别参数标识模块，用于按当前搜索视频当前帧的匹配结果，对当前搜索视频当前帧的各个解码块进行识别参数标识。
其中，sbkt(i,j)＝sign(bkt(i,j)|条件3)，sbkt(i,j)表示表示bkt(i,j)的识别参数；条件3表示：bkt(i,j)匹配目标。
进一步地，图5是图4中细分判定装置结构图；
细分判定装置,包括块肤色像素点计数模块和第一人脸视频搜索区域划分模块，
块肤色像素点计数模块，用于将块内每个像素点作为肤色判定点，对所述肤色判定点作肤色判定，如果满足肤色判定点为肤色，则该块肤色像素点个数加1；
第一人脸视频搜索区域划分模块，与块肤色像素点计数模块相连，用于判断如果块内肤色像素点个数大于第十四阈值，则判定该块划入人脸视频搜索区域，否则，该块划入非为人脸视频搜索区域。
第十四阈值上限为块的像素点数量总数，下限可选块的像素点数量总数的一半。
图6是图4中粗分判定装置结构图；
粗分判定装置,包括块色彩模型分量值计算模块和第二人脸视频搜索区域划分模块，
块色彩模型分量值计算模块，用于以块内像素点均值为单位作为肤色判定点，用块内所有像素点相应分量的均值作为各色彩模型分量的值；
第二人脸视频搜索区域划分模块，与块色彩模型分量值设定模块相连，用于对肤色判定点做肤色判定，如果该肤色判定点为肤色，则划入人脸视频搜索区域；否则，该块划入非为人脸视频搜索区域。
所述细分判定模式和粗分判断模式中，肤色判定点为肤色须若同时满足下列6个条件：
要求1；Thres1<b-g<Thres2、要求2：Thres3<r-g<Thres4*Wr、
要求3：Gup<g<Gdown、要求4：Thres5<Wr、要求5：Thres6<Co<Thres7、
要求6：Thres8<energyUV<Thres9&&U*Thres10<V&&U*Thres11>V或者Thres12<energyUV<Thres13
其中，Thresjj,jj∈[1,13]分别为第一至第十三阈值，第一至第十三阈值根据实际情况自行设定；基于归一RGB模型，获得归一化RGB色彩分量r、g、b；色彩均衡性参数Wr＝(r-1/3)2+(g-1/3)2；构建绿色分量上界模型Gup＝aupr2+bupr+cup，其中aup,bup,cup为模型参数，Gdown＝adownr2+bdownr+cdown；其中adown,bdown,cdown为模型参数；基于模型YUV模型获得色彩能量Y为亮度分量，U、V分别代表YUV模型两个色度分量；基于YCoCg模型获取Co，Co为YCgCo模型色彩分量值；肤色判定点方法，也可以用业内公开的任何一种方法。
进一步地，图7是图3中第二视频搜索装置结构图，所述第二视频搜索装置包括：
第二搜索区域划定模块，用于判断如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为搜索区域；否则，如果spbkt(i,j)＝1，则设置sbkt(i,j)＝1，即表示当前块匹配目标；否则，则设置sbkt(i,j)＝0，即表示当前块不匹配目标。其中，spbkt(i,j)表示bkt(i,j)的参考块的识别参数。
第二尺寸统一模块，与第二搜索区域划定模块相连，用于对当前搜索区域进行预处理，即统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到一样的尺寸。
第二目标图像搜索模块，用于首先，对搜索区域，提取图像特征，然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索。
其中，所述上述提取图像特征、与搜索目标进行对比，匹配方法可用对应视频搜索领域内公开的任何一种方法，在此不再赘述。
第二识别参数标识模块，用于按搜索区域解码块的匹配结果，对解码块进行识别参数标识。
本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为ROM、RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种人脸视频检索方法，所述方法包括以下步骤：
步骤A：判断当前搜索视频当前帧pict的判断参数part是否为1，若是则进入步骤B，否则，进入步骤E；
步骤B：使用第一视频搜索模式对当前帧进行搜索；
步骤C：如果当前搜索视频当前帧的下一帧存在，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入步骤D；否则，结束；t表示搜索视频序列的帧序号，t的初始值为1；
步骤D：如果不存在sbkt(i,j)＝1，则进入步骤E；否则进入步骤G。
sbkt(i,j)表示bkt(i,j)识别参数，bkt(i,j)表示pict的第i行第j列解码块；
步骤E：如果当前搜索视频当前帧pict为帧内预测帧，则令tpt＝bkh*bkw；否则，计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；
步骤F：如果tpt＝0，则首先，设置所有sbkt(i,j)＝0，然后进入步骤C；否则，如果tpt≥0.9*bkh*bkw，则进入步骤B；否则，则进入步骤G；bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；
步骤G：使用第二视频搜索模式对当前帧进行搜索，然后，进入步骤C；
其特征在于，
第一视频搜索模式包括以下步骤：
解码当前搜索视频当前帧，获取解码图像；
对解码图像所有解码块作如下处理：如果bkt(i,j)预测模式为子块预测模式,则进入细分判定模式；否则，进入粗分判定模式；
统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到同样的尺寸；
首先对当前解码图像的搜索区域，提取图像特征；然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索；
按当前搜索视频当前帧的匹配结果，对当前搜索视频当前帧的各个解码块进行识别参数标识；
其中，sbkt(i,j)＝sign(bkt(i,j)|条件3)，条件3表示：bkt(i,j)匹配目标。
2.如权利要求1所述的人脸视频检索方法，其特征在于，
pict表示当前搜索视频第t帧，条件1表示：t＝1或者pict为帧内预测帧或者tpt≥0.9*bkh*bkw；tpt为场景切换参数，tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；sum(变量|条件)表示对满足条件的变量求和；条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块。
3.如权利要求1所述的人脸视频检索方法，其特征在于，
细分判定模式：
步骤A1：将块内每个像素点作为肤色判定点，对所述肤色判定点作肤色判定，如果满足肤色判定点为肤色，则该块肤色像素点个数加1；
步骤A2：如果块内肤色像素点个数大于第十四阈值，则判定该块划入人脸视频搜索区域，否则，该块划入非人脸视频搜索区域；
粗分判定模式：
步骤B1：以块内像素点均值为单位作为肤色判定点，用块内所有像素点相应分量的均值作为各色彩模型分量的值；
步骤B2：对肤色判定点做肤色判定，如果该肤色判定点为肤色，则划入人脸视频搜索区域；否则，该块划入非人脸视频搜索区域。
4.如权利要求3所述的人脸视频检索方法，其特征在于，
第十四阈值上限为块的像素点数量总数，下限为块的像素点数量总数的一半。
5.如权利要求3所述的人脸视频检索方法，其特征在于，
所述细分判定模式和粗分判断模式中，肤色判定点为肤色须若同时满足下列6个条件：
要求1；Thres1<b-g<Thres2、要求2：Thres3<r-g<Thres4*Wr、
要求3：Gup<g<Gdown、要求4：Thres5<Wr、要求5：Thres6<Co<Thres7、
要求6：Thres8<energyUV<Thres9&&U*Thres10<V&&U*Thres11>V或者Thres12<energyUV<Thres13
其中，Thresjj,jj∈[1,13]分别为第一至第十三阈值，第一至第十三阈值根据实际情况自行设定；基于归一RGB模型，获得归一化RGB色彩分量r、g、b；色彩均衡性参数Wr＝(r-1/3)2+(g-1/3)2；构建绿色分量上界模型Gup＝aupr2+bupr+cup，其中aup,bup,cup为模型参数，Gdown＝adownr2+bdownr+cdown；其中adown,bdown,cdown为模型参数；基于模型YUV模型获得色彩能量Y为亮度分量，U、V分别代表YUV模型两个色度分量；基于YCoCg模型获取Co，Co为YCgCo模型色彩分量值。
6.如权利要求1所述的人脸视频检索方法，其特征在于，所述第二视频搜索模式包括以下步骤：
如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为搜索区域；否则，如果spbkt(i,j)＝1，则设置sbkt(i,j)＝1；否则，则设置sbkt(i,j)＝0；其中，spbkt(i,j)表示bkt(i,j)的参考块的识别参数；
对当前搜索区域进行预处理，即统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到一样的尺寸；
首先对搜索区域，提取图像特征，然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索；
按搜索区域解码块的匹配结果，对解码块进行识别参数标识。
7.一种人脸视频检索***,所述***包括：
第一判断处理模块，用于判断当前搜索视频当前帧pict的判断参数part是否为1,若是则进入第一视频搜索装置，否则进入场景切换参数计算模块；
其中，part表示pict的判断参数，pict表示当前搜索视频第t帧，t表示搜索视频序列的帧序号，t的初始值为1；条件1表示：t＝1或者pict为帧内预测帧或者tpt≥0.9*bkh*bkw；tpt为场景切换参数，tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；sum(变量|条件)表示对满足条件的变量求和；条件2表示：bkt(i,j)为帧内预测块或者至少包含一个帧内预测子块；bkt(i,j)表示pict的第i行第j解码块bkw、bkh分别表示一帧图像划分成块以后，图像以块为单位的列数和行数；
第一视频搜索装置，用于使用第一视频搜索模式对当前帧进行搜索；
第二判断处理模块，用于判断当前搜索视频当前帧的下一帧是否存在，若是，则令t＝t+1，并将当前搜索视频当前帧的下一帧设置为当前搜索视频当前帧，然后进入第三判断处理模块，否则结束；
第三判断处理模块，用于判断是否存在存在sbkt(i,j)＝1，若不存在，则进入场景切换参数计算模块，否则进入第二视频搜索装置；
场景切换参数计算模块，用于判断如果当前搜索视频当前帧pict为帧内预测帧，则令tpt＝bkh*bkw；否则计算tpt＝sum(sign(bkt(i,j)|条件2)|1≤i≤bkh且1≤j≤bkw)；
第四判断处理模块，用于判断是否tpt＝0，若是则设置所有sbkt(i,j)＝0，然后进入第二判断处理模块；否则，判断如果tpt≥0.9*bkh*bkw，则进入第一视频搜索装置；否则，则进入第二视频搜索装置；
第二视频搜索装置，用于使用第二视频搜索模式对当前帧进行搜索，然后进入第二判断处理模块；
其特征在于：
所述第一视频搜索装置包括：
解码图像获取模块，用于解码当前搜索视频当前帧，获取解码图像；
预测模式判定模块，用于判断如果bkt(i,j)预测模式为子块预测模式,则进入细分判定装置；否则，进入粗分判定装置；
第一尺寸统一模块，与预测模式判定模块相连，用于统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到同样的尺寸；
第一目标图像搜索模块，用于首先对当前解码图像的搜索区域，提取图像特征；然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索；
第一识别参数标识模块，用于按当前搜索视频当前帧的匹配结果，对当前搜索视频当前帧的各个解码块进行识别参数标识；
其中，sbkt(i,j)＝sign(bkt(i,j)|条件3)，sbkt(i,j)表示表示bkt(i,j)的识别参数；条件3表示：bkt(i,j)匹配目标。
8.如权利要求7所述的人脸视频检索***，其特征在于，
细分判定装置,包括块肤色像素点计数模块和第一人脸视频搜索区域划分模块，
块肤色像素点计数模块，用于将块内每个像素点作为肤色判定点，对所述肤色判定点作肤色判定，如果满足肤色判定点为肤色，则该块肤色像素点个数加1；
第一人脸视频搜索区域划分模块，与块肤色像素点计数模块相连，用于判断如果块内肤色像素点个数大于第十四阈值，则判定该块划入人脸视频搜索区域，否则，该块划入非为人脸视频搜索区域；
粗分判定装置,包括块色彩模型分量值计算模块和第二人脸视频搜索区域划分模块，
块色彩模型分量值计算模块，用于以块内像素点均值为单位作为肤色判定点，用块内所有像素点相应分量的均值作为各色彩模型分量的值；
第二人脸视频搜索区域划分模块，与块色彩模型分量值设定模块相连，用于对肤色判定点做肤色判定，如果该肤色判定点为肤色，则划入人脸视频搜索区域；否则，该块划入非为人脸视频搜索区域。
9.如权利要求8所述的人脸视频检索***，其特征在于，
所述细分判定模式和粗分判断模式中，肤色判定点为肤色须若同时满足下列6个条件：
要求1：Thres1<b-g<Thres2、要求2：Thres3<r-g<Thres4*Wr、
要求3：Gup<g<Gdown、要求4：Thres5<Wr、要求5：Thres6<Co<Thres7、
要求6：Thres8<energyUV<Thres9&&U*Thres10<V&&U*Thres11>V
或者Thres12<energyUV<Thres13
其中，Thresjj,jj∈[1,13]分别为第一至第十三阈值，第一至第十三阈值根据实际情况自行设定；基于归一RGB模型，获得归一化RGB色彩分量r、g、b；色彩均衡性参数Wr＝(r-1/3)2+(g-1/3)2；构建绿色分量上界模型Gup＝aupr2+bupr+cup，其中aup,bup,cup为模型参数，Gdown＝adownr2+bdownr+cdown；其中adown,bdown,cdown为模型参数；基于模型YUV模型获得色彩能量Y为亮度分量，U、V分别代表YUV模型两个色度分量；基于YCoCg模型获取Co，Co为YCgCo模型色彩分量值。
10.如权利要求7所述的人脸视频检索***，其特征在于，
所述第二视频搜索装置包括：
第二搜索区域划定模块，用于判断如果bkt(i,j)为帧内预测块，则解码该块，然后划定该块为搜索区域；否则，如果spbkt(i,j)＝1，则设置sbkt(i,j)＝1，即表示当前块匹配目标；否则，则设置sbkt(i,j)＝0，即表示当前块不匹配目标。其中，spbkt(i,j)表示bkt(i,j)的参考块的识别参数；
第二尺寸统一模块，与第二搜索区域划定模块相连，用于对当前搜索区域进行预处理，即统一当前搜索区域与搜索目标的分辨率，然后，以统一的分辨率缩放当前搜索区域和搜索目标到一样的尺寸；
第二目标图像搜索模块，用于首先，对搜索区域，提取图像特征，然后与搜索目标进行对比，匹配，完成对当前搜索视频当前帧的搜索；
第二识别参数标识模块，用于按搜索区域解码块的匹配结果，对解码块进行识别参数标识。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611087529.7A CN106682094B (zh) | 2016-12-01 | 2016-12-01 | 一种人脸视频检索方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611087529.7A CN106682094B (zh) | 2016-12-01 | 2016-12-01 | 一种人脸视频检索方法和*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106682094A true CN106682094A (zh) | 2017-05-17 |
| CN106682094B CN106682094B (zh) | 2020-05-22 |
Family
ID=58867143
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611087529.7A Active CN106682094B (zh) | 2016-12-01 | 2016-12-01 | 一种人脸视频检索方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106682094B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107423704A (zh) * | 2017-07-21 | 2017-12-01 | 深圳市梦网百科信息技术有限公司 | 一种基于肤色检测的唇部视频定位方法和*** |
| CN107481222A (zh) * | 2017-07-21 | 2017-12-15 | 深圳市梦网百科信息技术有限公司 | 一种基于肤色检测的快速眼唇视频定位方法和*** |
| CN107516067A (zh) * | 2017-07-21 | 2017-12-26 | 深圳市梦网百科信息技术有限公司 | 一种基于肤色检测的人眼定位方法和*** |
| CN107527015A (zh) * | 2017-07-21 | 2017-12-29 | 深圳市梦网百科信息技术有限公司 | 一种基于肤色检测的人眼视频定位方法和*** |
| CN107563278A (zh) * | 2017-07-21 | 2018-01-09 | 深圳市梦网百科信息技术有限公司 | 一种基于肤色检测的快速眼唇定位方法和*** |
| CN107861990A (zh) * | 2017-10-17 | 2018-03-30 | 深圳市梦网百科信息技术有限公司 | 一种视频搜索方法及***、终端设备 |
| CN108710853A (zh) * | 2018-05-21 | 2018-10-26 | 深圳市梦网科技发展有限公司 | 人脸识别方法及装置 |
| CN111815653A (zh) * | 2020-07-08 | 2020-10-23 | 深圳市梦网视讯有限公司 | 一种人脸与身体肤色区域的分割方法、***和设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110170749A1 (en) * | 2006-09-29 | 2011-07-14 | Pittsburgh Pattern Recognition, Inc. | Video retrieval system for human face content |
| CN102129682A (zh) * | 2011-03-09 | 2011-07-20 | 深圳市融创天下科技发展有限公司 | 一种前景背景区域划分方法、*** |
| CN102214291A (zh) * | 2010-04-12 | 2011-10-12 | 云南清眸科技有限公司 | 一种快速准确的基于视频序列的人脸检测跟踪方法 |
| CN103167290A (zh) * | 2013-04-01 | 2013-06-19 | 深圳市云宙多媒体技术有限公司 | 一种视频编码运动强度量化方法及装置 |
| CN103984738A (zh) * | 2014-05-22 | 2014-08-13 | 中国科学院自动化研究所 | 一种基于搜索匹配的角色标注方法 |
-
2016
- 2016-12-01 CN CN201611087529.7A patent/CN106682094B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110170749A1 (en) * | 2006-09-29 | 2011-07-14 | Pittsburgh Pattern Recognition, Inc. | Video retrieval system for human face content |
| CN102214291A (zh) * | 2010-04-12 | 2011-10-12 | 云南清眸科技有限公司 | 一种快速准确的基于视频序列的人脸检测跟踪方法 |
| CN102129682A (zh) * | 2011-03-09 | 2011-07-20 | 深圳市融创天下科技发展有限公司 | 一种前景背景区域划分方法、*** |
| CN103167290A (zh) * | 2013-04-01 | 2013-06-19 | 深圳市云宙多媒体技术有限公司 | 一种视频编码运动强度量化方法及装置 |
| CN103984738A (zh) * | 2014-05-22 | 2014-08-13 | 中国科学院自动化研究所 | 一种基于搜索匹配的角色标注方法 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107527015B (zh) * | 2017-07-21 | 2020-08-04 | 深圳市梦网视讯有限公司 | 一种基于肤色检测的人眼视频定位方法和*** |
| CN107481222B (zh) * | 2017-07-21 | 2020-07-03 | 深圳市梦网视讯有限公司 | 一种基于肤色检测的快速眼唇视频定位方法和*** |
| CN107516067A (zh) * | 2017-07-21 | 2017-12-26 | 深圳市梦网百科信息技术有限公司 | 一种基于肤色检测的人眼定位方法和*** |
| CN107527015A (zh) * | 2017-07-21 | 2017-12-29 | 深圳市梦网百科信息技术有限公司 | 一种基于肤色检测的人眼视频定位方法和*** |
| CN107563278A (zh) * | 2017-07-21 | 2018-01-09 | 深圳市梦网百科信息技术有限公司 | 一种基于肤色检测的快速眼唇定位方法和*** |
| CN107423704B (zh) * | 2017-07-21 | 2020-07-03 | 深圳市梦网视讯有限公司 | 一种基于肤色检测的唇部视频定位方法和*** |
| CN107481222A (zh) * | 2017-07-21 | 2017-12-15 | 深圳市梦网百科信息技术有限公司 | 一种基于肤色检测的快速眼唇视频定位方法和*** |
| CN107423704A (zh) * | 2017-07-21 | 2017-12-01 | 深圳市梦网百科信息技术有限公司 | 一种基于肤色检测的唇部视频定位方法和*** |
| CN107861990A (zh) * | 2017-10-17 | 2018-03-30 | 深圳市梦网百科信息技术有限公司 | 一种视频搜索方法及***、终端设备 |
| CN107861990B (zh) * | 2017-10-17 | 2020-11-06 | 深圳市梦网视讯有限公司 | 一种视频搜索方法及***、终端设备 |
| CN108710853A (zh) * | 2018-05-21 | 2018-10-26 | 深圳市梦网科技发展有限公司 | 人脸识别方法及装置 |
| CN108710853B (zh) * | 2018-05-21 | 2021-01-01 | 深圳市梦网科技发展有限公司 | 人脸识别方法及装置 |
| CN111815653A (zh) * | 2020-07-08 | 2020-10-23 | 深圳市梦网视讯有限公司 | 一种人脸与身体肤色区域的分割方法、***和设备 |
| CN111815653B (zh) * | 2020-07-08 | 2024-01-30 | 深圳市梦网视讯有限公司 | 一种人脸与身体肤色区域的分割方法、***和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106682094B (zh) | 2020-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106682094A (zh) | 一种人脸视频检索方法和*** | |
| CN107220585A (zh) | 一种基于多特征融合镜头聚类的视频关键帧提取方法 | |
| CN104378643B (zh) | 一种3d视频深度图像帧内预测模式选择方法及*** | |
| CN107371022B (zh) | 应用于hevc医学影像无损编码的帧间编码单元快速划分方法 | |
| CN103699532B (zh) | 图像颜色检索方法和*** | |
| CN104125473B (zh) | 一种3d视频深度图像帧内预测模式选择方法及*** | |
| CN102271241A (zh) | 一种基于面部表情/动作识别的图像通信方法及*** | |
| CN109446967B (zh) | 一种基于压缩信息的人脸检测方法和*** | |
| CN111355956A (zh) | 一种hevc帧内编码中基于深度学习的率失真优化快速决策***及其方法 | |
| Chen et al. | A novel fast intra mode decision for versatile video coding | |
| US20130155228A1 (en) | Moving object detection method and apparatus based on compressed domain | |
| CN103873864A (zh) | 一种应用于视频对象检索的对象标志位高效编码方法 | |
| CN111414938B (zh) | 一种板式换热器内气泡的目标检测方法 | |
| CN110650342A (zh) | 基于编码单元多特征分析的快速编码方法 | |
| CN106611043A (zh) | 一种视频搜索方法及*** | |
| CN104410867A (zh) | 改进的视频镜头检测方法 | |
| CN112488014B (zh) | 基于门控循环单元的视频预测方法 | |
| CN116311088B (zh) | 一种基于建筑工地的施工安全监测方法 | |
| CN102542304B (zh) | 识别wap手机色情图像的区域分割肤色算法 | |
| US11212518B2 (en) | Method for accelerating coding and decoding of an HEVC video sequence | |
| Ouyang et al. | The comparison and analysis of extracting video key frame | |
| Badry et al. | Decision tree models and early splitting termination in screen content extension of high efficiency video coding | |
| CN115116032A (zh) | 一种基于改进YOLOv5的交通标志检测方法 | |
| Guo et al. | Cascaded background subtraction using block-based and pixel-based codebooks | |
| CN104410863B (zh) | 图像处理器以及图像处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| CB02 | Change of applicant information |
Address after: 518000 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30 Applicant after: Shenzhen Monternet encyclopedia Information Technology Co. Ltd. Address before: The central Shenzhen city of Guangdong Province, 518057 Keyuan Road, Nanshan District science and Technology Park No. 15 Science Park Sinovac A Building 1 unit 403, No. 405 unit Applicant before: BAC Information Technology Co., Ltd. |
|
| CB02 | Change of applicant information | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 518000 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30 Applicant after: Shenzhen mengwang video Co., Ltd Address before: 518000 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30 Applicant before: SHENZHEN MONTNETS ENCYCLOPEDIA INFORMATION TECHNOLOGY Co.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |