CN113837114A - 一种景区中人脸视频片段采集方法*** - Google Patents

一种景区中人脸视频片段采集方法*** Download PDF

Info

Publication number
CN113837114A
CN113837114A CN202111138365.7A CN202111138365A CN113837114A CN 113837114 A CN113837114 A CN 113837114A CN 202111138365 A CN202111138365 A CN 202111138365A CN 113837114 A CN113837114 A CN 113837114A
Authority
CN
China
Prior art keywords
video
frame
face
user
taking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111138365.7A
Other languages
English (en)
Inventor
吴硕涛
陈海江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lishi Technology Co Ltd
Original Assignee
Zhejiang Lishi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lishi Technology Co Ltd filed Critical Zhejiang Lishi Technology Co Ltd
Priority to CN202111138365.7A priority Critical patent/CN113837114A/zh
Publication of CN113837114A publication Critical patent/CN113837114A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种景区中人脸视频片段采集方法及***,其中,所述方法包括:对景区拍摄的视频流进行预处理,得到处理后图像;识别出处理后图像中包含的目标用户的第一人脸特征,并根据第一人脸特征识别出包含该用户的视频帧集合;将每一个用户的连续帧集合进行重编码为个人视频片段;根据目标用户的第二人脸特征,从个人视频片段中查找出对应的目标视频片段。应用本发明,可以提升游客体验。

Description

一种景区中人脸视频片段采集方法***
技术领域
本发明涉及人脸识别技术领域,更具体涉及一种景区中人脸视频片段采集方法及***。
背景技术
随着现代化设备的不断应用,景区为增加回头客流也在想办法题设提高用户体验。申请号为202011196852.4涉及一种可自动筛选照片的景区自动拍照***及景区自动拍照方法,确定预设拍摄区域后相机以预设频率拍摄照片,游客在选定匹配人脸特征的指定拍摄区域内面对相机拍摄照片,生成人脸照片管理库;游客上传自拍照片,自拍照片与人脸照片管理库中的照片人脸匹配,筛选出符合预设条件的照片,对应初始拍摄区域照片、初始光照照片、初始姿态照片计算位置匹配度、光照匹配度、姿态匹配度,以综合筛选参数筛选照片,处理后供游客筛选、获取。本发明通过对景区内游客自动拍照,并通过表情、位置、光照等信息的融合,实现自动筛选出游客满意度较高的照片的目的,便于游客在景区内拍照留念,更增加游客在景区内的游览体验,有利于景区的良性运作。
但是,现有技术中,景区游客人脸图片反应的信息太少,一张图片可能受光照穿着等外界影响,图片的采集效果可能不是很理想。因此,现有技术中存在静态图片包含特征较少,导致游客体验不佳的技术问题。
发明内容
本发明所要解决的技术问题在于提供了一种景区中人脸视频片段采集方法及***,以提升游客体验。
通过人物的照片找到对应人物的在景区的视频片段,可以从获取到的个人视频中获得更多有价值的信息,方便寻人等其他更多的功能处理。
本发明是通过以下技术方案解决上述技术问题的:
本发明提供了一种景区中人脸视频片段采集方法,所述方法包括:
对景区拍摄的视频流进行预处理,得到处理后图像;
识别出处理后图像中包含的用户的第一人脸特征,并根据第一人脸特征识别出包含该用户的视频帧集合;将每一个用户的视频帧帧集合进行重编码为个人视频片段;
根据目标用户的第二人脸特征,从个人视频片段中查找出对应的目标视频片段。
可选的,所述对视频流进行预处理,得到处理后图像,包括:
获取摄像头视频流,对视频流的每一帧图片进行灰度化降分辨率处理;
在每一帧画面中心处构建虚拟框;
识别出人物人脸的中心位置并判断人脸是否在虚拟框内;
若是,将虚拟框内的图片作为处理后图像。
可选的,所述根据第一人脸特征识别出包含该用户的视频帧集合,包括:
根据第一人脸特征识别出对应用户出现的视频帧,将该视频帧作为起始帧;
以起始帧为起点,然后逐帧检测第一人脸特征,将第一人脸特征最后出现的视频帧作为结束帧;
将从起始帧至结束帧之间的视频帧的集合作为用户的视频帧集合。
可选的,所述将从起始帧至结束帧之间的视频帧的集合作为用户的视频帧集合,包括:
将从起始帧至结束帧之间的视频帧的集合作为用户的视频帧集合,并将结束帧之后第定时长内的的视频帧加入到用户的视频帧集合中。
可选的,所述将目标用户的连续帧集合进行重编码,包括:
将连续帧中不包含第一人脸特征的视频帧删除,再将结束帧之后设定时长内的的视频帧。
可选的,所述根据目标用户的第二人脸特征,从个人视频片段中查找出对应的目标视频片段,包括:
针对每一个视频片段,当该视频片段中的第一人脸特征与第二人脸特征的相似度超过设定阈值时,则判定第一人脸特征与第二人脸特征属于同一个人,将该视频片段作为目标视频片段;
当第一人脸特征与第二人脸特征的相似度低于设定阈值时,则判定第一人脸特征与第二人脸特征不属于同一个人。
可选的,所述方法还包括:
监测视频流是否发生中断;
若是,结束执行过程,并返回执行所述监测视频流是否发生中断的步骤;
若否,继续执行对景区拍摄的视频流进行预处理,得到处理后图像的步骤。
本发明提供了一种景区中人脸视频片段采集***,其特征在于,所述装置包括:
预处理模块,用于对景区拍摄的视频流进行预处理,得到处理后图像;
识别模块,用于识别出处理后图像中包含的用户的第一人脸特征,并根据第一人脸特征识别出包含该用户的视频帧集合;将每一个用户的视频帧帧集合进行重编码为个人视频片段;
查找模块,用于根据目标用户的第二人脸特征,从个人视频片段中查找出对应的目标视频片段。
可选的,所述预处理模块,用于:
获取摄像头视频流,对视频流的每一帧图片进行灰度化降分辨率处理;
在每一帧画面中心处构建虚拟框;
识别出人物人脸的中心位置并判断人脸是否在虚拟框内;
若是,将虚拟框内的图片作为处理后图像。
可选的,所述识别模块,用于:
根据第一人脸特征识别出对应用户出现的视频帧,将该视频帧作为起始帧;
以起始帧为起点,然后逐帧检测第一人脸特征,将第一人脸特征最后出现的视频帧作为结束帧;
将从起始帧至结束帧之间的视频帧的集合作为用户的视频帧集合。
本发明相比现有技术具有以下优点:
应用本发明实施例,视频流本是一帧帧图片合成的片段,识别判断人物进入的第一帧图片将其放入合成视频的容器中,再判断其离开的最后一帧,将容器中的图片整合成视频片段,并将容器与对应的人物人脸特征编码所对应,最后上传个人图片找到属于他的个人视频,相对于静态图片,视频中包含信息更加丰富,进而提升了游客体验。
附图说明
图1为本发明实施例提供的一种景区中人脸视频片段采集方法的流程示意图;
图2为本发明实施例提供的一种景区中人脸视频片段采集方法的原理示意图;
图3为本发明实施例提供的一种景区中人脸视频片段采集方法中srs对于外部视频流中断以后的识别服务的自启示意图。
具体实施方式
下面对本发明的实施例作详细说明,本实施例在以本发明技术方案为前提下进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
图1为本发明实施例提供的一种景区中人脸视频片段采集方法的流程示意图;图2为本发明实施例提供的一种景区中人脸视频片段采集方法的原理示意图;如图1和图2所示,方法包括:
S1:对景区拍摄的视频流进行预处理,得到处理后图像。
数据预处理模块首先调整好景区摄像头的位置。再通过opencv获取摄像头视频流,对视频流的每一帧图片进行灰度化降分辨率处理。
然后,在每一帧画面中心处构建虚拟框,例如,虚拟框两个点位左上角点x、y,右下角v、w,虚拟框的大小根据视频流分辨率大小等比缩放,通过yolov3物体检测技术获取到人物人脸的中心位置(a,b)并判断人脸是否存在虚拟框内,如果人脸的中心出现在虚拟框内(即x<a<v且y<b<w),则执行下一步骤。以视频分辨率是1920*1080为例,中心点选取的(960,540),虚拟框左上角为(500,420),右下角为(1560,900),具体情况按实际人脸出现的位置可进行调整优化。因为,发明人发现,一般用户观看视频时的聚焦部位为视频图像的中心附近,极少关注视频帧边缘地带,因此,可以使用虚拟框对视频帧进行处理。
将虚拟框内的图片作为处理后图像。
S2:识别出处理后图像中包含的用户的第一人脸特征,并根据第一人脸特征识别出包含该用户的视频帧集合;将每一个用户的视频帧帧集合进行重编码为个人视频片段。
将上一步骤中数据预处理模块预处理过的图像帧通过face_recognition人脸识别技术(face_landmarks方法)抓拍提取出各个用户的第一人脸特征包括眼睛嘴巴鼻子等多个五官特征存入对应的人脸特征库,特征库字段包括(Eyes,nose,mouth,ears,forehead)。
针对每一个用户,识别出包含其第一人脸特征的连续帧,将这些连续帧放入一个自己构建的writer容器中。
将这些容器做上特征标记,以将writer容器与该用户唯一对应。进一步的,当一张视频帧中有多个人脸出现时,将该视频帧分别拷贝到各个用户的writer容器中。在实际应用中,还可以使用timestamp时间戳标记各个视频帧,通过对人脸特征的比对将相应的视频帧放入对应的特征writer容器中。
最后,将合成好的视频打上人脸特征标记,方便个人上传照片和查找视频片段。
通常情况下,每一个用户的writer容器中可以包括一个以上的视频帧,还可以包括一个以上的连续帧,每一个连续帧的第一帧为该用户出现的视频帧,然后该用户在第一帧之后的若干帧持续出现,在连续帧的最后一帧的下一帧中用户消失。在实际应用中,连续帧的第一帧也被称为起始帧,连续帧的最后一帧也被称为结束帧。现有技术大部分是通过景区摄像头传入的视频流,对视频流做处理,由于景区的客流量普遍较大,一般都是抓取到视频流中的人脸图片,而不是个人的视频片段。本发明实施例中使用视频片段呈现给游客,由于视频片段是动态的,因此,可以提高游客的视听体验。
更进一步的,为排除个人人脸可能存在突然不出现的几帧等情况,本发明实施例将容器内的结束帧延长至人物人脸不出现的3秒以后,然后利用ffmpeg技术对起始帧和结束帧之间的连续帧部分进行重新编码生成新的视频文件。裁剪剔除掉最后人物不出现的设定时长如3秒时间。
S3:根据目标用户的第二人脸特征,从个人视频片段中查找出对应的目标视频片段。
目标用户上传个人照片,***识别出个人照片中包含的目标用户的第二人脸特征数据。
***将目标用户的第二人脸特征数据与各个个人视频片段种的第一人脸特征进行比对,例如,设置一个相似度的阈值,当第一人脸特征与第二人脸特征的相似度超过设定阈值时,则判定第一人脸特征与第二人脸特征属于同一个人。当第一人脸特征与第二人脸特征的相似度低于设定阈值时,则判定第一人脸特征与第二人脸特征不属于同一个人。可以理解的是,阈值可以人为调整改动。
在目标用户上传的照片第二人脸特征与数据库中的第一人脸特征相匹配上了以后,通过数据库中的特征标记找到对应的writer容器,容器中存有个人的视频片段。
进一步的,本发明实施例还包括以下步骤:
图3为本发明实施例提供的一种景区中人脸视频片段采集方法中srs对于外部视频流中断以后的识别服务的自启示意图,如图3所示,景区中的监控***24小时不间断采集视频流,但是,视频流也偶尔会出现中断的情况,所以搭建srs(Simple RTMP Server,流媒体服务)流媒体平台,通过自启监测脚本实时监控视频流的运行情况。如果出现视频流中断或无流等情况,那么识别服务也将会中断。自启脚本会在视频流再次接入的时候进行视频识别服务的自启。
本发明提供了一种景区中人脸视频片段采集***,其特征在于,所述装置包括:
预处理模块,用于对景区拍摄的视频流进行预处理,得到处理后图像;
识别模块,用于识别出处理后图像中包含的用户的第一人脸特征,并根据第一人脸特征识别出包含该用户的视频帧集合;将每一个用户的视频帧帧集合进行重编码为个人视频片段;
查找模块,用于根据目标用户的第二人脸特征,从个人视频片段中查找出对应的目标视频片段。
可选的,所述预处理模块,用于:
获取摄像头视频流,对视频流的每一帧图片进行灰度化降分辨率处理;
在每一帧画面中心处构建虚拟框;
识别出人物人脸的中心位置并判断人脸是否在虚拟框内;
若是,将虚拟框内的图片作为处理后图像。
可选的,所述识别模块,用于:
根据第一人脸特征识别出对应用户出现的视频帧,将该视频帧作为起始帧;
以起始帧为起点,然后逐帧检测第一人脸特征,将第一人脸特征最后出现的视频帧作为结束帧;
将从起始帧至结束帧之间的视频帧的集合作为用户的视频帧集合。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种景区中人脸视频片段采集方法,其特征在于,所述方法包括:
对景区拍摄的视频流进行预处理,得到处理后图像;
识别出处理后图像中包含的用户的第一人脸特征,并根据第一人脸特征识别出包含该用户的视频帧集合;将每一个用户的视频帧帧集合进行重编码为个人视频片段;
根据目标用户的第二人脸特征,从个人视频片段中查找出对应的目标视频片段。
2.根据权利要求1所述的一种景区中人脸视频片段采集方法,其特征在于,所述对视频流进行预处理,得到处理后图像,包括:
获取摄像头视频流,对视频流的每一帧图片进行灰度化降分辨率处理;
在每一帧画面中心处构建虚拟框;
识别出人物人脸的中心位置并判断人脸是否在虚拟框内;
若是,将虚拟框内的图片作为处理后图像。
3.根据权利要求1所述的一种景区中人脸视频片段采集方法,其特征在于,所述根据第一人脸特征识别出包含该用户的视频帧集合,包括:
根据第一人脸特征识别出对应用户出现的视频帧,将该视频帧作为起始帧;
以起始帧为起点,然后逐帧检测第一人脸特征,将第一人脸特征最后出现的视频帧作为结束帧;
将从起始帧至结束帧之间的视频帧的集合作为用户的视频帧集合。
4.根据权利要求3所述的一种景区中人脸视频片段采集方法,其特征在于,所述将从起始帧至结束帧之间的视频帧的集合作为用户的视频帧集合,包括:
将从起始帧至结束帧之间的视频帧的集合作为用户的视频帧集合,并将结束帧之后第定时长内的的视频帧加入到用户的视频帧集合中。
5.根据权利要求4所述的一种景区中人脸视频片段采集方法,其特征在于,所述将目标用户的连续帧集合进行重编码,包括:
将连续帧中不包含第一人脸特征的视频帧删除,再将结束帧之后设定时长内的的视频帧。
6.根据权利要求1所述的一种景区中人脸视频片段采集方法,其特征在于,所述根据目标用户的第二人脸特征,从个人视频片段中查找出对应的目标视频片段,包括:
针对每一个视频片段,当该视频片段中的第一人脸特征与第二人脸特征的相似度超过设定阈值时,则判定第一人脸特征与第二人脸特征属于同一个人,将该视频片段作为目标视频片段;
当第一人脸特征与第二人脸特征的相似度低于设定阈值时,则判定第一人脸特征与第二人脸特征不属于同一个人。
7.根据权利要求1所述的一种景区中人脸视频片段采集方法,其特征在于,所述方法还包括:
监测视频流是否发生中断;
若是,结束执行过程,并返回执行所述监测视频流是否发生中断的步骤;
若否,继续执行对景区拍摄的视频流进行预处理,得到处理后图像的步骤。
8.一种景区中人脸视频片段采集***,其特征在于,所述装置包括:
预处理模块,用于对景区拍摄的视频流进行预处理,得到处理后图像;
识别模块,用于识别出处理后图像中包含的用户的第一人脸特征,并根据第一人脸特征识别出包含该用户的视频帧集合;将每一个用户的视频帧帧集合进行重编码为个人视频片段;
查找模块,用于根据目标用户的第二人脸特征,从个人视频片段中查找出对应的目标视频片段。
9.根据权利要求8所述的一种景区中人脸视频片段采集***,其特征在于,所述预处理模块,用于:
获取摄像头视频流,对视频流的每一帧图片进行灰度化降分辨率处理;
在每一帧画面中心处构建虚拟框;
识别出人物人脸的中心位置并判断人脸是否在虚拟框内;
若是,将虚拟框内的图片作为处理后图像。
10.根据权利要求8所述的一种景区中人脸视频片段采集***,其特征在于,所述识别模块,用于:
根据第一人脸特征识别出对应用户出现的视频帧,将该视频帧作为起始帧;
以起始帧为起点,然后逐帧检测第一人脸特征,将第一人脸特征最后出现的视频帧作为结束帧;
将从起始帧至结束帧之间的视频帧的集合作为用户的视频帧集合。
CN202111138365.7A 2021-09-27 2021-09-27 一种景区中人脸视频片段采集方法*** Pending CN113837114A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111138365.7A CN113837114A (zh) 2021-09-27 2021-09-27 一种景区中人脸视频片段采集方法***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111138365.7A CN113837114A (zh) 2021-09-27 2021-09-27 一种景区中人脸视频片段采集方法***

Publications (1)

Publication Number Publication Date
CN113837114A true CN113837114A (zh) 2021-12-24

Family

ID=78970685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111138365.7A Pending CN113837114A (zh) 2021-09-27 2021-09-27 一种景区中人脸视频片段采集方法***

Country Status (1)

Country Link
CN (1) CN113837114A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104731944A (zh) * 2015-03-31 2015-06-24 努比亚技术有限公司 视频搜索方法及装置
CN108596140A (zh) * 2018-05-08 2018-09-28 青岛海信移动通信技术股份有限公司 一种移动终端人脸识别方法及***
CN111027507A (zh) * 2019-12-20 2020-04-17 中国建设银行股份有限公司 基于视频数据识别的训练数据集生成方法及装置
CN111145189A (zh) * 2019-12-26 2020-05-12 成都市喜爱科技有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN111163259A (zh) * 2018-11-07 2020-05-15 杭州海康威视数字技术股份有限公司 一种图像抓拍方法、监控相机及监控***
CN112749290A (zh) * 2019-10-30 2021-05-04 青岛千眼飞凤信息技术有限公司 照片展示处理方法及装置、视频展示处理方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104731944A (zh) * 2015-03-31 2015-06-24 努比亚技术有限公司 视频搜索方法及装置
CN108596140A (zh) * 2018-05-08 2018-09-28 青岛海信移动通信技术股份有限公司 一种移动终端人脸识别方法及***
CN111163259A (zh) * 2018-11-07 2020-05-15 杭州海康威视数字技术股份有限公司 一种图像抓拍方法、监控相机及监控***
CN112749290A (zh) * 2019-10-30 2021-05-04 青岛千眼飞凤信息技术有限公司 照片展示处理方法及装置、视频展示处理方法及装置
CN111027507A (zh) * 2019-12-20 2020-04-17 中国建设银行股份有限公司 基于视频数据识别的训练数据集生成方法及装置
CN111145189A (zh) * 2019-12-26 2020-05-12 成都市喜爱科技有限公司 图像处理方法、装置、电子设备和计算机可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周海军等: "基于人脸识别的舰船人员出入管理***", 电子世界, no. 19, pages 201 - 203 *

Similar Documents

Publication Publication Date Title
US20210279474A1 (en) Surveillance camera system and surveillance camera control apparatus
US8270806B2 (en) Information processing apparatus and method of controlling same
US9323979B2 (en) Face recognition performance using additional image features
US8494286B2 (en) Face detection in mid-shot digital images
EP3236391B1 (en) Object detection and recognition under out of focus conditions
US8314854B2 (en) Apparatus and method for image recognition of facial areas in photographic images from a digital camera
KR101731771B1 (ko) 버스트 포토 캡처된 세트로부터 키퍼 이미지의 자동 선택
JP4506801B2 (ja) 画像認識装置、画像認識方法、画像認識プログラム
US7630561B2 (en) Image processing
KR101781358B1 (ko) 디지털 영상 내의 얼굴 인식을 통한 개인 식별 시스템 및 방법
US20050200722A1 (en) Image capturing apparatus, image capturing method, and machine readable medium storing thereon image capturing program
US8866900B2 (en) Information processing apparatus and method of controlling same
US11176679B2 (en) Person segmentations for background replacements
WO2005116910A2 (en) Image comparison
JP2006508463A (ja) 顔検出
CN104537389A (zh) 人脸识别方法和终端设备
EP2241106A2 (en) Digital camera focusing using stored object recognition
CN110298862A (zh) 视频处理方法、装置、计算机可读存储介质和计算机设备
CN110691202A (zh) 视频剪辑方法、装置及计算机存储介质
US9286707B1 (en) Removing transient objects to synthesize an unobstructed image
Ahlvers et al. Model-free face detection and head tracking with morphological hole mapping
CN113837114A (zh) 一种景区中人脸视频片段采集方法***
CN113762156A (zh) 观影数据处理方法、装置及存储介质
GB2414613A (en) Modifying pixels in dependence on surrounding test region

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination