CN106791535B - 视频录制方法及装置 - Google Patents

视频录制方法及装置 Download PDF

Info

Publication number
CN106791535B
CN106791535B CN201611071695.8A CN201611071695A CN106791535B CN 106791535 B CN106791535 B CN 106791535B CN 201611071695 A CN201611071695 A CN 201611071695A CN 106791535 B CN106791535 B CN 106791535B
Authority
CN
China
Prior art keywords
frame
video
frame image
recording
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611071695.8A
Other languages
English (en)
Other versions
CN106791535A (zh
Inventor
张雅新
李瑞春
曾骁
李明杰
潘柏宇
谢菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Youku Culture Technology Beijing Co ltd
Original Assignee
Alibaba China Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba China Co Ltd filed Critical Alibaba China Co Ltd
Priority to CN201611071695.8A priority Critical patent/CN106791535B/zh
Publication of CN106791535A publication Critical patent/CN106791535A/zh
Priority to PCT/CN2017/111075 priority patent/WO2018095252A1/zh
Application granted granted Critical
Publication of CN106791535B publication Critical patent/CN106791535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明涉及一种视频录制方法及装置,其中该方法包括:对所播放的视频的各帧图像逐帧进行面部特征识别;根据面部特征识别结果来确定在所述各帧图像中的录屏框的位置及尺寸;以及根据在所述各帧图像中的录屏框的位置及尺寸来对所述视频进行录制。根据本公开实施例的视频录制方法和装置,通过将面部特征识别技术应用到录屏技术,由此能够灵活设置录屏框的位置及尺寸,从而录制出用户所期望的视频,提高用户体验。

Description

视频录制方法及装置
技术领域
本发明涉及图像处理领域,尤其涉及一种视频录制方法及装置。
背景技术
针对PC(Personal Computer,个人计算机)端的在线视频或本地视频,在目前的视频录制(以下还称为“录屏”)技术中,录屏框的框选位置固定并且仅能录制固定范围内的视频内容、即录屏框的框选位置及尺寸固定。由此,导致录制得到的视频内容可能并不总是用户所期望的,用户体验性较差。
发明内容
有鉴于此,本公开提出了一种通过将面部特征识别技术应用到录屏技术的视频录制方法和装置。由此,能够灵活设置录屏框的位置及尺寸,从而录制出用户所期望的视频,提高用户体验。
根据本公开的一方面,提供了一种视频录制方法,包括:对所播放的视频的各帧图像逐帧进行面部特征识别;根据面部特征识别结果来确定在所述各帧图像中的录屏框的位置及尺寸;以及根据在所述各帧图像中的录屏框的位置及尺寸来对所述视频进行录制。
对于上述视频录制方法,在一种可能的实现方式中,根据面部特征识别结果来确定在所述各帧图像中的录屏框的位置及尺寸,包括:根据面部特征识别结果来确定在所述各帧图像中的录屏框的位置及初始尺寸;从所确定出的各初始尺寸中选择其中一个尺寸作为基准尺寸;以及将在所述各帧图像中的录屏框的初始尺寸调整成所述基准尺寸。
对于上述视频录制方法,在一种可能的实现方式中,所述基准尺寸是根据所述视频的各帧图像的分辨率而预先设置的。
对于上述视频录制方法,在一种可能的实现方式中,根据面部特征识别结果来确定在所述各帧图像中的录屏框的位置及尺寸,包括:在首次从所述视频的一帧图像中识别出多个对象的面部特征的情况下,从所述多个对象中选择至少一个对象作为关注对象;在所述一帧图像的后续帧图像中,逐帧确定与所述关注对象中的各对象的面部特征的相似度分别在预定的相似度阈值以下的对应对象的匹配面部特征;以及分别根据所述关注对象中的各对象的面部特征和各对应对象的匹配面部特征,来确定在所述一帧图像和所述后续帧图像中的录屏框的位置及尺寸。
对于上述视频录制方法,在一种可能的实现方式中,还包括:在所述后续帧图像中,如果存在不具有所述匹配面部特征的帧图像,则分别根据所述关注对象中的各对象的面部特征和各对应对象的匹配面部特征,来确定从所述一帧图像到不具有所述匹配面部特征的帧图像之间的帧图像中的录屏框的位置及尺寸。
对于上述视频录制方法,在一种可能的实现方式中,分别根据所述关注对象中的各对象的面部特征和各对应对象的匹配面部特征,来确定在所述一帧图像和所述后续帧图像中的录屏框的位置及尺寸,包括:分别根据所述关注对象中的各对象的面部特征和各对应对象的匹配面部特征,来确定在所述一帧图像和所述后续帧图像中的录屏框的位置及初始尺寸;从所确定出的各初始尺寸中选择其中一个尺寸作为基准尺寸;以及将在所述一帧图像和所述后续帧图像中的初始尺寸调整成所述基准尺寸。
对于上述视频录制方法,在一种可能的实现方式中,所述基准尺寸是根据所述视频的各帧图像的分辨率而预先设置的。
对于上述视频录制方法,在一种可能的实现方式中,根据在所述各帧图像中的录屏框的位置及尺寸来对所述视频进行录制,包括:将预设的表情加载到所述录屏框中;以及根据所加载的表情及在所述各帧图像中的录屏框的位置及尺寸来对所述视频进行录制。
对于上述视频录制方法,在一种可能的实现方式中,对所播放的视频的各帧图像逐帧进行面部特征识别,包括:对所播放的视频的各帧图像中的面部的关键区域位置进行定位,其中,所述关键区域位置包括眉毛、眼睛、鼻子、嘴巴、耳朵和脸部轮廓所在区域中的至少一个。
根据本公开的另一方面,提供了一种视频录制装置,包括:面部特征识别单元,用于对所播放的视频的各帧图像逐帧进行面部特征识别;确定单元,与所述面部特征识别单元连接,用于根据面部特征识别结果来确定在所述各帧图像中的录屏框的位置及尺寸;以及录屏单元,与所述确定单元连接,用于根据在所述各帧图像中的录屏框的位置及尺寸来对所述视频进行录制。
对于上述视频录制装置,在一种可能的实现方式中,所述确定单元包括:第一确定模块,用于根据面部特征识别结果来确定在所述各帧图像中的录屏框的位置及初始尺寸;第一选择模块,与所述第一确定模块连接,用于从所确定出的各初始尺寸中选择其中一个尺寸作为基准尺寸;以及调整模块,与所述第一选择模块连接,用于将在所述各帧图像中的录屏框的初始尺寸调整成所述基准尺寸。
对于上述视频录制装置,在一种可能的实现方式中,所述基准尺寸是根据所述视频的各帧图像的分辨率而预先设置的。
对于上述视频录制装置,在一种可能的实现方式中,所述确定单元包括:第二选择模块,用于在首次从所述视频的一帧图像中识别出多个对象的面部特征的情况下,从所述多个对象中选择至少一个对象作为关注对象;第二确定模块,与所述第二选择模块连接,用于在所述一帧图像的后续帧图像中,逐帧确定与所述关注对象中的各对象的面部特征的相似度分别在预定的相似度阈值以下的对应对象的匹配面部特征;以及第三确定模块,与所述第二确定模块连接,用于分别根据所述关注对象中的各对象的面部特征和各对应对象的匹配面部特征,来确定在所述一帧图像和所述后续帧图像中的录屏框的位置及尺寸。
对于上述视频录制装置,在一种可能的实现方式中,所述第三确定模块还用于:在所述后续帧图像中,如果存在不具有所述匹配面部特征的帧图像,则分别根据所述关注对象中的各对象的面部特征和各对应对象的匹配面部特征,来确定从所述一帧图像到不具有所述匹配面部特征的帧图像之间的帧图像中的录屏框的位置及尺寸。
对于上述视频录制装置,在一种可能的实现方式中,所述第三确定模块用于:分别根据所述关注对象中的各对象的面部特征和各对应对象的匹配面部特征,来确定在所述一帧图像和所述后续帧图像中的录屏框的位置及初始尺寸;从所确定出的各初始尺寸中选择其中一个尺寸作为基准尺寸;以及将在所述一帧图像和所述后续帧图像中的初始尺寸调整成所述基准尺寸。
对于上述视频录制装置,在一种可能的实现方式中,所述基准尺寸是根据所述视频的各帧图像的分辨率而预先设置的。
对于上述视频录制装置,在一种可能的实现方式中,所述录屏单元包括:加载模块,用于将预设的表情加载到所述录屏框中;以及录屏模块,与所述加载模块连接,用于根据所加载的表情及在所述各帧图像中的录屏框的位置及尺寸来对所述视频进行录制。
对于上述视频录制装置,在一种可能的实现方式中,所述面部特征识别单元用于:对所播放的视频的各帧图像中的面部的关键区域位置进行定位,其中,所述关键区域位置包括眉毛、眼睛、鼻子、嘴巴、耳朵和脸部轮廓所在区域中的至少一个。
根据本公开实施例的视频录制方法和装置,通过将面部特征识别技术应用到录屏技术,由此能够灵活设置录屏框的位置及尺寸,从而录制出用户所期望的视频,提高用户体验。
根据下面参考附图对示例性实施例的详细说明,本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面,并且用于解释本发明的原理。
图1示出根据本公开一实施例的视频录制方法的流程图;
图2示出检测到正面的面部的示意图;
图3示出检测到侧面面部的示意图;
图4示出确定正面的面部的录屏框的尺寸的示意图;
图5示出确定侧面的面部的录屏框的尺寸的示意图;
图6示出本公开的另一实施例的视频录制方法的流程图;
图7示出本公开的又一实施例的视频录制方法的流程图;
图8示出本公开一实施例的人脸追踪识别和追踪录制视频的示意图;
图9示出根据本公开一实施例的视频录制装置的结构框图;
图10示出根据本公开的另一实施例的视频录制装置的结构框图;以及
图11是根据一示例性实施例示出的视频录制装置的结构框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面,但是除非特别指出,不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外,为了更好的说明本公开,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有某些具体细节,本公开同样可以实施。在一些实例中,对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本公开的主旨。
实施例1
图1示出根据本公开一实施例的视频录制方法的流程图。如图1所示,该方法可以包括以下步骤:
步骤S100、对所播放的视频的各帧图像逐帧进行面部特征识别;
步骤S110、根据面部特征识别结果来确定在各帧图像中的录屏框的位置及尺寸;以及
步骤S120、根据在各帧图像中的录屏框的位置及尺寸来对视频进行录制。
具体而言,首先,在视频播放器中播放要进行录屏的视频,然后例如点击录屏软件按钮,由此弹出录屏设置框,并在设置框内点击特定按钮(例如面部录制按钮)。其中,所播放的视频可以是从互联网上获取到的在线视频,也可以是已经存储在本地存储器、例如硬盘上的本地视频。
对于上述步骤S110,针对所播放的视频的各帧图像,可以对其逐帧进行面部特征识别,以检测各帧图像中是否存在人脸(面部)。并且在存在面部的情况下,进一步确定该面部在帧图像中的具***置以及该面部的轮廓大小。
在一种可能的实现方式中,可以对所播放的视频的各帧图像中的面部的关键区域位置进行定位,并且对各关键区域位置进行特征识别,以得到该面部的面部特征。其中,该关键区域位置包括眉毛、眼睛、鼻子、嘴巴、耳朵和脸部轮廓所在区域中的至少一个,该面部特征可以包括该面部在帧图像中的位置及其轮廓大小。需要说明的是,该关键区域位置不限于以上列举的示例,而只要是能够反映面部特征的部位均可。此外,所检测出的面部可以是正面(如图2所示),也可以是侧面(如图3所示),并且可以支持一定程度的遮挡以及多角度检测。
在一种可能的实现方式中,在一帧图像中,可能存在多个对象(例如人物)的面部。如果存在多个面部,则分别对与各面部的关键区域位置进行识别,以得到各面部的面部特征。
在一种可能的实现方式中,在识别出面部并且得到其面部特征之后,可以将这些信息作为面部特征识别结果而存储在存储器中。
对于上述步骤S110,在通过对各帧图像进行面部特征识别并得到各帧图像的面部特征识别结果之后,可以根据所得到的面部特征结果来确定对各帧图像进行录屏时的录屏框的位置及尺寸。
例如,如果在某一帧图像中检测到一个面部,并且得到了其面部特征(包括该面部在帧图像中的位置及轮廓大小),则可以根据该面部特征来确定录屏框的位置及尺寸。其中,该录屏框至少能够框选整个面部的区域(如图4、5所示)。又如,如果某一帧图像中检测到多个面部,则根据该多个面部的面部特征来确定录屏框的位置及尺寸。其中,该录屏框至少能够框选全部这多个面部的区域。又如,如果在某一帧图像中未检测到面部,即,该帧图像中不存在面部,则可以使录屏框暂时消失,即不对该帧图像进行录制,等到在后续帧图像中再次检测到面部时,再使录屏框出现,并确定其位置和尺寸。
对于上述步骤S120,在步骤S110中确定了要对各帧图像进行录屏时的录屏框的位置及尺寸时,例如可以点击开始视频录制按钮,以根据所确定出的录屏框的位置及尺寸对该视频进行录制。由此,制作出包括各种面部的面部表情的视频短片。
在录制结束后,例如可以自动将录制的视频保存成通用的mp4格式,并保存至例如本地硬盘上的某一文件夹。当用户需要观看该录制的视频时,点击该mp4格式的文件即可进行观看。
根据本公开实施例的视频录制方法,能够通过对视频中的各帧图像的面部特征进行识别、并根据面部特征识别结果来确定在各帧图像中的录屏框的位置及尺寸,然后根据所确定出的录屏框的位置及尺寸对视频进行录制。这样,可以通过将面部特征识别技术应用到录屏技术中,由此能够灵活设置录屏框的位置及尺寸,从而录制出用户所期望的视频,提高用户体验。
实施例2
在上述实施例的录屏中,由于针对各帧图像所检测出的面部的轮廓大小可能不同,因此针对各帧图像的录屏框的尺寸也可能不同。在利用不同的录屏框尺寸来对各帧图像进行录制时,所得到的各帧图像的尺寸不同。将这样各帧图像拼接成视频时,可能会产生视频图像不连续、不自然的现象。
为了解决上述问题,在本实施例中,采用将各帧图像的录屏框尺寸调整成相同尺寸之后再对视频进行录制。
图6示出本公开的另一实施例的视频录制方法的流程图。图6中标号与图1相同的步骤具有相同的功能,为简明起见,省略对这些步骤的详细说明。
如图6所示,本实施例的视频录制方法与图1所示的视频录制方法的主要区别在于,上述步骤S110可以包括以下步骤:
步骤S210、根据面部特征识别结果来确定在各帧图像中的录屏框的位置及初始尺寸;
步骤S220、从所确定出的各初始尺寸中选择其中一个尺寸作为基准尺寸;以及
步骤S230、将在一帧图像和后续帧图像中的初始尺寸调整成该基准尺寸。
具体而言,在步骤S100中得到所识别出的面部特征识别结果之后,可以首先根据该面部特征识别结果来确定针对各帧图像的录屏框的位置、以及录屏框的初始尺寸。其中,这些初始尺寸可能由于所识别出的面部特征识别结果的不同而不同。然后,从所确定的各初始尺寸中,选择其中一个适当的尺寸作为基准尺寸,然后将各帧图像中的录屏框的尺寸均调整成该基准尺寸。其中,在一种可能的实现方式中,所述基准尺寸是根据视频的各帧图像的分辨率而预先设置的。并且,如果所确定出的初始尺寸大于该基准尺寸,则例如可以将该帧图像按比例缩小,以使得利用具有该基准尺寸的录屏框来进行视频录制时能够框选到该帧图像中的面部区域。
在一种可能的实现方式中,该基准尺寸是所确定出的各初始尺寸中的最大尺寸。当然,该基准尺寸不限于此,而可以是任意适当的尺寸,只要利用该尺寸录制出的帧图像的分辨率能够满足用户观看的清晰度即可。
接着,在后续的步骤S120中,利用之前确定的各帧图像的录屏框的位置以及调整后的录屏框的尺寸来进行视频录制。这样,针对各帧图像所录制出的帧图像的尺寸是一致的,因此能够解决在将这些帧图像拼接时的视频图像不连续、不自然的问题。
需要说明的是,解决视频图像不连续、不自然的问题的方法不限于上述实施例,也可以采用其它方法。例如,可以首先根据步骤S100中所识别出的面部特征识别结果对各帧图像进行录制,然后,以所录制出的适当尺寸(例如最大尺寸)的帧图像的尺寸为基准,将其它帧图像的尺寸均调整成该适当尺寸。其中,用于将其它帧图像的尺寸调整成该适当尺寸的方法可以是在这些其它帧图像的边缘填充背景等。在通过填充背景而使其它帧图像的尺寸变成适当尺寸之后,再对这些帧图像进行拼接,这样同样能够解决在将这些帧图像拼接时的视频图像不连续、不自然的问题。
这样,根据本公开实施例的视频录制方法,可以通过将面部特征识别技术应用到录屏技术中,由此能够灵活设置录屏框的位置及尺寸,从而录制出用户所期望的视频,提高用户体验。并且,本实施例可以通过调整基于面部特征识别技术所确定出的录屏框的尺寸,由此使得在视频图像拼接时不会产生视频图像不连续、不自然的问题。
实施例3
如上所述,在一帧图像中,可能识别出多个对象的面部。在这种情况下,用户可能只期望针对其中某一个或多个对象的面部进行录制,即在对该视频进行录制时,仅录制该一个对象或该多个对象的面部,从而实现对该一个对象或该多个对象的面部表情的记录和追踪。
为此,可以利用本实施例的图7所示的视频录制方法的流程图来实现上述目的。
图7示出本公开的又一实施例的视频录制方法的流程图。图7中标号与图1相同的步骤具有相同的功能,为简明起见,省略对这些步骤的详细说明。
如图7所示,本实施例的视频录制方法与图1所示的视频录制方法的主要区别在于,上述步骤S110可以包括以下步骤:
步骤S310、在首次从视频的一帧图像中识别出多个对象的面部特征的情况下,从多个对象中选择至少一个对象作为关注对象;
步骤S320、在一帧图像的后续帧图像中,逐帧确定与关注对象中的各对象的面部特征的相似度分别在预定的相似度阈值以下的对应对象的匹配面部特征;以及
步骤S330、分别根据关注对象中的各对象的面部特征和各对应对象的匹配面部特征,来确定在一帧图像和后续帧图像中的录屏框的位置及尺寸。
首先,针对一个对象的记录和追踪的情况进行说明。
具体而言,在上述步骤S310中,在逐帧对各帧图像进行面部特征识别时,如果在某一帧图像中识别出多个对象的面部,则可以从该多个对象中选择用户感兴趣的一个对象作为关注对象,并且在存储器中存储该关注对象的面部特征。并且,在上述步骤S330中,根据该关注对象的面部特征可以确定该帧图像的录屏框的位置及尺寸。
然后,在对后续帧图像的面部特征识别中,以该关注对象作为录屏焦点对象,从而追踪该关注对象的一系列面部表情变化。具体而言,在上述步骤S320中,接着对该帧图像的后续帧图像的面部特征进行识别,并确定这些后续帧图像中是否存在该关注对象。例如,在某一后续图像中,识别出多个对象,然后将这多个对象的面部特征分别与之前设定的关注对象的面部特征相比较,以确定这些面部特征与关注对象的面部特征的相似度。如果某一对象的面部特征的特征值与之前设定的关注对象的面部特征的特征值之间的差异小,即它们之间的相似度小于预设的相似度阈值(换句话说,这两个对象的相似度高),则表示该对象为用户所要追踪的对象、即该对象为该帧图像中的关注对象。这里,将该对象的面部特征称为匹配面部特征。另外,如果某一后续帧图像中不存在该关注对象,则可以不对该帧图像进行录制。
依次对视频中的所有后续帧图像执行上述步骤S320的处理。
这样,可以确认后续帧图像中是否存在该关注对象。并且,在存在该关注对象的情况下,在上述步骤S330中,根据该关注对象的面部特征(匹配面部特征)来确定其对应的帧图像的录屏框的位置及尺寸。
同样,在用户首次识别出某一帧图像具有多个对象的面部时,用户也可以从其中选择两个或更多对象作为关注对象,以分别对关注对象中的各对象进行记录和追踪。
例如,选择多个对象中的对象1和对象2作为关注对象1和关注对象2。并且在存储器中存储该关注对象1和关注对象2的面部特征。并且,在上述步骤S330中,根据该关注对象1和关注对象2的面部特征可以分别确定在该帧图像中针对关注对象1和关注对象2的录屏框的位置及尺寸。
然后,在对后续帧图像的面部特征识别中,分别以该关注对象1和关注对象2作为录屏焦点对象,从而追踪关注对象1和关注对象2的一系列面部表情变化。具体而言,在上述步骤S320中,接着对该帧图像的后续帧图像的面部特征进行识别,并确定这些后续帧图像中是否存在该关注对象1和关注对象2。例如,在某一后续图像中,识别出多个对象,然后将这多个对象的面部特征分别与之前设定的关注对象1和关注对象2的面部特征相比较,以分别确定这些面部特征与关注对象1和关注对象2的面部特征的相似度。如果某一对象的面部特征的特征值与之前设定的关注对象1的面部特征的特征值之间的差异小,即它们之间的相似度小于预设的相似度阈值(换句话说,这两个对象的相似度高),则表示该对象为用户所要追踪的对象、即该对象为该帧图像中的关注对象1。同理,如果某一对象的面部特征的特征值与之前设定的关注对象2的面部特征的特征值之间的差异小,即它们之间的相似度小于预设的相似度阈值(换句话说,这两个对象的相似度高),则表示该对象为用户所要追踪的对象、即该对象为该帧图像中的关注对象2。这里,将该某一对象的面部特征称为匹配面部特征。在一种可能的实现方式中,后续帧图像中可能仅存在关注对象1,也可能仅存在关注对象2,还可能同时存在关注对象1和关注对象2。
另外,如果某一后续帧图像中不存在关注对象1和关注对象2,则可以不对该帧图像进行录制。
依次对视频中的所有后续帧图像执行上述步骤S320的处理。
然后,在步骤S330中,针对后续帧图像中的各关注对象1和关注对象2,分别根据其匹配面部特征来确定在后续帧图像中的录屏框的位置及尺寸。
以上以选择两个关注对象为示例来描述了对用户感兴趣的对象的记录和追踪,但是本领域技术人员能够知道,对用户感兴趣的对象的记录和追踪的上述过程同样适用了选择更多的对象。
需要说明的是,如果选择了多个对象,则可以分别针对各对象确定录屏框的位置及尺寸,然后分别对各对象进行录制,以分别对各对象的面部表情变化进行记录和追踪。此外,还可以将这多个对象框选到一个录屏框中,以将这多个对象作为一个整体来进行记录和追踪,这样可以反映面部表情所对应的场景。
这样,在本实施例中,可以不必对所识别出的所有对象的面部进行录制,而仅录制用户期望录制的对象,从而实现对该对象的一系列表情变化的记录和追踪。
在一种可能的实现方式中,可以不必是在首次识别出多个对象的面部特征时选择关注对象,而可以在用户看到感兴趣的对象时再将该对象选择为关注对象。
在一种可能的实现方式中,在同一帧图像中,可能存在多个面部的面部特征与关注对象的面部特征的相似度均小于预设的相似度阈值的情况。例如,同一人物的正面和侧面。在这种情况下,可以选择与相似度更高(差距值更小)的面部相对应的对象作为关注对象、例如选择与正面相对应的人物作为关注对象。
在一种可能的实现方式中,如果在对后续帧图像的识别中,一旦发现存在不具有上述匹配面部特征的帧图像,则可以不再对后续帧图像进行特征识别,而分别根据到目前为止的关注对象的面部特征来确定这些帧图像的录屏框的位置及尺寸。
例如,在视频中存在100帧图像,在第1帧图像时确定了关注对象,接着依次识别后续的第2帧图像、第3帧图像、……,当在例如第20帧图像时发现不存在该关注对象时,则不再对后续帧图像进行特征识别,而是仅利用第1帧图像~第19帧图像中的关注对象的面部特征来分别确定第1帧图像~第19帧图像的录屏框的位置及尺寸,并且根据所确定出的录屏框的位置及尺寸分别对第1帧图像~第19帧图像进行录制,而不再录制后续的帧图像。这样,可以仅录制一段连续的视频中的帧图像,从而得到面部表情的连续变化。
以上是以一个对象作为关注对象为示例进行了描述,但本公开不限于此,以多个对象作为关注对象的情况同样适用于上述过程。
在一种可能的实现方式中,用户可以根据自身需要在任何帧图像处停止视频的录制。例如,播放器中设置有面部录制停止按钮,用户按下该面部录制停止按钮之后,即可停止面部录制。
此外,在上述步骤S330中确定录屏框的位置及尺寸时,同样可以应用上述步骤S210~S230,以解决视频录制之后视频图像的不连续、不自然的问题。
具体而言,上述步骤S330具体可以包括以下步骤:分别根据关注对象中的各对象的面部特征和各对应对象的匹配面部特征,来确定在一帧图像和后续帧图像中的录屏框的位置及初始尺寸;从所确定出的各初始尺寸中选择其中一个尺寸作为基准尺寸;以及将在一帧图像和后续帧图像中的初始尺寸调整成该基准尺寸。
此外,在一种可能的实现方式中,在视频录制过程中,还可以对视频内识别到的面部进行趣味编辑等操作。例如,在检测到多个对象的面部的情况下,如果视频内有用户不想看到面部,则可以对面部进行趣味修饰,如给面部戴上面具或对面部进行表情添加等,在表情添加完成之后,例如可以点击保存按钮,以对所添加的表情进行保存。
此时,添加的表情可以应用到视频的全部帧图像中,也可以应用到用户所期望应用到的帧图像中。
此外,在一种可能的实现方式中,在上述任一实施例中,上述步骤S120可以包括以下步骤:将预设的表情加载到录屏框中;以及根据所加载的表情及在各帧图像中的录屏框的位置及尺寸来对视频进行录制。
例如,可以在设置表情添加按钮,点击该按钮后会出现一个包含多个表情的表情包,然后从中选择一个表情加载到录屏框中。然后,在视频录制时,即可根据所加载的表情及在各帧图像中的录屏框的位置及尺寸来对视频进行录制。
在一种可能的实现方式中,可以在视频的识别出了面部的全部帧图像中加载预设的表情,也可以在部分帧图像中加载预设的表情。另外,针对各帧图像,所加载的预设表情可以相同,也可以不同。
这样,通过在视频录制的过程中加载预设的表情,可以增加视频录制中的趣味性。
这样,根据本公开实施例的视频录制方法,可以通过将面部特征识别技术应用到录屏技术中,由此能够灵活设置录屏框的位置及尺寸,从而录制出用户所期望的视频,提高用户体验。并且,本实施例可以通过调整基于面部特征识别技术所确定出的录屏框的尺寸,由此使得在视频图像拼接时不会产生视频图像不连续、不自然的问题。此外,本实施例可以通过在某一帧图像中设定关注对象,并使得在后续帧图像中追踪该关注对象,然后根据关注对象的面部特征来确定各帧图像的录屏框的位置及尺寸,由此能够实现对用户感兴趣的关注对象的记录和追踪。此外,本实施例可以在视频录制过程中加载预设的表情,由此增加视频录制的趣味性。
实施例4
本实施例示出了本公开的具体应用场景及相应的实际操作步骤和装置等。
首先,用户进行视频录制的大体操作步骤如下:
(1)在用户点击播放视频后,点击录屏软件按钮,***弹出录屏设置框,设置框内点击“面部录制”按钮;
(2)录屏框会默认框选到视频内识别出的面部位置,如果视频画面上出现超过两个以上的面部时,录屏框仅会默认框选一个面部,用户也可根据自己要录制的面部进行调整,将录屏框移动到需要录制的面部上,录屏框会根据人脸关键点反馈数据进行重新定位(定位视频内面部的关键区域位置);
(3)在面部框选确定后,即可点击“开始录制”按钮;
(4)录制过程中,录屏框会随着面部的正脸及侧脸进行移动跟踪录制,当人脸移出录屏框后,视频录制即结束,此外,用户也可提前结束录制过程;
(5)当视频内面部动作完成后,录屏框会自动消失,完后录制过程,自动进行保存;
(6)在录制结束后,***会自动将录制的视频保存成通用的mp4格式,并保存至本地文件夹中。用户需要播放录制的视频时到本地文件夹内查看即可。
在上述步骤的基础上,用户还可以进行一定程度的趣味性编辑等操作。
例如,在录制过程中,可以对视频内识别到的人脸(面部)进行趣味编辑等操作,如果在视频内存在用户不想看到的面部,则可以对该面部进行趣味修饰,如给面部戴上面具或对面部进行表情添加等,添加完成后,点击“保存”按钮,以对该表情添加进行保存。此时添加的表情,可以应用到整集视频内,视频内只要此面部出现,都会带着面具或者表情等。这样可以减少用户对人物的方案,并且减少快进的需求,增加了用户看视频时的趣味性等。
此外,上述步骤可以利用如下的人脸追踪装置和录屏装置来实现。
其中,该人脸追踪装置可以包括:
(1)调用模块、特征(面部特征)比较器;
(2)关系建立模块,用于根据视频序列帧(视频中的各帧图像)中每个人脸(面部)的面部特征信息,建立不同人脸的特征值与人脸对应的人的ID值之间的对应关系,以使这些特征值在特征比较器中进行比较;
(3)查找模块,用于根据特征比较器的比较,查找与录屏焦点对象差距值最低的人脸的面部特征;
(4)存储模块,用于将输出(识别)的人脸特征进行存储;
(5)人脸追踪模块,用于追踪视频序列帧内与录屏焦点对象差距值最低的人脸;
(6)识别模块,用于当视频中同时出现两个以上人脸时,取差距值最小的人脸作为录屏焦点对象;
(7)识别存储器,将视频序列帧内识别的人脸进行存储。
此外,该录屏装置可以包括:
(1)监测模块,用于监测录屏触发的信号和人脸追踪装置发出的信号,开始录制;
(2)收集模块,用于将人脸追踪录制的视频帧进行收集
(3)数据存储模块,用于将录制的视频帧数据进行存储。
图8示出本公开一实施例的人脸追踪识别和追踪录制视频的示意图,具体过程详见以下描述。
(1)在所播放的视频中,逐帧检测视频的各帧图像中的人脸(面部)数和人脸位置信息(对应图8中的“人脸检测”)。
(2)分析具有人脸特征的模型,与人脸特征模型进行概率匹配(面部特征识别)。
具体而言,采用人脸(面部)关键点检测方法,基于人的脸部特征,判断是否存在人脸。定位视频内面部的关键区域位置,包括眉毛、眼睛、鼻子、嘴巴,脸部轮廓等。该检测方法支持一定程度遮挡以及多角度人脸。通过使用人脸关键点检测技术,可以精确定位人脸(如图2所示的人脸的正面以及如图3所示的人脸的侧面)(对应图8中的“人脸关键点检测”)。
(3)选取一个人脸,并将该人脸设定为录屏焦点对象。设定成功后,后台会记录所选取人脸的关键点特征,并保存在人脸比较器中。该人脸即为后续追踪的主焦点。
然后,将视频画面中出现的多个人脸进行位置信息记忆,利用每个人脸的特征记忆获取所需的特征值。在进行人脸追踪过程中,需要将当前检测到的人脸的特征值与之前在特征比较器中所存储的作为录屏焦点对象的人脸的对应特征值进行比较,以查看差距值。如果当前检测到的人脸与之前所存储的作为比较的人脸相似度小于预设的差距值(相似度阈值)(即相似度高),则将该人脸确定为所要追踪的人脸。如果视频画面上出现两个及以上的人脸与之前所存储的作为比较的人脸相似度小于预设的差距值,则将相似度差距值最小的人脸确定为所要追踪的人脸。并且,将该人脸的关键点特征进行保存(对应图8中的“人脸比较器”、“人脸特征提取”、“人脸识别”和“存储”)。
(4)接着,确定录屏框选的位置信息,根据人脸的关键点模型进行最外边缘的对角连接,确定出录屏框的位置及尺寸(如图4、5所示)(对应图8中的“录屏框定位”)。
(5)在视频画面上显示录屏框,录屏框位置根据人脸追踪识别过程中所反馈出的关键点特征,对视频进行追踪录制。当追踪的关键点(正面、侧面)特征消失后,结束录制,其中,也可以根据用户需要进行提取结束录制的操作(对应图8中的“录屏框位置对焦”、“录屏框追踪”和“录制视频”)。
(6)将录制出的视频进行视频封装,然后保存在本地文件夹中(对应图8中的“视频封装”和“保存本地”)。
此外,作为在视频录制过程中添加表情等的操作,主要涉及如下模块:
(1)识别模块,用于识别视频帧的人脸表情,生成识别结果;
(2)获取模块,用于获取预设的表情,并选择其中一个进行贴图合成;
(3)确定模快,用于确定表情在视频帧中的加载位置;
(4)发送模块,用于发送表情特效的加载图;
(5)加载模块,用于在例如每个视频帧中进行表情特效的加载图的加载;
(6)显示模块,用于在视频播放中,在例如每个视频帧中的人脸中都显示表情图;
其中,可以选择预设表情包中的一个表情,同时对视频帧中的人脸进行匹配识别,生成识别结果,并且,确定所要加载的表情在即时视频帧中的加载位置。此外,将每个视频帧中的人脸特征的参数点与表情进行合成。然后,在视频录制时,对加载了表情的各视频帧进行录制。这样,可以增加用户观看视频时的趣味性。
这样,根据本公开实施例的视频录制方法及相应装置,可以通过将面部特征识别技术应用到录屏技术中,由此能够灵活设置录屏框的位置及尺寸,从而录制出用户所期望的视频,提高用户体验。并且,本实施例可以通过在某一帧图像中设定录屏焦点对象(关注对象),并使得在后续帧图像中追踪该录屏焦点对象,然后根据录屏焦点对象的面部特征来确定各帧图像的录屏框的位置及尺寸,由此能够实现对用户感兴趣的关注对象的记录和追踪。此外,本实施例可以在视频录制过程中加载预设的表情,由此增加视频录制的趣味性。
实施例5
图9示出根据本公开一实施例的视频录制装置的结构框图。如图9所示,该视频录制装置90可以包括:面部特征识别单元91,用于对所播放的视频的各帧图像逐帧进行面部特征识别;确定单元92,与所述面部特征识别单元91连接,用于根据面部特征识别结果来确定在所述各帧图像中的录屏框的位置及尺寸;以及录屏单元93,与所述确定单元92连接,用于根据在所述各帧图像中的录屏框的位置及尺寸来对所述视频进行录制。
在一种可能的实现方式中,所述确定单元92包括:第一确定模块921,用于根据面部特征识别结果来确定在所述各帧图像中的录屏框的位置及初始尺寸;第一选择模块922,与所述第一确定模块921连接,用于从所确定出的各初始尺寸中选择其中一个尺寸作为基准尺寸;以及调整模块923,与所述第一选择模块922连接,用于将在所述各帧图像中的录屏框的初始尺寸调整成所述基准尺寸。
在一种可能的实现方式中,所述基准尺寸是根据所述视频的各帧图像的分辨率而预先设置的。
在一种可能的实现方式中,所述录屏单元93可以包括:加载模块931,用于将预设的表情加载到所述录屏框中;以及录屏模块932,与所述加载模块931连接,用于根据所加载的表情及在所述各帧图像中的录屏框的位置及尺寸来对所述视频进行录制。
在一种可能的实现方式中,所述面部特征识别单元91具体用于:对所播放的视频的各帧图像中的面部的关键区域位置进行定位,其中,所述关键区域位置包括眉毛、眼睛、鼻子、嘴巴、耳朵和脸部轮廓所在区域中的至少一个。
本公开实施例的视频录制装置可以用来实现上述实施例1~4中任一实施例所述的视频录制方法。上述实施例1~4中所述的视频录制方法的具体流程请见上述实施例1~4的详细阐述。
这样,根据本公开实施例的视频录制装置,可以通过将面部特征识别技术应用到录屏技术中,由此能够灵活设置录屏框的位置及尺寸,从而录制出用户所期望的视频,提高用户体验。并且,本实施例可以通过调整基于面部特征识别技术所确定出的录屏框的尺寸,由此使得在视频图像拼接时不会产生视频图像不连续、不自然的问题。此外,本实施例可以在视频录制过程中加载预设的表情,由此增加视频录制的趣味性。
实施例6
图10示出根据本公开的另一实施例的视频录制装置的结构框图。图10中标号与图9相同的组件具有相同的功能,为简明起见,省略对这些组件的详细说明。
如图10所示,本实施例的视频录制装置100与图9所示的视频录制装置90的主要区别在于,所述确定单元92还可以包括:第二选择模块1001,用于在首次从所述视频的一帧图像中识别出多个对象的面部特征的情况下,从所述多个对象中选择至少一个对象作为关注对象;第二确定模块1002,与所述第二选择模块1001连接,用用于在所述一帧图像的后续帧图像中,逐帧确定与所述关注对象中的各对象的面部特征的相似度分别在预定的相似度阈值以下的对应对象的匹配面部特征;以及第三确定模块1003,与所述第二确定模块1002连接,用于分别根据所述关注对象中的各对象的面部特征和各对应对象的匹配面部特征,来确定在所述一帧图像和所述后续帧图像中的录屏框的位置及尺寸。
在一种可能的实现方式中,所述第三确定模块1003还用于:在所述后续帧图像中,如果存在不具有所述匹配面部特征的帧图像,则分别根据所述关注对象中的各对象的面部特征和各对应对象的匹配面部特征,来确定从所述一帧图像到不具有所述匹配面部特征的帧图像之间的帧图像中的录屏框的位置及尺寸。
在一种可能的实现方式中,,所述第三确定模块1003可以具体用于:分别根据所述关注对象中的各对象的面部特征和各对应对象的匹配面部特征,来确定在所述一帧图像和所述后续帧图像中的录屏框的位置及初始尺寸;从所确定出的各初始尺寸中选择其中一个尺寸作为基准尺寸;以及将在所述一帧图像和所述后续帧图像中的初始尺寸调整成所述基准尺寸。
在一种可能的实现方式中,所述基准尺寸是根据所述视频的各帧图像的分辨率而预先设置的。
本公开实施例的视频录制装置可以用来实现上述实施例1~4中任一实施例所述的视频录制方法。上述实施例1~4中所述的视频录制方法的具体流程请见上述实施例1~4的详细阐述。
这样,根据本公开实施例的视频录制装置,可以通过将面部特征识别技术应用到录屏技术中,由此能够灵活设置录屏框的位置及尺寸,从而录制出用户所期望的视频,提高用户体验。并且,本实施例可以通过调整基于面部特征识别技术所确定出的录屏框的尺寸,由此使得在视频图像拼接时不会产生视频图像不连续、不自然的问题。此外,本实施例可以通过在某一帧图像中设定关注对象,并使得在后续帧图像中追踪该关注对象,然后根据关注对象的面部特征来确定各帧图像的录屏框的位置及尺寸,由此能够实现对用户感兴趣的关注对象的记录和追踪。此外,本实施例可以在视频录制过程中加载预设的表情,由此增加视频录制的趣味性。
实施例7
图11是根据一示例性实施例示出的视频录制装置的结构框图。其中该装置800用于执行上述实施例中所述的视频录制方法。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图11,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理***,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到装置800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非易失性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。
本发明可以是***、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(***)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (16)

1.一种视频录制方法,其特征在于,包括:
对所播放的视频的各帧图像逐帧进行面部特征识别;
根据面部特征识别结果来确定在所述各帧图像中的录屏框的位置及尺寸;以及
根据在所述各帧图像中的录屏框的位置及尺寸来对所述视频进行录制;
其中,根据面部特征识别结果来确定在所述各帧图像中的录屏框的位置及尺寸,包括:
根据面部特征识别结果来确定在所述各帧图像中的录屏框的位置及初始尺寸;
从所确定出的各初始尺寸中选择其中一个尺寸作为基准尺寸;以及
将在所述各帧图像中的录屏框的初始尺寸调整成所述基准尺寸。
2.根据权利要求1所述的视频录制方法,其特征在于,所述基准尺寸是根据所述视频的各帧图像的分辨率而预先设置的。
3.根据权利要求1所述的视频录制方法,其特征在于,根据面部特征识别结果来确定在所述各帧图像中的录屏框的位置及尺寸,包括:
在首次从所述视频的一帧图像中识别出多个对象的面部特征的情况下,从所述多个对象中选择至少一个对象作为关注对象;
在所述一帧图像的后续帧图像中,逐帧确定与所述关注对象中的各对象的面部特征的相似度分别在预定的相似度阈值以下的对应对象的匹配面部特征;以及
分别根据所述关注对象中的各对象的面部特征和各对应对象的匹配面部特征,来确定在所述一帧图像和所述后续帧图像中的录屏框的位置及尺寸。
4.根据权利要求3所述的视频录制方法,其特征在于,还包括:
在所述后续帧图像中,如果存在不具有所述匹配面部特征的帧图像,则分别根据所述关注对象中的各对象的面部特征和各对应对象的匹配面部特征,来确定从所述一帧图像到不具有所述匹配面部特征的帧图像之间的帧图像中的录屏框的位置及尺寸。
5.根据权利要求3所述的视频录制方法,其特征在于,分别根据所述关注对象中的各对象的面部特征和各对应对象的匹配面部特征,来确定在所述一帧图像和所述后续帧图像中的录屏框的位置及尺寸,包括:
分别根据所述关注对象中的各对象的面部特征和各对应对象的匹配面部特征,来确定在所述一帧图像和所述后续帧图像中的录屏框的位置及初始尺寸;
从所确定出的各初始尺寸中选择其中一个尺寸作为基准尺寸;以及
将在所述一帧图像和所述后续帧图像中的初始尺寸调整成所述基准尺寸。
6.根据权利要求5所述的视频录制方法,其特征在于,所述基准尺寸是根据所述视频的各帧图像的分辨率而预先设置的。
7.根据权利要求1至6中任一项所述的视频录制方法,其特征在于,根据在所述各帧图像中的录屏框的位置及尺寸来对所述视频进行录制,包括:
将预设的表情加载到所述录屏框中;以及
根据所加载的表情及在所述各帧图像中的录屏框的位置及尺寸来对所述视频进行录制。
8.根据权利要求1所述的视频录制方法,其特征在于,对所播放的视频的各帧图像逐帧进行面部特征识别,包括:对所播放的视频的各帧图像中的面部的关键区域位置进行定位,
其中,所述关键区域位置包括眉毛、眼睛、鼻子、嘴巴、耳朵和脸部轮廓所在区域中的至少一个。
9.一种视频录制装置,其特征在于,包括:
面部特征识别单元,用于对所播放的视频的各帧图像逐帧进行面部特征识别;
确定单元,与所述面部特征识别单元连接,用于根据面部特征识别结果来确定在所述各帧图像中的录屏框的位置及尺寸;以及
录屏单元,与所述确定单元连接,用于根据在所述各帧图像中的录屏框的位置及尺寸来对所述视频进行录制;
所述确定单元包括:
第一确定模块,用于根据面部特征识别结果来确定在所述各帧图像中的录屏框的位置及初始尺寸;
第一选择模块,与所述第一确定模块连接,用于从所确定出的各初始尺寸中选择其中一个尺寸作为基准尺寸;以及
调整模块,与所述第一选择模块连接,用于将在所述各帧图像中的录屏框的初始尺寸调整成所述基准尺寸。
10.根据权利要求9所述的视频录制装置,其特征在于,所述基准尺寸是根据所述视频的各帧图像的分辨率而预先设置的。
11.根据权利要求9所述的视频录制装置,其特征在于,所述确定单元包括:
第二选择模块,用于在首次从所述视频的一帧图像中识别出多个对象的面部特征的情况下,从所述多个对象中选择至少一个对象作为关注对象;
第二确定模块,与所述第二选择模块连接,用于在所述一帧图像的后续帧图像中,逐帧确定与所述关注对象中的各对象的面部特征的相似度分别在预定的相似度阈值以下的对应对象的匹配面部特征;以及
第三确定模块,与所述第二确定模块连接,用于分别根据所述关注对象中的各对象的面部特征和各对应对象的匹配面部特征,来确定在所述一帧图像和所述后续帧图像中的录屏框的位置及尺寸。
12.根据权利要求11所述的视频录制装置,其特征在于,所述第三确定模块还用于:
在所述后续帧图像中,如果存在不具有所述匹配面部特征的帧图像,则分别根据所述关注对象中的各对象的面部特征和各对应对象的匹配面部特征,来确定从所述一帧图像到不具有所述匹配面部特征的帧图像之间的帧图像中的录屏框的位置及尺寸。
13.根据权利要求11所述的视频录制装置,其特征在于,所述第三确定模块用于:
分别根据所述关注对象中的各对象的面部特征和各对应对象的匹配面部特征,来确定在所述一帧图像和所述后续帧图像中的录屏框的位置及初始尺寸;
从所确定出的各初始尺寸中选择其中一个尺寸作为基准尺寸;以及
将在所述一帧图像和所述后续帧图像中的初始尺寸调整成所述基准尺寸。
14.根据权利要求13所述的视频录制装置,其特征在于,所述基准尺寸是根据所述视频的各帧图像的分辨率而预先设置的。
15.根据权利要求9至14中任一项所述的视频录制装置,其特征在于,所述录屏单元包括:
加载模块,用于将预设的表情加载到所述录屏框中;以及
录屏模块,与所述加载模块连接,用于根据所加载的表情及在所述各帧图像中的录屏框的位置及尺寸来对所述视频进行录制。
16.根据权利要求9所述的视频录制装置,其特征在于,所述面部特征识别单元用于:对所播放的视频的各帧图像中的面部的关键区域位置进行定位,
其中,所述关键区域位置包括眉毛、眼睛、鼻子、嘴巴、耳朵和脸部轮廓所在区域中的至少一个。
CN201611071695.8A 2016-11-28 2016-11-28 视频录制方法及装置 Active CN106791535B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201611071695.8A CN106791535B (zh) 2016-11-28 2016-11-28 视频录制方法及装置
PCT/CN2017/111075 WO2018095252A1 (zh) 2016-11-28 2017-11-15 视频录制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611071695.8A CN106791535B (zh) 2016-11-28 2016-11-28 视频录制方法及装置

Publications (2)

Publication Number Publication Date
CN106791535A CN106791535A (zh) 2017-05-31
CN106791535B true CN106791535B (zh) 2020-07-14

Family

ID=58902567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611071695.8A Active CN106791535B (zh) 2016-11-28 2016-11-28 视频录制方法及装置

Country Status (2)

Country Link
CN (1) CN106791535B (zh)
WO (1) WO2018095252A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106791535B (zh) * 2016-11-28 2020-07-14 阿里巴巴(中国)有限公司 视频录制方法及装置
CN109218612B (zh) * 2018-09-17 2022-04-22 东莞市丰展电子科技有限公司 一种追踪拍摄***及拍摄方法
CN109615309B (zh) * 2018-09-25 2022-11-01 创新先进技术有限公司 一种数据录制方法及装置、一种计算设备及存储介质
CN109982109B (zh) * 2019-04-03 2021-08-03 睿魔智能科技(深圳)有限公司 短视频的生成方法及装置、服务器和存储介质
CN114189646B (zh) * 2020-09-15 2023-03-21 深圳市万普拉斯科技有限公司 终端控制方法、装置、电子设备和存储介质
CN112307925B (zh) * 2020-10-23 2023-11-28 腾讯科技(深圳)有限公司 图像检测方法、图像显示方法、相关设备及存储介质
CN112714253B (zh) * 2020-12-28 2022-08-26 维沃移动通信有限公司 视频录制方法、装置、电子设备和可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101388981A (zh) * 2007-09-10 2009-03-18 株式会社东芝 视频图像处理设备和视频图像处理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102693739A (zh) * 2011-03-24 2012-09-26 腾讯科技(深圳)有限公司 视频片段生成方法及***
US8824750B2 (en) * 2012-03-19 2014-09-02 Next Level Security Systems, Inc. Distributive facial matching and notification system
JP5942586B2 (ja) * 2012-05-18 2016-06-29 富士通株式会社 タブレット端末および操作受付プログラム
CN103679155A (zh) * 2013-12-30 2014-03-26 深圳锐取信息技术股份有限公司 多目标自动跟踪***及方法
JP2015194997A (ja) * 2014-03-27 2015-11-05 キヤノンマーケティングジャパン株式会社 ユーザインタフェース装置、ユーザインタフェース方法、プログラム及び記憶媒体
CN104796781B (zh) * 2015-03-31 2019-01-18 小米科技有限责任公司 视频片段提取方法及装置
CN104967802B (zh) * 2015-04-29 2019-07-19 努比亚技术有限公司 移动终端及其屏幕多区域的录制方法和装置
CN105872438A (zh) * 2015-12-15 2016-08-17 乐视致新电子科技(天津)有限公司 一种视频通话方法、装置及终端
CN106028090A (zh) * 2016-05-23 2016-10-12 努比亚技术有限公司 一种移动终端及其视频录制的方法
CN106101767A (zh) * 2016-07-28 2016-11-09 维沃移动通信有限公司 一种屏幕录制方法及移动终端
CN106791535B (zh) * 2016-11-28 2020-07-14 阿里巴巴(中国)有限公司 视频录制方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101388981A (zh) * 2007-09-10 2009-03-18 株式会社东芝 视频图像处理设备和视频图像处理方法

Also Published As

Publication number Publication date
CN106791535A (zh) 2017-05-31
WO2018095252A1 (zh) 2018-05-31

Similar Documents

Publication Publication Date Title
CN106791535B (zh) 视频录制方法及装置
CN106651955B (zh) 图片中目标物的定位方法及装置
US10645332B2 (en) Subtitle displaying method and apparatus
CN109257645B (zh) 视频封面生成方法及装置
CN107692997B (zh) 心率检测方法及装置
CN109816764B (zh) 图像生成方法及装置、电子设备和存储介质
CN111553864B (zh) 图像修复方法及装置、电子设备和存储介质
US10212386B2 (en) Method, device, terminal device, and storage medium for video effect processing
CN105845124B (zh) 音频处理方法及装置
CN108985176B (zh) 图像生成方法及装置
CN106559712B (zh) 视频播放处理方法、装置及终端设备
CN110928627B (zh) 界面展示方法及装置、电子设备和存储介质
CN110458218B (zh) 图像分类方法及装置、分类网络训练方法及装置
CN106534951B (zh) 视频分割方法和装置
CN110933488A (zh) 视频剪辑方法及装置
CN105354560A (zh) 指纹识别方法及装置
CN109344703B (zh) 对象检测方法及装置、电子设备和存储介质
US20220222831A1 (en) Method for processing images and electronic device therefor
CN108174269B (zh) 可视化音频播放方法及装置
CN110969120B (zh) 图像处理方法及装置、电子设备、可读存储介质
CN113032627A (zh) 视频分类方法、装置、存储介质及终端设备
US11600300B2 (en) Method and device for generating dynamic image
CN109756783B (zh) 海报的生成方法及装置
CN105426904A (zh) 照片处理方法、装置和设备
CN110502993B (zh) 图像处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1238053

Country of ref document: HK

CB02 Change of applicant information

Address after: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C

Applicant after: Youku network technology (Beijing) Co.,Ltd.

Address before: 100080 area a and C, 5 / F, block a, Sinosteel International Plaza, No. 8, Haidian Street, Haidian District, Beijing

Applicant before: 1VERGE INTERNET TECHNOLOGY (BEIJING) Co.,Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20200617

Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Applicant after: Alibaba (China) Co.,Ltd.

Address before: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C

Applicant before: Youku network technology (Beijing) Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240624

Address after: 101400 Room 201, 9 Fengxiang East Street, Yangsong Town, Huairou District, Beijing

Patentee after: Youku Culture Technology (Beijing) Co.,Ltd.

Country or region after: China

Address before: 310052 room 508, 5th floor, building 4, No. 699 Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: Alibaba (China) Co.,Ltd.

Country or region before: China