CN111918089A - 视频流处理方法、视频流显示方法、装置及设备 - Google Patents

视频流处理方法、视频流显示方法、装置及设备 Download PDF

Info

Publication number
CN111918089A
CN111918089A CN202010797090.7A CN202010797090A CN111918089A CN 111918089 A CN111918089 A CN 111918089A CN 202010797090 A CN202010797090 A CN 202010797090A CN 111918089 A CN111918089 A CN 111918089A
Authority
CN
China
Prior art keywords
video frame
video
teeth
irregular
tooth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010797090.7A
Other languages
English (en)
Inventor
吴文艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Fanxing Huyu IT Co Ltd
Original Assignee
Guangzhou Fanxing Huyu IT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Fanxing Huyu IT Co Ltd filed Critical Guangzhou Fanxing Huyu IT Co Ltd
Priority to CN202010797090.7A priority Critical patent/CN111918089A/zh
Publication of CN111918089A publication Critical patent/CN111918089A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种视频流处理方法、视频流显示方法、装置及设备，属于音视频处理技术领域。所述方法包括：获取主播帐号的第一视频流中的第一视频帧；识别第一视频帧中的不整齐牙齿，不整齐牙齿包括多颗牙齿中的至少一颗牙齿；响应于第一视频帧中包括不整齐牙齿，校正第一视频帧中的不整齐牙齿得到第二视频帧，第二视频帧中包括对不整齐牙齿进行矫正得到的目标整齐牙齿。在根据该第二视频帧显示视频画面时，能够显示出对主播的形象进行进一步美化的画面，提升了显示的人脸的美颜效果。

Description

视频流处理方法、视频流显示方法、装置及设备
技术领域
本申请涉及音视频处理技术领域，特别涉及一种视频流处理方法、视频流显示方法、装置及设备。
背景技术
在直播平台中，主播客户端将采集到的主播用户的直播流经由直播服务器发送给多个观众客户端。观众客户端根据该直播流，显示主播用户的直播画面。
当主播用户开启美颜功能后，主播客户端在采集到主播用户的直播流时，会对该直播流进行美颜处理。例如会对直播流的视频帧中的主播人脸进行眼睛放大、皮肤美白以及瘦脸等。之后主播客户端将美颜处理后的直播流经由直播服务器发送给观众客户端，观众客户端根据美颜处理后的直播流显示包括美颜后的主播人脸的直播画面。
目前，主播客户端对主播用户的直播流的美颜处理，通常采用以上方式。显示的主播人脸的美颜效果有限。
发明内容
本申请提供了一种视频流处理方法、视频流显示方法、装置及设备，可以提升显示的人脸的美颜效果。所述技术方案如下：
根据本申请的一方面，提供了一种视频流处理方法，所述方法包括：
获取主播帐号的第一视频流中的第一视频帧；
识别所述第一视频帧中的不整齐牙齿，所述不整齐牙齿包括多颗牙齿中的至少一颗牙齿；
响应于所述第一视频帧中包括所述不整齐牙齿，校正所述第一视频帧中的所述不整齐牙齿得到第二视频帧，所述第二视频帧中包括对所述不整齐牙齿进行矫正得到的目标整齐牙齿。
根据本申请的另一方面，提供了一种视频流显示方法，所述方法包括：
根据主播帐号的第一视频流中的第一视频帧，在用户界面中显示第一视频画面，所述第一视频画面中显示有不整齐牙齿；
响应于接收到牙齿美化操作，获取第二视频流，所述第二视频流中的第二视频帧是通过矫正所述第一视频帧中的所述不整齐牙齿得到的；
根据所述第二视频帧，在用户界面中显示第二视频画面，所述第二视频画面中显示的牙齿为整齐牙齿。
根据本申请的另一方面，提供了一种视频流处理装置，所述装置包括：
获取模块，用于获取主播帐号的第一视频流中的第一视频帧；
识别模块，用于识别所述第一视频帧中的不整齐牙齿，所述不整齐牙齿包括多颗牙齿中的至少一颗牙齿；
矫正模块，用于响应于所述第一视频帧中包括所述不整齐牙齿，校正所述第一视频帧中的所述不整齐牙齿得到第二视频帧，所述第二视频帧中包括对所述不整齐牙齿进行矫正得到的目标整齐牙齿。
可选地，所述识别模块，用于：
调用机器学习模型，识别所述第一视频帧中的不整齐牙齿，所述机器学习模型是通过不整齐牙齿样本集训练得到的。
可选地，所述机器学习模型包括图像分割模型以及图像分类模型；所述识别模块，用于：
根据所述图像分割模型，分割出所述第一视频帧中单颗牙齿对应的牙齿图像区域，所述牙齿包括整齐牙齿以及所述不整齐牙齿；
根据所述图像分类模型，识别所述牙齿图像区域中的所述不整齐牙齿。
可选地，所述矫正模块，用于：
确定每颗所述不整齐牙齿的第一两侧顶点以及每颗整齐牙齿的第二两侧顶点；
根据所述第一两侧顶点以及所述第二两侧顶点，通过多项式拟合装置确定校正曲线；
根据所述校正曲线，校正所述第一视频帧中的所述不整齐牙齿。
可选地，所述校正模块，用于：
根据所述第一两侧顶点以及所述第二两侧顶点建立坐标系；
确定所述第一两侧顶点以及所述第二两侧顶点在所述坐标系中的坐标；
根据所述第一两侧顶点的所述坐标以及所述第二两侧顶点的所述坐标，通过多项式拟合装置确定校正函数，所述校正函数的函数图像为所述校正曲线。
可选地，所述矫正模块，用于：
在所述第一视频帧中确定所述第一两侧顶点对应的目标校正点，所述目标校正点在所述校正曲线上；
根据所述目标校正点，通过移动最小二乘法对所述不整齐牙齿对应的所述牙齿图像区域进行图像变形，得到所述目标整齐牙齿，所述目标整齐牙齿的第三两侧顶点为所述目标校正点。
可选地，所述装置还包括：
替换模块，用于使用所述第二视频帧替换所述第一视频流中的所述第一视频帧，得到第二视频流；
发送模块，用于向观众客户端发送所述第二视频流。
根据本申请的另一方面，提供了一种视频流显示装置，所述装置包括：
显示模块，用于根据主播帐号的第一视频流中的第一视频帧，在用户界面中显示第一视频画面，所述第一视频画面中显示有不整齐牙齿；
获取模块，用于响应于接收到牙齿美化操作，获取第二视频流，所述第二视频流中的第二视频帧是通过矫正所述第一视频帧中的所述不整齐牙齿得到的；
显示模块，还用于根据所述第二视频帧，在用户界面中显示第二视频画面，所述第二视频画面中显示的牙齿为整齐牙齿。
根据本申请的另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上方面所述的视频流处理方法或视频流显示方法。
根据本申请的另一方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上方面所述的视频流处理方法或视频流显示方法。
根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面的各种可选实现方式中提供的视频流处理方法或视频流显示方法
本申请提供的技术方案带来的有益效果至少包括：
通过识别出第一视频帧中的不整齐牙齿，并校正该不整齐牙齿得到整齐牙齿，从而得到第二视频帧。在根据该第二视频帧显示视频画面时，能够显示出对主播的形象进行进一步美化的画面。当上述方法用于短视频或视频点播等场景下时，同样能够实现对视频帧中的不整齐牙齿进行牙齿矫正，从而显示出对视频帧中的人物形象进行进一步美化的画面。提升了显示的人脸的美颜效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的对视频帧中的牙齿进行矫正的效果示意图；
图2是本申请一个示意性实施例提供的一种视频流处理***的结构示意图；
图3是本申请实施例提供的一种视频流处理方法的流程示意图；
图4是本申请实施例提供的一种视频流显示方法的流程示意图；
图5是本申请实施例提供的另一种视频流处理方法的流程示意图；
图6是本申请实施例提供的识别第一视频帧中的不整齐牙齿的实现过程的示意图；
图7是本申请实施例提供的校正第一视频帧中的不整齐牙齿的实现过程的示意图；
图8是本申请实施例提供的确定校正曲线的实现过程的示意图；
图9是本申请实施例提供的根据校正曲线校正第一视频帧中的不整齐牙齿的实现过程的示意图；
图10是本申请实施例提供的一种视频流处理装置的框图；
图11是本申请实施例提供的另一种视频流处理装置的框图；
图12是本申请实施例提供的一种视频流显示装置的框图；
图13是本申请实施例提供的一种服务器的结构示意图；
图14是本申请实施例提供的一种终端的结构示意图。
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
图1是本申请实施例提供的对视频帧中的牙齿进行矫正的效果示意图。如图1的(a)所示，服务器接收到主播客户端发送的主播帐号的第一视频流后，获取第一视频流中的第一视频帧101。该第一视频帧为第一视频流中的任一视频帧。如图1的(b)所示，服务器分割出第一视频帧101中每颗牙齿对应的牙齿图像区域，并识别该牙齿图像区域中的不整齐牙齿。其中，第一牙齿102a、第二牙齿102b、第三牙齿102c以及第四牙齿102d为不整齐牙齿，第五牙齿102e以及第六牙齿102f为整齐牙齿。如图1的(c)所示，服务器确定每颗不整齐牙齿的第一两侧顶点以及每颗整齐牙齿的第二两侧顶点。第一牙齿102a的两侧顶点分别为a1和a2，第二牙齿102b的两侧顶点分别为a3和a4，第三牙齿102c的两侧顶点分别为a5和a6，第四牙齿102d的两侧顶点分别为a7和a8，第五牙齿102e的两侧顶点分别为a9和a10，第六牙齿102f的两侧顶点分别为a11和a12。如图1的(d)所示，服务器根据每颗不整齐牙齿的第一两侧顶点以及每颗整齐牙齿的第二两侧顶点，建立直角坐标系，确定出第一两侧顶点以及第二两侧顶点的坐标。并通过多项式拟合方法确定出校正曲线103。之后服务器确定每颗不整齐牙齿的第一两侧顶点在校正曲线103上对应的目标校正点。其中，a1对应的目标校正点为b1，a2对应的目标校正点为b2，a3对应的目标校正点为b3，a4对应的目标校正点为b4，a5对应的目标校正点为b5，a6对应的目标校正点为b6，a7对应的目标校正点为b7，a8对应的目标校正点为b8。如图1的(e)所示，服务器根据目标校正点b1-b8，通过移动最小二乘法对不整齐牙齿对应的牙齿图像区域进行图像变形，得到第二视频帧。第二视频帧中包括不整齐牙齿通过校正得到的目标整齐牙齿。其中，第一目标整齐牙齿104a是通过对第一牙齿102a校正得到的，第二目标整齐牙齿104b是通过对第二牙齿102b校正得到的，第三目标整齐牙齿104c是通过对第三牙齿102c校正得到的，第四目标整齐牙齿104d是通过对第四牙齿102d校正得到的。第一目标整齐牙齿的第三两侧顶点为b1和b2，第二目标整齐牙齿的第三两侧顶点为b3和b4，第三目标整齐牙齿的第三两侧顶点为b5和b6，第四目标整齐牙齿的第三两侧顶点为b7和b8。其中，b1、b2、b3、b4、b5、b6、b7以及b8在矫正曲线上。服务器使用第二视频帧替换第一视频流中的第一视频帧，得到第二视频流。可选地，服务器采用上述方法矫正第一视频流中的全部视频帧，从而得到第二视频流。之后服务器将该第二视频流发送至观众客户端进行播放。
通过将主播帐号的第一视频流的第一视频帧中的不整齐牙齿，校正为整齐牙齿，从而得到第二视频流。观众客户端在播放该第二视频流时，能够显示出对主播的形象进行进一步美化的视频画面，提升了显示的人脸的美颜效果。
图2是本申请一个示意性实施例提供的一种视频流处理***的结构示意图，如图2所示，该***中包括：服务器210和至少一个观众终端220。可选地，当该***用于短视频场景下或直播场景下时，该***还包括主播终端230。观众终端220用于显示服务器210发送的视频流中的视频帧。主播终端230用于录制主播帐号的直播流或短视频流。
其中，服务器210可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心中的虚拟服务器等等，在此不做限定。主播终端230可以是一个包含摄像头的终端设备，比如智能手机、平板电脑、台式电脑和笔记本电脑等。观众终端220可以为智能手机、电脑、电视、多媒体播放器和电子阅读器等。服务器210和主播终端230之间可以通过有线网络或无线网络建立连接，服务器210和观众终端220之间可以通过有线网络或无线网络建立连接。如图2所示，在本申请实施例中，以主播终端230为台式电脑，观众终端220为智能手机为例进行说明。
需要说明的是，观众终端220上安装有观众客户端，观众终端220通过观众客户端与服务器210连接，该服务器210与观众客户端对应。主播终端230上安装有主播客户端，主播终端230通过主播客户端与服务器210连接。观众终端上的观众客户端和主播终端上的主播客户端，两者可以相同，也可以不同。
可选地，本申请实施例提供的视频流处理方法，可以由服务器、主播客户端或观众客户端执行。本申请实施例中的视频流，指直播场景下的直播流或短视频场景下的短视频流，还指视频点播场景下的电影的多媒体流或电视剧的多媒体流等。当本申请实施例中的视频流为直播流时，服务器为直播服务器。当本申请实施例中的视频流为短视频流时，服务器为短视频服务器。本申请实施例主要以应用在直播场景中进行说明。
图3是本申请实施例提供的一种视频流处理方法的流程示意图。该方法可以用于如图1所示的***中的服务器。如图3所示，该方法包括：
步骤301、获取主播帐号的第一视频流中的第一视频帧。
该主播帐号为服务器中的任一主播帐号。主播帐号的第一视频流为该主播帐号的任一视频流。第一视频流中的第一视频帧为第一视频流中的任一视频帧。
可选地，当该第一视频流为直播流时，该第一视频流为服务器中的任一主播帐号的直播流。当该第一视频流为短视频流时，该第一视频流为服务器中的任一主播帐号的短视频流。
步骤302、识别第一视频帧中的不整齐牙齿。
不整齐牙齿指该牙齿相对于其他牙齿出现偏歪。不整齐牙齿包括第一视频帧中的多颗牙齿中的至少一颗。
可选地，服务器通过分水岭算法(Watershed Algorithm)以及阈值分割法等处理第一视频帧，能够得到第一视频帧对应的二值化的图像，即像素点的灰度值为0或255的图像。从而能够划分出第一视频帧中的每颗牙齿对应的牙齿图像区域，并确定出第一视频帧中的每颗牙齿的轮廓。将每颗牙齿的轮廓与已知的整齐牙齿的轮廓进行对比，能够确定出第一视频帧中的不整齐牙齿。
可选地，服务器通过模板匹配法识别第一视频帧中的不整齐牙齿。服务器中建立有一个或多个整齐牙齿的模板，服务器通过该一个或多个整齐牙齿的模板，与第一视频帧进行模板匹配。当第一视频帧中出现与一个或多个整齐牙齿的模板的相关系数高于第一阈值的区域时，则该区域为整齐牙齿对应的整齐牙齿图像区域；当第一视频帧中出现与一个或多个整齐牙齿的模板的相关系数高于第二阈值低于第一阈值的区域时，则该区域为不整齐牙齿对应的整齐牙齿图像区域。其中，相关系数用于指示第一视频帧中的区域与一个或多个整齐牙齿的模板的相似程度。第一阈值与第二阈值由服务器设置。
可选地，服务器还能够通过调用机器学习模型识别第一视频帧中的不整齐牙齿。该机器学习模型是通过不整齐牙齿样本集训练得到的。可选地，不整齐牙齿样本集包括不整齐牙齿的图像以及用于反映该图像属于不整齐牙齿的信息。可选地，该机器学习模型为卷积神经网络(Convolutional Neural Networks,CNN)模型。服务器能够根据该机器学习模型，识别出第一视频帧中是否包括不整齐牙齿。
步骤303、响应于第一视频帧中包括不整齐牙齿，校正第一视频帧中的不整齐牙齿得到第二视频帧，第二视频帧中包括对不整齐牙齿通过矫正得到的目标整齐牙齿。
可选地，服务器确定出不整齐牙齿对应的目标校正位置，并通过移动最小二乘法基于该目标矫正位置，对第一视频帧中的不整齐牙齿的牙齿图像区域进行图像变形。即在第一视频帧中将不整齐牙齿根据目标矫正位置校正为整齐牙齿，从而得到第二视频帧。
综上所述，本申请实施例提供的视频流处理方法，通过识别出第一视频帧中的不整齐牙齿，并校正该不整齐牙齿得到整齐牙齿，从而得到第二视频帧。在根据该第二视频帧显示视频画面时，能够显示出对主播的形象进行进一步美化的画面。当上述方法用于短视频或视频点播等场景下时，同样能够实现对视频帧中的不整齐牙齿进行牙齿矫正，从而显示出对视频帧中的人物形象进行进一步美化的画面。提升了显示的人脸的美颜效果。
图4是本申请实施例提供的一种视频流显示方法的流程示意图。该方法可以用于如图1所示的***中的观众终端或观众终端上的观众客户端。如图4所示，该方法包括：
步骤401、根据主播帐号的第一视频流中的第一视频帧，在用户界面中显示第一视频画面，第一视频画面中显示有不整齐牙齿。
该第一视频流是服务器向观众客户端发送的。该第一视频帧为第一视频流中的任一视频帧。可选地，当第一视频流为直播流时，该用户界面为主播帐号对应的直播间界面。当第一视频流为短视频流时，该用户界面为短视频播放界面。
步骤402、响应于接收到牙齿美化操作，获取第二视频流，第二视频流中的第二视频帧是通过矫正第一视频帧中的不整齐牙齿得到的。
可选地，服务器通过机器学习模型校正第一视频帧中的不整齐牙齿。该机器学习模型是通过不整齐牙齿样本集训练得到的。不整齐牙齿样本集包括不整齐牙齿的图像以及用于反映该图像属于不整齐牙齿的信息。
可选地，第二视频流是服务器校正第一视频帧中的不整齐牙齿，得到第一视频帧对应的第二视频帧，并通过第二视频帧替换第一视频帧得到的。可选地，服务器矫正第一视频流中的全部视频帧，从而得到第二视频流。
可选地，当观众客户端检测到观众用户针对用户界面中的“美化牙齿”按钮的触控操作时，观众客户端接收到该牙齿美化操作。
步骤403、根据第二视频帧，在用户界面中显示第二视频画面，第二视频画面中显示的牙齿为整齐牙齿。
该第二视频帧中包括整齐牙齿，该整齐牙齿是通过对第一视频流中的第一视频帧中的不整齐牙齿校正得到的。
综上所述，本申请实施例提供的视频流显示方法，根据第二视频帧显示第二视频画面，第二视频帧是通过矫正第一视频帧中的不整齐牙齿得到的。即第二视频流显示出的视频画面中包括整齐牙齿。在根据该第二视频帧显示第二视频画面时，能够显示出对主播的形象进行进一步美化的画面。当上述方法用于短视频或视频点播等场景下时，同样能够实现显示出对视频帧中的人物形象进行进一步美化的画面。提升了显示的人脸的美颜效果。
图5是本申请实施例提供的另一种视频流处理方法的流程示意图。该方法可以用于如图1所示的***。如图5所示，该方法包括：
步骤501、服务器获取主播帐号的第一视频流中的第一视频帧。
可选地，当主播客户端向服务器发送该第一视频流，并且发送了针对第一视频流的牙齿矫正请求时，服务器获取第一视频流中的第一视频帧并执行牙齿矫正的步骤。或者，当服务器接收到任一主播帐号的视频流，都获取该流中的第一视频帧并执行牙齿矫正的步骤。示例地，当主播客户端中开启“美牙”功能，在向服务器发送该第一视频流时，会同时发送该牙齿矫正请求。
步骤502、服务器识别第一视频帧中的不整齐牙齿。
该不整齐牙齿包括多颗牙齿中的至少一颗牙齿。可选地，服务器通过分水岭算法以及阈值分割法等，实现识别第一视频帧中的不整齐牙齿。服务器通过模板匹配法，实现识别第一视频帧中的不整齐牙齿。或者，服务器还能够通过调用机器学习模型识别第一视频中的不整齐牙齿。该机器学习模型是通过不整齐牙齿样本集训练得到的。可选地，不整齐牙齿样本集包括不整齐牙齿的图像以及用于反映该图像属于不整齐牙齿的信息，和整齐牙齿的图像以及用于反映该图像属于整齐牙齿的信息中的至少一种。服务器在识别第一视频帧中的不整齐牙齿时，还能够识别出第一视频帧中的整齐牙齿。
可选地，该机器学习模型包括图像分割模型以及图像分类模型。该图像分割模型是基于目标检测算法(Single Shot MultiBox Detector，SSD)的模型。该图像分类模型是卷积神经网络(Convolutional Neural Networks,CNN)模型。如图6所示，步骤502的实现过程包括以下步骤5021以及步骤5022：
在步骤5021中，根据图像分割模型，分割出第一视频帧中单颗牙齿对应的牙齿图像区域，牙齿包括整齐牙齿以及不整齐牙齿。
可选地，单颗牙齿对应的牙齿图像区域包括整齐牙齿对应的牙齿图像区域以及不整齐牙齿对应的牙齿图像区域。示例地，继续参照图1，不整齐牙齿102a对应的牙齿图像区域为不整齐牙齿102a在第一视频帧101中的显示区域。
可选地，当服务器检测到第一视频帧中的牙齿图像区域的数量少于预设值时，服务器确定该第一视频帧中不包括不整齐牙齿。例如当服务器检测到第一视频帧中的牙齿图像区域的数量少于4个时，服务器确定该第一视频帧中不包括不整齐牙齿。
在步骤5022中，根据图像分类模型，识别牙齿图像区域中的不整齐牙齿。
服务器根据图像分类模型，对第一视频帧中每颗牙齿对应的牙齿图像区域进行识别，从而确定出第一视频帧中的不整齐牙齿，以及不整齐牙齿对应的牙齿图像区域。
步骤503、响应于第一视频帧中包括不整齐牙齿，服务器校正第一视频帧中的不整齐牙齿得到第二视频帧，第二视频帧中包括对不整齐牙齿进行矫正得到的目标整齐牙齿。
可选地，如图7所示，步骤503的实现过程包括以下步骤5031至5033：
在步骤5031中，确定每颗不整齐牙齿的第一两侧顶点以及每颗整齐牙齿的第二两侧顶点。
可选地，服务器通过基于YOLO(You Only Look Once)算法的目标检测模型对第一视频帧中每颗牙齿对应的牙齿图像区域进行识别，从而确定出每颗不整齐牙齿的第一两侧顶点以及每颗整齐牙齿对应的第二两侧顶点。不整齐牙齿的第一两侧顶点包括不整齐的上颌牙齿下端的左右两个顶点和/或不整齐的下颌牙齿上端的左右两个顶点。整齐牙齿的第二两侧顶点包括整齐的上颌牙齿下端的左右两个顶点和/或整齐的下颌牙齿上端的左右两个顶点。
可选地，服务器能够通过上述步骤5022中的图像分类模型，对第一视频帧中每颗牙齿对应的牙齿图像区域进行识别，从而确定出第一视频帧中的整齐牙齿。或者，服务器将第一视频帧中除不整齐牙齿以外的牙齿，确定为整齐牙齿。
在步骤5032中，根据第一两侧顶点以及第二两侧顶点，通过多项式拟合方法确定校正曲线。
该校正曲线用于校正不整齐牙齿。
可选地，如图8所示，步骤5032的实现过程包括以下步骤5032a-5032c：
在步骤5032a中，根据第一两侧顶点以及第二两侧顶点建立坐标系。
可选地，服务器根据第一两侧顶点以及第二两侧顶点建立坐标系，指服务器在第一两侧顶点以及第二两侧顶点所在的第一视频帧中建立坐标系。例如服务器将第一视频帧的中心点作为坐标系的原点，并按照第一视频帧中的水平方向与竖直方向建立坐标系。
在步骤5032b中，确定第一两侧顶点以及第二两侧顶点在坐标系中的坐标。
可选地，该坐标系的原点在第一视频帧中，服务器根据第一两侧顶点以及第二两侧顶点在第一视频帧中的显示位置，确定第一两侧顶点以及第二两侧顶点在坐标系中的坐标。
在步骤5032c中，根据第一两侧顶点的坐标以及第二两侧顶点的坐标，通过多项式拟合方法确定校正函数，校正函数的函数图像为校正曲线。
可选地，在使用多项式拟合方法确定校正函数时，通过最小二乘法确定该拟合函数的系数，从而得到拟合函数。服务器使用多个阶数的多项式拟合预选函数，并将函数图像在第一两侧顶点以及第二两侧顶点区域的曲率符合设定值的预选函数，确定为该拟合函数。曲率的设定值用于保证校正曲线是具有一定弧度的平滑曲线，从而保证不整齐牙齿矫正后的整齐效果。
在步骤5033中，根据校正曲线，校正第一视频帧中的不整齐牙齿。
可选地，如图9所示，步骤5033的实现过程包括以下步骤5033a以及步骤5033b：
在步骤5033a中，在第一视频帧中确定第一两侧顶点对应的目标校正点，目标校正点在校正曲线上。
可选地，服务器将第一两侧顶点在校正曲线上的投影点确定为该目标校正点。示例地，继续参照图1，a1在校正曲线103上的投影点为b1，a2在校正曲线103上的投影点为b2。则b1为a1在校正曲线上对应的目标校正点，b2为a2在校正曲线上对应的目标校正点
在步骤5033b中，根据目标校正点，通过移动最小二乘法对不整齐牙齿对应的牙齿图像区域进行图像变形，得到目标整齐牙齿，目标整齐牙齿的第三两侧顶点为目标校正点。
可选地，该牙齿图像区域是通过步骤5021中的图像分割模型得到的。该牙齿图像区域是根据步骤502中的模板匹配法确定的。或者，该牙齿图像区域是根据步骤502中的分水岭算法以及阈值分割法得到的第一视频帧对应的二值化的图像得到的。
服务器通过移动最小二乘法对不整齐牙齿对应的牙齿图像区域进行图像变形，使得图像变形后的不整齐牙齿的第一两侧顶点与该不整齐牙齿对应的目标校正点重合，从而得到该目标整齐牙齿。通过移动最小二乘法进行图像变形，能够使不整齐牙齿对应的牙齿图像区域产生平滑并且真实的变形，从而保证了牙齿矫正呈现出自然的效果。
可选地，服务器对第一视频帧中至少一颗不整齐牙齿对应的图像区域进行图像变形。
步骤504、服务器使用第二视频帧替换第一视频流中的第一视频帧，得到第二视频流。
可选地，服务器对第一视频流中的全部视频帧执行牙齿矫正的步骤，从而得到该第二视频流。
步骤505、观众客户端根据主播帐号的第一视频流中的第一视频帧，在用户界面中显示第一视频画面，第一视频画面中显示有不整齐牙齿。
该第一视频流是服务器向观众客户端发送的。可选地，当第一视频流为直播流时，该第一视频画面是主播帐号的直播画面。当第一视频流为短视频流时，该第一视频画面是主播帐号的短视频的画面。
步骤506、响应于接收到牙齿美化操作，观众客户端获取第二视频流，第二视频流中的第二视频帧是通过矫正第一视频帧中的不整齐牙齿得到的。
可选地，当观众客户端接收到牙齿美化操作时，会向服务器发送牙齿美化请求，服务器会对第一视频流执行牙齿矫正的步骤并向观众客户端发送该第二视频流。
可选地，观众客户端还通过服务器向主播客户端发送该牙齿美化请求，主播客户端对第一视频流执行牙齿矫正的步骤并通过服务器向观众客户端发送该第二视频流。或者，观众客户端对接收到的服务器发送的第一视频流执行牙齿矫正的步骤，从而得到第二视频流。
步骤507、观众客户端根据第二视频帧，在用户界面中显示第二视频画面，第二视频画面中显示的牙齿为整齐牙齿。
该第二视频帧中包括整齐牙齿，该整齐牙齿是通过对第一视频流中的第一视频帧中的不整齐牙齿校正得到的。
上述由服务器执行的步骤，可以单独实现成为服务器侧的视频流处理方法；上述由观众客户端执行的步骤，可以单独实现成为观众客户端侧的视频流显示方法。
综上所述，本申请实施例提供的视频流处理方法，通过识别出第一视频帧中的不整齐牙齿，并校正该不整齐牙齿得到整齐牙齿，从而得到第二视频帧。在根据该第二视频帧显示视频画面时，能够显示出对主播的形象进行进一步美化的画面。当上述方法用于短视频或视频点播等场景下时，同样能够实现对视频帧中的不整齐牙齿进行牙齿矫正，从而显示出对视频帧中的人物形象进行进一步美化的画面。提升了显示的人脸的美颜效果。
另外，通过调用机器学***滑曲线，从而保证不整齐牙齿矫正后的整齐效果。通过移动最小二乘法进行图像变形，能够使不整齐牙齿对应的牙齿图像区域产生平滑并且真实的变形，从而保证了牙齿矫正呈现出自然的效果。
需要说明的是，本申请实施例提供的方法步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。
在一个具体的例子中，当上述方法用于直播场景下时：主播客户端在获取到主播帐号的第一直播流时，将该第一直播流通过直播服务器发送至观众客户端。观众客户端根据该第一直播流中的第一视频帧显示第一直播画面，第一直播画面中显示有不整齐牙齿。之后观众客户端接收到牙齿美化操作，并向直播服务器发送牙齿美化请求。直播服务器根据该牙齿美化请求，对第一直播流中的全部视频帧执行牙齿矫正的步骤，得到第二直播流并发送至观众客户端。观众客户端根据该第二直播流中的第二视频帧显示第二直播画面，第二直播画面为校正第一直播画面中的不整齐牙齿得到的画面。
当上述方法用于短视频场景下时：主播客户端将录制的第一短视频流以及牙齿美化请求发送至短视频服务器。短视频服务器根据牙齿美化请求对第一段视频流中的全部视频帧执行牙齿矫正的步骤，使得第一视频流中的全部视频帧中的不整齐牙齿校正为整齐牙齿。之后当观众客户端需要播放第一视频流时，服务器将第二短视频流发送至观众客户端，保证观众客户端显示的短视频画面中的牙齿为整齐牙齿。
上述方法还能用于视频点播场景：服务器对数据库中的电影的多媒体流执行牙齿校正的步骤，并发送至观众客户端进行播放。使得观众客户端中显示的电影画面中的人物的牙齿被校正为整齐牙齿，提升了观众用户的用户体验。
图10是本申请实施例提供的一种视频流处理装置的框图。该装置可以用于如图1所示的***中的服务器。该装置100包括：
获取模块1001，用于获取主播帐号的第一视频流中的第一视频帧。
识别模块1002，用于识别第一视频帧中的不整齐牙齿，不整齐牙齿包括多颗牙齿中的至少一颗牙齿。
矫正模块1003，用于响应于第一视频帧中包括不整齐牙齿，校正第一视频帧中的不整齐牙齿得到第二视频帧，第二视频帧中包括对不整齐牙齿进行矫正得到的目标整齐牙齿。
可选地，识别模块1002，用于：
调用机器学习模型，识别第一视频帧中的不整齐牙齿。机器学习模型是通过不整齐牙齿样本集训练得到的。
可选地，机器学习模型包括图像分割模型以及图像分类模型。识别模块1002，用于：
根据图像分割模型，分割出第一视频帧中单颗牙齿对应的牙齿图像区域，牙齿包括整齐牙齿以及不整齐牙齿。
根据图像分类模型，识别牙齿图像区域中的不整齐牙齿。
可选地，矫正模块1003，用于：
确定每颗不整齐牙齿的第一两侧顶点以及每颗整齐牙齿的第二两侧顶点。
根据第一两侧顶点以及第二两侧顶点，通过多项式拟合装置确定校正曲线。
根据校正曲线，校正第一视频帧中的不整齐牙齿。
可选地，校正模块1003，用于：
根据第一两侧顶点以及第二两侧顶点建立坐标系。
确定第一两侧顶点以及第二两侧顶点在坐标系中的坐标。
根据第一两侧顶点的坐标以及第二两侧顶点的坐标，通过多项式拟合装置确定校正函数，校正函数的函数图像为校正曲线。
可选地，矫正模块1003，用于：
在第一视频帧中确定第一两侧顶点对应的目标校正点，目标校正点在校正曲线上。
根据目标校正点，通过移动最小二乘法对不整齐牙齿对应的牙齿图像区域进行图像变形，得到目标整齐牙齿，目标整齐牙齿的第三两侧顶点为目标校正点。
可选地，如图11所示，装置100还包括：
替换模块1004，用于使用第二视频帧替换第一视频流中的第一视频帧，得到第二视频流。
发送模块1005，用于向观众客户端发送第二视频流。
图12是本申请实施例提供的一种视频流显示装置的框图。该装置可以用于如图1所示的***中的观众终端或观众终端上的观众客户端。该装置120包括：
显示模块1201，用于根据主播帐号的第一视频流中的第一视频帧，在用户界面中显示第一视频画面，第一视频画面中显示有不整齐牙齿。
获取模块1202，用于响应于接收到牙齿美化操作，获取第二视频流，第二视频流中的第二视频帧是通过矫正第一视频帧中的不整齐牙齿得到的。
显示模块1201，还用于根据第二视频帧，在用户界面中显示第二视频画面，第二视频画面中显示的牙齿为整齐牙齿。
需要说明的是：上述实施例提供的视频流处理装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视频流处理装置与视频流处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
同理，上述实施例提供的视频流显示装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视频流显示装置与视频流显示方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请的实施例还提供了一种计算机设备，该计算机设备包括：处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的视频流处理方法或视频流显示方法。
可选地，该计算机设备为服务器。示例地，图13是本申请实施例提供的一种服务器的结构示意图。
所述服务器1300包括中央处理单元(Central Processing Unit，CPU)1301、包括随机存取存储器(Random Access Memory，RAM)1302和只读存储器(Read-Only Memory，ROM)1303的***存储器1304，以及连接***存储器1304和中央处理单元1301的***总线1305。所述计算机设备1300还包括帮助计算机设备内的各个器件之间传输信息的基本输入/输出***(Input/Output***，I/O***)1306，和用于存储操作***1313、应用程序1314和其他程序模块1315的大容量存储设备1307。
所述基本输入/输出***1306包括有用于显示信息的显示器1308和用于用户输入信息的诸如鼠标、键盘之类的输入设备1309。其中所述显示器1308和输入设备1309都通过连接到***总线1305的输入输出控制器1310连接到中央处理单元1301。所述基本输入/输出***1306还可以包括输入输出控制器1310以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1310还提供输出到显示屏、打印机或其他类型的输出设备。
所述大容量存储设备1307通过连接到***总线1305的大容量存储控制器(未示出)连接到中央处理单元1301。所述大容量存储设备1307及其相关联的计算机可读存储介质为服务器1300提供非易失性存储。也就是说，所述大容量存储设备1307可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读存储介质(未示出)。
不失一般性，所述计算机可读存储介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读存储指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读寄存器(Erasable Programmable Read OnlyMemory，EPROM)、电子抹除式可复写只读存储器(Electrically-Erasable ProgrammableRead-Only Memory，EEPROM)、闪存或其他固态存储设备，CD-ROM、数字多功能光盘(DigitalVersatile Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的***存储器1304和大容量存储设备1307可以统称为存储器。
存储器存储有一个或多个程序，一个或多个程序被配置成由一个或多个中央处理单元1301执行，一个或多个程序包含用于实现上述方法实施例的指令，中央处理单元1301执行该一个或多个程序实现上述各个方法实施例提供的方法。
根据本申请的各种实施例，所述服务器1300还可以通过诸如因特网等网络连接到网络上的远程服务器运行。也即服务器1300可以通过连接在所述***总线1305上的网络接口单1311连接到网络1312，或者说，也可以使用网络接口单元1311来连接到其他类型的网络或远程服务器***(未示出)。
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本申请实施例提供的方法中由服务器所执行的步骤。
可选地，该计算机设备上安装有主播客户端或观众客户端，该计算机设备为终端。示例地，图14是本申请实施例提供的一种终端的结构示意图。
通常，终端1400包括有：处理器1401和存储器1402。
处理器1401可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1401可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1401也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1401可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1401还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1402可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1402还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1402中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1401所执行以实现本申请中方法实施例提供的视频流处理方法或视频流显示方法。
在一些实施例中，终端1400还可选包括有：***设备接口1403和至少一个***设备。处理器1401、存储器1402和***设备接口1403之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口1403相连。具体地，***设备包括：射频电路1404、显示屏1405、摄像头组件1406、音频电路1407、定位组件1408和电源1409中的至少一种。
***设备接口1403可被用于将I/O(Input/Output，输入/输出)相关的至少一个***设备连接到处理器1401和存储器1402。在一些实施例中，处理器1401、存储器1402和***设备接口1403被集成在同一芯片或电路板上；在一些其他实施例中，处理器1401、存储器1402和***设备接口1403中的任意一个或两个可以在单独的芯片或电路板上实现，本申请实施例对此不加以限定。
射频电路1404用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1404通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1404将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1404包括：天线***、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1404可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1404还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1405用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1405是触摸显示屏时，显示屏1405还具有采集在显示屏1405的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1401进行处理。此时，显示屏1405还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1405可以为一个，设置终端1400的前面板；在另一些实施例中，显示屏1405可以为至少两个，分别设置在终端1400的不同表面或呈折叠设计；在再一些实施例中，显示屏1405可以是柔性显示屏，设置在终端1400的弯曲表面上或折叠面上。甚至，显示屏1405还可以设置成非矩形的不规则图形，也即异形屏。显示屏1405可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1406用于采集图像或视频。可选地，摄像头组件1406包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端1400的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1406还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1407可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1401进行处理，或者输入至射频电路1404以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1400的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1401或射频电路1404的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1407还可以包括耳机插孔。
定位组件1408用于定位终端1400的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1408可以是基于美国的GPS(GlobalPositioning System，全球定位***)、中国的北斗***或俄罗斯的伽利略***的定位组件。
电源1409用于为终端1400中的各个组件进行供电。电源1409可以是交流电、直流电、一次性电池或可充电电池。当电源1409包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1400还包括有一个或多个传感器1410。该一个或多个传感器1410包括但不限于：加速度传感器1411、陀螺仪传感器1412、压力传感器1413、指纹传感器1414、光学传感器1415以及接近传感器1416。
加速度传感器1411可以检测以终端1400建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1411可以用于检测重力加速度在三个坐标轴上的分量。处理器1401可以根据加速度传感器1411采集的重力加速度信号，控制触摸显示屏1405以横向视图或纵向视图进行用户界面的显示。加速度传感器1411还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1412可以检测终端1400的机体方向及转动角度，陀螺仪传感器1412可以与加速度传感器1411协同采集用户对终端1400的3D动作。处理器1401根据陀螺仪传感器1412采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1413可以设置在终端1400的侧边框和/或触摸显示屏1405的下层。当压力传感器1413设置在终端1400的侧边框时，可以检测用户对终端1400的握持信号，由处理器1401根据压力传感器1413采集的握持信号进行左右手识别或快捷操作。当压力传感器1413设置在触摸显示屏1405的下层时，由处理器1401根据用户对触摸显示屏1405的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1414用于采集用户的指纹，由处理器1401根据指纹传感器1414采集到的指纹识别用户的身份，或者，由指纹传感器1414根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1401授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1414可以被设置终端1400的正面、背面或侧面。当终端1400上设置有物理按键或厂商Logo时，指纹传感器1414可以与物理按键或厂商Logo集成在一起。
光学传感器1415用于采集环境光强度。在一个实施例中，处理器1401可以根据光学传感器1415采集的环境光强度，控制触摸显示屏1405的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1405的显示亮度；当环境光强度较低时，调低触摸显示屏1405的显示亮度。在另一个实施例中，处理器1401还可以根据光学传感器1415采集的环境光强度，动态调整摄像头组件1406的拍摄参数。
接近传感器1416，也称距离传感器，通常设置在终端1400的前面板。接近传感器1416用于采集用户与终端1400的正面之间的距离。在一个实施例中，当接近传感器1416检测到用户与终端1400的正面之间的距离逐渐变小时，由处理器1401控制触摸显示屏1405从亮屏状态切换为息屏状态；当接近传感器1416检测到用户与终端1400的正面之间的距离逐渐变大时，由处理器1401控制触摸显示屏1405从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图14中示出的结构并不构成对终端1400的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请实施例中还提供了一种计算机可读存储介质，该可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，当该至少一条指令、至少一段程序、代码集或指令集由计算机设备的处理器加载并执行时，实现上述各方法实施例提供的视频流处理方法或视频流显示方法。
本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例提供的视频流处理方法或视频流显示方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的可读存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同切换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种视频流处理方法，其特征在于，所述方法包括：
获取主播帐号的第一视频流中的第一视频帧；
识别所述第一视频帧中的不整齐牙齿，所述不整齐牙齿包括多颗牙齿中的至少一颗牙齿；
响应于所述第一视频帧中包括所述不整齐牙齿，校正所述第一视频帧中的所述不整齐牙齿得到第二视频帧，所述第二视频帧中包括对所述不整齐牙齿进行矫正得到的目标整齐牙齿。
2.根据权利要求1所述的方法，其特征在于，所述识别所述第一视频帧中的不整齐牙齿，包括：
调用机器学习模型，识别所述第一视频帧中的不整齐牙齿，所述机器学习模型是通过不整齐牙齿样本集训练得到的。
3.根据权利要求2所述的方法，其特征在于，所述机器学习模型包括图像分割模型以及图像分类模型；
所述调用机器学习模型，识别所述第一视频帧中的不整齐牙齿，包括：
根据所述图像分割模型，分割出所述第一视频帧中单颗牙齿对应的牙齿图像区域，所述牙齿包括整齐牙齿以及所述不整齐牙齿；
根据所述图像分类模型，识别所述牙齿图像区域中的所述不整齐牙齿。
4.根据权利要求1所述的方法，其特征在于，所述响应于所述第一视频帧中包括所述不整齐牙齿，校正所述第一视频帧中的所述不整齐牙齿得到第二视频帧，包括：
确定每颗所述不整齐牙齿的第一两侧顶点以及每颗整齐牙齿的第二两侧顶点；
根据所述第一两侧顶点以及所述第二两侧顶点，通过多项式拟合方法确定校正曲线；
根据所述校正曲线，校正所述第一视频帧中的所述不整齐牙齿。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一两侧顶点以及所述第二两侧顶点，通过多项式拟合方法确定校正曲线，包括：
根据所述第一两侧顶点以及所述第二两侧顶点建立坐标系；
确定所述第一两侧顶点以及所述第二两侧顶点在所述坐标系中的坐标；
根据所述第一两侧顶点的所述坐标以及所述第二两侧顶点的所述坐标，通过多项式拟合方法确定校正函数，所述校正函数的函数图像为所述校正曲线。
6.根据权利要求4所述的方法，其特征在于，所述根据所述校正曲线，校正所述第一视频帧中的所述不整齐牙齿，包括：
在所述第一视频帧中确定所述第一两侧顶点对应的目标校正点，所述目标校正点在所述校正曲线上；
根据所述目标校正点，通过移动最小二乘法对所述不整齐牙齿对应的牙齿图像区域进行图像变形，得到所述目标整齐牙齿，所述目标整齐牙齿的第三两侧顶点为所述目标校正点。
7.根据权利要求1至6任一所述的方法，其特征在于，在所述响应于所述第一视频帧中包括所述不整齐牙齿，校正所述第一视频帧中的所述不整齐牙齿得到第二视频帧之后，所述方法还包括：
使用所述第二视频帧替换所述第一视频流中的所述第一视频帧，得到第二视频流；
向观众客户端发送所述第二视频流。
8.一种视频流显示方法，其特征在于，所述方法包括：
根据主播帐号的第一视频流中的第一视频帧，在用户界面中显示第一视频画面，所述第一视频画面中显示有不整齐牙齿；
响应于接收到牙齿美化操作，获取第二视频流，所述第二视频流中的第二视频帧是通过矫正所述第一视频帧中的所述不整齐牙齿得到的；
根据所述第二视频帧在用户界面中显示第二视频画面，所述第二视频画面中显示的牙齿为整齐牙齿。
9.一种视频流处理装置，其特征在于，所述装置包括：
获取模块，用于获取主播帐号的第一视频流中的第一视频帧；
识别模块，用于识别所述第一视频帧中的不整齐牙齿，所述不整齐牙齿包括多颗牙齿中的至少一颗牙齿；
矫正模块，用于响应于所述第一视频帧中包括所述不整齐牙齿，校正所述第一视频帧中的所述不整齐牙齿得到第二视频帧，所述第二视频帧中包括对所述不整齐牙齿进行矫正得到的目标整齐牙齿。
10.一种视频流显示装置，其特征在于，所述装置包括：
显示模块，用于根据主播帐号的第一视频流中的第一视频帧，在用户界面中显示第一视频画面，所述第一视频画面中显示有不整齐牙齿；
获取模块，用于响应于接收到牙齿美化操作，获取第二视频流，所述第二视频流中的第二视频帧是通过矫正所述第一视频帧中的所述不整齐牙齿得到的；
显示模块，还用于根据所述第二视频帧在用户界面中显示第二视频画面，所述第二视频画面中显示的牙齿为整齐牙齿。
11.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1至7任一所述的视频流处理方法，或权利要求8所述的视频流显示方法。
12.一种计算机可读存储介质，其特征在于，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1至7任一所述的视频流处理方法，或权利要求8所述的视频流显示方法。
CN202010797090.7A 2020-08-10 2020-08-10 视频流处理方法、视频流显示方法、装置及设备 Pending CN111918089A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010797090.7A CN111918089A (zh) 2020-08-10 2020-08-10 视频流处理方法、视频流显示方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010797090.7A CN111918089A (zh) 2020-08-10 2020-08-10 视频流处理方法、视频流显示方法、装置及设备

Publications (1)

Publication Number Publication Date
CN111918089A true CN111918089A (zh) 2020-11-10

Family

ID=73283662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010797090.7A Pending CN111918089A (zh) 2020-08-10 2020-08-10 视频流处理方法、视频流显示方法、装置及设备

Country Status (1)

Country Link
CN (1) CN111918089A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112511850A (zh) * 2020-11-20 2021-03-16 广州繁星互娱信息科技有限公司 连麦方法、直播显示方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228549A (zh) * 2016-07-14 2016-12-14 嘉兴学院 一种基于路径规划的三角网格牙齿分割方法
CN108470365A (zh) * 2018-03-07 2018-08-31 天津工业大学 一种基于上下牙颌的牙弓线绘制方法
CN108510471A (zh) * 2018-03-05 2018-09-07 广东欧珀移动通信有限公司 图像牙齿矫正方法、装置和终端设备
CN109903217A (zh) * 2019-01-25 2019-06-18 北京百度网讯科技有限公司 图像变形方法和装置
CN109903218A (zh) * 2019-02-28 2019-06-18 维沃移动通信有限公司 一种图像处理方法及终端
CN110136229A (zh) * 2019-05-27 2019-08-16 广州亮风台信息科技有限公司 一种用于实时虚拟换脸的方法与设备
US20200000552A1 (en) * 2018-06-29 2020-01-02 Align Technology, Inc. Photo of a patient with new simulated smile in an orthodontic treatment review software
CN110929651A (zh) * 2019-11-25 2020-03-27 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106228549A (zh) * 2016-07-14 2016-12-14 嘉兴学院 一种基于路径规划的三角网格牙齿分割方法
CN108510471A (zh) * 2018-03-05 2018-09-07 广东欧珀移动通信有限公司 图像牙齿矫正方法、装置和终端设备
CN108470365A (zh) * 2018-03-07 2018-08-31 天津工业大学 一种基于上下牙颌的牙弓线绘制方法
US20200000552A1 (en) * 2018-06-29 2020-01-02 Align Technology, Inc. Photo of a patient with new simulated smile in an orthodontic treatment review software
CN109903217A (zh) * 2019-01-25 2019-06-18 北京百度网讯科技有限公司 图像变形方法和装置
CN109903218A (zh) * 2019-02-28 2019-06-18 维沃移动通信有限公司 一种图像处理方法及终端
CN110136229A (zh) * 2019-05-27 2019-08-16 广州亮风台信息科技有限公司 一种用于实时虚拟换脸的方法与设备
CN110929651A (zh) * 2019-11-25 2020-03-27 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
周浩敏，钱政: "《智能传感技术与***》", 30 September 2008 *
马国武，朱卫东，王福，王东红: "《2011国家执业医师资格考试口腔助理医师考试指南2011版》", 31 January 2011 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112511850A (zh) * 2020-11-20 2021-03-16 广州繁星互娱信息科技有限公司 连麦方法、直播显示方法、装置、设备及存储介质
CN112511850B (zh) * 2020-11-20 2023-08-08 广州繁星互娱信息科技有限公司 连麦方法、直播显示方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US11436779B2 (en) Image processing method, electronic device, and storage medium
CN110992493B (zh) 图像处理方法、装置、电子设备及存储介质
CN110427110B (zh) 一种直播方法、装置以及直播服务器
JP2022527708A (ja) 画像処理方法およびヘッドマウントディスプレイデバイス
CN109302632B (zh) 获取直播视频画面的方法、装置、终端及存储介质
CN109947338B (zh) 图像切换显示方法、装置、电子设备及存储介质
CN111028144B (zh) 视频换脸方法及装置、存储介质
CN110933452B (zh) 萌脸礼物显示方法、装置及存储介质
CN110533585B (zh) 一种图像换脸的方法、装置、***、设备和存储介质
CN112328091B (zh) 弹幕显示方法、装置、终端及存储介质
CN111753784A (zh) 视频的特效处理方法、装置、终端及存储介质
CN111083513B (zh) 直播画面处理方法、装置、终端及计算机可读存储介质
CN110839174A (zh) 图像处理的方法、装置、计算机设备以及存储介质
CN111586444B (zh) 视频处理方法、装置、电子设备及存储介质
CN111723803A (zh) 图像处理方法、装置、设备及存储介质
CN111565309B (zh) 显示设备及其畸变参数确定方法、装置、***及存储介质
CN112565806A (zh) 虚拟礼物赠送方法、装置、计算机设备及介质
CN108965769B (zh) 视频显示方法及装置
CN112419143A (zh) 图像处理方法、特效参数设置方法、装置、设备及介质
CN111918089A (zh) 视频流处理方法、视频流显示方法、装置及设备
CN112235650A (zh) 视频处理方法、装置、终端及存储介质
CN112116530A (zh) 鱼眼图像畸变矫正方法、装置和虚拟显示***
CN112967261B (zh) 图像融合方法、装置、设备及存储介质
CN111757146B (zh) 视频拼接的方法、***及存储介质
CN114093020A (zh) 动作捕捉方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201110