CN113382241A - 视频编码方法、装置、电子设备和存储介质 - Google Patents

视频编码方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN113382241A
CN113382241A CN202110636431.7A CN202110636431A CN113382241A CN 113382241 A CN113382241 A CN 113382241A CN 202110636431 A CN202110636431 A CN 202110636431A CN 113382241 A CN113382241 A CN 113382241A
Authority
CN
China
Prior art keywords
video
coding
video clip
clip
code rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110636431.7A
Other languages
English (en)
Inventor
杨天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202110636431.7A priority Critical patent/CN113382241A/zh
Publication of CN113382241A publication Critical patent/CN113382241A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8458—Structuring of content, e.g. decomposing content into time segments involving uncompressed content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种视频编码方法、装置、电子设备和存储介质，所述方法包括：对原始视频进行拆分，得到多个视频片段；对多个视频片段分别进行处理，得到每个视频片段的精彩程度评分和/或用户偏好度；根据视频片段的精彩程度评分和/或用户偏好度，对多个视频片段进行差异化编码；所述差异化编码包括：多个视频片段采用至少两种编码方式编码；将编码后的多个视频片段进行组合。本发明通过将原始视频拆分为多个视频片段，并分析得到每个视频片段的精彩程度评分和/或用户偏好度，根据视频片段的精彩程度评分和/或用户偏好度对视频片段进行差异化编码，能够实现在满足预设播放画质的前提下，降低视频带宽占用，或在近似带宽占用情况下，提高播放画质。

Description

视频编码方法、装置、电子设备和存储介质
技术领域
本发明涉及多媒体智能处理技术领域，具体涉及一种视频编码方法、装置、电子设备和存储介质。
背景技术
随着智能手机与视频串流服务的普及，数字视频消费总量与占比均呈现快速增长趋势，持续提高视频质量并降低带宽占用是一个巨大的挑战。
为了提高视频质量和降低带宽占用，现有技术中有通过增加宏块尺寸并优化分区、改进帧内预测、帧间预测模式，或采用更精准的运动补偿滤波器等方法来优化视频编码，以上方式在一定程度上提高了编码压缩比，降低了带宽占用，但是，现有技术中的视频编码方法没有充分考虑视频内容的分类特征以及用户观看偏好等信息，导致现有技术在提高视频质量和降低带宽占用方面还有待进一步改进。
发明内容
有鉴于此，本发明的目的在于克服现有技术的不足，提供一种视频编码方法、装置、电子设备和存储介质，以提高视频编码效率，实现在满足预设播放画质的前提下，降低视频带宽占用，或在近似带宽占用情况下，提高播放画质。
为实现以上目的，本发明采用如下技术方案：一种视频编码方法，包括：
对原始视频进行拆分，得到多个视频片段；
对所述多个视频片段分别进行处理，得到每个视频片段的精彩程度评分和/或用户偏好度；
根据视频片段的精彩程度评分和/或用户偏好度，对所述多个视频片段进行差异化编码；所述差异化编码包括：多个视频片段采用至少两种编码方式编码；
将编码后的多个视频片段进行组合并发送至客户端。
可选的，所述根据视频片段的精彩程度评分和/或用户偏好度对所述多个视频片段进行差异化编码，包括：
根据视频片段的精彩程度评分和/或用户偏好度，确定每个视频片段的编码等级；
根据每个视频片段的编码等级确定每个视频片段对应的码率；
按照每个视频片段对应的码率对每个视频片段进行编码；
其中，视频片段的精彩程度评分和用户偏好度均与该视频片段的编码等级正相关，视频片段的编码等级与该视频片段的码率正相关。
可选的，所述根据每个视频片段的编码等级确定每个视频片段对应的码率，包括：在预先建立的编码等级与码率对照表中查找与该视频片段的编码等级相对应的码率，并将该码率确定为该视频片段的码率；
建立所述编码等级与码率对照表的方法，包括：
获取用户选择的播放画质，根据播放画质确定播放分辨率；
将所述播放分辨率设定为视频片段的编码码率的限定值；
根据所述限定值的大小确定出不同编码等级对应的码率。
可选的，所述根据每个视频片段的编码等级确定每个视频片段对应的码率，还包括：
当两个或两个以上视频片段的编码等级相同时，对相同编码等级的视频片段中的景别类型进行判断；
根据判断出的景别类型，确定视频片段对应的码率。
可选的，对所述多个视频片段分别进行处理，得到每个视频片段的精彩程度评分，包括：
提取每个视频片段的图像信息、音频信息和文本信息；
根据所述每个视频片段的图像信息、音频信息和文本信息识别该视频片段中的内容特征；
对于每个视频片段，计算该视频片段内每一类型内容特征对应的数量与该类型内容特征对应分值的乘积，得到该视频片段内每一类型内容特征的总分值；
计算该视频片段内每一类型内容特征的总分值与该类型内容特征对应权重系数的乘积，得到该视频片段内每一类型内容特征的加权总分值；
计算该视频片段内所有类型内容特征的加权总分值的总和，以作为该视频片段的精彩程度评分。
可选的，所述文本信息至少包括如下项中的一项：
视频片段中的对白、字幕、弹幕中可识别到的文字。
可选的，对所述多个视频片段分别进行处理，得到每个视频片段的精彩程度评分，还包括：
确定每个视频片段的热度信息；
根据所述热度信息，确定该视频片段的精彩程度评分；
其中，所述热度信息用于表征视频片段受关注的程度；
每个视频片段的热度信息与该视频片段的精彩程度评分正相关。
可选的，对所述多个视频片段分别进行处理，得到每个视频片段的用户偏好度，包括：
获取每个视频片段的用户实时观看行为和/或历史观看行为；
根据所述实时观看行为和/或历史观看行为确定该视频片段的用户偏好度。
可选的，所述对原始视频进行拆分，得到多个视频片段，包括：
获取原始视频中的图像信息；
根据原始视频中的图像信息提取原始视频所包含的场景；
按照原始视频所包含的场景对原始视频进行拆分，得到多个视频片段。
本发明还提供了一种视频编码装置，包括：
拆分模块，用于对原始视频进行拆分，得到多个视频片段；
处理模块，用于对所述多个视频片段分别进行处理，得到每个视频片段的精彩程度评分和/或用户偏好度；
差异化编码模块，用于根据视频片段的精彩程度评分和/或用户偏好度对所述多个视频片段进行差异化编码；所述差异化编码包括：多个视频片段采用至少两种编码方式编码；
组合模块，用于将编码后的多个视频片段进行组合并发送至客户端。
本发明还提供了一种电子设备，包括：
处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行存储器上所存放的程序时，实现前面任一项所述的视频编码方法。
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前面任一项所述的视频编码方法。
本发明采用以上技术方案，所述一种视频编码方法，包括：对原始视频进行拆分，得到多个视频片段；对多个视频片段分别进行分析，得到每个视频片段的精彩程度评分和/或用户偏好度；根据视频片段的精彩程度评分和/或用户偏好度对每个视频片段进行差异化编码；将编码后的多个视频片段进行组合并发送至客户端。本发明所述的视频编码方法，一方面，根据视频片段的精彩程度评分和/或用户偏好度对拆分后的多个视频片段采用至少两种编码方式编码，能够实现在满足预设播放画质的前提下，降低视频带宽占用；另一方面，通过对拆分后的多个视频片段采用至少两种编码方式编码还能够实现在近似带宽占用情况下，提高视频播放画质。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一种视频编码方法实施例一提供的流程示意图；
图2是图1中S13的具体流程示意图；
图3是本发明一种视频编码方法实施例二提供的流程示意图；
图4是本发明一种视频编码方法实施例三提供的流程示意图；
图5是本发明一种视频编码装置一个实施例提供的结构示意图；
图6是本发明一种电子设备一个实施例提供的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
图1是本发明一种视频编码方法实施例一提供的流程示意图。
如图1所示，本发明实施例所述的一种视频编码方法，包括：
S11：对原始视频进行拆分，得到多个视频片段；
S12：对多个视频片段分别进行处理，得到每个视频片段的精彩程度评分和/或用户偏好度；
S13：根据视频片段的精彩程度评分和/或用户偏好度，对多个视频片段分别进行差异化编码；所述差异化编码包括：多个视频片段采用至少两种编码方式编码；
S14：将编码后的多个视频片段进行组合并发送至客户端。
本发明实施例在实际应用中，所述原始视频可以是中长视频，如时长1分钟以上的视频。
本发明实施例所述方法先对原始视频进行内容识别，提取原始视频中包含的场景，并基于所述场景将原始视频拆分为多个视频片段，其中，每一个视频片段包含一个场景；并按照视频播放的先后顺序对每个视频片段进行从小到大依次编号，每个视频片段包括该视频片段的时间起止点；再对每个视频片段进行处理，得到每个视频片段的精彩程度评分和/或用户偏好度；对精彩程度评分高或用户偏好度高的视频片段进行高码率编码，其他视频片段采用原***率或比原***率更低的码率进行编码；所有视频片段编码完成后，再将编码后的所有视频片段进行组合。具体的，可以根据视频片段的时间起止点将编码后的所有视频片段按照时间先后顺序进行组合；还可以按照视频片段的编号从小到大依次进行组合。
进一步的，S11中对原始视频进行拆分，得到多个视频片段，具体实现过程包括：
获取原始视频中的图像信息；
基于多模态内容识别方法对原始视频中的图像信息进行处理，提取出原始视频所包含的场景；
按照原始视频所包含的场景对原始视频进行拆分，得到多个视频片段，其中，每一个视频片段包含一个场景。
S13中根据视频片段的精彩程度评分和/或用户偏好度，对多个视频片段分别进行差异化编码，如图2所示，具体包括：
S21：根据视频片段的精彩程度评分和/或用户偏好度，确定每个视频片段的编码等级；
S22：根据每个视频片段的编码等级确定每个视频片段对应的码率；
S23：按照每个视频片段对应的码率对每个视频片段进行编码。
其中，视频片段的精彩程度评分和用户偏好度均与该视频片段的编码等级正相关，视频片段的编码等级与该视频片段的码率正相关。即视频片段的精彩程度评分越高，该视频片段的编码等级越高，该视频片段分配到的码率越高；视频片段的用户偏好度越高，该视频片段的编码等级越高，该视频片段分配到的码率越高。
进一步的，S22的实现过程包括：在预先建立的编码等级与码率对照表中查找与该视频片段的编码等级相对应的码率，并将该码率确定为该视频片段的码率。
需要说明的是，本发明实施例中，建立编码等级与码率对照表的可行的实施方式可以为：
获取用户选择的播放画质，根据播放画质确定播放分辨率；
将所述播放分辨率按照预设规定设为视频片段的编码码率的限定值；所述限定值可以是：上限值、中位值或下限值；
根据所述限定值的大小确定出不同预设编码等级对应的码率。
其中，播放画质可以是指播放分辨率，比如4K，也可以是指其他画质功能，比如HDR(High Dynamic Range，高动态范围)，还可以是播放分辨率和HDR的组合，比如4K HDR。
建立编码等级与码率对照表的方法，可以举例解释为：比如，预设编码等级分为：高级、中级和低级；预先规定限定值是上限值；当用户选择播放分辨率4k时，将4k设置为编码码率的上限值，对应高级的码率，中级码率和低级码率的取值可根据高级码率的取值预先对应设置，其中，中级码率小于高级码率，低级码率小于中级码率。再比如，预设编码等级分为：高级、中级和低级；预设规定限定值是下限值；当用户选择播放分辨率720时，将720设置为编码码率的下限值，对应低级的码率，中级码率和高级码率的取值可根据低级码率的取值预先对应设置，其中，中级码率大于低级码率，高级码率大于中级码率。
需要说明的是，S13的实现方式还可以是在图2的基础上，进一步包括：
当两个或两个以上视频片段的编码等级相同时，对相同编码等级的视频片段中的景别类型进行判断；并根据判断出的景别类型，确定视频片段对应的码率。
所述景别包括：远景、近景和特写；比如，现有3个视频片段的编码等级相同，这3个视频片段分别描述的是特写、近景和远景，那么，在图2的基础上，当编码等级相同时，还可以再依据景别类型的不同，进行差异化编码，比如，特写的视频片段的码率高于近景的码率，近景的码率高于远景的码率，此编码方法将码率更多的分配给近景和特写的视频片段，提升了近景和特写的画质，有利于提升用户观看品质。
本发明实施例所述编码方法，一方面，在近似带宽占用情况下，比如保持原始视频的带宽占用不变，重新对各视频片段的码率进行分配，分配时按照视频片段的精彩程度评分和用户偏好度均与该视频片段分配到的码率成正相关的原则，对各视频片段的码率进行分配，该种情况下，虽然原始视频的占用带宽不变，但是对精彩程度评分高或用户偏好度高的视频片段利用更高码率进行编码，对精彩程度评分低或用户偏好度低的视频片段利用更低码率进行编码，以上过程能够实现在近似带宽占用情况下，提高播放画质，进而提高用户观看品质。
另一方面，在相同观看品质前提下，对精彩程度评分高或用户偏好度高的视频片段利用能够满足用户观看品质的码率进行编码，对精彩程度评分低或用户偏好度低的视频片段利用更低码率(该码率低于满足用户观看品质的码率)进行编码，以上过程减少了编码过程中的计算量，有利于提高视频编码效率，能够实现在满足预设播放画质的前提下，降低视频带宽占用。
图3是本发明一种视频编码方法实施例二提供的流程示意图。
如图3所示，本发明实施例所述的一种视频编码方法，包括：
S31：对原始视频进行拆分，得到多个视频片段；
S32：计算每个视频片段的精彩程度评分；
S33：根据视频片段的精彩程度评分，确定每个视频片段的编码等级；
S34：根据每个视频片段的编码等级确定每个视频片段对应的码率；
S35：按照每个视频片段对应的码率对每个视频片段进行编码；
S36：将编码后的多个视频片段进行组合并发送至客户端。
本发明实施例是只计算每个视频片段的精彩程度评分，并根据视频片段的精彩程度评分对多个视频片段进行差异化编码。
进一步的，S32中计算每个视频片段的精彩程度评分，可采用如下所述的第一种实现方式，具体包括：
提取每个视频片段的图像信息、音频信息和文本信息；
根据所述每个视频片段的图像信息、音频信息和文本信息识别该视频片段中的内容特征；
对于每个视频片段，计算该视频片段内每一类型内容特征对应的数量与该类型内容特征对应分值的乘积，得到该视频片段内每一类型内容特征的总分值；
计算该视频片段内每一类型内容特征的总分值与该类型内容特征对应权重系数的乘积，得到该视频片段内每一类型内容特征的加权总分值；
计算该视频片段内所有类型内容特征的加权总分值的总和，以作为该视频片段的精彩程度评分。
其中，所述文本信息至少包括如下项中的一项：
视频片段中的对白、字幕、弹幕中可识别到的文字。
该视频片段中的内容特征包括：场景标签(普通场景、经典场景)、背景音乐标签(普通歌曲、经典歌曲)和情感标签(情感喜怒)。
具体的，S32中识别视频片段中的内容特征的过程包括：对于每个视频片段的图像信息，采用图像识别方法对每个视频片段的图像信息进行处理，以判断出该视频片段的场景标签；采用语音识别方法对每个视频片段的音频信息进行处理，以判断出该视频片段的背景音乐标签；采用自然语言处理方法处理每个视频片段的文本信息，对视频片段中的内容使用Bert模型进行字幕摘要或关键词提取，以判断出该视频片段的情感标签。
S32在实际执行时，比如，场景标签：普通场景10分、经典场景50分；背景音乐标签：普通歌曲10分、经典歌曲50分；情感标签：平静情绪10分、激动情绪(如，喜怒哀乐)50分。每一种内容特征都有其对应的权重，如：场景标签的权重为0.2，背景音乐标签的权重为0.2，情感标签的权重为0.6。对于一个视频片段，如果存在1处经典场景，1首经典歌曲且情感标签是激动情绪，那么该视频片段的精彩程度评分为：经典场景50分*1*0.2+经典歌曲50分*1*0.2+激动情绪50分*1*0.6。需要说明的是，以上评分可以根据实际需求进行动态调整，比如为了提高经典场景的影响，可以将经典场景对应的分值提高。
以上是从内容角度来计算视频片段的精彩程度评分。该种方式能够从视频的内容上客观的反映视频片段的精彩程度。
或者，S32中计算每个视频片段的精彩程度评分还可以采用如下所述的第二种实现方式，具体包括：
确定每个视频片段的热度信息；
根据热度信息，确定该视频片段的精彩程度评分；
其中，热度信息用于表征视频片段受关注的程度；每个视频片段的热度信息与该视频片段的精彩程度评分正相关。
热度信息包括：视频片段所包含的指定人物的关注度，和/或该视频片段被截图分享的次数；
每个视频片段所包含的指定人物的关注度和该视频片段被截图分享的次数均与该视频片段的热度信息正相关，即该视频片段所包含的指定人物的关注度越高，该视频片段被截图分享的次数越多，表明该视频片段受关注的程度越高，则该视频片段的精彩程度评分越高。
指定人物可以是指在整个视频中出现时长最长的那个人物。可使用FaceNet模型进行人脸识别，即将所有视频片段的图像信息作为FaceNet模型的输入数据，利用FaceNet模型进行人脸识别，识别出整个视频中出现的人物，并统计每个人物出现的时长，最终确定出该视频的指定人物。
其中，指定人物的关注度是指该指定人物受公众关注的程度，关注的程度越高，对应的关注度越高；关注的程度越低，对应的关注度越低。可以从网络中获取，例如，可以根据指定人物的社交账号的关注度排名来确定该指定人物的关注度。
第二种计算方式是根据视频片段受关注的程度来计算视频片段的精彩程度评分。
需要说明的是，视频片段的精彩程度评分还可以通过以上两种方式相结合进行计算，即将第一种方式计算出的精彩程度评分与第二种方式计算出的精彩程度评分相加之和作为视频片段最终的精彩程度评分。这种计算方式更能准确的反映出视频片段的精彩程度。
比如，某个视频片段的精彩程度评分为70分，根据精彩程度评分70确定出该视频片段的编码等级为中级(小于70分为低级，大于等于70分且小于80分为中级，大于等于80分为高级)，再根据编码等级与码率对照表中的映射关系，得到中级对应的码率为1080，则采用码率1080对该视频片段进行编码；类似的，对于其他的视频片段，也是先计算出该视频片段的精彩程度评分，再根据精彩程度评分确定该视频片段的编码等级，再由编码等级与码率对照表中的映射关系，得到该编码等级对应的码率，采用该码率对该视频片段进行编码；最后将编码后的所有视频片段进行组合，得到对原始视频进行编码后的视频。
本发明实施例所述的视频编码方法通过对原始视频进行剪辑，将原始视频拆分为不同场景的多个视频片段，并计算每个视频片段的精彩程度评分，根据视频片段的精彩程度评分确定该视频片段对应的码率，按照每个视频片段对应的码率对每个视频片段进行编码，一方面，通过对精彩程度评分高的视频片段利用原***率进行编码，对精彩程度评分低的视频片段利用比原***率更低的码率进行编码，能够减少编码过程中的计算量，有利于提高视频编码效率，实现在满足预设播放画质的前提下，降低视频带宽占用；另一方面，在保持整个视频占用带宽不变的条件下，通过对精彩程度评分高的视频片段利用高码率进行编码，对精彩程度评分低的视频片段利用低码率进行编码，能够实现在近似带宽占用情况下，提高播放画质，从而有利于提高用户观看品质。
图4是本发明一种视频编码方法实施例三提供的流程示意图。
如图4所示，本发明实施例所述的一种视频编码方法，包括：
S41：对原始视频进行拆分，得到多个视频片段；
S42：获取每个视频片段的用户实时观看行为和/或历史观看行为；
S43：根据所述实时观看行为和/或历史观看行为确定该视频片段的用户偏好度；
S44：根据视频片段的用户偏好度确定每个视频片段的编码等级；
S45：根据每个视频片段的编码等级确定每个视频片段对应的码率；
S46：按照每个视频片段对应的码率对每个视频片段进行编码；
S47：将编码后的多个视频片段进行组合并发送至客户端。
进一步的，所述实时观看行为包括：
观看前序视频的行为和观看当前视频前序片段的行为。
具体的，前序视频是指：观看该视频之前观看的若干个连续的视频。比如连续观看剧集1、剧集2，剧集1就是剧集2的前序视频，又比如沉浸式观看下，被上划掉的内容就是当前内容的前序视频。
前序片段是指：观看同一视频的当前片段之前的若干个片段即为当前片段的前序片段。
进一步的，观看视频的行为包括：观看、拖动、快进、重播以及弹幕等行为。
根据用户的观看行为数据，确定视频片段的用户偏好度。具体的，每个视频片段被拖动的次数和被快进的次数分别与该视频片段的用户偏好度负相关，即该视频片段被拖动或被快进的次数越多，表明该视频片段的用户偏好度越低；每个视频片段被观看的次数、被重播的次数和弹幕频次分别与该视频片段的用户偏好度正相关，即该视频片段被观看的次数、被重播的次数或弹幕频次越多，表明该视频片段的用户偏好度越高。
可基于深度学习算法分析各视频片段的用户观看行为，比如观看、拖动、快进、重播以及弹幕等行为，根据该观看行为使用GraphSAGE或者PinSAGE图卷积神经网络生成各视频片段的表征信息，然后再根据该表征信息确定用户偏好度。具体的，表征信息可以是计算用户与每个视频片段之间的相对距离，用户与视频片段距离越近，表明用户对该视频片段的偏好度越高。
当视频片段的用户偏好度确定后，可参照实施例一中S13的处理过程，根据视频片段的用户偏好度，对多个视频片段分别进行差异化编码。当视频片段的用户偏好度越高，编码等级越高，该视频片段分配到的码率越高。比如，用户偏好度和编码等级均分为低中高三个等级，码率分为720、1080和4K；当视频片段的用户偏好度为低时，对应的编码等级为低级，该视频片段分配到的码率为720；当视频片段的用户偏好度为高时，对应的编码等级为高级，该视频片段分配到的码率为4K。
本发明实施例中，根据视频片段的用户偏好度对多个视频片段分别进行差异化编码的基本原则是对用户偏好度高的视频片段进行高码流编码，用户偏好度低的片段进行低码流编码。具体的，一方面，可以对用户偏好度高的视频片段利用原***率进行编码，对用户偏好度低的视频片段利用比原***率更低的码率进行编码，减少了编码过程中的计算量，有利于提高视频编码效率，能够实现在满足预设播放画质的前提下，降低视频带宽占用；另一方面，还可以保持整个视频占用带宽不变，对用户偏好度高的视频片段利用高码率进行编码，对用户偏好度低的视频片段利用低码率进行编码，从而实现在近似带宽占用情况下，提高播放画质。
需要说明的是，当用户对视频的播放画质进行重新选择后，获取用户重新选择的播放画质，并跳转到实施例二中的S34或实施例三中的S45，根据用户重新选择的播放画质，重新建立编码等级与码率对照表，然后再根据新建的编码等级与码率对照表，根据每个视频片段的编码等级确定每个视频片段对应的码率，重新对每个视频片段进行差异化编码。
本发明实施例所述方法还包括：实时获取用户的观看行为，当用户观看行为发生变化时，跳转到实施例三中的S42，根据用户观看行为变化重新确定视频片段的用户偏好度，并根据重新确定的用户偏好度对视频片段进行编码。
需要说明的是，实施例二是单独采用视频片段的精彩程度评分来对每个视频片段进行差异化编码；实施例三是单独采用用户偏好度来对每个视频片段进行差异化编码，在实际使用中，还可以将精彩程度评分和用户偏好度两者结合，即根据视频片段的精彩程度评分和用户偏好度对每个视频片段进行差异化编码，两者结合时：可以采用权重分配的方式，确定精彩程度评分和用户偏好度对每个视频片段编码码率的影响，比如，可以将实施例三中的用户偏好度低中高等级分别配置相应的分数，并确定精彩程度评分和用户偏好度的权重，通过(精彩程度评分*权重1+用户偏好度分数*权重2)来得到每个视频片段的综合分值，并根据综合分值确定该视频片段的编码等级，再根据视频片段的编码等级确定视频片段对应的码率，最后按照每个视频片段对应的码率对每个视频片段进行编码。本发明实施例根据视频片段的精彩程度评分和/或用户偏好度来确定每个视频片段的编码码率，对精彩程度评分高或用户偏好度高的视频片段进行高码流编码，对精彩程度评分低或用户偏好度低的片段进行低码流编码，能够实现对带宽资源的有效利用。
图5是本发明一种视频编码装置一个实施例提供的结构示意图。
如图5所示，本发明实施例所述的一种视频编码装置，包括：
拆分模块51，用于对原始视频进行拆分，得到多个视频片段；
处理模块52，用于对所述多个视频片段分别进行处理，得到每个视频片段的精彩程度评分和/或用户偏好度；
差异化编码模块53，用于根据视频片段的精彩程度评分和/或用户偏好度对所述多个视频片段进行差异化编码；所述差异化编码包括：多个视频片段采用至少两种编码方式编码；
组合模块54，用于将编码后的多个视频片段进行组合并发送至客户端。
进一步的，拆分模块51对原始视频进行拆分的过程，包括：
获取原始视频中的图像信息；
根据原始视频中的图像信息提取原始视频所包含的场景；
按照原始视频所包含的场景对原始视频进行拆分，得到多个视频片段。
处理模块52对所述多个视频片段分别进行处理，得到每个视频片段的精彩程度评分，可采用如下第一种实现方式，具体包括：
提取每个视频片段的图像信息、音频信息和文本信息；
根据所述每个视频片段的图像信息、音频信息和文本信息识别该视频片段中的内容特征；
对于每个视频片段，计算该视频片段内每一类型内容特征对应的数量与该类型内容特征对应分值的乘积，得到该视频片段内每一类型内容特征的总分值；
计算该视频片段内每一类型内容特征的总分值与该类型内容特征对应权重系数的乘积，得到该视频片段内每一类型内容特征的加权总分值；
计算该视频片段内所有类型内容特征的加权总分值的总和，以作为该视频片段的精彩程度评分。
所述文本信息至少包括如下项中的一项：
视频片段中的对白、字幕、弹幕中可识别到的文字。
此外，处理模块52对所述多个视频片段分别进行处理，得到每个视频片段的精彩程度评分，还可以采用如下第二种实现方式，具体包括：
确定每个视频片段的热度信息；
根据所述热度信息，确定该视频片段的精彩程度评分；
其中，所述热度信息用于表征视频片段受关注的程度；每个视频片段的热度信息与该视频片段的精彩程度评分正相关。
进一步的，处理模块52对所述多个视频片段分别进行处理，得到每个视频片段的用户偏好度，包括：
获取每个视频片段的用户实时观看行为和/或历史观看行为；
根据所述实时观看行为和/或历史观看行为确定该视频片段的用户偏好度。
进一步的，差异化编码模块53根据视频片段的精彩程度评分和/或用户偏好度对所述多个视频片段进行差异化编码，包括：
根据视频片段的精彩程度评分和/或用户偏好度，确定每个视频片段的编码等级；
根据每个视频片段的编码等级确定每个视频片段对应的码率；
按照每个视频片段对应的码率对每个视频片段进行编码；
其中，视频片段的精彩程度评分和用户偏好度均与该视频片段的编码等级正相关，视频片段的编码等级与该视频片段的码率正相关。
具体的，根据每个视频片段的编码等级确定每个视频片段对应的码率，包括：在预先建立的编码等级与码率对照表中查找与该视频片段的编码等级相对应的码率，并将该码率确定为该视频片段的码率；
建立所述编码等级与码率对照表的方法，包括：
获取用户选择的播放画质，根据播放画质确定播放分辨率；
将所述播放分辨率设定为视频片段的编码码率的限定值；
根据所述限定值的大小确定出不同编码等级对应的码率。
具体的，根据每个视频片段的编码等级确定每个视频片段对应的码率，还包括：
当两个或两个以上视频片段的编码等级相同时，对相同编码等级的视频片段中的景别类型进行判断；
根据判断出的景别类型，确定视频片段对应的码率。
本发明实施例所述编码装置，一方面，在近似带宽占用情况下，比如保持原始视频的带宽占用不变，重新对各视频片段的码率进行分配，分配时按照视频片段的精彩程度评分和用户偏好度均与该视频片段分配到的码率成正相关的原则，对各视频片段的码率进行分配，该种情况下，虽然原始视频的占用带宽不变，但是对精彩程度评分高或用户偏好度高的视频片段利用更高码率进行编码，对精彩程度评分低或用户偏好度低的视频片段利用更低码率进行编码，以上过程能够实现在近似带宽占用情况下，提高播放画质，进而提高用户观看品质。
另一方面，在相同观看品质前提下，对精彩程度评分高或用户偏好度高的视频片段利用能够满足用户观看品质的码率进行编码，对精彩程度评分低或用户偏好度低的视频片段利用更低码率(该码率低于满足用户观看品质的码率)进行编码，以上过程减少了编码过程中的计算量，有利于提高视频编码效率，能够实现在满足预设播放画质的前提下，降低视频带宽占用。
本发明还提供了一种电子设备的实施例，如图6所示，所述电子设备包括：
处理器601、通信接口602、存储器603和通信总线604，其中，处理器601、通信接口602和存储器603通过通信总线604完成相互间的通信；，
其中，所述存储器603，用于存放计算机程序；
所述处理器601，用于执行存储器上所存放的程序时，实现图1、图3和图4任一项所述的视频编码方法。
上述终端提到的通信总线可以是外设部件互连标准(PeripheralComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended IndustryStandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(ApplicationSpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－ProgrammableGate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的视频编码方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (12)

1.一种视频编码方法，其特征在于，包括：
对原始视频进行拆分，得到多个视频片段；
对所述多个视频片段分别进行处理，得到每个视频片段的精彩程度评分和/或用户偏好度；
根据视频片段的精彩程度评分和/或用户偏好度，对所述多个视频片段进行差异化编码；所述差异化编码包括：多个视频片段采用至少两种编码方式编码；
将编码后的多个视频片段进行组合并发送至客户端。
2.根据权利要求1所述的视频编码方法，其特征在于，所述根据视频片段的精彩程度评分和/或用户偏好度对所述多个视频片段进行差异化编码，包括：
根据视频片段的精彩程度评分和/或用户偏好度，确定每个视频片段的编码等级；
根据每个视频片段的编码等级确定每个视频片段对应的码率；
按照每个视频片段对应的码率对每个视频片段进行编码；
其中，视频片段的精彩程度评分和用户偏好度均与该视频片段的编码等级正相关，视频片段的编码等级与该视频片段的码率正相关。
3.根据权利要求2所述的视频编码方法，其特征在于，所述根据每个视频片段的编码等级确定每个视频片段对应的码率，包括：在预先建立的编码等级与码率对照表中查找与该视频片段的编码等级相对应的码率，并将该码率确定为该视频片段的码率；
建立所述编码等级与码率对照表的方法，包括：
获取用户选择的播放画质，根据播放画质确定播放分辨率；
将所述播放分辨率设定为视频片段的编码码率的限定值；
根据所述限定值的大小确定出不同编码等级对应的码率。
4.根据权利要求2所述的视频编码方法，其特征在于，所述根据每个视频片段的编码等级确定每个视频片段对应的码率，还包括：
当两个或两个以上视频片段的编码等级相同时，对相同编码等级的视频片段中的景别类型进行判断；
根据判断出的景别类型，确定视频片段对应的码率。
5.根据权利要求1所述的视频编码方法，其特征在于，对所述多个视频片段分别进行处理，得到每个视频片段的精彩程度评分，包括：
提取每个视频片段的图像信息、音频信息和文本信息；
根据所述每个视频片段的图像信息、音频信息和文本信息识别该视频片段中的内容特征；
对于每个视频片段，计算该视频片段内每一类型内容特征对应的数量与该类型内容特征对应分值的乘积，得到该视频片段内每一类型内容特征的总分值；
计算该视频片段内每一类型内容特征的总分值与该类型内容特征对应权重系数的乘积，得到该视频片段内每一类型内容特征的加权总分值；
计算该视频片段内所有类型内容特征的加权总分值的总和，以作为该视频片段的精彩程度评分。
6.根据权利要求5所述的视频编码方法，其特征在于，所述文本信息至少包括如下项中的一项：
视频片段中的对白、字幕、弹幕中可识别到的文字。
7.根据权利要求5所述的视频编码方法，其特征在于，对所述多个视频片段分别进行处理，得到每个视频片段的精彩程度评分，还包括：
确定每个视频片段的热度信息；
根据所述热度信息，确定该视频片段的精彩程度评分；
其中，所述热度信息用于表征视频片段受关注的程度；每个视频片段的热度信息与该视频片段的精彩程度评分正相关。
8.根据权利要求1所述的视频编码方法，其特征在于，对所述多个视频片段分别进行处理，得到每个视频片段的用户偏好度，包括：
获取每个视频片段的用户实时观看行为和/或历史观看行为；
根据所述实时观看行为和/或历史观看行为确定该视频片段的用户偏好度。
9.根据权利要求1至8任一项所述的视频编码方法，其特征在于，所述对原始视频进行拆分，得到多个视频片段，包括：
获取原始视频中的图像信息；
根据原始视频中的图像信息提取原始视频所包含的场景；
按照原始视频所包含的场景对原始视频进行拆分，得到多个视频片段。
10.一种视频编码装置，其特征在于，包括：
拆分模块，用于对原始视频进行拆分，得到多个视频片段；
处理模块，用于对所述多个视频片段分别进行处理，得到每个视频片段的精彩程度评分和/或用户偏好度；
差异化编码模块，用于根据视频片段的精彩程度评分和/或用户偏好度对所述多个视频片段进行差异化编码；所述差异化编码包括：多个视频片段采用至少两种编码方式编码；
组合模块，用于将编码后的多个视频片段进行组合并发送至客户端。
11.一种电子设备，其特征在于，包括：
处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行存储器上所存放的程序时，实现权利要求1至9任一项所述的视频编码方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至9中任一项所述的视频编码方法。
CN202110636431.7A 2021-06-08 2021-06-08 视频编码方法、装置、电子设备和存储介质 Pending CN113382241A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110636431.7A CN113382241A (zh) 2021-06-08 2021-06-08 视频编码方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110636431.7A CN113382241A (zh) 2021-06-08 2021-06-08 视频编码方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN113382241A true CN113382241A (zh) 2021-09-10

Family

ID=77576400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110636431.7A Pending CN113382241A (zh) 2021-06-08 2021-06-08 视频编码方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113382241A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113904992A (zh) * 2021-09-28 2022-01-07 咪咕文化科技有限公司 带宽资源调度方法、装置、计算设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581696A (zh) * 2012-08-10 2014-02-12 英特尔公司 用于内容感知的多媒体流送的方法与***
US20180262813A1 (en) * 2017-03-08 2018-09-13 Arris Enterprises Llc Excess bitrate distribution based on quality gain
CN108737862A (zh) * 2018-05-23 2018-11-02 浙江大华技术股份有限公司 一种生成视频码流片段的方法和装置
CN109286825A (zh) * 2018-12-14 2019-01-29 北京百度网讯科技有限公司 用于处理视频的方法和装置
CN110268717A (zh) * 2016-10-28 2019-09-20 谷歌有限责任公司 使用播放统计信息对多表示编码的比特率优化
CN110312131A (zh) * 2019-07-01 2019-10-08 杭州当虹科技股份有限公司 一种基于深度学习的内容自适应在线视频编码方法
CN111083483A (zh) * 2019-12-31 2020-04-28 北京奇艺世纪科技有限公司 一种视频编码码率确定方法、装置、电子设备及存储介质
CN111263243A (zh) * 2020-02-17 2020-06-09 网易（杭州）网络有限公司 视频编码方法、装置、计算机可读介质及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103581696A (zh) * 2012-08-10 2014-02-12 英特尔公司 用于内容感知的多媒体流送的方法与***
CN110268717A (zh) * 2016-10-28 2019-09-20 谷歌有限责任公司 使用播放统计信息对多表示编码的比特率优化
US20180262813A1 (en) * 2017-03-08 2018-09-13 Arris Enterprises Llc Excess bitrate distribution based on quality gain
CN108737862A (zh) * 2018-05-23 2018-11-02 浙江大华技术股份有限公司 一种生成视频码流片段的方法和装置
CN109286825A (zh) * 2018-12-14 2019-01-29 北京百度网讯科技有限公司 用于处理视频的方法和装置
CN110312131A (zh) * 2019-07-01 2019-10-08 杭州当虹科技股份有限公司 一种基于深度学习的内容自适应在线视频编码方法
CN111083483A (zh) * 2019-12-31 2020-04-28 北京奇艺世纪科技有限公司 一种视频编码码率确定方法、装置、电子设备及存储介质
CN111263243A (zh) * 2020-02-17 2020-06-09 网易（杭州）网络有限公司 视频编码方法、装置、计算机可读介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113904992A (zh) * 2021-09-28 2022-01-07 咪咕文化科技有限公司 带宽资源调度方法、装置、计算设备及存储介质
CN113904992B (zh) * 2021-09-28 2023-10-17 咪咕文化科技有限公司 带宽资源调度方法、装置、计算设备及存储介质

Similar Documents

Publication Publication Date Title
US10922355B2 (en) Method and apparatus for recommending news
CN109286825A (zh) 用于处理视频的方法和装置
JP4538757B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US11042754B2 (en) Summarizing video content
US20240212706A1 (en) Audio data processing
US20160014482A1 (en) Systems and Methods for Generating Video Summary Sequences From One or More Video Segments
EP2901372B1 (en) Using digital fingerprints to associate data with a work
CN103718166B (zh) 信息处理设备、信息处理方法
US20150293928A1 (en) Systems and Methods for Generating Personalized Video Playlists
CN110175245A (zh) 多媒体推荐方法、装置、设备及存储介质
US20180068188A1 (en) Video analyzing method and video processing apparatus thereof
US20200213649A1 (en) Dynamic Live Feed Recommendation on the Basis of User Real Time Reaction to a Live Feed
EP3690674A1 (en) Method for recommending video content
CN113573161B (zh) 多媒体数据处理方法、装置、设备及存储介质
CN110692251A (zh) 修改数字视频内容
CN111279709A (zh) 提供视频推荐
CN106802913A (zh) 一种播放内容推荐方法及其装置
CN111209417A (zh) 一种信息展示方法、服务器、终端及存储介质
CN113382241A (zh) 视频编码方法、装置、电子设备和存储介质
CN113055745A (zh) 视频播放的处理方法、装置、设备及存储介质
WO2022203737A1 (en) Systems and methods to provide adaptive play settings
CN112328152B (zh) 媒体文件的播放控制方法、装置、电子设备及存储介质
CN111159560B (zh) 一种基于云计算的科普内容个性化推荐***
CN113762056A (zh) 演唱视频识别方法、装置、设备及存储介质
EP3772856A1 (en) Identification of the intro part of a video content

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210910

RJ01 Rejection of invention patent application after publication