CN113630619A - 节目录制方法和装置 - Google Patents

节目录制方法和装置 Download PDF

Info

Publication number
CN113630619A
CN113630619A CN202110925328.4A CN202110925328A CN113630619A CN 113630619 A CN113630619 A CN 113630619A CN 202110925328 A CN202110925328 A CN 202110925328A CN 113630619 A CN113630619 A CN 113630619A
Authority
CN
China
Prior art keywords
encoder
code rate
output code
coding
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110925328.4A
Other languages
English (en)
Inventor
黄巍
陈祥虎
张勇
吴俊恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics China R&D Center
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics China R&D Center, Samsung Electronics Co Ltd filed Critical Samsung Electronics China R&D Center
Priority to CN202110925328.4A priority Critical patent/CN113630619A/zh
Publication of CN113630619A publication Critical patent/CN113630619A/zh
Priority to PCT/KR2022/000064 priority patent/WO2023017928A1/en
Priority to US17/571,721 priority patent/US11917163B2/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23113—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving housekeeping operations for stored content, e.g. prioritizing content for deletion because of storage space restrictions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请公开了一种节目录制方法和装置，其中方法包括：对待录制的原始视频数据进行解码；利用预设的深度神经网络模型，基于所述解码后的视频数据，将相应视频的每帧图像划分为用户感兴趣区域和背景区域；按照用户感兴趣区域的编码码率大于背景区域的编码码率的原则，利用编码器对所述解码后的视频数据进行编码，并将编码结果通过视频缓存器写入存储设备；其中，实时地基于所述视频缓存器的缓存状态、所述存储设备的I/O速度以及所述编码器的输出码率，控制所述编码器的输出码率，以使得所述视频缓存器不会发生数据溢出的情况。采用本申请，可以避免超高清节目录制容易失败的问题，且不会影响用户对所录制节目的观看体验。

Description

节目录制方法和装置
技术领域
本发明涉及音视频处理技术领域，特别是涉及一种节目录制方法和装置。
背景技术
随着5G时代的到来，全球主要国家和地区纷纷提出制定了各自的5G推进计划，加速5G商用进程。伴随着我国5G的规模商用、超高清视频产业的不断演进，未来5年将是中国超高清视频产业技术发展和成果转化的战略机遇期，5G将驱动超高清视频产业应用的飞跃提升。5G与超高清视频技术的结合，为未来创造了无限可能。
超高清视频的定义源自视频画面分辨率在4K及以上，相对于4K而言，8K技术是最贴合人们追求真实世界视觉体验的超高清技术，会成为5G、人工智能(AI)和物联网(IoT)时代的必然选择。8K的分辨率是7680×4320，相对于全高清(1920×1080)视频被称为1080P，8K也被称为4320P。通常情况下，它被称为超高清8K或者简称8K。8K同步突破高分辨率、高帧率、高色深、宽色域、高动态范围等五个维度技术，能给为观众带来颠覆式、更具感染力和沉浸感的临场体验。
当前业界对8K的研究重点主要集中在：视频采集、视频编辑、内容编码、内容传输等方面。在内容编码方面，8K内容编码国内AVS3标准在研究进程上有望占据先发优势，我国的AVS3+5G+8K产业有望领先于全球进行部署；在网络传输方面，现有4G和WiFi网络带宽受限、光纤等有线传输移动性不足的情况下，5G将成为超高清视频业务的首选传输通道。
与此同时，8K视频的高码率给个人视频录像机(Personal Video Recorder，PVR)的节目录制带来了新挑战。现有的节目录制方法通常是由PVR录制单元根据电视节目录制命令，从待录制节目的节目映射表(Program Map Table，PMT)中获得待录制电视节目音频、视频、字幕等数据的所有包识别码(Packet Identifier，PID)，并将所有PID设置在PVR录制单元内，PVR录制单元向其中的解复用器(Demultiplexer,DEMUX)设置该待录制电视节目的各PID，启动录制后，DEMUX会根据待录制节目的各PID将其音频、视频、字幕等数据搬移过滤到电视机存储设备上。
发明人在实现本发明的过程中发现：采用现有的节目录制方法录制超高清视频节目时，存在容易录制失败的问题。
发明内容
有鉴于此，本发明的主要目的在于提供一种节目录制方法和装置，该方法可以解决超高清节目录制容易失败的问题，且不会影响用户对所录制节目的观看体验。
为了达到上述目的，本发明提出的技术方案为：
一种节目录制方法，包括：
对待录制的原始视频数据进行解码；
利用预设的深度神经网络模型，基于所述解码后的视频数据，将相应视频的每帧图像划分为用户感兴趣区域和背景区域；
按照用户感兴趣区域的编码码率大于背景区域的编码码率的原则，利用编码器对所述解码后的视频数据进行编码，并将编码结果通过视频缓存器写入存储设备；其中，实时地基于所述视频缓存器的缓存状态、所述存储设备的I/O速度以及所述编码器的输出码率，控制所述编码器的输出码率，以使得所述视频缓存器不会发生数据溢出的情况。
较佳地，所述利用编码器对所述解码后的视频数据进行编码包括：
按照用户感兴趣区域的编码码率大于背景区域的编码码率的原则，确定在满足编码器的实际输出码率小于等于当前编码器的目标输出码率的条件下，获得最小编码失真度时所述用户感兴趣区域和所述背景区域各自对应的编码码率；
对于所述解码后的视频数据中的每个编码数据单元，按照该编码数据单元所属于区域的编码码率进行编码，得到该编码数据单元的编码数据。
较佳地，所述控制所述编码器的输出码率包括：
如果当前所述视频缓存器中的数据量大于预设上限阈值，并且所述存储设备的I/O速度低于所述编码器的实际输出码率，则减小所述编码器的目标输出码率；所述上限阈值小于所述视频缓存器的最大存储容量；
如果当前所述视频缓存器中的数据量小于预设下限阈值，则增大所述编码器的目标输出码率，所述下限阈值小于所述上限阈值。
较佳地，所述方法进一步包括，在进行所述编码之前，对所述解码后的视频数据进行预处理；所述预处理包括对用户感兴趣区域进行图像增强处理、对背景区域进行降噪处理和/或对背景区域进行磨皮。
本发明实施例还公开了一种节目录制装置，包括：
解码单元，用于对待录制的原始视频数据进行解码；
感兴趣区域识别单元，用于利用预设的深度神经网络模型，基于所述解码后的视频数据，将相应视频的每帧图像划分为用户感兴趣区域和背景区域；
编码单元，用于按照用户感兴趣区域的编码码率大于背景区域的编码码率的原则，利用编码器对所述解码后的视频数据进行编码，并将编码结果通过视频缓存器写入存储设备；其中，实时地基于所述视频缓存器的缓存状态、所述存储设备的I/O速度以及所述编码器的输出码率，控制所述编码器的输出码率，以使得所述视频缓存器不会发生数据溢出的情况。
较佳地，所述编码单元，具体用于利用编码器对所述解码后的视频数据进行编码，包括：
按照用户感兴趣区域的编码码率大于背景区域的编码码率的原则，确定在满足编码器的实际输出码率小于等于当前编码器的目标输出码率的条件下，获得最小编码失真度时所述用户感兴趣区域和所述背景区域各自对应的编码码率；
对于所述解码后的视频数据中的每个编码数据单元，按照该编码数据单元所属于区域的编码码率进行编码，得到该编码数据单元的编码数据。
较佳地，所述编码单元，具体用于控制所述编码器的输出码率，包括：
如果当前所述视频缓存器中的数据量大于预设上限阈值，并且所述存储设备的I/O速度低于所述编码器的实际输出码率，则减小所述编码器的目标输出码率；所述上限阈值小于所述视频缓存器的最大存储容量；
如果当前所述视频缓存器中的数据量小于预设下限阈值，则增大所述编码器的目标输出码率，所述下限阈值小于所述上限阈值。
较佳地，所述编码单元，进一步用于在进行所述编码之前，对所述解码后的视频数据进行预处理；所述预处理包括对用户感兴趣区域进行图像增强处理、对背景区域进行降噪处理和/或对背景区域进行磨皮。
本发明实施例还公开了一种节目录制电子设备，包括处理器和存储器；
所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如上所述的节目录制方法。
本发明实施例还公开了一种计算机可读存储介质，其中存储有计算机可读指令，该计算机可读指令用于执行如上所述的节目录制方法。
综上所述，本发明实施例提出的节目录制方案，在对当前录制的视频数据进行编码的过程中，需要实时地基于视频缓存器的缓存状态、存储设备的读/写速度以及编码器的输出码率，控制编码器的输出码率，以避免视频缓存器出现数据饱和溢出的情况；并且，在进行编码时，还需要区分用户感兴趣区域和非感兴趣区域配置码率，使得感兴趣区域的码率大于非感兴趣码率，以使得在需要降低编码器的输出码率时，确保用户感兴趣区域图像的清晰度，从而不会影响用户对录制视频的观看体验，进而使得对编码器输出码率的控制不会影响所录制节目的播放效果。因此，采用本发明实施例，可以在不增加硬件成本的前提下解决超高清节目录制容易失败的问题，且不会降低用户对所录制节目的观看体验。
附图说明
图1为本发明实施例的方法流程示意图；
图2为本发明实施例的装置结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。
发明人通过对现有节目录方案认真研究分析后，发现现有节目录制方案所存在的容易录制失败问题是由视频的高码率和存储设备写入瓶颈的矛盾造成的。具体而言，在对视频节目进行录制过程中，需要对解码后的原始视频进行重新编码，而超高清视频节目的码率很高，这样，在编码环节单位时间内产生的视频数据量会很大，由于经过编码的视频数据并不是立刻写入存储设备，而是缓存在视频缓存器中，如果视频缓存器中的视频数据写入存储设备的速率比较慢，就会导致视频缓存器溢出，进而无法再将经过编码的视频数据写入视频缓存器，最终导致无法将完整的视频数据写入存储设备，造成录制失败。
基于上述研究分析，本发明实施例中将实时地基于视频缓存器的缓存状态、存储设备的读/写速度以及编码器的输出码率，控制编码器的输出码率，以使得视频缓存器不会出现数据饱和溢出的情况，同时，在编码器进行编码时，区分用户感兴趣区域(ROI)和非感兴趣区域(即背景区域)配置码率，使得感兴趣区域的码率大于非感兴趣码率，以使得在降低编码器的输出码率时不会影响用户对录制视频的感兴趣区域的观看效果，从而确保对编码器输出码率的控制不会对用户的视频观看体验造成明显影响。
图1为本发明实施例的节目录制方法流程示意图，如图1所示，该实施例实现的节目录制方法主要包括：
步骤101、对待录制的原始视频数据进行解码。
本步骤，用于对原始视频数据进行解码，得到编码前的视频数据。
这里，将原始视频数据作为节目录制的输入数据。原始视频数据是经过5G网络、卫星链路、有线电视网络、互联网等方式，传输给视频录制端的视频数据。具体的，原始视频数据的编码方式可以采用诸如AVS/H.264、AVS2/H.265等现有视频编码标准，也可以采用如AV3/VVC/H.266等下一代超高清视频编码标准。
步骤102、利用预设的深度神经网络模型，基于所述解码后的视频数据，将相应视频的每帧图像划分为用户感兴趣区域和背景区域。
本步骤，用于对视频数据中的每帧图像进行用户感兴趣区域和背景区域的识别，为每帧自动生成一个用户感兴趣区域地图，以便后续编码时基于每帧的用户感兴趣区域地图，区分不同区域采用不同码率编码，以确保对编码码率的控制不会影响用户感兴趣区域图像的显示效果。
这里，可以采用现有的用于对用户感兴趣区域识别的深度神经网络模型(CNN)，来对视频数据进行处理，以提取出用户感兴趣区域和背景区域。用户感兴趣区域是从图像中选择的一个图像区域，这个区域是图像分析所关注的重点区域，其可以是图像的前景区域，也可以是前景区域中的一小块区域；背景区域是指图像画面中除了用户感兴趣区域之外的其余图像区域。
考虑到，通常人们会对视频中的人会比较感兴趣，可以将人脸作为感兴趣区域。但是，感兴趣区域不仅限于人脸，也可以是其他的区域。
具体地，所述深度卷积神经网络可以采用视觉几何组(VGG)16或者其他网络模型,在人脸数据集(如WIDER FACE)上训练Faster R-CNN模型，然后在人脸数据库(如FDDB数据集)上测试。
步骤103、按照用户感兴趣区域的编码码率大于背景区域的编码码率的原则，利用编码器对所述解码后的视频数据进行编码，并将编码结果通过视频缓存器写入存储设备；其中，实时地基于所述视频缓存器的缓存状态、所述存储设备的I/O速度以及所述编码器的输出码率，控制所述编码器的输出码率，以使得所述视频缓存器不会发生数据溢出的情况。
本步骤中，在进行编码的过程中，需要实时地基于所述视频缓存器的缓存状态、所述存储设备的I/O速度以及所述编码器的输出码率，控制所述编码器的输出码率，以避免所述视频缓存器发生数据溢出的情况，从而可以避免由于视频缓存器的数据溢出而导致的节目录制失败问题。
需要说明的是，对视频编码的评价可以分为主观评价和客观评价。客观评价主要是基于一些统计学的特性，衡量不同编码器编码之后产生的图像，哪一些质量更好，包括峰值信噪比(Peak Signal to Noise Ratio，PSNR、均方误差(MSE)等客观评价指标。客观评价具有计算简单、便于比较等特点，通常作为编码失真的度量标准用于指导码率控制。然而，这些客观评价指标与人类视觉***(Human Visual System，HVS)的特性并不完全一致。人们观看视频时，通常对场景中的一些区域关注度高，对一些区域关注度低。例如会话视频，人们对人脸具有更多的关注度。这样，从人类视觉***的角度看，关注度高的区域的清晰度对用户的观看体验影响较大，关注度低的区域的清晰度对用户的观看体验影响较小。
基于上述特点，考虑到降低编码码率会降低视频的清晰度进而会影响视频的观看体验，为了尽量减小编码码率的控制对用户观看体验的影响，步骤102中，在对视频数据进行编码时，还需要区分用户感兴趣区域和背景区域设置编码码率，且需要使得用户感兴趣区域的编码码率大于背景区域的编码码率足，这种混合编码方式可以在视频总体码率降低的情况下，优先保障用户感兴趣区域的视频编码质量，同时，适度降低背景区域的视频编码质量，从而可以在降低了混合编码后的视频码率的同时，确保视频数据的播放效果。因此，采用本步骤，可以在利用对编码码率的控制解决节目录制容易失败问题的同时，保障所录制节目的主观质量，且不需要对存储设备的硬件进行升级。
在一种实施例中，为了最大程度地减少对编码码率的控制对用户观看体验的影响，在进行编码时，可以以获得最小编码失真度为约束条件确定不同区域的编码码率，具体地，可以采用下述方法利用编码器对所述解码后的视频数据进行编码：
步骤x1、按照用户感兴趣区域的编码码率大于背景区域的编码码率的原则，确定在满足编码器的实际输出码率小于等于当前编码器的目标输出码率的条件下，获得最小编码失真度时所述用户感兴趣区域和所述背景区域各自对应的编码码率。
本步骤中，具体地可以按照下述公式，确定用户感兴趣区域和背景区域各自对应的编码码率。
Figure BDA0003209082330000081
且
Figure BDA0003209082330000082
其中，wi是图像中第i个子区域的预设权重因子，用户感兴趣区域的权重因子大于背景区域的权重因子；m是图像被划分为子区域的数量；Di为第i个子区域的编码失真度，Ri第i个子区域的编码码率；Rtar是编码器的目标输出码率。具体的，所述子区域的划分可以采用瓦片(Tile)的划分方式，即一个子区域对应一个Tile，但不限于此，也可以采用视频编码层的其他编码划分粒度。
需要说明的是，编码码率越大，失真度越小，反之，编码码率越小，失真度越大。上述公式中，为了使得用户感兴趣区域的编码码率大于背景区域的编码码率，需要将用户感兴趣区域的权重因子大于背景区域的权重因子，这样，背景区域的失真度对整体图像失真度的影响较低。因此，采用上述公式来确定用户感兴趣区域和背景区域的编码码率，可以将背景区域的编码码率设置的更小些，这样，用户感兴趣区域可以获得更多的编码数据量，而背景区域获得较少的编码数据量。
具体地，可以根据实际需要设置用户感兴趣区域和背景区域的所述权重因子，只要满足用户感兴趣区域的权重因子大于背景区域的权重因子即可。
步骤x2、对于所述解码后的视频数据中的每个编码数据单元，按照该编码数据单元所属于区域的编码码率进行编码，得到该编码数据单元的编码数据。
本步骤的具体可以采用现有编码方法对编码数据单元进行编码，在此不再赘述。
在一种实施例中，为了使得对编码码率的控制能够有效地避免录制失败的准确性，可以采用下述方法控制所述编码器的输出码率：
步骤y1、如果当前所述视频缓存器中的数据量大于预设上限阈值，并且所述存储设备的I/O速度低于所述编码器的实际输出码率，则减小所述编码器的目标输出码率；所述上限阈值小于所述视频缓存器的最大存储容量。
这里，如果当前所述视频缓存器中的数据量大于预设上限阈值，并且所述存储设备的I/O速度低于所述编码器的实际输出码率，则表明当前缓存视频数据较多，而存储设备写入速度较慢，这样，当前视频缓存器的存储空间存在即将用完的风险，此时，需要减小所述编码器的目标输出码率，以避免发生视频缓存器溢出的情况，进而可以避免由于缓存溢出导致的节目录制失败问题。
所述上限阈值，用于限定减少编码器目标输出码率的时机，如果上限阈值设置的过小会影响缓存存储空间的利用率，并会使得所录制视频的编码码率过低，如果上限阈值设置的过大，会使得不能及时通过减小编码器目标输出码率来避免视频缓存器溢出。在实际应用中，可由本领域技术人员基于上述规律，结合实际应用场景需要设置所述上限阈值的合适取值。例如，可以设置所述上限阈值为所述视频缓存器的最大存储容量的80％，但不限于此，只能能够确保及时通过减少编码器目标输出码率，来避免视频缓存器溢出即可。
在实际应用中，在具体减小所述编码器的目标输出码率的过程中，可以基于预设的下调步长，逐步下调所述目标输出码率。具体地，可以利用对量化参数(QuantizerParameter，QP)的调整，实现对编码码率的调整。量化参数QP反映了空间细节压缩情况。QP值越小，量化越精细，图像质量越高，产生的码流也越长。如果QP值减小，大部分的细节都会被保留；如果QP值增大，一些细节丢失，码率降低，但图像失真加强和质量下降。以H.265/HEVC编码器为例，其编码器QP取值范围为[0,51]，其中QP取最小值0时，表示量化最精细；相反，QP取最大值51时，表示量化是最粗糙的。
步骤y2、如果当前所述视频缓存器中的数据量小于预设下限阈值，则增大所述编码器的目标输出码率，所述下限阈值小于所述上限阈值。
为了尽可能地在不发生录制失败的情况下，提高录制视频的质量，这里，在监测到当前所述视频缓存器中的数据量小于预设下限阈值时，说明此时，视频缓存器的使用率比较低，在一段时间内不会发生缓存溢出的情况，因此，可以通过增大所述编码器的目标输出码率，提高所录制的视频质量。
所述下限阈值，用于限定增加编码器的目标输出码率的时机，如果下限阈值设置的过小，会使得增加编码器的目标输出码率的时机太晚，从而使得通过增加码率提高视频质量的效果较差，如果下限阈值设置的过大，则会容易导致码率调整的乒乓现象，即增加目标输出码率后，缓存使用量很快就会达到上限阈值，而需要触发对目标输出码率的减少，这样，就会导致码率控制会在码率减少和码率增加之间频繁进行。在实际应用中，可由本领域技术人员基于上述规律，结合实际应用场景需要设置所述下限阈值的合适取值。
具体的，在增大所述编码器的目标输出码率时，可以基于预设的上调步长，逐步上调所述目标输出码率。
在一种实施例中，为了进一步在保障录制视频主观质量的同时减少编码数据量，在进行所述编码之前，先对所述解码后的视频数据进行预处理后，再基于预处理的结果进行所述编码。具体地，所述预处理可以包括对用户感兴趣区域进行图像增强处理、对背景区域进行降噪处理和/或对背景区域进行磨皮。
上述方法中，通过对用户感兴趣区域进行图像增强处理，可以有效提高用户感兴趣区域的图像质量，保障录制视频的主观质量。
需要说明的是，视频噪声是视频在信号采集过程中引入的一种普遍失真。降低噪声强度可以使得图像主观效果更好。另外，在图像、视频压缩时也不必浪费码率在编码噪声上，从而可以提高编码效率，减少编码数据量。同时，会使得视频编码中的运动估计更准确、熵编码速度更快。具体地，可以采用现有的降噪算法进行降噪处理，比如线性/非线性、空域/频域，频域又包括小波变换域、傅里叶变换域或其他变换域等方法。对背景区域进行降噪或磨皮操作之后，会有更多的区域变成了相对友好的低频区域，这样，在同等的PSNR或者客观指标下，码率会有明显的降低，因此，采用对背景区域进行降噪或磨皮处理，可以以较低的码率，获得较高的图像质量，从而可以大幅度减少编码码率控制对录制视频质量的影响。
具体地，将编码结果通过视频缓存器写入存储设备，即先将编码数据写入视频缓存器中，再从视频缓存器中读取视频数据写入存储设备中。
在一种实施方式中，为了保障视频数据的写入质量，如果当前编码视频数据写入存储设备失败，则会尝试进行再次写入；如果当前编码视频数据写入成功，则会读取视频缓存器中的下一帧视频进行写入。
在一种实施方式中，考虑到8K视频的编解码都是计算力巨大的任务，为了减少节目录制终端的运算开销，可以利用移动边缘计算(Mobile Edge Computing，MEC)服务器的计算力，将节目录制过程中的编解码操作卸载到MEC服务器上进行，同时借助5G低延迟数据传输的特点，进行编码后视频流的回传，从而可以有效降低节目录制对用户终端硬件的计算能力要求。
基于上述方法实施例可以看出，该方法在对当前录制的视频数据进行编码的过程中，通过实时地基于视频缓存器的缓存状态、存储设备的读/写速度以及编码器的输出码率，控制编码器的输出码率，以及区分用户感兴趣区域和非感兴趣区域配置码率，使得感兴趣区域的码率大于非感兴趣码率，可以在不增加硬件成本的前提下，解决超高清节目录制容易失败的问题，且不会降低用户对所录制节目的观看体验。
基于上述节目录制方法实施例，本发明实施例还公开了一种节目录制装置，如图2所示，包括：
解码单元201，用于对待录制的原始视频数据进行解码；
感兴趣区域识别单元202，用于利用预设的深度神经网络模型，基于所述解码后的视频数据，将相应视频的每帧图像划分为用户感兴趣区域和背景区域；
编码单元203，用于按照用户感兴趣区域的编码码率大于背景区域的编码码率的原则，利用编码器对所述解码后的视频数据进行编码，并将编码结果通过视频缓存器写入存储设备；其中，实时地基于所述视频缓存器的缓存状态、所述存储设备的I/O速度以及所述编码器的输出码率，控制所述编码器的输出码率，以使得所述视频缓存器不会发生数据溢出的情况。
较佳地，所述编码单元203，具体用于利用编码器对所述解码后的视频数据进行编码，包括：
按照用户感兴趣区域的编码码率大于背景区域的编码码率的原则，确定在满足编码器的实际输出码率小于等于当前编码器的目标输出码率的条件下，获得最小编码失真度时所述用户感兴趣区域和所述背景区域各自对应的编码码率；
对于所述解码后的视频数据中的每个编码数据单元，按照该编码数据单元所属于区域的编码码率进行编码，得到该编码数据单元的编码数据。
较佳地，所述编码单元203，具体用于控制所述编码器的输出码率，包括：
如果当前所述视频缓存器中的数据量大于预设上限阈值，并且所述存储设备的I/O速度低于所述编码器的实际输出码率，则减小所述编码器的目标输出码率；所述上限阈值小于所述视频缓存器的最大存储容量；
如果当前所述视频缓存器中的数据量小于预设下限阈值，则增大所述编码器的目标输出码率，所述下限阈值小于所述上限阈值。
较佳地，所述编码单元203，进一步用于在进行所述编码之前，对所述解码后的视频数据进行预处理；所述预处理包括对用户感兴趣区域进行图像增强处理、对背景区域进行降噪处理和/或对背景区域进行磨皮。
基于上述节目录制方法实施例，本申请实施例实现了一种节目录制电子设备，包括处理器和存储器；所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如上所述的节目录制方法。具体地，可以提供配有存储介质的***或者装置，在该存储介质上存储着实现上述实施例中任一实施方式的功能的软件程序代码，且使该***或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。此外，还可以通过基于程序代码的指令使计算机上操作的操作***等来完成部分或者全部的实际操作。还可以将从存储介质读出的程序代码写到***计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述节目录制方法实施方式中任一实施方式的功能。
其中，存储器具体可以实施为电可擦可编程只读存储器(EEPROM)、快闪存储器(Flash memory)、可编程程序只读存储器(PROM)等多种存储介质。处理器可以实施为包括一或多个中央处理器或一或多个现场可编程门阵列，其中现场可编程门阵列集成一或多个中央处理器核。具体地，中央处理器或中央处理器核可以实施为CPU或MCU。
本申请实施例实现了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上所述的节目录制方法的步骤。
需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分，实际实现时，一个模块可以分由多个模块实现，多个模块的功能也可以由同一个模块实现，这些模块可以位于同一个设备中，也可以位于不同的设备中。
各实施方式中的硬件模块可以以机械方式或电子方式实现。例如，一个硬件模块可以包括专门设计的永久性电路或逻辑器件(如专用处理器，如FPGA或ASIC)用于完成特定的操作。硬件模块也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。至于具体采用机械方式，或是采用专用的永久性电路，或是采用临时配置的电路(如由软件进行配置)来实现硬件模块，可以根据成本和时间上的考虑来决定。
在本文中，“示意性”表示“充当实例、例子或说明”，不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。为使图面简洁，各图中的只示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”并不表示将本发明相关部分的数量限制为“仅此一个”，并且“一个”不表示排除本发明相关部分的数量“多于一个”的情形。在本文中，“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”等仅用于表示相关部分之间的相对位置关系，而非限定这些相关部分的绝对位置。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种节目录制方法，其特征在于，包括：
对待录制的原始视频数据进行解码；
利用预设的深度神经网络模型，基于所述解码后的视频数据，将相应视频的每帧图像划分为用户感兴趣区域和背景区域；
按照用户感兴趣区域的编码码率大于背景区域的编码码率的原则，利用编码器对所述解码后的视频数据进行编码，并将编码结果通过视频缓存器写入存储设备；其中，实时地基于所述视频缓存器的缓存状态、所述存储设备的I/O速度以及所述编码器的输出码率，控制所述编码器的输出码率，以使得所述视频缓存器不会发生数据溢出的情况。
2.根据权利要求1所述的方法，其特征在于，所述利用编码器对所述解码后的视频数据进行编码包括：
按照用户感兴趣区域的编码码率大于背景区域的编码码率的原则，确定在满足编码器的实际输出码率小于等于当前编码器的目标输出码率的条件下，获得最小编码失真度时所述用户感兴趣区域和所述背景区域各自对应的编码码率；
对于所述解码后的视频数据中的每个编码数据单元，按照该编码数据单元所属于区域的编码码率进行编码，得到该编码数据单元的编码数据。
3.根据权利要求1所述的方法，其特征在于，所述控制所述编码器的输出码率包括：
如果当前所述视频缓存器中的数据量大于预设上限阈值，并且所述存储设备的I/O速度低于所述编码器的实际输出码率，则减小所述编码器的目标输出码率；所述上限阈值小于所述视频缓存器的最大存储容量；
如果当前所述视频缓存器中的数据量小于预设下限阈值，则增大所述编码器的目标输出码率，所述下限阈值小于所述上限阈值。
4.根据权利要求1所述的方法，其特征在于，所述方法进一步包括，在进行所述编码之前，对所述解码后的视频数据进行预处理；所述预处理包括对用户感兴趣区域进行图像增强处理、对背景区域进行降噪处理和/或对背景区域进行磨皮。
5.一种节目录制装置，其特征在于，包括：
解码单元，用于对待录制的原始视频数据进行解码；
感兴趣区域识别单元，用于利用预设的深度神经网络模型，基于所述解码后的视频数据，将相应视频的每帧图像划分为用户感兴趣区域和背景区域；
编码单元，用于按照用户感兴趣区域的编码码率大于背景区域的编码码率的原则，利用编码器对所述解码后的视频数据进行编码，并将编码结果通过视频缓存器写入存储设备；其中，实时地基于所述视频缓存器的缓存状态、所述存储设备的I/O速度以及所述编码器的输出码率，控制所述编码器的输出码率，以使得所述视频缓存器不会发生数据溢出的情况。
6.根据权利要求5所述的装置，其特征在于，所述编码单元，具体用于利用编码器对所述解码后的视频数据进行编码，包括：
按照用户感兴趣区域的编码码率大于背景区域的编码码率的原则，确定在满足编码器的实际输出码率小于等于当前编码器的目标输出码率的条件下，获得最小编码失真度时所述用户感兴趣区域和所述背景区域各自对应的编码码率；
对于所述解码后的视频数据中的每个编码数据单元，按照该编码数据单元所属于区域的编码码率进行编码，得到该编码数据单元的编码数据。
7.根据权利要求5所述的装置，其特征在于，所述编码单元，具体用于控制所述编码器的输出码率，包括：
如果当前所述视频缓存器中的数据量大于预设上限阈值，并且所述存储设备的I/O速度低于所述编码器的实际输出码率，则减小所述编码器的目标输出码率；所述上限阈值小于所述视频缓存器的最大存储容量；
如果当前所述视频缓存器中的数据量小于预设下限阈值，则增大所述编码器的目标输出码率，所述下限阈值小于所述上限阈值。
8.根据权利要求5所述的装置，其特征在于，所述编码单元，进一步用于在进行所述编码之前，对所述解码后的视频数据进行预处理；所述预处理包括对用户感兴趣区域进行图像增强处理、对背景区域进行降噪处理和/或对背景区域进行磨皮。
9.一种节目录制电子设备，其特征在于，包括处理器和存储器；
所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如权利要求1至4中任一项所述的节目录制方法。
10.一种计算机可读存储介质，其特征在于，其中存储有计算机可读指令，该计算机可读指令用于执行如权利要求1至4中任一项所述的节目录制方法。
CN202110925328.4A 2021-08-12 2021-08-12 节目录制方法和装置 Pending CN113630619A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110925328.4A CN113630619A (zh) 2021-08-12 2021-08-12 节目录制方法和装置
PCT/KR2022/000064 WO2023017928A1 (en) 2021-08-12 2022-01-04 Video recording method and device
US17/571,721 US11917163B2 (en) 2021-08-12 2022-01-10 ROI-based video coding method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110925328.4A CN113630619A (zh) 2021-08-12 2021-08-12 节目录制方法和装置

Publications (1)

Publication Number Publication Date
CN113630619A true CN113630619A (zh) 2021-11-09

Family

ID=78384956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110925328.4A Pending CN113630619A (zh) 2021-08-12 2021-08-12 节目录制方法和装置

Country Status (3)

Country Link
US (1) US11917163B2 (zh)
CN (1) CN113630619A (zh)
WO (1) WO2023017928A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339330A (zh) * 2021-11-25 2022-04-12 浙江大华技术股份有限公司 网络硬盘录像写入方法、装置、电子装置和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11893699B2 (en) * 2022-03-15 2024-02-06 Zeality Inc Method and processing unit for providing content in a bandwidth constrained environment

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101605253A (zh) * 2009-07-17 2009-12-16 杭州华三通信技术有限公司 录像存储的控制方法和装置
CN102378065A (zh) * 2011-10-19 2012-03-14 江西省南城县网信电子有限公司 基于mpeg-4的流媒体服务器端配置缓冲区的方法及***
CN103079063A (zh) * 2012-12-19 2013-05-01 华南理工大学 一种低码率下视觉关注区域的视频编码方法
CN104301648A (zh) * 2014-10-27 2015-01-21 厦门雅迅网络股份有限公司 一种sd卡保存视频时避免数据丢失的方法
CN108063944A (zh) * 2017-12-14 2018-05-22 西北工业大学 一种基于视觉显著性的感知码率控制方法
CN108235107A (zh) * 2016-12-15 2018-06-29 广州市动景计算机科技有限公司 视频录制方法、装置及电子终端
CN108702352A (zh) * 2016-11-01 2018-10-23 华为技术有限公司 一种确定音视频数据编码速率的方法、终端以及存储介质
CN109451310A (zh) * 2018-11-21 2019-03-08 北京航空航天大学 一种基于显著性加权的率失真优化方法及装置
CN111447449A (zh) * 2020-04-01 2020-07-24 北京奥维视讯科技有限责任公司 基于roi的视频编码方法和***以及视频传输和编码***
CN111479112A (zh) * 2020-06-23 2020-07-31 腾讯科技（深圳）有限公司 一种视频编码方法、装置、设备和存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7424058B1 (en) * 2000-09-28 2008-09-09 Autodesk, Inc. Variable bit-rate encoding
KR100557618B1 (ko) 2003-01-03 2006-03-10 엘지전자 주식회사 오브젝트 기반 비트율 제어방법 및 장치
US7505673B2 (en) 2003-09-30 2009-03-17 At&T Intellectual Property I, L.P. Video recorder for detection of occurrences
US7746927B1 (en) 2004-03-26 2010-06-29 Apple Inc. Robust single-pass variable bit rate encoding
US8548048B2 (en) * 2005-10-27 2013-10-01 Qualcomm Incorporated Video source rate control for video telephony
KR20100002632A (ko) * 2008-06-30 2010-01-07 에스케이 텔레콤주식회사 영상 인코딩/디코딩 방법 및 그 장치 및 영상 서비스시스템
KR20100095833A (ko) 2009-02-23 2010-09-01 주식회사 몬도시스템즈 Ｒｏｉ 의존형 압축 파라미터를 이용하여 영상을 압축하는 장치 및 방법
KR20110024971A (ko) 2009-09-03 2011-03-09 에스케이 텔레콤주식회사 율 제어 방법 및 장치와 그를 이용한 영상 부호화 방법 및 장치
KR101647072B1 (ko) * 2010-02-26 2016-08-09 에스케이텔레콤 주식회사 부호화 장치, 이의 구동 방법 및 부호화 방법
US20110299589A1 (en) * 2010-06-04 2011-12-08 Apple Inc. Rate control in video communication via virtual transmission buffer
US8689267B2 (en) * 2010-12-06 2014-04-01 Netflix, Inc. Variable bit video streams for adaptive streaming
KR102001415B1 (ko) * 2012-06-01 2019-07-18 삼성전자주식회사 다계층 비디오 코딩을 위한 레이트 제어 방법, 이를 이용한 비디오 인코딩 장치 및 비디오 신호 처리 시스템
GB201312382D0 (en) * 2013-07-10 2013-08-21 Microsoft Corp Region-of-interest aware video coding
EP3151562B1 (en) * 2015-09-29 2020-06-17 Dolby Laboratories Licensing Corporation Feature based bitrate allocation in non-backward compatible multi-layer codec via machine learning
WO2020036502A1 (en) * 2018-08-14 2020-02-20 Huawei Technologies Co., Ltd Machine-learning-based adaptation of coding parameters for video encoding using motion and object detection
US20220021887A1 (en) * 2020-07-14 2022-01-20 Wisconsin Alumni Research Foundation Apparatus for Bandwidth Efficient Video Communication Using Machine Learning Identified Objects Of Interest

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101605253A (zh) * 2009-07-17 2009-12-16 杭州华三通信技术有限公司 录像存储的控制方法和装置
CN102378065A (zh) * 2011-10-19 2012-03-14 江西省南城县网信电子有限公司 基于mpeg-4的流媒体服务器端配置缓冲区的方法及***
CN103079063A (zh) * 2012-12-19 2013-05-01 华南理工大学 一种低码率下视觉关注区域的视频编码方法
CN104301648A (zh) * 2014-10-27 2015-01-21 厦门雅迅网络股份有限公司 一种sd卡保存视频时避免数据丢失的方法
CN108702352A (zh) * 2016-11-01 2018-10-23 华为技术有限公司 一种确定音视频数据编码速率的方法、终端以及存储介质
CN108235107A (zh) * 2016-12-15 2018-06-29 广州市动景计算机科技有限公司 视频录制方法、装置及电子终端
CN108063944A (zh) * 2017-12-14 2018-05-22 西北工业大学 一种基于视觉显著性的感知码率控制方法
CN109451310A (zh) * 2018-11-21 2019-03-08 北京航空航天大学 一种基于显著性加权的率失真优化方法及装置
CN111447449A (zh) * 2020-04-01 2020-07-24 北京奥维视讯科技有限责任公司 基于roi的视频编码方法和***以及视频传输和编码***
CN111479112A (zh) * 2020-06-23 2020-07-31 腾讯科技（深圳）有限公司 一种视频编码方法、装置、设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114339330A (zh) * 2021-11-25 2022-04-12 浙江大华技术股份有限公司 网络硬盘录像写入方法、装置、电子装置和存储介质

Also Published As

Publication number Publication date
US20230045884A1 (en) 2023-02-16
US11917163B2 (en) 2024-02-27
WO2023017928A1 (en) 2023-02-16

Similar Documents

Publication Publication Date Title
CN111837396B (zh) 基于子图像码流视角相关视频编码中的误差抑制
WO2021244341A1 (zh) 图像编码方法及装置、电子设备及计算机可读存储介质
TWI625962B (zh) 取樣自適應偏移解碼方法
US9210421B2 (en) Memory management for video decoding
TWI687091B (zh) 視訊解碼方法
US9258519B2 (en) Encoder assisted frame rate up conversion using various motion models
US6650705B1 (en) Method for encoding and transcoding multiple video objects with variable temporal resolution
US11838507B2 (en) Video encoding method and apparatus, electronic device, and computer-readable storage medium
US8942292B2 (en) Efficient significant coefficients coding in scalable video codecs
US7936824B2 (en) Method for coding and decoding moving picture
CN113630619A (zh) 节目录制方法和装置
TW201507439A (zh) 視訊編碼方法與裝置以及非暫時性電腦可讀記錄媒體
US20140016703A1 (en) Methods and devices for controlling spatial access granularity in compressed video streams
WO2020001325A1 (zh) 一种图像编码方法、解码方法、编码器、解码器及存储介质
CN110149515B (zh) 数据传输方法及装置
US20210049790A1 (en) Method and apparatus for point cloud coding
US20130235931A1 (en) Masking video artifacts with comfort noise
CN117480778A (zh) 残差编码和视频编码方法、装置、设备和***
US20190014332A1 (en) Content-aware video coding
JP2024511084A (ja) ニューラルネットワークを用いた画像及びビデオコーディングにおける潜時特徴の多分布エントロピーモデリング
CN114339232A (zh) 自适应分辨率的编码方法及其对应的解码方法
KR20130078569A (ko) 관심영역 기반의 화질 향상을 위한 스크린 콘텐츠 비디오 부호화/복호화 방법 및 그 장치
CN1338235A (zh) 基于分段的视频压缩编码的方法和装置
Cheng et al. LSCD: A Large-Scale Screen Content Dataset for Video Compression
CN117676266A (zh) 视频流的处理方法及装置、存储介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination