JP2021516919A - ビデオ符号化方法並びにその装置、記憶媒体、機器、及びコンピュータプログラム - Google Patents

ビデオ符号化方法並びにその装置、記憶媒体、機器、及びコンピュータプログラム Download PDF

Info

Publication number
JP2021516919A
JP2021516919A JP2020551298A JP2020551298A JP2021516919A JP 2021516919 A JP2021516919 A JP 2021516919A JP 2020551298 A JP2020551298 A JP 2020551298A JP 2020551298 A JP2020551298 A JP 2020551298A JP 2021516919 A JP2021516919 A JP 2021516919A
Authority
JP
Japan
Prior art keywords
coding
video frame
quantization parameter
resolution
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020551298A
Other languages
English (en)
Other versions
JP7085014B2 (ja
Inventor
マオ，シュンアン
グオ，リツァイ
シ，ヨンファン
ガオ，アンリン
ガオ，シンウエイ
ジャン，タオ
ドン，ハイボ
グ，チェンチェン
ルゥ，ジン
Original Assignee
テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド filed Critical テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Publication of JP2021516919A publication Critical patent/JP2021516919A/ja
Application granted granted Critical
Publication of JP7085014B2 publication Critical patent/JP7085014B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本願のビデオ符号化方法は、符号化対象のビデオを取得するステップであって、前記ビデオには、順に並んだ少なくとも２つのビデオフレームが含まれる、ステップと、前記少なくとも２つのビデオフレームのうちのｉ（ｉは、２以上の正の整数）番目のビデオフレームに対して、前記ｉ番目のビデオフレームの量子化パラメータ及び量子化パラメータ閾値を計算するステップと、前記量子化パラメータ及び前記量子化パラメータ閾値に基づいて、前記ｉ番目のビデオフレームの符号化解像度を決定するステップであって、前記符号化解像度が、第１符号化解像度又は第２符号化解像度であり、前記第１符号化解像度が、前記ｉ番目のビデオフレームのサンプリング時の解像度であり、前記第２符号化解像度が、前記ｉ番目のビデオフレームをダウンサンプリングする場合の解像度である、ステップと、前記符号化解像度で前記ｉ番目のビデオフレームを符号化するステップと、を含む。

Description

本願は、２０１８年４月２７日に提出された、出願番号が２０１８１０３９４３２９．９であり、発明の名称が「ビデオ符号化方法、装置、記憶媒体及び機器」である中国特許出願に基づく優先権を主張し、その全ての内容は参照することにより本願に組み込まれる。
本願の実施例は、符号化の技術分野に関し、特に、ビデオ符号化方法、装置、記憶媒体及び機器に関する。
ビデオは、複数のビデオフレームで順に構成されたビデオフレームシーケンスである。ビデオのデータ量が大きいため、符号化によってビデオを圧縮してもよい。符号化には、ビデオにおける各ビデオフレームの符号化解像度を決定する必要がある。以下、符号化解像度及びビデオフレームの種類について紹介する。
関連技術では、２種類の符号化解像度が提供されている。第１符号化解像度は、ビデオフレームのサンプリング時の解像度であり、第２符号化解像度は、該ビデオフレームをダウンサンプリングする場合の解像度である。ここでのダウンサンプリングとは、いくつかのサンプル値おきにサンプル値シーケンスを１回サンプリングすることである。ここから分かるように、第２符号化解像度は、第１符号化解像度よりも低い。一方、関連技術では、２種類のビデオフレームが提供されている。１種類は、Ｉフレームであり、もう１種類は、Ｐフレームである。Ｉフレームは、フレーム内予測フレームであり、それ自体が全ての情報を有し、他のフレームを参照することなく符号化を行うことができる。Ｐフレームは、フレーム間予測フレームであり、他のフレームを参照してこそ、符号化を行うことができる。
上記２種類のビデオフレームの特徴に基づいて、端末は、各ビデオフレームを符号化する際に、該ビデオフレームがＩフレームであるか、それともＰフレームであるかを決定する必要があり、該ビデオフレームがＩフレームである場合、第１符号化解像度で該ビデオを符号化し、該ビデオフレームがＰフレームである場合、第２符号化解像度で該ビデオフレームを符号化する。
上記方法では、同じ種類のビデオフレームが同じ符号化解像度に対応することで、符号化方式の柔軟性が不十分になる。
本願の実施例は、同じ種類のビデオフレームが同じ符号化解像度に対応することで、符号化方式の柔軟性が不十分になるという問題を解決するビデオ符号化方法、装置、記憶媒体及び機器を提供する。その構成は、以下のとおりである。
一態様では、ビデオ符号化方法が提供されている。前記方法は、
符号化対象のビデオを取得するステップであって、前記ビデオには、順に並んだ少なくとも２つのビデオフレームが含まれる、ステップと、
前記少なくとも２つのビデオフレームのうちのｉ（ｉは、２以上の正の整数）番目のビデオフレームに対して、前記ｉ番目のビデオフレームの量子化パラメータ及び量子化パラメータ閾値を計算するステップと、
前記量子化パラメータ及び前記量子化パラメータ閾値に基づいて、前記ｉ番目のビデオフレームの符号化解像度を決定するステップであって、前記符号化解像度が、第１符号化解像度又は第２符号化解像度であり、前記第１符号化解像度が、前記ｉ番目のビデオフレームのサンプリング時の解像度であり、前記第２符号化解像度が、前記ｉ番目のビデオフレームをダウンサンプリングする場合の解像度である、ステップと、
前記符号化解像度で前記ｉ番目のビデオフレームを符号化するステップと、を含む。
一態様では、ビデオ符号化装置が提供されている。前記装置は、
符号化対象のビデオを取得し、前記ビデオには、順に並んだ少なくとも２つのビデオフレームが含まれる取得モジュールと、
前記少なくとも２つのビデオフレームのうちのｉ（ｉは、２以上の正の整数）番目のビデオフレームに対して、前記ｉ番目のビデオフレームの量子化パラメータ及び量子化パラメータ閾値を計算する計算モジュールと、
前記計算モジュールにより取得された前記量子化パラメータ及び前記量子化パラメータ閾値に基づいて、前記ｉ番目のビデオフレームの符号化解像度を決定し、前記符号化解像度が、第１符号化解像度又は第２符号化解像度であり、前記第１符号化解像度が、前記ｉ番目のビデオフレームのサンプリング時の解像度であり、前記第２符号化解像度が、前記ｉ番目のビデオフレームをダウンサンプリングする場合の解像度である決定モジュールと、
前記決定モジュールにより決定された前記符号化解像度で前記ｉ番目のビデオフレームを符号化する符号化モジュールと、を含む。
一態様では、コンピュータ可読記憶媒体が提供されている。前記記憶媒体には、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットが記憶され、前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセット又は命令セットは、プロセッサによりロードされて実行されることで、上記のようなビデオ符号化方法を実現させる。
一態様では、ビデオ符号化機器が提供されている。前記ビデオ符号化機器は、プロセッサと、メモリとを備え、前記メモリには、少なくとも１つの命令が記憶され、前記命令は、前記プロセッサによりロードされて実行されることで、上記のようなビデオ符号化方法を実現させる。
本願の実施例で提供された構成の有益な効果は、少なくとも、下記の効果を含む。
ビデオフレームの量子化パラメータ及び量子化パラメータ閾値をそれぞれ計算し、量子化パラメータ及び量子化パラメータ閾値に基づいて、ビデオフレームの符号化解像度を決定することにより、同じ種類のビデオフレームは、同じ符号化解像度に対応する可能性もあるし、異なる符号化解像度に対応する可能性もあるようになり、同じ種類のビデオフレームが同じ符号化解像度に対応することで、符号化方式の柔軟性が不十分になるという問題が解決され、符号化方式の柔軟性が向上する。
量子化パラメータが、画質に関連するものであり、量子化パラメータ閾値が、所望の画質に関連するものであるため、量子化パラメータ及び量子化パラメータ閾値に基づいて、ビデオフレームの符号化解像度を決定することは、画質及び所望の画質に基づいて、ビデオフレームの符号化解像度を選択することに相当し、決定される符号化解像度の正確さを向上させることができる。
本願の実施例の構成をより明確に説明するために、以下、実施例の説明に必要な図面を簡単的に紹介する。明らかに、以下の説明における図面は本願のいくつかの実施例を示しているにすぎず、当業者にとって、創造的な労働をせずに、これらの図面から他の図面を得ることもできる。
本願の一部の実施例で示された符号化解像度を決定するフローチャートである。 一部の例示的な実施例で示されたビデオ符号化システムの構成の模式図である。 本願の一実施例で提供されたビデオ符号化方法のフローチャートである。 本願の他の実施例で提供されたビデオ符号化方法のフローチャートである。 本願の他の実施例で提供された符号化コスト比を計算するフローチャートである。 本願の一実施例で提供されたビデオ符号化装置の構成ブロック図である。 本願の別の実施例で提供されたビデオ符号化装置の構成ブロック図である。
本願の実施例の目的、構成、及びメリットをより明確にするために、以下、図面を参照しながら、本願の実施形態をさらに詳しく説明する。
本願の実施例を詳しく説明する前に、本願の実施例の適用シナリオについて説明する。
本願の実施例は、ビデオ圧縮の適用シナリオに適用される。ビデオを圧縮した後、ビデオを伝送することができ、ビデオの伝送時に使用する帯域幅が節約され、伝送にかかる時間が削減され、ビデオを記憶することもでき、ビデオにより使用される記憶スペースが節約され、ビデオに対して他の処理を行うこともでき、ここでは限定しない。
ここで、ビデオ伝送は、リアルタイム伝送及び非リアルタイム伝送を含む。リアルタイム伝送は、インスタント通信クライアントを利用して、リアルタイムビデオ通話を行うことや、ライブ配信クライアントを利用して、リアルタイムなライブ配信を行うことなどであってもよい。非リアルタイム伝送は、ビデオのアップロードやダウンロードなどであってもよい。
概括して言えば、本願の実施例は、５つのステップに分けることができる。図１を参照すると、第１ステップ１０１で、フレーム内／フレーム間プリコーディングコスト分析を行うことにより、符号化コスト比を決定し、第２ステップ１０２で、符号化コスト比に基づいて、量子化パラメータを推定し、第３ステップ１０３で、量子化パラメータ閾値を計算し、第４ステップ１０４で、量子化パラメータ及び量子化パラメータの閾値に基づいて、符号化解像度を選択し、第５ステップ１０５で、選択された符号化解像度でビデオフレームを符号化する。ここで、各ステップの詳細な解釈について、詳しくは以下の実施例の説明を参照されたい。
本願の実施例では、ビデオにおける各Ｉフレームは、同じ符号化解像度に対応する可能性もあるし、異なる符号化解像度に対応する可能性もあり、ビデオにおける各Ｐフレームは、同じ符号化解像度に対応する可能性もあるし、異なる符号化解像度に対応する可能性もある。つまり、同じ種類のビデオフレームは、同じ符号化解像度に対応する可能性もあるし、異なる符号化解像度に対応する可能性もある。これにより、符号化方式の柔軟性が向上する。また、量子化パラメータが、画質に関連するものであり、量子化パラメータ閾値が、所望の画質に関連するものであるため、量子化パラメータ及び量子化パラメータ閾値に基づいて、ビデオフレームの符号化解像度を決定することは、画質及び所望の画質に基づいて、ビデオフレームの符号化解像度を選択することに相当し、決定される符号化解像度の正確さを向上させることができる。
以下、本願の実施例のシステムアーキテクチャについて説明する。
図２を参照されたいが、図２は、本願の実施例で提供されたビデオ符号化システムの構成の模式図である。該ビデオ符号化システムが、インスタント通信クライアントを利用してリアルタイムビデオ通話を行うシナリオに適用される場合を例にすると、該ビデオ符号化システムは、少なくとも、第１端末２１０と、第２端末２２０と、サーバ２３０とを含む。第１端末２１０とサーバ２３０とは、有線ネットワーク又は無線ネットワークを介して接続を確立し、第２端末２２０とサーバ２３０とは、有線ネットワーク又は無線ネットワークを介して接続を確立する。
第１端末２１０は、ビデオデータストリームの送受信機能を有する機器（例えば、スマートフォン）である。第１端末２１０には、例えば、ウィーチャットクライアント、ＱＱクライアントなどのインスタント通信クライアントがインストールされる。
第２端末２２０は、ビデオデータストリームの送受信機能を有する機器（例えば、スマートフォン）である。第２端末２２０と第１端末２１０には、少なくとも１つの同じインスタント通信クライアントがインストールされ、かつ第２端末２２０におけるインスタント通信クライアントは、第１端末２１０におけるインスタント通信クライアントと通信することができる。
サーバ２３０は、インスタント通信クライアントのバックグラウンドサーバであり、１つのサーバ、又は複数のサーバからなるサーバクラスタ、又はクラウドコンピューティングセンターであってもよい。
本願の実施例では、第１端末２１０からサーバ２３０を介して第２端末２２０へ、リアルタイムビデオ通話を開始してもよいし、第２端末２２０からサーバ２３０を介して第１端末２１０へ、リアルタイムビデオ通話を開始してもよい。
以下、リアルタイムビデオ通話がつながった後に、第１端末２１０を利用する第１ユーザと、第２端末２２０を利用する第２ユーザとがリアルタイムビデオ通話を行う過程について紹介する。第１端末２１０が、カメラで第１ユーザの通話過程を撮像することにより、第１ビデオを取得し、本願の実施例で提供されたビデオ符号化方法によって該第１ビデオを符号化し、符号化された第１ビデオデータストリームをサーバ２３０に送信し、サーバ２３０が、該第１ビデオデータストリームを第２端末２２０に転送し、第２端末２２０が、該符号化方式に対応する復号化方式で該第１ビデオデータストリームを復号化し、復号化された第１ビデオを再生する。同時に、第２端末２２０が、カメラで第２ユーザの通話過程を撮像することにより、第２ビデオを取得し、本願の実施例で提供された符号化方式で該第２ビデオを符号化し、符号化された第２ビデオデータストリームをサーバ２３０に送信し、サーバ２３０が、該第２ビデオデータストリームを第１端末２１０に転送し、第１端末２１０が、該符号化方式に対応する復号化方式で該第２ビデオデータストリームを復号化し、復号化された第２ビデオを再生する。
任意選択的に、第１端末２１０は、第２ビデオに加えて、自身が撮像した第１ビデオを再生してもよい。つまり、第１端末２１０の表示画面の第１領域内で第２ビデオを再生し、第２領域内で第１ビデオを再生する。同様に、第２端末２２０は、第１ビデオに加えて、自身が撮像した第２ビデオを再生してもよい。つまり、第２端末２２０の表示画面の第１領域内で第１ビデオを再生し、第２領域内で第２ビデオを再生する。ここで、第１端末２１０及び第２端末２２０の表示画面は、図２に示すとおりである。
図３を参照されたいが、図３は、本願の一実施例で提供されたビデオ符号化方法のフローチャートである。該ビデオ符号化方法は、図２に示す第１端末又は第２端末に適用可能である。該ビデオ符号化方法は、下記のステップを含む。
ステップ３０１で、符号化対象のビデオを取得し、該ビデオには、順に並んだ少なくとも２つのビデオフレームが含まれる。
ビデオは、端末が撮像したものであってもよいし、端末がネットワークからダウンロードしたものであってもよいし、端末が他の機器から取得したものであってもよく、本実施例は、ビデオの出所を限定しない。
ビデオは、順に並んだ少なくとも２つのビデオフレームを含むビデオフレームシーケンスである。ここで、順に並ぶことは、各ビデオフレームの撮像順に並び、つまり、各ビデオフレームの撮像時間の早い順に並ぶことを意味する。
ビデオフレームシーケンスにおける１番目のビデオフレームについては、端末は、デフォルトとして、第１符号化解像度で該ビデオフレームを符号化する。ビデオフレームシーケンスにおける残りのビデオフレームについては、端末は、該ビデオフレームシーケンスから１つのビデオフレームを順次読み出し、該ビデオフレームをｉ（ｉは２以上の正の整数）番目のビデオフレームとして、ステップ３０２〜３０３を実行して該ｉ番目のビデオフレームの符号化解像度を選択し、最後に、ステップ３０４を実行して、選択された該符号化解像度で該ｉ番目のビデオフレームを符号化する。ここで、符号化解像度は、第１符号化解像度又は第２符号化解像度であり、詳しくは、ステップ３０３の解釈を参照されたい。
ステップ３０２で、少なくとも２つのビデオフレームのうちのｉ番目のビデオフレームに対して、ｉ番目のビデオフレームの量子化パラメータ及び量子化パラメータ閾値を計算する。
量子化とは、符号化が必要なデータの量を低減して、データを圧縮する目的を達成するために、連続信号を離散信号としてサンプリングする処理方式を意味する。
量子化パラメータは、ビデオフレームを量子化する過程に係るパラメータである。
量子化パラメータは、量子化の精度を示すためのパラメータである。ここで、量子化パラメータは、量子化の精度と負の相関関係にある。つまり、量子化パラメータが小さいほど、量子化が細かくなり、このときの画質が良く、データの圧縮比が高くない。量子化パラメータが大きいほど、量子化が粗くなり、このときの画質が悪く、データの圧縮比が高い。
量子化パラメータは、量子化ステップサイズに対応する番号である。例えば、Ｈ．２６４（ＭＰＥＧ−４ ＡＶＣ：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ−４ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ）では、５２個の量子化ステップサイズがあるため、量子化パラメータの数値が０〜５１であり、各量子化パラメータそれぞれは、５２個の量子化ステップサイズのうちの１つの量子化ステップサイズを識別するためのものである。
量子化パラメータ閾値は、所望の画質を表すための閾値である。ここでの所望の画質は、ユーザが主観的に許容できる画質である。ここで、量子化パラメータ閾値は、所望の画質と正の相関関係にある。即ち、所望の画質が低いほど、量子化パラメータ閾値が小さくなり、所望の画質が高いほど、量子化パラメータ閾値が大きくなる。
これは、人間の目が、静止シーンの画質の損失に敏感であり、動いているシーンの画質の損失に敏感でないからである。このため、人間の目は、静止シーンでのビデオフレームの所望の画質に対する要求が高く、端末は、第１符号化解像度で符号化を行って画質を向上させることに傾くように、静止シーンでのビデオフレームに対して、大きな量子化パラメータ閾値を設定してもよい。人間の目は、動いているシーンでのビデオフレームの所望の画質に対する要求が低く、端末は、第２符号化解像度で符号化を行ってデータの圧縮比を向上させることに傾くように、動いているシーンでのビデオフレームに対して、小さな量子化パラメータ閾値を設定してもよい。
本実施例では、少なくとも２つのビデオフレームのうちのｉ番目のビデオフレームに対して、端末は、ｉ番目のビデオフレームの量子化パラメータ及び量子化パラメータ閾値をそれぞれ計算する。ここでの量子化パラメータは、端末が推定したものであり、実際の量子化パラメータとは異なる可能性がある。ここで、端末が量子化パラメータを計算する内容の詳細については、ステップ４０２又は４０３の説明を参照されたいが、量子化パラメータ閾値を計算する内容の詳細については、ステップ４０４〜４０７の説明を参照されたい。
ステップ３０３で、量子化パラメータ及び量子化パラメータ閾値に基づいて、ｉ番目のビデオフレームの符号化解像度を決定する。
符号化解像度は、第１符号化解像度又は第２符号化解像度である。第１符号化解像度は、ｉ番目のビデオフレームのサンプリング時の解像度であり、フル解像度と呼ばれてもよい。第２符号化解像度は、ｉ番目のビデオフレームをダウンサンプリングする場合の解像度であり、ダウンサンプリング解像度と呼ばれてもよい。ここで、第２符号化解像度は、第１符号化解像度よりも小さい。
ステップ３０４で、該符号化解像度でｉ番目のビデオフレームを符号化する。
第１符号化解像度でｉ番目のビデオフレームを符号化する場合、画質が良く、データの圧縮比が低い。第２符号化解像度でｉ番目のビデオフレームを符号化する場合、画質が悪く、データの圧縮比が高い。
以上説明したように、本願の実施例で提供されたビデオ符号化方法では、ビデオフレームの量子化パラメータ及び量子化パラメータ閾値をそれぞれ計算し、量子化パラメータ及び量子化パラメータ閾値に基づいて、ビデオフレームの符号化解像度を決定することにより、同じ種類のビデオフレームは、同じ符号化解像度に対応する可能性もあるし、異なる符号化解像度に対応する可能性もあるようになり、同じ種類のビデオフレームが同じ符号化解像度に対応することで、符号化方式の柔軟性が不十分になるという問題が解決され、符号化方式の柔軟性が向上する。
量子化パラメータが、画質に関連するものであり、量子化パラメータ閾値が、所望の画質に関連するものであるため、量子化パラメータ及び量子化パラメータ閾値に基づいて、ビデオフレームの符号化解像度を決定することは、画質及び所望の画質に基づいて、ビデオフレームの符号化解像度を選択することに相当し、決定される符号化解像度の正確さを向上させることができる。
図４を参照されたいが、図４は、本願の他の実施例で提供されたビデオ符号化方法のフローチャートである。該ビデオ符号化方法は、図２に示す第１端末又は第２端末に適用可能である。該ビデオ符号化方法は、下記のステップを含む。
ステップ４０１で、符号化対象のビデオを取得し、該ビデオには、順に並んだ少なくとも２つのビデオフレームが含まれる。
ビデオは、端末が撮像したものであってもよいし、端末がネットワークからダウンロードしたものであってもよいし、端末が他の機器から取得したものであってもよく、本実施例は、ビデオの出所を限定しない。
ビデオは、順に並んだ少なくとも２つのビデオフレームを含むビデオフレームシーケンスである。ここで、順に並ぶことは、各ビデオフレームの撮像順に並び、つまり、各ビデオフレームの撮像時間の早い順に並ぶことを意味する。
ビデオフレームシーケンスにおける１番目のビデオフレームについては、端末は、デフォルトとして、第１符号化解像度で該ビデオフレームを符号化する。ビデオフレームシーケンスにおける残りのビデオフレームについては、端末は、該ビデオフレームシーケンスから１つのビデオフレームを順次読み出し、該ビデオフレームをｉ（ｉは２以上の正の整数）番目のビデオフレームとして、ステップ４０２〜４０８を実行して該ｉ番目のビデオフレームの符号化解像度を選択し、最後に、ステップ４０９を実行して、選択された該符号化解像度で該ｉ番目のビデオフレームを符号化する。ここで、符号化解像度は、第１符号化解像度又は第２符号化解像度であり、第１符号化解像度は、ビデオフレームのサンプリング時の解像度であり、第２符号化解像度は、該ビデオフレームをダウンサンプリングする場合の解像度であり、詳しくは、ステップ３０３の説明を参照されたい。
ステップ４０２で、少なくとも２つのビデオフレームのうちのｉ番目のビデオフレームに対して、ｉ番目のビデオフレームの符号化モードが固定品質符号化モードである場合、設定された量子化パラメータを読み出し、該量子化パラメータを該ｉ番目のビデオフレームの量子化パラメータとして決定し、ステップ４０４を実行する。
固定品質符号化モードとは、一定の画質でビデオフレームを符号化するモードを意味する。つまり、固定品質符号化モードで各ビデオフレームを符号化する場合、符号化された各ビデオフレームの画質が一定となる。
ビデオフレームの画質が、量子化パラメータに関連するものであるため、画質が一定である場合は、量子化パラメータが一定であることを意味する。したがって、固定品質符号化モードのビデオフレームに対して、一定の量子化パラメータを予め設定しておいてもよい。つまり、ｉ番目のビデオフレームの符号化モードが固定品質符号化モードである場合、ｉ番目のビデオフレームの量子化パラメータが、予め設定されたものであり、端末は、それを直接読み出すだけで、該ｉ番目のビデオフレームの量子化パラメータを取得することができる。
説明すべきものとして、異なる符号化解像度が、異なる量子化パラメータに対応するため、量子化パラメータを読み出す前に、端末は、ｉ番目のビデオフレームの符号化解像度を仮定する必要もあり、そして、該符号化解像度に対応する量子化パラメータを読み出す。ここで、第１符号化解像度に対応する量子化パラメータは、第２符号化解像度に対応する量子化パラメータよりも大きい。例えば、第１符号化解像度に対応する量子化パラメータは、３３であり、第２符号化解像度に対応する量子化パラメータは、２７である。
画質を向上させるために、リアルタイムビデオ通話のシナリオにおけるビデオフレームの多くは、第１符号化解像度で符号化される。このため、任意選択的に、端末は、ｉ番目のビデオフレームの符号化解像度が第１符号化解像度であると仮定してもよい。当然のことながら、端末は、ｉ番目のビデオフレームの符号化解像度が第２符号化解像度であると仮定してもよく、本実施例は限定しない。
ステップ４０３で、少なくとも２つのビデオフレームのうちのｉ番目のビデオフレームに対して、ｉ番目のビデオフレームの符号化モードが固定ビットレート符号化モードである場合、ｉ番目のビデオフレームにおける１番目の符号化ブロックの量子化パラメータを計算し、該１番目の符号化ブロックの量子化パラメータを該ｉ番目のビデオフレームの量子化パラメータとして決定する。
固定ビットレート符号化モードは、一定のビットレートでビデオフレームを符号化するモードである。つまり、固定ビットレート符号化モードで１秒あたりの複数のビデオフレームを符号化する場合、符号化された１秒あたりの全てのビデオフレームの総サイズが一定となる。
一定のビットレートでビデオフレームを符号化すると、ビデオフレームの画質が安定しないが、画質が、量子化パラメータに関連するものであるため、端末は、画質に応じて、量子化パラメータを動的に決定する必要がある。つまり、ｉ番目のビデオフレームの符号化モードが固定ビットレート符号化モードである場合、端末は、ｉ番目のビデオフレームの量子化パラメータを動的に計算してもよい。
説明すべきものとして、異なる符号化解像度が、異なる量子化パラメータに対応するため、量子化パラメータを計算する前に、端末は、ｉ番目のビデオフレームの符号化解像度を仮定する必要もあり、そして、仮定された符号化解像度に基づいて、量子化パラメータを計算する。ここで、第１符号化解像度と仮定された場合と、第２符号化解像度と仮定された場合とは、量子化パラメータ計算のアルゴリズムが同一である。
ここで、ｉ番目のビデオフレームにおける１番目の符号化ブロックの量子化パラメータを計算することは、以下の４つの方式を含んでもよい。
１）、ｉ−１番目のビデオフレームがＩフレームであり、かつ第２符号化解像度でｉ−１番目のビデオフレームを符号化した場合、ｉ−１番目のビデオフレームにおける全ての符号化ブロックの実際の量子化パラメータの平均値を計算し、第１オフセット及び第２オフセットを取得し、平均値、第１オフセット、及び第２オフセットの和を１番目の符号化ブロックの量子化パラメータとして決定する。
ｉ−１番目のビデオフレームの符号化モードが固定品質符号化モードである場合、符号化過程では、端末は、該ｉ−１番目のビデオフレームを少なくとも２つの符号化ブロックに分割する。各符号化ブロックの量子化パラメータは、いずれも、設定された量子化パラメータであり、各符号化ブロックに対して設定された量子化パラメータは等しい。したがって、全ての符号化ブロックの実際の量子化パラメータの平均値は、依然として設定された該量子化パラメータである。
ｉ−１番目のビデオフレームの符号化モードが固定ビットレート符号化モードである場合、符号化過程では、端末は、該ｉ−１番目のビデオフレームを少なくとも２つの符号化ブロックに分割し、エンコーダにおいて設定されたアルゴリズムで各符号化ブロックの実際の量子化パラメータを計算し、全ての量子化パラメータを加算したものを符号化ブロックの数で除算することにより、平均値を取得する。
説明すべきものとして、ｉ−１番目のビデオフレームをプリコーディングする際に、まず、該ｉ−１番目のビデオフレームの１番目の符号化ブロックの量子化パラメータを計算してから、該量子化パラメータをｉ−１番目のビデオフレームの量子化パラメータと仮定する。実際に符号化を行う際に、端末は、ｉ−１番目のビデオフレームにおける各符号化ブロックの実際の量子化パラメータを計算する。ここで算出された実際の量子化パラメータは、以前に仮定された量子化パラメータと異なる。本ステップで計算されるのは、符号化過程で得られる実際の量子化パラメータの平均値である。
第１オフセットは、第１符号化解像度に対応する量子化パラメータと、第２符号化解像度に対応する量子化パラメータとのオフセットであり、経験値であってもよいし、数式によって算出されたものであってもよく、本実施例は限定しない。本実施例では、第１オフセットをＱＰｄｅｌｔａと記す。ここで、第１符号化解像度、第２符号化解像度、及び第１オフセットの間には、以下の関係がある。第１符号化解像度の量子化パラメータから第１オフセットを減算することにより、第２符号化解像度の量子化パラメータが取得され、つまり、第２符号化解像度の量子化パラメータに第１オフセットを加算することにより、第１符号化解像度の量子化パラメータが取得される。
第２オフセットは、ＩフレームとＰフレームとの量子化パラメータのオフセットであり、経験値であってもよいし、数式によって算出されたものであってもよく、本実施例は限定しない。本実施例では、第２オフセットをＱＰｏｆｆｓｅｔ−Ｉ／Ｐと記す。
平均値、第１オフセット、及び第２オフセットを取得した後、この３つの和を１番目の符号化ブロックの量子化パラメータとする。
２）、ｉ−１番目のビデオフレームがＩフレームであり、かつ第１符号化解像度でｉ−１番目のビデオフレームを符号化した場合、ｉ−１番目のビデオフレームにおける全ての符号化ブロックの実際の量子化パラメータの平均値を計算し、第２オフセットを取得し、平均値及び第２オフセットの和を１番目の符号化ブロックの量子化パラメータとして決定する。
ここで、平均値の計算及び第２オフセットの取得の流れについては、上述したとおりであり、ここでは説明を省略する。
平均値及び第２オフセットを取得した後、この両者の和を１番目の符号化ブロックの量子化パラメータとする。
３）、ｉ−１番目のビデオフレームがＰフレームであり、かつ第１符号化解像度でｉ−１番目のビデオフレームを符号化した場合、ｉ−１番目のビデオフレームにおける全ての符号化ブロックの実際の量子化パラメータの平均値を計算し、平均値を１番目の符号化ブロックの量子化パラメータとして決定する。
ここで、平均値の計算の流れについては、上述したとおりであり、ここでは説明を省略する。
平均値を取得した後、平均値を１番目の符号化ブロックの量子化パラメータとする。
４）、ｉ−１番目のビデオフレームがＰフレームであり、かつ第２符号化解像度でｉ−１番目のビデオフレームを符号化した場合、ｉ−１番目のビデオフレームにおける全ての符号化ブロックの実際の量子化パラメータの平均値を計算し、第１オフセットを取得し、平均値及び第１オフセットの和を１番目の符号化ブロックの量子化パラメータとして決定する。
ここで、平均値の計算と第１オフセットの取得の流れについては、上述したとおりであり、ここでは説明を省略する。
平均値及び第１オフセットを取得した後、この両者の和を１番目の符号化ブロックの量子化パラメータとする。
本実施例では、ｉ−１番目のビデオフレームの種類及び符号化解像度に基づいて、上記４つの方式の中から１つの方式を選択し、選択された方法によって、ｉ番目のビデオフレームにおける１番目の符号化ブロックの量子化パラメータを計算してもよい。
ステップ４０４で、ｉ番目のビデオフレームがＩフレームであると仮定する場合の第１符号化コストを計算する。
本実施例では、ｉ番目のビデオフレームが実際にＩフレームであるかＰフレームであるかにかかわらず、ｉ番目のビデオフレームがＩフレームであると仮定して第１符号化コストを計算し、ｉ番目のビデオフレームがＰフレームであると仮定して第２符号化コストを計算する必要がある。
ここで、ｉ番目のビデオフレームがＩフレームであると仮定する場合の第１符号化コストを計算することは、以下のいくつかのステップを含んでもよい。
ステップ４０４１で、ｉ番目のビデオフレームを少なくとも２つの符号化ブロックに分割する。
ここで、端末は、異なるアルゴリズムによって、ｉ番目のビデオフレームを複数の符号化ブロックに分割してもよく、本実施例は限定しない。ここで、異なるアルゴリズムによって取得された符号化ブロックの数は、同じであってもよいし、異なっていてもよい。
１つの可能な実現方式では、端末は、ｉ番目のビデオフレームを８×８個の符号化ブロックに分割する。
ステップ４０４２で、符号化ブロックに対してフレーム内予測符号化を行うことにより、フレーム内符号化コストを取得する。
ここで、フレーム内符号化コストのアルゴリズムには、様々なものがあり、以下、そのうちの２つのアルゴリズムについて紹介する。
１つ目のアルゴリズムでは、フレーム内符号化コストは、符号化ブロックにおける全ての画素の予測残差の絶対値の和に等しい。
２つ目のアルゴリズムでは、フレーム内符号化コストｃｏｓｔ＝Ｄ＋λ×Ｒであり、ここで、Ｄは、符号化ブロックの歪みの程度であり、該符号化ブロックにおける全ての画素の符号化再構成画像と元の画像との差の絶対値で表すことができ、λは、ラグランジュ係数であり、Ｒは、符号化ブロックが使用するビット数である。
ステップ４０４３で、各フレーム内符号化コストの和を第１符号化コストとして決定する。
本実施例では、第１符号化コストをＩｃｏｓｔと記する。
任意選択的に、ｉ番目のビデオフレームを少なくとも２つの符号化ブロックに分割する前に、該方法は、ｉ番目のビデオフレームをダウンサンプリングすることをさらに含む。
ここで、端末は、簡単なダウンサンプリングアルゴリズムでｉ番目のビデオフレームをダウンサンプリングしてもよい。これにより、ｉ番目のビデオフレームのデータ量を低減させ、後続に第１符号化コスト及び第２符号化コストを計算する速度を向上させ、最終的に符号化解像度を決定する速度を向上させる。
１つの可能な実現形態では、端末は、ｉ番目のビデオフレームの長さ及び幅に対して２：１のダウンサンプリングを行う。当然のことながら、端末は、他の割合のダウンサンプリングを行ってもよく、本実施例は限定しない。
ステップ４０５で、ｉ番目のビデオフレームがＰフレームであると仮定する場合の第２符号化コストを計算する。
ここで、ｉ番目のビデオフレームがＰフレームであると仮定する場合の第２符号化コストを計算することは、以下のいくつかのステップを含んでもよい。
ステップ４０５１で、ｉ番目のビデオフレームを少なくとも２つの符号化ブロックに分割する。
ここで、端末は、異なるアルゴリズムによって、ｉ番目のビデオフレームを複数の符号化ブロックに分割してもよく、本実施例は限定しない。ここで、異なるアルゴリズムによって取得された符号化ブロックの数は、同じであってもよいし、異なっていてもよい。
説明すべきものとして、本ステップにおける符号化ブロックを分割するアルゴリズムは、ステップ４０４１における符号化ブロックを分割するアルゴリズムと同じである。これにより、本ステップで取得された各符号化ブロックは、ステップ４０４１で取得された各符号化ブロックと同じである。
一つの可能な実現方式では、端末は、同様にｉ番目のビデオフレームを８×８個の符号化ブロックに分割する。
任意選択的に、端末は、まずステップ４０４１を実行した場合、ステップ４０４１の実行結果を直接読み出すことにより、少なくとも２つの符号化ブロックを取得してもよい。これにより、符号化ブロックを繰り返して分割することで消費される時間を回避し、符号化効率を向上させる。
ステップ４０５２で、符号化ブロックに対してフレーム間予測符号化を行うことにより、フレーム間符号化コストを取得する。
ここで、フレーム間符号化コストとフレーム内符号化コストとのアルゴリズムは同じであり、ここでは説明を省略する。
ステップ４０５３で、各フレーム間符号化コストの和を第２符号化コストとして決定する。
本実施例では、第２符号化コストをＰｃｏｓｔと記する。
説明すべきものとして、本実施例は、ステップ４０４及びステップ４０５の実行順序を限定しない。つまり、端末は、まず第１符号化コストを計算してから、第２符号化コストを計算してもよいし、まず第２符号化コストを計算してから、第１符号化コストを計算してもよいし、第１符号化コスト及び第２符号化コストを同時に計算してもよい。
ステップ４０６で、第１符号化コストを第２符号化コストで除算することにより、符号化コスト比を取得する。
本実施例では、符号化コスト比をＩＰｃｏｓｔと記すると、ＩＰｃｏｓｔ＝Ｉｃｏｓｔ／Ｐｃｏｓｔである。
図５を参照されたいが、図５は、符号化コスト比の計算過程を示している。図５において、端末は、まずｉ番目のビデオフレームをダウンサンプリングしてから、Ｉフレーム符号化コスト（即ち、ｉ番目のビデオフレームがＩフレームであると仮定する場合に算出された第１符号化コスト）及びＰフレーム符号化コスト（即ち、ｉ番目のビデオフレームがＰフレームであると仮定する場合に算出された第２符号化コスト）を計算し、Ｉフレーム符号化コストをＰフレーム符号化コストで除算することにより、符号化コスト比を取得する。
ステップ４０７で、符号化コスト比に基づいて、量子化パラメータ閾値を決定する。
本実施例では、端末は、符号化コスト比を数式に入力して量子化パラメータ閾値を計算してもよいし、又は、符号化コスト比と量子化パラメータ閾値との対応関係を設定し、符号化コスト比に基づいて、該対応関係から量子化パラメータ閾値を検索してもよく、本実施例は限定しない。ここで、量子化パラメータ閾値をＱＰＴＨと記する。
ここで、いずれの方式で量子化パラメータ閾値を決定しても、符号化コスト比は、量子化パラメータ閾値と正の相関関係にある。これは、ダウンサンプリングそのものがビデオ情報の一部を損失させるが、人間の目が、静止シーンの画質の損失に敏感であり、動いているシーンの画質の損失に敏感でないからである。このため、端末は、第１符号化解像度で符号化を行って画質を向上させることに傾くように、静止シーンでのビデオフレームに対して、大きな量子化パラメータ閾値を設定し、第２符号化解像度で符号化を行ってデータの圧縮比を向上させることに傾くように、動いているシーンでのビデオフレームに対して、小さな量子化パラメータ閾値を設定してもよい。
一般的に、符号化コスト比が小さいほど、現在のシーンの動きが激しくなることを表し、第２符号化解像度で符号化を行うことに傾くように、小さな量子化パラメータ閾値を設定する必要がある。逆に、符号化コスト比が大きいほど、現在のシーンが静止になることを表し、第１符号化解像度で符号化を行うことに傾くように、大きな量子化パラメータ閾値を設定する必要がある。
説明すべきものとして、量子化パラメータ閾値は、符号化解像度に対応するものであり、つまり、異なる符号化解像度は、異なる量子化パラメータ閾値に対応する。一般的に、第１符号化解像度に対応する量子化パラメータ閾値から、第２符号化解像度に対応する量子化パラメータ閾値を減算した差は、第１オフセットに等しい。
ステップ４０８で、量子化パラメータが量子化パラメータ閾値以下である場合、ｉ番目のビデオフレームの符号化解像度が第１符号化解像度であると決定し、量子化パラメータが量子化パラメータ閾値よりも大きい場合、ｉ番目のビデオフレームの符号化解像度が第２符号化解像度であると決定する。
本実施例では、量子化パラメータが、符号化解像度に対応するものであり、量子化パラメータ閾値も、符号化解像度に対応するものであるため、量子化パラメータと量子化パラメータ閾値とを比較する前に、量子化パラメータ及び量子化パラメータ閾値が、同じ符号化解像度に対応することを保証する必要がある。
本実施例では、２つの実現方式が提供されている。１つ目の実現方式では、１つの閾値集合を設定し、かつ該閾値集合を１つの符号化解像度に対応付け、量子化パラメータを取得した後、閾値集合に対応する符号化解像度に応じて、該量子化パラメータを変換し、変換された最終的な量子化パラメータと該閾値集合とに基づいて、量子化パラメータ閾値を決定する。２つ目の実現方式では、２つの閾値集合を設定し、かつ２つの閾値集合を異なる符号化解像度に対応付け、量子化パラメータを取得した後、まず、該量子化パラメータに対応する符号化解像度を決定してから、該符号解像度に基づいて、２つの閾値集合の中から１つの閾値集合を選択し、量子化パラメータ及び検索された閾値集合に基づいて、量子化パラメータ閾値を決定する。ここで、閾値集合は、少なくとも２つの量子化パラメータ閾値を含む集合であり、かつ、閾値集合には、量子化パラメータ閾値と符号化コスト比との第１対応関係が定義される。例えば、
Figure 2021516919
で示される閾値集合は、それぞれ３３及び３６である２つの量子化パラメータ閾値を含み、３３は、３よりも小さい符号化コスト比に対応し、３６は、３以上の符号化コスト比に対応する。
以下、この２つの実現方式を紹介する。
１つ目の実現方式について
１）１つの閾値集合が存在し、かつ該閾値集合が第１符号化解像度に対応する場合、量子化パラメータ及び量子化パラメータ閾値に基づいて、ｉ番目のビデオフレームの符号化解像度を決定する前に、該方法は、量子化パラメータの計算時に、ｉ番目のビデオフレームの符号化解像度が第１符号化解像度であると仮定した場合、該量子化パラメータを最終的な量子化パラメータとして決定するステップと、量子化パラメータの計算時に、ｉ番目のビデオフレームの符号化解像度が第２符号化解像度であると仮定した場合、該量子化パラメータに第１オフセットを加算することにより、最終的な量子化パラメータを取得するステップと、をさらに含む。
例えば、存在する１つの閾値集合は、第１符号化解像度に対応する。量子化パラメータＱＰの計算時に、ｉ番目のビデオフレームの符号化解像度が第１符号化解像度であると仮定した場合、該ＱＰを最終的な量子化パラメータとして、ステップ４０９を実行する。量子化パラメータＱＰの計算時に、ｉ番目のビデオフレームの符号化解像度が第２符号化解像度であると仮定した場合、該ＱＰ＋ＱＰｄｅｌｔａを最終的な量子化パラメータとして、ステップ４０９を実行する。
２）１つの閾値集合が存在し、かつ該閾値集合が第２符号化解像度に対応する場合、量子化パラメータ及び量子化パラメータ閾値に基づいて、ｉ番目のビデオフレームの符号化解像度を決定する前に、該方法は、量子化パラメータの計算時に、ｉ番目のビデオフレームの符号化解像度が第１符号化解像度であると仮定した場合、該量子化パラメータから第１オフセットを減算することにより、最終的な量子化パラメータを取得するステップと、量子化パラメータの計算時に、ｉ番目のビデオフレームの符号化解像度が第２符号化解像度であると仮定した場合、該量子化パラメータを最終的な量子化パラメータとして決定するステップと、をさらに含む。
例えば、存在する１つの閾値集合が第２符号化解像度に対応する。量子化パラメータＱＰの計算時に、ｉ番目のビデオフレームの符号化解像度が第１符号化解像度であると仮定した場合、該ＱＰ−ＱＰｄｅｌｔａを最終的な量子化パラメータとして、ステップ４０９を実行する。量子化パラメータＱＰの計算時に、ｉ番目のビデオフレームの符号化解像度が第２符号化解像度であると仮定した場合、該ＱＰを最終的な量子化パラメータとして、ステップ４０９を実行する。
２つ目の実現方式について
１）２つの閾値集合が存在し、かつ、２つの閾値集合が、異なる符号化解像度に対応する場合、量子化パラメータの計算時に、ｉ番目のビデオフレームの符号化解像度が第１符号化解像度であると仮定したのであれば、符号化コスト比、２つの閾値集合、及び第１符号化解像度に基づいて、量子化パラメータ閾値を決定する。ここで、符号化コスト比、２つの閾値集合、及び第１符号化解像度に基づいて、量子化パラメータ閾値を決定することは、２つの閾値集合の中から、第１符号化解像度に対応する閾値集合を検索するステップと、符号化コスト比に基づいて、検索された該閾値集合から、量子化パラメータ閾値を検索するステップと、を含む。
本実施例では、２つの閾値集合と、異なる符号化解像度との第２対応関係が予め設定されるため、符号化コスト比、２つの閾値集合、及び第１符号化解像度に基づいて、量子化パラメータ閾値を決定する際に、端末は、まず、第２対応関係に基づいて、２つの閾値集合の中から、第１符号化解像度に対応する１つの閾値集合を検索してから、該閾値集合に定義された量子化パラメータ閾値と符号化コスト比との第１対応関係に基づいて、該符号化コスト比に対応する１つの量子化パラメータ閾値を検索する。
例えば、第２対応関係において、第１符号化解像度に対応する閾値集合は
Figure 2021516919
であり、第２符号化解像度に対応する閾値集合は
Figure 2021516919
である。量子化パラメータの計算時に、ｉ番目のビデオフレームの符号化解像度が第１符号化解像度であると仮定した場合、選択された閾値集合は
Figure 2021516919
である。このときの符号化コスト比が３よりも小さい場合、取得された量子化パラメータ閾値は３３であり、このときの符号化コスト比が３以上である場合、取得された量子化パラメータ閾値は３６である。
２）２つの閾値集合が存在し、かつ、２つの閾値集合が、異なる符号化解像度に対応する場合、量子化パラメータの計算時に、ｉ番目のビデオフレームの符号化解像度が第１符号化解像度であると仮定したのであれば、符号化コスト比、２つの閾値集合、及び第２符号化解像度に基づいて、量子化パラメータ閾値を決定する。ここで、符号化コスト比値、２つの閾値集合、及び第２符号化解像度に基づいて、量子化パラメータ閾値を決定することは、２つの閾値集合の中から、第２符号化解像度に対応する閾値集合を検索するステップと、符号化コスト比に基づいて、検索された該閾値集合から、量子化パラメータ閾値を検索するステップと、を含む。
本実施例では、２つの閾値集合と、異なる符号化解像度との第２対応関係が予め設定されるたｍ、符号化コスト比、２つの閾値集合、及び第２符号化解像度に基づいて、量子化パラメータ閾値を決定する際に、端末は、まず、第２対応関係に基づいて、２つの閾値集合の中から、第２符号化解像度に対応する１つの閾値集合を検索してから、該閾値集合に定義された量子化パラメータ閾値と符号化コスト比との第１対応関係に基づいて、該符号化コスト比に対応する１つの量子化パラメータ閾値を検索する。
例えば、第２対応関係において、第１符号化解像度に対応する閾値集合は
Figure 2021516919
であり、第２符号化解像度に対応する閾値集合は
Figure 2021516919
である。量子化パラメータの計算時に、ｉ番目のビデオフレームの符号化解像度が第２符号化解像度であると仮定した場合、選択された閾値集合は
Figure 2021516919
である。このときの符号化コスト比が３よりも小さい場合、取得された量子化パラメータ閾値は２７であり、このときの符号化コスト比が３以上である場合、取得された量子化パラメータ閾値は３０である。
ステップ４０９で、該符号化解像度でｉ番目のビデオフレームを符号化する。
第１符号化解像度でｉ番目のビデオフレームを符号化する場合、画質が良く、データの圧縮比が低い。第２符号化解像度でｉ番目のビデオフレームを符号化する場合、画質が悪く、データの圧縮比が高い。
本実施例では、Ｈ．２６４、Ｈ．２６５、オーディオビデオ符号化標準（ＡＶＳ：Ａｕｄｉｏ Ｖｉｄｅｏ ｃｏｄｉｎｇ Ｓｔａｎｄａｒｄ）などのビデオ圧縮標準を用いて、上記決定された符号化解像度に基づいて、ビデオフレームを符号化してもよい。
以上説明したように、本願の実施例で提供されたビデオ符号化方法は、ビデオフレームの量子化パラメータ及び量子化パラメータ閾値をそれぞれ計算し、量子化パラメータ及び量子化パラメータ閾値に基づいて、ビデオフレームの符号化解像度を決定することにより、同じ種類のビデオフレームは、同じ符号化解像度に対応する可能性もあるし、異なる符号化解像度に対応する可能性もあるようになり、同じ種類のビデオフレームが同じ符号化解像度に対応することで、符号化方式の柔軟性が不十分になるという問題が解決され、符号化方式の柔軟性が向上する。
量子化パラメータが、画質に関連するものであり、量子化パラメータ閾値が、所望の画質に関連するものであるため、量子化パラメータ及び量子化パラメータ閾値に基づいて、ビデオフレームの符号化解像度を決定することは、画質及び所望の画質に基づいて、ビデオフレームの符号化解像度を選択することに相当する。所望の画質が高い場合、高い第１符号化解像度でビデオフレームを符号化することにより、画質を向上させる。所望の画質が低い場合、低い第２符号化解像度でビデオフレームを符号化することにより、データの圧縮比を向上させる。
まず、ビデオフレームをダウンサンプリングしてから、ビデオフレームの符号化コスト比を計算することにより、ビデオフレームのデータ量を低減させ、後続に第１符号化コスト及び第２符号化コストを計算する速度を向上させ、最終的に符号化解像度を決定する速度を向上させることができる。
図６を参照されたいが、図６は、本願の一実施例で提供されたビデオ符号化装置の構成ブロック図である。該ビデオ符号化装置は、図２に示す第１端末又は第２端末に適用可能である。該ビデオ符号化装置は、下記のモジュールを含む。
取得モジュール６１０は、符号化対象のビデオを取得し、ビデオには、順に並んだ少なくとも２つのビデオフレームが含まれる。ここで、該取得モジュール６１０の実現の詳細は、ステップ３０１又はステップ４０１の説明を参照されたい。
計算モジュール６２０は、少なくとも２つのビデオフレームのうちのｉ（ｉは、２以上の正の整数）番目のビデオフレームに対して、ｉ番目のビデオフレームの量子化パラメータ及び量子化パラメータ閾値を計算する。ここで、該計算モジュール６２０におけるｉ番目のビデオフレームの量子化パラメータの計算の実現の詳細は、ステップ３０２又はステップ４０２〜４０３の説明を参照されたいが、該計算モジュールにおけるｉ番目のビデオフレームの量子化パラメータ閾値の計算の実現の詳細は、ステップ３０２又はステップ４０４〜４０７の説明を参照されたい。
決定モジュール６３０は、計算モジュール６２０により取得された量子化パラメータ及び量子化パラメータ閾値に基づいて、ｉ番目のビデオフレームの符号化解像度を決定し、符号化解像度が、第１符号化解像度又は第２符号化解像度であり、第１符号化解像度が、ｉ番目のビデオフレームのサンプリング時の解像度であり、第２符号化解像度が、ｉ番目のビデオフレームをダウンサンプリングする場合の解像度である。ここで、該決定モジュール６３０の実現の詳細は、ステップ３０３又はステップ４０８の説明を参照されたい。
符号化モジュール６４０は、決定モジュール６３０により決定された符号化解像度でｉ番目のビデオフレームを符号化する。ここで、該符号化モジュール６４０の実現の詳細は、ステップ３０４又はステップ４０９での説明を参照されたい。
任意選択的に、計算モジュール６２０は、さらに、
ｉ番目のビデオフレームの符号化モードが固定品質符号化モードである場合、設定された量子化パラメータを読み出し、量子化パラメータをｉ番目のビデオフレームの量子化パラメータとして決定し（その実現の詳細は、ステップ４０２の説明を参照）、
ｉ番目のビデオフレームの符号化モードが固定ビットレート符号化モードである場合、ｉ番目のビデオフレームにおける１番目の符号化ブロックの量子化パラメータを計算し、１番目の符号化ブロックの量子化パラメータをｉ番目のビデオフレームの量子化パラメータとして決定する（その実現の詳細は、ステップ４０３の説明を参照）。
任意選択的に、計算モジュール６２０は、さらに、
ｉ−１番目のビデオフレームがＩフレームであり、かつ第２符号化解像度でｉ−１番目のビデオフレームを符号化した場合、ｉ−１番目のビデオフレームにおける全ての符号化ブロックの実際の量子化パラメータの平均値を計算し、第１オフセット及び第２オフセットを取得し、平均値、第１オフセット、及び第２オフセットの和を１番目の符号化ブロックの量子化パラメータとして決定し、及び／又は、
ｉ−１番目のビデオフレームがＩフレームであり、かつ第１符号化解像度でｉ−１番目のビデオフレームを符号化した場合、ｉ−１番目のビデオフレームにおける全ての符号化ブロックの実際の量子化パラメータの平均値を計算し、第２オフセットを取得し、平均値及び第２オフセットの和を１番目の符号化ブロックの量子化パラメータとして決定し、及び／又は、
ｉ−１番目のビデオフレームがＰフレームであり、かつ第１符号化解像度でｉ−１番目のビデオフレームを符号化した場合、ｉ−１番目のビデオフレームにおける全ての符号化ブロックの実際の量子化パラメータの平均値を計算し、平均値を１番目の符号化ブロックの量子化パラメータとして決定し、及び／又は、
ｉ−１番目のビデオフレームがＰフレームであり、かつ第２符号化解像度でｉ−１番目のビデオフレームを符号化した場合、ｉ−１番目のビデオフレームにおける全ての符号化ブロックの実際の量子化パラメータの平均値を計算し、第１オフセットを取得し、平均値及び第１オフセットの和を１番目の符号化ブロックの量子化パラメータとして決定する。
ここで、第１オフセットは、第１符号化解像度に対応する量子化パラメータと、第２符号化解像度に対応する量子化パラメータとのオフセットであり、第２オフセットは、ＩフレームとＰフレームとの量子化パラメータのオフセットである。
説明すべきものとして、ｉ番目のビデオフレームにおける１番目の符号化ブロックの量子化パラメータを計算する上記４つの実現方式での実現の詳細は、ステップ４０３の説明を参照されたい。
任意選択的に、計算モジュール６２０は、さらに、
ｉ番目のビデオフレームがＩフレームであると仮定する場合の第１符号化コストを計算し、
ｉ番目のビデオフレームがＰフレームであると仮定する場合の第２符号化コストを計算し、
第１符号化コストを第２符号化コストで除算することにより、符号化コスト比を取得し、
符号化コスト比に基づいて、量子化パラメータ閾値を決定し、符号化コスト比と量子化パラメータ閾値とが正の相関関係にある。
説明すべきものとして、上述したｉ番目のビデオフレームの量子化パラメータ閾値の計算の実現の詳細は、ステップ４０４〜４０７の説明を参照されたい。
任意選択的に、計算モジュール６２０は、さらに、
ｉ番目のビデオフレームを少なくとも２つの符号化ブロックに分割し、
符号化ブロックに対してフレーム内予測符号化を行うことにより、フレーム内符号化コストを取得し、
各フレーム内符号化コストの和を第１符号化コストとして決定する。
説明すべきものとして、上述した第１符号化コストの計算の実現の詳細は、ステップ４０４の説明を参照されたい。
任意選択的に、計算モジュール６２０は、さらに、
ｉ番目のビデオフレームを少なくとも２つの符号化ブロックに分割し、
符号化ブロックに対してフレーム間予測符号化を行うことにより、フレーム間符号化コストを取得し、
各フレーム間符号化コストの和を第２符号化コストとして決定する。
説明すべきものとして、上述した第２符号化コストの計算の実現の詳細は、ステップ４０５の説明を参照されたい。
任意選択的に、計算モジュール６２０は、さらに、ｉ番目のビデオフレームを少なくとも２つの符号化ブロックに分割する前に、ｉ番目のビデオフレームをダウンサンプリングする。
説明すべきものとして、上述したｉ番目のビデオフレームのダウンサンプリングの実現の詳細は、ステップ４０４３の説明を参照されたい。
任意選択的に、２つの閾値集合が存在し、かつ、２つの閾値集合が、異なる符号化解像度に対応する場合、計算モジュール６２０は、さらに、
量子化パラメータの計算時に、ｉ番目のビデオフレームの符号化解像度が第１符号化解像度であると仮定した場合、符号化コスト比、２つの閾値集合、及び第１符号化解像度に基づいて、量子化パラメータ閾値を決定し、
量子化パラメータの計算時に、ｉ番目のビデオフレームの符号化解像度が第２符号化解像度であると仮定した場合、符号化コスト比、２つの閾値集合、及び第２符号化解像度に基づいて量子化パラメータ閾値を決定する。
説明すべきものとして、上述した量子化パラメータ閾値の計算の実現の詳細は、ステップ４０８における２つ目の実現方式の説明を参照されたい。
任意選択的に、計算モジュール６２０は、さらに、
２つの閾値集合の中から、第１符号化解像度に対応する閾値集合を検索し、
符号化コスト比に基づいて、検索された該閾値集合から、量子化パラメータ閾値を検索する。
説明すべきものとして、上述した量子化パラメータ閾値の計算の実現の詳細は、ステップ４０８における２つ目の実現方式の１）の説明を参照されたい。
任意選択的に、計算モジュール６２０は、さらに、
２つの閾値集合の中から、第２符号化解像度に対応する閾値集合を検索し、
符号化コスト比に基づいて、検索された該閾値集合から、量子化パラメータ閾値を検索する。
説明すべきものとして、上述した量子化パラメータ閾値の計算の実現の詳細は、ステップ４０８における２つ目の実現方式の２）の説明を参照されたい。
任意選択的に、決定モジュール６３０は、さらに、
量子化パラメータが量子化パラメータ閾値以下である場合、ｉ番目のビデオフレームの符号化解像度が第１符号化解像度であると決定し、
量子化パラメータが量子化パラメータ閾値よりも大きい場合、ｉ番目のビデオフレームの符号化解像度が第２符号化解像度であると決定する。
説明すべきものとして、上述した符号化解像度の決定の実現の詳細は、ステップ４０８の説明を参照されたい。
任意選択的に、１つの閾値集合が存在し、かつ閾値集合が第１符号化解像度に対応する場合、決定モジュール６３０は、さらに、量子化パラメータの計算時に、ｉ番目のビデオフレームの符号化解像度が第１符号化解像度であると仮定した場合、量子化パラメータを最終的な量子化パラメータとして決定し、量子化パラメータの計算時に、ｉ番目のビデオフレームの符号化解像度が第２符号化解像度であると仮定した場合、量子化パラメータに第１オフセットを加算することにより、最終的な量子化パラメータを取得する。
説明すべきものとして、上述した最終的な量子化パラメータの決定の実現の詳細は、ステップ４０８における１つ目の実現方式の１）の説明を参照されたい。
任意選択的に、１つの閾値集合が存在し、かつ閾値集合が第２符号化解像度に対応する場合、決定モジュール６３０は、さらに、量子化パラメータの計算時に、ｉ番目のビデオフレームの符号化解像度が第１符号化解像度であると仮定した場合、量子化パラメータから第１オフセットを減算することにより、最終的な量子化パラメータを取得し、量子化パラメータの計算時に、ｉ番目のビデオフレームの符号化解像度が第２符号化解像度であると仮定した場合、量子化パラメータを最終的な量子化パラメータとして決定する。
説明すべきものとして、上述した最終的な量子化パラメータの決定の実現の詳細は、ステップ４０８における１つ目の実現方式の２）の説明を参照されたい。
以上説明したように、本願の実施例で提供されたビデオ符号化装置は、ビデオフレームの量子化パラメータ及び量子化パラメータ閾値をそれぞれ計算し、量子化パラメータ及び量子化パラメータ閾値に基づいて、ビデオフレームの符号化解像度を決定することにより、同じ種類のビデオフレームは、同じ符号化解像度に対応する可能性もあるし、異なる符号化解像度に対応する可能性もあるようになり、同じ種類のビデオフレームが同じ符号化解像度に対応することで、符号化方式の柔軟性が不十分になるという問題が解決され、符号化方式の柔軟性が向上する。
量子化パラメータが、画質に関連するものであり、量子化パラメータ閾値が、所望の画質に関連するものであるため、量子化パラメータ及び量子化パラメータ閾値に基づいて、ビデオフレームの符号化解像度を決定することは、画質及び所望の画質に基づいて、ビデオフレームの符号化解像度を選択することに相当する。所望の画質が高い場合、高い第１符号化解像度でビデオフレームを符号化することにより、画質を向上させる。所望の画質が低い場合、低い第２符号化解像度でビデオフレームを符号化することにより、データの圧縮比を向上させる。
まず、ビデオフレームをダウンサンプリングしてから、ビデオフレームの符号化コスト比を計算することにより、ビデオフレームのデータ量を低減させ、後続に第１符号化コスト及び第２符号化コストを計算する速度を向上させ、最終的に符号化解像度を決定する速度を向上させることができる。
図７は、本願の例示的な一実施例で提供された端末７００の構成ブロック図である。該端末７００は、例えば、スマートフォン、タブレットコンピュータ、ムービング・ピクチャー・エクスパーツ・グループ・オーディオレイヤー３（ＭＰ３：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＩＩ）プレーヤー、ムービング・ピクチャー・エクスパーツ・グループ・オーディオレイヤー４（ＭＰ４：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ Ａｕｄｉｏ Ｌａｙｅｒ ＩＶ）プレーヤー、ノートパソコン、又はデスクトップパソコンのような携帯移動端末であってもよい。端末７００は、ユーザ機器、携帯端末、ラップトップ型端末、デスクトップ型端末などの他の名称と称される可能性もある。
一般的に、端末７００は、プロセッサ７０１とメモリ７０２とを備える。
プロセッサ７０１は、１つ又は複数の処理コアを含んでもよく、例えば、４コアプロセッサ、８コアプロセッサなどである。プロセッサ７０１は、デジタル信号処理（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、プログラマブルロジックアレイ（ＰＬＡ：Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ａｒｒａｙ）のうちの少なくとも１つのハードウェアの形で実現されてもよい。プロセッサ７０１は、メインプロセッサとコプロセッサとを含んでもよい。メインプロセッサは、ウェイク状態でのデータを処理するためのプロセッサであり、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とも呼ばれる。コプロセッサは、スタンバイ状態でのデータを処理するための低消費電力プロセッサである。いくつかの実施例では、プロセッサ７０１には、グラフィック処理ユニット（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が組み込まれてもよい。ＧＰＵは、ディスプレイに表示しようとするコンテンツのレンダリング及び描画を担当する。いくつかの実施例では、プロセッサ７０１は、機械学習に関する演算操作を処理するための人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）プロセッサを含んでもよい。
メモリ７０２は、１つ又は複数のコンピュータ可読記憶媒体を含んでもよい。該コンピュータ可読記憶媒体は、非一時的であってもよい。メモリ７０２は、高速ランダムアクセスメモリ、及び不揮発性メモリ、例えば、１つ又は複数のディスク記憶デバイス、フラッシュメモリ記憶デバイスなどを含んでもよい。いくつかの実施例では、メモリ７０２内の非一時的なコンピュータ可読記憶媒体は、少なくとも１つの命令を記憶する。該少なくとも１つの命令は、プロセッサ７０１によって実行されることで、本願の方法の実施例で提供されたビデオ符号化方法を実現させる。
いくつかの実施例では、端末７００は、任意選択的に、周辺機器インタフェース７０３及び少なくとも１つの周辺機器をさらに含む。プロセッサ７０１、メモリ７０２、及び周辺機器インタフェース７０３の間には、バス又は信号線を介して接続されてもよい。各周辺機器は、バス、信号線、又は回路基板を介して、周辺機器インタフェース７０３に接続されてもよい。具体的には、周辺機器は、無線周波数回路７０４、ディスプレイ７０５、カメラコンポーネント７０６、オーディオ回路７０７、測位コンポーネント７０８、及び電源７０９のうちの少なくとも１つを含む。
周辺機器インタフェース７０３は、入力／出力（Ｉ／Ｏ：Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）に関する少なくとも１つの周辺機器をプロセッサ７０１とメモリ７０２とに接続するために用いられてもよい。いくつかの実施例では、プロセッサ７０１、メモリ７０２、及び周辺機器インタフェース７０３は、同一のチップ又は回路基板上に集積される。いくつかの他の実施例では、プロセッサ７０１、メモリ７０２、及び周辺機器インタフェース７０３のいずれか１つ又は２つが、個別のチップ又は回路基板上で実現されてもよく、本実施例はこれを限定しない。
無線周波数回路７０４は、電磁信号とも呼ばれる無線周波数（ＲＦ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）信号を送受信する。無線周波数回路７０４は、電磁信号により通信ネットワーク及び他の通信機器と通信を行う。無線周波数回路７０４は、電気信号を電磁信号に変換して送信したり、受信された電磁信号を電気信号に変換したりする。任意選択的に、無線周波数回路７０４は、アンテナシステム、ＲＦトランシーバ、１つ又は複数の増幅器、チューナー、発振器、デジタル信号プロセッサ、コーデックチップセット、ユーザ識別モジュールカードなどを含む。無線周波数回路７０４は、少なくとも１つの無線通信プロトコルにより他の端末と通信することができる。該無線通信プロトコルは、メトロポリタンエリアネットワーク、各世代移動通信ネットワーク（２Ｇ、３Ｇ、４Ｇ、及び５Ｇ）、無線ローカルエリアネットワーク、及び／又はワイヤレスフィデリティ（ＷｉＦｉ：Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）ネットワークを含むが、これらに限定されない。いくつかの実施例では、無線周波数回路７０４は、近距離無線通信（ＮＦＣ：Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）に関する回路を含んでもよく、本願はこれを限定しない。
ディスプレイ７０５は、ユーザ画面（ＵＩ：Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する。該ＵＩは、図形、テキスト、アイコン、ビデオ、及びこれらの任意の組み合わせを含んでもよい。ディスプレイ７０５がタッチディスプレイである場合、ディスプレイ７０５は、ディスプレイ７０５の表面又は表面の上方のタッチ信号を収集する能力も有する。該タッチ信号は、制御信号としてプロセッサ７０１に入力されて処理されてもよい。この場合、ディスプレイ７０５は、ソフトボタン及び／又はソフトキーボードとも呼ばれる仮想ボタン及び／又は仮想キーボードを提供するために用いられてもよい。いくつかの実施例では、ディスプレイ７０５は、１つであってもよく、端末７００のフロントパネルに設けられてもよい。別のいくつかの実施例では、ディスプレイ７０５は、少なくとも２つであってもよく、それぞれ端末７００の異なる表面に設けられたり、折り畳まれるように設計されたりしてもよい。他のいくつかの実施例では、ディスプレイ７０５は、端末７００の湾曲面又は折り畳み面に設けられるフレキシブルなディスプレイであってもよい。ひいては、ディスプレイ７０５は、非矩形の不規則な図形、即ち異形ディスプレイに設けられてもよい。ディスプレイ７０５は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機発光ダイオード（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの材質を用いて製造されてもよい。
カメラコンポーネント７０６は、画像又はビデオを収集する。任意選択的に、カメラコンポーネント７０６は、フロントカメラとリアカメラとを含む。一般的に、フロントカメラは、端末のフロントパネルに設けられ、リアカメラは、端末の背面に設けられる。いくつかの実施例で、リアカメラは、少なくとも２つあり、それぞれメインカメラ、デプスカメラ、広角カメラ、望遠カメラのうちの任意の１種類である。これにより、メインカメラ及びデプスカメラを組み合わせて実現される背景ボケの機能、メインカメラ及び広角カメラを組み合わせて実現されるパノラマ撮影及び仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）撮影の機能、又はその他の組み合わせ撮影の機能を実現する。いくつかの実施例では、カメラコンポーネント７０６は、フラッシュをさらに含んでもよい。フラッシュは、単一色温度フラッシュであってもよいし、二重色温度フラッシュであってもよい。二重色温度フラッシュは、暖色系のフラッシュと寒色系のフラッシュとの組み合わせを指し、異なる色温度での光の補償に用いることができる。
オーディオ回路７０７は、マイクロホン及びスピーカーを含んでもよい。マイクロホンは、ユーザ及び環境の音波を収集し、音波を電気信号に変換し、電気信号を、処理のためにプロセッサ７０１に入力するか、又は、音声通信を実現するために無線周波数回路７０４に入力する。マイクロホンは、ステレオ収集又はノイズ低減のために、複数であってもよく、端末７００の異なる部位にそれぞれ設けられてもよい。マイクロホンは、アレイマイクロホン又は全指向性マイクロホンであってもよい。スピーカーは、プロセッサ７０１又は無線周波数回路７０４からの電気信号を音波に変換する。スピーカーは、従来のフィルムスピーカーであってもよいし、圧電セラミックスピーカーであってもよい。スピーカーが圧電セラミックスピーカーである場合に、電気信号を人間に聞こえる音波に変換できるだけでなく、距離測定などの用途のために、電気信号を人間に聞こえない音波に変換できる。いくつかの実施例では、オーディオ回路７０７は、イヤホンジャックをさらに含んでもよい。
測位コンポーネント７０８は、ナビゲーション又は位置情報サービス（ＬＢＳ：Ｌｏｃａｔｉｏｎ Ｂａｓｅｄ Ｓｅｒｖｉｃｅ）を実現するために、端末７００の現在の地理的位置を測位する。測位コンポーネント７０８は、米国の全地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、中国の北斗システム、ロシアのグロナスシステム、又は欧州連合のガリレオシステムに基づく測位コンポーネントであってもよい。
電源７０９は、端末７００内の各コンポーネントに電力を供給する。電源７０９は、交流電力、直流電力、一次電池、又は充電式電池であってもよい。電源７０９に充電式電池が含まれる場合、該充電式電池は、有線充電又は無線充電をサポートしてもよい。該充電式電池は、迅速充電技術をサポートするために用いられてもよい。
いくつかの実施例では、端末７００は、１つ又は複数のセンサ７１０をさらに含む。該１つ又は複数のセンサ７１０は、加速度センサ７１１、ジャイロセンサ７１２、圧力センサ７１３、指紋センサ７１４、光学センサ７１５、及び近接センサ７１６を含むが、これらに限定されない。
加速度センサ７１１は、端末７００で確立された座標系の３つの座標軸上の加速度の大きさを検出することができる。例えば、加速度センサ７１１は、重力加速度の３つの座標軸の成分を検出するために用いられてもよい。プロセッサ７０１は、加速度センサ７１１で収集された重力加速度信号に基づいて、タッチディスプレイ７０５が横方向のビュー又は縦方向のビューでユーザ画面の表示を行うように制御してもよい。加速度センサ７１１は、ゲーム又はユーザの運動データの収集に用いられてもよい。
ジャイロセンサ７１２は、端末７００の機体の方向及び回転角度を検出することができる。ジャイロセンサ７１２は、、加速度センサ７１１と協働して、端末７００に対するユーザの３Ｄ動作を収集することができる。プロセッサ７０１は、ジャイロセンサ７１２で収集されたデータに基づいて、動作感知（例えば、ユーザの傾き操作に応じてＵＩを変更する）、撮影時の画像安定化、ゲーム制御、及び慣性航法の機能を実現することができる。
圧力センサ７１３は、端末７００のサイドフレーム及び／又はタッチディスプレイ７０５の下に設けられてもよい。圧力センサ７１３は、端末７００のサイドフレームに設けられる場合、端末７００に対するユーザの把持信号を検出することができる。プロセッサ７０１は、圧力センサ７１３で収集された把持信号に基づいて、左右手の識別又はショートカット操作を行う。圧力センサ７１３がタッチディスプレイ７０５の下に設けられる場合、プロセッサ７０１は、タッチディスプレイ７０５に対するユーザの圧力操作に基づいて、ＵＩ上の操作可能なコントロールユニットへの制御を実現する。操作可能なコントロールユニットは、ボタンコントロールユニット、スクロールバーコントロールユニット、アイコンコントロールユニット、メニューコントロールユニットのうちの少なくとも１種類を含む。
指紋センサ７１４は、ユーザの指紋を収集する。プロセッサ７０１が、指紋センサ７１４で収集された指紋に基づいて、ユーザのアイデンティティを識別し、又は、指紋センサ７１４が、収集された指紋に基づいて、ユーザのアイデンティティを識別する。ユーザのアイデンティティが、信頼できるアイデンティティであると識別された場合、プロセッサ７０１は、該ユーザが関連の敏感な操作を実行することを許可する。該敏感な操作は、画面のロック解除、暗号化情報の閲覧、ソフトウェアのダウンロード、支払い、及び設定変更などを含む。指紋センサ７１４は、端末７００の正面、背面、又は側面に設けられてもよい。端末７００に物理キー又はメーカーＬｏｇｏが設けられる場合、指紋センサ７１４は、物理キー又はメーカーＬｏｇｏと一体化されてもよい。
光学センサ７１５は、環境光の強度を収集する。一実施例では、プロセッサ７０１は、光学センサ７１５で収集された環境光の強度に応じて、タッチディスプレイ７０５の表示輝度を制御してもよい。具体的には、環境光の強度が高い場合に、タッチディスプレイ７０５の表示輝度を高くし、環境光の強度が低い場合に、タッチディスプレイ７０５の表示輝度を低くする。他の実施例では、プロセッサ７０１は、光学センサ７１５で収集された環境光の強度に応じて、カメラコンポーネント７０６の撮影パラメータを動的に調整してもよい。
近接センサ７１６は、距離センサとも呼ばれ、通常、端末７００のフロントパネルに設けられる。近接センサ７１６は、ユーザと端末７００の正面との距離を収集する。一実施例では、近接センサ７１６が、ユーザと端末７００の正面との距離が徐々に小さくなることを検出すると、プロセッサ７０１は、タッチディスプレイ７０５を点灯状態から消灯状態に切り替えるように制御する。近接センサ７１６が、ユーザと端末７００の正面との距離が徐々に大きくなることを検出すると、プロセッサ７０１は、タッチディスプレイ７０５を消灯状態から点灯状態に切り替えるように制御する。
当業者であれば理解できるように、図７に示す構成が、端末７００を限定するものではなく、端末７００は、図示より多く又は少ないコンポーネントを含んでもよく、或いはいくらかのコンポーネントを組み合わせたものであってもよく、或いはコンポーネントの異なる配置を採用してもよい。
本願の一実施例では、コンピュータ可読記憶媒体が提供されている。前記記憶媒体には、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットが記憶され、前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセット又は命令セットは、前記プロセッサによりロードされて実行されることで、上記のようなビデオ符号化方法を実現させる。
本願の一実施例では、ビデオ符号化機器が提供されている。前記ビデオ符号化機器は、プロセッサと、メモリとを備え、前記メモリには、少なくとも１つの命令が記憶され、前記命令は、前記プロセッサによりロードされて実行されることで、上記のようなビデオ符号化方法を実現させる。
ここで、ビデオ符号化機器が端末のような電子機器である場合、該ビデオ符号化機器の構成の詳しくは、図７に示す実施例における端末７００の構成の説明を参照されたい。
説明すべきものとして、上記実施例で提供されたビデオ符号化装置は、ビデオ符号化を行う際に、上記の各機能モジュールの分割のみを例として説明されているが、実際の適用では、必要に応じて、上記の機能を異なる機能モジュールに割り当てて完了し、即ち、ビデオ符号化装置の内部構成を異なる機能モジュールに分割して、以上に説明した全部又は一部の機能を完了してもよい。また、上記実施例で提供されたビデオ符号化装置は、ビデオ符号化方法の実施例と同一の構想に属し、その具体的な実現過程の詳しくは、方法の実施例を参照されたいが、ここでは説明を省略する。
当業者であれば理解できるように、上記の実施例を実現する全部又は一部のステップは、ハードウェアによって実行されてもよいし、プログラムによって関連のハードウェアに指示することにより実行されてもよい。前記プログラムは、コンピュータ可読記憶媒体に記憶されてもよく、上記の記憶媒体は、読み出し専用メモリ、磁気ディスク、又は光ディスクなどであってもよい。
以上の説明は、本願の実施例を限定するものではなく、本願の実施例の精神及び原則内で行われるいかなる修正、均等置換え、改善などは全て本願の実施例の保護範囲内に含まれるべきである。
２１０ 第１端末
２２０ 第２端末
２３０ サーバ
６１０ 取得モジュール
６２０ 計算モジュール
６３０ 決定モジュール
６４０ 符号化モジュール
７００ 端末
７０１ プロセッサ
７０２ メモリ
７０３ 周辺機器インタフェース
７０４ 無線周波数回路
７０５ ディスプレイ
７０６ カメラコンポーネント
７０７ オーディオ回路
７０８ 測位コンポーネント
７０９ 電源
７１０ センサ
７１１ 加速度センサ
７１２ ジャイロセンサ
７１３ 圧力センサ
７１４ 指紋センサ
７１５ 光学センサ
７１６ 近接センサ
例えば、存在する１つの閾値集合は、第１符号化解像度に対応する。量子化パラメータＱＰの計算時に、ｉ番目のビデオフレームの符号化解像度が第１符号化解像度であると仮定した場合、該ＱＰを最終的な量子化パラメータとして、ステップ４０８を実行する。量子化パラメータＱＰの計算時に、ｉ番目のビデオフレームの符号化解像度が第２符号化解像度であると仮定した場合、該ＱＰ＋ＱＰｄｅｌｔａを最終的な量子化パラメータとして、ステップ４０８を実行する。
例えば、存在する１つの閾値集合が第２符号化解像度に対応する。量子化パラメータＱＰの計算時に、ｉ番目のビデオフレームの符号化解像度が第１符号化解像度であると仮定した場合、該ＱＰ−ＱＰｄｅｌｔａを最終的な量子化パラメータとして、ステップ４０８を実行する。量子化パラメータＱＰの計算時に、ｉ番目のビデオフレームの符号化解像度が第２符号化解像度であると仮定した場合、該ＱＰを最終的な量子化パラメータとして、ステップ４０８を実行する。
２）２つの閾値集合が存在し、かつ、２つの閾値集合が、異なる符号化解像度に対応する場合、量子化パラメータの計算時に、ｉ番目のビデオフレームの符号化解像度が第２符号化解像度であると仮定したのであれば、符号化コスト比、２つの閾値集合、及び第２符号化解像度に基づいて、量子化パラメータ閾値を決定する。ここで、符号化コスト比値、２つの閾値集合、及び第２符号化解像度に基づいて、量子化パラメータ閾値を決定することは、２つの閾値集合の中から、第２符号化解像度に対応する閾値集合を検索するステップと、符号化コスト比に基づいて、検索された該閾値集合から、量子化パラメータ閾値を検索するステップと、を含む。
本実施例では、２つの閾値集合と、異なる符号化解像度との第２対応関係が予め設定されるため、符号化コスト比、２つの閾値集合、及び第２符号化解像度に基づいて、量子化パラメータ閾値を決定する際に、端末は、まず、第２対応関係に基づいて、２つの閾値集合の中から、第２符号化解像度に対応する１つの閾値集合を検索してから、該閾値集合に定義された量子化パラメータ閾値と符号化コスト比との第１対応関係に基づいて、該符号化コスト比に対応する１つの量子化パラメータ閾値を検索する。
ステップ４０９で、ステップ４０８で決定された符号化解像度でｉ番目のビデオフレームを符号化する。

Claims (16)

  1. 端末が実行するビデオ符号化方法であって、
    符号化対象のビデオを取得するステップであって、前記ビデオには、順に並んだ少なくとも２つのビデオフレームが含まれる、ステップと、
    前記少なくとも２つのビデオフレームのうちのｉ（ｉは、２以上の正の整数）番目のビデオフレームに対して、前記ｉ番目のビデオフレームの量子化パラメータ及び量子化パラメータ閾値を計算するステップと、
    前記ｉ番目のビデオフレームの量子化パラメータ及び量子化パラメータ閾値に基づいて、前記ｉ番目のビデオフレームの符号化解像度を決定するステップであって、前記符号化解像度が、第１符号化解像度又は第２符号化解像度であり、前記第１符号化解像度が、前記ｉ番目のビデオフレームのサンプリング時の解像度であり、前記第２符号化解像度が、前記ｉ番目のビデオフレームをダウンサンプリングする場合の解像度である、ステップと、
    前記符号化解像度で前記ｉ番目のビデオフレームを符号化するステップと、
    を含むことを特徴とする方法。
  2. 前記ｉ番目のビデオフレームの量子化パラメータを計算することは、
    前記ｉ番目のビデオフレームの符号化モードが固定品質符号化モードである場合、設定された量子化パラメータを読み出し、前記設定された量子化パラメータを前記ｉ番目のビデオフレームの量子化パラメータとして決定するステップと、
    前記ｉ番目のビデオフレームの符号化モードが固定ビットレート符号化モードである場合、前記ｉ番目のビデオフレームにおける１番目の符号化ブロックの量子化パラメータを計算し、前記１番目の符号化ブロックの量子化パラメータを前記ｉ番目のビデオフレームの量子化パラメータとして決定するステップと、
    を含むことを特徴とする請求項１に記載の方法。
  3. 前記ｉ番目のビデオフレームにおける１番目の符号化ブロックの量子化パラメータを計算することは、
    ｉ−１番目のビデオフレームがＩフレームであり、かつ前記第２符号化解像度で前記ｉ−１番目のビデオフレームを符号化した場合、前記ｉ−１番目のビデオフレームにおける全ての符号化ブロックの実際の量子化パラメータの平均値を計算し、第１オフセット及び第２オフセットを取得し、前記平均値、前記第１オフセット、及び前記第２オフセットの和を前記１番目の符号化ブロックの量子化パラメータとして決定するステップ、及び／又は、
    ｉ−１番目のビデオフレームがＩフレームであり、かつ前記第１符号化解像度で前記ｉ−１番目のビデオフレームを符号化した場合、前記ｉ−１番目のビデオフレームにおける全ての符号化ブロックの実際の量子化パラメータの平均値を計算し、第２オフセットを取得し、前記平均値及び前記第２オフセットの和を前記１番目の符号化ブロックの量子化パラメータとして決定するステップ、及び／又は、
    ｉ−１番目のビデオフレームがＰフレームであり、かつ前記第１符号化解像度で前記ｉ−１番目のビデオフレームを符号化した場合、前記ｉ−１番目のビデオフレームにおける全ての符号化ブロックの実際の量子化パラメータの平均値を計算し、前記平均値を前記１番目の符号化ブロックの量子化パラメータとして決定するステップ、及び／又は、
    ｉ−１番目のビデオフレームがＰフレームであり、かつ前記第２符号化解像度で前記ｉ−１番目のビデオフレームを符号化した場合、前記ｉ−１番目のビデオフレームにおける全ての符号化ブロックの実際の量子化パラメータの平均値を計算し、第１オフセットを取得し、前記平均値及び前記第１オフセットの和を前記１番目の符号化ブロックの量子化パラメータとして決定するステップ、を含み、
    前記第１オフセットは、前記第１符号化解像度に対応する量子化パラメータと、前記第２符号化解像度に対応する量子化パラメータとのオフセットであり、前記第２オフセットは、ＩフレームとＰフレームとの量子化パラメータのオフセットである、
    ことを特徴とする請求項２に記載の方法。
  4. 前記ｉ番目のビデオフレームの量子化パラメータ閾値を計算することは、
    前記ｉ番目のビデオフレームがＩフレームであると仮定する場合の第１符号化コストを計算するステップと、
    前記ｉ番目のビデオフレームがＰフレームであると仮定する場合の第２符号化コストを計算するステップと、
    前記第１符号化コストを前記第２符号化コストで除算することにより、符号化コスト比を取得するステップと、
    前記符号化コスト比に基づいて、前記量子化パラメータ閾値を決定するステップであって、前記符号化コスト比と前記量子化パラメータ閾値とが正の相関関係にある、ステップと、
    を含むことを特徴とする請求項１に記載の方法。
  5. 前記ｉ番目のビデオフレームがＩフレームであると仮定する場合の第１符号化コストを計算する前記ステップは、
    前記ｉ番目のビデオフレームを少なくとも２つの符号化ブロックに分割するステップと、
    前記符号化ブロックに対してフレーム内予測符号化を行うことにより、フレーム内符号化コストを取得するステップと、
    各フレーム内符号化コストの和を前記第１符号化コストとして決定するステップと、
    を含むことを特徴とする請求項４に記載の方法。
  6. 前記ｉ番目のビデオフレームがＰフレームであると仮定する場合の第２符号化コストを計算する前記ステップは、
    前記ｉ番目のビデオフレームを少なくとも２つの符号化ブロックに分割するステップと、
    前記符号化ブロックに対してフレーム間予測符号化を行うことにより、フレーム間符号化コストを取得するステップと、
    各フレーム間符号化コストの和を前記第２符号化コストとして決定するステップと、
    を含むことを特徴とする請求項４に記載の方法。
  7. ２つの閾値集合が存在し、かつ、前記２つの閾値集合が、異なる符号化解像度に対応する場合、前記符号化コスト比に基づいて、前記量子化パラメータ閾値を決定する前記ステップは、
    前記ｉ番目のビデオフレームの量子化パラメータの計算時に、前記ｉ番目のビデオフレームの符号化解像度が前記第１符号化解像度であると仮定した場合、前記符号化コスト比、前記２つの閾値集合、及び前記第１符号化解像度に基づいて、前記量子化パラメータ閾値を決定するステップと、
    前記ｉ番目のビデオフレームの量子化パラメータの計算時に、前記ｉ番目のビデオフレームの符号化解像度が前記第２符号化解像度であると仮定した場合、前記符号化コスト比、前記２つの閾値集合、及び前記第２符号化解像度に基づいて、前記量子化パラメータ閾値を決定するステップと、
    を含むことを特徴とする請求項４に記載の方法。
  8. 前記符号化コスト比、前記２つの閾値集合、及び前記第１符号化解像度に基づいて、前記量子化パラメータ閾値を決定する前記ステップは、
    前記２つの閾値集合の中から、前記第１符号化解像度に対応する１つの閾値集合を検索するステップと、
    前記符号化コスト比に基づいて、検索された前記閾値集合から、前記量子化パラメータ閾値を検索するステップと、
    を含むことを特徴とする請求項７に記載の方法。
  9. 前記符号化コスト比、前記２つの閾値集合、及び前記第２符号化解像度に基づいて、前記量子化パラメータ閾値を決定する前記ステップは、
    前記２つの閾値集合の中から、前記第２符号化解像度に対応する１つの閾値集合を検索するステップと、
    前記符号化コスト比に基づいて、検索された前記閾値集合から、前記量子化パラメータ閾値を検索するステップと、
    を含むことを特徴とする請求項７に記載の方法。
  10. 前記ｉ番目のビデオフレームの量子化パラメータ及び量子化パラメータ閾値に基づいて、前記ｉ番目のビデオフレームの符号化解像度を決定する前記ステップは、
    前記ｉ番目のビデオフレームの量子化パラメータが前記量子化パラメータ閾値以下である場合、前記ｉ番目のビデオフレームの符号化解像度が前記第１符号化解像度であると決定するステップと、
    前記ｉ番目のビデオフレームの量子化パラメータが前記量子化パラメータ閾値よりも大きい場合、前記ｉ番目のビデオフレームの符号化解像度が前記第２符号化解像度であると決定するステップと、
    を含むことを特徴とする請求項１乃至９のいずれか１項に記載の方法。。
  11. １つの閾値集合が存在し、かつ前記閾値集合が前記第１符号化解像度に対応する場合、前記ｉ番目のビデオフレームの量子化パラメータ及び量子化パラメータ閾値に基づいて、前記ｉ番目のビデオフレームの符号化解像度を決定する前記ステップの前に、
    前記ｉ番目のビデオフレームの量子化パラメータの計算時に、前記ｉ番目のビデオフレームの符号化解像度が前記第１符号化解像度であると仮定した場合、前記ｉ番目のビデオフレームの量子化パラメータを最終的な量子化パラメータとして決定するステップと、
    前記ｉ番目のビデオフレームの量子化パラメータの計算時に、前記ｉ番目のビデオフレームの符号化解像度が前記第２符号化解像度であると仮定した場合、前記ｉ番目のビデオフレームの量子化パラメータに前記第１オフセットを加算することにより、最終的な量子化パラメータを取得するステップと、
    をさらに含むことを特徴とする請求項１０に記載の方法。
  12. １つの閾値集合が存在し、かつ前記閾値集合が前記第２符号化解像度に対応する場合、前記ｉ番目のビデオフレームの量子化パラメータ及び量子化パラメータ閾値に基づいて、前記ｉ番目のビデオフレームの符号化解像度を決定する前記ステップの前に、
    前記ｉ番目のビデオフレームの量子化パラメータの計算時に、前記ｉ番目のビデオフレームの符号化解像度が前記第１符号化解像度であると仮定した場合、前記ｉ番目のビデオフレームの量子化パラメータから前記第１オフセットを減算することにより、最終的な量子化パラメータを取得するステップと、
    前記ｉ番目のビデオフレームの量子化パラメータの計算時に、前記ｉ番目のビデオフレームの符号化解像度が前記第２符号化解像度であると仮定した場合、前記ｉ番目のビデオフレームの量子化パラメータを最終的な量子化パラメータとして決定するステップと、
    を含むことを特徴とする請求項１０に記載の方法。
  13. ビデオ符号化装置であって、
    符号化対象のビデオを取得し、前記ビデオには、順に並んだ少なくとも２つのビデオフレームが含まれる取得モジュールと、
    前記少なくとも２つのビデオフレームのうちのｉ（ｉは、２以上の正の整数）番目のビデオフレームに対して、前記ｉ番目のビデオフレームの量子化パラメータ及び量子化パラメータ閾値を計算する計算モジュールと、
    前記計算モジュールにより取得された前記量子化パラメータ及び前記量子化パラメータ閾値に基づいて、前記ｉ番目のビデオフレームの符号化解像度を決定し、前記符号化解像度が、第１符号化解像度又は第２符号化解像度であり、前記第１符号化解像度が、前記ｉ番目のビデオフレームのサンプリング時の解像度であり、前記第２符号化解像度が、前記ｉ番目のビデオフレームをダウンサンプリングする場合の解像度である決定モジュールと、
    前記決定モジュールにより決定された前記符号化解像度で前記ｉ番目のビデオフレームを符号化する符号化モジュールと、
    を含むことを特徴とする装置。
  14. コンピュータ可読記憶媒体であって、少なくとも１つの命令、少なくとも１つのプログラム、コードセット又は命令セットが記憶され、前記少なくとも１つの命令、前記少なくとも１つのプログラム、前記コードセット又は命令セットは、プロセッサによりロードされて実行されることで、請求項１〜１２のいずれか１項に記載のビデオ符号化方法を実現させることを特徴とする記憶媒体。
  15. ビデオ符号化機器であって、プロセッサと、メモリとを備え、前記メモリには、前記少なくとも１つの命令が記憶され、前記命令は、前記プロセッサによりロードされて実行されることで、請求項１〜１２のいずれか１項に記載のビデオ符号化方法を実現させることを特徴とする機器。
  16. 請求項１〜１２のいずれか１項に記載のビデオ符号化方法を、端末に実行させるコンピュータプログラム。
JP2020551298A 2018-04-27 2019-03-18 ビデオ符号化方法並びにその装置、記憶媒体、機器、及びコンピュータプログラム Active JP7085014B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201810394329.9A CN108391127B (zh) 2018-04-27 2018-04-27 视频编码方法、装置、存储介质及设备
CN201810394329.9 2018-04-27
PCT/CN2019/078432 WO2019205831A1 (zh) 2018-04-27 2019-03-18 视频编码方法、装置、存储介质及设备

Publications (2)

Publication Number Publication Date
JP2021516919A true JP2021516919A (ja) 2021-07-08
JP7085014B2 JP7085014B2 (ja) 2022-06-15

Family

ID=63065777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020551298A Active JP7085014B2 (ja) 2018-04-27 2019-03-18 ビデオ符号化方法並びにその装置、記憶媒体、機器、及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US11388403B2 (ja)
EP (1) EP3787291B1 (ja)
JP (1) JP7085014B2 (ja)
CN (1) CN108391127B (ja)
WO (1) WO2019205831A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108391127B (zh) 2018-04-27 2021-08-10 腾讯科技（深圳）有限公司 视频编码方法、装置、存储介质及设备
JP6941744B2 (ja) * 2018-09-26 2021-09-29 富士フイルム株式会社 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
CN110636293B (zh) * 2019-09-27 2024-03-15 腾讯科技（深圳）有限公司 视频编码、解码方法和装置、存储介质及电子装置
CN110677692B (zh) * 2019-09-27 2022-12-06 腾讯科技（深圳）有限公司 视频解码方法及装置、视频编码方法及装置
CN110582022B (zh) 2019-09-27 2022-12-30 腾讯科技（深圳）有限公司 视频编解码方法和装置及存储介质
CN110536134B (zh) * 2019-09-27 2022-11-04 腾讯科技（深圳）有限公司 视频编码、解码方法和装置、存储介质及电子装置
CN111787322B (zh) * 2020-08-04 2022-05-13 北京百度网讯科技有限公司 视频编码的方法、装置、电子设备及计算机可读存储介质
CN113573142B (zh) * 2021-09-22 2021-12-24 北京海誉动想科技股份有限公司 分辨率调整方法与装置
CN115225928B (zh) * 2022-05-11 2023-07-25 北京广播电视台 一种多类型音视频混播***及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003032677A (ja) * 2001-07-18 2003-01-31 Hitachi Ltd 動画像圧縮符号化装置
JP2007520157A (ja) * 2004-01-29 2007-07-19 インターナショナル・ビジネス・マシーンズ・コーポレーション ビデオ符号化のための動的な解像度変更のためのシステムおよび方法
JP2011223315A (ja) * 2010-04-09 2011-11-04 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2017127213A1 (en) * 2016-01-19 2017-07-27 Google Inc. Real-time video encoder rate control using dynamic resolution switching
CN107155107A (zh) * 2017-03-21 2017-09-12 腾讯科技（深圳）有限公司 视频编码方法和装置、视频解码方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8175147B1 (en) * 2005-08-08 2012-05-08 Texas Instruments Incorporated Video coding rate control
US7773672B2 (en) * 2006-05-30 2010-08-10 Freescale Semiconductor, Inc. Scalable rate control system for a video encoder
CN102450014B (zh) * 2009-03-31 2017-07-14 茨特里克斯***公司 用于质量感知视频优化的方法和视频优化器
US8270473B2 (en) * 2009-06-12 2012-09-18 Microsoft Corporation Motion based dynamic resolution multiple bit rate video encoding
US8379718B2 (en) * 2009-09-02 2013-02-19 Sony Computer Entertainment Inc. Parallel digital picture encoding
CN102625104B (zh) * 2012-03-26 2014-04-16 浙江大学 一种视频编码方法
WO2014193630A1 (en) * 2013-05-30 2014-12-04 Intel Corporation Quantization offset and cost factor modification for video encoding
EP3145201A1 (en) * 2015-09-17 2017-03-22 Harmonic Inc. Video processing with dynamic resolution changes
KR101811721B1 (ko) * 2016-12-12 2018-01-25 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
CN108391127B (zh) * 2018-04-27 2021-08-10 腾讯科技（深圳）有限公司 视频编码方法、装置、存储介质及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003032677A (ja) * 2001-07-18 2003-01-31 Hitachi Ltd 動画像圧縮符号化装置
JP2007520157A (ja) * 2004-01-29 2007-07-19 インターナショナル・ビジネス・マシーンズ・コーポレーション ビデオ符号化のための動的な解像度変更のためのシステムおよび方法
JP2011223315A (ja) * 2010-04-09 2011-11-04 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
WO2017127213A1 (en) * 2016-01-19 2017-07-27 Google Inc. Real-time video encoder rate control using dynamic resolution switching
CN107155107A (zh) * 2017-03-21 2017-09-12 腾讯科技（深圳）有限公司 视频编码方法和装置、视频解码方法和装置

Also Published As

Publication number Publication date
EP3787291B1 (en) 2024-03-06
US11388403B2 (en) 2022-07-12
WO2019205831A1 (zh) 2019-10-31
CN108391127A (zh) 2018-08-10
JP7085014B2 (ja) 2022-06-15
US20200382781A1 (en) 2020-12-03
EP3787291A4 (en) 2021-06-23
EP3787291A1 (en) 2021-03-03
CN108391127B (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
JP7085014B2 (ja) ビデオ符号化方法並びにその装置、記憶媒体、機器、及びコンピュータプログラム
JP7026260B2 (ja) ビデオ符号化方法、ビデオ符号化装置およびコンピュータプログラム
CN110881136B (zh) 视频帧率控制方法、装置、计算机设备及存储介质
JP2023126583A (ja) 予測モードの復号化の方法、符号化の方法、復号化の装置、符号化の装置および記憶媒体
CN112532975B (zh) 视频编码方法、装置、计算机设备及存储介质
CN110996117B (zh) 视频转码方法、装置、电子设备和存储介质
CN109168032B (zh) 视频数据的处理方法、终端、服务器及存储介质
CN110049326B (zh) 视频编码方法及装置、存储介质
CN113891074B (zh) 视频编码方法和装置、电子装置和计算机可读存储介质
CN111586413A (zh) 视频调整方法、装置、计算机设备及存储介质
CN110572679B (zh) 帧内预测的编码方法、装置、设备及可读存储介质
CN109714628B (zh) 播放音视频的方法、装置、设备、存储介质及***
CN116074512A (zh) 视频编码方法、装置、电子设备以及存储介质
CN111698262B (zh) 带宽确定方法、装置、终端及存储介质
CN111770339B (zh) 视频编码方法、装置、设备及存储介质
CN110177275B (zh) 视频编码方法及装置、存储介质
CN109040753B (zh) 预测模式选择方法、装置及存储介质
CN114422782B (zh) 视频编码方法、装置、存储介质及电子设备
CN113038124B (zh) 视频编码方法、装置、存储介质及电子设备
CN115474037B (zh) 视频的质量检测方法、装置、电子设备及可读存储介质
CN113079372B (zh) 帧间预测的编码方法、装置、设备及可读存储介质
CN117676170A (zh) 块效应检测的方法、装置、设备和存储介质
CN113938689A (zh) 量化参数确定方法和装置
CN115811615A (zh) 屏幕视频的编码方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201021

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200923

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220603

R150 Certificate of patent or registration of utility model

Ref document number: 7085014

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150