JP2019004294A - 特徴量推定装置及びプログラム - Google Patents
特徴量推定装置及びプログラム Download PDFInfo
- Publication number
- JP2019004294A JP2019004294A JP2017117082A JP2017117082A JP2019004294A JP 2019004294 A JP2019004294 A JP 2019004294A JP 2017117082 A JP2017117082 A JP 2017117082A JP 2017117082 A JP2017117082 A JP 2017117082A JP 2019004294 A JP2019004294 A JP 2019004294A
- Authority
- JP
- Japan
- Prior art keywords
- image
- class
- feature amount
- unit
- input frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】ピクチャ発生符号量の予測精度を向上させる。【解決手段】画像選択部は、第一特徴量を推定する対象の対象画像の第二特徴量、及び、複数の参考画像それぞれの第二特徴量に基づき、複数の参考画像から推定に用いられる選択画像を選択する。対象画像特徴量推定部は、選択画像の第一特徴量に基づき対象画像の第一特徴量を推定する。第二特徴量は、対象画像と当該対象画像の符号化において参照する他の画像との時間的距離、対象画像と当該対象画像に動き補償画面間予測処理を行う場合に用いられる他の画像との動きベクトル探索結果の予測誤差値、対象画像と当該対象画像に動き補償画面間予測処理を行う場合に用いられる他の画像との動きベクトル探索結果の統計量、及び、対象画像の画素値の分散値のうち一以上である。【選択図】図1
Description
本発明は、特徴量推定装置及びプログラムに関する。
映像符号化の技術には、MPEG(Moving Picture Experts Group)−2、MPEG−4、MPEG−4/AVC(Advanced Video Coding)などが多く用いられている。最近では、次世代の映像符号化規格であるHEVC(High Efficiency Video Coding)が規格化され、今後の普及が見込まれる。
デジタル放送における映像符号化方式については、ARIB(Association of Radio Industries and Broadcast,一般社団法人電波産業会)が、ARIB STD−B32において「デジタル放送における映像符号化、音声符号化及び多重化方式」を映像符号化方式の標準規格として策定している。ARIB STD−B32では、MPEG−2 Video、MPEG−4 AVC、HEVCの3つに準拠した映像符号化方式が策定されている。特にARIB STD−B32におけるHEVCでは、2160/120/P及び4320/120/Pの映像フォーマットが規定され、空間解像度が4K(3840画素×2160ライン)・8K(7680画素×4320ライン)かつフレームレートが120Pとなる、高解像度かつ高フレームレートな映像が扱われるようになっている。ARIB規定における2160/120/P及び4320/120/Pの映像は、HEVCに準拠した時間方向階層符号化方式によるエンコードを前提としており、120/Pビットストリームは、60/Pサブビットストリームと残りの120/Pサブセットとに分離されて伝送される。
映像配信・放送の実サービスにおいては、符号化されたストリームのビットレートが一定となるCBR(constant bit rate)が一般的である。所定のビットレートとするためには、各符号化ブロックの符号化モードや量子化ステップを決定する符号化制御が必要とされる。一方で、HEVCをはじめとする映像符号化規格では、符号化対象ブロック周辺の符号化済みブロック情報を用いながら符号化を行うため、各ブロックの逐次処理が必要となる。また、ARIBで規定されるような高解像度・高フレームレートの映像の符号化には、通常膨大な演算量が必要とされる。
そこで、データサイズが大きな映像を低演算量で符号化するために、図14に示すような符号化制御手法が多く用いられている。すなわち、(手順1)過去の複数フレームの特徴量などの符号化情報を抽出し、(手順2)抽出した特徴量を利用して現フレーム、すなわち、符号化対象フレームの特徴量や符号量の予測を行う。そして、(手順3)予測した特徴量や符号量を元に符号化対象フレームの目標符号量を決定した上で、(手順4)実際の発生符号量と目標符号量との差に応じて各符号化ブロックの量子化パラメータ(Op)を決定し、量子化ステップを適宜変化させていく。特に、ハードウェアエンコーダにおける実装の観点では、演算量はハードウェア規模に直結する要素であるため、より計算負荷の少ない符号化制御手法が求められる。さらに、実時間映像符号化装置などにおいては、符号化処理をリアルタイムに行い、かつ符号化による遅延を抑えるために、1パスで各符号化ブロックの量子化ステップを決定していく手法が多く用いられる。
ピクチャの符号量予測において、MPEG−2 test modelやHEVC test modelなどの従来の符号化制御手法では、ピクチャの発生符号量と平均量子化スケール(もしくは量子化ステップ)との積である複雑さ指標をピクチャ符号化終了後に求めておき、過去のピクチャの複雑さ指標を元に符号化対象ピクチャの発生符号量を予測する手法がとられている。さらに、ピクチャを事前に数種類のグループに分類し、各グループごとに直近数フレームの複雑さ指標の平均値をとることで、符号化対象ピクチャの符号量予測精度を向上させている。ピクチャの分類においては、I、P、Bといったピクチャタイプ、もしくは、TemporalID(TID)を元に分類が行われる。TemporalIDは、時間方向の階層番号を示す識別子である。
画面間符号化における動き予測においては、符号化すべき情報を小さくするために、映像の正しい動きを捉えた予測を行うことが望ましい。一方で、精確な動きベクトル検出処理には一般的に膨大な演算量が必要となり、ハードウェア実装の観点ではハードウェア規模に直結する要素であるため、効率的な動き探索処理が不可欠である。
また、特許文献1に記載の符号化手法では、入力画像の分散値や、入力画像とその参照フレームとの間で行なわれた動き探索の予測誤差値を用いて、それぞれのピクチャグループ毎に分散値のn次式、予測誤差値のn次式といった推定式に従って発生符号量を近似推定する。このような構成を用いることで、符号化対象ピクチャ自身の情報も利用して符号量予測精度の向上を図っている。
しかしながら、前者の従来手法、および特許文献1に記載の符号化手法では、上記の手順1においては、以下のような前提によって、グループ分類およびグループごとに直近過去フレームから特徴量を算出して処理を行っている。つまり、I、P、Bといったピクチャタイプが同じピクチャ群、もしくはTemporalIDが等しいピクチャ群は、符号化時の特性(フレームの符号量・特徴量)が近く、各ピクチャの符号量も近い値になりやすい、という前提である。しかしながら、ピクチャタイプおよびTemporalIDが等しい場合でもピクチャ符号量や特徴量にばらつきが出る場合には、過去フレームから特徴量の算出を行うと、現フレームの符号量の予測精度が低下する。この予測精度の低下によって、符号量配分が不正確となり、符号化効率も低下してしまうという問題があった。
特にARIBの120P時間方向階層符号化方式においては、図15のARIB規定の120P時間スケーラビリティ対応参照構造に示すように、120/Pサブセットに相当するTemporalID(TID)=4のエンハンスメントレイヤのピクチャは、全てTemporalIDが等しいBピクチャである。しかし、エンハンスメントレイヤにおいては参照フレームまでの時間的な距離(参照距離)が各ピクチャで異なるため、符号量に大きなばらつきが発生しやすい。つまり、TemporalIDを共通の特徴量に用い、120/Pサブセットのピクチャを全て同一グループとして複雑さ指標計算や近似推定を行ってしまうと、正確な符号量予測ができない。従って、決定した目標符号量から外れた値となることが多くなり、ビットレート制御も破綻しやすくなるため、大きな符号化効率低下が発生する傾向にある。
また、前者の従来手法、および特許文献1に記載の符号化手法では、グループ分類はピクチャタイプおよびTemporalIDを元に固定的に決定されてしまう。このため、近しい符号量・符号化傾向となりやすい複数のグループが存在しても複雑さ指標計算や近似推定は別々に行われ、映像の絵柄に従って符号量予測値を敏感に変化させることができず、符号化効率の低下につながる。さらに、グループ分類が固定化されることで、映像の絵柄が大きく変化してもグループ分類を変更することができず、符号量予測精度の低下、および符号化効率の低下が生じる傾向にある。
上記事情に鑑み、本発明は、ピクチャ発生符号量の予測精度を向上させることができる特徴量推定装置及びプログラム提供することを目的としている。
本発明の一態様は、第一特徴量を推定する対象の画像である対象画像から得られる画像の特性に基づく値である第二特徴量、及び、推定に用いられる候補の画像である複数の参考画像それぞれの第二特徴量に基づき、複数の前記参考画像から推定に用いられる少なくとも1つの選択画像を選択する画像選択部と、前記選択画像の前記第一特徴量に基づき前記対象画像の第一特徴量を推定する対象画像特徴量推定部と、を備え、前記第二特徴量は、前記対象画像と、当該対象画像の符号化において参照する他の画像との時間的距離、前記対象画像と、当該対象画像に動き補償画面間予測処理を行う場合に用いられる他の画像との動きベクトル探索結果の予測誤差値、前記対象画像と、当該対象画像に動き補償画面間予測処理を行う場合に用いられる他の画像との動きベクトル探索結果の統計量、及び、前記対象画像の画素値の分散値のうち一以上である、特徴量推定装置である。
本発明の一態様は、上述の特徴量推定装置であって、前記画像選択部は、前記対象画像から得られる前記第二特徴量と、複数の前記参考画像それぞれの前記第一特徴量及び前記第二特徴量と、に基づき前記選択画像を選択する。
本発明の一態様は、上述の特徴量推定装置であって、前記第二特徴量に基づく予め定められた基準により前記参考画像が分類される複数の小クラスのそれぞれを、前記小クラスに属する前記参考画像の前記第一特徴量に基づいて、前記小クラスの数よりも少ない数の複数の大クラスに分類する画像分類更新部をさらに備え、前記画像選択部は、前記基準により前記対象画像が分類される前記小クラスを判定し、前記対象画像と同じ前記小クラスの前記参考画像の中から前記選択画像を選択する処理と、前記対象画像と同じ前記小クラスに属する前記選択画像と同じ大クラスに分類される他の前記小クラスの前記参考画像の中から前記選択画像を選択する処理とを行う。
本発明の一態様は、上述の特徴量推定装置であって、前記対象画像は、符号化対象の入力フレームであり、前記参考画像は、前記入力フレームよりも過去に符号化された他の入力フレームであり、前記画像選択部は、前記第二特徴量に応じて入力フレームを小クラスに分類する入力フレーム分類方法により前記入力フレームが分類される前記小クラスを決定し、さらに、小クラスが属する大クラスを決定する画像クラス決定方法により、前記入力フレームを、決定された前記小クラスが属する前記大クラスへ分類し、前記対象画像特徴量推定部は、前記入力フレームが分類された前記大クラスに属する前記小クラスから選択された前記他の入力フレームの前記第一特徴量に基づき前記入力フレームの前記第一特徴量を推定し、前記特徴量推定装置は、前記対象画像特徴量推定部により推定された前記第一特徴量に応じて、前記入力フレームの符号化に用いる量子化パラメータを決定する量子化パラメータ制御部と、前記量子化パラメータ制御部により決定された前記量子化パラメータに従って前記入力フレームの符号化を行う符号化部と、前記符号化部による符号化後に前記入力フレームの第一特徴量を算出する第一特徴量算出部と、前記小クラスに分類された前記入力フレーム及び前記他の入力フレームの前記第一特徴量に基づいて前記画像クラス決定方法を変更する画像クラス決定方法変更部とをさらに備える。
本発明の一態様は、上述の特徴量推定装置であって、前記画像クラス決定方法変更部は、シーンチェンジが検出された場合に前記画像クラス決定方法を初期状態とする。
本発明の一態様は、コンピュータを、上述のいずれかの特徴量推定装置として動作させるプログラムである。
本発明により、ピクチャ発生符号量の予測精度を向上させることが可能となる。
以下、図面を参照しながら本発明の一実施形態について説明する。本発明の実施形態による特徴量推定装置は、主に符号量の制御処理を行う映像符号化装置において用いられる。以下で用いる「符号化ブロック」については、MPEG−2やH.264/AVC規格ではマクロブロックのことを示し、HEVCではコーディングユニット(CU)又はプレディクションユニット(PU)のことを示す。
図1は、本発明の一実施形態による映像符号化装置1の構成例を示すブロック図であり、本実施形態と関係する機能ブロックのみを抽出して示してある。映像符号化装置1は、符号量制御処理部100及び符号化部300を備える。符号化部300など、符号量制御処理部100以外の映像符号化装置1の部分には、H.264/AVCやHEVC等の映像符号化器として用いられている従来の一般的な構成を用いることができる。
映像符号化装置1は、符号化対象の映像信号(原画像)と符号化パラメータとを入力とし、入力された映像信号を指定された符号化パラメータに従って符号化し、符号化結果を符号化ビットストリームとして出力する。符号量制御処理部100は、符号化対象ピクチャの符号量予測・符号量配分・量子化パラメータ制御を行う。符号化部300は、符号量制御処理部100によって決定された量子化パラメータに従って、映像の符号化処理を行う。H.264/AVCやHEVC等の符号化規格においては、入力映像信号のピクチャをブロックに分割してブロックごとに符号化が行われるため、符号化部300の処理は、符号化ブロック単位で実行される。
符号化部300は、イントラ予測処理部301、インター予測処理部302、予測残差信号生成部303、変換・量子化処理部304、エントロピー符号化部305、逆量子化・逆変換処理部306、復号信号生成部307及びループフィルタ処理部308を備える。符号化部300の処理を説明する。
予測残差信号生成部303は、入力映像信号とイントラ予測処理部301あるいはインター予測処理部302の出力である予測信号との差分を求め、それを予測残差信号として出力する。変換・量子化処理部304は、予測残差信号に対して離散コサイン変換等の直交変換を行い、変換係数を量子化し、その量子化された変換係数を出力する。量子化においては、符号量制御処理部100の量子化パラメータ制御部502(後述の図3参照)によって決定された値を受け取り、量子化スケールもしくは量子化ステップが決定される。エントロピー符号化部305は、量子化された変換係数をエントロピー符号化し、符号化ストリームとして出力する。さらに、エントロピー符号化部305は、符号化結果を符号量制御処理部100の複雑さ指標算出部601(後述の図4参照)に出力する。
変換・量子化処理部304によって量子化された変換係数は、逆量子化・逆変換処理部306にも入力される。逆量子化・逆変換処理部306は、量子化された変換係数に逆量子化及び逆直交変換を行い、予測残差復号信号を出力する。復号信号生成部307は、予測残差復号信号と、イントラ予測処理部301又はインター予測処理部302の出力である予測信号とを加算し、符号化した符号化対象ブロックの復号信号を生成する。この復号信号は、インター予測処理部302で参照画像として用いるために、ループフィルタ処理部308に入力される。ループフィルタ処理部308は、復号信号に符号化歪みを低減するフィルタリング処理を行い、このフィルタリング処理後の画像を参照画像としてインター予測処理部302に入力する。
符号化部300は、上記の処理を符号化ブロック単位で実行する。
符号化部300は、上記の処理を符号化ブロック単位で実行する。
符号量制御処理部100は、入力画像分類部102、符号量制御部103及び画像分類更新部104を備える。以下に、入力画像分類部102、符号量制御部103及び画像分類更新部104のそれぞれについて、詳細な構成と処理を説明する。
図2は、入力画像分類部102の一構成例を示す図である。入力画像分類部102は、入力フレームの画像特性・符号化特性を元に、入力フレームの分類を行う。入力画像分類部102は、画像解析部401、小クラス決定部402及び大クラス決定部403を備える。
画像解析部401は、入力フレームの小クラスを決定するために必要となる(小クラスの分類に用いる指標)情報を、入力フレームの特性解析や、入力フレームの符号化パラメータの解析を行うことで、算出する。小クラス決定部402は、画像解析部401により算出された解析情報を元に、入力フレームがどの小クラスに分類されるかを、固定された入力フレーム分類方法に従って、決定する。つまり、入力フレーム分類方法は、画像解析部401が取得した指標に基づいて、入力フレームが属する小クラスを決定する基準となる固定の規則を示す。大クラス決定部403は、小クラス決定部402により決定された入力フレームの小クラスが、どの大クラスに分類されるのかを、画像分類更新部104によって順次更新される画像クラス決定方法に従って、決定する。画像クラス決定方法は、小クラスが属する大クラスを決定する規則である。
図3は、符号量制御部103の一構成例を示す図である。符号量制御部103は、入力フレームの分類結果と過去の符号化結果を元に、符号量予測・量子化制御を行う。符号量制御部103は、符号量予測・配分決定部501及び量子化パラメータ制御部502を備える。
符号量予測・配分決定部501は、入力画像分類部102によって決定された入力フレームの大クラスに対し、画像分類更新部104によって順次更新される大クラス代表複雑さ指標を元に、入力フレームの符号量予測および符号量配分の決定を行う。量子化パラメータ制御部502は、符号量予測・配分決定部501により決定された符号量予測値・配分値をもとに、量子化パラメータの決定・制御を行い、量子化パラメータ制御結果を符号化部300に出力する。
図4は、画像分類更新部104の一構成例を示す図である。画像分類更新部104は、入力フレームの符号化結果をもとに、画像クラス決定方法を適宜変更しながら、各大クラスの代表複雑さ指標を決定する。画像分類更新部104は、複雑さ指標算出部601、小クラス代表複雑さ指標更新部602、画像クラス決定方法変更部603及び大クラス代表複雑さ指標更新部604を備える。
複雑さ指標算出部601は、符号化部300のエントロピー符号化部305による入力フレームの符号化結果を元に、入力フレームの複雑さ指標の算出を行う。小クラス代表複雑さ指標更新部602は、複雑さ指標算出部601により算出された入力フレームの複雑さ指標をもとに、各小クラスの小クラス代表複雑さ指標の更新を行う。小クラス代表複雑さ指標は、小クラスに分類された過去の入力フレームのうち、新しいものから所定枚数の入力フレームの複雑さ指標に基づいて算出される。画像クラス決定方法変更部603は、小クラス代表複雑さ指標更新部602により更新された小クラス代表複雑さ指標をもとに、各小クラスがどの大クラスに分類されるかを決める画像クラス決定方法の変更を行う。大クラス代表複雑さ指標更新部604は、画像クラス決定方法変更部603により変更された画像クラス決定方法を元に、各大クラスそれぞれの大クラス代表複雑さ指標の更新を行う。大クラス代表複雑さ指標は、大クラスに分類された過去の入力フレームのうち、新しいものから所定枚数の入力フレームの複雑さ指標に基づいて算出される。
以下に、ARIB規定の時間方向階層符号化の規格に基づいた符号量制御処理部100の動作例を説明する。
図5は、ARIB規定の時間方向階層符号化の参照構造の一例を示す図である。ARIB規定の時間方向階層符号化では、120/Pサブセットの復号時刻が等間隔になるようにインター予測における参照構造が定められる。
図5は、ARIB規定の時間方向階層符号化の参照構造の一例を示す図である。ARIB規定の時間方向階層符号化では、120/Pサブセットの復号時刻が等間隔になるようにインター予測における参照構造が定められる。
同図に示すように、各ピクチャは参照のパターンによって5つの階層に分類される。それぞれの階層には、TemporalID(時間識別子、TID)とよばれる値が割り振られている。TemporalID=0,1,2,3に属するピクチャは、60/Pサブビットストリームであり、TemporalID=4に属するピクチャは、120/Pサブセットである。TemporalID=0のピクチャから次のTemporalID=0のピクチャまでを、GOP(Group of Picture)と呼ぶ。同図では、GOPのサイズが16の場合における、ARIB規定の時間方向階層符号化の参照構造を表している。
また、ピクチャの表示順序をPOC(Picture Order Count)と呼び、同図に示すGOP内では0〜16までを割り振っている。同図においては、それぞれの符号化対象画像における参照画像を矢印で示しており、POC1からPOC15までのピクチャでは、前方向・後方向それぞれ1つ、合計で2つの参照画像を用いる双方向動き探索を行っている。また、本参照構造を達成するためには、ピクチャの表示順序と復号順序が異なっている必要がある。同図において各ピクチャに対応した矩形内に記された数値のうち、左側の数値がピクチャの表示順序(POC)を表し、右側の数値がピクチャの復号順序を表している。
ARIBにおける時間方向階層符号化において、60/Pサブビットストリームの各ピクチャの参照構造は、従来の60Pにおける参照構造として多く利用される構造と等しく、対称な構造となっている。特に、同一のTemporalIDに属するピクチャは、前方向動き予測と後方向動き予測とにおける時間的距離である参照距離が、全て等しい。例として図5において、TemporalID=3のピクチャについては、時間な参照距離が前方向動き予測と後方向動き予測の全てにおいて2フレームである。従って、同一TemporalIDのピクチャでは符号化時の特性が近しくなることが多く、符号化後の符号量においても、同一TemporalIDかつ同一量子化ステップの場合、近しい値となる場合が多い。そのため、従来の符号量制御においては、同一TemporalIDに属するフレームを同じクラスとみなしてグルーピングし、それぞれのクラスにおいて直近の複数フレームから、各クラスの符号化特性を表すクラス複雑さ指標を算出していた。これにより、映像の絵柄による特性の変化を短時間で反映することができ、複数フレームから平均された指標を導出できる。このように、グルーピングは、クラス複雑さ指標を用いた符号量の予測、および量子化パラメータの決定を、精度よく行うことを目的としていた。
一方で、ARIB時間方向階層符号化における120/Pサブセットの各ピクチャの参照構造は、従来の60Pでは利用されることのない、非対称な構造となっている。120/Pサブセットでは全てのピクチャがTemporalID=4だが、同一TemporalIDであっても、動き予測の時間な参照距離は、ピクチャによって大きく変動する。例として、POC=1のピクチャの参照距離は1フレームと15フレームだが、POC=3のピクチャの参照距離は3フレームと5フレームである。このため、120/Pサブセットでは、同一TemporalIDであるにも関わらず、符号量が大きく変動する場合が多い。したがって、従来のTemporalIDを元にクラス分類をする手法では、同一クラスの直近の複数フレームから平均化してクラス複雑さ指標を算出しても、TemporalID=4のクラスの特性を正しく表すことができない。よって、クラス複雑さ指標をもとに行われる符号量予測の精度も低下し、符号化効率の低下が生じる傾向にある。
そこで、映像符号化装置1の符号量制御処理部100は、過去の複数フレームの符号化情報をもとに、入力フレームのクラス分類方法を適宜更新していくことによって、より高精度な入力フレームの符号量予測を行い、符号化制御の効率を向上する。
図6は、符号量制御処理部100の動作概要を示す図である。
符号量制御処理部100には、入力フレームとして、画像1、画像2、画像3、…が入力される。入力画像分類部102は、フレームが入力されるたびに、入力フレームを小クラスに分類する。小クラスへの分類を行うため、まず、入力画像分類部102の画像解析部401は、入力フレームの参照距離を導出する。入力画像分類部102の小クラス決定部402は、参照距離に基づき小クラスを分類する固定の規則である入力フレーム分類方法に従って、入力フレームが分類される小クラスを、その入力フレームの参照距離に応じて決定する。
符号量制御処理部100には、入力フレームとして、画像1、画像2、画像3、…が入力される。入力画像分類部102は、フレームが入力されるたびに、入力フレームを小クラスに分類する。小クラスへの分類を行うため、まず、入力画像分類部102の画像解析部401は、入力フレームの参照距離を導出する。入力画像分類部102の小クラス決定部402は、参照距離に基づき小クラスを分類する固定の規則である入力フレーム分類方法に従って、入力フレームが分類される小クラスを、その入力フレームの参照距離に応じて決定する。
図6(a)は、画像5が入力されたときに、各小クラスに分類済みの画像を示す図である。同図では、画像1及び画像2は小クラスaに分類され、画像3は小クラスbに分類され、画像4及び画像5は小クラスcに分類されている。
図6(b)は、画像10が入力されたときに、各小クラスに分類済みの画像を示す図である。新たな入力フレームが入力されるたびに、各小クラスに分類される画像が増加するが、符号量制御処理部100は、各小クラスに分類された入力フレームのうち、最新の所定枚数の入力フレームのみを保存する。画像10が入力されたとき、符号量制御処理部100は、画像10と同じ小クラスaに分類された入力フレームとして画像1、画像2及び画像9を保存している。
図6(c)は、画像10が入力されたときに、各大クラスに分類されている画像を示す図である。画像分類更新部104の画像クラス決定方法変更部603は、各小クラスの小クラス代表複雑さ指標に基づいて、小クラスを統合して大クラスに分類する規則である画像クラス決定方法を適応的に更新している。図6(c)の場合、画像クラス決定方法は、小クラスa及び小クラスcが大クラスAに、小クラスbが大クラスBに分類されることを示す。
小クラス代表複雑さ指標は、小クラス内の最新の所定枚数の入力フレームから得られた複雑さ指標の平均値として算出される。小クラスaの小クラス代表複雑さ指標は画像1、画像2及び画像9の複雑さ指標の平均値であり、小クラスbの小クラス代表複雑さ指標は画像3、画像7及び画像8の複雑さ指標の平均値であり、小クラスcの小クラス代表複雑さ指標には画像4、画像5及び画像6の複雑さ指標の平均値である。
符号量制御処理部100は、各大クラスに分類された入力フレームのうち、最新の所定枚数のフレームのみを保存する。例えば、新たな入力フレームである画像10が入力された時点では、大クラスAについては、小クラスaに分類された画像1、画像2及び画像9と、小クラスcに分類された画像4、画像5及び画像6とのうち、最新の画像5、画像6及び画像9の3枚が保存されている。
符号量制御部103は、入力画像分類部102により新たな入力フレームである画像10が大クラスAに分類された場合、大クラスAの画像5、画像6及び画像9の複雑さ指標値の平均値として得られた大クラス代表複雑さ指標値に基づき、画像10の複雑さ指標値と符号量を推定する。このように、入力フレームが分類された大クラスに含まれる、複数枚の符号化済みピクチャを、入力フレームの複雑さ指標値と符号量を推定するために用いる。画像10と画像5、画像6及び画像9とは、ピクチャタイプが異なることや、符号化階層が異なることや、それら両方が異なることもある。
画像10の符号化後、小クラスaに分類された入力フレームからは、画像1が削除され、画像10が追加される。さらに、大クラスAに分類された入力フレームからは、画像5が削除され、画像10が追加される。画像分類更新部104は、各小クラスに含まれる符号化済みピクチャの複雑さ指標の平均値に基づき、各々の小クラスがどの大クラスに属するかを適応的に変化させる。
本実施形態の符号量制御処理部100における処理フローを詳細に説明する。
図7は、本実施形態の符号量制御処理部100の処理の例を示すフロー図である。符号量制御処理部100は、各入力フレームについて図7の処理を行う。
まず、画像解析部401および小クラス決定部402においては、入力フレームを小クラスに分類する(ステップS10、S20)。この際、入力フレームの時間的参照距離が前後方向ともに等しい組み合わせとなるものを、同一の小クラスとする。入力フレームがどの小クラスに分類されるかを決定する入力フレーム分類方法としては、図8に示すような小クラスと参照距離との対応付けにより表される固定の画像クラス決定方法が使用される。
図7は、本実施形態の符号量制御処理部100の処理の例を示すフロー図である。符号量制御処理部100は、各入力フレームについて図7の処理を行う。
まず、画像解析部401および小クラス決定部402においては、入力フレームを小クラスに分類する(ステップS10、S20)。この際、入力フレームの時間的参照距離が前後方向ともに等しい組み合わせとなるものを、同一の小クラスとする。入力フレームがどの小クラスに分類されるかを決定する入力フレーム分類方法としては、図8に示すような小クラスと参照距離との対応付けにより表される固定の画像クラス決定方法が使用される。
図8は、小クラスの分類例を示す図である。同図は、図5に示すARIB時間方向階層符号化による入力フレームを、前後方向の時間的参照距離の組み合わせに従って分類した小クラスを示す。括弧内の左側は前方向の時間的参照距離を、右側は後ろ方向の時間的参照距離を示す。小クラス群には小クラスa〜iまでの9種類が存在する。同図には、それぞれの小クラスにおける時間的参照距離の組み合わせと、各小クラスに分類されるフレームのPOCとが示されている。図7において、画像解析部401は、符号化パラメータに従って入力フレームの参照距離を導出し(ステップS10)、小クラス決定部402は、導出された参照距離をもとに、図8に示す分類に従って、入力フレームの小クラスを決定する(ステップS20)。このように時間的参照距離を用いて小クラスに分類することで、120/Pサブセットにおいても、異なる符号化特性を持つフレームが同一クラスに分類されることを防ぐことができる。
本実施形態の処理フロー例では、時間的参照距離を用いて小クラスに分類しているが、入力フレームに対して動き補償画面間予測処理を行う場合、後段の符号化部300の処理に先行して、入力フレームと参照フレームとの間で事前に動きベクトル探索を行っておくことで、事前の動き探索の予測誤差値の統計量を用いて、小クラスに分類を行うことも可能である。その場合、画像解析部401は、入力フレームに対して事前動き探索を行って予測誤差値の統計量を算出し、小クラス決定部402は、画像解析部401により導出された予測誤差値の統計量の大小をもとに入力フレームの小クラスを決定する。
また、入力フレームに対して動き補償画面間予測処理を行う場合、後段の符号化部300の処理に先行して、入力フレームと参照フレームとの間で事前に動きベクトル探索を行っておくことで、事前の動き探索の動きベクトル探索結果の統計量の大小を用いて、小クラスに分類を行うことも可能である。その場合、画像解析部401は、入力フレームに対して事前動き探索を行って動きベクトル探索結果の統計量を算出し、小クラス決定部402は、画像解析部401により算出された動きベクトル探索結果の統計量をもとに小クラス決定部402において入力フレームの小クラスを決定する。
また、後段の符号化部300の処理に先行して、入力フレームの画素値の分散値の算出を行っておくことで、分散値を用いて、小クラスに分類を行うことも可能である。その場合、画像解析部401は、入力フレームの画素値の分散値を算出し、小クラス決定部402は、画像解析部401により算出された分散値の大小をもとに小クラス決定部402において入力フレームの小クラスを決定する。
さらに、事前動き探索の動きベクトル探索結果の予測誤差値の統計量と、動きベクトル探索結果の統計量と、入力フレームの画素値の分散値と、入力フレームの時間的参照距離とのうち任意の2以上の複数のパラメータを入力フレーム分類方法に用いて、入力フレームの小クラスを決定することも可能である。例として、入力フレームの時間的参照距離によりn種類に分類し、入力フレームの画素値の分散値の大小でm種類に分類する場合、入力フレームの小クラス分類は、時間的参照距離および分散値によって(n×m)種類の小クラスを持つことが、考えられる。
大クラス決定部403は、小クラス決定部402により決定された入力フレームの小クラスと、小クラスがどの大クラスに分類されるのかを決定する画像クラス決定方法とに従って、入力フレームの大クラスを決定する(ステップS30)。ただし、画像クラス決定方法は、画像分類更新部104によって順次更新されているため、大クラス決定部403は、直前に更新された画像クラス決定方法を用いて入力フレームの大クラスを決定する。
符号量予測・配分決定部501は、大クラス決定部403により決定された入力フレームの大クラスの大クラス代表複雑さ指標を元に、入力フレームの符号量予測および符号量配分の決定を行う(ステップS40)。量子化パラメータ制御部502は、符号量予測・配分決定部501により決定された符号量予測値・配分値をもとに、量子化パラメータの決定・制御を行い、量子化パラメータ制御結果を符号化部300に出力する(ステップS50)。符号化部300は、量子化パラメータ制御結果に従って入力フレームの符号化を行う。
符号化部300により入力フレームが1フレーム符号化されるたびに、画像分類更新部104は、画像クラス決定方法と大クラス代表複雑さ指標とを更新する。そこで、画像分類更新部104の複雑さ指標算出部601は、入力フレームの符号化結果である発生符号量や平均量子化スケール(もしくは量子化ステップ)などをパラメータとして用いて、入力フレームの符号化結果後のフレーム複雑さ指標を求める(ステップS60)。従来手法と同様に、発生符号量と平均量子化スケール(もしくは量子化ステップ)との積をフレーム複雑さ指標として設定してもよく、発生符号量と平均量子化スケールを用いた別の計算式でフレーム複雑さ指標を設定してもよい。図8に示されるような小クラスにおいて、各小クラスはそれぞれ小クラス代表複雑さ指標を1つ持つ。
小クラス代表複雑さ指標更新部602は、小クラス代表複雑さ指標を更新するが、同一の小クラスに分類される直近の過去複数フレームのフレーム複雑さ指標を用いて、小クラス代表複雑さ指標を更新する(ステップS70)。
図9は、小クラス代表複雑さ指標の算出に用いるPOCの例を示す図である。同図の例では、小クラス代表複雑さ指標として使用する過去のフレーム数を4枚とする。このとき、POC=65のフレーム複雑さ指標更新の直後に、小クラス代表複雑さ指標を更新する場合は、各小クラスについて小クラス代表複雑さ指標の更新に使われるPOCは図9に示すようになる。各小クラスの小クラス代表複雑さ指標は、更新に使用される4枚のフレームのフレーム複雑さ指標の平均値として決定される。本例ではフレーム複雑さ指標の平均値を小クラス代表複雑さ指標としているが、各フレームのフレーム複雑さ指標に重み係数を付加した総和を、小クラス代表複雑さ指標としてもよい。
図7において、画像クラス決定方法変更部603は、更新された小クラス代表複雑さ指標をもとに、小クラスがどの大クラスに分類されるかを決定する画像クラス決定方法を変更する(ステップS80)。図10及び図11を用いて、各小クラスの小クラス代表複雑さ指標の大小に従って、画像クラス決定方法を変更する例を説明する。
図10及び図11は、各小クラスの小クラス代表複雑さ指標と、画像クラス決定方法を示す図である。図10は変更前の例を、図11は変更後の例を示す。画像クラス決定方法変更部603は、2つの小クラスの小クラス代表複雑さ指標の差が閾値を超えた場合に、2つの小クラスが異なる大クラスとなるようにしている。具体的には、図10に示す画像クラス決定方法では、小クラスaの小クラス代表複雑さ指標と、小クラスeの小クラス代表複雑さ指標との差は閾値以内であるため、小クラスaと小クラスeは同じ大クラスに分類される。入力フレームが小クラスeに分類されると、小クラスeの小クラス代表複雑さ指標が更新される。図11では、小クラスaの小クラス代表複雑さ指標と、小クラスeそれぞれの小クラス代表複雑さ指標との差が閾値を超えたため、小クラスaと小クラスeが異なる大クラスに分類されるよう画像クラス決定方法が更新される。
また、シーンチェンジ等によって映像の絵柄が極端に大きく変化する場合は、過去の小クラス代表複雑さ指標による上記画像クラス決定方法の変更では、クラス分類による符号量予測精度の低下および符号化効率の低下が、発生することも考えられる。このため、画像クラス決定方法変更部603は、シーンチェンジ検出によって入力フレームの前後でシーンチェンジが発生したことが検知出来た場合、画像クラス決定方法を初期状態に設定し、過去の小クラス代表複雑さ指標の影響が画像クラス決定方法に生じないようにすることも、考えられる。
図7において、大クラス代表複雑さ指標更新部604は、画像クラス決定方法変更部603により変更された画像クラス決定方法をもとに、大クラス代表複雑さ指標を更新する(ステップS90)。大クラス代表複雑さ指標の更新には、同一の大クラスに分類される直近の過去の複数フレームのフレーム複雑さ指標を用いる。図12及び図13を用いて、大クラス代表複雑さ指標の更新について説明する。
図12及び図13は、大クラス代表複雑さ指標の更新に使用されるPOCの例を示す図である。これらの図は、大クラス代表複雑さ指標として使用する過去のフレーム数が4枚であり、POC=65の符号化時に画像クラス決定方法が変更された前後の場合に、大クラス代表複雑さ指標の更新に使用されるPOCを、示している。図12はPOC=65の符号化前の各大クラスに属するPOCを、図13は、POC=65の符号化後の各大クラスに属するPOCを示している。図12、図13において、大クラス代表複雑さ指標更新部604は、各大クラスが有する4枚のフレームのフレーム複雑さ指標の平均値を、大クラス代表複雑さ指標として決定する。本例ではフレーム複雑さ指標の平均値を大クラス代表複雑さ指標としているが、各フレームのフレーム複雑さ指標に重み係数を付加した総和を、大クラス代表複雑さ指標としてもよい。
本手法は、1パスで各符号化対象ピクチャの符号量予測および量子化ステップ決定を行うため、符号化遅延を抑制することができる。よって、本手法は、リアルタイムの符号化処理に適した手法であり、実時間映像符号化にとって望ましい。さらに、本手法は、小クラスの分類は固定とした上で大クラス分類を変更していくことで、ピクチャのクラス数が過剰になりすぎることを避け、クラス分類における煩雑化が防止される。よって、演算量が膨大となることもなく、ハードウェア実装の観点でも望ましい。
本実施形態によれば、映像符号化処理において、フレーム符号量予測およびフレーム間符号量配分がより効率よく行なうことができるようになり、符号化効率の向上を実現できるようになる。
以上説明した実施形態によれば、特徴量推定装置は、画像選択部と、対象画像特徴量推定部とを備える。例えば、特徴量推定装置は映像符号化装置1であり、画像選択部は入力画像分類部102であり、対象画像特徴量推定部は大クラス代表複雑さ指標更新部604である。画像選択部は、第一特徴量を推定する対象の画像である対象画像から得られる画像の特性に基づく値である第二特徴量、及び、推定に用いられる候補の画像である複数の参考画像それぞれの第二特徴量に基づき、複数の参考画像から推定に用いられる少なくとも1つの選択画像を選択する。対象画像特徴量推定部は、選択画像の第一特徴量に基づき対象画像の第一特徴量を推定する。
第一特徴量は、例えば、複雑さ指標である。第二特徴量は、(1)対象画像と当該対象画像の符号化において参照する他の画像との時間的距離、(2)対象画像と、対象画像に動き補償画面間予測処理を行う場合に用いられる他の画像との動きベクトル探索結果の予測誤差値、(3)対象画像と、対象画像に動き補償画面間予測処理を行う場合に用いられる他の画像との動きベクトル探索結果の統計量、(4)対象画像の画素値の分散値、のうち一以上である。よって、対象画像と選択画像とのピクチャタイプ又は符号化階層の少なくともいずれか一方とは、等しいとは限らない。
なお、画像選択部は、対象画像から得られる第二特徴量と、複数の参考画像それぞれの第一特徴量及び第二特徴量と、に基づき選択画像を選択してもよい。この場合、特徴量推定装置は、第二特徴量に基づく予め定められた基準により参考画像が分類される複数の小クラスのそれぞれを、小クラスに属する参考画像の第一特徴量に基づいて、小クラスの数よりも少ない数の複数の大クラスに分類する画像分類更新部をさらに備えてもよい。画像選択部は、上記の定められた基準により対象画像が分類される小クラスを判定し、対象画像と同じ小クラスの参考画像の中から選択画像を選択する処理と、対象画像と同じ小クラスに属する選択画像と同じ大クラスに分類される他の小クラスの参考画像の中から選択画像を選択する処理とを行う。
また、特徴量推定装置は、量子化パラメータ制御部と、符号化部と、第一特徴量算出部と、画像クラス決定方法変更部とをさらに備えてもよい。対象画像は、符号化対象の入力フレームであり、参考画像は、その入力フレームよりも過去に符号化された他の入力フレームである。画像選択部は、第二特徴量に応じて入力フレームを小クラスに分類する入力フレーム分類方法により、入力フレームが分類される小クラスを決定する。さらに、画像選択部は、小クラスが属する大クラスを決定する画像クラス決定方法により、入力フレームを、決定された小クラスが属する大クラスへ分類する。対象画像特徴量推定部は、入力フレームが分類された大クラスに属する小クラスから選択された他の入力フレームの第一特徴量に基づき入力フレームの第一特徴量を推定する。量子化パラメータ制御部は、対象画像特徴量推定部により推定された第一特徴量に応じて、入力フレームの符号化に用いる量子化パラメータを決定する。符号化部は、量子化パラメータ制御部により決定された量子化パラメータに従って入力フレームの符号化を行う。第一特徴量算出部は、符号化部による符号化後に入力フレームの第一特徴量を算出する。画像クラス決定方法変更部は、小クラスに分類された入力フレーム及び他の入力フレームの第一特徴量に基づいて画像クラス決定方法を変更する。画像クラス決定方法変更部は、シーンチェンジが検出された場合に画像クラス決定方法を初期状態としてもよい。第一特徴量算出部は、例えば、複雑さ指標算出部601である。
入力フレームに対して動き補償画面間予測処理を行う場合、画像選択部は、入力フレームと参照フレームとの表示時間差である時間的参照距離を符号化パラメータから算出し、第二特徴量として用いる。なお、動きベクトル探索結果の予測誤差値又は動きベクトル探索結果の統計量を第二特徴量として用いる場合、画像選択部は、入力フレームと参照フレームとの動きベクトル探索結果の予測誤差値を後段の符号化部に対して先行して求める。また、画素値の分散値を第二特徴量として用いる場合、画像選択部は、入力フレームの画素値の分散値を後段の符号化部に対して先行して求める。
なお、画像クラス決定方法変更部は、同一の小クラスに属する過去の複数フレームのフレーム複雑さ指標から小クラス代表複雑さ指標を算出し、異なる小クラスの小クラス代表複雑さ指標の差が閾値以上になる場合、それら小クラスが異なる大クラスに配属されるように、クラス分類決定方法を変更してもよい。また、画像クラス決定方法変更部は、シーンチェンジが検出される場合に、大クラスを決定するクラス分類決定方法を初期状態に戻してもよい。
第二特徴量の値が近いフレームは同じ小クラスに分類され、また、小クラスが同じフレームは必ず同じ大クラスとなり、予測符号量も同じ値となる。そのため、理想的には、第二特徴量の値が近しいフレームについては、必ず符号量も近しい値になるべきであり、第二特徴量はそういった特徴を持つべきである。特に画面間参照を行う場合、「(A)画面間参照を行った予測結果」が符号量に直結する。この予測性能は、「(B)対象フレーム自体の性質」と、「(C)対象フレームと予測先フレームとの関係性」の二つから決定されると考えられる。
符号量に直結する「(A)画面間参照を行った予測結果」を素直に第二特徴量に選んだケースが、「動きベクトル探索結果の統計量」に相当する。
一方で、ハード実装・リアルタイム性を考えると、動き探索→符号量推定の間に複雑な処理を入れることが難しい場合もある。そのため、「(B)対象フレーム自体の性質」を考慮して第二特徴量を選ぶ場合は、対象フレームがどのくらい難しい画像か、という観点になる。そのケースが、「対象画像の画素値の分散値」に相当する。
さらに、「(C)対象フレームと予測先フレームとの関係性」を考慮して第二特徴量を選ぶ場合は、対象フレームが予測先フレームとどのくらい違っているか、という観点になる。このケースが、「対象フレームと予測先フレームとの時間的距離」に相当する。
一方で、ハード実装・リアルタイム性を考えると、動き探索→符号量推定の間に複雑な処理を入れることが難しい場合もある。そのため、「(B)対象フレーム自体の性質」を考慮して第二特徴量を選ぶ場合は、対象フレームがどのくらい難しい画像か、という観点になる。そのケースが、「対象画像の画素値の分散値」に相当する。
さらに、「(C)対象フレームと予測先フレームとの関係性」を考慮して第二特徴量を選ぶ場合は、対象フレームが予測先フレームとどのくらい違っているか、という観点になる。このケースが、「対象フレームと予測先フレームとの時間的距離」に相当する。
本実施形態によれば、ピクチャのグループ分類をピクチャタイプおよびTemporalIDによらずに適応的に行うことで、ピクチャ発生符号量の予測精度を向上させ、符号化制御の効率向上させることができる。
上述した実施形態における映像符号化装置1の少なくとも一部の機能をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
符号量の制御が必要となる映像符号化装置とそのプログラムに適用できる。
1…映像符号化装置, 100…符号量制御処理部, 102…入力画像分類部, 103…符号量制御部, 104…画像分類更新部, 300…符号化部, 301…イントラ予測処理部, 302…インター予測処理部, 303…予測残差信号生成部, 304…変換・量子化処理部, 305…エントロピー符号化部, 306…逆量子化・逆変換処理部, 307…復号信号生成部, 308…ループフィルタ処理部, 401…画像解析部, 402…小クラス決定部, 403…大クラス決定部, 501…符号量予測・配分決定部, 502…量子化パラメータ制御部, 601…複雑さ指標算出部, 602…小クラス代表複雑さ指標更新部, 603…画像クラス決定方法変更部, 604…大クラス代表複雑さ指標更新部
Claims (6)
- 第一特徴量を推定する対象の画像である対象画像から得られる画像の特性に基づく値である第二特徴量、及び、推定に用いられる候補の画像である複数の参考画像それぞれの第二特徴量に基づき、複数の前記参考画像から推定に用いられる少なくとも1つの選択画像を選択する画像選択部と、
前記選択画像の前記第一特徴量に基づき前記対象画像の第一特徴量を推定する対象画像特徴量推定部と、
を備え、
前記第二特徴量は、
前記対象画像と、当該対象画像の符号化において参照する他の画像との時間的距離、
前記対象画像と、当該対象画像に動き補償画面間予測処理を行う場合に用いられる他の画像との動きベクトル探索結果の予測誤差値、
前記対象画像と、当該対象画像に動き補償画面間予測処理を行う場合に用いられる他の画像との動きベクトル探索結果の統計量、及び、
前記対象画像の画素値の分散値のうち一以上である、
特徴量推定装置。 - 前記画像選択部は、
前記対象画像から得られる前記第二特徴量と、複数の前記参考画像それぞれの前記第一特徴量及び前記第二特徴量と、に基づき前記選択画像を選択する、
請求項1に記載の特徴量推定装置。 - 前記第二特徴量に基づく予め定められた基準により前記参考画像が分類される複数の小クラスのそれぞれを、前記小クラスに属する前記参考画像の前記第一特徴量に基づいて、前記小クラスの数よりも少ない数の複数の大クラスに分類する画像分類更新部をさらに備え、
前記画像選択部は、前記基準により前記対象画像が分類される前記小クラスを判定し、前記対象画像と同じ前記小クラスの前記参考画像の中から前記選択画像を選択する処理と、前記対象画像と同じ前記小クラスに属する前記選択画像と同じ大クラスに分類される他の前記小クラスの前記参考画像の中から前記選択画像を選択する処理とを行う、
請求項2に記載の特徴量推定装置。 - 前記対象画像は、符号化対象の入力フレームであり、
前記参考画像は、前記入力フレームよりも過去に符号化された他の入力フレームであり、
前記画像選択部は、前記第二特徴量に応じて入力フレームを小クラスに分類する入力フレーム分類方法により前記入力フレームが分類される前記小クラスを決定し、さらに、小クラスが属する大クラスを決定する画像クラス決定方法により、前記入力フレームを、決定された前記小クラスが属する前記大クラスへ分類し、
前記対象画像特徴量推定部は、前記入力フレームが分類された前記大クラスに属する前記小クラスから選択された前記他の入力フレームの前記第一特徴量に基づき前記入力フレームの前記第一特徴量を推定し、
前記特徴量推定装置は、
前記対象画像特徴量推定部により推定された前記第一特徴量に応じて、前記入力フレームの符号化に用いる量子化パラメータを決定する量子化パラメータ制御部と、
前記量子化パラメータ制御部により決定された前記量子化パラメータに従って前記入力フレームの符号化を行う符号化部と、
前記符号化部による符号化後に前記入力フレームの第一特徴量を算出する第一特徴量算出部と、
前記小クラスに分類された前記入力フレーム及び前記他の入力フレームの前記第一特徴量に基づいて前記画像クラス決定方法を変更する画像クラス決定方法変更部とをさらに備える、
請求項1に記載の特徴量推定装置。 - 前記画像クラス決定方法変更部は、シーンチェンジが検出された場合に前記画像クラス決定方法を初期状態とする、
請求項4に記載の特徴量推定装置。 - コンピュータを、請求項1から請求項5のいずれか一項に記載の特徴量推定装置として動作させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017117082A JP2019004294A (ja) | 2017-06-14 | 2017-06-14 | 特徴量推定装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017117082A JP2019004294A (ja) | 2017-06-14 | 2017-06-14 | 特徴量推定装置及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019004294A true JP2019004294A (ja) | 2019-01-10 |
Family
ID=65006135
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017117082A Pending JP2019004294A (ja) | 2017-06-14 | 2017-06-14 | 特徴量推定装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019004294A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019193182A (ja) * | 2018-04-27 | 2019-10-31 | 富士通株式会社 | 符号化装置、符号化方法、及び符号化プログラム |
CN112004088A (zh) * | 2020-08-06 | 2020-11-27 | 杭州当虹科技股份有限公司 | 一种适用于avs2编码器的cu级qp分配算法 |
-
2017
- 2017-06-14 JP JP2017117082A patent/JP2019004294A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019193182A (ja) * | 2018-04-27 | 2019-10-31 | 富士通株式会社 | 符号化装置、符号化方法、及び符号化プログラム |
JP2022123031A (ja) * | 2018-04-27 | 2022-08-23 | 富士通株式会社 | 符号化装置、符号化方法、及び符号化プログラム |
JP7125594B2 (ja) | 2018-04-27 | 2022-08-25 | 富士通株式会社 | 符号化装置、符号化方法、及び符号化プログラム |
JP7343817B2 (ja) | 2018-04-27 | 2023-09-13 | 富士通株式会社 | 符号化装置、符号化方法、及び符号化プログラム |
CN112004088A (zh) * | 2020-08-06 | 2020-11-27 | 杭州当虹科技股份有限公司 | 一种适用于avs2编码器的cu级qp分配算法 |
CN112004088B (zh) * | 2020-08-06 | 2024-04-16 | 杭州当虹科技股份有限公司 | 一种适用于avs2编码器的cu级qp分配算法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9743089B1 (en) | Moving picture coding device, moving picture coding method, and moving picture coding program, and moving picture decoding device, moving picture decoding method, and moving picture decoding program | |
KR102360403B1 (ko) | 움직임 벡터 정밀도의 선택 | |
JP5743496B2 (ja) | 多重参照映像を利用した動き推定方法 | |
JP5081305B2 (ja) | フレーム間予測符号化の方法および装置 | |
WO2021114846A1 (zh) | 一种视频降噪处理方法、装置及存储介质 | |
US20180324442A1 (en) | Moving picture coding device and moving picture coding method | |
US8718138B2 (en) | Image encoding apparatus and image encoding method that determine an encoding method, to be used for a block to be encoded, on the basis of an intra-frame-prediction evaluation value calculated using prediction errors between selected reference pixels and an input image | |
KR20170063895A (ko) | 비디오 코딩을 위한 해시 기반 인코더 결정 | |
JP2011525094A (ja) | ビデオ符号化のための、スライス依存性に基づくレート制御モデル適合化 | |
JP2011507461A (ja) | 適応型グループオブピクチャ(agop)構造の決定 | |
CA2883133A1 (en) | A video encoding method and a video encoding apparatus using the same | |
JPWO2006101126A1 (ja) | 符号化装置および符号化装置を備えた動画像記録システム | |
US7881366B2 (en) | Moving picture encoder | |
JP2022123031A (ja) | 符号化装置、符号化方法、及び符号化プログラム | |
JP2019004294A (ja) | 特徴量推定装置及びプログラム | |
Katayama et al. | Early depth determination algorithm for enhancement layer intra coding of SHVC | |
JP5706291B2 (ja) | 映像符号化方法,映像復号方法,映像符号化装置,映像復号装置およびそれらのプログラム | |
KR20120110795A (ko) | 탐색 영역 조정 장치 및 방법 | |
JP6871147B2 (ja) | 画像生成装置、画像生成方法及び画像生成プログラム | |
JP4962609B2 (ja) | 動画像符号化装置及び動画像符号化プログラム | |
WO2023052159A1 (en) | Adaptive video thinning based on later analytics and reconstruction requirements | |
JP2007110672A (ja) | 符号化方法 | |
US10034011B2 (en) | Video coding apparatus | |
Choi et al. | Optimal reference view selection algorithm for low complexity disparity estimation | |
EP4364419A1 (en) | Selective subblock-based motion refinement |