JP5681557B2 - 映像再生方法、映像再生装置、及び映像再生プログラム - Google Patents
映像再生方法、映像再生装置、及び映像再生プログラム Download PDFInfo
- Publication number
- JP5681557B2 JP5681557B2 JP2011105149A JP2011105149A JP5681557B2 JP 5681557 B2 JP5681557 B2 JP 5681557B2 JP 2011105149 A JP2011105149 A JP 2011105149A JP 2011105149 A JP2011105149 A JP 2011105149A JP 5681557 B2 JP5681557 B2 JP 5681557B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- error concealment
- unit
- decoded
- motion information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本実施形態では、符号化パケットとして、基本階層と、拡張階層#1と、拡張階層#2との3階層からなる階層符号化されたビデオパケットが受信される例について説明する。
すなわち、符号化パケットは、原画像情報を階層化した符号化信号を保有する。また、符号化パケットには、基本階層の符号化信号を保有した符号化パケットと、拡張階層#1の符号化信号を保有した符号化パケットと、拡張階層#2の符号化信号を保有した符号化パケットとが含まれる。
なお、基本階層は拡張階層#1の下位階層であり、拡張階層#1は拡張階層#2の下位階層である。
また、符号化パケットは、再生時刻に対応付けられ、時系列に基づいて順番に受信される。
ここで、再生時刻とは、映像再生装置1が符号化パケットを受信し、符号化パケットに含まれる符号化信号に基づいて再生用信号を生成する時刻をいう。すなわち、映像再生装置1が符号化信号を映像として再生できる状態にする時刻である。
映像再生装置1は、順次、符号化パケットを受信し、符号化パケットに対応づけられた再生時刻までに再生用信号を生成する。
図1を参照して、映像再生装置1の構成を説明する。
映像再生装置1は、パケット受信部11と、パケットロス検出部12と、基本階層データ復号部13と、拡張階層#1データ復号部14と、拡張階層#2データ復号部15と、エラー隠蔽処理部16と、エラー隠蔽処理部17と、記憶部18とを備える。
また、記憶部18には、受信した符号化パケットのほかに、過去に受信した符号化パケット、符号化信号、動き情報、復号信号、再生用信号など再生用信号の生成に必要な情報が記憶される。
符号化パケット記憶部19は、所定時刻に受信された符号化パケットが、受信時刻(所定時刻)に対応付けられて記憶される。
復号信号記憶部20は、符号化パケットに含まれる原画像情報を階層化した符号化信号と、符号化信号を階層毎に復号した復号信号とが、階層と対応付けられて記憶される。
再生用信号記憶部21は、再生用信号が、階層と対応付けられて記憶される。
すなわち、パケットロス検出部12は、符号化パケット記憶部19に記憶されている符号化パケットに基づいて、符号化パケットが正常に受信されているか否かを上述した3階層それぞれの符号化パケットについて判定する。
さらに、パケットロス検出部12は、判定した結果を、符号化パケット受信可否フラグとして符号化パケット記憶部19に記憶させる。
また、符号化パケット受信可否フラグは、フラグが真である場合に符号化パケットが正常に受信されたことを示し、偽である場合に正常に受信されなかったことを示す。
ここで経路Bの分岐とは、基本階層データ復号部13と、拡張階層#1データ復号部14と、エラー隠蔽処理部16との処理を実行する経路である。
ここで経路Cの分岐とは、基本階層データ復号部13と、エラー隠蔽処理部16との処理を実行する経路である。
ここで経路Dの分岐とは、エラー隠蔽処理部17の処理を実行する経路である。
また、基本階層データ復号部13は、基本階層の符号化信号と、基本階層の動き情報と、基本階層の復号信号とを復号信号記憶部20に再生時刻と対応付けて記憶させる。
また、拡張階層#1データ復号部14は、拡張階層#1の符号化信号と、拡張階層#1の動き情報と、拡張階層#1の復号信号とを復号信号記憶部20に再生時刻と対応付けて記憶させる。
さらに、拡張階層#2データ復号部15は、拡張階層#2の復号信号を、再生用信号として出力する。
さらに、エラー隠蔽処理部16は、生成したエラー隠蔽信号から再生用信号を生成し、再生用信号を再生用信号記憶部21に再生時刻と対応付けて記憶させる。
エラー隠蔽処理部16の詳細な構成は、後述する[エラー隠蔽処理部16の構成]で説明する。
さらに、エラー隠蔽処理部17は、生成したエラー隠蔽信号を再生用信号として再生用信号記憶部21に記憶させる。
ここで、エラー隠蔽処理部17は、例えば、特許文献1に記載の公知の技術によるエラー隠蔽処理を行う。
次に、図2を参照して、図1に示すエラー隠蔽処理部16の詳細な構成について説明する。
エラー隠蔽処理部16は、全マクロブロック処理完了判定部101と、エラー隠蔽信号生成部102と、再生用信号生成部103とを備える。
さらに、エラー隠蔽処理部16がエラー隠蔽処理を行う実行単位はフレームの画像領域を分割したマクロブロックである。1マクロブロックの画像領域単位の大きさは、16×16画素サイズとする。
エラー隠蔽処理部16が1回のエラー隠蔽処理を行うフレーム数は、1フレームである。
また、例えば、拡張階層#2と拡張階層#1との縦横解像度比は2:1であり、拡張階層#1と基本階層との縦横解像度比も、2:1 である。
復号可能階層の復号信号とは、復号可能階層と対応付けて復号信号記憶部20に記憶している復号信号である。
復号エラー検出前符号化信号とは、パケットロス検出部12が復号エラーの発生を検出する前に復号信号記憶部20に記憶している符号化信号である。
復号エラー検出前復号信号とは、パケットロス検出部12が復号エラーの発生を検出する前に復号信号記憶部20に記憶している復号信号である。
復号エラー検出前再生用信号とは、パケットロス検出部12が復号エラーの発生を検出する前に再生用信号記憶部21に記憶している再生用信号である。
また、エラー隠蔽信号生成部102は、復号エラー発生前に記憶された拡張階層#2(再生階層)の符号化信号と、復号エラー発生前に記憶された拡張階層#2(再生階層)の符号化信号に含まれる拡張階層#2(再生階層)の動き情報と、復号エラー発生前に記憶された拡張階層#2(再生階層)の復号信号とを復号信号記憶部20から読み出す。
また、エラー隠蔽信号生成部102は、読み出した拡張階層#1(復号可能階層)の符号化信号と、動き情報と、復号信号、及び拡張階層#2(再生階層)の復号エラー発生前の符号化信号と、再生用信号とに基づいて、処理対象とするマクロブロックのエラー隠蔽信号を生成する。
さらに、エラー隠蔽信号生成部102は、エラー隠蔽信号を復号信号記憶部20に記憶させる。
エラー隠蔽信号生成部102の詳細な構成は、後述する[エラー隠蔽信号生成部102の構成]で説明する。
すなわち、再生用信号生成部103は、フレームの各マクロブロックにおけるエラー隠蔽信号を復号信号記憶部20から読み出す。再生用信号生成部103は、読み出したエラー隠蔽信号に対してポストフィルタ処理を実行し、ポストフィルタ後の信号を当該時刻のフレームの再生用信号として生成する。
さらに、再生用信号生成部103は、再生用信号を再生用信号記憶部21に記憶させる。
ポストフィルタの一例としては、H.264/AVCやSVCにおけるデブロッキングフィルタがある。
次に、図3、図4を参照して、図2に示すエラー隠蔽信号生成部102の詳細な構成について説明する。
フレームt−1は、フレームtにおける動き予測の参照フレームF12として使用される。
本実施形態では、レイヤLを拡張階層#2、すなわち再生階層とし、レイヤLの下位階層であるレイヤL−1を拡張階層#1、すなわち復号可能階層とする。
フレームt内に描かれた16×16画素の画素座標範囲は、エラー隠蔽処理の実行単位であるマクロブロックMB11である。
下位階層対応ブロックとは、再生階層の下位階層である復号可能階層に存在し、再生階層のマクロブロックと空間的に同位置に存在するブロックである。
ここで、マクロブロックMB11と空間的に対応する復号可能階層の8×8画素の画素座標範囲が下位階層対応ブロックMB21である。
ここで、マクロブロックMB11と下位階層対応ブロックMB21との中心画素の座標は、それぞれ、(2px,2py)(px,py)である。
さらに、下位階層対応ブロック復号信号拡大部201は、読み出した下位階層対応ブロックの復号信号に対して、拡張階層#2と拡張階層#1の解像度比に応じて解像度変換した復号信号を生成し、生成した信号をエラー隠蔽信号として復号信号記憶部20に記憶させる。
本実施形態においては、拡張階層#2と拡張階層#1との縦横解像度比が2:1であるため、下位階層対応ブロック復号信号拡大部201は、縦横それぞれ2倍に拡大した復号信号を出力する。
代表的な予測モードにはインター予測モードと、イントラ予測モードとがある。
インター予測モードとは、フレーム間の動き情報に基づいて、動き予測をするモードである。
一方、イントラ予測モードとは、フレーム間の画像比較による動き情報に基づかずに、1枚のフレーム内において動き予測をするモードである。
さらに、エラー隠蔽信号生成手順切換え部203は、復号信号記憶部20から読み出した予測モード判定結果がインター予測モードの場合には、信号加算部208によって生成された信号をエラー隠蔽信号として復号信号記憶部20に記憶させる。
一方、エラー隠蔽信号生成手順切換え部203は、復号信号記憶部20から読み出した予測モード判定結果がイントラ予測モードの場合には、下位階層対応ブロック復号信号拡大部201によって生成された解像度変換した復号信号をエラー隠蔽信号として復号信号記憶部20に記憶させる。
さらに、下位階層対応ブロック残差信号拡大部204は、読み出した下位階層対応ブロックが保有する予測残差信号を、あらかじめ定められた予測残差信号拡大手法によって、拡張階層#2と拡張階層#1の解像度比に応じて解像度変換した信号を生成し、生成した信号を復号信号記憶部20に記憶させる。
さらに、下位階層対応ブロック動き情報スケーリング部205は、読み出した下位階層対応ブロックが保有する動き情報を、あらかじめ定められた動き情報のスケーリング(解像度変換)方法によって、再生階層(拡張階層#2)と復号可能階層(拡張階層#1)の解像度比に応じて解像度変換した信号を解像度変換後の動き情報を生成する。
さらに、下位階層対応ブロック動き情報スケーリング部205は、生成した解像度変換後の動き情報を、復号信号記憶部20に記憶させる。
予測モード及び参照フレームインデックスは、下位階層対応ブロックに対応付けられた情報をそのまま継承し、動きベクトル及びブロック分割形状は解像度比に応じて解像度変換する。
本実施形態においては、拡張階層#2と拡張階層#1との縦横解像度比が2:1であるため、下位階層対応ブロックに対応付けられた動きベクトルを(mx,my)とすると、解像度変換された動きベクトルは(2mx,2my)となる。
さらに、補正ベクトル算出部206は、復号信号記憶部20から読み出したこれらの信号及び情報基づいて解像度変換後の動き情報を補正する補正動き情報(補正ベクトル)を生成し、復号信号記憶部20に記憶させる。
補正ベクトル算出部206の詳細な構成は、後述する[補正ベクトル算出部206の構成]で説明する。
さらに、動き補償部207は、復号信号記憶部20から読み出したこれらの信号及び情報基づいて、用いてエラー隠蔽処理対象のマクロブロックに対する動き補償信号を生成し、復号信号記憶部20に記憶させる。
さらに、信号加算部208は、復号信号記憶部20から読み出したこれらの信号を加算した信号を生成し、復号信号記憶部20に記憶させる。
次に、図5を参照して、図3に示す各マクロブロックにおける、図4に示す補正ベクトル算出部206の詳細な構成について説明する。
補正ベクトル算出部206は、下位階層対応ブロック予測残差信号絶対値和算出部301と、階層解像度比算出部302と、下位階層対応ブロック動きベクトルノルム算出部303と、補正ベクトル探索範囲決定部304と、補正ベクトル探索部305とを備えている。
次に、下位階層対応ブロック予測残差信号絶対値和算出部301は、復号信号記憶部20から読み出した各画素における予測残差信号に基づいて、これら予測残差信号の絶対値の総和(SAD:Sum of Absolute Distance)を算出し、算出したSADを復号信号記憶部20に記憶させる。
なお、復号信号記憶部20に記憶された、下位階層対応ブロックが保有する予測残差信号を拡大した信号に対してSADを計算してもよい。
次に、階層解像度比算出部302は、復号信号記憶部20から読み出した再生階層の解像度と復号可能階層の解像度との縦横比を算出し、算出した解像度の縦横比を復号信号記憶部20に記憶させる。
次に、下位階層対応ブロック動きベクトルノルム算出部303は、読み出した動きベクトルのノルムを算出し、算出した動きベクトルノルムを復号信号記憶部20に記憶させる。
ここで、ノルムの代表例としてはユークリッド距離が挙げられる。
次に、補正ベクトル探索範囲決定部304は、復号信号記憶部20から読み出した、予測残差信号のSADの値と、縦横解像度比と、動きベクトルノルムと、探索範囲決定のためのしきい値群とに基づいて、補正ベクトルの探索のための探索範囲を決定する。
次に、補正ベクトル探索範囲決定部304は、決定した探索範囲を復号信号記憶部20に記憶させる。
また、縦横解像度比とは、階層解像度比算出部302によって出力された再生階層と復号可能階層の縦横解像度比である。
また、動きベクトルノルムとは、下位階層対応ブロック動きベクトルノルム算出部303によって出力された下位階層対応ブロックの動きベクトルノルムである。
また、しきい値群は、あらかじめ外部モジュールによって与えられるものとし、経験的な値が設定される外部設定値として定められ、又は本発明とは別のモジュール内にて計算されるといった方法等で決定される。
次に、補正ベクトル探索部305は、復号信号記憶部20から読み出した、復号信号を拡大した信号と、予測残差信号を拡大した信号と、解像度変換した動きベクトルとに基づいてブロックマッチング探索中心座標を決定する。
次に、補正ベクトル探索部305は、ブロックマッチング探索中心座標と、探索範囲に基づいてブロックマッチングを実行し、コスト関数の値が最小となる座標をブロックマッチング結果座標として探索する。
すなわち、補正ベクトル決定部306は、ブロックマッチング結果座標と、ブロックマッチング探索中心座標との差に基づいて、補正ベクトル(補正動き情報)を決定する。
次に、補正ベクトル決定部306は、決定した補正ベクトルを復号信号記憶部20に記憶させる。
また、予測残差信号を拡大した信号とは、下位階層対応ブロック残差信号拡大部204によって生成された下位階層対応ブロックの予測残差信号を拡大した信号である。
また、探索範囲とは、補正ベクトル探索範囲決定部304によって決定された探索範囲である。
なお、前述の探索範囲は、画像の縦方向と横方向に同じ値を設定しているが、それぞれ異なる値を用いてもよい。
次に、図1、図6を参照して、図1に示す映像再生装置1の動作を説明する。
次に、パケット受信部11は、受信した符号化パケットが、基本階層、拡張階層#1、拡張階層#2いずれの階層符号化信号を含む符号化パケットであるかを判定し、判定した階層及び受信時刻と符号化パケットとを対応付けて、符号化パケットを符号化パケット記憶部19に記憶させる(ステップS11)。
次に、パケットロス検出部12は、受信判定結果を示す符号化パケット受信可否フラグを生成して符号化パケット記憶部19に記憶させる。
すなわち、パケットロス検出部12は、フラグが真、つまり基本階層の符号化パケットがロスしている場合は、ステップS14に処理を進める。
一方、パケットロス検出部12は、フラグが偽、つまり基本階層の符号化パケットがロスしていない場合は、ステップS15に処理を進める。
なお、エラー隠蔽処理部17が適用するあらかじめ定められたエラー隠蔽処理は、例えば、特許文献1に記載のエラー隠蔽処理である。
すなわち、パケットロス検出部12は、フラグが真、つまり拡張階層#1の符号化パケットがロスしている場合は、ステップS16に処理を進める。
一方、パケットロス検出部12は、フラグが偽、つまり拡張階層#1の符号化パケットがロスしていない場合は、ステップS17に処理を進める。
すなわち、ステップS15における判定の結果、拡張階層#1の符号化パケットがロスしている場合、基本階層データ復号部13は、基本階層の符号化信号を保有した符号化パケットを符号化パケット記憶部19から読み込む。基本階層データ復号部13は、読み込んだ符号化パケットから基本階層の符号化信号を取り出し、復号処理を行い、基本階層の動き情報と、基本階層の復号信号とを生成する。
さらに、基本階層データ復号部13は、基本階層の符号化信号と、基本階層の動き情報と、基本階層の復号信号とを、復号信号記憶部20に記憶させる。
すなわち、パケットロス検出部12は、フラグが真、つまり拡張階層#2の符号化パケットがロスしている場合は、ステップS18に処理を進める。
一方、パケットロス検出部12は、フラグが偽、つまり拡張階層#2の符号化パケットがロスしていない場合は、ステップS20に処理を進める(ステップS17)。
すなわち、基本階層データ復号部13及び拡張階層#1データ復号部14は、所定時刻に受信された符号化パケットであって、所定時刻に対応付けられて符号化パケット記憶部19に記憶されている符号化パケットに基づいて、所定時刻に対応付けられた符号化信号を階層毎に生成するとともに、符号化信号に基づいて、所定時刻に対応付けられた復号信号を階層毎に生成する(復号信号生成ステップ)。
まず、ステップS18において、基本階層データ復号部13は、符号化パケット記憶部19から基本階層の符号化データを保有した符号化パケットを読み込む。基本階層データ復号部13は、読み込んだ符号化パケットから基本階層の符号化信号を取り出し、復号処理を行い、基本階層の動き情報と、基本階層の復号信号とを生成する。基本階層の符号化信号と、基本階層の動き情報と、基本階層の復号信号とを、復号信号記憶部20に記憶させる。
次に、拡張階層#1データ復号部14は、符号化パケット記憶部19から拡張階層#1の符号化信号を保有した符号化パケットを読み込む。拡張階層#1データ復号部14は、読み込んだ符号化パケットから拡張階層#1の符号化信号を取り出し、復号処理を行い、拡張階層#1の動き情報と、拡張階層#1の復号信号とを生成する。拡張階層#1データ復号部14は、拡張階層#1の符号化信号と、拡張階層#1の動き情報と、拡張階層#1の復号信号とを、復号信号記憶部20に記憶させる。
まず、エラー隠蔽処理部16は、過去の基本階層の符号化信号と、過去の基本階層の復号信号とを復号信号記憶部20から読み込む。
次に、エラー隠蔽処理部16は、再生用信号記憶部21から過去の再生階層(拡張階層#2)の再生用信号を読み込む。
ここで、過去の基本階層の符号化信号及び過去の基本階層の復号信号は、復号エラーが発生する前に基本階層データ復号部13が復号信号記憶部20に記憶させた基本階層の符号化信号及び基本階層の復号信号である。
すなわち、ステップS17における判定の結果、拡張階層#2の符号化パケットがロスしていない場合、基本階層データ復号部13、拡張階層#1データ復号部14及び拡張階層#2データ復号部15は、次の手順で処理を行う。
まず、基本階層データ復号部13は、符号化パケット記憶部19から基本階層の符号化データを保有した符号化パケットを読み込む。基本階層データ復号部13は、読み込んだ符号化パケットから基本階層の符号化信号を取り出し、復号処理を行い、基本階層の動き情報と、基本階層の復号信号とを生成する。基本階層データ復号部13は、基本階層の符号化信号と、基本階層の動き情報と、基本階層の復号信号とを、復号信号記憶部20に記憶させる。
次に、拡張階層#1データ復号部14は、符号化パケット記憶部19から拡張階層#1の符号化信号を保有した符号化パケットを読み込む。拡張階層#1データ復号部14は、読み込んだ符号化パケットから拡張階層#1の符号化信号を取り出し、復号処理を行い、拡張階層#1の動き情報と、拡張階層#1の復号信号とを生成する。拡張階層#1データ復号部14は、拡張階層#1の符号化信号と、拡張階層#1の動き情報と、拡張階層#1の復号信号とを、復号信号記憶部20に記憶させる。
次に、拡張階層#2データ復号部15は、符号化パケット記憶部19から拡張階層#2の符号化信号を保有した符号化パケットを読み込む。拡張階層#2データ復号部15は、読み込んだ符号化パケットから拡張階層#2の符号化信号を取り出し、復号処理を行い、拡張階層#2の動き情報と、拡張階層#2の復号信号とを生成する。拡張階層#2データ復号部15は、拡張階層#2の符号化信号と、拡張階層#2の動き情報と、拡張階層#2の復号信号とを、復号信号記憶部20に記憶させる。
なお、拡張階層#2データ復号部15によって生成される拡張階層#2の復号信号は、再生用信号となる。
次に、図3、図8を参照して、図1に示すエラー隠蔽処理部16の詳細な動作について説明する。
まず、マクロブロック単位のループを開始する。
読み込んだ動き情報と復号信号に基づいて、エラー隠蔽処理として、当該マクロブロックのエラー隠蔽信号を生成し、生成したエラー隠蔽信号を復号信号記憶部20に書き出す。
エラー隠蔽信号生成処理ステップ(ステップS101)の詳細な動作は後述する[エラー隠蔽信号生成部102の動作]で説明する。
判定の結果、全マクロブロック処理完了判定部101は、全てのマクロブロックについてエラー隠蔽処理が終了していれば、ステップS102に処理を進める。エラー隠蔽処理が終了していなければ、全マクロブロック処理完了判定部101は、次のマクロブロックの処理を行うため、ステップS101に処理を戻す。
すなわち、ステップS102において、再生用信号生成部103は、全てのマクロブロックについて処理が終了した時点で、フレームの各マクロブロックにおけるエラー隠蔽信号を復号信号記憶部20から読み込む。再生用信号生成部103は、読み込んだエラー隠蔽信号にポストフィルタ処理を実行する。
さらに、再生用信号生成部103は、ポストフィルタ処理後の信号を当該時刻の当該フレームの再生用信号として生成し、生成した再生用信号を再生用信号記憶部21に記憶させる。
次に、図4、図8を参照して、図3に示すエラー隠蔽信号生成部102の詳細な動作について説明する。
すなわち、ステップS201において、まず、下位階層対応ブロック復号信号拡大部201は、下位階層対応ブロックの復号信号を復号信号記憶部20から読み込む。下位階層対応ブロック復号信号拡大部201は、あらかじめ定められた復号信号拡大手法により、復号信号を拡張階層#2と拡張階層#1の解像度比に応じて解像度変換する。下位階層対応ブロック復号信号拡大部201は、解像度変換した復号信号に対して必要に応じて有効画素値へのクリッピング処理を行う。
さらに、下位階層対応ブロック復号信号拡大部201は、解像度変換した復号信号を出力として復号信号記憶部20に記憶させる。
ここで、復号信号拡大手法の例としては、SVCにおいて階層間予測に利用するアップサンプルフィルタをはじめとする線形フィルタによる拡大手法や、超解像度手法などが挙げられる。
また、クリッピング処理とは、解像度変換後の信号が有効画素値の範囲を超える場合に、解像度変換後の信号のうち、有効画素範囲を超えた部分を切り取り、有効画素値の範囲内に収める処理のことである。
すなわち、下位階層対応ブロック予測モード判定部202は、下位階層対応ブロックが保有する予測モードを復号信号記憶部20から読み込み、予測モードに基づいて処理を選択する。
予測モードがイントラ予測モードである場合は、下位階層対応ブロック予測モード判定部202は、ステップS203に処理を進める。
一方、予測モードがインター予測モードである場合は、下位階層対応ブロック予測モード判定部202は、ステップS204に処理を進める。
すなわち、画像動き予測に基づいた予測残差信号であって、復号可能階層に対応付けられ、かつ所定時刻に対応付けられている予測残差信号を、解像度変換した解像度変換後の予測残差信号、を生成する(予測残差信号解像度変換ステップ)。
具体的には、ステップS202において、予測モードがインター予測モードと判定された場合、まず、下位階層対応ブロック残差信号拡大部204は、下位階層対応ブロックに対応付けられた予測残差信号を復号信号記憶部20から読み込む。下位階層対応ブロック残差信号拡大部204は、あらかじめ定められた予測残差信号拡大手法により、予測残差信号を拡張階層#2と拡張階層#1の解像度比に応じて解像度変換する。
さらに、下位階層対応ブロック残差信号拡大部204は、解像度変換した予測残差信号を復号信号記憶部20に記憶させる。
予測残差信号拡大手法の例としては、SVCにおいて階層間予測に利用するアップサンプルフィルタをはじめとする線形フィルタによる拡大手法や、超解像度手法などが挙げられる。
ここで、解像度変換後の動き情報とは、所定時刻に対応付けられた再生用信号の生成に用いられる動き情報であって、エラー隠蔽信号が生成される対象の階層である再生階層よりも下位の階層である復号可能階層に対応付けられ、かつ所定時刻に対応付けられた動き情報を、再生階層と復号可能階層との解像度比に基づいて解像度変換した、解像度変換後の動き情報である。
さらに、下位階層対応ブロック動き情報スケーリング部205は、解像度変換した動き情報を復号信号記憶部20に記憶させる。
すなわち、補正ベクトル算出部206は、図3に示す参照フレームF12に対応する再生用信号を再生用信号記憶部21から読み込み、さらに、下位階層対応ブロックの復号信号の拡大信号、予測残差信号の拡大信号、解像度変換した動きベクトル、及びその他補正に必要となる所定の情報を復号信号記憶部20から読み込む。補正ベクトル算出部206は、読み込んだ再生用信号、下位階層対応ブロックの復号信号の拡大信号、予測残差信号の拡大信号、解像度変換した動きベクトル、及びその他補正に必要となる所定の情報に基づいて、解像度変換した動きベクトルを補正する補正ベクトルを求める。
さらに、補正ベクトル算出部206は、求めた補正ベクトルを復号信号記憶部20に記憶させる。
補正ベクトル算出ステップS206の詳細な動作は、後述する[補正ベクトル算出部206の動作]で説明する。
次に、動き補償部207は、読み込んだ解像度変換後の動き情報と、補正ベクトルに基づいて動き補償を行い、動き補償によって得られた動き補償信号を復号信号記憶部20に記憶させる。
さらに、信号加算部208は、必要に応じて有効画素値範囲へのクリッピング処理を行い、生成された信号を復号信号記憶部20に記憶させる。
次に、図3、図8、図9を参照して、図3に示す各マクロブロックにおける、図4に示す補正ベクトル算出部206の詳細な動作について説明する。
次に、下位階層対応ブロック予測残差信号絶対値和算出部301は、下位階層対応ブロックの各画素における予測残差信号の絶対値を求め、それら予測残差信号のSADを下位階層対応ブロックにおけるSADとして求める。
次に、下位階層対応ブロック予測残差信号絶対値和算出部301は、求めたSADを出力として復号信号記憶部20に記憶させる(ステップS301)。
次に、下位階層対応ブロック動きベクトルノルム算出部303は、その動きベクトルに基づいて、動きベクトルのノルムを計算し、その値を出力として復号信号記憶部20に記憶させる(ステップS303)。
すなわち、ステップS304(探索座標範囲決定ステップ)において、補正ベクトル探索範囲決定部304は、予測残差信号のSADの値と、再生階層と復号可能階層の縦横解像度比と、下位階層対応ブロックの動きベクトルノルムとを復号信号記憶部20から読み込む。補正ベクトル探索範囲決定部304は、探索範囲決定のためのしきい値群を復号信号記憶部20から読み込む。
さらに、補正ベクトル探索範囲決定部304は、補正ベクトルの探索のための探索範囲を決定し、その探索範囲を出力として復号信号記憶部20に記憶させる。
すなわち、ステップS305(補正動き情報探索ステップ)において、ブロックマッチングを行って補正ベクトルを算出する。
次に、補正ベクトル探索部305(補正動き情報決定部)は、復号信号記憶部20から読み出した、復号信号を拡大した信号と、予測残差信号を拡大した信号と、解像度変換した動きベクトルと、探索範囲に基づいてブロックマッチングを実行し、ブロックマッチング結果座標を決定する。
すなわち、ステップS306(補正動き情報決定ステップ)において、補正ベクトル決定部306は、ブロックマッチング結果座標と、ブロックマッチング探索中心座標との差に基づいて、補正ベクトルを決定する。
次に、補正ベクトル決定部306は、決定した補正ベクトルを復号信号記憶部20に記憶させる。
探索範囲の決定手順の一例を、以下に記す。
さらに、補正ベクトル探索範囲決定部304によって出力した探索範囲の値を読み込む。
続いて、解像度変換した動きベクトルが指す座標位置を中心として、指定された探索範囲内にて、ブロックマッチングを行う。
また、探索範囲の決定に影響するパラメータは、当該マクロブロックに対して以前のエラーがどれだけ影響しているかを示すエラー累積値の値でもよい。例えば、当該フレームtのエラー累積値をz(t)とおき、当該フレームtの参照フレームがフレームt−1であるとき、
フレームtがエラーを含むとき:z(t)=z(t−1)+1
フレームtがエラーを含まず、Pフレーム又はBフレームのとき:z(t)=z(t−1)
フレームtがエラーを含まず、Iフレームのとき:z(t)=0
のように、エラー累積値を設定し、別途外部より与えるエラー累積値に対するしきい値の値に応じて、複数のレベルに分解し、探索範囲を決定してもよい。
さらに、これらのパラメータは単独で用いることもできるし、複数を組み合わせて用いることもできる。
つまり、参照フレーム数が2枚以上の場合も、双方向予測の場合も、その都度、下位階層対応ブロックの動き情報が持つ参照インデックスからマクロブロックごとに参照先を同定し、動き情報の解像度変換とその情報の補正を行い、動き補償を実施し、エラー隠蔽信号を生成することができる。
この信号は、下位階層対応ブロックが保有する予測モードがインター予測モードであったとしても、生成は可能である。
そこで、インター予測モードであった場合には、下位階層対応ブロック復号信号拡大部201から出力された信号と、信号加算部208から出力された信号との間で重みづけ平均をとり、その後の信号を当該マクロブロックのエラー隠蔽信号として出力してもよい。
さらに、エラー隠蔽信号生成手順切換え部203は、生成したエラー隠蔽信号として復号信号記憶部20に記憶させる。
ステップS209(重みづけ平均信号生成ステップ)において、エラー隠蔽信号生成手順切換え部203は、復号可能階層に対応付けられ、かつ所定時刻に対応付けられている符号化信号と、復号可能階層に対応付けられ、かつ所定時刻に対応付けられている復号信号と、過去の符号化信号と、過去の復号信号と、過去の再生用信号とに基づいて、復号解像度変換エラー隠蔽信号生成ステップによって生成されたエラー隠蔽信号と、動き合成エラー隠蔽信号生成ステップによって生成されたエラー隠蔽信号と、を重みづけ平均してエラー隠蔽信号を生成する。
次に、エラー隠蔽信号生成手順切換え部203は、復号信号記憶部20から読み出した予測モード判定結果がインター予測モードの場合には、信号加算部208によって予め生成された信号と、下位階層対応ブロック復号信号拡大部201によって予め生成された解像度変換した復号信号を復号信号記憶部20から読み出す。
次に、エラー隠蔽信号生成手順切換え部203は、復号信号記憶部20から読み出した、信号加算部208によって予め生成された信号と、下位階層対応ブロック復号信号拡大部201によって予め生成された解像度変換した復号信号との重みづけ平均を行ってエラー隠蔽信号を生成する。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
11 パケット受信部
12 パケットロス検出部
13 基本階層データ復号部
14 拡張階層#1データ復号部
15 拡張階層#2データ復号部
16 エラー隠蔽処理部
17 エラー隠蔽処理部
18 記憶部
19 符号化パケット記憶部
20 復号信号記憶部
21 再生用信号記憶部
101 全マクロブロック処理完了判定部
102 エラー隠蔽信号生成部
103 再生用信号生成部
201 下位階層対応ブロック復号信号拡大部
202 下位階層対応ブロック予測モード判定部
203 エラー隠蔽信号生成手順切換え部
204 下位階層対応ブロック残差信号拡大部
205 下位階層対応ブロック動き情報スケーリング部
206 補正ベクトル算出部
207 動き補償部
208 信号加算部
301 下位階層対応ブロック予測残差信号絶対値和算出部
302 階層解像度比算出部
303 下位階層対応ブロック動きベクトルノルム算出部
304 補正ベクトル探索範囲決定部
305 補正ベクトル探索部
306 補正ベクトル決定部
Claims (9)
- 所定時刻に受信された符号化パケットであって、前記所定時刻に対応付けられて符号化パケット記憶部に記憶されている符号化パケットに基づいて、前記所定時刻に対応付けられた符号化信号を階層毎に生成するとともに、前記符号化信号に基づいて、前記所定時刻に対応付けられた復号信号を階層毎に生成する復号信号生成ステップと、
前記所定時刻よりも過去の時刻に対応付けられて復号信号記憶部に予め記憶されている過去の符号化信号と、前記過去の時刻に対応付けられて復号信号記憶部に予め記憶されている過去の復号信号と、前記過去の時刻に対応付けられて再生用信号記憶部に予め記憶されている過去の再生用信号と、を取得する信号取得ステップと、
前記所定時刻に対応付けられた符号化信号と、前記所定時刻に対応付けられている復号信号と、前記過去の符号化信号と、前記過去の復号信号と、前記過去の再生用信号と、に基づいて前記所定時刻に対応付けられたエラー隠蔽信号を生成するエラー隠蔽信号生成ステップと、
前記エラー隠蔽信号に基づいて前記所定時刻に対応付けられた再生用信号を生成する再生用信号生成ステップと、
を有し、
前記エラー隠蔽信号生成ステップには、
前記所定時刻に対応付けられた再生用信号の生成に用いられる動き情報であって、前記エラー隠蔽信号が生成される対象の階層である再生階層よりも下位の階層である復号可能階層に対応付けられ、かつ前記所定時刻に対応付けられた動き情報を、前記再生階層と前記復号可能階層との解像度比に基づいて解像度変換した、解像度変換後の動き情報を生成する動き情報解像度変換ステップと、
前記解像度変換後の動き情報を補正する情報である、補正動き情報を算出する補正動き情報算出ステップと、
前記再生階層に対応付けられている動き補償信号であって、前記解像度変換後の動き情報を前記補正動き情報によって補正した補正後の動き情報に基づいた動き補償信号、を生成する動き補償信号生成ステップと、
画像動き予測に基づいた予測残差信号であって、前記復号可能階層に対応付けられ、かつ前記所定時刻に対応付けられている予測残差信号を、前記解像度変換した解像度変換後の予測残差信号、を生成する予測残差信号解像度変換ステップと、
前記動き補償信号と前記解像度変換後の予測残差信号とに基づいて、前記エラー隠蔽信号を生成する動き合成エラー隠蔽信号生成ステップと、
が含められていることを特徴とする映像再生方法。 - 前記補正動き情報算出ステップには、
探索中心座標と、探索座標範囲と、コスト関数とに基づいてブロックマッチング結果座標を算出するブロックマッチングにおける探索座標範囲として、前記動き情報、前記予測残差信号、又は前記解像度比に基づいたブロックマッチング探索座標範囲、を決定する探索座標範囲決定ステップと、
前記解像度変換後の動き情報によって指定されるブロックマッチング探索中心座標を前記探索中心座標とし、前記ブロックマッチング探索座標範囲を前記探索座標範囲とする前記ブロックマッチングの結果、前記コスト関数の値が最小となる座標を前記ブロックマッチング結果座標として探索する補正動き情報探索ステップと、
前記ブロックマッチング結果座標と前記ブロックマッチング探索中心座標との差を前記補正動き情報として決定する補正動き情報決定ステップと、
が含められていることを特徴とする請求項1に記載の映像再生方法。 - 前記エラー隠蔽信号生成ステップには、更に、
エラー隠蔽信号として、前記復号可能階層に対応付けられ、かつ前記所定時刻に対応付けられている復号信号を前記解像度変換した、解像度変換後の復号信号を生成する復号解像度変換エラー隠蔽信号生成ステップと、
前記動き合成エラー隠蔽信号生成ステップと、前記復号解像度変換エラー隠蔽信号生成ステップと、のうちからいずれかのステップによって処理するかを、前記復号可能階層に対応付けられ、かつ前記所定時刻に対応付けられている画像動き予測モードに応じて切換えるエラー隠蔽信号生成手順切換えステップと、
が含められていることを特徴とする請求項1又は請求項2に記載の映像再生方法。 - 前記エラー隠蔽信号生成ステップには、更に
エラー隠蔽信号として、前記復号可能階層に対応付けられ、かつ前記所定時刻に対応付けられている復号信号を前記解像度変換した、解像度変換後の復号信号を生成する復号解像度変換エラー隠蔽信号生成ステップと、
前記復号可能階層に対応付けられ、かつ前記所定時刻に対応付けられている符号化信号と、前記復号可能階層に対応付けられ、かつ前記所定時刻に対応付けられている復号信号と、前記過去の符号化信号と、前記過去の復号信号と、前記過去の再生用信号とに基づいて、前記復号解像度変換エラー隠蔽信号生成ステップによって生成されたエラー隠蔽信号と、前記動き合成エラー隠蔽信号生成ステップによって生成されたエラー隠蔽信号と、を重みづけ平均して前記エラー隠蔽信号を生成する重みづけ平均信号生成ステップと、
が含められていることを特徴とする請求項1又は請求項2に記載の映像再生方法。 - 原画像情報を階層化した符号化信号、及び前記符号化信号を階層毎に復号した復号信号を、前記階層と対応付けて記憶している復号信号記憶部と、
前記符号化信号が再生時刻までに復号されない状態である復号エラーが発生した階層を再生階層として、前記復号エラーの発生を階層毎に検出する復号エラー検出部と、
生成された再生用信号を記憶している再生用信号記憶部と、
前記復号エラー検出部によって前記復号エラーの発生が検出された場合に、前記復号信号記憶部に記憶している符号化信号のうち、前記再生階層と異なる階層である復号可能階層と対応付けられて前記復号信号記憶部に記憶されている符号化信号と、前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている復号信号と、前記復号エラーの発生を検出する前に前記復号信号記憶部に記憶している符号化信号である復号エラー検出前符号化信号と、前記復号エラーの発生を検出する前に前記復号信号記憶部に記憶している復号信号である復号エラー検出前復号信号と、前記復号エラーの発生を検出する前に前記再生用信号記憶部に記憶している再生用信号である復号エラー検出前再生用信号と、に基づいて、前記再生階層と対応付けられたエラー隠蔽信号を生成するエラー隠蔽信号生成部と、
前記エラー隠蔽信号生成部によって生成されたエラー隠蔽信号に基づいて再生用信号を生成する再生用信号生成部と、
を備え、
前記エラー隠蔽信号生成部は、
前記再生用信号の生成に用いられる動き情報であって、前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている符号化信号に含まれる動き情報を、前記再生階層と前記復号可能階層との解像度比に基づいて、解像度変換動き情報に変換する、動き情報解像度変換部と、
前記解像度変換動き情報を補正する情報である、補正動き情報を算出する補正動き情報算出部と、
前記解像度変換動き情報を前記補正動き情報によって補正した補正後の動き情報に基づいて、前記再生階層に対応付けられた信号である動き補償信号を生成する動き補償信号生成部と、
前記再生用信号の生成に用いられる予測残差信号であって、前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている符号化信号に含まれる動き情報に基づいた予測残差信号を、前記解像度比に基づいて、解像度変換予測残差信号に変換する、予測残差信号解像度変換部と、
前記動き補償信号と前記解像度変換予測残差信号とに基づいて、前記エラー隠蔽信号を生成する動き合成エラー隠蔽信号生成部と、
を備えることを特徴とする映像再生装置。 - 前記補正動き情報算出部は、
探索中心座標と、探索座標範囲と、コスト関数とに基づいてブロックマッチング結果座標を算出するブロックマッチングにおける探索座標範囲として、前記動き情報、前記予測残差信号、又は前記解像度比に基づいたブロックマッチング探索座標範囲、を決定する探索座標範囲決定部と、
前記解像度変換動き情報によって指定されるブロックマッチング探索中心座標を前記探索中心座標とし、前記ブロックマッチング探索座標範囲を前記探索座標範囲とする前記ブロックマッチングの結果、前記コスト関数の値が最小となる座標を前記ブロックマッチング結果座標として探索する補正動き情報探索部と、
前記ブロックマッチング結果座標と前記ブロックマッチング探索中心座標との差を前記補正動き情報として決定する補正動き情報決定部と、
を備えることを特徴とする請求項5に記載の映像再生装置。 - 前記エラー隠蔽信号生成部は、
前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている復号信号を前記解像度比に基づいて解像度変換した信号を、エラー隠蔽信号として生成する復号解像度変換エラー隠蔽信号生成部と、
前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている符号化信号に含まれる動き予測モードに基づいて、前記動き合成エラー隠蔽信号生成部と、前記復号解像度変換エラー隠蔽信号生成部と、のうちからいずれかを、エラー隠蔽信号生成部として選択するエラー隠蔽信号生成手順切換え部と、
を備えることを特徴とする請求項5又は請求項6に記載の映像再生装置。 - 前記エラー隠蔽信号生成部は、
前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている復号信号を前記解像度比に基づいて解像度変換した信号を、エラー隠蔽信号として生成する復号解像度変換エラー隠蔽信号生成部と、
前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている符号化信号と、前記復号可能階層と対応付けられて前記復号信号記憶部に記憶されている復号信号と、前記復号エラー検出前符号化信号と、前記復号エラー検出前復号信号と、前記復号エラー検出前再生用信号とに基づいて、前記動き合成エラー隠蔽信号生成部によって生成されたエラー隠蔽信号と、前記復号解像度変換エラー隠蔽信号生成部によって生成されたエラー隠蔽信号とを重みづけ平均して、前記エラー隠蔽信号を生成する重みづけ平均信号生成部と、
を備えることを特徴とする請求項5又は請求項6に記載の映像再生装置。 - 請求項1から請求項4のうちいずれか1項に記載の映像再生方法を、コンピュータに実行させるための映像再生プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011105149A JP5681557B2 (ja) | 2011-05-10 | 2011-05-10 | 映像再生方法、映像再生装置、及び映像再生プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011105149A JP5681557B2 (ja) | 2011-05-10 | 2011-05-10 | 映像再生方法、映像再生装置、及び映像再生プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012238947A JP2012238947A (ja) | 2012-12-06 |
JP5681557B2 true JP5681557B2 (ja) | 2015-03-11 |
Family
ID=47461492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011105149A Expired - Fee Related JP5681557B2 (ja) | 2011-05-10 | 2011-05-10 | 映像再生方法、映像再生装置、及び映像再生プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5681557B2 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101421936B (zh) * | 2006-03-03 | 2016-09-21 | 维德约股份有限公司 | 用于在可缩放视频通信中提供差错弹性、随机接入和率控制的***和方法 |
JP2009260519A (ja) * | 2008-04-15 | 2009-11-05 | Panasonic Corp | 画像復号化装置、画像復号化集積回路、画像復号化方法および画像復号化プログラム |
-
2011
- 2011-05-10 JP JP2011105149A patent/JP5681557B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012238947A (ja) | 2012-12-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5373626B2 (ja) | 複数の動きベクトル・プレディクタを使用して動きベクトルを推定する方法、装置、エンコーダ、デコーダ及びデコーディング方法 | |
US8311106B2 (en) | Method of encoding and decoding motion picture frames | |
JP2019115061A (ja) | 符号化装置、符号化方法、復号装置、復号方法、及びプログラム | |
CA2723910C (en) | Method and system for determining a metric for comparing image blocks in motion compensated video coding | |
WO2007087619A2 (en) | Projection based techniques and apparatus that generate motion vectors used for video stabilization and encoding | |
US20080095239A1 (en) | Method for video frame rate conversion | |
JP6961115B2 (ja) | 画像復号装置、画像復号方法及びプログラム | |
JP5115519B2 (ja) | 動画像復号装置、動画像復号方法及び動画像復号用コンピュータプログラム | |
US8139151B2 (en) | Moving image processing apparatus, control method thereof, and program | |
JP5547622B2 (ja) | 映像再生方法、映像再生装置、映像再生プログラム及び記録媒体 | |
US8139643B2 (en) | Motion estimation apparatus and method for moving picture coding | |
JP5681557B2 (ja) | 映像再生方法、映像再生装置、及び映像再生プログラム | |
JP2001016595A (ja) | 動画像符号化装置および復号装置 | |
JP4624308B2 (ja) | 動画像復号装置及び動画像復号方法 | |
JP5701018B2 (ja) | 画像復号装置 | |
JP5281597B2 (ja) | 動きベクトル予測方法,動きベクトル予測装置および動きベクトル予測プログラム | |
JP2009302786A (ja) | 映像復号化装置及び方法 | |
JP2008508787A (ja) | インター符号化系列向けのエラー隠蔽技術 | |
JP2012120108A (ja) | 補間画像生成装置及びプログラム、並びに、動画像復号装置及びプログラム | |
JP2006311603A (ja) | 動画像符号化方法と装置及び動画像復号化方法と装置 | |
JP6071618B2 (ja) | 画像処理装置及びプログラム | |
KR100229794B1 (ko) | 움직임 벡터 정보에 대한 오류 복원기능을 갖는영상복호화기 | |
JP2007067664A (ja) | 復号化装置及び復号化方法 | |
JP2008283302A (ja) | 動画像処理装置及び動画像処理方法 | |
JP2006262198A (ja) | 動画圧縮符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130606 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130726 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130815 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140408 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140603 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5681557 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |